CN114697483A - 基于压缩感知白平衡算法的屏下摄像装置及方法 - Google Patents
基于压缩感知白平衡算法的屏下摄像装置及方法 Download PDFInfo
- Publication number
- CN114697483A CN114697483A CN202011621953.1A CN202011621953A CN114697483A CN 114697483 A CN114697483 A CN 114697483A CN 202011621953 A CN202011621953 A CN 202011621953A CN 114697483 A CN114697483 A CN 114697483A
- Authority
- CN
- China
- Prior art keywords
- image
- screen
- pixels
- pixel
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/02—Constructional features of telephone sets
- H04M1/0202—Portable telephone sets, e.g. cordless phones, mobile phones or bar type handsets
- H04M1/026—Details of the structure or mounting of specific components
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/02—Constructional features of telephone sets
- H04M1/0202—Portable telephone sets, e.g. cordless phones, mobile phones or bar type handsets
- H04M1/026—Details of the structure or mounting of specific components
- H04M1/0264—Details of the structure or mounting of specific components for a camera module assembly
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/02—Constructional features of telephone sets
- H04M1/0202—Portable telephone sets, e.g. cordless phones, mobile phones or bar type handsets
- H04M1/026—Details of the structure or mounting of specific components
- H04M1/0266—Details of the structure or mounting of specific components for a display module assembly
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
Abstract
本发明提供一种提供的基于压缩感知白平衡算法的屏下摄像装置及方法,由于在对摄像头拍摄得到拍摄视频中每一帧图像进行处理时,通过等距降采样的进行降采样处理,并在降采样图像的基础上进行后续的颜色校正处理,因此可以在几乎不损失算法准确性的情况下,极大地节约了计算成本并降低每一帧的运行处理耗时。还由于在颜色校正处理过程中,首先将当前图像划分为多个矩形块,并从中逐块选取高亮像素,因此可以更准确地反映图像的整体光源信息。通过这种准确的光源估计,本发明即可有效地纠正拍摄视频中由半透明屏的屏幕光与环境光共同产生的混合色偏,从而使得设置在屏幕后方的摄像头也能正常地完成拍摄任务,真正地实现屏下摄像。
Description
技术领域
本发明涉及一种基于压缩感知白平衡算法的屏下摄像装置以及对应的屏下摄像方法。
背景技术
现实生活中各种摄像器材捕获的照片和视频,由于受到环境光、物体表面反射率以及图像传感器敏感度的影响,常常表现出一定程度的偏色,让场景中物体的颜色无法真实呈现。如智能手机中设置的前置摄像头,就很容易受到手机屏幕在工作时产生的各色亮光的干扰,影响前置摄像头的拍摄效果。这样的问题严重地影响了手机全面屏的实现,现有的各类手机往往只能通过设置刘海带、摄像孔等位置安装前置摄像头的方式,或者通过将前置摄像头设置在全面屏下并让该全面屏的相应位置在前置摄像头拍摄时停止发光的方式,来解决屏幕发光影响摄像头拍摄的问题。
传统也存在一些解决图像偏色问题的方法,如白平衡方法,这种方法可以使得处理后的图像中的场景尽可能接近标准白色光源映照下的场景。实现这种白平衡方法的主要途径是先通过光源估计算法估计出图像的真实光源,再从图像中消去估计出光源的影响,从而实现图像整体偏色的校正。通常情况下,对于RGB表示的图片,光源估计算法估计出图片光源的RGB值,再对图片的每一个像素除以该值来校正图像的偏色。
然而,上述光源估计算法一般分为两种,即基于学习的算法与基于统计的算法。总体而言,基于学习的方法利用大量的先验信息训练模型来估计光源,这些算法的效果较好,但通常需要消耗大量的计算资源,不利于硬件的实现;而基于统计的方法不依赖于相机信息和训练数据,直接利用图像信息进行光源估计,因此这些方法的应用较为简单和快捷,但同时光源估计效果也较差。
因此,上述两种方法都存在一定的缺陷,尤其是在屏下摄像这种色彩变换频繁的场景中,摄像头拍摄到的视频会不断地受到屏幕色彩变化的影响,这些传统的方法要么耗费的计算资源过多,无法对视频帧进行实时处理;要么无法满足光源的预估准确性,容易使得视频中频繁出现杂色。
发明内容
为解决上述问题,提供一种能够在利用较少计算资源的情况下,快速地对视频帧进行白平衡处理从而实现屏下摄像的屏下摄像装置及方法,本发明采用了如下技术方案:
本发明提供了一种基于压缩感知白平衡算法的屏下摄像装置,其特征在于,包括:半透明屏幕;摄像头,设置在半透明屏幕的后方,用于透过正在工作发光的半透明屏幕进行拍摄从而得到拍摄视频;以及处理器,与摄像头相通信连接,其中,处理器具有:当前图像获取部,用于获取拍摄视频并从中逐帧获取图像帧作为当前图像;等距离降采样部,对当前图像进行等距降采样从而形成降采样图像;储存位数转换部,从降采样图像中去除饱和像素,并将该降采样图像的色彩通道信息转化为预定的储存位数从而形成预处理图像;高亮像素选取部,将预处理图像等分成若干个矩形块,并逐块从矩形块中选取预定数量个高亮像素,进一步将所有高亮像素以及当前帧前的a个图像帧对应的所有高亮像素作为对应当前图像的高亮像素集合;光源估计部,基于高亮像素集合,通过预定的灰色世界处理法估计出当前图像中的光源;颜色校正部,利用光源对当前图像进行颜色校正得到当前帧的校正图像;以及视频合成输出部,将校正图像逐帧进行合并形成输出视频并进行输出。
本发明提供的基于压缩感知白平衡算法的屏下摄像装置,还可以具有这样的技术特征,其中,高亮像素选取部具有:矩形块划分单元,根据预处理图像的分辨率,将预处理图像等分成m×n个矩形块Fi,i∈{1,2,…,mn};总亮度计算单元,计算预处理图像的总亮度L,该总亮度L为预处理图像F中所有像素的亮度的q次幂之和,即:
式中,第k个像素的亮度lk为其RGB通道的数值和:lk=Rk+Gk+Bk;总采样数计算单元,根据预定的采样率σ∈(0,1),计算预处理图像中像素的总采样数Nσ,使Nσ=Nσ,其中N是图片中的总像素数;矩形块亮度计算单元,分别计算矩形块Fi的亮度Li:矩形块采样数计算单元,分别将每个矩形块的像素的采样数Ni正比于该矩形块的亮度Li,即Ni=LiNσ/L;高亮像素选定单元,分别对每个矩形块逐块按照采样数Ni选取亮度最高的像素作为高亮像素;以及高亮像素集合获取单元,获取当前图像中所有的高亮像素,并将其与当前帧前的a个图像帧对应的所有高亮像素作为对应当前图像的高亮像素集合。
本发明提供的基于压缩感知白平衡算法的屏下摄像装置,还可以具有这样的技术特征,其中,等距离降采样部具有:降采样间隔存储单元,存储有预先设定的降采样间隔r;以及降采样图像获取单元,将当前图像根据降采样间隔r不重叠地划分成规格为(r,r)的多个块,并在每个块中选择一个像素点,进一步将这些被选择的像素点构成降采样图像。
本发明提供的基于压缩感知白平衡算法的屏下摄像装置,还可以具有这样的技术特征,其中,储存位数转换部具有:饱和像素取出单元,从降采样图像中筛选出任一色彩通道的数值超过预定界限T的像素,并将该像素各通道的数值变为0;以及图片储存位数转化单元,确定降采样图像的单色彩通道信息所花比特数,并在该比特数超过预定比特时将单色彩通道信息转化为预定比特储存。
本发明提供的基于压缩感知白平衡算法的屏下摄像装置,还可以具有这样的技术特征,其中,预定比特为8比特。
本发明提供的基于压缩感知白平衡算法的屏下摄像装置,还可以具有这样的技术特征,其中,颜色校正部具有:RGB确定单元,对当前图像FI中的每个像素k,以其原先RGB值分别除以估计光源的RGB值,得到新的RGB值(I′k,R,I′k,G,I′k,B):
式中,Ik,c像素k在通道c的原先值,Ic是估计光源在通道c的值;以及亮度调整单元,根据RGB值(I′k,R,I′k,G,I′k,B)对当前图像进行亮度调整从而得到校正图像。
本发明提供的基于压缩感知白平衡算法的屏下摄像装置,还可以具有这样的技术特征,其中,灰色世界处理法为灰色世界法、灰色阴影法、一般灰色世界法以及灰色边缘法中的任意一种。
本发明提供的基于压缩感知白平衡算法的屏下摄像装置,还可以具有这样的技术特征,其中,半透明屏幕为智能手机、计算机或是平板电脑的屏幕。
本发明还提供了一种基于压缩感知白平衡算法的屏下摄像方法,用于对设置在正在工作发光的半透明屏幕后方的摄像头透过该半透明屏幕拍摄得到拍摄视频进行校正处理,其特征在于,包括如下步骤:步骤S1,获取拍摄视频并从中逐帧获取图像帧作为当前图像;步骤S2,对当前图像进行等距降采样从而形成降采样图像;步骤S3,从降采样图像中去除饱和像素,并将该降采样图像的色彩通道信息转化为预定的储存位数从而形成预处理图像;步骤S4,将预处理图像等分成若干个矩形块,并逐块从矩形块中选取预定数量个高亮像素,进一步将所有高亮像素以及当前帧前的a个图像帧对应的所有高亮像素作为对应当前图像的高亮像素集合;步骤S5,基于高亮像素集合,通过预定的灰色世界处理法估计出当前图像中的光源;步骤S6,利用光源对当前图像进行颜色校正得到当前帧的校正图像;步骤S7,将校正图像逐帧进行合并形成输出视频并进行输出。
发明作用与效果
根据本发明提供的于压缩感知白平衡算法的屏下摄像装置及方法,由于在对摄像头拍摄得到拍摄视频中每一帧图像进行处理时,通过等距降采样的进行降采样处理,并在降采样图像的基础上进行后续的颜色校正处理,因此可以在几乎不损失算法准确性的情况下,极大地节约了计算成本并降低每一帧的运行处理耗时,而能够实时地在手机上进行视频白平衡处理。还由于在颜色校正处理过程中,首先将当前图像划分为多个矩形块,并从中逐块选取高亮像素,因此,既有效利用了画面中高亮区域能较好地描述光源色彩的特点,又纳入了空间信息,较为分散地选取高亮像素,从而更准确地反映了图像的整体光源信息。
事实上,本发明在光源估计标准数据集NUS 8-Camera数据集上取得了2.76°(1.99°)的平均(中位)角误差(angular error),是当前最好的非学习光源估计算法。通过这种准确的光源,本发明即可有效地取出拍摄视频中由半透明屏的屏幕光与环境光共同产生的混合色偏,从而使得设置在屏幕后方的摄像头也能正常地完成拍摄任务,真正地实现屏下摄像。
附图说明
图1是本发明实施例中屏下摄像装置的示意图;
图2是本发明实施例中本发明实施例中处理器的框图;
图3是本发明实施例在NUS Camera-8数据集下的验证结果;
图4是本发明实施例在Gehler-Shi数据集下的验证结果;以及
图5是本发明实施例中屏下摄像方法的流程图。
具体实施方式
为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解,以下结合实施例及附图对本发明的基于压缩感知白平衡算法的屏下摄像装置及方法作具体阐述。
<实施例>
本实施例涉及一种屏下摄像装置,该屏下摄像装置设置在用户的智能手机中。
图1是本发明实施例中屏下摄像装置的示意图。
如图1所示,屏下摄像装置100包括屏幕11、摄像头12以及处理器13。
屏幕11为智能手机的半透明屏幕。
摄像头12采用佳能650D单反相机,设置在半透明屏幕11的后方(图1中为右侧),用于透过该半透明屏幕11对物体200进行拍摄。
处理器13与摄像头12相通信连接,用于获取摄像头12拍摄得到的未处理视频并进行颜色校正处理,形成输出视频进行输出。
本实施例中,屏幕11上播放有一段测试视频,该测试视频的每帧都是纯色画面,但视频画面的色彩随时间快速变化。单反相机自带的自动白平衡功能被关闭,由处理器12替代其自动白平衡功能进行视频的颜色校正处理。单反相机拍摄的未处理视频为RGB三通道、24-bit、1080p全高清视频,帧率是25帧/秒。
图2是本发明实施例中处理器的框图。
如图2所示,处理器13具有当前图像获取部21、等距离降采样部22、储存位数转换部23、高亮像素选取部24、光源估计部25、颜色校正部26、视频合成输出部27以及用于控制上述各部的控制部28。
当前图像获取部21用于获取摄像头12拍摄得到的未处理视频(即拍摄视频)并从中逐帧获取第I帧的图像帧FI作为当前图像,该当前图像的高宽记为(H,W)。
等距离降采样部22对当前图像进行等距降采样从而形成降采样图像。该等距离降采样部22具有降采样间隔存储单元221以及降采样图像获取单元222。
降采样间隔存储单元221存储有预先设定的降采样间隔r,该降采样间隔r为一个正整数。
降采样图像获取单元222用于将当前图像根据降采样间隔r不重叠地划分成规格为(r,r)的多个块,并在每个块中选择一个像素点,进一步将这些被选择的像素点构成降采样图像。
另外,本实施例中,若不满足r|H,W,则降采样图像获取单元222将图片裁剪成(H′,W′)规格,使得0≤H-H′<r,0≤W-W′<r,r|H′,r|W′,用H和W分别代替H′和W′;接下来,再将剪裁后的图片划分成规格为(r,r)的矩形块并选择其中的一个像素点,这些选择的像素点构成了降采样图像,其规格为(H/r,W/r)。
储存位数转换部23从降采样图像中去除饱和像素,并将该降采样图像的色彩通道信息转化为预定的储存位数从而形成预处理图像。该储存位数转换部23具有饱和像素取出单元231以及图片储存位数转化单元232。
由于环境光过亮或者是照相设备不正确的曝光,捕获的图片中可能存在饱和像素(saturated pixels)。这些饱和像素的光反射超过了相机的动态范围,无法反映该处场景的真实色彩信息。因此这些像素的引入会给光源估计带来偏差,需要被去除。具体而言,通过饱和像素取出单元231从降采样图像中筛选出任一色彩通道(或各通道的数值和)的数值超过预定界限T的像素,并将该像素各通道的数值变为0,即该像素被变为纯黑色像素,从而将饱和像素进行去除。
图片储存位数转化单元232用于确定降采样图像的单色彩通道信息所花比特数,并在该比特数超过预定比特时将单色彩通道信息转化为预定比特储存。即,当预定比特为8比特时,如果照片储存单色彩通道信息所花比特数超过8(例如12比特,14比特),则将其化为8比特储存。这个操作能够极大减少后续步骤计算量,同时几乎不影响光源估计效果。
通过上述等距离降采样部22、储存位数转换部23即可完成当前图像的预处理从而得到预处理图像F。
高亮像素选取部24将预处理图像等分成若干个矩形块,并逐块从矩形块中选取预定数量个高亮像素,进一步将所有高亮像素的集合作为对应当前图像的总体高亮像素。该高亮像素选取部24具有矩形块划分单元241、总亮度计算单元242、总采样数计算单元243、矩形块亮度计算单元244、矩形块采样数计算单元245、高亮像素选定单元246以及高亮像素集合获取单元247。
矩形块划分单元24用于根据降采样的像素(分辨率),将预处理图像F等分成m×n个较大的矩形块Fi,i∈{1,2,…,mn},划分成较大的矩形块有利于显著减少计算量,一般来说,m,n<5。本实施例中,预处理图像被等分成2×3个矩形块,每块的规格为(49,58)。
接下来,总亮度计算单元242、总采样数计算单元243、矩形块亮度计算单元244、矩形块采样数计算单元245、高亮像素选定单元246用于从各个矩形块Fi中选取出亮度最高的预定数量个像素。具体地:
首先,第k个像素的亮度lk的定义为其RGB通道的数值和:lk=Rk+Gk+Bk。
总采样数计算单元243根据预定的采样率σ∈(0,1),计算图中像素的总采样数Nσ使得Nσ=Nσ,其中N是图片中的总像素数,满足:N=HW/r2。本实施例中,σ=2%,计算得总采样数为Nσ=Nσ=98×174×0.02≈341。
矩形块采样数计算单元245将各个矩形块像素的采样数Ni正比于该矩形块的亮度Li,即Ni=LiNσ/L。
高亮像素选定单元246逐块按照采样数Ni分别从每个矩形块Fi选取亮度最高的像素作为高亮像素,并将其与当前帧前的a个图像帧对应的所有高亮像素作为对应当前图像的高亮像素集合。
本实施例中,高亮像素集合记为Su,其中u代表这帧图片(即当前图片)为播放视频的第u帧。对某一帧画面而言,高亮像素选定单元246会用到包括该帧在内的前a帧(如果前面帧数少于a,则用前面的所有帧)采样得的所有高亮像素,代替该帧采样得的高亮像素,作为该帧代表像素。
具体地,令v=max(1,u-a+1),记S′u为第u帧的代表像素全体。则:
在本实施例中,由于半透明屏发出的光线颜色快速变换,因此取a=1来准确、实时地反映快速变化的外部光,从而有效地消除色偏。同时,本视频中拍摄的场景为固定场景,因此不经时间平滑的光源估计不会造成视频观看者的误解。因此有S′u=Su。
后续光源估计部25以及颜色校正部26利用这些像素估计该帧的光源并进行颜色校正。这样能使估计光源的帧间变化幅度降低,令输出视频更好地反映摄制场景的色彩变化情况。
光源估计部25基于高亮像素集合Su,通过预定的灰色世界处理法估计出当前图像中的光源。
本实施例中,灰色世界处理法采用灰色世界法(Gray World),即,将选取像素的各色彩通道平均值作为估计光源I=(IR,IG,IB):
式中,|S|=Nσ代表选择像素的个数,Ik,c是第k个像素在通道c的值。
颜色校正部26利用光源对当前图像进行颜色校正得到当前帧的校正图像。颜色校正部26具有RGB确定单元261以及亮度调整单元262。
对于当前图像中的每个像素,RGB确定单元261以其原先RGB值分别除以估计光源的RGB值,得到新的RGB值。例如,对于图中像素k,新的RGB值(I′k,R,I′k,G,I′k,B)满足:
式中,Ik,c像素k在通道c的原先值,Ic是估计光源在通道c的值。
亮度调整单元262根据RGB值(I′k,R,I′k,G,I′k,B)对当前图像进行亮度调整。具体地,将经上一步调整后的图像中所有像素RGB通道值中的最大值,即化为最大可能值(对8-bit图片而言是255),其余各像素各通道值同比例放大,得到最终的颜色校正图像。本实施例中,本实例中,颜色校正图像中像素k的RGB值有:
视频合成输出部27将校正图像逐帧进行合并形成输出视频并进行输出。
该输出视频就是本实施例的屏下摄像装置对未处理视频进行颜色校正后的视频。接下来,分别通过NUS Camera-8数据集以及Gehler-Shi数据集对该屏下摄像装置进行实验验证。
图3是本发明实施例中在NUS Camera-8数据集下的验证结果。
该图3中对比实验了传统各种学习算法(Learning-based)、各种非学习算法(Learning-free)以及本实施例中算法(Proposed)的实验结果。可以看出,本实施例中算法的处理时间(参照图中的Time列)相对于其他各种算法的处理时间均快了数十倍至数百倍,而处理效果相对也是较好的(参照图中的Mean列以及Geo.Mean列)。而最好的算法PBP(1,1)+GW(灰色世界法)只需要0.0021秒即可完成一帧图像的处理。
图4是本发明实施例在Gehler-Shi数据集下的验证结果。
与图3类似地,该图4中同样对比实验了传统各种学习算法(Learning-based)、各种非学习算法(Learning-free)以及本实施例中算法(Proposed)的实验结果。可以看出,本实施例中算法的处理时间(参照图中的Time列)为0.0018秒,相比其他各种非学习算法的处理时间均快了数十倍至数百倍,而处理效果也同样能维持在相对较好的水准(参照图中的Mean列以及Geo.Mean列)。
图5是本发明实施例中屏下摄像方法的流程图。
如图5所示,屏下摄像装置100中各部的处理过程也可以对应为一种屏下摄像方法,具体包括如下步骤:
步骤S1,获取摄像头11拍摄的拍摄视频并从中逐帧获取图像帧作为当前图像,然后进入步骤S2;
步骤S2,对当前图像进行等距降采样从而形成降采样图像,然后进入步骤S3;
步骤S3,从降采样图像中去除饱和像素,并将该降采样图像的色彩通道信息转化为预定的储存位数从而形成预处理图像,然后进入步骤S4;
步骤S4,将预处理图像等分成若干个矩形块,并逐块从矩形块中选取预定数量个高亮像素,进一步将所有高亮像素以及当前帧前的a个图像帧对应的所有高亮像素作为对应当前图像的高亮像素集合,然后进入步骤S5;
步骤S5,基于高亮像素集合,通过预定的灰色世界处理法估计出当前图像中的光源,然后进入步骤S6;
步骤S6,利用光源对当前图像进行颜色校正得到当前帧的校正图像,然后进入步骤S7;
步骤S7,重复步骤S1至S6得到对应每一帧视频帧的校正图像,并将该校正图像逐帧进行合并形成输出视频,进一步将该输出视频进行输出,直到拍摄视频的所有视频帧均被处理完毕后进入结束状态。
实施例作用与效果
根据本实施例提供的屏下摄像装置及方法,由于在对摄像头拍摄得到拍摄视频中每一帧图像进行处理时,通过等距降采样的进行降采样处理,并在降采样图像的基础上进行后续的颜色校正处理,因此可以在几乎不损失算法准确性的情况下,极大地节约了计算成本并降低每一帧的运行处理耗时,从而能够实时地在手机上进行视频白平衡处理。还由于在颜色校正处理过程中,首先将当前图像划分为多个矩形块,并从中逐块选取高亮像素,因此,既有效利用了画面中高亮区域能较好地描述光源色彩的特点,又纳入了空间信息,较为分散地选取高亮像素,从而更准确地反映了图像的整体光源信息。
事实上,本发明在光源估计标准数据集NUS 8-Camera数据集上取得了2.76°(1.99°)的平均(中位)角误差(angular error),是当前最好的非学习光源估计算法。通过这种准确的光源,本发明即可有效地取出拍摄视频中由半透明屏的屏幕光与环境光共同产生的混合色偏,从而使得设置在屏幕后方的摄像头也能正常地完成拍摄任务,真正地实现屏下摄像。
<变形例一>
本变形例一中,对于与实施例一具有同样结构的构成要素赋予同样的符号并省略相应的说明。
与实施例一相比,本变形例一中光源估计部采用的灰色世界处理法为灰色阴影法(Shades of Gray,SoG),具体地:
将选取像素各色彩通道的Lp范数作为估计光源I=(IR,IG,IB):
这种方式同样可以准确、快速地估计出光源并实现拍摄视频的颜色校正,采用灰色阴影法的算法效果可以参见图3中PBP(1,1)+SoG的实验结果。
<变形例二>
本变形例二中,对于与实施例一具有同样结构的构成要素赋予同样的符号并省略相应的说明。
与实施例一相比,本变形例二中光源估计部采用的灰色世界处理法为灰色世界法(General Gray World,GGW),该方法具体为:
在高亮像素选取部24选取高亮像素之前先对预处理后的图片进行高斯滤波,再由高亮像素选取部24进行高亮像素的选取。之后再将选取像素各色彩通道的Lp范数作为估计光源。
这种方式同样可以准确、快速地估计出光源并实现拍摄视频的颜色校正,采用灰色世界法的算法效果可以参见图3中PBP(1,1)+GGW的实验结果。
<变形例三>
本变形例三中,对于与实施例一具有同样结构的构成要素赋予同样的符号并省略相应的说明。
与实施例一相比,本变形例二中光源估计部采用的灰色世界处理法为灰色边缘法(Gray Edge,GE),该方法具体为:
在高亮像素选取部24选取高亮像素之前先对预处理后的图片进行高斯滤波和计算一阶(或二阶)梯度,再由高亮像素选取部24进行高亮像素的选取。之后再将选取像素各色彩通道的Lp范数作为估计光源。
这种方式同样可以准确、快速地估计出光源并实现拍摄视频的颜色校正,采用灰色世界法的算法效果可以参见图3中PBP(1,1)+GE1和PBP(1,1)+GE2的实验结果。
上述实施例仅用于举例说明本发明的具体实施方式,而本发明不限于上述实施例的描述范围。
例如,在上述实施例所涉及的图1中,摄像头设置在屏幕的后方中央,在本发明的其他方案中,摄像头也可以设置在屏幕后方的任意位置。另外,采用本发明算法的摄像头也是可以应用在传统的刘海带、摄像孔等结构中的,从而通过本发明算法对这些结构中因为屏幕发散出的散射光进行有效的过滤。
再例如,上述实施例的屏下摄像系统应用在智能手机中,在本发明的其他方案中,该屏下摄像系统也可以应用在其他产品中,如计算机、平板、或是其他带屏幕的电子产品等。
Claims (9)
1.一种基于压缩感知白平衡算法的屏下摄像装置,其特征在于,包括:
半透明屏幕;
摄像头,设置在所述半透明屏幕的后方,用于透过正在工作发光的所述半透明屏幕进行拍摄从而得到拍摄视频;以及
处理器,与所述摄像头相通信连接,
其中,所述处理器具有:
当前图像获取部,用于获取所述拍摄视频并从中逐帧获取图像帧作为当前图像;
等距离降采样部,对所述当前图像进行等距降采样从而形成降采样图像;
储存位数转换部,从所述降采样图像中去除饱和像素,并将该降采样图像的色彩通道信息转化为预定的储存位数从而形成预处理图像;
高亮像素选取部,将所述预处理图像等分成若干个矩形块,并逐块从所述矩形块中选取预定数量个高亮像素,进一步将所有所述高亮像素以及当前帧前的a个所述图像帧对应的所有所述高亮像素作为对应所述当前图像的高亮像素集合;
光源估计部,基于所述高亮像素集合,通过预定的灰色世界处理法估计出所述当前图像中的光源;
颜色校正部,利用所述光源对所述当前图像进行颜色校正得到当前帧的校正图像;以及
视频合成输出部,将校正图像逐帧进行合并形成输出视频并进行输出。
2.根据权利要求1所述的基于压缩感知白平衡算法的屏下摄像装置,其特征在于:
其中,所述高亮像素选取部具有:
矩形块划分单元,根据所述预处理图像的分辨率,将所述预处理图像等分成m×n个矩形块Fi,i∈{1,2,…,mn};
总亮度计算单元,计算所述预处理图像的总亮度L,该总亮度L为所述预处理图像F中所有像素的亮度的q次幂之和,即:
式中,第k个像素的亮度lk为其RGB通道的数值和:lk=Rk+Gk+Bk;
总采样数计算单元,根据预定的采样率σ∈(0,1),计算所述预处理图像中像素的总采样数Nσ,使Nσ=Nσ,其中N是图片中的总像素数;
矩形块采样数计算单元,分别将每个所述矩形块的像素的采样数Ni正比于该矩形块的亮度Li,即Ni=LiNσ/L;
高亮像素选定单元,分别对每个所述矩形块逐块按照所述采样数Ni选取亮度最高的像素作为所述高亮像素;以及
高亮像素集合获取单元,获取所述当前图像中所有的所述高亮像素,并将其与当前帧前的a个所述图像帧对应的所有所述高亮像素作为对应所述当前图像的高亮像素集合。
3.根据权利要求1所述的基于压缩感知白平衡算法的屏下摄像装置,其特征在于:
其中,所述等距离降采样部具有:
降采样间隔存储单元,存储有预先设定的降采样间隔r;以及
降采样图像获取单元,将所述当前图像根据所述降采样间隔r不重叠地划分成规格为(r,r)的多个块,并在每个块中选择一个像素点,进一步将这些被选择的像素点构成所述降采样图像。
4.根据权利要求1所述的基于压缩感知白平衡算法的屏下摄像装置,其特征在于:
其中,所述储存位数转换部具有:
饱和像素取出单元,从所述降采样图像中筛选出任一色彩通道的数值超过预定界限T的像素,并将该像素各通道的数值变为0;以及
图片储存位数转化单元,确定所述降采样图像的单色彩通道信息所花比特数,并在该比特数超过预定比特时将所述单色彩通道信息转化为所述预定比特储存。
5.根据权利要求1所述的基于压缩感知白平衡算法的屏下摄像装置,其特征在于:
其中,所述预定比特为8比特。
7.根据权利要求1所述的基于压缩感知白平衡算法的屏下摄像装置,其特征在于:
其中,所述灰色世界处理法为灰色世界法、灰色阴影法、一般灰色世界法以及灰色边缘法中的任意一种。
8.根据权利要求1所述的基于压缩感知白平衡算法的屏下摄像装置,其特征在于:
其中,所述半透明屏幕为智能手机、计算机或是平板电脑的屏幕。
9.一种基于压缩感知白平衡算法的屏下摄像方法,用于对设置在正在工作发光的半透明屏幕后方的摄像头透过该半透明屏幕拍摄得到拍摄视频进行校正处理,其特征在于,包括如下步骤:
步骤S1,获取所述拍摄视频并从中逐帧获取图像帧作为当前图像;
步骤S2,对所述当前图像进行等距降采样从而形成降采样图像;
步骤S3,从所述降采样图像中去除饱和像素,并将该降采样图像的色彩通道信息转化为预定的储存位数从而形成预处理图像;
步骤S4,将所述预处理图像等分成若干个矩形块,并逐块从所述矩形块中选取预定数量个高亮像素,进一步将所有所述高亮像素以及当前帧前的a个所述图像帧对应的所有所述高亮像素作为对应所述当前图像的高亮像素集合;
步骤S5,基于所述高亮像素集合,通过预定的灰色世界处理法估计出所述当前图像中的光源;
步骤S6,利用所述光源对所述当前图像进行颜色校正得到当前帧的校正图像;
步骤S7,将校正图像逐帧进行合并形成输出视频并进行输出。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011621953.1A CN114697483B (zh) | 2020-12-31 | 2020-12-31 | 基于压缩感知白平衡算法的屏下摄像装置及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011621953.1A CN114697483B (zh) | 2020-12-31 | 2020-12-31 | 基于压缩感知白平衡算法的屏下摄像装置及方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114697483A true CN114697483A (zh) | 2022-07-01 |
CN114697483B CN114697483B (zh) | 2023-10-10 |
Family
ID=82134535
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011621953.1A Active CN114697483B (zh) | 2020-12-31 | 2020-12-31 | 基于压缩感知白平衡算法的屏下摄像装置及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114697483B (zh) |
Citations (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1835600A (zh) * | 2005-03-14 | 2006-09-20 | 华宇电脑股份有限公司 | 白平衡方法 |
JP2010177917A (ja) * | 2009-01-28 | 2010-08-12 | Acutelogic Corp | ホワイトバランス調整装置、ホワイトバランス調整方法、及びホワイトバランス調整プログラム |
CN102209246A (zh) * | 2011-05-23 | 2011-10-05 | 北京工业大学 | 一种实时视频白平衡处理系统 |
CN102404582A (zh) * | 2010-09-01 | 2012-04-04 | 苹果公司 | 用于自动白平衡处理的灵活的颜色空间选择 |
JP2012124666A (ja) * | 2010-12-07 | 2012-06-28 | Canon Inc | 画像処理装置及び画像処理装置の制御方法 |
CN103313068A (zh) * | 2013-05-29 | 2013-09-18 | 山西绿色光电产业科学技术研究院(有限公司) | 基于灰边缘约束灰世界的白平衡校正图像处理方法及装置 |
CN103929632A (zh) * | 2014-04-15 | 2014-07-16 | 浙江宇视科技有限公司 | 一种自动白平衡校正方法以及装置 |
CN107545550A (zh) * | 2017-08-25 | 2018-01-05 | 安庆师范大学 | 细胞图像偏色校正方法 |
CN107578390A (zh) * | 2017-09-14 | 2018-01-12 | 长沙全度影像科技有限公司 | 一种使用神经网络进行图像白平衡校正的方法及装置 |
CN108156383A (zh) * | 2017-12-29 | 2018-06-12 | 清华大学 | 基于相机阵列的高动态十亿像素视频采集方法及装置 |
CN109788268A (zh) * | 2018-12-25 | 2019-05-21 | 努比亚技术有限公司 | 终端及其白平衡校正控制方法、及计算机可读存储介质 |
GB201908521D0 (en) * | 2019-06-13 | 2019-07-31 | Spectral Edge Ltd | Image white balance processing system and method |
CN110211065A (zh) * | 2019-05-23 | 2019-09-06 | 九阳股份有限公司 | 一种食材图像的颜色校正方法和装置 |
CN110493585A (zh) * | 2019-09-19 | 2019-11-22 | 天津英田视讯科技有限公司 | 基于自动白平衡后再手动白平衡叠加效果的方法 |
CN111107330A (zh) * | 2019-12-05 | 2020-05-05 | 华侨大学 | 一种Lab空间的偏色校正方法 |
-
2020
- 2020-12-31 CN CN202011621953.1A patent/CN114697483B/zh active Active
Patent Citations (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1835600A (zh) * | 2005-03-14 | 2006-09-20 | 华宇电脑股份有限公司 | 白平衡方法 |
JP2010177917A (ja) * | 2009-01-28 | 2010-08-12 | Acutelogic Corp | ホワイトバランス調整装置、ホワイトバランス調整方法、及びホワイトバランス調整プログラム |
CN102404582A (zh) * | 2010-09-01 | 2012-04-04 | 苹果公司 | 用于自动白平衡处理的灵活的颜色空间选择 |
JP2012124666A (ja) * | 2010-12-07 | 2012-06-28 | Canon Inc | 画像処理装置及び画像処理装置の制御方法 |
CN102209246A (zh) * | 2011-05-23 | 2011-10-05 | 北京工业大学 | 一种实时视频白平衡处理系统 |
CN103313068A (zh) * | 2013-05-29 | 2013-09-18 | 山西绿色光电产业科学技术研究院(有限公司) | 基于灰边缘约束灰世界的白平衡校正图像处理方法及装置 |
CN103929632A (zh) * | 2014-04-15 | 2014-07-16 | 浙江宇视科技有限公司 | 一种自动白平衡校正方法以及装置 |
CN107545550A (zh) * | 2017-08-25 | 2018-01-05 | 安庆师范大学 | 细胞图像偏色校正方法 |
CN107578390A (zh) * | 2017-09-14 | 2018-01-12 | 长沙全度影像科技有限公司 | 一种使用神经网络进行图像白平衡校正的方法及装置 |
CN108156383A (zh) * | 2017-12-29 | 2018-06-12 | 清华大学 | 基于相机阵列的高动态十亿像素视频采集方法及装置 |
CN109788268A (zh) * | 2018-12-25 | 2019-05-21 | 努比亚技术有限公司 | 终端及其白平衡校正控制方法、及计算机可读存储介质 |
CN110211065A (zh) * | 2019-05-23 | 2019-09-06 | 九阳股份有限公司 | 一种食材图像的颜色校正方法和装置 |
GB201908521D0 (en) * | 2019-06-13 | 2019-07-31 | Spectral Edge Ltd | Image white balance processing system and method |
CN110493585A (zh) * | 2019-09-19 | 2019-11-22 | 天津英田视讯科技有限公司 | 基于自动白平衡后再手动白平衡叠加效果的方法 |
CN111107330A (zh) * | 2019-12-05 | 2020-05-05 | 华侨大学 | 一种Lab空间的偏色校正方法 |
Non-Patent Citations (3)
Title |
---|
巢琳;杨鸣;: "基于图像偏色检测的自动白平衡算法研究", 移动通信, no. 08 * |
缪仁拉;郑馨;江伟;: "基于Lab空间的白细胞图像偏色校正算法", 电子世界, no. 15 * |
谷元保, 付宇卓: "一种基于灰度世界模型自动白平衡方法", 计算机仿真, no. 09 * |
Also Published As
Publication number | Publication date |
---|---|
CN114697483B (zh) | 2023-10-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110445988B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
US9613408B2 (en) | High dynamic range image composition using multiple images | |
US7551797B2 (en) | White balance adjustment | |
JP6395810B2 (ja) | 動きゴーストフィルタリングのための基準画像選択 | |
Battiato et al. | Exposure correction for imaging devices: an overview | |
WO2020034737A1 (zh) | 成像控制方法、装置、电子设备以及计算机可读存储介质 | |
JP4234195B2 (ja) | 画像分割方法および画像分割システム | |
US20070047803A1 (en) | Image processing device with automatic white balance | |
CN110619593B (zh) | 一种基于动态场景的双曝光视频成像系统 | |
US20120127336A1 (en) | Imaging apparatus, imaging method and computer program | |
CN103888667B (zh) | 摄像设备及其控制方法 | |
KR20150109177A (ko) | 촬영 장치, 그 제어 방법, 및 컴퓨터 판독가능 기록매체 | |
WO2020034701A1 (zh) | 成像控制方法、装置、电子设备以及可读存储介质 | |
CN103797782A (zh) | 图像处理装置、程序 | |
CN110047060B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
JP2018006912A (ja) | 撮像装置、画像処理装置及びそれらの制御方法、プログラム | |
WO2021175116A1 (zh) | 拍摄场景识别控制方法、装置及拍摄设备 | |
JP2015144475A (ja) | 撮像装置、撮像装置の制御方法、プログラム及び記憶媒体 | |
CN114820405A (zh) | 图像融合方法、装置、设备及计算机可读存储介质 | |
KR20180132210A (ko) | 컬러반응곡선을 이용한 hdr 영상 생성방법, hdr 영상 생성장치, 카메라 및 기록매체 | |
US20200304723A1 (en) | Image processing device, imaging apparatus, image processing method, and program | |
CN107682611B (zh) | 对焦的方法、装置、计算机可读存储介质和电子设备 | |
JP2014179920A (ja) | 撮像装置及びその制御方法、プログラム、並びに記憶媒体 | |
US10867392B2 (en) | Spatially multiplexed exposure | |
JP2010011153A (ja) | 撮像装置、撮像方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |