CN114845095A - 一种基于灰点漂移的视频白平衡方法 - Google Patents

一种基于灰点漂移的视频白平衡方法 Download PDF

Info

Publication number
CN114845095A
CN114845095A CN202210317968.1A CN202210317968A CN114845095A CN 114845095 A CN114845095 A CN 114845095A CN 202210317968 A CN202210317968 A CN 202210317968A CN 114845095 A CN114845095 A CN 114845095A
Authority
CN
China
Prior art keywords
light source
image
frame
estimation
gray
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210317968.1A
Other languages
English (en)
Other versions
CN114845095B (zh
Inventor
张磊
孙心桐
黄华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Technology BIT
Original Assignee
Beijing Institute of Technology BIT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Technology BIT filed Critical Beijing Institute of Technology BIT
Priority to CN202210317968.1A priority Critical patent/CN114845095B/zh
Publication of CN114845095A publication Critical patent/CN114845095A/zh
Application granted granted Critical
Publication of CN114845095B publication Critical patent/CN114845095B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/73Colour balance circuits, e.g. white balance circuits or colour temperature control

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Processing Of Color Television Signals (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

本发明涉及一种基于灰点漂移的视频白平衡方法,属于图像处理中的颜色恒常性与白平衡技术领域。本方法在光源估计的过程中,除图像本身的单帧光源估计,同时考虑了其相邻帧图像的光源估计、稳定视频的颜色。通过加权融合的方式调整已有估计和单帧估计的比例,使视频白平衡结果兼顾正确性与稳定性。在融合权重的确定时,除了考虑相邻帧图像间对应灰点的颜色差异,同时考虑了相邻帧图像间单帧光源估计的颜色差异,只有两者皆较大时才认为拍摄条件发生了显著的光源变化,使用新的单帧估计,否则继续沿用之前的光源估计,其能够降低单帧估计的错误与灰点漂移估计的错误对最终结果的影响,同时也适应拍摄条件发生确实突变的情况,提高了算法的自适应性。

Description

一种基于灰点漂移的视频白平衡方法
技术领域
本发明涉及一种视频白平衡方法,具体涉及一种基于灰点漂移的视频白平衡方法,属于图像处理中的颜色恒常性与白平衡技术领域。
背景技术
颜色恒常性(Color Constancy),是指当照射物体表面的颜色光发生变化时,人们对该物体表面颜色的知觉仍然保持不变的知觉特性。白平衡(White Balance),是使图像传感器具有颜色恒常性的重要方式,其基本概念是:无论在何种光源下,都将白色的物体还原为白色。对于非标准白色光源下拍摄时发生的偏色现象,可以通过补色的方式将所拍摄物体的颜色校正为其固有颜色。
图像白平衡的实现方式,通常是估计所拍摄图像的光源颜色,按照将所估计的光源颜色校正为白色的方式校正图像的颜色。对于视频,通常将图像的白平衡方法独立地应用于视频的每一帧图像上,得到视频的白平衡结果。但是,在实际应用中,由于光照、场景等因素的变化,各帧独立白平衡的方式通常导致视频白平衡结果的颜色产生不自然的时序变化。由于图像白平衡方法普遍缺乏鲁棒性,拍摄条件的微小改变可能会引起较大的光源估计差异,这使得视频中对连续拍摄的场景的颜色校正产生差异,造成视频颜色的不稳定,影响视频白平衡的性能。
对于白平衡这一普遍而经典的问题,国内外技术人员已经做了大量的研究。通常,白平衡可大致分为两类:基于统计先验假设的方法和基于学习的方法。
基于统计先验假设的方法,以灰色世界法(G.Buchsbaum,A spatial processormodel for object colour perception[J].Journal of the Franklin Institute,vol.310,no.1,pp.1–26,1980)为代表,通过观察等方式提出某种先验假设,将图像中的特定统计特征与光源颜色估计相联系。该类方法可以显式地对图像的光源颜色进行直接求解,对于不同种类的图像具有良好的泛用性。但是,该类方法所提取的图像特征单一,在光源颜色估计的正确性方面存在一定的局限。
基于学习的方法,以卷积颜色恒常网络CCC(J.T.Barron,Convolutional colorconstancy[C],Proceedings of the IEEE International Conference on ComputerVision,pp.379-387,2015.)为代表,该类方法有效地挖掘了众多图像数据中的深层特征,构建从图像到光源颜色的映射。该类方法普遍在图像数据集上的光源颜色估计得到了较高的准确度。但是,在处理数据集以外的图像时,该类方法存在一定的泛化性不足的问题。同时,该类方法普遍需要较长的训练与学习时间,在一定程度上影响了实际应用时的测试与维护的花费。
对于视频图像,目前缺乏针对该类数据形式的白平衡研究。通常的视频白平衡方式是各帧独立地进行白平衡处理。然而,无论使用基于统计先验假设的方法,还是使用基于学习的方法,视频各帧的白平衡结果往往都存在一定的颜色不稳定现象。
发明内容
本发明的目的,是针对现有的视频白平衡方法存在的帧间颜色不一致的技术问题,创造性地提出一种基于灰点漂移的视频白平衡方法。本方法使其能够有效地追踪视频中灰色景物的移动,抵抗由于光照、场景等因素改变带来的光源颜色估计的不一致。本方法在维持白平衡准确的基础上,提高视频白平衡结果颜色的稳定性。
本发明的创新点在于:
首先,对于视频中第一帧图像使用图像白平衡算法得到初始光源颜色估计;通过角度误差计算第一帧图像的灰色指数,得到初始光源颜色估计所对应的灰点。
然后,计算灰点的平均值得到第一帧图像的最终光源颜色估计。对于其后的每一帧新拍摄的图像,通过图像白平衡算法得到该图像的单帧光源颜色估计;然后通过特征匹配方法获得该图像与上一帧图像之间的运动信息;通过运动信息计算出上一帧图像中的灰点在当前图像中的漂移位置,得到漂移灰点;得到漂移灰点后,计算其平均值得到漂移光源颜色估计;根据当前图像中的单帧光源估计、漂移光源估计,以及其上一帧图像的单帧光源估计、最终光源估计,计算对应光源颜色间的角度误差进而得到融合权重;然后将当前图像的单帧光源估计与上一帧图像的最终光源估计按照该权重进行融合,得到参考光源。
最后,计算相对于参考光源颜色的角度误差得到当前图像的灰色指数并选取灰点,将所选灰点的平均值作为当前图像的最终光源颜色估计。视频中每一帧图像的白平衡结果由其最终光源颜色估计得出,每一帧图像的单帧光源估计、最终光源估计被应用于其下一帧图像的白平衡计算中,通过递推的方式逐一完成视频帧的白平衡。
本发明采用以下技术方案实现:
一种基于灰点漂移的视频白平衡方法,包括以下步骤:
步骤1:获取第一帧图像的单帧光源估计Lk,0
具体地,可以通过灰色世界、CCC等图像白平衡算法,获取第一帧图像的单帧白平衡估计Lk,0
其中,k为新拍摄图像的帧序数,此时k=1;L为由R、G、B值所组成的行向量,表示光源颜色,下标“0”表示单帧估计。
步骤2:获取第一帧图像的灰点位置集合P与最终光源估计Lk,f
将步骤1的单帧光源估计Lk,0作为参考光源Lk,ref,根据角度误差计算第一帧图像中各像素的灰色指数,灰色指数GI由式1计算:
GI=arccos(Lk,ref,I) (1)
其中,arccos()表示计算两向量间的夹角;I为新拍摄图像中像素的R、G、B值的行向量,下标“ref”表示参考估计(reference)。
优选地,挑选出灰色指数值前0.1%小的像素,得到由众多灰点位置p构成的灰点位置集合P。其中,p=(x,y,1)′,包含像素横纵坐标x、y以及常数1的列向量,上标′表示向量的转置。
计算所选灰点的平均值,得到第一帧图像的最终光源估计Lk,f,其中下标“f”表示最终估计(final)。
步骤3:获取新的视频帧,并获取新拍摄图像的单帧光源估计。
采用与步骤1相同的图像白平衡算法,获取新拍摄图像的单帧白平衡估计Lk,0,此时k为新拍摄图像的实际帧序数。
步骤4:通过特征点检测方法检测特征关键点,根据关键点匹配估计相邻帧间运动。
分别对新拍摄图像和其上一帧图像进行特征点检测,并对特征点进行匹配,得到从上一帧到当前帧图像间的运动估计;
优选地,特征点检测采用SURF、SIFT等关键点检测器;
优选地,相邻帧之间运动由3×3的仿射矩阵Tk-1,k描述,由关键点匹配得到。
步骤5:对于新拍摄图像的上一帧图像中的每个所检灰点p∈P,通过式2计算灰点在新拍摄图像中的漂移位置:
ps=Tk,k-1p (2)
其中,ps为漂移灰点的位置向量;Tk-1,k表示从第k-1帧至第k帧的仿射矩阵。
在所有的漂移位置中,去除横纵坐标超过图像尺寸范围的位置。优选地,若剩余的漂移位置数量少于上一帧图像中所检灰点数量的一半,则取消该漂移位置计算结果,直接将上一帧图像中所检灰点的位置作为漂移位置。
步骤6:获取漂移光源估计Lk,s
计算步骤5中所得漂移位置处像素的平均值,得到漂移光源估计Lk,s,其中下标“s”表示漂移估计(shift)。
步骤7:计算最小角度误差θ:
θ=min{arccos(Lk,s,Lk-1,f),arccos(Lk,0,Lk-1,0)} (3)
其中,反三角函数arccos的计算结果的单位为角度(°);Lk,s为步骤6中得到的新拍摄图像的漂移光源估计;Lk-1,f为新拍摄图像的上一帧图像的最终光源估计;Lk,0和Lk-1,0分别为新拍摄图像和其上一帧图像的单帧光源估计,由步骤3计算得出;
步骤8:通过高斯函数计算融合权重w:
w=exp(-α·θ2) (4)
其中,α表示权重衰减系数,其控制权值w随最小角度误差θ增大的衰减速度。
作为优选,α取值为0.03。
步骤9:根据步骤8中得到的权重,对新拍摄图像的单帧光源估计和其上一帧图像的最终光源估计进行加权融合,通过如下融合公式得到参考光源Lk,ref
Lk,ref=w·norm(Lk-1,f)+(1-w)·norm(Lk,0) (5)
其中,norm(·)为归一化算子,其计算结果为归一化光源颜色向量。
步骤10:根据步骤9中所得参考光源Lk,ref,按照步骤2中式1计算新拍摄图像中各像素的灰色指数,得到新的灰点集合P。
步骤11:计算步骤10中所得的灰点的平均值,得到新拍摄图像的最终光源估计Lk,f
步骤12:重复步骤3至步骤11,得到新视频帧的最终光源估计,直至视频拍摄结束。
有益效果
本发明,对比现有技术,具有以下优点:
1.现有的各帧独立进行白平衡的方式,未能挖掘多个视频帧之间的相关性信息,而单帧白平衡的方法对光源与场景变化较为敏感,其所得视频白平衡结果容易产生颜色突变问题。
本发明克服了这一缺陷。在光源估计的过程中,除了图像本身的单帧光源估计,同时考虑了其相邻帧图像的光源估计,稳定视频的颜色。
2.尽管使用固定的白平衡参数的方法能够获得最为稳定的视频白平衡结果,但其仅适用于光源颜色固定的拍摄条件,且该方法的正确性完全依赖于初始光源估计的正确性。
本发明在沿用已有光源估计结果的同时,亦考虑了每一帧图像的单帧光源估计。通过加权融合的方式调整已有估计和单帧估计的比例,使得视频白平衡结果兼顾正确性与稳定性。
3.虽然以固定比例融合相邻帧光源估计的方式可以提升视频白平衡结果的颜色稳定性,但其对于视频颜色稳定性的提升效果有限,且缺乏自适应性。尤其是在个别帧的单帧光源估计严重偏离真实值时,其无法有效消除该情况下所造成的颜色突变。
本发明在融合权重的确定时,除了考虑相邻帧图像间对应灰点的颜色差异,同时亦考虑了相邻帧图像间单帧光源估计的颜色差异,只有两者皆较大时才认为拍摄条件发生了显著的光源变化,使用新的单帧估计,否则继续沿用之前的光源估计,其能够降低单帧估计的错误与灰点漂移估计的错误对最终结果的影响,同时也适应拍摄条件发生确实突变的情况,大大提高了算法的自适应性。
附图说明
图1是本发明基于灰点漂移的视频白平衡方法的结构流程图。
图2是图像中各像素的灰色指数示意图。
其中,子图a是待白平衡处理的原始RGB图像,子图b表示用于衡量像素固有颜色与灰色的接近程度的灰色指数。该灰色指数图中明亮的像素表示原始图像中的对应像素具有较大的灰色指数,认为其固有颜色与灰色的接近程度低。
具体实施方式
下面结合附图对本发明方法的实施方式做进一步详细说明。
一种基于灰点漂移的视频白平衡方法,包括以下步骤:
步骤1:获取第一帧图像的单帧光源估计Lk,0
图像的单帧光源估计仅由该图像本身得到。在未获取到更多图像时,单帧光源估计直接决定了第一帧图像的最终光源估计。根据不同需求,单帧光源估计结果的获取,可以采用任何适合的图像白平衡方法(如灰色世界法等)。
其中,k为新拍摄图像的帧序数,对于第一帧图像,k=1;L为由R、G、B值所组成的行向量,表示光源颜色。
步骤2:获取第一帧图像的灰点集合P与最终光源估计Lk,f
由于拍摄第一帧图像时并不存在其他已拍摄的图像,因此直接将步骤1所得的单帧光源估计Lk,0作为参考光源估计Lk,ref
对于第一帧图像,令参考光源Lk,ref=Lk,0,根据下式计算图像中各像素的灰色指数GI:
GI=arccos(Lk,refI)
其中,I为新拍摄图像中像素的R、G、B值的行向量;
灰色指数GI通过衡量颜色向量之间夹角大小的方式,描述了像素颜色与参考光源颜色的接近程度。灰色指数的值越小,表示像素颜色与参考光源颜色越接近。如图2中b所示。优选地,选取灰色指数值前0.1%小的像素作为所检灰点p,得到灰点集合P。
由此所选取的灰点的颜色与参考光源颜色最为接近,即当图像的颜色以参考光源颜色进行校准后,这些选取的像素的颜色最接近灰色。
当灰点检测完毕后,计算所选灰点的平均值,得到第一帧图像的最终光源估计Lk,f
图像最终的光源估计由所检测的灰点的平均值得出,其与参考光源的颜色相似,但有所不同。在使用参考光源进行灰点检测时,只能够选出与该参考光源颜色相近的像素,但并非完全相同。而最终光源颜色是由所检灰点计算出的,其与所检灰点的颜色的联系更为紧密,其相较于参考光源更适宜用作后续的漂移颜色差异计算。
步骤3:获取新的视频帧,并获取新拍摄图像的单帧光源估计。
对于除第一帧以外的新拍摄的图像,亦考虑其单帧光源估计对最终光源估计的影响。一般情况下,对于视频中的每一帧图像,会使用相同的单帧光源估计方法。对于新拍摄的视频帧,通过与步骤1相同的图像白平衡算法,获取新拍摄图像的单帧白平衡估计Lk,0,此时k为新拍摄图像的实际帧序数。
步骤4:通过特征点检测方法检测特征关键点,根据关键点匹配估计相邻帧间运动。
相邻帧间的运动估计有助于追踪灰点在视频中位置的时序漂移,从而避免因单帧光源估计不稳定导致的帧间所检灰点位于不同颜色物体上的情况。
灰点漂移的计算依靠图像间的运动估计,对新拍摄图像和其上一帧图像分别进行特征点检测,并对特征点进行匹配,得到从上一帧到当前帧图像间的运动估计。
较优的,利用SURF、SIFT等关键点检测器来检测特征点,并对特征点进行匹配,可获得相邻帧间运动由3×3的仿射变换矩阵Tk-1,k描述,由关键点匹配得到。
步骤5:对于新拍摄图像的上一帧图像中每个所检灰点位置p∈P,通过下式计算灰点在新拍摄图像中的漂移位置:
ps=Tk,k-1p
其中,ps为漂移灰点的位置向量。
图像间的运动估计应用于每一个灰点上,计算出上一帧图像中的灰点在当前帧图像中的漂移位置,从而找到帧间对应灰色物体上的像素。
在某些情况下,部分像素可能经漂移后位于图像范围之外,此时,需去除横纵坐标超过图像尺寸范围的位置。作为优选,若剩余的漂移位置数量少于上一帧图像中所检灰点数量的一半,则意味着大量灰点在视野中无对应像素,或是运动估计存在错误。为避免运动估计错误的情况,在相邻帧间景物移动较小的假设下,此时取消该漂移位置计算结果,直接将上一帧图像中所检灰点的位置作为漂移位置。
步骤6:获取漂移光源估计Lk,s
基于步骤5中所得漂移位置,实现了帧间灰点的对应。若运动估计无误,则对应的灰点亦对应于相同的物体;计算漂移位置处像素的平均值,得到漂移光源估计Lk,s,该估计使得帧间的最终光源估计趋于稳定。
如图1所示,由于输入均为新拍摄的图像,步骤3得出单帧光源估计的过程和步骤4至步骤6得出漂移光源估计的过程,可以并行执行。
步骤7:计算最小角度误差θ:
θ=min{arccos(Lk,s,Lk-1,f),arccos(Lk,0,Lk-1,0)}
其中,反三角函数arccos的计算结果的单位为角度(°);Lk,s为步骤6中得到的新拍摄图像的漂移光源估计;Lk-1,f为新拍摄图像的上一帧图像的最终光源估计;Lk,0和Lk-1,0分别为新拍摄图像和其上一帧图像的单帧光源估计,其由步骤3计算得出;
最小角度误差描述了相邻帧之间对应颜色估计的差异,其决定了后续的融合权重。视频白平衡颜色的不稳定主要源于单帧光源估计的不稳定,即相邻帧之间的单帧光源估计的差异较大。通过步骤4至步骤6得到的漂移光源估计与上一帧图像的最终光源估计依靠灰点漂移得到了对应,在光源颜色未发生突变且运动估计基本正确时,此两光源估计具有相似的颜色,此时应增大上一帧的最终光源估计的权重,使得以前的光源估计延用于当前图像,实现视频的颜色稳定。在某些情况下,运动估计可能亦会发生错误,造成帧间灰点错误地对应于不同颜色的物体,此时若相邻帧的单帧光源估计变化较小,亦可认为未发生光源颜色的突变,亦应延用之前的光源估计。当两对对应的光源估计均较大时,则有较大可能发生了光源颜色突变,此时不宜延用之前的光源估计,需以当前图像的单帧光源估计作为最终光源估计。
步骤8:通过下式的高斯函数计算融合权重w:
w=exp(-α·θ2)
其中,α表示权重衰减系数,其控制了权值w随最小角度误差θ增大的衰减速度;θ表示最小角度误差。
相较于设立阈值判断选择延用之前的光源估计或是使用新的单帧光源估计,将两者进行加权融合的方式更具自适应性。计算融合权重的函数需具有两个性质:值域为[0,1],权值随颜色差异单调递减。优选地,选取具有上述两性质的高斯函数计算权值,并设定系数α取值为0.03。
步骤9:根据步骤8中得到的权重对新拍摄图像的单帧光源估计和其上一帧图像的最终光源估计进行加权融合,通过如下融合公式得到参考光源:
Lk,ref=w·norm(Lk-1,f)+(1-w)·norm(Lk,0)
其中,norm(·)为归一化算子,其计算结果为归一化光源颜色向量。
归一化操作使得两光源颜色向量具有相同的模长,使得融合结果确实按照权重分配的比例对两光源颜色进行组合;融合结果的向量方向位于两光源颜色向量之间,实现视频颜色的稳定;
步骤10:根据步骤9得到的参考光源Lk,ref,按照步骤2计算新拍摄图像中各像素的灰色指数,得到新的灰点集合P。
步骤11:计算步骤10中所得的灰点的平均值,得到新拍摄图像的最终光源估计Lk,f
步骤12:重复步骤3至步骤11,得到新视频帧的最终光源估计,直至视频拍摄结束。
为了说明本发明的内容及实施方法,本说明书给出了一个具体实施例。在实施例中引入细节的目的不是限制权利要求书的范围,而是帮助理解本发明所述方法。本领域的技术人员应理解:在不脱离本发明及其所附权利要求的精神和范围内,对最佳实施例步骤的各种修改、变化或替换都是可能的。因此,本发明不应局限于最佳实施例及附图所公开的内容。

Claims (5)

1.一种基于灰点漂移的视频白平衡方法,其特征在于,包括以下步骤:
首先,对于视频中第一帧图像使用图像白平衡算法得到初始光源颜色估计;通过角度误差计算第一帧图像的灰色指数,得到初始光源颜色估计所对应的灰点;
然后,计算灰点的平均值,得到第一帧图像的最终光源颜色估计,对于其后的每一帧新拍摄的图像,通过图像白平衡算法得到该图像的单帧光源颜色估计;
之后,通过特征匹配方法获得该图像与上一帧图像之间的运动信息,通过运动信息计算出上一帧图像中的灰点在当前图像中的漂移位置,得到漂移灰点;当得到漂移灰点后,计算其平均值得到漂移光源颜色估计;
根据当前图像中的单帧光源估计、漂移光源估计,以及其上一帧图像的单帧光源估计、最终光源估计,计算对应光源颜色间的角度误差进而得到融合权重;将当前图像的单帧光源估计与上一帧图像的最终光源估计按照该权重进行融合,得到参考光源;
最后,计算相对于参考光源颜色的角度误差得到当前图像的灰色指数并选取灰点,将所选灰点的平均值作为当前图像的最终光源颜色估计;其中,视频中每一帧图像的白平衡结果由其最终光源颜色估计得出,每一帧图像的单帧光源估计、最终光源估计被应用于其下一帧图像的白平衡计算中,通过递推的方式逐一完成视频帧的白平衡。
2.如权利要求1所述的一种基于灰点漂移的视频白平衡方法,其特征在于:
步骤1:获取第一帧图像的单帧光源估计Lk,0,其中,k为新拍摄图像的帧序数,此时k=1;L为由R、G、B值所组成的行向量,表示光源颜色,下标“0”表示单帧估计;
步骤2:获取第一帧图像的灰点位置集合P与最终光源估计Lk,f
将步骤1的单帧光源估计Lk,0作为参考光源Lk,ref,根据角度误差计算第一帧图像中各像素的灰色指数,灰色指数GI由式1计算:
GI=arccos(Lk,refI) (1)
其中,arccos()表示计算两向量间的夹角;I为新拍摄图像中像素的R、G、B值的行向量,下标“ref”表示参考估计;
挑选出灰色指数值前0.1%小的像素,得到由灰点位置p构成的灰点位置集合P,其中,p=(x,y,1)′,包含像素横纵坐标x、y以及常数1的列向量,上标′表示向量的转置;
当灰点检测完毕后,计算所选灰点的平均值,得到第一帧图像的最终光源估计Lk,f,其中下标“f”表示最终估计;
步骤3:采用与步骤1相同的图像白平衡算法,获取新拍摄图像的单帧白平衡估计Lk,0,此时k为新拍摄图像的实际帧序数;
步骤4:分别对新拍摄图像和其上一帧图像进行特征点检测,并对特征点进行匹配,得到从上一帧到当前帧图像间的运动估计;
步骤5:对于新拍摄图像的上一帧图像中的每个所检灰点p∈P,通过式2计算灰点在新拍摄图像中的漂移位置:
ps=Tk,k-1p (2)
其中,ps为漂移灰点的位置向量;Tk-1,k表示从第k-1帧至第k帧的仿射矩阵;
在所有的漂移位置中,去除横纵坐标超过图像尺寸范围的位置;
步骤6:获取漂移光源估计Lk,s
计算步骤5中所得漂移位置处像素的平均值,得到漂移光源估计Lk,s,其中下标“s”表示漂移估计;
步骤7:计算最小角度误差θ:
θ=min{arccos(Lk,s,Lk-1,f),arccos(Lk,0,Lk-1,0)} (3)其中,反三角函数arccos的计算结果的单位为角度(°);Lk,s为步骤6中得到的新拍摄图像的漂移光源估计;Lk-1,f为新拍摄图像的上一帧图像的最终光源估计;Lk,0和Lk-1,0分别为新拍摄图像和其上一帧图像的单帧光源估计,由步骤3计算得出;
步骤8:通过高斯函数计算融合权重w:
w=exp(-α·θ2) (4)
其中,α表示权重衰减系数,其控制权值w随最小角度误差θ增大的衰减速度;
步骤9:根据步骤8中得到的权重,对新拍摄图像的单帧光源估计和其上一帧图像的最终光源估计进行加权融合,通过如下融合公式得到参考光源Lk,ref
Lk,ref=w·norm(Lk-1,f)+(1-w)·norm(Lk,0) (5)
其中,norm(·)为归一化算子,其计算结果为归一化光源颜色向量;
步骤10:根据步骤9中所得参考光源Lk,ref,按照步骤2中式1计算新拍摄图像中各像素的灰色指数,得到新的灰点集合P;
步骤11:计算步骤10中所得的灰点的平均值,得到新拍摄图像的最终光源估计Lk,f
步骤12:重复步骤3至步骤11,得到新视频帧的最终光源估计,直至视频拍摄结束。
3.如权利要求2所述的一种基于灰点漂移的视频白平衡方法,其特征在于,步骤4中,相邻帧之间运动由3×3的仿射矩阵Tk-1,k描述,由关键点匹配得到。
4.如权利要求2所述的一种基于灰点漂移的视频白平衡方法,其特征在于,步骤5中,若剩余的漂移位置数量少于上一帧图像中所检灰点数量的一半,则取消该漂移位置计算结果,直接将上一帧图像中所检灰点的位置作为漂移位置。
5.如权利要求2所述的一种基于灰点漂移的视频白平衡方法,其特征在于,步骤8中,α取值为0.03。
CN202210317968.1A 2022-03-29 2022-03-29 一种基于灰点漂移的视频白平衡方法 Active CN114845095B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210317968.1A CN114845095B (zh) 2022-03-29 2022-03-29 一种基于灰点漂移的视频白平衡方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210317968.1A CN114845095B (zh) 2022-03-29 2022-03-29 一种基于灰点漂移的视频白平衡方法

Publications (2)

Publication Number Publication Date
CN114845095A true CN114845095A (zh) 2022-08-02
CN114845095B CN114845095B (zh) 2023-04-07

Family

ID=82564332

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210317968.1A Active CN114845095B (zh) 2022-03-29 2022-03-29 一种基于灰点漂移的视频白平衡方法

Country Status (1)

Country Link
CN (1) CN114845095B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102209246A (zh) * 2011-05-23 2011-10-05 北京工业大学 一种实时视频白平衡处理系统
US20140125836A1 (en) * 2012-11-05 2014-05-08 Nvidia Corporation Robust selection and weighting for gray patch automatic white balancing
CN106791756A (zh) * 2017-01-17 2017-05-31 维沃移动通信有限公司 一种多媒体数据处理方法及移动终端
CN113301318A (zh) * 2021-05-24 2021-08-24 展讯半导体(南京)有限公司 图像的白平衡处理方法、装置、存储介质及终端

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102209246A (zh) * 2011-05-23 2011-10-05 北京工业大学 一种实时视频白平衡处理系统
US20140125836A1 (en) * 2012-11-05 2014-05-08 Nvidia Corporation Robust selection and weighting for gray patch automatic white balancing
CN106791756A (zh) * 2017-01-17 2017-05-31 维沃移动通信有限公司 一种多媒体数据处理方法及移动终端
CN113301318A (zh) * 2021-05-24 2021-08-24 展讯半导体(南京)有限公司 图像的白平衡处理方法、装置、存储介质及终端

Also Published As

Publication number Publication date
CN114845095B (zh) 2023-04-07

Similar Documents

Publication Publication Date Title
CN109063694B (zh) 一种视频目标检测识别方法
US9916646B2 (en) System and method for processing input images before generating a high dynamic range image
US7986813B2 (en) Object pose estimation and comparison system using image sharpness differences, object pose estimation and comparison method using image sharpness differences, and program therefor
EP0810776B1 (en) Image combining apparatus and method
JP5205007B2 (ja) 光源推定方法および装置
US8289402B2 (en) Image processing apparatus, image pickup apparatus and image processing method including image stabilization
JP4556873B2 (ja) 画像照合システム及び画像照合方法
CN102385753B (zh) 一种基于光照分类的自适应图像分割方法
JP5012413B2 (ja) ジッタの推定方法およびジッタを推定する装置
US7593043B2 (en) Image processing device and white balance adjustment device
CN108765455B (zh) 一种基于tld算法的目标稳定跟踪方法
US20070047824A1 (en) Method, apparatus, and program for detecting faces
JP5476264B2 (ja) カメラトラッキング装置およびそのプログラム
Dharejo et al. A color enhancement scene estimation approach for single image haze removal
WO2012027904A1 (zh) 从照片合成肖像素描的系统和方法
CN110796691A (zh) 一种基于形状上下文和hog特征的异源图像配准方法
CN111091582A (zh) 一种基于深度神经网络的单视觉目标跟踪算法及系统
CN109754440A (zh) 一种基于全卷积网络和均值漂移的阴影区域检测方法
US20110085026A1 (en) Detection method and detection system of moving object
CN108320295B (zh) 一种基于自适应阈值时空信息的旧电影斑点噪声检测方法
CN114845095B (zh) 一种基于灰点漂移的视频白平衡方法
US20150186373A1 (en) Method for sorting a group of images of a database and method for color correcting an image, corresponding devices, computer program and non-transitory computer readable medium
CN112861645A (zh) 红外摄像头弱光环境补偿方法、装置及电子设备
JP5327766B2 (ja) デジタル画像における記憶色の修正
CN112508168B (zh) 基于预测框自动修正的边框回归神经网络构建方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant