CN115334295A - 图像白平衡处理方法及电子设备 - Google Patents
图像白平衡处理方法及电子设备 Download PDFInfo
- Publication number
- CN115334295A CN115334295A CN202210958900.1A CN202210958900A CN115334295A CN 115334295 A CN115334295 A CN 115334295A CN 202210958900 A CN202210958900 A CN 202210958900A CN 115334295 A CN115334295 A CN 115334295A
- Authority
- CN
- China
- Prior art keywords
- point
- image
- white
- gain
- processed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 14
- 238000000034 method Methods 0.000 claims abstract description 67
- 238000012545 processing Methods 0.000 claims abstract description 44
- 230000002776 aggregation Effects 0.000 claims description 65
- 238000004220 aggregation Methods 0.000 claims description 65
- 238000004590 computer program Methods 0.000 claims description 18
- 238000009826 distribution Methods 0.000 claims description 18
- 230000000903 blocking effect Effects 0.000 claims description 5
- 238000012360 testing method Methods 0.000 claims description 4
- 238000003860 storage Methods 0.000 abstract description 11
- 230000008569 process Effects 0.000 description 24
- 238000010586 diagram Methods 0.000 description 15
- 239000000463 material Substances 0.000 description 15
- 238000001514 detection method Methods 0.000 description 11
- 230000000694 effects Effects 0.000 description 11
- 238000004422 calculation algorithm Methods 0.000 description 9
- 238000004364 calculation method Methods 0.000 description 9
- 230000008859 change Effects 0.000 description 8
- 230000006870 function Effects 0.000 description 8
- 230000000007 visual effect Effects 0.000 description 6
- 230000004044 response Effects 0.000 description 5
- 239000003086 colorant Substances 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 230000016776 visual perception Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000010355 oscillation Effects 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000001028 reflection method Methods 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/73—Colour balance circuits, e.g. white balance circuits or colour temperature control
Abstract
本申请适用于图像处理技术领域,提供了一种图像白平衡处理方法、电子设备及计算机可读存储介质,该方法包括:基于获取到的待处理图像的各颜色通道值,确定所述待处理图像在标准色温区域坐标系中的落点;根据所述落点的位置和数量确定所述待处理图像的调整策略,所述调整策略包括白区调整策略或非白区调整策略;基于所述白区调整策略或所述非白区调整策略确定各颜色通道的增益值,并基于所述增益值对所述待处理图像进行白平衡处理。通过本申请实施例,可以提高确定增益点的准确度,降低出现画面偏色的概率。
Description
技术领域
本申请属于图像处理技术领域,尤其涉及一种图像白平衡处理方法及电子设备。
背景技术
白平衡是数字图像处理领域中的一个非常重要的概念,是保证色彩还原和色调处理质量的前提。网络摄像机的白平衡功能是为了匹配人眼视觉系统对于物体在不同光源下的色适应能力而设计的。摄像机的传感器并不具备人眼那样可以应对复杂光源环境的色适应功能,需要对不同光源下的场景图像进行色彩调整,从而匹配人眼的视觉感知。自动白平衡算法的设计是为了实现在一定色温范围的光源条件下,摄像机镜头所拍摄的标准白色自动地进行色彩通道调整,使之成像后不因光源色温影响而仍然呈现为白色。
目前,传统的图像白平衡处理方法主要采用基于事先确定图像中白点的判断条件,检测并确定白点以及白点分布;例如将图像转换至YCbCr颜色空间做白点检测的方法、事先确定了白点判断条件,将计算的红蓝色差与该条件进行对比确定白点,或者对准白区范围内所有的点做统计平均确定增益点;由于应用场景的多样性及特殊化,传统的图像白平衡处理方法确定的增益点准确度较低,导致白平衡处理后的画面容易出现偏色。
发明内容
本申请实施例提供了一种图像白平衡处理方法、电子设备及计算机可读存储介质,可以提高确定增益点的准确度,降低出现画面偏色的概率。
第一方面,本申请提供了一种图像白平衡处理方法,该方法可以包括:
基于获取到的待处理图像的各颜色通道值,确定所述待处理图像在标准色温区域坐标系中的落点;
根据所述落点的位置和数量确定所述待处理图像的调整策略,所述调整策略包括白区调整策略或非白区调整策略;
基于所述白区调整策略或所述非白区调整策略确定各颜色通道的增益值,并基于所述增益值对所述待处理图像进行白平衡处理。
第二方面,本申请提供了一种图像白平衡处理装置,该装置可以包括:
识别单元,用于基于获取到的待处理图像的各颜色通道值,确定所述待处理图像在标准色温区域坐标系中的落点;
处理单元,用于根据所述落点的位置和数量确定所述待处理图像的调整策略,所述调整策略包括白区调整策略或非白区调整策略;
调整单元,用于基于所述白区调整策略或所述非白区调整策略确定各颜色通道的增益值,并基于所述增益值对所述待处理图像进行白平衡处理。
第三方面,本申请提供了一种电子设备,该电子设备可以包括:存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现第一方面所述的方法。
第四方面,本申请提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现第一方面所述的方法。
第五方面,本申请提供了一种计算机程序产品,当计算机程序产品在电子设备上运行时,使得所述电子设备执行上述第一方面所述的方法。
可以理解的是,上述第二方面至第五方面的有益效果可以参见第一方面中的相关描述,在此不再赘述。
本申请与现有技术相比存在的有益效果是:通过本申请,对获取到的待处理图像计算对应的落点;根据所述落点的位置和数量确定所述待处理图像的调整策略,所述调整策略包括白区调整策略或非白区调整策略;基于所述白区调整策略或所述非白区调整策略确定各颜色通道的增益值,并基于所述增益值对所述待处理图像进行白平衡处理;本申请实施例基于不同的白区调整策略以及非白区调整策略,可以提高用于确定增益值的落点的准确度,从而基于该增益值对图像进行白平衡处理,使得经过白平衡处理后的图像显示效果更好,更符合人眼视觉感知,降低出现画面偏色的概率;具有较强的易用性与实用性。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的图像白平衡处理的整体流程架构的示意图;
图2是本申请实施例提供的图像白平衡处理方法的流程示意图;
图3是本申请实施例提供的标准色温区域坐标系划分示意图;
图4是本申请实施例提供的图像分块处理示意图;
图5是本申请实施例提供的聚集框扫描滑动示意图;
图6是本申请实施例提供的极端色温区域的示意图;
图7是本申请实施例提供的极端色温场景的示意图;
图8是本申请实施例提供的白平衡处理图像对比的示意图;
图9是本申请实施例提供的图像白平衡处理装置的结构示意图;
图10是本申请实施例提供的电子设备的结构示意图。
具体实施方式
以下描述中,为了说明而不是为了限定,提出了诸如特定系统结构、技术之类的具体细节,以便透彻理解本申请实施例。然而,本领域的技术人员应当清楚,在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中,省略对众所周知的系统、装置、电路以及方法的详细说明,以免不必要的细节妨碍本申请的描述。
应当理解,当在本申请说明书和所附权利要求书中使用时,术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在,但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解,在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合,并且包括这些组合。
如在本申请说明书和所附权利要求书中所使用的那样,术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地,短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
另外,在本申请说明书和所附权利要求书的描述中,术语“第一”、“第二”、“第三”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此,在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例,而是意味着“一个或多个但不是所有的实施例”,除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”,除非是以其他方式另外特别强调。
目前,在图像处理领域有多种经典算法可实现图像的自动白平衡调整,如灰度世界法、完美反射法、白点检测法、色温估计法、色域映射法、色相关法等。其中,白点检测法因其白平衡调整效果好,计算复杂度低而得到广泛的应用。白点检测就是通过一定的算法找到图像中的白点,利用这些白点来计算颜色通道的增益,进而实现白平衡调整。
然而,基于传统的白点检测法,由于工艺生产过程中各种物料差异对白色落点位置的影响,白点检测策略不一定符合实际的需求;例如某一组物料下的白色落点区域很有可能是其他一组物料下的某种浅色落点区域,为了保证在各种物料下都能将白色确定为白色落点区域,会将所有落点覆盖的范围设置为白点检测区间。而且在确定白色落点区域的候选落点后,直接对该候选落点做统计,计算响应的增益点,从而无法剔除一些容易落入白点检测区间的浅色落点对结果的影响,在大面积浅色场景下则容易出现偏色。
一方面,在计算增益点时,会将一些浅色落点与白色落点一起计算得到增益点,或者当增益点处于白色落点区域之外时将增益点移动至白色落点区域的边界上,所得到的增益点均不够准确,从而无法还原出画面中真正的颜色,导致画面出现偏色。另外,通过曲线表示白色落点区域或准白色落点区域时,由于曲线没有固定的规则,且无法用方程拟合,只能用点集表示,在存储配置时需要浪费大量资源,且在判断图像分块后的落点是否位于白色落点区域或准白色落点区域时,需要与这些点一一比较,算法复杂度较高。
另一方面,当得到的白色落点数目不够时会直接用预设的增益值做白平衡,但是,预设的增益值与当前场景的色温极有可能不匹配,使画面容易出现偏色,且由执行白区场景流程向非白场景流程的移动切换过程中,还会使画面出现震荡。
针对上述缺陷,本申请实施例提供了一种图像白平衡处理方法,可以基于对图像中白色落点的检测,统计出图像中白色区域的落点分布情况,并通过统计白色落点的数量、聚集程度以及是否属于极高或极低色温场景确定相应的调整策略,更加准确地确定出图像对应的增益点,实现对图像的白平衡处理,提高白平衡处理后的图像显示效果。
请参见图1,图1是本申请实施例提供的图像白平衡处理的整体流程架构的示意图。如图1所示,电子设备获取到待处理图像后,可以对待处理图像进行分块,计算每个图像块的各颜色通道平均值;然后基于各颜色通道平均值剔除待处理图像中的过暗或过曝的区域(例如过亮或过暗的噪点区域);然后将基于每个图像块统计待处理图像的落点落入准白区的数量。
其中,准白区为在数据预处理阶段,基于采集的标准光源数据的落点,在预设的坐标系下绘制出的;基于采集的标准光源数据可以在坐标系中画出普朗克曲线;该准白区对应不同的标准光源数据还包括白区和近似白区。
统计每个图像块对应的落点落入准白区的数量是否满足阈值,若满足阈值,则执行白区调整策略;若不满足阈值,则执行非白区调整策略。
其中,执行白区调整策略还包括对统计到的图像块的落点进行加权,然后统计加权后的落点的权重,判断落点在准白区中是否符合白点聚集特征,若符合白点聚集特征,则执行聚集点策略,计算增益点;若不符合白点聚集特征,则通过计算准白区内的落点的平均值,得到增益点。
执行非白区调整策略还包括继续判断落点分布是否属于极高或极低色温场景,若是极高或极低色温场景,则执行极端色温调整策略,计算增益点;若非极高或非极低色温场景,则执行增益不变策略,使用上一帧图像的增益点。
相应的,在确定增益点后,为保证相邻两帧图像不发生跳变或震荡的显示效果,还可以基于设置的阈值执行稳态策略,使相邻两帧图像之间的切换更加平滑;基于稳态策略重新确定各颜色通道增益值,并基于该各颜色通道增益值对待处理图像进行白平衡调整,得到处理后的图像。
通过本申请实施例,基于不同的标准光源数据划分的准白区(包括白区和近似白区),对待处理图像的落点进行判断,计算待处理图像的增益点,并进一步基于稳态策略确定待处理图像的增益值,可以提高增益点的准确度并降低画面出现偏色概率的同时,降低画面出现震荡的概率,保证连续画面显示的稳定性,提升画面的显示效果及视觉效果。
基于上述整体流程架构,下面通过具体的实施例介绍该图像白平衡处理方法的实现方式。
请参见图2,图2是本申请实施例提供的图像白平衡处理方法的流程示意图。如图2所示,该方法可以包括以下步骤:
S201,基于获取到的待处理图像的各颜色通道值,确定所述待处理图像在标准色温区域坐标系中的落点。
在一些实施例中,电子设备可以基于各颜色通道值确定待处理图像的像素点的落点或者多个像素点组成的像素块对应的落点。该标准色温坐标系可以为基于多个不同的标准光源的参数在预设的坐标系中划定出与每个标准光源对应的区域的坐标系。电子设备可以通过在标准色温区域坐标系中的位置坐标表示相应的落点。
示例性的,该标准色温坐标系中可以包括基于标准光源划分出的准白区,该准白区还可以包括白区和近似白区。其中,不同的区域分别对应不同参数的标准光源。相应的,待处理图像的落点可能落在该标准色温坐标系中的白区、近似白区或其他区域。
示例性的,待处理图像可以是拍摄装置拍摄的图像或拍摄的视频中的一帧图像。各颜色通道值可以是RGB三通道的值;若获取到的待处理图像为YVU图像,则将YVU图像的各通道参量转换为RGB域的通道参量,然后计算RGB三通道的值;具体获取到的待处理图像类型及通道参量不做限定。该标准色温坐标系的横轴和纵轴可以是与各颜色通道参量相关联的坐标轴,例如以R/G和B/G分别作为该标准色温坐标系的横轴或纵轴。
S202,根据所述落点的位置和数量确定所述待处理图像的调整策略,所述调整策略包括白区调整策略或非白区调整策略。
在一些实施例中,电子设备基于待处理图像对应的落点在标准色温坐标系中的位置,确定落点在标准色温坐标系中对应的区域,以及确定在对应区域中的落点的数量;并基于在对应区域中的数量,选择待处理图像对应的调整策略。
示例性的,若待处理图像的落点位于标准色温坐标系中的准白区的数量达到阈值(该阈值可以基于待处理图像的总落点数量进行设定),电子设备则可以选择执行白区调整策略,若待处理图像的落点位于标准色温坐标系中的准白区的数量未达到阈值,或者位于准白区之外的区域的数量达到另一阈值,电子设备则选择执行非白区调整策略。
S203,基于所述白区调整策略或所述非白区调整策略确定各颜色通道的增益值,并基于所述增益值对所述待处理图像进行白平衡处理。
在一些实施例中,电子设备基于落点的位置和区域确定需要执行白区调整策略或非白区调整策略;电子设备执行白区调整策略或非白区调整策略过程中,基于落点确定待处理图像的增益点,基于增益点确定各颜色通道的增益值,并基于该各颜色通道的增益值调整待处理图像的像素点的各颜色通道值,对待处理图像进行白平衡处理。
基于上述实现方式,通过对待处理图像的落点所在的区域确定落点的分布,并基于不同的落点分布,采用不同的调整策略,可以提高对待处理图像的白平衡的调整准确度,提高确定增益值的准确度,使得调整后的图像显示更接近人眼的视觉效果,降低图像出现偏色的概率。
下面通过一个实施例介绍对预设的坐标系进行区域划分得到标准色温区域坐标系的过程。
在一些实施例中,在所述基于获取到的待处理图像的各颜色通道值,确定所述待处理图像在所述标准色温区域坐标系中的落点之前,该方法还包括:
在不同标准色温的场景下,获取测试卡片对应的多个第一图像,所述测试卡片为白卡或灰卡;将所述多个第一图像的白色像素点的颜色通道值在预设的坐标系下表示,得到多个白区统计点;将所述坐标系下的所述白区统计点的分布区域设置为准白区;将第一标准光源对应的色温和第二标准光源对应的色温下的白区统计点的分布区域设置为白区;将所述准白区中除所述白区外的区域设置为近似白区;将标记出所述准白区、所述白区以及所述近似白区的所述坐标系作为所述标准色温区域坐标系。
由于拍摄装置在工艺生产过程中各种物料(如红外滤光片IR-CUT、传感器sensor)等会存在一定的差异,该差异主要体现在红外滤光片的截止波长差异以及传感器的量子效率(Quantum Efficiency,QE)曲线差异;基于不同的物料拍摄的相同的图像对应的白色落点的位置也会出现差别。为此,本申请实施例可以在数据预处理过程中,采集各种物料(如中极值sensor和中极值IR-CUT)下的不同标准色温光源对应的灰卡落点。
其中,标准色温光源可以包括HZ(2300K)、A(2800K)、TL84(4000K)、D50(5000K)、D65(6500K)和D95(9500K)六种标准光源。在六个标准光源下用不同物料组合的样机拍摄灰卡,由白区工具计算得到落点。为了保证在各种物料下都能确定落点是否落入准白区,将以上六种标准光源对应所有落点所覆盖的区域范围设置为准白区;将第一标准光源(D50)和第二标准光源(TL84)的色温框覆盖范围设置为白区;将准白区内除白区的区域设置为近似白区;如图3所示的白色色温框对应的白区以及其它色温框对应的近似白区。取各光源下中值物料(中值IR-CUT,中值sensor)的落点对应的统计平均值作为普朗克点(各个色温框的中心点),这六个点的连线即为普朗克曲线,如图3所示的虚线部分。
示例性的,计算灰卡的落点的方式可以包括,先将拍摄的灰卡的图像进行分块,然后计算每个图像块的对应的RGB颜色通道的平均值,然后计算落点的坐标(K×R/G,K×B/G),灰卡对应的点均为白点,即只有一种颜色。由于不同物料下灰卡落点的位置存在偏差,为保证所有物料下都能处理好图像的白平衡,即将所有物料对应的灰卡落点所覆盖的区域均划分到准白区内,并区分出白区和近似白区;降低由于近似白区和白区的范围太小而导致画面容易出现偏色的概率。
示例性的,相邻的色温框之间存在重叠区域,D50和TL84色温框对应的区域为白区,其他几个色温框区域为近似白区;D50和D65色温框的重叠区域也为白区,同理TL84和A色温框的重叠区域也为白区。
另外,针对绿色植被或者大面积蓝天等场景,会存在其他颜色的浅色落点,该浅色落点容易落进近似白区或白区内,导致在对图像进行白平衡处理时容易出现不同程度的偏色。例如常见的绿色植被的绿色落点、草坪的黄绿色落点等。在数据预处理过程中,还会采集上述六个标准光源D95、D65、D50、TL84、A、HZ分别对应的绿色和黄色色卡的落点,确定出绿色和黄色对应的落点区域画出界线,如图3中所示的浅色落点界线,基于该界线将这些落点排除在近似白区或白区之外。
一种情况下,浅色落点容易落入近似白区,例如D50光源色温下的浅蓝色落点容易落入D95和D65色温框内,浅橙色落点容易落入A和HZ色温框内。为了更加准确划分不同色温对应的区域且保留不同色温对应的部分区域,针对大面积浅色区域的场景(如存在大面积蓝天的场景),由于浅色落点可能集中在由白区和近似白区组合区域内的两个或者多个区域,需要对白区和近似白区组合区域进行划分,区分出主次;否则仅使用近似白区内的统计平均算法,则最终的增益点是浅色落点与其他颜色落点的统计均值,利用该增益点设置增益,图像将会出现不同程度的偏色。
另一种情况下,针对混合色温场景(如存在日光和阴影的场景),两部分色温相差较大,如果不区分白区和近似白区,仅使用近似白区内的统计平均算法,则计算得到的增益点介于两者之间,两部分图像的白平衡准确度都低。
相应的,针对现实应用的场景(晴天/阴天/日光/普通灯光)的色温一般都在3600K~5500K之间,对应的白色落点集中在D50和TL84两个色温框内,为此将这两个色温框区域设置为白区,其余色温框为近似白区区域,在设置自动白平衡(Auto White Balance,AWB)增益时,可以选择中心点在白区且落点数较多的区域设置图像的增益,从而保证图像白平衡处理的更准确。
下面通过具体实施例介绍计算待处理图像的落点的过程。如图4所示,本申请实施例提供的图像分块处理示意图。
在一些实施例中,所述基于获取到的待处理图像的各颜色通道值,确定所述待处理图像在标准色温区域坐标系中的落点,包括:
对所述待处理图像进行分块处理,得到所述待处理图像的图像块;根据所述图像块内每个像素点的各颜色通道值,计算所述图像块的各颜色通道平均值;根据所述图像块的所述各颜色通道平均值,确定每个所述图像块在所述标准色温区域坐标系中的所述落点。
如图4所示,将待处理图像进行分块,例如分成128×90块,得到图像块;基于每一个图像块中的每个像素点计算出该图像块的各颜色通道平均值,各颜色通道平均值可以为R、G、B三个颜色通道的均值,然后基于各颜色通道平均值计算对应在标准色温坐标系中的落点。
在一些实施例中,所述各颜色通道平均值包括第一颜色通道对应的第一平均值、第二颜色通道对应的第二平均值和第三颜色通道对应的第三平均值;所述根据所述图像块的所述各颜色通道平均值,确定每个所述图像块在所述标准色温区域坐标系中的所述落点,包括:
根据所述第一平均值与所述第二平均值的比值、所述第三平均值与所述第二平均值的比值,确定每个所述图像块对应在所述标准色温区域坐标系中对应的所述落点。
其中,所述标准色温区域坐标系为以所述第一颜色通道与所述第二颜色通道的参量比为横坐标,以所述第三颜色通道与所述第二颜色通道的参量比为纵坐标的坐标系。第一颜色通道、第二颜色通道和第三颜色通道可以分别为R、G和B三个颜色通道。
如图4所示,该标准色温坐标系中划分有不同色温对应的色温框组成的准白区,且以第一参量K×R/G为横轴,以第二参量K×B/G为纵轴。对于每个图像块,计算落点的坐标(K×R/G,K×B/G),其中R、G、B可以为每个图像块对应的各颜色通道平均值,K为常数,K主要是将浮点数计算转化为整数计算,还可以设置为其他的计算常量。
如图4所示,通过计算每个图像块的落点,得到待处理图像的落点在标准色温坐标系中的分布。针对上述示例中分成的128×90个图像块,可以得到128×90个落点,基于这些落点的分布,确定后续进行白平衡处理的策略。
示例性的,计算待处理图像的落点时,还可以计算待处理图像中的每个像素点的落点,得到每个像素点的落点对应在标准色温坐标系中的分布。
需要说明的是,计算落点的过程是将原来的多颜色通道对应的多维空间(例如R GB三维空间)转换到降维后的空间(例如R/G-B/G二维空间);相应的,由于自动白平衡调整一般是在RAW域进行的,图像的G通道值一般都大于R和B通道值,所以以G为基准来计算,最后将G通道的值保持不变,只需计算R和B两通道的增益,对R和B两通道进行调整即可。
在一些实施例中,所述根据所述落点的位置和数量确定所述待处理图像的调整策略,包括:
计算所述位置在所述标准色温区域坐标系中的所述准白区内的落点的目标数量;若所述目标数量大于或等于第一阈值,则确定所述待处理图像的调整策略为所述白区调整策略;若所述目标数量小于所述第一阈值,则确定所述待处理图像的调整策略为所述非白区调整策略。
示例性的,第一阈值可以基于待处理图像的总落点数量进行设定,可以设置为总落点数量的百分比,例如该第一阈值设置为待处理图像的总落点数量的80%,也可以是其他值,具体可以根据对应的色温场景进行设定。若准白区内的落点的目标数量大于或等于第一阈值,则确定待处理图像中的白色落点的数量足够多,可以执行白区调整策略;若准白区内的落点的目标数量小于第一阈值,则确定待处理图像中的白色落点数量不足,选择执行非白区调整策略。
在一些实施例中,所述基于所述白区调整策略确定各颜色通道的增益值,包括:
对所述位置位于所述白区的落点设置第一权重,对所述位置位于所述近似白区的落点设置默认权重;对所述位置与普朗克曲线的距离小于或等于第一距离的落点设置第二权重,对所述位置与所述普朗克曲线的距离大于所述第一距离的落点设置所述默认权重;基于所述落点的所述第一权重、所述第二权重及所述默认权重,确定所述各颜色通道的所述增益值。
其中,所述第一权重、所述第二权重分别大于所述默认权重,所述普朗克曲线为不同标准色温对应在所述坐标系中的中值物料落点平均值的点的连线。
示例性的,第一权重可以设置为2,第二权重也可以设置为2,默认权重可以设置为1,第一距离可以基于落点在普朗克曲线附近的分布设定,例如距离普朗克曲线附近的落点分布较少时对应的距离大于分布较多时的距离。
为了保证计算增益点时更加接近白区内的落点,以及所确定的增益值更加准确,可以对落入白区和近似白区内的落点分别设置权重,且白区内落点的权重大于近似白区内落点的权重,例如将白区内落点的第一权重设置为2,将近似白区内落点的默认权重设置为1。
相应的,由于工艺生产过程中,中值物料所占比重较多,越接近普朗克曲线的点为白色落点的可能性越大,基于白色落点确定的增益点的准确度更高,进而基于增益点确定的增益值处理后的图像更不容易出现偏色;因此,为了提高增益点的准确性,对位置与普朗克曲线的距离小于或等于第一距离的落点设置第二权重,对位置与普朗克曲线的距离大于第一距离的落点设置默认权重。基于设置权重后的落点确定增益点以及增益值。
下面通过实施例进一步介绍基于设置权重后的落点确定增益点的实现过程,如图5所示,本申请实施例提供的色温框内设置聚集框的示意图。
在一些实施例中,所述基于所述白区调整策略确定各颜色通道的增益值,包括:
设置预设大小的聚集框,在所述准白区内滑动所述聚集框,将落点数目最多的聚集框作为目标聚集框;基于对落点设置的所述第一权重、所述第二权重和所述默认权重,计算所述目标聚集框内的落点的权重与所述准白区内所有落点的权重的比值;若所述目标聚集框的中心点位于所述近似白区,或者所述比值小于或等于第二阈值,则将所述准白区内的所有落点的平均值落点作为增益点;否则,将所述目标聚集框的平均值落点作为所述增益点;根据所述增益点,确定所述各颜色通道的所述增益值。
示例性的,电子设备对落入准白区的落点进行分析,通过判断待处理图像的落点在准白区的聚集程度,确定落点中的白色落点,进而确定增益点。在固定色温下,白色落点在R/G—B/G坐标系下的落点是聚集在一起的,聚集程度较高的点可能为真正的白色落点。
示例性的,本申请实施例通过在各个色温框内设置预设大小的聚集框,并基于落在每个聚集框内的落点,判断落点的聚集程度。
例如,在标准色温区域坐标系中的准白区内设置预设大小的聚集框,将聚集框在准白区的色温框内滑动,基于每次滑动的位置,计算聚集框内的落点数目,从而确定出落点数目最多时该聚集框所在的位置,并将该聚集框作为目标聚集框;或者在准白区内设置多个预设尺寸的聚集框,该多个聚集框相邻或部分区域重叠设置,然后分别统计每个聚集框内的落点数目,确定出落点数目最多的目标聚集框以及目标聚集框的中心点的位置。将落点数目最多的目标聚集框内的落点作为聚集程度较高的点。
其中,聚集框的尺寸可以小于相对应的色温框的尺寸,或者聚集框的尺寸为与之相对应的色温框的尺寸的预设百分比,例如40%、50%或60%,具体大小可以根据待处理图像的落点分布进行设定,在此不做具体限定。
下面通过具体实施例继续介绍基于对落点聚集程度检测的聚集框进行筛选的过程,进一步基于筛选后的聚集框内的落点确定增益点;从而通过执行聚集点策略实现对增益点及增益值的确定。
由于之前对白区与近似白区内的落点设置了权重,则可以基于对落点设置的第一权重、第二权重和默认权重,计算目标聚集框内落点的权重与白区加近似白区内所有落点权重的比值。若比值小于或等于第二阈值TH2,说明该目标聚集框内的落点聚集程度不够,则计算准白区(包括白区和近似白区)内的所有落点的平均值落点,并将该平均值落点作为待处理图像的增益点;或者若目标聚集框的中心点的位置位于近似白区,则待处理图像中可能存在大面积浅色区域(例如存在大面积蓝天的场景),则将准白区对应的平均值落点作为待处理图像的增益点。否则,若比值大于第二阈值TH2,且该目标聚集框的中心点位于白区内,则将该目标聚集框内落点的平均值落点作为待处理图像的增益点,以基于中心点在白区内且落点数目相对较多的目标聚集框内的落点确定待处理图像的增益点;或者在落点聚集程度不够时,基于准白区内的所有落点确定待处理图像的增益点。然后基于确定的增益点计算增益值,基于该增益值调整待处理图像的白平衡。
需要说明的是,若目标聚集框内落点的聚集程度不够,采用聚集点算法可能会调错颜色,因此采用白区和近似白区内所有落点的统计平均值(即平均值落点)作为增益点。若目标聚集框内的落点聚集程度较高,还需要再判断该目标聚集框的中心点是否位于白区内,若位于白区内则采用该目标聚集框内落点计算增益点,此时可以准确的还原画面中较为突出的颜色。若该目标聚集框的中心点位于近似白区,则画面中极可能存在大面积浅色区域的场景(如存在大面积蓝天的场景),还可以选择下一个落点数目较多的目标聚集框进行同样的判断。针对一些混合色温场景或者存在大面积浅色区域的场景,可以通过上述方式确定出更合适的落点作为增益点,并确定相应的增益值,使得基于增益值经过白平衡处理后的图像,颜色还原的效果更好。
下面通过具体实施例介绍非白区调整策略的实现过程。在执行非白区调整策略的过程中,当待处理图像对应的落点在准白区内的落点数目不足第一阈值时,还需要进一步判断当前场景是否属于极端色温场景。
在一些实施例中,所述非白区调整策略包括极端色温调整策略;在所述基于所述非白区调整策略确定各颜色通道的增益值之前,所述方法还包括:
根据所述落点的坐标,确定所述落点的类别,所述类别包括极低色温点或极高色温点;当所述极低色温点或所述极高色温点的数目大于或等于所述待处理图像的所有落点总数目的预设百分比时,确定所述待处理图像对应的场景为极端色温场景,所述待处理图像对应的调整策略为所述极端色温调整策略。
如图6所示,本申请实施例提供的极端色温区域的示意图。当落点位于图6中所示的极高色温区间或极低色温区间时,则落点的类型属于极高色温点或极低色温点。
示例性的,当待处理图像对应的落点横坐标大于等于HZ色温框对应的普朗克点横坐标,且落点纵坐标小于等于HZ色温框对应的普朗克点纵坐标,则确定落点属于极低色温点。当落点横坐标小于等于D95色温框对应的普朗克点横坐标,且落点纵坐标大于等于D95色温框对应的普朗克点纵坐标,则确定落点属于极高色温点。当极高色温点或极低色温点的数目大于等于落点总数目的预设百分比时,则认为当前场景属于极端色温场景;其中该预设百分比可以取值为0.5至1。
如图7所示,本申请实施例提供的极端色温场景的示意图。当确定待处理图像对应的场景为极端色温场景时,待处理图像对应的调整策略为极端色温调整策略。
在一些实施例中,所述基于所述非白区调整策略确定各颜色通道的增益值,包括:
计算所述极低色温点或所述极高色温点的平均值落点,得到第一增益点;将所述第一增益点移动至与所述第一增益点距离最近的所述近似白区的边界,得到第二增益点;根据所述第二增益点,确定所述各颜色通道的所述增益值。
示例性的,如图7所示,如果判断为极低色温场景,则对满足极低色温场景的落点(即极低色温点)计算平均值落点,得到增益点。然后将增益点移动到距离其最近的近似白区的边界,使画面出现一定的偏色,更加符合人眼视觉效果,如图7中的(a)图所示,针对极低色温场景,将计算得到的增益点(即第三增益点)移动至距离最近的HZ色温框的边界的落点(即第四增益点);又如图7中的(b)图所示,针对极高色温场景,将计算得到的增益点(第三增益点)移动至距离最近的D95色温框的边界的落点(即第四增益点);基于第四增益点确定各颜色通道的增益值。
在一些实施例中,如果待处理图像不符合极端色温场景,又不满足白区调整策略,则判定该待处理图像对应的可能为大面积深色场景或其他场景。对应该场景,非白区调整策略包括增益不变策略;所述基于所述非白区调整策略确定各颜色通道的增益值,还包括:
若待处理图像不符合所述白区调整策略的条件,且所述待处理图像的落点非极低色温点或非极高色温点,则基于所述增益不变策略调整所述待处理图像的白平衡。
其中,所述增益不变策略为将与所述待处理图像相邻的上一帧图像对应的增益值作为所述待处理图像的增益值。
示例性的,基于增益不变策略,设置当前帧待处理图像的增益等于上一帧的增益,假若针对上一帧待处理图像对应执行的白区调整策略,已经调整到一个合适的白平衡效果,在场景色温没有突变的情况下,场景发生变化,由白区调整策略变化到执行非白区调整策略,则沿用上一帧图像的增益值,使得画面色调不会出现突变,同时保证当前场景的颜色也能正确还原。
在一些实施例中,基于落点的分布执行完白区调整策略或非白区调整策略后,会得到当前帧待处理图像的增益点,根据该增益点在K×R/G-K×B/G坐标系(即标准色温坐标系)中位置来设置各颜色通道的增益值。但是在场景色温突变的情况下,针对当前帧待处理图像计算得到的增益点和针对上一帧待处理图像计算得到增益点的位置相差较远,对应得到的增益值相差较大,如果直接用当前帧的增益值,画面颜色可能会出现突变;或者,当前帧的场景正好处于执行两种不同调整策略的临界处,如果直接用当前帧对应的增益点设置增益值,则画面可能会出现来回闪烁的现象,为此本申请实施例还设置了稳态策略,以保证画面显示处于稳定状态。
下面通过具体实施例描述稳态策略的实现过程。当前后两帧画面的场景色温切换时,为了使画面变化缓慢一些,防止色温再次切换时出现闪烁,或者在临界状态时反复跳动,本申请实施例还通过调整增益点的变化实现稳态策略。
在一些实施例中,在所述基于所述增益值对所述待处理图像进行白平衡处理之前,所述方法还包括:
若当前计算的增益点的位置与上一帧增益点的位置的距离小于第三阈值,则将所述当前计算的增益点作为所述待处理图像的增益点;若当前计算的增益点的位置与上一帧增益点的位置的距离大于或等于第三阈值,则设置所述待处理图像的步进增益点。
其中,所述步进增益点为位于所述当前计算的增益点与所述上一帧增益点之间的增益点。
示例性的,设置参考点,所述参考点用于指示上一帧处于稳定状态的待处理图像对应的增益点;设置上一帧增益点,所述上一帧增益点用于指示上一帧待处理图像的增益点。当前计算的增益点位置与上一帧增益点的位置之间的差值,即目标距离,小于第三阈值TH3时,当前帧待处理图像处于稳定状态,待处理图像的增益点为当前计算的增益点;当处于稳定状态时,使参考点等于当前计算的增益点(即当前帧待处理图像的增益点),上一帧增益点等于当前计算的增益点(即当前帧待处理图像的增益点),即更新参考点和上一帧增益点为当前计算的增益点(即当前帧待处理图像的增益点)。
当上一帧增益点与当前计算的增益点之间的目标距离大于第三阈值TH3时,当前帧待处理图像处于色温突变的状态。当待处理图像处于色温突变状态时,将上一个色温状态的增益点作为参考点(即上一帧增益点),将当前帧待处理图像的增益点(即当前计算的增益点)作为目标增益点,通过增益点的步进移动,逐步改变待处理图像的增益点,缓慢改变增益点的位置,使画面切换处于稳定的状态。
基于参考点和当前计算的增益点之间的距离,确定步进一次后步进增益点,将该步进增益点作为待处理图像的设置增益点,基于该设置增益点确定待处理图像的各颜色通道的增益值,直到步进移动至当前计算的增益点,结束通过步进移动的步进增益点确定待处理图像的设置增益点的过程。结束步进移动之前,参考点的位置保持不变,当步进移动结束,且画面处于稳定状态时,参考点更新为处于稳定状态的待处理图像的增益点。
示例性的,上述设置的各个增益点的位置通过坐标表示,各增益点之间的距离通过坐标计算得到。
下面通过具体实施例介绍各颜色通道增益值的计算过程。在通过上述策略得到增益点(例如该增益点为K×R/G-K×B/G坐标系中的(x,y)点)后,可以通过以下公示计算出各颜色通道的增益值。在RAW域做白平衡校正时,对G通道不做调整,只需计算出R B两个通道的增益即可,计算公示如下:
Ggain=Constant(常数,一般设为1024)
Rgain=K×Ggain/x
Bgain=K×Ggain/y
其中,在图像文件raw域中G通道值比R/B值大,所以是以G通道值为基础做调整的,G通道值本身不做调整,Rgain为红色R通道的增益值,Bgain为蓝色B通道的增益值,x为增益点的横坐标,y为增益点的纵坐标。
相应的,最后计算的为R和B通道的增益值,每一个场景(即每一帧输入的raw待处理图像)对应一组Rgain和Bgain,即一幅图像中的Rgain和Bgain只有一个,对应一幅图像中的所有像素点,并不是每个像素点都对应一个。
根据增益点计算出增益值调整画面像素,例如对于raw图像中的R/G/B分量点,调整公式如下:
G_result=G_original(G通道值不做调整)
R_result=R_original×Rgain/Constant
B_result=B_original×Bgain/Constant
其中,G_result为白平衡调整后的G通道值,R_result为白平衡调整后的R通道值,B_result为白平衡调整后的B通道值;G_original为白平衡调整前的G通道值,R_original为白平衡调整前的R通道值,B_original为白平衡调整前的B通道值。
基于采集的多张图像,通过如下计算公式,计算在不同场景下白平衡偏差的数据表明,本申请实施例的白平衡调整方法在各种应用场景下的偏差相对更小,更能准确的恢复出图像的原本颜色。白平衡偏差计算公式:
其中,max(Raver,Gaver,Baver)为某种场景下拍摄的多张图像中各颜色通道均值的最大值,min(Raver,Gaver,Baver)为对应场景下的多张图像中的各颜色通道均值的最小值。
示例性的,如下表1所示,针对一般场景、混合色温场景以及存在大面积浅色区域的场景,通过本申请实施例进行白平衡调整后得到的偏差数据为:
表1
如图8所示,其中图8中的(a)图为其他方案进行白平衡处理后的图像,图8中的(b)图为经过本申请的方案进行白平衡处理后的图像,通过本申请实施例,针对一些特殊的场景(例如大面积蓝天场景),能够较好的恢复出原本的颜色。另外针对一些极端色温场景,可以呈现出一定的偏色,使得图像显示更加符合人眼的视觉效果。
本申请实施例通过设置白区/近似白区,以及相应的白区调整策略和非白区调整策略计算白平衡增益,基于均值漂移聚类的白色聚集点检测算法,聚集框筛选策略,为保持画面稳态设置的逐渐减少变化帧数的过程,提高白平衡调整的准确度的同时,使得图像显示更加符合人眼的视觉效果,还可以适用于更多种或更为复杂的应用场景,降低画面容易出现偏色的概率以及在场景移动过程中出现画面震荡的现象。
应理解,上述实施例中各步骤的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。
对应于上文实施例所述的图像白平衡处理方法,图9示出了本申请实施例提供的图像白平衡处理装置的结构框图,为了便于说明,仅示出了与本申请实施例相关的部分。
参照图9,该装置包括:
识别单元91,用于基于获取到的待处理图像的各颜色通道值,确定所述待处理图像在标准色温区域坐标系中的落点;
处理单元92,用于根据所述落点的位置和数量确定所述待处理图像的调整策略,所述调整策略包括白区调整策略或非白区调整策略;
调整单元93,用于基于所述白区调整策略或所述非白区调整策略确定各颜色通道的增益值,并基于所述增益值对所述待处理图像进行白平衡处理。
通过本申请实施例,对获取到的待处理图像计算对应的落点;根据所述落点的位置和数量确定所述待处理图像的调整策略,所述调整策略包括白区调整策略或非白区调整策略;基于所述白区调整策略或所述非白区调整策略确定各颜色通道的增益值,并基于所述增益值对所述待处理图像进行白平衡处理;本申请实施例基于不同的白区调整策略以及非白区调整策略,可以提高用于确定增益值的落点的准确度,从而基于该增益值对图像进行白平衡处理,使得经过白平衡处理后的图像显示效果更好,更符合人眼视觉感知,降低出现画面偏色的概率。
需要说明的是,上述装置/单元之间的信息交互、执行过程等内容,由于与本申请方法实施例基于同一构思,其具体功能及带来的技术效果,具体可参见方法实施例部分,此处不再赘述。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将所述装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中,上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。另外,各功能单元、模块的具体名称也只是为了便于相互区分,并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
本申请实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现可实现上述各个方法实施例中的步骤。
本申请实施例提供了一种计算机程序产品,当计算机程序产品在电子设备上运行时,使得电子设备执行时可实现上述各个方法实施例中的步骤。
图10为本申请实施例提供的电子设备10的结构示意图。如图10所示,该实施例的电子设备10包括:至少一个处理器100(图10中仅示出一个)、存储器101以及存储在所述存储器101中并可在所述至少一个处理器100上运行的计算机程序102,所述处理器100执行所述计算机程序102时实现上述实施例中的步骤。
该电子设备10可以是具有白平衡处理功能的拍摄装置,例如摄像机、照相机,或者还可以是具有拍摄功能的其他电子设备,例如手机、平板电脑等。
该电子设备10可包括,但不仅限于,处理器100、存储器101。本领域技术人员可以理解,图10仅仅是电子设备10的举例,并不构成对电子设备10的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件,例如还可以包括输入输出设备、网络接入设备等。
所称处理器100可以是中央处理单元(Central Processing Unit,CPU),该处理器100还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器101在一些实施例中可以是所述电子设备10的内部存储单元,例如电子设备10的硬盘或内存。所述存储器101在另一些实施例中也可以是所述电子设备10的外部存储设备,例如所述电子设备10上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。进一步地,所述存储器101还可以既包括所述电子设备10的内部存储单元也包括外部存储设备。所述存储器101用于存储操作系统、应用程序、引导装载程序(BootLoader)、数据以及其他程序等,例如所述计算机程序的程序代码等。所述存储器101还可以用于暂时地存储已经输出或者将要输出的数据。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请实现上述实施例方法中的全部或部分流程,可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。其中,所述计算机程序包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质至少可以包括:能够将计算机程序代码携带到拍照装置/终端设备的任何实体或装置、记录介质、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random AccessMemory)、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区,根据立法和专利实践,计算机可读介质不可以是电载波信号和电信信号。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述或记载的部分,可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中,应该理解到,所揭露的装置/网络设备和方法,可以通过其它的方式实现。例如,以上所描述的装置/网络设备实施例仅仅是示意性的,例如,所述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口,装置或单元的间接耦合或通讯连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
以上所述实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围,均应包含在本申请的保护范围之内。
Claims (12)
1.一种图像白平衡处理方法,其特征在于,包括:
基于获取到的待处理图像的各颜色通道值,确定所述待处理图像在标准色温区域坐标系中的落点;
根据所述落点的位置和数量确定所述待处理图像的调整策略,所述调整策略包括白区调整策略或非白区调整策略;
基于所述白区调整策略或所述非白区调整策略确定各颜色通道的增益值,并基于所述增益值对所述待处理图像进行白平衡处理。
2.如权利要求1所述的方法,其特征在于,所述基于获取到的待处理图像的各颜色通道值,确定所述待处理图像在标准色温区域坐标系中的落点,包括:
对所述待处理图像进行分块处理,得到所述待处理图像的图像块;
根据所述图像块内每个像素点的各颜色通道值,计算所述图像块的各颜色通道平均值;
根据所述图像块的所述各颜色通道平均值,确定每个所述图像块在所述标准色温区域坐标系中的所述落点。
3.如权利要求1所述的方法,其特征在于,在所述基于获取到的待处理图像的各颜色通道值,确定所述待处理图像在所述标准色温区域坐标系中的落点之前,所述方法还包括:
在不同标准色温的场景下,获取测试卡片对应的多个第一图像,所述测试卡片为白卡或灰卡;
将所述多个第一图像的白色像素点的颜色通道值在预设的坐标系下表示,得到多个白区统计点;
将所述坐标系下的所述白区统计点的分布区域设置为准白区;
将第一标准光源对应的色温和第二标准光源对应的色温下的白区统计点的分布区域设置为白区;
将所述准白区中除所述白区外的区域设置为近似白区;
将标记出所述准白区、所述白区以及所述近似白区的所述坐标系作为所述标准色温区域坐标系。
4.如权利要求2所述的方法,其特征在于,所述各颜色通道平均值包括第一颜色通道对应的第一平均值、第二颜色通道对应的第二平均值和第三颜色通道对应的第三平均值;所述根据所述图像块的所述各颜色通道平均值,确定每个所述图像块在所述标准色温区域坐标系中的所述落点,包括:
根据所述第一平均值与所述第二平均值的比值、所述第三平均值与所述第二平均值的比值,确定每个所述图像块对应在所述标准色温区域坐标系中对应的所述落点;
其中,所述标准色温区域坐标系为以所述第一颜色通道与所述第二颜色通道的参量比为横坐标,以所述第三颜色通道与所述第二颜色通道的参量比为纵坐标的坐标系。
5.如权利要求3所述的方法,其特征在于,所述根据所述落点的位置和数量确定所述待处理图像的调整策略,包括:
计算所述位置在所述标准色温区域坐标系中的所述准白区内的落点的目标数量;
若所述目标数量大于或等于第一阈值,则确定所述待处理图像的调整策略为所述白区调整策略;
若所述目标数量小于所述第一阈值,则确定所述待处理图像的调整策略为所述非白区调整策略。
6.如权利要求5所述的方法,其特征在于,所述基于所述白区调整策略确定各颜色通道的增益值,包括:
对所述位置位于所述白区的落点设置第一权重,对所述位置位于所述近似白区的落点设置默认权重;
对所述位置与普朗克曲线的距离小于或等于第一距离的落点设置第二权重,对所述位置与所述普朗克曲线的距离大于所述第一距离的落点设置所述默认权重;
基于所述落点的所述第一权重、所述第二权重及所述默认权重,确定所述各颜色通道的所述增益值;
其中,所述第一权重、所述第二权重分别大于所述默认权重,所述普朗克曲线为不同标准色温对应在所述坐标系中的色温框的中心点的连线。
7.如权利要求6所述的方法,其特征在于,所述基于所述白区调整策略确定各颜色通道的增益值,包括:
设置预设大小的聚集框,在所述准白区内滑动所述聚集框,将落点数目最多的聚集框作为目标聚集框;
基于对落点设置的所述第一权重、所述第二权重和所述默认权重,计算所述目标聚集框内的落点的权重与所述准白区内所有落点的权重的比值;
若所述目标聚集框的中心点位于所述近似白区,或者所述比值小于或等于第二阈值,则将所述准白区内的所有落点的平均值落点作为增益点;否则,将所述目标聚集框的平均值落点作为所述增益点;
根据所述增益点,确定所述各颜色通道的所述增益值。
8.如权利要求3所述的方法,其特征在于,所述非白区调整策略包括极端色温调整策略;在所述基于所述非白区调整策略确定各颜色通道的增益值之前,所述方法还包括:
根据所述落点的坐标,确定所述落点的类别,所述类别包括极低色温点或极高色温点;
当所述极低色温点或所述极高色温点的数目大于或等于所述待处理图像的所有落点总数目的预设百分比时,确定所述待处理图像对应的场景为极端色温场景,所述待处理图像对应的调整策略为所述极端色温调整策略。
9.如权利要求8所述的方法,其特征在于,所述基于所述非白区调整策略确定各颜色通道的增益值,包括:
计算所述极低色温点或所述极高色温点的平均值落点,得到第一增益点;
将所述第一增益点移动至与所述第一增益点距离最近的所述近似白区的边界,得到第二增益点;
根据所述第二增益点,确定所述各颜色通道的所述增益值。
10.如权利要求1所述的方法,其特征在于,所述基于所述非白区调整策略确定各颜色通道的增益值,还包括:
若所述待处理图像不符合所述白区调整策略的条件,且所述待处理图像的落点非极低色温点或非极高色温点,则将与所述待处理图像相邻的上一帧图像对应的增益值作为所述待处理图像的增益值。
11.如权利要求7至10任一项所述的方法,其特征在于,在所述基于所述增益值对所述待处理图像进行白平衡处理之前,所述方法还包括:
若当前计算的增益点的位置与上一帧增益点的位置的距离小于第三阈值,则将所述当前计算的增益点作为所述待处理图像的增益点;
若当前计算的增益点的位置与上一帧增益点的位置的距离大于或等于第三阈值,则设置所述待处理图像的步进增益点;
其中,所述步进增益点为位于所述当前计算的增益点与所述上一帧增益点之间的增益点。
12.一种电子设备,其特征在于,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如权利要求1至11任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210958900.1A CN115334295B (zh) | 2022-08-10 | 图像白平衡处理方法及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210958900.1A CN115334295B (zh) | 2022-08-10 | 图像白平衡处理方法及电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115334295A true CN115334295A (zh) | 2022-11-11 |
CN115334295B CN115334295B (zh) | 2024-05-03 |
Family
ID=
Citations (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11262021A (ja) * | 1998-03-06 | 1999-09-24 | Nikon Corp | 色バランス調整装置 |
JP2005079623A (ja) * | 2003-08-28 | 2005-03-24 | Fuji Photo Film Co Ltd | ホワイトバランス補正方法および装置並びにプログラム |
JP2008236101A (ja) * | 2007-03-19 | 2008-10-02 | Ricoh Co Ltd | 撮像装置および撮像方法 |
US20110043533A1 (en) * | 2009-08-24 | 2011-02-24 | Seok Jin Han | Supbixel rendering suitable for updating an image with a new portion |
US20120162479A1 (en) * | 2010-12-24 | 2012-06-28 | Canon Kabushiki Kaisha | Image processing apparatus and method for controlling the same |
CN103929632A (zh) * | 2014-04-15 | 2014-07-16 | 浙江宇视科技有限公司 | 一种自动白平衡校正方法以及装置 |
US20150271460A1 (en) * | 2014-03-18 | 2015-09-24 | Samsung Techwin Co., Ltd. | White balance correcting apparatus and white balance correcting method |
CN105959662A (zh) * | 2016-05-24 | 2016-09-21 | 深圳英飞拓科技股份有限公司 | 自适应白平衡调整方法及装置 |
TWI578787B (zh) * | 2016-03-18 | 2017-04-11 | 圓展科技股份有限公司 | 具有自動白平衡功能的攝影裝置與自動白平衡的校正方法 |
US20170195648A1 (en) * | 2015-12-30 | 2017-07-06 | Zhejiang Uniview Technologies Co., Ltd | Automatic white balance |
JP2017130836A (ja) * | 2016-01-21 | 2017-07-27 | キヤノン株式会社 | 画像処理装置、画像処理方法、およびプログラム |
CN107360410A (zh) * | 2017-07-10 | 2017-11-17 | 广东欧珀移动通信有限公司 | 白平衡控制方法、装置和终端设备 |
CN108337496A (zh) * | 2018-04-25 | 2018-07-27 | 普联技术有限公司 | 白平衡处理方法、处理装置、处理设备及存储介质 |
CN108377372A (zh) * | 2018-03-13 | 2018-08-07 | 普联技术有限公司 | 一种白平衡处理方法、装置、终端设备和存储介质 |
US20190014299A1 (en) * | 2017-07-10 | 2019-01-10 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Method, computing device and nonvolatile computer readable storage medium for processing white balance |
US20190158796A1 (en) * | 2016-04-25 | 2019-05-23 | Zhejiang Dahua Technology Co., Ltd. | Methods, systems, and media for image white balance adjustment |
CN111641819A (zh) * | 2020-05-19 | 2020-09-08 | 浙江大华技术股份有限公司 | 白平衡增益校正的方法、设备、系统和计算机设备 |
CN113223083A (zh) * | 2021-05-27 | 2021-08-06 | 北京奇艺世纪科技有限公司 | 一种位置确定方法、装置、电子设备及存储介质 |
CN114390266A (zh) * | 2021-12-28 | 2022-04-22 | 杭州涂鸦信息技术有限公司 | 一种图像白平衡处理方法、设备及计算机可读存储介质 |
CN114745532A (zh) * | 2022-04-01 | 2022-07-12 | 北京紫光展锐通信技术有限公司 | 混合色温场景白平衡处理方法、装置、存储介质及终端 |
Patent Citations (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11262021A (ja) * | 1998-03-06 | 1999-09-24 | Nikon Corp | 色バランス調整装置 |
JP2005079623A (ja) * | 2003-08-28 | 2005-03-24 | Fuji Photo Film Co Ltd | ホワイトバランス補正方法および装置並びにプログラム |
JP2008236101A (ja) * | 2007-03-19 | 2008-10-02 | Ricoh Co Ltd | 撮像装置および撮像方法 |
US20110043533A1 (en) * | 2009-08-24 | 2011-02-24 | Seok Jin Han | Supbixel rendering suitable for updating an image with a new portion |
US20120162479A1 (en) * | 2010-12-24 | 2012-06-28 | Canon Kabushiki Kaisha | Image processing apparatus and method for controlling the same |
US20150271460A1 (en) * | 2014-03-18 | 2015-09-24 | Samsung Techwin Co., Ltd. | White balance correcting apparatus and white balance correcting method |
CN103929632A (zh) * | 2014-04-15 | 2014-07-16 | 浙江宇视科技有限公司 | 一种自动白平衡校正方法以及装置 |
US20170195648A1 (en) * | 2015-12-30 | 2017-07-06 | Zhejiang Uniview Technologies Co., Ltd | Automatic white balance |
JP2017130836A (ja) * | 2016-01-21 | 2017-07-27 | キヤノン株式会社 | 画像処理装置、画像処理方法、およびプログラム |
TWI578787B (zh) * | 2016-03-18 | 2017-04-11 | 圓展科技股份有限公司 | 具有自動白平衡功能的攝影裝置與自動白平衡的校正方法 |
US20190158796A1 (en) * | 2016-04-25 | 2019-05-23 | Zhejiang Dahua Technology Co., Ltd. | Methods, systems, and media for image white balance adjustment |
CN105959662A (zh) * | 2016-05-24 | 2016-09-21 | 深圳英飞拓科技股份有限公司 | 自适应白平衡调整方法及装置 |
CN107360410A (zh) * | 2017-07-10 | 2017-11-17 | 广东欧珀移动通信有限公司 | 白平衡控制方法、装置和终端设备 |
US20190014299A1 (en) * | 2017-07-10 | 2019-01-10 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Method, computing device and nonvolatile computer readable storage medium for processing white balance |
CN108377372A (zh) * | 2018-03-13 | 2018-08-07 | 普联技术有限公司 | 一种白平衡处理方法、装置、终端设备和存储介质 |
CN108337496A (zh) * | 2018-04-25 | 2018-07-27 | 普联技术有限公司 | 白平衡处理方法、处理装置、处理设备及存储介质 |
CN111641819A (zh) * | 2020-05-19 | 2020-09-08 | 浙江大华技术股份有限公司 | 白平衡增益校正的方法、设备、系统和计算机设备 |
CN113223083A (zh) * | 2021-05-27 | 2021-08-06 | 北京奇艺世纪科技有限公司 | 一种位置确定方法、装置、电子设备及存储介质 |
CN114390266A (zh) * | 2021-12-28 | 2022-04-22 | 杭州涂鸦信息技术有限公司 | 一种图像白平衡处理方法、设备及计算机可读存储介质 |
CN114745532A (zh) * | 2022-04-01 | 2022-07-12 | 北京紫光展锐通信技术有限公司 | 混合色温场景白平衡处理方法、装置、存储介质及终端 |
Non-Patent Citations (3)
Title |
---|
YUAN WANG等: "A robust embedded vision system feasible white balance algorithm", 《2017 INTERNATIONAL CONFERENCE ON OPTICAL INSTRUMENTS AND TECHNOLOGY: OPTICAL SYSTEMS AND MODERN OPTOELECTRONIC INSTRUMENTS》 * |
YUAN-KAI WANG等: "Face Detection with Automatic White Balance for Digital Still Camera", 《2008 INTERNATIONAL CONFERENCE ON INTELLIGENT INFORMATION HIDING AND MULTIMEDIA SIGNAL PROCESSING,HARBIN, CHINA,5-17 AUGUST 2008》 * |
张朵朵: "摄像机自动聚焦与白平衡算法研究及实现", 《中国优秀硕士学位论文全文数据库(电子期刊)信息科技辑》 * |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7912279B2 (en) | Automatic white balance statistics collection | |
CN109361910B (zh) | 自适应白平衡校正方法及装置 | |
US6788813B2 (en) | System and method for effectively performing a white balance operation | |
US7184080B2 (en) | Automatic white balancing via illuminant scoring | |
EP3039864B1 (en) | Automatic white balancing with skin tone correction for image processing | |
KR101002195B1 (ko) | 노출 제어를 위한 시스템, 방법, 및 장치 | |
US10325354B2 (en) | Depth assisted auto white balance | |
KR100983037B1 (ko) | 자동 화이트 밸런스 조정 방법 | |
US8970746B2 (en) | Image processing device, storage medium, and image processing method for correcting an image | |
EP3657785B1 (en) | Image white balance processing method and apparatus, and terminal device | |
US7576797B2 (en) | Automatic white balancing via illuminant scoring autoexposure by neural network mapping | |
CN110248170B (zh) | 图像色彩调整方法及装置 | |
KR20170030933A (ko) | 영상 처리 장치 및 그것의 자동 화이트 밸런싱 방법 | |
CN113301318B (zh) | 图像的白平衡处理方法、装置、存储介质及终端 | |
US20200228770A1 (en) | Lens rolloff assisted auto white balance | |
TW201830337A (zh) | 對圖像執行自動白平衡的方法和設備 | |
US20100238317A1 (en) | White balance processing apparatus, method for processing white balance, and white balance processing program | |
Lipowezky | Indoor-outdoor detector for mobile phone cameras using gentle boosting | |
US11457189B2 (en) | Device for and method of correcting white balance of image | |
US9131200B2 (en) | White balance adjusting method with scene detection and device thereof | |
US20200228769A1 (en) | Lens rolloff assisted auto white balance | |
CN115334295B (zh) | 图像白平衡处理方法及电子设备 | |
KR20000059451A (ko) | 이미지 검색시스템의 분위기 칼라 자동추출 및 원래 칼라 조정방법 | |
CN115334295A (zh) | 图像白平衡处理方法及电子设备 | |
KR101131109B1 (ko) | 센서 특성을 고려한 화이트 검출에 의한 자동 화이트밸런스 설정방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant |