CN117221741A - 图像白平衡调整方法、装置、电子设备及存储介质 - Google Patents
图像白平衡调整方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN117221741A CN117221741A CN202311138914.XA CN202311138914A CN117221741A CN 117221741 A CN117221741 A CN 117221741A CN 202311138914 A CN202311138914 A CN 202311138914A CN 117221741 A CN117221741 A CN 117221741A
- Authority
- CN
- China
- Prior art keywords
- image
- color
- white balance
- color temperature
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 68
- 239000013598 vector Substances 0.000 claims abstract description 200
- 238000012549 training Methods 0.000 claims description 38
- 238000003708 edge detection Methods 0.000 claims description 20
- 230000006870 function Effects 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 12
- 238000013527 convolutional neural network Methods 0.000 claims description 10
- 238000012821 model calculation Methods 0.000 claims description 4
- 238000012545 processing Methods 0.000 abstract description 23
- 230000000694 effects Effects 0.000 abstract description 19
- 230000008569 process Effects 0.000 description 24
- 238000004422 calculation algorithm Methods 0.000 description 17
- 241000220225 Malus Species 0.000 description 15
- 235000019646 color tone Nutrition 0.000 description 14
- 230000011218 segmentation Effects 0.000 description 9
- 238000004364 calculation method Methods 0.000 description 8
- 239000003086 colorant Substances 0.000 description 6
- 235000013399 edible fruits Nutrition 0.000 description 5
- 238000012935 Averaging Methods 0.000 description 4
- 238000012937 correction Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000007613 environmental effect Effects 0.000 description 4
- 235000021016 apples Nutrition 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 238000005286 illumination Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000000903 blocking effect Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000010485 coping Effects 0.000 description 2
- 238000007405 data analysis Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000000611 regression analysis Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Color Television Image Signal Generators (AREA)
- Processing Of Color Television Signals (AREA)
Abstract
本申请涉及图像处理技术领域,提供了一种图像白平衡调整方法、装置、电子设备及存储介质。本申请通过获取彩色图像的整体特征向量及整体色温值,及块特征向量及块色温值,将局部信息和整体信息进行有效融合,使得彩色图像的特征表示更加丰富;通过将整体特征向量及整体色温值进行正交,将块特征向量与块色温值进行正交,降低了复杂度和冗余性,提取出最具代表性的特征,从而更准确地描述和表示彩色图像的信息;在将彩色图像、正交向量输入白平衡调整模型,得到候选白平衡图像后,再基于预设标准色温阈值对候选白平衡图像进行调整,得到目标白平衡图像,提高了彩色图像的白平衡调整效果,使得彩色图像呈现出自然、平衡的色彩效果。
Description
技术领域
本申请涉及图像处理技术领域,尤其是涉及一种图像白平衡调整方法、装置、电子设备及存储介质。
背景技术
白平衡用于确保图像能够适当地反映拍摄图像的真实世界场景中的实际白色。为了减少照射光源的色温对物体颜色的影响,需要对图像进行白平衡处理,使得图像中的物体呈现出实际的颜色。当摄影或拍摄的环境中存在不同颜色的光源时,白平衡处理可以消除图像中的色偏,使图像中的白色看起来是真实的中性白色,以便在不同的光源条件下呈现准确的颜色。
现有技术通常使用全局白平衡技术对图像进行校正,但是当图像的拍摄环境复杂时,全局自动白平衡技术的色彩校正准确性较低。这是因为全局自动白平衡技术通常基于整个图像的平均颜色来进行校正,无法针对不同的光源或背景环境进行精确调整。
发明内容
有鉴于此,本申请提供一种图像白平衡调整方法、装置、电子设备及存储介质,以解决全局自动白平衡技术的色彩校正准确性较低的技术问题。
本申请的第一方面提供一种图像白平衡调整方法,所述方法包括:
获取彩色图像的整体特征向量及整体色温值;
将所述彩色图像分为多个彩色图像块,并获取每个所述彩色图像块的块特征向量及块色温值;
将所述整体特征向量及所述整体色温值进行正交得到第一正交向量;
将每个所述块特征向量与对应的所述块色温值进行正交得到第二正交向量;
将所述彩色图像、所述第一正交向量及多个所述第二正交向量输入白平衡调整模型,得到候选白平衡图像;
基于预设标准色温阈值对所述候选白平衡图像进行调整,得到目标白平衡图像。
在一种可能的实施方式中,所述将所述彩色图像分为多个彩色图像块包括:
对所述彩色图像进行边缘检测,得到多个物体边缘;
基于所述多个物体边缘将所述彩色图像分割为多个彩色图像块。
在一种可能的实施方式中,所述获取彩色图像的整体特征向量及整体色温值包括:
获取所述彩色图像在RGB颜色空间的通道值;
将所述彩色图像由RGB颜色空间转换为指定颜色空间;
获取所述彩色图像在所述指定颜色空间中的色度值、亮度值和颜色分布直方图;
将所述通道值、所述亮度值以及所述颜色分布直方图作为所述整体特征向量;
基于所述色度值及所述指定颜色空间对应的色度-色温关系模型计算所述彩色图像的整体色温值。
在一种可能的实施方式中,所述白平衡调整模型通过如下方式训练得到:
基于卷积神经网络构建初始白平衡调整模型;
获取每个所述彩色样本图像对应的参考白平衡图像;
基于所述彩色样本图像的整体特征向量及整体色温值得到第一正交样本向量;
基于所述彩色样本图像的块特征向量及对应的块色温值得到第二正交样本向量;
将所述彩色样本图像、所述参考白平衡图像以及所述第一正交样本向量及对应的所述第二正交样本向量输入所述初始白平衡调整模型中进行训练;
基于最小化预设损失函数对所述初始白平衡调整模型的模型参数进行优化,得到所述白平衡调整模型。
在一种可能的实施方式中,所述获取每个所述彩色样本图像对应的参考白平衡图像包括:
将所述彩色样本图像从RGB颜色空间转换到Lab颜色空间;
对所述彩色样本图像进行去噪处理,得到去噪图像;
获取所述去噪图像的平均亮度分量值,根据所述平均亮度分量值计算得到亮度调整因子,并基于所述亮度调整因子对所述去噪图像进行亮度调整;
获取亮度调整后的去噪图像的平均a色度分量值及平均b色度分量值,根据所述平均a色度分量值计算得到a色度分量缩放因子,根据所述平均b色度分量值计算得到b色度分量缩放因子,并基于所述a色度分量缩放因子及所述b色度分量缩放因子对所述亮度调整后的去噪图像进行色度调整,得到所述参考白平衡图像。
在一种可能的实施方式中,所述基于预设标准色温阈值对所述候选白平衡图像进行调整,得到目标白平衡图像包括:
获取所述候选白平衡图像的候选色温值;
将所述候选色温值与所述预设标准色温阈值进行比较;
当所述候选色温值高于所述预设标准色温阈值时,使用预设第一调整系数对所述候选白平衡图像进行调整,得到目标白平衡图像;
当所述候选色温值低于所述预设标准色温阈值时,使用预设第二调整系数对所述候选白平衡图像进行调整,得到目标白平衡图像;
其中,所述预设第一调整系数小于1,所述预设第二调整系数大于1。
在一种可能的实施方式中,在所述将所述候选色温值与所述预设标准色温阈值进行比较之前,所述方法还包括:
判断所述候选色温值是否在预设标准色温阈值范围内;
当确定所述候选色温值在所述预设标准色温阈值范围内时,执行所述基于预设标准色温阈值对所述候选白平衡图像进行调整,得到目标白平衡图像;
当确定所述候选色温值不在所述预设标准色温阈值范围内时,获取所述候选白平衡图像的第一正交向量及多个第二正交向量,并将所述候选白平衡图像以及对应的所述第一正交向量及对应的多个所述第二正交向量输入所述白平衡调整模型,得到新的候选白平衡图像。
本申请的第二方面提供一种图像白平衡调整装置,所述系统包括:
整体获取模块,用于获取彩色图像的整体特征向量及整体色温值;
局部获取模块,用于将所述彩色图像分为多个彩色图像块,并获取每个所述彩色图像块的块特征向量及块色温值;
第一正交模块,用于将所述整体特征向量及所述整体色温值进行正交得到第一正交向量;
第二正交模块,用于将每个所述块特征向量与对应的所述块色温值进行正交得到第二正交向量;
模型计算模块,用于将所述彩色图像、所述第一正交向量及多个所述第二正交向量输入白平衡调整模型,得到候选白平衡图像;
输出调整模块,用于基于预设标准色温阈值对所述候选白平衡图像进行调整,得到目标白平衡图像。
本申请的第三方面提供一种电子设备,包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现所述的图像白平衡调整方法的步骤。
本申请的第四方面提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现所述的图像白平衡调整方法的步骤。
本申请实施例提供的图像白平衡调整方法、装置、电子设备及存储介质,通过提取整体和局部的图像特征向量和色温值,并利用正交处理和白平衡调整模型来实现彩色图像的白平衡调整,从而得到目标白平衡的图像结果。采用整体特征向量和整体色温值以及块特征向量和块色温值的组合来进行白平衡调整,通过综合考虑整体和局部的图像特征信息,可以更准确地对图像进行白平衡调整,提高了整体的调整效果。将整体特征向量和整体色温值以及块特征向量和块色温值进行正交处理,可以捕捉到它们之间的相互关系,有助于提取彩色图像中的关键特征和色温属性,并减少特征之间的冗余性,提高了白平衡调整的精度和稳定性。
附图说明
图1是本申请实施例示出的图像白平衡调整方法的流程图;
图2是本申请实施例示出的图像白平衡调整装置的功能模块图;
图3是本申请实施例示出的电子设备的结构图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行描述。
本发明实施例提供的图像白平衡调整方法由电子设备执行,相应地,图像白平衡调整装置运行于电子设备中。
图1是本发明实施例一提供的图像白平衡调整方法的流程图,所述图像白平衡调整方法具体包括以下步骤。
S11,获取彩色图像的整体特征向量及整体色温值。
色温是用于描述光源颜色属性的指标,通常以单位为开尔文(Kelvin)表示,它与光源的颜色相关,可以用来判断光源的色调。不同色温的光源具有不同的颜色特性,从暖色调(较低的色温,如黄色和橙色)到冷色调(较高的色温,如蓝色和白色)。利用自然光拍摄时,由于不同时间段光线的色温并不相同,因此拍摄出来的照片色彩也并不相同。利用人工光线进行拍摄时,也会出现光源类型不同,拍摄出来的照片色调不同的情况。当照射的光源色温处于5000K-5500K之间时,白色物体显现正常的白色,当照射光源的色温高于5000K或者低于5000K时,白色就不再显示正常的白色,当色温偏低时白色物体偏黄,当色温偏高时白色物体偏蓝。
在一种可能的实施方式中,所述获取彩色图像的整体特征向量及整体色温值包括:
获取所述彩色图像在RGB颜色空间的通道值;
将所述彩色图像由RGB颜色空间转换为指定颜色空间;
获取所述彩色图像在所述指定颜色空间中的色度值、亮度值和颜色分布直方图;
将所述通道值、所述亮度值以及所述颜色分布直方图作为所述整体特征向量;
基于所述色度值及所述指定颜色空间对应的色度-色温关系模型计算所述彩色图像的整体色温值。
首先获取彩色图像中每个像素点的RGB三通道值。然后使用颜色空间转换公式将彩色图像的颜色空间由RGB转换为指定颜色空间。接着获取彩色图像在指定颜色空间中的亮度值和颜色分布直方图,亮度值用来表示像素的明暗程度,颜色分布直方图用于表示不同颜色值在彩色图像中的分布情况。最后,将彩色图像中R通道的平均值、G通道的平均值、B通道的平均值、指定颜色空间中的亮度值以及颜色分布直方图进行组合,生成彩色图像的整体特征向量,所述彩色图像的整体特征向量用来描述彩色图像的整体特征和色彩属性。
在一个可选的实施方式中,所述指定颜色空间可以为Lab颜色空间,Lab颜色空间是人类视觉的颜色空间,是一种与设备无光的色彩模式,不仅包含了RGB、CMYK的所有色域,还能表现RGB、CMYK不能表现的色彩。将彩色图像由RGB颜色空间转换为Lab颜色空间,可以提供更好的色彩可分辨性和对比度,有助于提高图像白平衡调整的效果。
利用与指定颜色空间对应的色度-色温关系模型将指定颜色空间的色度值转换为色温值,所述色度-色温关系模型是通过样本数据和回归分析得出的现有模型,描述了不同色度值对应的光源色温,不同颜色空间对应的色度-色温关系模型不同。根据每个像素点的色度值计算对应的色温值,从而基于每个像素点的色度值计算得到彩色图像的整体色温值,整体色温值为彩色图像所有像素点的色温值的均值。
示例性的,当彩色图像A为一张装有水果的篮子的彩色图像时,首先获取彩色图像A的每个像素点的R通道值、G通道值以及B通道值,并计算彩色图像中R通道的平均值、G通道的平均值以及B通道的平均值。由于RGB颜色空间不能直接转换到Lab颜色空间,则先将彩色图像A从RGB颜色空间转换为XYZ颜色空间,再从XYZ颜色空间转换为Lab颜色空间,基于Lab颜色空间得到彩色图像A的亮度值以及颜色分布直方图。将彩色图像中R通道的平均值、G通道的平均值、B通道的平均值、指定颜色空间中的亮度以及颜色分布直方图进行组合,得到彩色图像A的整体特征向量。之后基于亮度值和Lab颜色空间对应的色度-色温关系模型计算彩色图像A中每个像素点对应的色温值。基于每个像素点的色温值计算彩色图像A的整体色温值,即整个彩色图像A的平均色温值。
在一个可选的实施方式中,将彩色图像A由XYZ颜色空间转换到Lab颜色空间可以通过以下步骤完成:通过将彩色图像A在XYZ颜色空间的XYZ值转换为CIE标准中的白点D65下的目标XYZ值;使用互变换矩阵将目标XYZ值转换为RGB颜色空间的值;将RGB颜色空间的值转换为线性RGB值;将线性RGB值转换为sRGB空间;将sRGB空间的RGB值转换为Lab颜色空间的值。
上述可能的实施方式中,通过计算颜色分布直方图彩色图像的整体特征向量和整体色温值,有助于后续图像白平衡处理和色彩分析。
在一个可选的实施方式中,由于色度-色温关系模型是基于实验数据和统计推导建立的,使用色度-色温关系模型进行计算会引入一定的近似误差,因此还需要基于标准校准表格对通过色度-色温关系模型计算得到的色温值进行修正,得到彩色图像中每个像素点的实际色温值。最后基于每个像素点的实际色温值计算彩色图像的整体色温值,所述彩色图像的整体色温值用于表示整个彩色图像的色温特性。
S12,将所述彩色图像分为多个彩色图像块,并获取每个所述彩色图像块的块特征向量及块色温值。
为了捕捉到彩色图像的细节信息,将彩色图像分割成多个彩色图像块,块与块之间相互独立,通过多个彩色图像块精确地分析和描述不同局部区域的细节特征,例如纹理、边缘和小尺度结构,从而更准确地表示彩色图像中的细节信息。
获取每个彩色图像块的块特征向量的过程可以参照获取彩色图像的整体特征向量的过程,获取每个彩色图像块的块色温值的过程可以参照获取彩色图像的整体色温值的过程,本申请在此不再详细阐述。
在一种可能的实施方式中,所述将所述彩色图像分为多个彩色图像块包括:
对所述彩色图像进行边缘检测,得到多个物体边缘;
基于所述多个物体边缘将所述彩色图像分割为多个彩色图像块。
可以使用边缘检测算法,例如,Canny边缘检测算法,对彩色图像进行边缘检测,得到彩色图像中的多个物体边缘,每个物体边缘表示彩色图像中一个特定结构或颜色变化的边界。基于多个物体边缘以及边缘的连接性、形状、颜色等特征,应用区域生长分割算法将原始彩色图像划分为多个彩色图像块,每个图像块代表图像中的一个特定区域或物体。
示例性的,当彩色图像A为一张装有水果的篮子的图像,通过应用Canny边缘检测算法,可以获取图像中苹果、橙子和篮子的边缘信息。然后,使用区域生长分割算法,通过连接这些边缘信息和依据边缘之间的连接性和颜色信息,将图像分割为多个图像块,每个块代表篮子、苹果、橙子、桌子以及背景等区域中的任意一个,实现对图像中不同物体的分割和识别。
在得到篮子图像块、苹果图像块、橙子图像块、桌子图像块等图像块后,可以获取篮子图像块的块特征向量及块色温值,获取苹果图像块的块特征向量及块色温值,获取橙子图像块的块特征向量及块色温值,获取桌子图像块的块特征向量及块色温值。
对于篮子图像块而言,获取篮子图像块的每个像素点的R通道值、G通道值以及B通道值,计算篮子图像块中R通道的平均值、G通道的平均值以及B通道的平均值。将篮子图像块从RGB颜色空间转换为Lab颜色空间,获取篮子图像块在Lab颜色空间中的亮度值以及颜色分布直方图。将篮子图像块的R通道的平均值、G通道的平均值、B通道的平均值、Lab颜色空间中的亮度值以及颜色分布直方图进行组合,生成篮子图像块的块特征向量。基于与Lab颜色空间对应的色度-色温关系模型计算篮子图像块中每个像素点对应的色温值,并基于标准校准表格对色温值进行修正,得到篮子图像块的每个像素点的实际色温值。基于每个像素点的实际色温值计算篮子图像块的平均色温值,得到篮子图像块的块色温值。
参照获取篮子图像块的块特征向量及块色温值,获取苹果图像块、橙子图像块、桌子图像块以及背景图像块等的块特征向量及块色温值。
上述可能的实施方式,通过边缘检测提取彩色图像的物体边缘,然后利用物体边缘将彩色图像分割成多个彩色图像块,对每个彩色图像块进行单独特征提取,可以更精确地分析和描述不同局部区域的细节特征,从而更准确地表示彩色图像中的细节信息,从而提高后续白平衡处理的准确性和鲁棒性。此外,相比于对整个彩色图像进行处理,通过对彩色图像进行分块,对块进行特征提取可以减少计算量和内存需求,提高处理速度。
S13,将所述整体特征向量及所述整体色温值进行正交得到第一正交向量。
将整体特征向量和整体色温值组成一个第一组合向量,应用正交化方法,通过计算第一组合向量的内积,得到第一正交向量,第一正交向量与整体特征向量和整体色温值都正交。
通过对基于整体特征向量和整体色温值组和得到的第一组合向量进行正交化处理,可以降低复杂度和冗余性,并从中提取出最相关、最有信息量和最具代表性的特征,且第一正交向量能够提供独立的信息,从而更准确地描述和表示彩色图像的信息。
S14,将每个所述块特征向量与对应的所述块色温值进行正交得到第二正交向量。
将每个彩色图像块的块特征向量及块色温值进行组合,得到第二组合向量,每个彩色图像块对应一个第二组合向量。
可以参照将所述整体特征向量及所述整体色温值进行正交得到第一正交向量的过程,将每个所述块特征向量与对应的所述块色温值进行正交,得到第二正交向量。
S15,将所述彩色图像、所述第一正交向量及多个所述第二正交向量输入白平衡调整模型,得到候选白平衡图像。
其中,所述白平衡调整模型为预先基于训练样本集进行训练得到的机器学习模型,所述训练样本集包括多个不同环境状态下的多个彩色样本图像,每个环境状态可以对应一个或多个彩色样本图像。基于不同环境状态下的多个彩色样本图像,可以得到一个多样化的训练样本集,基于多样化的训练样本集训练白平衡调整模型,能够提高白平衡调整模型的鲁棒性,从而能够适用于不同环境状态下的彩色图像。
因为颜色是由光的波长和光照条件决定的,而不同的光源和环境会导致彩色图像呈现不同的色偏。例如,在室内和室外拍摄的图像可能受到不同类型的照明灯光的影响,如白炽灯、荧光灯或自然光。此外,还会存在不同的色温、光强度和光源位置等因素的变化。为了使白平衡调整模型能够适应各种不同的光照条件和环境下的彩色图像,训练样本集需要包含在不同光照条件下拍摄的图像,以及在不同环境中捕获的图像。因此使用多样化且包含不同环境状态的训练样本集,可以让白平衡调整模型学习到不同环境下的彩色图像的特征和变化,根据输入的彩色图像块和环境信息,调整图像的色调、色温和色彩平衡,更准确地呈现真实场景中的颜色,确保白平衡调整模型可以泛化到新的、不在训练集中的环境中。如果训练样本集过于单一或不具代表性,白平衡调整模型可能会在应对未见过的环境和光照条件时表现不佳,产生不准确的白平衡调整结果。
在一种可能的实施方式中,所述白平衡调整模型通过如下方式训练得到:
基于卷积神经网络构建初始白平衡调整模型;
获取每个所述彩色样本图像对应的参考白平衡图像;
基于所述彩色样本图像的整体特征向量及整体色温值得到第一正交样本向量;
基于所述彩色样本图像的块特征向量及对应的块色温值得到第二正交样本向量;
将所述彩色样本图像、所述参考白平衡图像以及所述第一正交样本向量及对应的所述第二正交样本向量输入所述初始白平衡调整模型中进行训练;
基于最小化预设损失函数对所述初始白平衡调整模型的模型参数进行优化,得到所述白平衡调整模型。
使用卷积神经网络(Convolutional Neural Network,CNN)构建初始白平衡调整模型,并将训练样本集中的每个彩色样本图像对应的参考白平衡图像作为训练过程中的目标,用于度量模型的性能和误差。
可以参照S11中获取彩色图像的整体特征向量及整体色温值的过程,获取训练样本集中每个彩色样本图像的整体特征向量和整体色温值。基于每个彩色样本图像的整体特征向量和整体色温值进行正交得到第一正交样本向量。可以参照S12中获取彩色图像块的块特征向量及块色温值的过程,获取训练样本集中每个彩色样本图像的块特征向量和块色温值。基于每个彩色样本图像的每个块特征向量及对应的块色温值进行正交得到第二正交样本向量。
将彩色样本图像、参考白平衡图像、第一正交样本向量和多个第二正交样本向量作为输入数据,输入到初始白平衡调整模型中进行训练。初始白平衡调整模型通过学习输入数据与目标输出图像之间的映射关系,逐步提高对图像的白平衡调整效果。最后通过最小化预设的损失函数来优化初始白平衡调整模型的参数,加速模型的收敛速度。
上述可能的实施方式中,通过对彩色样本图像进行分块处理,可以更好地捕捉彩色样本图像的局部细节信息,通过整体特征向量和块特征向量的组合,能够综合考虑图像的全局和局部的特征信息,提供更全面的特征表示。引入参考白平衡图像作为训练数据,可以提供对图像真实白平衡的目标的引导。通过使用多样化的训练样本集对白平衡调整模型进行训练,可以提高白平衡调整模型的鲁棒性和准确性,使白平衡调整模型了解彩色图像在不同环境下的颜色和光照关系,从而能够更准确地进行白平衡调整。
在一种可能的实施方式中,所述获取每个所述彩色样本图像对应的参考白平衡图像包括:
将所述彩色样本图像从RGB颜色空间转换到Lab颜色空间;
对所述彩色样本图像进行去噪处理,得到去噪图像;
获取所述去噪图像的平均亮度分量值,根据所述平均亮度分量值计算得到亮度调整因子,并基于所述亮度调整因子对所述去噪图像进行亮度调整;
获取亮度调整后的去噪图像的平均a色度分量值及平均b色度分量值,根据所述平均a色度分量值计算得到a色度分量缩放因子,根据所述平均b色度分量值计算得到b色度分量缩放因子,并基于所述a色度分量缩放因子及所述b色度分量缩放因子对所述亮度调整后的去噪图像进行色度调整,得到所述参考白平衡图像。
可以使用高斯滤波器对彩色样本图像进行去噪处理,减少彩色样本图像中的噪声和干扰,以提高后续算法的准确性和效果。
将彩色样本图像从RGB颜色空间转换到Lab颜色空间,其中,亮度(L)分量表示图像的亮度信息,而色度分量(a分量和b分量)表示图像的色彩信息。对于彩色样本图像中的每个像素点,提取该像素点的亮度分量值,并基于所有像素点的亮度分量值得到平均亮度分量值。计算彩色样本图像的亮度分量值的直方图,并选择直方图的峰值作为目标平均亮度值。将目标平均亮度值除以平均亮度分量值,得到亮度调整因子。将彩色样本图像中每个像素点的亮度分量值乘以亮度调整因子,实现了对彩色样本图像的亮度的调整,使得彩色样本图像中每个像素点的光亮度是相近的,达到了整体亮度均衡的效果。
根据彩色样本图像的拍摄环境选取标准白色点作为参考白点,并计算参考白点的色度分量值。对于彩色样本图像中的每个像素点,提取该像素点的a色度分量值,并基于所有像素点的a色度分量值得到平均a色度分量值。将参考白点的色度分量值除以平均a色度分量值,得到a色度分量缩放因子,表示彩色样本图像与参考白点之间的a色度的偏移量。对于彩色样本图像中的每个像素点,提取该像素点的b色度分量值,并基于所有像素点的b色度分量值得到平均b色度分量值。将参考白点的色度分量值除以平均b色度分量值,得到b色度分量缩放因子,表示彩色样本图像与参考白点之间的b色度的偏移量。将彩色样本图像中每个像素点的a色度分量值乘以a色度分量的调整因子,及将彩色样本图像中每个像素点的b色度分量值乘以b色度分量的调整因子,实现了对彩色样本图像的色度的调整,从而将彩色样本图像中每个像素点的色度分量调整到与参考白点相匹配的比例。
最后基于调整后的色度分量与亮度分量得到彩色样本图像对应的参考白平衡图像。
上述可能的实施方式中,通过将彩色样本图像的亮度和色度信息分离进行处理,可以保持亮度和色度之间的独立性,获得更好的视觉效果,在保持彩色样本图像的整体亮度平衡的同时,校正色度的偏差,实现更真实准确的颜色表现。
S16,基于预设标准色温阈值对所述候选白平衡图像进行调整,得到目标白平衡图像。
由于白平衡调整模型输出的候选白平衡图像可能还会存在色偏现象,因而需要将候选白平衡图像的色温与预设标准色温阈值进行比较,根据比较得到的结果对候选白平衡图像进行调整。
在一种可能的实施方式中,所述基于预设标准色温阈值对所述候选白平衡图像进行调整,得到目标白平衡图像包括:
获取所述候选白平衡图像的候选色温值;
将所述候选色温值与所述预设标准色温阈值进行比较;
当所述候选色温值高于所述预设标准色温阈值时,使用预设第一调整系数对所述候选白平衡图像进行调整,得到目标白平衡图像;
当所述候选色温值低于所述预设标准色温阈值时,使用预设第二调整系数对所述候选白平衡图像进行调整,得到目标白平衡图像;
其中,所述预设第一调整系数和预设第二调整系数为预先通过先验知识得到的,且所述预设第一调整系数小于1,所述预设第二调整系数大于1。
可以参照S11中获取彩色图像的整体色温值的过程,获取候选白平衡图像的整体色温值,为便于描述,将候选白平衡图像的整体色温值称之为候选色温值。将获取到的候选色温值与预先设置的标准色温阈值进行比较。如果候选色温值高于预设标准色温阈值,说明候选白平衡图像的色调偏暖,需要将候选白平衡图像的色温值调低,则使用预先设置的第一调整系数对候选白平衡图像进行调整,由于预先设置的第一调整系数小于1,则生成的目标白平衡图像相较于候选白平衡图像的色温值会降低,色调趋于正常;如果候选色温值低于预设标准色温阈值,说明候选白平衡图像的色调偏冷,需要将候选白平衡图像的色温值调高,则使用预先设置的第二调整系数对候选白平衡图像进行调整,由于预先设置的第一调整系数大于1,则生成的目标白平衡图像相较于候选白平衡图像的色温值会升高,色调趋于正常。
上述可能的实施方式中,通过使用不同的调整系数对候选白平衡图像进行微调,得到的目标白平衡图像的色温更接近预设的标准色温值,确保目标白平衡图像在预设的标准色温范围内。
在一种可能的实施方式中,在所述将所述候选色温值与所述预设标准色温阈值进行比较之前,所述方法还包括:
判断所述候选色温值是否在预设标准色温阈值范围内;
当确定所述候选色温值在所述预设标准色温阈值范围内时,执行所述基于预设标准色温阈值对所述候选白平衡图像进行调整,得到目标白平衡图像;
当确定所述候选色温值不在所述预设标准色温阈值范围内时,获取所述候选白平衡图像的第一正交向量及多个第二正交向量,并将所述候选白平衡图像以及对应的所述第一正交向量及对应的多个所述第二正交向量输入所述白平衡调整模型,得到新的候选白平衡图像。
其中,所述预设标准色温阈值可以在预设标准色温阈值范围内,可选的,可以根据预设标准色温阈值范围的上限值及下限值,计算得到均值,将均值作为预设标准色温阈值。
将获取到的候选色温值与预设标准色温阈值进行比较。如果候选色温值处于预设标准色温阈值范围内,说明候选白平衡图像的色调呈现出轻度的偏高或者偏低,因此只需要对候选白平衡图像进行微调,即可使得候选白平衡图像呈现出自然、平衡的色彩效果。如果候选色温值不在预设标准色温阈值范围内,说明候选白平衡图像的色调呈现出严重的偏高或者偏低,无法通过对候选白平衡图像进行微调,来呈现出自然、平衡的色彩效果。
当确定候选色温值在预设标准色温阈值范围内时,再将候选色温值与预设标准色温阈值进行比较,以此判断候选白平衡图像的色调是偏暖还是偏冷,并根据比较得到的结果选择合适的调整系数对候选白平衡图像进行调整。
当确定候选色温值不在预设标准色温阈值范围内时,则再次将候选白平衡图像以及候选白平衡图像的第一正交向量和多个第二正交向量输入白平衡调整模型,进行更精细的色彩校正,生成目标白平衡图像。
上述可能的实施方式中,通过判断候选色温值是否在预设标准色温阈值范围内,来判断候选白平衡图像的色调偏离程度,仅对色温轻度偏离的候选白平衡图像进行微调,能够减少计算量,节省处理时间和资源。
本申请实施例通过获取彩色图像的整体特征向量及整体色温值,及彩色图像的块特征向量及块色温值,可以将局部信息和整体信息进行有效融合,使得彩色图像的特征表示更加丰富和综合,从而提高对整体和局部信息的理解和描述能力;通过将整体特征向量及整体色温值进行正交得到第一正交向量,并将每个块特征向量与对应的块色温值进行正交得到第二正交向量,可以降低复杂度和冗余性,并从中提取出最相关、最有信息量和最具代表性的特征,且正交向量能够提供独立的信息,从而更准确地描述和表示彩色图像的信息;在将彩色图像、第一正交向量及多个第二正交向量输入白平衡调整模型,得到候选白平衡图像后,再基于预设标准色温阈值对所述候选白平衡图像进行调整,得到目标白平衡图像,提高了彩色图像的白平衡调整效果,使得彩色图像呈现出自然、平衡的色彩效果。
图2是本发明实施例二提供的图像白平衡调整装置的结构图。
在一些实施例中,所述图像白平衡调整装置20可以包括多个由计算机程序段所组成的功能模块。所述图像白平衡调整装置20中的各个程序段的计算机程序可以存储于电子设备的存储器中,并由至少一个处理器所执行,以执行(详见图1描述)图像白平衡调整的功能。
本实施例中,所述图像白平衡调整装置20根据其所执行的功能,可以被划分为多个功能模块。所述功能模块可以包括:整体获取模块201、局部获取模块202、第一正交模块203、第二正交模块204、模型计算模块205以及输出调整模块206。
本发明所称的模块是指一种能够被至少一个处理器所执行并且能够完成固定功能的一系列计算机程序段,其存储在存储器中。在本实施例中,关于各模块的功能将在后续的实施例中详述。
整体获取模块201,用于获取彩色图像的整体特征向量及整体色温值。
色温是用于描述光源颜色属性的指标,通常以单位为开尔文(Kelvin)表示,它与光源的颜色相关,可以用来判断光源的色调。不同色温的光源具有不同的颜色特性,从暖色调(较低的色温,如黄色和橙色)到冷色调(较高的色温,如蓝色和白色)。利用自然光拍摄时,由于不同时间段光线的色温并不相同,因此拍摄出来的照片色彩也并不相同。利用人工光线进行拍摄时,也会出现光源类型不同,拍摄出来的照片色调不同的情况。当照射的光源色温处于5000K-5500K之间时,白色物体显现正常的白色,当照射光源的色温高于5000K或者低于5000K时,白色就不再显示正常的白色,当色温偏低时白色物体偏黄,当色温偏高时白色物体偏蓝。
在一种可能的实施方式中,所述获取彩色图像的整体特征向量及整体色温值包括:
获取所述彩色图像在RGB颜色空间的通道值;
将所述彩色图像由RGB颜色空间转换为指定颜色空间;
获取所述彩色图像在所述指定颜色空间中的色度值、亮度值和颜色分布直方图;
将所述通道值、所述亮度值以及所述颜色分布直方图作为所述整体特征向量;
基于所述色度值及所述指定颜色空间对应的色度-色温关系模型计算所述彩色图像的整体色温值。
首先获取彩色图像中每个像素点的RGB三通道值 。然后使用颜色空间转换公式将彩色图像的颜色空间由RGB转换为指定颜色空间。接着获取彩色图像在指定颜色空间中的亮度值和颜色分布直方图,亮度值用来表示像素的明暗程度,颜色分布直方图用于表示不同颜色值在彩色图像中的分布情况。最后,将彩色图像中R通道的平均值、G通道的平均值、B通道的平均值、指定颜色空间中的亮度值以及颜色分布直方图进行组合,生成彩色图像的整体特征向量,所述彩色图像的整体特征向量用来描述彩色图像的整体特征和色彩属性。
在一个可选的实施方式中,所述指定颜色空间可以为Lab颜色空间,Lab颜色空间是人类视觉的颜色空间,是一种与设备无光的色彩模式,不仅包含了RGB、CMYK的所有色域,还能表现RGB、CMYK不能表现的色彩。将彩色图像由RGB颜色空间转换为Lab颜色空间,可以提供更好的色彩可分辨性和对比度,有助于提高图像白平衡调整的效果。
利用与指定颜色空间对应的色度-色温关系模型将指定颜色空间的色度值转换为色温值,所述色度-色温关系模型是通过样本数据和回归分析得出的现有模型,描述了不同色度值对应的光源色温,不同颜色空间对应的色度-色温关系模型不同。根据每个像素点的色度值计算对应的色温值,从而基于每个像素点的色度值计算得到彩色图像的整体色温值,整体色温值为彩色图像所有像素点的色温值的均值。
示例性的,当彩色图像A为一张装有水果的篮子的彩色图像时,首先获取 彩色图像A的每个像素点的R通道值、G通道值以及B通道值,并计算彩色图像中R通道的平均值、G通道的平均值以及B通道的平均值。由于RGB颜色空间不能直接转换到Lab颜色空间,则先将彩色图像A从RGB颜色空间转换为XYZ颜色空间,再从XYZ颜色空间转换为Lab颜色空间,基于Lab颜色空间得到彩色图像A的亮度值以及颜色分布直方图。将彩色图像中R通道的平均值、G通道的平均值、B通道的平均值、指定颜色空间中的亮度以及颜色分布直方图 进行组合,得到彩色图像A的整体特征向量。之后基于亮度值和Lab颜色空间对应的色度-色温关系模型计算彩色图像A中每个像素点对应的色温值。基于每个像素点的色温值计算彩色图像A的整体色温值,即整个彩色图像A的平均色温值。
在一个可选的实施方式中,将彩色图像A由XYZ颜色空间转换到Lab颜色空间可以通过以下步骤完成:通过将彩色图像A在XYZ颜色空间的XYZ值转换为CIE标准中的白点D65下的目标XYZ值;使用互变换矩阵将目标XYZ值转换为RGB颜色空间的值;将RGB颜色空间的值转换为线性RGB值;将线性RGB值转换为sRGB空间;将sRGB空间的RGB值转换为Lab颜色空间的值。
上述可能的实施方式中,通过计算颜色分布直方图彩色图像的整体特征向量和整体色温值,有助于后续图像白平衡处理和色彩分析。
在一个可选的实施方式中,由于色度-色温关系模型是基于实验数据和统计推导建立的,使用色度-色温关系模型进行计算会引入一定的近似误差,因此还需要基于标准校准表格对通过色度-色温关系模型计算得到的色温值进行修正,得到彩色图像中每个像素点的实际色温值。最后基于每个像素点的实际色温值计算彩色图像的整体色温值,所述彩色图像的整体色温值用于表示整个彩色图像的色温特性。
局部获取模块202,用于将所述彩色图像分为多个彩色图像块,并获取每个所述彩色图像块的块特征向量及块色温值。
为了捕捉到彩色图像的细节信息,将彩色图像分割成多个彩色图像块,块与块之间相互独立,通过多个彩色图像块精确地分析和描述不同局部区域的细节特征,例如纹理、边缘和小尺度结构,从而更准确地表示彩色图像中的细节信息。
获取每个彩色图像块的块特征向量的过程可以参照获取彩色图像的整体特征向量的过程,获取每个彩色图像块的块色温值的过程可以参照获取彩色图像的整体色温值的过程,本申请在此不再详细阐述。
在一种可能的实施方式中,所述将所述彩色图像分为多个彩色图像块包括:
对所述彩色图像进行边缘检测,得到多个物体边缘;
基于所述多个物体边缘将所述彩色图像分割为多个彩色图像块。
可以使用边缘检测算法,例如,Canny边缘检测算法,对彩色图像进行边缘检测,得到彩色图像中的多个物体边缘,每个物体边缘表示彩色图像中一个特定结构或颜色变化的边界。基于多个物体边缘以及边缘的连接性、形状、颜色等特征,应用区域生长分割算法将原始彩色图像划分为多个彩色图像块,每个图像块代表图像中的一个特定区域或物体。
示例性的,当彩色图像A为一张装有水果的篮子的图像,通过应用Canny边缘检测算法,可以获取图像中苹果、橙子和篮子的边缘信息。然后,使用区域生长分割算法,通过连接这些边缘信息和依据边缘之间的连接性和颜色信息,将图像分割为多个图像块,每个块代表篮子、苹果、橙子、桌子以及背景等区域中的任意一个,实现对图像中不同物体的分割和识别。
在得到篮子图像块、苹果图像块、橙子图像块、桌子图像块等图像块后,可以获取篮子图像块的块特征向量及块色温值,获取苹果图像块的块特征向量及块色温值,获取橙子图像块的块特征向量及块色温值,获取桌子图像块的块特征向量及块色温值。
对于篮子图像块而言,获取篮子图像块的每个像素点的R通道值、G通道值以及B通道值,计算篮子图像块中R通道的平均值、G通道的平均值以及B通道的平均值。将篮子图像块从RGB颜色空间转换为Lab颜色空间,获取篮子图像块在Lab颜色空间中的亮度值以及颜色分布直方图 。将篮子图像块的R通道的平均值、G通道的平均值、B通道的平均值、Lab颜色空间中的亮度值以及颜色分布直方图进行组合,生成篮子图像块的块特征向量。基于与Lab颜色空间对应的色度-色温关系模型计算篮子图像块中每个像素点对应的色温值,并基于标准校准表格对色温值进行修正,得到篮子图像块的每个像素点的实际色温值。基于每个像素点的实际色温值计算篮子图像块的平均色温值,得到篮子图像块的块色温值。
参照获取篮子图像块的块特征向量及块色温值,获取苹果图像块、橙子图像块、桌子图像块以及背景图像块等的块特征向量及块色温值。
上述可能的实施方式,通过边缘检测提取彩色图像的物体边缘,然后利用物体边缘将彩色图像分割成多个彩色图像块,对每个彩色图像块进行单独特征提取,可以更精确地分析和描述不同局部区域的细节特征,从而更准确地表示彩色图像中的细节信息,从而提高后续白平衡处理的准确性和鲁棒性。此外,相比于对整个彩色图像进行处理,通过对彩色图像进行分块,对块进行特征提取可以减少计算量和内存需求,提高处理速度。
第一正交模块203,用于将所述整体特征向量及所述整体色温值进行正交得到第一正交向量。
为了捕捉到彩色图像的细节信息,将彩色图像分割成多个彩色图像块,块与块之间相互独立,通过多个彩色图像块精确地分析和描述不同局部区域的细节特征,例如纹理、边缘和小尺度结构,从而更准确地表示彩色图像中的细节信息。
获取每个彩色图像块的块特征向量的过程可以参照获取彩色图像的整体特征向量的过程,获取每个彩色图像块的块色温值的过程可以参照获取彩色图像的整体色温值的过程,本申请在此不再详细阐述。
在一种可能的实施方式中,所述将所述彩色图像分为多个彩色图像块包括:
对所述彩色图像进行边缘检测,得到多个物体边缘;
基于所述多个物体边缘将所述彩色图像分割为多个彩色图像块。
可以使用边缘检测算法,例如,Canny边缘检测算法,对彩色图像进行边缘检测,得到彩色图像中的多个物体边缘,每个物体边缘表示彩色图像中一个特定结构或颜色变化的边界。基于多个物体边缘以及边缘的连接性、形状、颜色等特征,应用区域生长分割算法将原始彩色图像划分为多个彩色图像块,每个图像块代表图像中的一个特定区域或物体。
示例性的,当彩色图像A为一张装有水果的篮子的图像,通过应用Canny边缘检测算法,可以获取图像中苹果、橙子和篮子的边缘信息。然后,使用区域生长分割算法,通过连接这些边缘信息和依据边缘之间的连接性和颜色信息,将图像分割为多个图像块,每个块代表篮子、苹果、橙子、桌子以及背景等区域中的任意一个,实现对图像中不同物体的分割和识别。
在得到篮子图像块、苹果图像块、橙子图像块、桌子图像块等图像块后,可以获取篮子图像块的块特征向量及块色温值,获取苹果图像块的块特征向量及块色温值,获取橙子图像块的块特征向量及块色温值,获取桌子图像块的块特征向量及块色温值。
对于篮子图像块而言,获取篮子图像块的每个像素点的R通道值、G通道值以及B通道值,计算篮子图像块中R通道的平均值、G通道的平均值以及B通道的平均值。将篮子图像块从RGB颜色空间转换为Lab颜色空间,获取篮子图像块在Lab颜色空间中的亮度值以及颜色分布直方图 。将篮子图像块的R通道的平均值、G通道的平均值、B通道的平均值、Lab颜色空间中的亮度值以及颜色分布直方图进行组合,生成篮子图像块的块特征向量。基于与Lab颜色空间对应的色度-色温关系模型计算篮子图像块中每个像素点对应的色温值,并基于标准校准表格对色温值进行修正,得到篮子图像块的每个像素点的实际色温值。基于每个像素点的实际色温值计算篮子图像块的平均色温值,得到篮子图像块的块色温值。
参照获取篮子图像块的块特征向量及块色温值,获取苹果图像块、橙子图像块、桌子图像块以及背景图像块等的块特征向量及块色温值。
上述可能的实施方式,通过边缘检测提取彩色图像的物体边缘,然后利用物体边缘将彩色图像分割成多个彩色图像块,对每个彩色图像块进行单独特征提取,可以更精确地分析和描述不同局部区域的细节特征,从而更准确地表示彩色图像中的细节信息,从而提高后续白平衡处理的准确性和鲁棒性。此外,相比于对整个彩色图像进行处理,通过对彩色图像进行分块,对块进行特征提取可以减少计算量和内存需求,提高处理速度。
第二正交模块204,用于将每个所述块特征向量与对应的所述块色温值进行正交得到第二正交向量。
将每个彩色图像块的块特征向量及块色温值进行组合,得到第二组合向量,每个彩色图像块对应一个第二组合向量。
可以参照将所述整体特征向量及所述整体色温值进行正交得到第一正交向量的过程,将每个所述块特征向量与对应的所述块色温值进行正交,得到第二正交向量。
模型计算模块205,用于将所述彩色图像、所述第一正交向量及多个所述第二正交向量输入白平衡调整模型,得到候选白平衡图像。
其中,所述白平衡调整模型为预先基于训练样本集进行训练得到的机器学习模型,所述训练样本集包括多个不同环境状态下的多个彩色样本图像,每个环境状态可以对应一个或多个彩色样本图像。基于不同环境状态下的多个彩色样本图像,可以得到一个多样化的训练样本集,基于多样化的训练样本集训练白平衡调整模型,能够提高白平衡调整模型的鲁棒性,从而能够适用于不同环境状态下的彩色图像。
因为颜色是由光的波长和光照条件决定的,而不同的光源和环境会导致彩色图像呈现不同的色偏。例如,在室内和室外拍摄的图像可能受到不同类型的照明灯光的影响,如白炽灯、荧光灯或自然光。此外,还会存在不同的色温、光强度和光源位置等因素的变化。为了使白平衡调整模型能够适应各种不同的光照条件和环境下的彩色图像,训练样本集需要包含在不同光照条件下拍摄的图像,以及在不同环境中捕获的图像。因此使用多样化且包含不同环境状态的训练样本集,可以让白平衡调整模型学习到不同环境下的彩色图像的特征和变化,根据输入的彩色图像块和环境信息,调整图像的色调、色温和色彩平衡,更准确地呈现真实场景中的颜色,确保白平衡调整模型可以泛化到新的、不在训练集中的环境中。如果训练样本集过于单一或不具代表性,白平衡调整模型可能会在应对未见过的环境和光照条件时表现不佳,产生不准确的白平衡调整结果。
在一种可能的实施方式中,所述白平衡调整模型通过如下方式训练得到:
基于卷积神经网络构建初始白平衡调整模型;
获取每个所述彩色样本图像对应的参考白平衡图像;
基于所述彩色样本图像的整体特征向量及整体色温值得到第一正交样本向量;
基于所述彩色样本图像的块特征向量及对应的块色温值得到第二正交样本向量;
将所述彩色样本图像、所述参考白平衡图像以及所述第一正交样本向量及对应的所述第二正交样本向量输入所述初始白平衡调整模型中进行训练;
基于最小化预设损失函数对所述初始白平衡调整模型的模型参数进行优化,得到所述白平衡调整模型。
使用卷积神经网络(ConvolutionalNeuralNetwork,CNN)构建初始白平衡调整模型,并将训练样本集中的每个彩色样本图像对应的参考白平衡图像作为训练过程中的目标,用于度量模型的性能和误差。
可以参照整体获取模块201获取彩色图像的整体特征向量及整体色温值的过程,获取训练样本集中每个彩色样本图像的整体特征向量和整体色温值。基于每个彩色样本图像的整体特征向量和整体色温值进行正交得到第一正交样本向量。
可以参照局部获取模块202中获取彩色图像块的块特征向量及块色温值的过程,获取训练样本集中每个彩色样本图像的块特征向量和块色温值。基于每个彩色样本图像的每个块特征向量及对应的块色温值进行正交得到第二正交样本向量。
将彩色样本图像、参考白平衡图像、第一正交样本向量和多个第二正交样本向量作为输入数据,输入到初始白平衡调整模型中进行训练。初始白平衡调整模型通过学习输入数据与目标输出图像之间的映射关系,逐步提高对图像的白平衡调整效果。最后通过最小化预设的损失函数来优化初始白平衡调整模型的参数,加速模型的收敛速度。
上述可能的实施方式中,通过对彩色样本图像进行分块处理,可以更好地捕捉彩色样本图像的局部细节信息,通过整体特征向量和块特征向量的组合,能够综合考虑图像的全局和局部的特征信息,提供更全面的特征表示。引入参考白平衡图像作为训练数据,可以提供对图像真实白平衡的目标的引导。通过使用多样化的训练样本集对白平衡调整模型进行训练,可以提高白平衡调整模型的鲁棒性和准确性,使白平衡调整模型了解彩色图像在不同环境下的颜色和光照关系,从而能够更准确地进行白平衡调整。
在一种可能的实施方式中,所述获取每个所述彩色样本图像对应的参考白平衡图像包括:
将所述彩色样本图像从RGB颜色空间转换到Lab颜色空间;
对所述彩色样本图像进行去噪处理,得到去噪图像;
获取所述去噪图像的平均亮度分量值,根据所述平均亮度分量值计算得到亮度调整因子,并基于所述亮度调整因子对所述去噪图像进行亮度调整;
获取亮度调整后的去噪图像的平均a色度分量值及平均b色度分量值,根据所述平均a色度分量值计算得到a色度分量缩放因子,根据所述平均b色度分量值计算得到b色度分量缩放因子,并基于所述a色度分量缩放因子及所述b色度分量缩放因子对所述亮度调整后的去噪图像进行色度调整,得到所述参考白平衡图像。
可以使用高斯滤波器对彩色样本图像进行去噪处理,减少彩色样本图像中的噪声和干扰,以提高后续算法的准确性和效果。
将彩色样本图像从RGB颜色空间转换到Lab颜色空间,其中,亮度(L)分量表示图像的亮度信息,而色度分量(a分量和b分量)表示图像的色彩信息。对于彩色样本图像中的每个像素点,提取该像素点的亮度分量值,并基于所有像素点的亮度分量值得到平均亮度分量值。计算彩色样本图像的亮度分量值的直方图,并选择直方图的峰值作为目标平均亮度值。将目标平均亮度值除以平均亮度分量值,得到亮度调整因子。将彩色样本图像中每个像素点的亮度分量值乘以亮度调整因子,实现了对彩色样本图像的亮度的调整,使得彩色样本图像中每个像素点的光亮度是相近的,达到了整体亮度均衡的效果。
根据彩色样本图像的拍摄环境选取标准白色点作为参考白点,并计算参考白点的色度分量值。对于彩色样本图像中的每个像素点,提取该像素点的a色度分量值,并基于所有像素点的a色度分量值得到平均a色度分量值。将参考白点的色度分量值除以平均a色度分量值,得到a色度分量缩放因子,表示彩色样本图像与参考白点之间的a色度的偏移量。对于彩色样本图像中的每个像素点,提取该像素点的b色度分量值,并基于所有像素点的b色度分量值得到平均b色度分量值。将参考白点的色度分量值除以平均b色度分量值,得到b色度分量缩放因子,表示彩色样本图像与参考白点之间的b色度的偏移量。将彩色样本图像中每个像素点的a色度分量值乘以a色度分量的调整因子,及将彩色样本图像中每个像素点的b色度分量值乘以b色度分量的调整因子,实现了对彩色样本图像的色度的调整,从而将彩色样本图像中每个像素点的色度分量调整到与参考白点相匹配的比例。
最后基于调整后的色度分量与亮度分量得到彩色样本图像对应的参考白平衡图像。
上述可能的实施方式中,通过将彩色样本图像的亮度和色度信息分离进行处理,可以保持亮度和色度之间的独立性,获得更好的视觉效果,在保持彩色样本图像的整体亮度平衡的同时,校正色度的偏差,实现更真实准确的颜色表现。
输出调整模块206,用于基于预设标准色温阈值对所述候选白平衡图像进行调整,得到目标白平衡图像。
由于白平衡调整模型输出的候选白平衡图像可能还会存在色偏现象,因而需要将候选白平衡图像的色温与预设标准色温阈值进行比较,根据比较得到的结果对候选白平衡图像进行调整。
在一种可能的实施方式中,所述基于预设标准色温阈值对所述候选白平衡图像进行调整,得到目标白平衡图像包括:
获取所述候选白平衡图像的候选色温值;
将所述候选色温值与所述预设标准色温阈值进行比较;
当所述候选色温值高于所述预设标准色温阈值时,使用预设第一调整系数对所述候选白平衡图像进行调整,得到目标白平衡图像;
当所述候选色温值低于所述预设标准色温阈值时,使用预设第二调整系数对所述候选白平衡图像进行调整,得到目标白平衡图像;
其中,所述预设第一调整系数和预设第二调整系数为预先通过先验知识得到的,且所述预设第一调整系数小于1,所述预设第二调整系数大于1。
可以参照整体获取模块201中获取彩色图像的整体色温值的过程,获取候选白平衡图像的整体色温值,为便于描述,将候选白平衡图像的整体色温值称之为候选色温值。将获取到的候选色温值与预先设置的标准色温阈值进行比较。如果候选色温值高于预设标准色温阈值,说明候选白平衡图像的色调偏暖,需要将候选白平衡图像的色温值调低,则使用预先设置的第一调整系数对候选白平衡图像进行调整,由于预先设置的第一调整系数小于1,则生成的目标白平衡图像相较于候选白平衡图像的色温值会降低,色调趋于正常;如果候选色温值低于预设标准色温阈值,说明候选白平衡图像的色调偏冷,需要将候选白平衡图像的色温值调高,则使用预先设置的第二调整系数对候选白平衡图像进行调整,由于预先设置的第一调整系数大于1,则生成的目标白平衡图像相较于候选白平衡图像的色温值会升高,色调趋于正常。
上述可能的实施方式中,通过使用不同的调整系数对候选白平衡图像进行微调,得到的目标白平衡图像的色温更接近预设的标准色温值,确保目标白平衡图像在预设的标准色温范围内。
在一种可能的实施方式中,在所述将所述候选色温值与所述预设标准色温阈值进行比较之前,所述方法还包括:
判断所述候选色温值是否在预设标准色温阈值范围内;
当确定所述候选色温值在所述预设标准色温阈值范围内时,执行所述基于预设标准色温阈值对所述候选白平衡图像进行调整,得到目标白平衡图像;
当确定所述候选色温值不在所述预设标准色温阈值范围内时,获取所述候选白平衡图像的第一正交向量及多个第二正交向量,并将所述候选白平衡图像以及对应的所述第一正交向量及对应的多个所述第二正交向量输入所述白平衡调整模型,得到新的候选白平衡图像。
其中,所述预设标准色温阈值可以在预设标准色温阈值范围内,可选的,可以根据预设标准色温阈值范围的上限值及下限值,计算得到均值,将均值作为预设标准色温阈值。
将获取到的候选色温值与预设标准色温阈值进行比较。如果候选色温值处于预设标准色温阈值范围内,说明候选白平衡图像的色调呈现出轻度的偏高或者偏低,因此只需要对候选白平衡图像进行微调,即可使得候选白平衡图像呈现出自然、平衡的色彩效果。如果候选色温值不在预设标准色温阈值范围内,说明候选白平衡图像的色调呈现出严重的偏高或者偏低,无法通过对候选白平衡图像进行微调,来呈现出自然、平衡的色彩效果。
当确定候选色温值在预设标准色温阈值范围内时,再将候选色温值与预设标准色温阈值进行比较,以此判断候选白平衡图像的色调是偏暖还是偏冷,并根据比较得到的结果选择合适的调整系数对候选白平衡图像进行调整。
当确定候选色温值不在预设标准色温阈值范围内时,则再次将候选白平衡图像以及候选白平衡图像的第一正交向量和多个第二正交向量输入白平衡调整模型,进行更精细的色彩校正,生成目标白平衡图像。
上述可能的实施方式中,通过判断候选色温值是否在预设标准色温阈值范围内,来判断候选白平衡图像的色调偏离程度,仅对色温轻度偏离的候选白平衡图像进行微调,能够减少计算量,节省处理时间和资源。
本申请实施例通过获取彩色图像的整体特征向量及整体色温值,及彩色图像的块特征向量及块色温值,可以将局部信息和整体信息进行有效融合,使得彩色图像的特征表示更加丰富和综合,从而提高对整体和局部信息的理解和描述能力;通过将整体特征向量及整体色温值进行正交得到第一正交向量,并将每个块特征向量与对应的块色温值进行正交得到第二正交向量,可以降低复杂度和冗余性,并从中提取出最相关、最有信息量和最具代表性的特征,且正交向量能够提供独立的信息,从而更准确地描述和表示彩色图像的信息;在将彩色图像、第一正交向量及多个第二正交向量输入白平衡调整模型,得到候选白平衡图像后,再基于预设标准色温阈值对所述候选白平衡图像进行调整,得到目标白平衡图像,提高了彩色图像的白平衡调整效果,使得彩色图像呈现出自然、平衡的色彩效果。
参阅图3所示,为本申请实施例提供的电子设备的结构示意图。在本申请较佳实施例中,所述电子设备3包括存储器31、至少一个处理器32、至少一条通信总线33。
本领域技术人员应该了解,图3示出的电子设备的结构并不构成本申请实施例的限定,既可以是总线型结构,也可以是星形结构,所述电子设备3还可以包括比图示更多或更少的其他硬件或者软件,或者不同的部件布置。
在一些实施例中,所述电子设备3是一种能够按照事先设定或存储的指令,自动进行数值计算和/或信息处理的设备,其硬件包括但不限于微处理器、专用集成电路、可编程门阵列、数字处理器及嵌入式设备等。所述电子设备3还可包括其他电子设备,所述其他电子设备包括但不限于任何一种可与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互的电子产品,例如,个人计算机、平板电脑、智能手机、数码相机等。
需要说明的是,所述电子设备3仅为举例,其他现有的或今后可能出现的电子产品如可适应于本申请,也应包含在本申请的保护范围以内,并以引用方式包含于此。
在一些实施例中,所述存储器31中存储有计算机程序,所述计算机程序被所述至少一个处理器32执行时实现如所述的图像白平衡调整方法中的全部或者部分步骤。所述存储器31包括只读存储器(Read-Only Memory,ROM)、可编程只读存储器(ProgrammableRead-Only Memory,PROM)、可擦除可编程只读存储器(Erasable Programmable Read-OnlyMemory,EPROM)、一次可编程只读存储器(One-time Programmable Read-Only Memory,OTPROM)、电子擦除式可复写只读存储器(Electrically-Erasable Programmable Read-Only Memory,EEPROM)、只读光盘(Compact Disc Read-Only Memory,CD-ROM)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。
在一些实施例中,所述至少一个处理器32是所述计算机设备3的控制核心(Control Unit),利用各种接口和线路连接整个电子设备3的各个部件,通过运行或执行存储在所述存储器31内的程序或者模块,以及调用存储在所述存储器31内的数据,以执行电子设备3的各种功能和处理数据。例如,所述至少一个处理器32执行所述存储器中存储的计算机程序时实现本申请实施例中所述的图像白平衡调整方法的全部或者部分步骤;或者实现图像白平衡调整方法的全部或者部分功能。所述至少一个处理器32可以由集成电路组成,例如可以由单个封装的集成电路所组成,也可以是由多个相同功能或不同功能封装的集成电路所组成,包括一个或者多个中央处理器(Central Processing unit,CPU)、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。
在一些实施例中,所述至少一条通信总线33被设置为实现所述存储器31以及所述至少一个处理器32等之间的连接通信。尽管未示出,所述电子设备3还可以包括给各个部件供电的电源(比如电池),优选的,电源可以通过电源管理装置与所述至少一个处理器32逻辑相连,从而通过电源管理装置实现管理充电、放电、以及功耗管理等功能。电源还可以包括一个或一个以上的直流或交流电源、再充电装置、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。所述电子设备3还可以包括多种传感器、蓝牙模块、Wi-Fi模块等,在此不再赘述。
上述以软件功能模块的形式实现的集成的单元,可以存储在一个计算机可读取存储介质中。上述软件功能模块存储在一个存储介质中,包括若干指令用以使得一台电子设备(可以是个人计算机,电子设备,或者网络设备等)或处理器(processor)执行本申请各个实施例所述方法的部分。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的,作为模块显示的部件可以是或者也可以不是物理单元,既可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
本申请中的实施例中所使用的术语只是为了描述特定实施例的目的,而并非旨在作为对本申请的限制。如在本申请的说明书和所附权利要求书中所使用的那样,单数表达形式“一个”、“一种”、“所述”、“上述”、“该”和“这一”旨在也包括复数表达形式,除非其上下文中明确地有相反指示。还应当理解,本申请中使用的术语“和/或”是指包含一个或多个所列出项目的任何或所有可能组合。术语“第一”、“第二”仅用于描述目的,而不能理解为暗示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征,在本申请实施例的描述中,除非另有说明,“多个”的含义是两个或两个以上。
以上内容,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以权利要求的保护范围为准。
Claims (10)
1.一种白平衡调整方法图像白平衡调整方法,其特征在于,所述方法包括:
获取彩色图像的整体特征向量及整体色温值;
将所述彩色图像分为多个彩色图像块,并获取每个所述彩色图像块的块特征向量及块色温值;
将所述整体特征向量及所述整体色温值进行正交得到第一正交向量;
将每个所述块特征向量与对应的所述块色温值进行正交得到第二正交向量;
将所述彩色图像、所述第一正交向量及多个所述第二正交向量输入白平衡调整模型,得到候选白平衡图像;
基于预设标准色温阈值对所述候选白平衡图像进行调整,得到目标白平衡图像。
2.根据权利要求1所述的图像白平衡调整方法,其特征在于,所述将所述彩色图像分为多个彩色图像块包括:
对所述彩色图像进行边缘检测,得到多个物体边缘;
基于所述多个物体边缘将所述彩色图像分割为多个彩色图像块。
3.根据权利要求1所述的图像白平衡调整方法,其特征在于,所述获取彩色图像的整体特征向量及整体色温值包括:
获取所述彩色图像在RGB颜色空间的通道值;
将所述彩色图像由RGB颜色空间转换为指定颜色空间;
获取所述彩色图像在所述指定颜色空间中的色度值、亮度值和颜色分布直方图;
将所述通道值、所述亮度值以及所述颜色分布直方图作为所述整体特征向量;
基于所述色度值及所述指定颜色空间对应的色度-色温关系模型计算所述彩色图像的整体色温值。
4.根据权利要求2所述的图像白平衡调整方法,其特征在于,所述白平衡调整模型通过如下方式训练得到:
基于卷积神经网络构建初始白平衡调整模型;
获取每个所述彩色样本图像对应的参考白平衡图像;
基于所述彩色样本图像的整体特征向量及整体色温值得到第一正交样本向量;
基于所述彩色样本图像的块特征向量及对应的块色温值得到第二正交样本向量;
将所述彩色样本图像、所述参考白平衡图像以及所述第一正交样本向量及对应的所述第二正交样本向量输入所述初始白平衡调整模型中进行训练;
基于最小化预设损失函数对所述初始白平衡调整模型的模型参数进行优化,得到所述白平衡调整模型。
5.根据权利要求4所述的图像白平衡调整方法,其特征在于,所述获取每个所述彩色样本图像对应的参考白平衡图像包括:
将所述彩色样本图像从RGB颜色空间转换到Lab颜色空间;
对所述彩色样本图像进行去噪处理,得到去噪图像;
获取所述去噪图像的平均亮度分量值,根据所述平均亮度分量值计算得到亮度调整因子,并基于所述亮度调整因子对所述去噪图像进行亮度调整;
获取亮度调整后的去噪图像的平均a色度分量值及平均b色度分量值,根据所述平均a色度分量值计算得到a色度分量缩放因子,根据所述平均b色度分量值计算得到b色度分量缩放因子,并基于所述a色度分量缩放因子及所述b色度分量缩放因子对所述亮度调整后的去噪图像进行色度调整,得到所述参考白平衡图像。
6.根据权利要求1至5中任意一项所述的图像白平衡调整方法,其特征在于,所述基于预设标准色温阈值对所述候选白平衡图像进行调整,得到目标白平衡图像包括:
获取所述候选白平衡图像的候选色温值;
将所述候选色温值与所述预设标准色温阈值进行比较;
当所述候选色温值高于所述预设标准色温阈值时,使用预设第一调整系数对所述候选白平衡图像进行调整,得到目标白平衡图像;
当所述候选色温值低于所述预设标准色温阈值时,使用预设第二调整系数对所述候选白平衡图像进行调整,得到目标白平衡图像;
其中,所述预设第一调整系数小于1,所述预设第二调整系数大于1。
7.根据权利要求6所述的图像白平衡调整方法,其特征在于,在所述将所述候选色温值与所述预设标准色温阈值进行比较之前,所述方法还包括:
判断所述候选色温值是否在预设标准色温阈值范围内;
当确定所述候选色温值在所述预设标准色温阈值范围内时,执行所述基于预设标准色温阈值对所述候选白平衡图像进行调整,得到目标白平衡图像;
当确定所述候选色温值不在所述预设标准色温阈值范围内时,获取所述候选白平衡图像的第一正交向量及多个第二正交向量,并将所述候选白平衡图像以及对应的所述第一正交向量及对应的多个所述第二正交向量输入所述白平衡调整模型,得到新的候选白平衡图像。
8.一种图像白平衡调整装置,其特征在于,所述装置包括:
整体获取模块,用于获取彩色图像的整体特征向量及整体色温值;
局部获取模块,用于将所述彩色图像分为多个彩色图像块,并获取每个所述彩色图像块的块特征向量及块色温值;
第一正交模块,用于将所述整体特征向量及所述整体色温值进行正交得到第一正交向量;
第二正交模块,用于将每个所述块特征向量与对应的所述块色温值进行正交得到第二正交向量;
模型计算模块,用于将所述彩色图像、所述第一正交向量及多个所述第二正交向量输入白平衡调整模型,得到候选白平衡图像;
输出调整模块,用于基于预设标准色温阈值对所述候选白平衡图像进行调整,得到目标白平衡图像。
9.一种电子设备,其特征在于,包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如权利要求1至7中任意一项所述的图像白平衡调整方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至7中任意一项所述的图像白平衡调整方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311138914.XA CN117221741A (zh) | 2023-09-05 | 2023-09-05 | 图像白平衡调整方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311138914.XA CN117221741A (zh) | 2023-09-05 | 2023-09-05 | 图像白平衡调整方法、装置、电子设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117221741A true CN117221741A (zh) | 2023-12-12 |
Family
ID=89041778
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311138914.XA Pending CN117221741A (zh) | 2023-09-05 | 2023-09-05 | 图像白平衡调整方法、装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117221741A (zh) |
-
2023
- 2023-09-05 CN CN202311138914.XA patent/CN117221741A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4549352B2 (ja) | 画像処理装置および方法,ならびに画像処理プログラム | |
KR100918701B1 (ko) | 강인한 자동 화이트 밸런스 방법 | |
US6249601B1 (en) | Method for determining color of illuminant and apparatus therefor | |
KR102294622B1 (ko) | 화이트 밸런스 처리 방법, 전자 장치 및 컴퓨터 판독 가능 저장 매체 | |
KR100311075B1 (ko) | 인지광원과 하이라이트를 이용한 조명 색도 추정 및변환장치 및 그를 위한 방법 | |
KR101451982B1 (ko) | 디지털 영상 장치에서 화이트 밸런스 조정 장치 및 방법 | |
CN109688396B (zh) | 图像的白平衡处理方法、装置和终端设备 | |
CN103108469B (zh) | 控制照明装置输出光的方法及装置、照明系统 | |
US9460521B2 (en) | Digital image analysis | |
US20210006760A1 (en) | Meta-learning for camera adaptive color constancy | |
CN108230407B (zh) | 一种图像的处理方法和装置 | |
KR20070090224A (ko) | 전자 색 이미지 채도 처리 방법 | |
Wang et al. | Fast automatic white balancing method by color histogram stretching | |
CN113792827B (zh) | 目标对象识别方法、电子设备和计算机可读存储介质 | |
TW201830337A (zh) | 對圖像執行自動白平衡的方法和設備 | |
US7064769B2 (en) | Systems and methods for computing the presence of self-luminous elements in an image | |
US20070041064A1 (en) | Image sampling method for automatic white balance | |
Fredembach et al. | The bright-chromagenic algorithm for illuminant estimation | |
KR20190080732A (ko) | 자동 화이트 밸런싱에서 조명 색도의 추정 | |
KR20220060966A (ko) | 센서를 통한 자동 화이트 밸런스를 위한 데이터 사전-처리 | |
Bianco et al. | Computational color constancy | |
KR20180064028A (ko) | 영상 처리 방법 및 장치 | |
CN117221741A (zh) | 图像白平衡调整方法、装置、电子设备及存储介质 | |
KR20000059451A (ko) | 이미지 검색시스템의 분위기 칼라 자동추출 및 원래 칼라 조정방법 | |
JP5824423B2 (ja) | 照明光色推定装置、照明光色推定方法及び照明光色推定プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |