CN117676349A - 白平衡增益的校正方法、装置、设备和介质 - Google Patents

Abstract

本发明实施例公开了一种白平衡增益的校正方法、装置、设备和介质。其中，该方法包括：根据目标图像中预设干扰色的颜色分布特征确定颜色分类结果；其中，所述预设干扰色的颜色分布特征通过预先训练的颜色网络模型进行确定；根据所述颜色分类结果和所述目标图像的亮度信息确定亮度影响权重；根据所述亮度影响权重对所述目标图像的初始白平衡增益进行校正，以根据校正后的白平衡增益对所述目标图像进行白平衡处理。本技术方案，能够有效区分目标图像中的白点和干扰色点，从而提高了图像白平衡增益校正的准确性和适应性。

Description

白平衡增益的校正方法、装置、设备和介质

技术领域

本发明涉及白平衡校正技术领域，尤其涉及一种白平衡增益的校正方法、装置、设备和介质。

背景技术

人眼能够识别不同光源下物体的颜色，但目前视频监控系统前端设备(如网络摄像机)并没有人眼的适应性，在不同色温下捕获到同一图像的颜色并不相同。因此，为使其采集到的图像颜色最大程度接近人眼对颜色的感受，需要对图像进行白平衡校正以还原物体真实颜色。

现有技术通常是通过设置白区实现对图像的白平衡校正。其中，白区是指用于统计白平衡中白点落位的区域范围。具体的，将落入白区的统计点作为白点，而未落入白区的统计点作为非白点。但在实际应用中，由于场景的复杂性和局部颜色影响等干扰，落入白区的统计点可能并不是白点，某些彩色区域R/G/B(红/绿/蓝)三通道的特性可能也符合白区，因此会被当作白点校正，导致白平衡偏色。例如，大面积蓝色物体被当作高色温下的白点时导致画面偏黄；大面积黄色物体被当作低色温下的白点时导致画面偏蓝；大面积绿色被统计入白区时导致画面偏紫等。此时，大面积干扰色会对图像的白平衡校正产生不利影响。因此，如何区分白点和大面积干扰色是白平衡校正领域亟待解决的问题之一。

相关技术中，针对实况落点通过手动标定坐标点将白点和干扰色坐标位置标出，并赋予其不同权重以实现对图像的白平衡增益校正。然而，该方案存在以下局限性：其一，只能适用于特定场景，且当场景中有多个大面积干扰色类簇时，无法进行标定和区分，因而适应性较差；其二，无法很好区分白点和干扰色点，容易导致误检，因而错误率较高。

发明内容

本发明提供了一种白平衡增益的校正方法、装置、设备和介质，能够有效区分目标图像中的白点和干扰色点，从而提高了图像白平衡增益校正的准确性和适应性。

根据本发明的一方面，提供了一种白平衡增益的校正方法，所述方法包括：

根据目标图像中预设干扰色的颜色分布特征确定颜色分类结果；其中，所述预设干扰色的颜色分布特征通过预先训练的颜色网络模型进行确定；

根据所述颜色分类结果和所述目标图像的亮度信息确定亮度影响权重；

根据所述亮度影响权重对所述目标图像的初始白平衡增益进行校正，以根据校正后的白平衡增益对所述目标图像进行白平衡处理。

可选的，所述颜色网络模型的训练过程如下所示：

预先采集样本图像，并对所述样本图像进行预设干扰色分类标定，得到所述样本图像的干扰色标定图；

将所述样本图像转换到Lab颜色空间中，得到所述样本图像在a通道和b通道的样本颜色图像；

将所述a通道和b通道的样本颜色图像进行连接输入到预设卷积网络中进行训练，同时将所述干扰色标定图作为所述样本颜色图像的标签，以对所述预设卷积网络中的网络参数进行更新，得到训练完成的颜色网络模型。

可选的，根据目标图像中预设干扰色的颜色分布特征确定颜色分类结果，包括：

将所述目标图像转换到Lab颜色空间中，得到所述目标图像在L通道的目标亮度图像，以及在a通道和b通道的目标颜色图像；

将所述a通道和b通道的目标颜色图像进行连接输入到所述颜色网络模型中，得到颜色分类矩阵作为颜色分类结果。

可选的，根据所述颜色分类结果和所述目标图像的亮度信息确定亮度影响权重，包括：

对所述目标图像进行分块划分；

根据所述颜色分类矩阵确定所述目标图像中各个分块的干扰色占比；

根据各个分块的干扰色占比和所述目标图像在L通道的目标亮度图像确定各个分块的亮度影响权重。

可选的，根据各个分块的干扰色占比和所述目标图像在L通道的目标亮度图像确定各个分块的亮度影响权重，包括：

若目标分块的干扰色占比大于预设占比阈值，则确定所述目标分块的亮度影响权重为0；

若所述目标分块的干扰色占比等于0，则确定所述目标分块的亮度影响权重为1；

否则，根据所述目标亮度图像中目标分块对应位置的亮度梯度确定所述目标分块的亮度影响权重。

可选的，根据所述亮度影响权重对所述目标图像的初始白平衡增益进行校正，包括：

其中，Wgain表示所述目标图像校正后的白平衡增益，Wgain_m,n表示分块下标为(m,n)对应目标图像区域的初始白平衡增益；σ_m,n表示分块下标为(m,n)对应目标分块的亮度影响权重；M×N表示所述目标图像的分块总数。

可选的，在得到所述样本图像的干扰色标定图之后，所述方法还包括：

基于预设分割机制分别对所述样本图像和所述干扰色标定图进行分割，得到分割样本图像和分割干扰色标定图；

基于预设扩充机制分别对所述分割样本图像和分割干扰色标定图进行扩充操作，得到扩充样本图像集和扩充干扰色标定图集。

根据本发明的另一方面，提供了一种白平衡增益的校正装置，包括：

颜色分类结果确定模块，用于根据目标图像中预设干扰色的颜色分布特征确定颜色分类结果；其中，所述预设干扰色的颜色分布特征通过预先训练的颜色网络模型进行确定；

亮度影响权重确定模块，用于根据所述颜色分类结果和所述目标图像的亮度信息确定亮度影响权重；

白平衡校正模块，用于根据所述亮度影响权重对所述目标图像的初始白平衡增益进行校正，以根据校正后的白平衡增益对所述目标图像进行白平衡处理。

根据本发明的另一方面，提供了一种白平衡增益的校正电子设备，所述电子设备包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例所述的白平衡增益的校正方法。

根据本发明的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本发明任一实施例所述的白平衡增益的校正方法。

本发明实施例的技术方案，根据目标图像中预设干扰色的颜色分布特征确定颜色分类结果；其中，预设干扰色的颜色分布特征通过预先训练的颜色网络模型进行确定；根据颜色分类结果和目标图像的亮度信息确定亮度影响权重；根据亮度影响权重对目标图像的初始白平衡增益进行校正，以根据校正后的白平衡增益对目标图像进行白平衡处理。本技术方案，能够有效区分目标图像中的白点和干扰色点，同时减少了人工标定的复杂性和不确定性，从而提高了图像白平衡增益校正的准确性和适应性。

应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据本发明实施例一提供的一种白平衡增益的校正方法的流程图；

图2是根据本发明实施例一提供的一种样本图像的干扰色标定示意图；

图3是根据本发明实施例一提供的一种颜色网络模型训练的流程图；

图4是根据本发明实施例一提供的一种预设卷积网络中的网络参数更新流程图；

图5是根据本发明实施例二提供的一种白平衡增益的校正方法的流程图；

图6是根据本发明实施例三提供的一种白平衡增益的校正装置的结构示意图；

图7是实现本发明实施例的一种白平衡增益的校正方法的电子设备的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”“目标”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

实施例一

图1为本发明实施例一提供的一种白平衡增益的校正方法的流程图，本实施例可适用于对包含大面积干扰色的图像进行白平衡增益校正的情况，该方法可以由白平衡增益的校正装置来执行，该白平衡增益的校正装置可以采用硬件和/或软件的形式实现，该白平衡增益的校正装置可配置于具有数据处理能力的电子设备中。如图1所示，该方法包括：

S110，根据目标图像中预设干扰色的颜色分布特征确定颜色分类结果；其中，预设干扰色的颜色分布特征通过预先训练的颜色网络模型进行确定。

其中，目标图像可以是指等待进行白平衡校正的图像。预设干扰色可以是指预先设定的对图像白平衡校正产生干扰的颜色。示例性的，预设干扰色可以是蓝色、黄色和绿色等。颜色分布特征可以是指某种颜色在RGB或Lab颜色空间下的分布特征。其中，RGB和Lab分别表示不同的颜色空间。具体的，RGB中的R、G、B分别表示红、绿、蓝三个颜色通道；Lab中的L表示亮度通道，a和b分别是两个不同颜色通道，且a包括的颜色是从绿色到灰色再到红色，b包括的颜色是从蓝色到灰色再到黄色。通过颜色分布特征可以知晓图像在各颜色通道的分布情况。具体的，预设干扰色的颜色分布特征通过预先训练的颜色网络模型进行确定。示例性的，可以通过对深度学习模型(如卷积神经网络)进行模型训练得到颜色网络模型。颜色分类结果可以是指图像中各像素位置处的颜色分类结果，可以用于指示图像中的预设干扰色。颜色网络模型可以是指用于实现图像颜色分类的网络模型。

在本实施例中，可选的，颜色网络模型的训练过程如下所示：预先采集样本图像，并对样本图像进行预设干扰色分类标定，得到样本图像的干扰色标定图；将样本图像转换到Lab颜色空间中，得到样本图像在a通道和b通道的样本颜色图像；将a通道和b通道的样本颜色图像进行连接输入到预设卷积网络中进行训练，同时将干扰色标定图作为样本颜色图像的标签，以对预设卷积网络中的网络参数进行更新，得到训练完成的颜色网络模型。

其中，样本图像可以是指用于颜色网络模型训练的图像，可作为颜色网络模型的训练集。干扰色标定图可以是指人工标定的包含预设干扰色的图像。可作为颜色网络模型的目标集。样本颜色图像可以是指样本图像在Lab颜色空间中的a通道和b通道的颜色图像。预设卷积网络可以是指预先设定的卷积神经网络。

本实施例中，在进行颜色网络模型的训练时，首先需要预先采集样本图像。需要说明的是，当环境中存在大面积蓝色、黄色以及绿色等颜色时，很大程度会被统计为白点，导致图像出现白平衡偏色，且在不同色温和不同亮度下偏色程度存在差异。因此，可以根据复杂场景下干扰色实况进行样本图像的采集，确保能够尽量覆盖到多数情况。示例性的，样本图像的采集环境可以涉及到室外场景，如大面积蓝天场景和大面积黄色枫叶场景，也可以涉及到室内场景，如不同色温的灯箱场景中放置干扰色以及混合色温场景等。

本实施例中，在完成样本图像的采集之后，需要通过人工标定的方式对样本图像进行预设干扰色分类标定，以得到样本图像的干扰色标定图。示例性的，假设将能够影响图像白平衡落点的蓝色、黄色和绿色作为预设干扰色，将颜色分类总数设定为4(即设定的颜色分类包括蓝色、黄色、绿色和非干扰色)，同时将蓝色、黄色和绿色分别用1、2、3表示，非干扰色用0表示，此时每一个原始训练样本图像对应一个矢量矩阵(即干扰色标定图)，如图2所示。图2为本发明实施例一提供的一种样本图像的干扰色标定示意图。其中，图2左侧为原始样本图像，右侧为干扰色标定图，W×H表示样本图像的像素总数，可用于反映样本图像大小。最终可以获得图像目标数据集。

在本实施例中，可选的，在得到样本图像的干扰色标定图之后，所述方法还包括：基于预设分割机制分别对样本图像和干扰色标定图进行分割，得到分割样本图像和分割干扰色标定图；基于预设扩充机制分别对分割样本图像和分割干扰色标定图进行扩充操作，得到扩充样本图像集和扩充干扰色标定图集。

其中，预设分割机制可以是指预先设定的图像分割方式。示例性的，预设分割机制可以是平均分割方式，也可以是滑动窗口分割方式。其中，滑动窗口分割方式可以预先设定滑动步长，该滑动步长可以表征滑动窗口每次移动的距离。例如，假设被分割的图像共包含8×8个像素点，可以采用平均分割方式将该图像平均分割成4块，每块图像中均包含2×2个像素点，且每块图像的各像素点无重叠。也可以采用滑动窗口分割方式，以预设滑动步长为基础对图像进行滑动窗口分割，若预设滑动步长小于滑动窗口长度，则分割后的图像存在像素点重叠；若预设滑动步长大于滑动窗口长度，则分割后图像的各像素点无重叠。分割样本图像可以是指进行分割操作后的样本图像。分割干扰色标定图可以是指进行分割操作后的干扰色标定图。

本实施例中，预设扩充机制可以是指预先设定的图像扩充方式。示例性的，预设扩充机制可以包括旋转、镜像、水平和/或重组等方式，即可以采用一种或多种预设扩充机制进行图像扩充。扩充样本图像集可以是指进行扩充操作后的样本图像所构成的图像集合。扩充干扰色标定图集可以是指进行扩充操作后的干扰色标定图所构成的标定图集合。需要说明的是，本实施例中对分割后的图像大小和图像数量，以及扩充样本图像集和扩充干扰色标定图集中包含的图像数量不做任何限定，可以根据实际应用情况进行灵活设定。

本实施例中，在得到样本图像的干扰色标定图之后，可以首先根据预设分割机制分别对样本图像和干扰色标定图进行分割，得到分割样本图像和分割干扰色标定图；然后可以基于预设扩充机制分别对分割样本图像和分割干扰色标定图进行扩充操作，得到扩充样本图像集和扩充干扰色标定图集。其中，对样本图像和干扰色标定图进行分割时采用的预设分割机制相同，对分割样本图像和分割干扰色标定图进行扩充操作时采用的预设扩充机制也相同，以使分割和扩充后的样本图像与干扰色标定图相对应。

示例性的，以样本图像为例，可以首先采用滑动窗口分割方式对各个样本图像进行滑动窗口切块，然后分别获取样本图像R、G、B三通道的颜色图像，并将各个颜色图像进行旋转、镜像和水平等操作。考虑到内存限制，可以将窗口大小设置为256×256，将步长设置为64，将mini-batch大小设置为16。假设分割样本图像为F，每个通道数据集大小为K，通道号为D，则分割样本图像数据集可以表示为本方案通过这样的设置，可以有效扩充训练集规模，另一方面也可以将局部细节挑选出来，从而为模型训练提供更好的参考。

在本实施例中，可选的，在对样本图像进行预设干扰色分类标定之前，可以首先基于预设分割机制对样本图像进行分割以得到分割样本图像，再基于预设扩充机制对分割样本图像进行扩充操作以得到扩充样本图像集。该过程同样可以扩充训练集规模，从而为模型训练提供更好的参考。其中，分割和扩充方式可参见上述对分割样本图像和分割干扰色标定图进行分割和扩充的过程，此处不再赘述。

本实施例中，在得到样本图像的干扰色标定图之后，需要将样本图像转换到Lab颜色空间中，得到样本图像在a通道和b通道的样本颜色图像。需要说明的是，样本图像R/G/B三通道包含了图像基本信息，三通道不同值的组合构成了一个255×255×255的三维颜色空间。但是，对网络训练来说，通常需要耗费大量的内存和性能，若网络模型输入的数据量过大，会导致训练耗时较长且不易收敛，同时考虑到亮度对颜色也有一定影响，因此可以将样本图像转换到Lab空间，能够更好捕捉到颜色色偏。具体的，首先将RGB转换为XYZ，然后再将XYZ转换为Lab。该转换过程实现如下：首先根据公式R(G/B)＝R(G/B)/255对样本图像的R、G、B三通道图像进行归一化，然后根据公式将归一化后的R、G、B三通道图像转换为X、Y、Z，其中，/> 进而，对X、Y、Z进行归一化，分别得到归一化后的X′、Y′、Z′，再根据公式L＝116×Y′-16,a＝500×(X′-Y′),b＝200×(Y′-Z′)即可将X′Y′Z′最终转换为Lab三通道图像。

本实施例中，在得到样本图像在a通道和b通道的样本颜色图像之后，可以将a通道和b通道的样本颜色图像通过Concate函数进行连接输入到预设卷积网络中进行训练，同时将干扰色标定图作为样本颜色图像的标签，以约束网络生成，如图3所示。图3为本发明实施例一提供的一种颜色网络模型训练的流程图。预设卷积网络经a通道和b通道的预设干扰色位置映射后可以得到颜色分类矩阵。其中，颜色分类矩阵可作为颜色分类结果的一种表现形式，可用于表征目标图像中预设干扰色的分布情况(如目标图像中包含的预设干扰色的数量以及预设干扰色在目标图像中的具体位置)。图4为本发明实施例一提供的一种预设卷积网络中的网络参数更新流程图。如图4所示，在模型的训练过程中，若网络训练结果与干扰色标定图不一致，可以根据干扰色标定图通过损失函数的逼近进行反向传播，从而对预设卷积网络中的网络参数进行更新，直到网络训练结果与干扰色标定图一致才输出网络训练结果，由此可以得到训练完成的颜色网络模型。

本方案通过这样的设置，利用Lab颜色空间中a通道和b通道的样本颜色图像进行网络模型训练，可以大大减少模型训练的数据量，从而加快模型训练的速度；将干扰色标定图作为样本颜色图像的标签，可以对模型输出进行约束，提高了模型训练的准确度。

本实施例中，在对目标图像进行颜色分类时，可以将目标图像输入到颜色网络模型中，所得到的模型输出结果即为目标图像颜色分类结果。该颜色分类结果是以目标图像像素点为单位进行表征，即可以通过颜色分类结果明确目标图像中各像素点颜色是否为预设干扰色以及具体为何种预设干扰色。

在本实施例中，可选的，根据目标图像中预设干扰色的颜色分布特征确定颜色分类结果，包括：将目标图像转换到Lab颜色空间中，得到目标图像在L通道的目标亮度图像，以及在a通道和b通道的目标颜色图像；将a通道和b通道的目标颜色图像进行连接输入到颜色网络模型中，得到颜色分类矩阵作为颜色分类结果。

其中，目标亮度图像可以是指目标图像在Lab颜色空间中的亮度图像。目标颜色图像可以是指目标图像在Lab颜色空间中对应a通道和b通道下的颜色图像。本实施例中，在对目标图像进行颜色分类时，可以先将目标图像转换到Lab颜色空间中，得到目标图像在L通道的目标亮度图像，以及在a通道和b通道的目标颜色图像，然后将a通道和b通道的目标颜色图像通过Concate函数进行连接输入到颜色网络模型中，最终将通过颜色网络模型输出的颜色分类矩阵作为颜色分类结果。

本方案通过这样的设置，通过将目标图像转换到Lab颜色空间，可以减少颜色网络模型的输入数据量，从而能够快速确定出颜色分类结果。

S120，根据颜色分类结果和目标图像的亮度信息确定亮度影响权重。

其中，亮度信息可以用于表征图像的亮度。亮度影响权重可以是指影响图像亮度的权重。本实施例中，考虑到光源色与大面积干扰色在亮度梯度上的差异，可以将目标图像的亮度信息与通过颜色网络模型得到的颜色分类结果相结合进行亮度影响权重的确定。

本实施例中，可选的，根据颜色分类结果和目标图像的亮度信息确定亮度影响权重，包括：若根据目标图像的亮度信息确定目标图像亮度小于或等于预设亮度阈值，则根据颜色分类结果确定亮度影响权重。其中，预设亮度阈值可以是指预先设定的图像亮度。需要说明的是，若目标图像亮度小于或等于预设亮度阈值，可以认为目标图像亮度较低，此时光源色与大面积干扰色在亮度梯度上不存在差异，因此可以直接根据颜色分类结果确定亮度影响权重。示例性的，可以根据颜色分类结果将目标图像中预设干扰色对应位置的亮度影响权重设置为0，同时将目标图像中其他位置的亮度影响权重设置为1。

本方案通过这样的设置，可以在目标图像亮度较小时，根据颜色分类结果快速准确地确定亮度影响权重。

S130，根据亮度影响权重对目标图像的初始白平衡增益进行校正，以根据校正后的白平衡增益对目标图像进行白平衡处理。

其中，初始白平衡增益可以是指图像在白平衡校正前的白平衡增益，即未经白平衡校正的图像所具有的白平衡增益。在本实施例中，可以首先通过自动白平衡(AWB)算法确定目标图像的初始白平衡增益，进而根据亮度影响权重对目标图像的初始白平衡增益进行校正，以根据校正后的白平衡增益对目标图像进行白平衡处理。

可选的，根据亮度影响权重对目标图像的初始白平衡增益进行校正，包括：其中，Wgain表示目标图像校正后的白平衡增益，Wgain_m,n表示分块下标为(m,n)对应目标图像区域的初始白平衡增益；σ_m,n表示分块下标为(m,n)对应目标分块的亮度影响权重；M×N表示目标图像的分块总数。本方案通过这样的设置，可以对目标图像的白平衡增益进行快速校正。

本发明实施例的技术方案，根据目标图像中预设干扰色的颜色分布特征确定颜色分类结果；其中，预设干扰色的颜色分布特征通过预先训练的颜色网络模型进行确定；根据颜色分类结果和目标图像的亮度信息确定亮度影响权重；根据亮度影响权重对目标图像的初始白平衡增益进行校正，以根据校正后的白平衡增益对目标图像进行白平衡处理。本技术方案，能够有效区分目标图像中的白点和干扰色点，从而提高了图像白平衡增益校正的准确性和适应性。

实施例二

图5为本发明实施例二提供的一种白平衡增益的校正方法的流程图，本实施例以上述实施例为基础进行优化。具体优化为：根据颜色分类结果和目标图像的亮度信息确定亮度影响权重，包括：对目标图像进行分块划分；根据颜色分类矩阵确定目标图像中各个分块的干扰色占比；根据各个分块的干扰色占比和目标图像在L通道的目标亮度图像确定各个分块的亮度影响权重。

如图5所示，本实施例的方法具体包括如下步骤：

S510，将目标图像转换到Lab颜色空间中，得到目标图像在L通道的目标亮度图像，以及在a通道和b通道的目标颜色图像。

S520，将a通道和b通道的目标颜色图像进行连接输入到颜色网络模型中，得到颜色分类矩阵作为颜色分类结果。

S530，对目标图像进行分块划分，根据颜色分类矩阵确定目标图像中各个分块的干扰色占比。

其中，干扰色占比可以是指在目标图像的各个分块中所有预设干扰色所在的像素数量和与各个分块的像素数量和的比值。本实施例中，当确定目标图像亮度大于预设亮度阈值时，可以认为目标图像亮度较高，此时需对目标图像进行分块划分，并根据颜色分类矩阵确定目标图像中各个分块的干扰色占比。需要说明的是，本实施例中对目标图像分块大小不做任何限定，可以根据实际需求设定，例如将分块大小设置为3×3。

示例性的，假设预设干扰色为蓝色、黄色和绿色，分别用1、2、3表示，且目标图像的分块大小为2×2，即每个分块包含4个像素点。若目标图像中某个分块中出现1、2、3的像素点数量各有一个，则可以确定该分块中所有预设干扰色所在的像素点数量和为3，进而可以确定出该分块的干扰色占比为3÷4＝75％。

S540，根据各个分块的干扰色占比和目标图像在L通道的目标亮度图像确定各个分块的亮度影响权重。

本实施例中，在确定目标图像中各个分块的干扰色占比后，可以根据各个分块的干扰色占比和目标亮度图像确定各个分块的亮度影响权重。可选的，根据各个分块的干扰色占比和目标图像在L通道的目标亮度图像确定各个分块的亮度影响权重，包括：若目标分块的干扰色占比大于预设占比阈值，则确定目标分块的亮度影响权重为0；若目标分块的干扰色占比等于0，则确定目标分块的亮度影响权重为1；否则，根据目标亮度图像中目标分块对应位置的亮度梯度确定目标分块的亮度影响权重。

其中，预设占比阈值可以是指预先设定的干扰色占比。例如，可以将预设占比阈值设置为30％。本实施例中，当目标分块的干扰色占比大于预设占比阈值时，可以认为该目标分块中存在大面积干扰色，此时可将目标分块的亮度影响权重确定为0；当目标分块的干扰色占比等于0时，表明该目标分块中不存在预设干扰色，此时可将目标分块的亮度影响权重确定为1；若目标分块的干扰色占比大于0且小于或等于预设占比阈值，可以根据目标亮度图像中目标分块对应位置的亮度梯度确定目标分块的亮度影响权重。

本方案通过这样的设置，可以根据预设占比阈值区分目标图像中各个分块的干扰色占比情况，并针对不同干扰色占比情况采取相应的亮度影响权重确定方式，进一步提高了亮度影响权重的准确性。

在本实施例中，可选的，根据目标亮度图像中目标分块对应位置的亮度梯度确定目标分块的亮度影响权重，包括：根据目标分块位置中目标像素点的亮度梯度确定目标分块的分块亮度梯度；根据目标分块的分块亮度梯度确定目标分块的亮度影响权重；其中，目标像素点的亮度梯度通过如下公式进行确定：其中，ω(i,j)表示目标像素点(i,j)的亮度梯度，I(i,j)表示目标像素点(i,j)在目标亮度图像中的亮度值；τ表示归一化系数。

其中，目标像素点可以是指目标分块中的所有像素点。本实施例中，在确定目标分块的亮度影响权重时，可由公式首先确定出目标分块位置中目标像素点的亮度梯度。其中，ω(i,j)表示目标像素点(i,j)的亮度梯度，I(i,j)表示目标像素点(i,j)在目标亮度图像中的亮度值；τ表示归一化系数。示例性的，可以将τ设为0.8。然后可以根据目标分块位置中目标像素点的亮度梯度确定目标分块的分块亮度梯度。示例性的，可以根据目标分块位置中目标像素点的亮度梯度确定一个能够综合该目标分块亮度梯度的参数，例如平均数或者中位数等，并将该参数对应的值确定为目标分块的分块亮度梯度。进而可以根据目标分块的分块亮度梯度确定目标分块的亮度影响权重。示例性的，可以直接将目标分块的分块亮度梯度作为目标分块的亮度影响权重。

本方案通过这样的设置，在确定目标分块的分块亮度梯度时能够充分考虑到目标分块位置中目标像素点的亮度梯度，提高了目标分块的分块亮度梯度的准确性。

S550，根据亮度影响权重对目标图像的初始白平衡增益进行校正，以根据校正后的白平衡增益对目标图像进行白平衡处理。

本发明实施例的技术方案，对目标图像进行分块划分；根据颜色分类矩阵确定目标图像中各个分块的干扰色占比；根据各个分块的干扰色占比和目标图像在L通道的目标亮度图像确定各个分块的亮度影响权重。本技术方案，无需对目标图像中每个像素点逐一确定亮度影响权重，只需要根据各个分块的干扰色占比和目标亮度图像确定各个分块的亮度影响权重即可，提高了亮度影响权重的计算效率和准确性。

实施例三

图6为本发明实施例三提供的一种白平衡增益的校正装置的结构示意图，该装置可执行本发明任意实施例所提供的白平衡增益的校正方法，具备执行方法相应的功能模块和有益效果。如图6所示，该装置包括：

颜色分类结果确定模块610，用于根据目标图像中预设干扰色的颜色分布特征确定颜色分类结果；其中，所述预设干扰色的颜色分布特征通过预先训练的颜色网络模型进行确定；

亮度影响权重确定模块620，用于根据所述颜色分类结果和所述目标图像的亮度信息确定亮度影响权重；

白平衡校正模块630，用于根据所述亮度影响权重对所述目标图像的初始白平衡增益进行校正，以根据校正后的白平衡增益对所述目标图像进行白平衡处理。

可选的，所述颜色网络模型的训练过程如下所示：

预先采集样本图像，并对所述样本图像进行预设干扰色分类标定，得到所述样本图像的干扰色标定图；

将所述样本图像转换到Lab颜色空间中，得到所述样本图像在a通道和b通道的样本颜色图像；

将所述a通道和b通道的样本颜色图像进行连接输入到预设卷积网络中进行训练，同时将所述干扰色标定图作为所述样本颜色图像的标签，以对所述预设卷积网络中的网络参数进行更新，得到训练完成的颜色网络模型。

可选的，所述颜色分类结果确定模块610，用于：

将所述目标图像转换到Lab颜色空间中，得到所述目标图像在L通道的目标亮度图像，以及在a通道和b通道的目标颜色图像；

将所述a通道和b通道的目标颜色图像进行连接输入到所述颜色网络模型中，得到颜色分类矩阵作为颜色分类结果。

可选的，所述亮度影响权重确定模块620，包括：

分块划分单元，用于对所述目标图像进行分块划分；

干扰色占比确定单元，用于根据所述颜色分类矩阵确定所述目标图像中各个分块的干扰色占比；

亮度影响权重确定单元，用于根据各个分块的干扰色占比和所述目标图像在L通道的目标亮度图像确定各个分块的亮度影响权重。

可选的，所述亮度影响权重确定单元，包括：

亮度影响权重置零子单元，用于若目标分块的干扰色占比大于预设占比阈值，则确定所述目标分块的亮度影响权重为0；

亮度影响权重置一子单元，用于若所述目标分块的干扰色占比等于0，则确定所述目标分块的亮度影响权重为1；

亮度影响权重确定子单元，用于否则，根据所述目标亮度图像中目标分块对应位置的亮度梯度确定所述目标分块的亮度影响权重。

可选的，所述白平衡校正模块630，用于：

其中，Wgain表示所述目标图像校正后的白平衡增益，Wgain_m,n表示分块下标为(m,n)对应目标图像区域的初始白平衡增益；σ_m,n表示分块下标为(m,n)对应目标分块的亮度影响权重；M×N表示所述目标图像的分块总数。

可选的，所述颜色网络模型的训练过程，还包括：

在得到所述样本图像的干扰色标定图之后，基于预设分割机制分别对所述样本图像和所述干扰色标定图进行分割，得到分割样本图像和分割干扰色标定图；

基于预设扩充机制分别对所述分割样本图像和分割干扰色标定图进行扩充操作，得到扩充样本图像集和扩充干扰色标定图集。

本发明实施例所提供的一种白平衡增益的校正装置可执行本发明任意实施例所提供的一种白平衡增益的校正方法，具备执行方法相应的功能模块和有益效果。

实施例四

图7示出了可以用来实施本发明的实施例的电子设备10的结构示意图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备(如头盔、眼镜、手表等)和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本发明的实现。

如图7所示，电子设备10包括至少一个处理器11，以及与至少一个处理器11通信连接的存储器，如只读存储器(ROM)12、随机访问存储器(RAM)13等，其中，存储器存储有可被至少一个处理器执行的计算机程序，处理器11可以根据存储在只读存储器(ROM)12中的计算机程序或者从存储单元18加载到随机访问存储器(RAM)13中的计算机程序，来执行各种适当的动作和处理。在RAM 13中，还可存储电子设备10操作所需的各种程序和数据。处理器11、ROM 12以及RAM 13通过总线14彼此相连。输入/输出(I/O)接口15也连接至总线14。

电子设备10中的多个部件连接至I/O接口15，包括：输入单元16，例如键盘、鼠标等；输出单元17，例如各种类型的显示器、扬声器等；存储单元18，例如磁盘、光盘等；以及通信单元19，例如网卡、调制解调器、无线通信收发机等。通信单元19允许电子设备10通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

处理器11可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器11的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。处理器11执行上文所描述的各个方法和处理，例如白平衡增益的校正方法。

在一些实施例中，白平衡增益的校正方法可被实现为计算机程序，其被有形地包含于计算机可读存储介质，例如存储单元18。在一些实施例中，计算机程序的部分或者全部可以经由ROM 12和/或通信单元19而被载入和/或安装到电子设备10上。当计算机程序加载到RAM 13并由处理器11执行时，可以执行上文描述的白平衡增益的校正方法的一个或多个步骤。备选地，在其他实施例中，处理器11可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行白平衡增益的校正方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本发明的方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本发明的上下文中，计算机可读存储介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。备选地，计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在电子设备上实施此处描述的系统和技术，该电子设备具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给电子设备。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)、区块链网络和互联网。

计算系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务中，存在的管理难度大，业务扩展性弱的缺陷。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本发明的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (10)

1.一种白平衡增益的校正方法，其特征在于，包括：

根据目标图像中预设干扰色的颜色分布特征确定颜色分类结果；其中，所述预设干扰色的颜色分布特征通过预先训练的颜色网络模型进行确定；

根据所述颜色分类结果和所述目标图像的亮度信息确定亮度影响权重；

根据所述亮度影响权重对所述目标图像的初始白平衡增益进行校正，以根据校正后的白平衡增益对所述目标图像进行白平衡处理。

2.根据权利要求1所述的方法，其特征在于，所述颜色网络模型的训练过程如下所示：

预先采集样本图像，并对所述样本图像进行预设干扰色分类标定，得到所述样本图像的干扰色标定图；

将所述样本图像转换到Lab颜色空间中，得到所述样本图像在a通道和b通道的样本颜色图像；

将所述a通道和b通道的样本颜色图像进行连接输入到预设卷积网络中进行训练，同时将所述干扰色标定图作为所述样本颜色图像的标签，以对所述预设卷积网络中的网络参数进行更新，得到训练完成的颜色网络模型。

3.根据权利要求2所述的方法，其特征在于，根据目标图像中预设干扰色的颜色分布特征确定颜色分类结果，包括：

将所述目标图像转换到Lab颜色空间中，得到所述目标图像在L通道的目标亮度图像，以及在a通道和b通道的目标颜色图像；

将所述a通道和b通道的目标颜色图像进行连接输入到所述颜色网络模型中，得到颜色分类矩阵作为颜色分类结果。

4.根据权利要求3所述的方法，其特征在于，根据所述颜色分类结果和所述目标图像的亮度信息确定亮度影响权重，包括：

对所述目标图像进行分块划分；

根据所述颜色分类矩阵确定所述目标图像中各个分块的干扰色占比；

根据各个分块的干扰色占比和所述目标图像在L通道的目标亮度图像确定各个分块的亮度影响权重。

5.根据权利要求4所述的方法，其特征在于，根据各个分块的干扰色占比和所述目标图像在L通道的目标亮度图像确定各个分块的亮度影响权重，包括：

若目标分块的干扰色占比大于预设占比阈值，则确定所述目标分块的亮度影响权重为0；

若所述目标分块的干扰色占比等于0，则确定所述目标分块的亮度影响权重为1；

否则，根据所述目标亮度图像中目标分块对应位置的亮度梯度确定所述目标分块的亮度影响权重。

6.根据权利要求5所述的方法，其特征在于，根据所述亮度影响权重对所述目标图像的初始白平衡增益进行校正，包括：

其中，Wgain表示所述目标图像校正后的白平衡增益，Wgain_m,n表示分块下标为(m,n)对应目标图像区域的初始白平衡增益；σ_m,n表示分块下标为(m,n)对应目标分块的亮度影响权重；M×N表示所述目标图像的分块总数。

7.根据权利要求2所述的方法，其特征在于，在得到所述样本图像的干扰色标定图之后，所述方法还包括：

基于预设分割机制分别对所述样本图像和所述干扰色标定图进行分割，得到分割样本图像和分割干扰色标定图；

基于预设扩充机制分别对所述分割样本图像和分割干扰色标定图进行扩充操作，得到扩充样本图像集和扩充干扰色标定图集。

8.一种白平衡增益的校正装置，其特征在于，所述装置包括：

颜色分类结果确定模块，用于根据目标图像中预设干扰色的颜色分布特征确定颜色分类结果；其中，所述预设干扰色的颜色分布特征通过预先训练的颜色网络模型进行确定；

亮度影响权重确定模块，用于根据所述颜色分类结果和所述目标图像的亮度信息确定亮度影响权重；

白平衡校正模块，用于根据所述亮度影响权重对所述目标图像的初始白平衡增益进行校正，以根据校正后的白平衡增益对所述目标图像进行白平衡处理。

9.一种白平衡增益的校正电子设备，其特征在于，所述电子设备包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-7中任一项所述的白平衡增益的校正方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现权利要求1-7中任一项所述的白平衡增益的校正方法。