CN113301318A - 图像的白平衡处理方法、装置、存储介质及终端 - Google Patents

Abstract

本发明提供了一种图像的白平衡处理方法、装置、存储介质及终端，该方法可以由终端执行，该方法包括获取原始图像；将所述原始图像划分成N个图像块，N为正整数；根据所述原始图像中各个像素点的图像信息，确定所述N个图像块的特征值；根据所述N个图像块的特征值，将所述N个图像块划分为M个图像块集合；启动L个线程计算出每个图像块的白平衡增益，根据所述每个图像块的特征值和所述每个图像块的白色像素数量计算每个图像块的初始增益权重，其中，一个图像块集合至少对应一个线程；根据每个图像块的白平衡增益与初始增益权重，确定所述原始图像的白平衡增益，本发明的方法有效提高了图像白平衡处理结果的准确性。

Description

图像的白平衡处理方法、装置、存储介质及终端

技术领域

本发明涉及图像处理技术领域，尤其涉及一种图像的白平衡处理方法、装置、存储介质及终端。

背景技术

目前的多数电子产品中，相机成为越来越重要的部分，特别是在手机、安防、物联网终端等。当在不同场景下拍摄图像时，相机会受到光源、场景等因素的影响，而且影响图像白平衡的因素也比较复杂。拍摄的图像中物体呈现的色彩与实际颜色差异较大，环境中色温越高，则物体偏蓝，反之则偏黄，相机的图像传感器在不同色温下会出现上述情况，而人眼具有恒常性，即在不同的光源下人眼感受到白色区域是经过视觉系统的补偿的，所以在不同环境下我们总能看到白色的真实颜色，因此需要通过白平衡技术对相机记录的图像进行校正。传统的白平衡校正方法有灰度世界法、白点检测法、直方图法等，所考虑的影响因素较少。目前的相关技术中，白平衡的计算过程主要是检测图像中的白块区域，然后根据白块区域中的各个通道的值来进行一系列处理，使得图像能够还原出真实的色彩，但是，这样做仍然还是会存在白块区域识别不准确的情况，比如正常色温下，图像的淡黄色块可能被误识别为低色温下的白块。

因此，有必要提供一种新型的图像的白平衡处理方法、装置、存储介质及终端以解决现有技术中存在的上述问题。

发明内容

本发明的目的在于提供一种图像的白平衡处理方法、装置、存储介质及终端，有效解决了白平衡处理过程中白块识别不准确的问题，提高了白平衡处理结果的准确性。

第一方面，为实现上述目的，本发明的所述一种图像的白平衡处理方法，所述方法包括：

获取原始图像；

将所述原始图像划分成N个图像块，N为正整数；

根据所述原始图像中各个像素点的图像信息，确定所述N个图像块的特征值；

根据所述N个图像块的特征值，将所述N个图像块划分为M个图像块集合，M为小于N的正整数；

启动L个线程计算出每个图像块的白平衡增益，根据所述每个图像块的特征值和所述每个图像块的白色像素数量计算每个图像块的初始增益权重，其中，一个图像块集合至少对应一个线程，L为大于或等于N的正整数；

根据每个图像块的白平衡增益与初始增益权重，确定所述原始图像的白平衡增益。

本发明所述的图像的白平衡处理方法的有益效果在于：通过将原始图像划分成N个图像块，根据特征值将N个图像块划分为M个图像块集合，启动L个线程计算出每个图像块的白平衡增益，根据所述每个图像块的特征值和所述每个图像块的白色像素数量计算每个图像块的初始增益权重，根据每个图像块的白平衡增益与初始增益权重，确定所述原始图像的白平衡增益，本方法根据特征值将图像块划分为M个图像块集合，通过L个线程对图像块集合中每个图像块的白平衡增益和初始增益权重，通过分类计算的方式降低原始图像中部分难以判断的白色块的影响，有效提高了原始图像的白平衡计算结果的准确性。

在一些可能的实施例中，所述方法还包括：

启动K个线程对所述原始图像进行场景识别得到场景识别结果，K为正整数；

根据所述场景识别结果，调整所述N个图像块的初始增益权重，得到所述N个图像块的目标增益权重；

所述根据每个图像块的白平衡增益与初始增益权重，确定所述原始图像的白平衡增益，包括：

根据每个图像块的白平衡增益与目标增益权重，确定所述原始图像的白平衡增益。其有益效果在于：结合识别出来的场景识别结果对初始增益权重进行调整以得到图像块的目标增益权重，后续根据每个图像块的目标增益权重和白平衡增益确定所述原始图像的白平衡增益，从而进一步提高原始图像的白平衡增益的准确性。

在一些可能的实施例中，所述根据所述场景识别结果，调整所述N个图像块的初始增益权重，得到所述N个图像块的目标增益权重，包括：

根据所述原始图像的场景识别结果中的关键特征在每个图像块中的占比结果和场景色彩需求，调整所述N个图像块的初始增益权重，得到所述N个图像块的目标增益权重。其有益效果在于：根据场景识别结果中的关键特征在图像块中的占比结果和场景色彩需求对图像块的初始增益权重进行调整，从而结合其他因素的影响对原始图像的白平衡增益进行调整，以得到原始图像更加准确的白平衡增益。

在一些可能的实施例中，所述根据所述每个图像块的特征值和所述每个图像块的白色像素数量计算每个图像块的初始增益权重，包括：

根据所述每个图像块的色温值和标准色温曲线，确定所述每个图像块的色温值与所述标准色温曲线的欧氏距离；

根据所述每个图像块的欧氏距离和所述每个图像块的白色像素点数量，计算每个图像块的初始增益权重。

在一些可能的实施例中，所述第i个图像块的初始增益权重W_i满足如下公式：

W_i＝n_i×(1/d_i)

其中，i的取值范围为(0,N]，i为正整数，n_i为第i个图像块的白色像素点数量，d_i为第i个图像块的欧氏距离。

在一些可能的实施例中，所述计算出每个图像块的白平衡增益，包括：

根据每个图像块的色温值与标准光源的增益值，计算所述每个图像块的白平衡增益。

在一些可能的实施例中，所述原始图像的白平衡增益RGB_gain满足如下公式：

其中，ρ₁为第1个图像块的目标增益权重、ρ₂为第2个图像块的目标增益权重、ρ_i为第i个图像块的目标增益权重、ρ_n为第N个图像块的目标增益权重，RGB_gain1为第1个图像块的白平衡增益，RGB_gain2为第2个图像块的白平衡增益，RGB_gaini为第i个图像块的白平衡增益，RGB_gainN为第N个图像块的白平衡增益，i的取值范围为(0,N]，i为正整数。

第二方面，本发明进一步提供了一种图像的白平衡处理装置，所述装置包括：

图像获取模块，用于获取原始图像；

划分模块，用于将所述原始图像划分成N个图像块，N为正整数；

特征值计算模，用于根据所述原始图像中各个像素点的图像信息，确定所述N个图像块的特征值；

分类模块，用于根据所述N个图像块的特征值，将所述N个图像块划分为M个图像块集合，M为小于N的正整数；

第一计算模块，用于启动L个线程计算出每个图像块的白平衡增益，根据所述每个图像块的特征值和所述每个图像块的白色像素数量计算每个图像块的初始增益权重，其中，一个图像块集合至少对应一个线程，L为大于或等于N的正整数；

第二计算模块，用于根据每个图像块的白平衡增益与初始增益权重，确定所述原始图像的白平衡增益。

本发明的图像的白平衡处理装置的有益效果在于：所述装置包括图像获取模块、划分模块、特征值计算模、分类模块、第一计算模块和第二计算模块，根据特征值将图像块划分为M个图像块集合，通过L个线程对图像块集合中每个图像块的白平衡增益和初始增益权重，通过分类计算的方式降低原始图像中部分难以判断的白色块的影响，有效提高了原始图像的白平衡计算结果的准确性，提高了所述原始图像的色彩质量。

第三方面，本发明进一步提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述的方法。

第四方面，本发明还提供了一种终端，包括：处理器及存储器；

所述存储器用于存储计算机程序；

所述处理器用于执行所述存储器存储的计算机程序，以使所述终端执行上述的方法。

上述第三方面和第四方面的有益效果可以参见上述第一方面和第二方面。

附图说明

图1为本发明实施例的所述白平衡处理方法的流程图；

图2为本发明实施例的所述白平衡处理方法将原始图像划分为N个图像块的图像块示意图；

图3为本发明实施例所述白平衡处理方法考虑场景因素时的流程示意图；

图4为本发明实施例的所述白平衡处理方法的标准色温曲线示意图；

图5为本发明实施例的所述白平衡处理装置的结构框图；

图6为本发明实施例的所述设备的结构框图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。除非另外定义，此处使用的技术术语或者科学术语应当为本发明所属领域内具有一般技能的人士所理解的通常意义。本文中使用的“包括”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。

针对现有技术存在的问题，本发明的实施例提供了一种图像的白平衡处理方法，该方法可以由终端执行，具体来说可以由终端的图像处理器来执行，如图1所示，所述方法包括如下步骤：

S101、获取原始图像。

具体来说，终端的图像传感器采集原始图像，然后终端的图像处理器从终端的图像传感器获取该原始图像。

S102、将所述原始图像划分成N个图像块，N为正整数。

示例性地，如图2，终端将原始图像划分为M*P(M*P＝N)个图像块。

S103、根据所述原始图像中各个像素点的图像信息，确定所述N个图像块的特征值。

其中，原始图像中的各个像素点的图像信息有灰度信息和颜色信息等，其中灰度信息可以包括亮度信息，颜色信息可以包括色温、色调等信息。终端的图像处理器可以针对任意一个图像块，根据该图像块的图像信息，确定该图像块的特征值。该特征值可以是色温值、色调值或亮度值中的至少一种。本实施例下文以特征值是色温值进行举例说明。

在一些实施例中，图像的特征值包括色温、色调和亮度等，本发明的实施例以色温为例对本发明所述的图像的白平衡处理方法进行说明。

S104、根据所述N个图像块的特征值，将所述N个图像块划分为M个图像块集合，M为小于N的正整数。

该步骤中，终端在将原始图像划分成N个图像块之后，根据图像块的特征值对N个图像块进行分类，将其划分为M个图像块集合。例如，当特征值为色温值，终端的图像处理器根据N个图像块的色温值将N个图像块划分为高色温、中色温和低色温三类图像块集合。

在另一些实施例中，在将原始图像划分成N个图像块之后，根据图像块的特征值对N个图像块进行分类，将其划分为M个图像块集合。

进一步的，在本实施例中，所述特征值包括色温值，根据每一个图像块的色温值对图像块进行分类，从而得到位于不同色温区间的图像块，具体的，根据色温值的大小差异，将图像块分为高色温、中色温和低色温三个图像块集合，以便于后续分别通过不同的线程对高色温、中色温和低色温三个图像块集合内部的图像块进行计算处理，从而将图像块中白色块模糊的情况区分开，降低难以区分的白色块的影响，有效解决了白平衡中白色块识别不准确的情况，以便于后续计算出更加合理、准确的白平衡增益，使得图像色彩更加准确。

S105、启动L个线程计算出每个图像块的白平衡增益，根据所述每个图像块的特征值和所述每个图像块的白色像素数量计算每个图像块的初始增益权重，其中，一个图像块集合至少对应一个线程，L为大于或等于N的正整数。

该步骤中，终端的图像处理器通过启动L个线程计算出每个图像块的白平衡增益和初始增益权重可以有效地提高图像的处理效率，另外还可以提高白平衡增益计算结果的准确度，示例性地，接续上例，终端的图像处理器分别通过不同的线程对高色温、中色温和低色温三类图像块集合中的图像块的白平衡增益和初始增益权重进行计算处理，从而将图像块中白色块模糊的情况区分开，降低难以区分的白色块的影响，有效解决了白平衡中白色块识别不准确的情况，以便于后续计算出更加合理、准确的白平衡增益，使得图像色彩更加准确。

进一步的，每一个图像块集合对应一个线程进行计算处理，通过不同的线程处理不同的图像块集合内部的图像块，不仅能够避免白平衡中白色块识别不准确的情况，比如在正常色温下，将淡黄色识别为白色的情况，而且通过实时传输计算后的数据，有效提高了整个计算过程的计算速度。

在一些实施例中，所述根据所述每个图像块的特征值和所述每个图像块的白色像素数量计算每个图像块的初始增益权重，包括：

S106、根据每个图像块的白平衡增益与初始增益权重，确定所述原始图像的白平衡增益。

该步骤中，终端的图像处理器可以根据每个图像块的白平衡增益与初始增益权重，进行加权求和，计算出原始图像的白平衡增益。示例性地，原始图像的白平衡增益可以满足如下公式：：

其中，q₁为第1个图像块的初始增益权重、q₂为第2个图像块的初始增益权重、q_i为第i个图像块的初始增益权重、q_n为第N个图像块的初始增益权重，RGB_gain1为第1个图像块的白平衡增益，RGB_gain2为第2个图像块的白平衡增益，RGB_gaini为第i个图像块的白平衡增益，RGB_gainN为第N个图像块的白平衡增益，i的取值范围为(0,N]，i为正整数，通过上述计算过程，即可得到原始图像最终的白平衡增益。

在一些实施例中，本发明中为了降低某些特定场景对图像白平衡效果的影响，需要将场景信息作为重要的影响因素考虑进来。具体来说，终端还可以启动K个线程对所述原始图像进行场景识别得到场景识别结果，K为正整数；然后根据场景识别结果，调整N个图像块的初始增益权重，得到N个图像块的目标增益权重；再根据每个图像块的白平衡增益与目标增益权重，确定所述原始图像的白平衡增益。

通过获取原始图像的场景识别结果中可能存在因素，比如人脸图像、场景图像，就可以判断场景识别结果中的关键特征在每一个图像块中的占比情况、每一个图像块中的关键特征占整个图像块总大小的占比，以及场景色彩需求等因素，对每一个图像块的初始增益权重进行调整。

具体来说，终端在对原始图像进行场景识别之后得到场景识别结果，由于场景识别结果中包括人脸、场景等因素，根据场景识别结果就可以得出场景识别结果在不同的图像块中所占比例和场景色彩需求，具体的，获取所述原始图像的场景识别结果中的关键特征在不同的图像块中的占比情况和场景色彩需求，之后根据场景识别结果在每个图像块中的占比结果和场景色彩需求，调整所述N个图像块的初始增益权重，得到所述N个图像块的目标增益权重。比如，在一种可能的实现中，场景识别结果识别出来原始图像中包括人脸图像，则所述场景识别结果的关键特征就是人脸图像，根据判断图像块中人脸图像是否存在、占比结果以及场景色彩需求对图像块的初始增益权重进行调整，具体的，当识别出来的场景识别结果中的关键特征在图像块存在，则终端将初始增益权重增加；当识别出来的场景识别结果中的关键特征在图像块中不存在，则终端将初始增益权重减少。

进一步的，当识别出来的场景识别结果中的关键特征在图像块中的占比大于设定阈值，则终端将初始增益权重增加；当识别出来的场景识别结果中的关键特征在图像块中的占比小于或等于设定阈值，则终端将初始增益权重减少。示例性地，根据人脸图像的场景识别结果，确定第一图像块和第二图像块包括人脸信息的占比大于设定阈值时，则增强第一图像块的初始增益权重和第二图像块的初始增益权重，得到第一图像块的目标增益权重和第二图像块的目标增益权重。

另一方面，还可以通过判断每一个图像块中的关键特征在整个场景识别结果中的占比来对每一个图像块的初始增益权重进行调整，具体的，当图像块中的关键特征在整个场景识别结果中的占比大于预设阈值，则终端将初始增益权重增加；当图像块中的关键特征在整个场景识别结果中的占比小于或等于预设阈值，则终端将初始增益权重减少。

图3为本发明实施例所述方法的考虑场景因素时的流程示意图，图像采集模块将图像传入自动白平衡算法模块后，根据需要开启多个线程同时处理相应的数据。首先需要对采集到的图像均匀的划分为M*P的小块，然后根据各小块中的统计信息计算出该块的色温值，并根据白色块和色温值等特征设定其权重。通过设置的色温阈值将所有小块进行分类，可以将所有像素点分为相应的高、中、低色温三个类别，用来降低部分难以判断的白色块的影响。之后，根据色温类别的划分可以将数据划分到不同的线程中进行计算，此处线程数依据分类数量开启。在每个线程中分别采取相应的处理方法求取该块的白平衡增益。权重则实时传给场景识别线程中，该线程数量是根据白平衡计算中所考虑的场景数量而定，该模块通过计算人脸、蓝天等场景信息对白平衡的影响，将其结果作为辅助的影响因素来调整权重值。最终将每块的增益和权重信息在结果汇总线程根据权重比例进行整合，以此来校正图像色彩质量。

将场景因素考虑到原始图像的白平衡增益之中，以得到经过调整后的白平衡增益，使得原始图像的白平衡增益更加准确。

需要指出的是，终端在启动K个线程对所述原始图像进行场景识别时，K的取值是可以根据在场景识别过程中需要考虑的场景数量而定的，例如，场景识别的线程的数量与需要考虑的场景数量相同，比如场景信息包括人脸、蓝天等。

本申请实施中，场景信息可以包括人脸图像，还包括蓝天、植物或建筑等，场景信息还可以包括区域信息、置信度或关键点信息等。场景识别算法可以有多种，例如人脸识别采用人脸识别算法，场景识别采用场景识别算法。

需要说明的是，在场景识别过程中，人脸识别采用人脸识别算法，场景识别采用场景识别算法，这两种算法均为现有技术中的算法，本方案不涉及对算法本身的改进，此处不再赘述。

本申请所述方法将原始图像进行细致的划分，在将原始图像划分为多个图像块之后，分别通过不同的线程对不同类别的图像块进行计算能处理，有效解决了白平衡中白色块识别不准确的问题。在本发明中，同时考虑拍摄的场景、人脸等因素对图像白平衡增益的影响，以多核多线程技术来提高自动白平衡的实时性及准确性，使得最终得到的原始图像的白平衡增益更加准确，使得最终得到的图像色彩更加准确。

下文，以特征值为色温值进行举例说明图像白平衡增益的计算过程。

第一步，色温值的计算方式包括如下处理过程：终端获取所述图像块在不同标准色温下的标准色温曲线；终端计算每一个所述图像块中红色通道R中白色像素点的平均数量Rave、绿色通道G中白色像素点的平均数量Gave和蓝色通道B中白色像素点的平均数量Bave；终端根据所述白色像素点的平均数量分别计算得到红绿通道比值R/G和蓝绿通道比值B/G；终端根据所述红绿通道比值R/G和所述蓝绿通道比值B/G在所述标准色温曲线上计算出所述图像块的色温值。

在进一步的实施例中，所述步骤S103中确定所述N个图像块的特征值包括如下过程：

获取所述图像块在不同标准色温下的标准色温曲线；

计算每一个所述图像块中红色通道R中白色像素点的平均数量R_ave、绿色通道G中白色像素点的平均数量G_ave和蓝色通道B中白色像素点的平均数量B_ave；

根据所述白色像素点的平均数量分别计算得到红绿通道比值R/G和蓝绿通道比值B/G；

根据所述红绿通道比值R/G和所述蓝绿通道比值B/G在所述标准色温曲线上计算出所述图像块的色温值。

进一步的，为获得标准色温曲线，在各个标准色温下拍摄相应的灰卡照片，以用来对图像色温进行标定，之后根据灰卡照片和标准色温绘制出出R/G,、B/G和标准色温值的曲线，之后通过插值计算的方式对所述曲线进行处理，从而形成平滑的标准色温曲线，由于标准色温曲线的获取过程为现有技术中的内容，本申请方案不涉及对其本身的改进，此处不再赘述。

具体的，本发明实施例的所述白平衡处理方法的标准色温曲线示意图如图4所示。

所述图像块的红色通道R中白色像素点的平均数量R_ave的计算公式如下：

R_ave＝(r₁+r₂+…+r_n)/n；

其中，n为所述图像块中白色块的像素总数，r₁为图像块中白色块的第1个像素的红色通道值，r₂为图像块中白色块的第2个像素的红色通道值…r_n为图像块中白色块的第n个像素的红色通道值。

所述图像块的绿色通道G中白色像素点的平均数量G_ave的计算公式如下：

G_ave＝(g₁+g₂+…+g_n)/n；

其中，n为所述图像块中白色块的像素总数，g₁为图像块中白色块的第1个像素的绿色通道值，g₂为图像块中白色块的第2个像素的绿色通道值…g_n为图像块中白色块的第n个像素的绿色通道值

所述图像块的蓝色通道B中白色像素点的平均数量B_ave的计算公式如下：

B_ave＝(b₁+b₂+…+b_n)/n；

其中，n为所述图像块中白色块的像素总数，b₁为图像块中白色块的第1个像素的蓝色通道值，b₂为图像块中白色块的第2个像素的蓝色通道值…b_n为图像块中白色块的第n个像素的蓝色通道值。

进一步的，根据图像块中红色通道R中白色像素点的平均数量R_ave、绿色通道G中白色像素点的平均数量G_ave和蓝色通道B中白色像素点的平均数量B_ave分别计算得到红绿通道比值R/G和蓝绿通道比值B/G。

其中，红绿通道比值R/G的计算公式如下：

RG＝R/G＝R_ave/G_ave，其中，R_ave为红色通道R中白色像素点的平均数量，G_ave为绿色通道G中白色像素点的平均数量。

蓝绿通道比值B/G的计算公式如下：

BG＝B/G＝B_ave/G_ave，其中B_ave为蓝色通道B中白色像素点的平均数量，G_ave为绿色通道G中白色像素点的平均数量。

而在计算获得红绿通道比值R/G和蓝绿通道比值B/G的大小之后，根据之前获取得到的标准色温曲线，即可在所述标准色温曲线上求出当前图像块的色温值。

第二步，N个图像块的初始增益权重包括如下处理过程：根据所述每个图像块的色温值和标准色温曲线，确定所述每个图像块的色温值与所述标准色温曲线的欧氏距离；根据所述每个图像块的欧氏距离和所述每个图像块的白色像素点数量，计算每个图像块的初始增益权重。

根据所述每个图像块的色温值和标准色温曲线，确定所述每个图像块的色温值与所述标准色温曲线的欧氏距离；

根据所述每个图像块的欧氏距离和所述每个图像块的白色像素点数量，计算每个图像块的初始增益权重。

具体的，每一个图像块的色温值计算得到之后，根据色温值和标准色温曲线计算出每个图像块与标准色温曲线的欧式距离，其计算公式如下：

其中，d_i表示第i个图像块与标准色温曲线的欧式距离，RG_i、BG_i、CT_i为第i个图像块中的白色块像素的红绿通道比值、蓝绿通道比值和色温值，RGi_{_std}、BG_{i_std}、CT_{i_std}为第i个图像块中白色块像素对应的标准色温曲线上的坐标点的坐标。

具体的，在计算得到图像块的RG、BG和色温值之后，根据RG值所在区间、BG值所在区间和色温值所在区间，根据上述确定的这些区间，确定图像块在所述标准色温曲线上对应的坐标点，即可找出当前图像块在所述标准色温曲线上对应的坐标点，根据图像块的RG、BG和色温值，以及对应的坐标点的坐标值，即可计算出当前图像块与标准色温曲线之间的欧式距离。

在一些实施例中，所述第i个图像块的初始增益权重W_i满足如下公式：

W_i＝n_i×(1/d_i)

其中，i的取值范围为(0,N]，i为正整数，d_i为第i个图像块与标准色温曲线上对应的坐标点的欧氏距离，n_i为第i个图像块的白色像素点数量，在计算出图像块中白色像素点的数量n_i和第i个图像块与标准色温曲线上对应的坐标点的欧式距离d_i之后，即可计算出第i个图像块的初始增益权重。

第三步，在得到了图像块的色温值和初始增益权重之后，具体包括：

启动K个线程对所述原始图像进行场景识别得到场景识别结果，K为正整数；

根据所述场景识别结果，调整所述N个图像块的初始增益权重，得到所述N个图像块的目标增益权重；

所述根据每个图像块的白平衡增益与初始增益权重，确定所述原始图像的白平衡增益，包括：

根据每个图像块的白平衡增益与目标增益权重，确定所述原始图像的白平衡增益。

在上述过程中，通过K个线程对原始图像的场景进行识别以得到场景识别结果，以便于后续根据场景识别结果调整图像块的初始增益权重以得到目标增益权重，从而将场景因素考虑到原始图像的白平衡增益之中，以得到经过调整后的白平衡增益，使得原始图像的白平衡增益更加准确。

其中，在启动线程对原始图像进行场景识别时，所述线程的数量根据在场景识别过程中需要考虑的场景数量而定，即场景识别的线程的数量与需要考虑的场景数量相同，比如场景包括人脸、蓝天等场景信息。

在一些实施例中，所述根据所述场景识别结果，调整所述N个图像块的初始增益权重，得到所述N个图像块的目标增益权重，包括：

根据场景识别结果中的关键特征在每个图像块中的占比结果和场景色彩需求，调整所述N个图像块的初始增益权重，得到所述N个图像块的目标增益权重。

而在获取到图像块的场景识别结果之后，由于场景因素会对图像块的白平衡增益产生影响，因此需要根据场景识别结果中的关键特征对图像块的初始增益权重进行调整，以得到更加符合要求的图像块的目标增益权重。

通过获取原始图像的场景识别结果中可能存在因素，比如人脸图像、场景图像，就可以判断场景识别结果中的关键特征在每一个图像块中的占比情况、每一个图像块中的关键特征占整个图像块总大小的占比，以及场景色彩需求等因素，对每一个图像块的初始增益权重进行调整。

在一种可能的实现中，场景识别结果识别出来原始图像中包括人脸图像，则所述场景识别结果的关键特征就是人脸图像，根据判断图像块中人脸图像是否存在、占比结果以及场景色彩需求对图像块的初始增益权重进行调整，具体的，当识别出来的场景识别结果中的关键特征在图像块存在，则终端将初始增益权重增加；当识别出来的场景识别结果中的关键特征在图像块中不存在，则终端将初始增益权重减少。

在另一些实施例中，当识别出来的场景识别结果中的关键特征在图像块中的占比大于设定阈值，则将初始增益权重增加；当识别出来的场景识别结果中的关键特征在图像块中的占比小于或等于设定阈值，则将初始增益权重减少。

另一方面，还可以通过判断每一个图像块中的关键特征在整个场景识别结果中的占比来对每一个图像块的初始增益权重进行调整，具体的，当图像块中的关键特征在整个场景识别结果中的占比大于预设阈值，则终端将初始增益权重增加；当图像块中的关键特征在整个场景识别结果中的占比小于或等于预设阈值，则终端将初始增益权重减少。

具体的，将设定阈值设为30％，初始增益权重为10％，当在图像块中场景识别结果中的人脸特征占比为40％，判断大于设定阈值，将初始增益权重增加2％；而当在图像块中场景识别结果中的人脸特征中的占比为20％，判断小于设定阈值，将初始增益权重减少2％，从而完成对初始增益权重的调整，以得到与原始图像更加接近的目标增益权重。

进一步的，所述场景识别结果不仅包括人脸图像，还包括蓝天、植物、建筑等场景信息，所述场景信息主要包括区域信息、置信度和关键点信息，初始增益权重给的调整方式与上述调整过程基本相同，此处不再赘述。

第四步、在一些实施例中，所述计算出每个图像块的白平衡增益，包括：

根据每个图像块的色温值与标准光源的增益值，计算所述每个图像块的白平衡增益。

进一步的，根据每一个所述图像块的色温值的大小，在所述标准色温曲线上找出相邻的两个标准色温对应的标定光源，并通过插值法计算出所述图像块的增益，之后根据色温值和标准光源的增益值计算出图像块的白平衡增益，其计算公式如下：

rgb_gain__i＝A_gain+(B_gain-A_gain)/(CT_B-CT_A)*(CT_{cur_i}-CT_A)；

其中，A、B为所述图像块的色温值在所述标准色温曲线上对应的光源，A_gain为图像块在A光源下的增益，B_gain为图像块在B光源下的增益，CT_A为光源Ade色温值，CT_B为光源B的色温值，CT_{cur_i}为第i个图像块的色温值，rgb_{gain_i}为第i个图像块的白平衡增益。图像块的白平衡增益分别包括R通道增益R_gain、G通道增益G_gain和B通道增益B_gain。

为计算得到图像块的各个通道的增益，其具体计算公式如下：

R_gain＝G_ave/R_ave

B_gain＝G_ave/B_ave

G_gain＝G_ave/G_ave

其中，R_ave为图像块中灰点的R通道均值，G_ave为图像块中灰点的G通道均值，B_ave为图像块中灰点的B通道均值，而R通道均值、G通道均值和B通道均值为图像块在标准光源下的各个像素通道之和与图像块在标准光源下的像素总数的比值。

在进一步的实施例中，以D65光源为例，假设所述图像块是在标准D65光源下拍摄的图像，则图像块中灰点的R通道均值、G通道均值和B通道均值的计算公式具体为：

R_ave＝R_{sum_D65}/Cnt_D65

G_ave＝G_{sum_D65}/Cnt_D65

B_ave＝B_{sum_D65}/Cnt_D65

其中，R_{sum_D65}为D65光源下拍摄的图像块中各个像素的R通道之和，G_{sum_D65}为D65光源下拍摄的图像块中各个像素的G通道之和，B_{sum_D65}为D65光源下拍摄的图像块中各个像素的B通道之和，Cnt_D65为D65光源下拍摄的图像块的像素总数。

而在计算得到图像块的各个通道的增益之后，由于图像块的增益还与图像块中白色像素点的数量有关，因此进一步增加白色像素点对图像块的增益的影响，其计算过程如下：

首先求解出当前的图像块的灰度直方图DH_all与当前的图像块中检测出的白色像素点的灰度直方图DH_white之比，记为比值参数，即DH_{w_i}＝DH_white/DH_all；其中，DH_{w_i}为第i个图像块的比值参数。

之后在计算图像块的白平衡增益的时候，考虑到比值参数的影响，根据比值参数和之前已经计算出来的图像块的各通道的增益相乘即可得到当前图像块的实际白平衡增益，其具体计算公式如下：

RGB_{gain_i}＝rgb_{gain_i}*DH_{w_i}；

其中，RGB_{gain_i}为当前图像块各通道的实际白平衡增益，rgb_{gain_i}为当前图像块在之前不考虑白色像素数量时计算出来的各通道白平衡增益，DH_{w_i}为当前的图像块的的比值参数。

在上述过程中，在将不同色温的图像块划分成为M个图像块集合之后，分别采用不同的线程计算不同图像块集合的白平衡增益。

第五步、在计算出图像块的目标增益权重和每一个图像块的白平衡增益之后，将目标增益权重和白平衡增益进行权重汇总，即可计算得到原始图像最终的白平衡增益RGB_gain。

所述原始图像的白平衡增益RGB_gain满足如下公式：

其中，ρ₁为第1个图像块的目标增益权重、ρ₂为第2个图像块的目标增益权重、ρ_i为第i个图像块的目标增益权重、ρ_n为第N个图像块的目标增益权重，RGB_gain1为第1个图像块的白平衡增益，RGB_gain2为第2个图像块的白平衡增益，RGB_gaini为第i个图像块的白平衡增益，RGB_gainN为第N个图像块的白平衡增益，i的取值范围为(0,N]，i为正整数。

通过上述计算公式，在得到图像块调整后的目标增益权重，以及之前经过计算得到的图像块实际的白平衡增益后，即可计算出原始图像最终的白平衡增益。

在上述白平衡处理方法中，在获取原始图像之后，将原始图像划分成为N个图像块，计算每一个图像块的特征值，根据每一个图像块的特征值将图像块分为M个图像块集合，之后启动L个线程计算出每个图像块的白平衡增益和初始增益权重，后续根据每个图像块的白平衡增益和初始权重增益计算出所述原始图像的白平衡增益。

在一些实施例中，所述方法还包括：

本申请所述方法将原始图像进行细致的划分，在将原始图像划分为多个图像块之后，分别通过不同的线程对不同类别的图像块进行计算能处理，有效解决了白平衡中白色块识别不准确的问题，通过每个图像块计算出初始增益权重，并根据场景因素对初始增益权重进行调整以得到目标增益权重，从而使得最终得到的原始图像的白平衡增益更加准确，使得最终得到的图像色彩更加准确。

进一步的，本发明的方法可用于手机、摄像机、相机、工业相机、安防摄像头、物联网终端等采用相机拍摄、预览的设备产品，相机模组由于本身硬件的限制，拍摄的图像会收到光源等环境光的影响，进而出现偏色等色彩不准确的情况，通过本发明校正图像的白平衡，使图像无论是客观还是主观都能够达到较好的色彩效果，有效提高图像显示的准确性。

本发明进一步公开了一种图像的白平衡处理装置，如图5所示，所述装置包括顺次通信连接的图像获取模块301、划分模块302、特征值计算模块303、分类模块304、第一计算模块305、第二计算模块306，其中：

图像获取模块301，用于获取原始图像；

划分模块302，用于将所述原始图像划分成N个图像块，N为正整数；

特征值计算模块303，用于根据所述原始图像中各个像素点的图像信息，确定所述N个图像块的特征值；

分类模块304，用于根据所述N个图像块的特征值，将所述N个图像块划分为M个图像块集合，M为小于N的正整数；

第一计算模块305，用于启动L个线程计算出每个图像块的白平衡增益，根据所述每个图像块的特征值和所述每个图像块的白色像素数量计算每个图像块的初始增益权重，其中，一个图像块集合至少对应一个线程，L为大于或等于N的正整数；

第二计算模块306，用于根据每个图像块的白平衡增益与初始增益权重，确定所述原始图像的白平衡增益。

本发明中的装置充分考虑了相机拍摄过程中影响白平衡的诸多因素，并且采用多核多线程技术来提高算法的效率，充分利用了硬件优势，将计算任务合理分配到不同核心计算，提高了算法运行速度，算法运行速率的提升使得能够充分考虑光源、色温以及各种场景等因素对白平衡造成的影响，以提高最终白平衡的效果。

需要说明的是，上述图像的白平衡处理装置的结构及原理与图像的白平衡处理方法中的步骤一一对应，故在此不再赘述。

需要说明的是，应理解以上装置的各个模块的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现；也可以全部以硬件的形式实现；还可以部分模块通过处理元件调用软件的形式实现，部分模块通过硬件的形式实现。例如，选择模块可以为单独设立的处理元件，也可以集成在上述系统的某一个芯片中实现，此外，也可以以程序代码的形式存储于上述系统的存储器中，由上述系统的某一个处理元件调用并执行以上x模块的功能。其它模块的实现与之类似。此外这些模块全部或部分可以集成在一起，也可以独立实现。这里所述的处理元件可以是一种集成电路，具有信号的处理能力。在实现过程中，上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。

例如，以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(Application Specific Integrated Circuit，简称ASIC)，或，一个或多个数字信号处理器(Digital Signal Processor，简称DSP)，或，一个或者多个现场可编程门阵列(Field Programmable GateArray，简称FPGA)等。再如，当以上某个模块通过处理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，例如中央处理器(Central Processing Unit，简称CPU)或其它可以调用程序代码的处理器。再如，这些模块可以集成在一起，以片上系统(System-On-a-Chip，简称SOC)的形式实现。

在本申请的另一些实施例中，本申请实施例公开了一种设备，如图6所示，该设备可以包括：一个或多个处理器601；存储器602；显示器603；一个或多个应用程序(未示出)；以及一个或多个计算机程序604，上述各器件可以通过一个或多个通信总线605连接。其中该一个或多个计算机程序604被存储在上述存储器602中并被配置为被该一个或多个处理器601执行，该一个或多个计算机程序604包括指令。

在本发明公开的另一个实施例中，本发明还提供一种计算机可读存储介质，该计算机可读介质上存储有计算机指令，计算机指令运行时执行上述方法的步骤。

在本发明公开的另一个实施例中，本发明还提供一种摄像终端，包括存储器和处理器，存储器上存储有能够在处理器上运行的计算机指令，处理器运行计算机指令时执行上述方法的步骤。

在本发明公开的另一个实施例中，本发明还提供一种芯片系统，芯片系统与存储器耦合，用于读取并执行所述存储器中存储的程序指令，以执行上述方法的步骤。

通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请实施例各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：快闪存储器、移动硬盘、只读存储器、随机存取存储器、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本申请实施例的具体实施方式，但本申请实施例的保护范围并不局限于此，任何在本申请实施例揭露的技术范围内的变化或替换，都应涵盖在本申请实施例的保护范围之内。因此，本申请实施例的保护范围应以所述权利要求的保护范围为准。

虽然在上文中详细说明了本发明的实施方式，但是对于本领域的技术人员来说显而易见的是，能够对这些实施方式进行各种修改和变化。但是，应理解，这种修改和变化都属于权利要求书中所述的本发明的范围和精神之内。而且，在此说明的本发明可有其它的实施方式，并且可通过多种方式实施或实现。

Claims (10)

1.一种图像的白平衡处理方法，其特征在于，所述方法包括：

获取原始图像；

将所述原始图像划分成N个图像块，N为正整数；

根据所述原始图像中各个像素点的图像信息，确定所述N个图像块的特征值；

根据所述N个图像块的特征值，将所述N个图像块划分为M个图像块集合，M为小于N的正整数；

启动L个线程计算出每个图像块的白平衡增益，根据所述每个图像块的特征值和所述每个图像块的白色像素数量计算每个图像块的初始增益权重，其中，一个图像块集合至少对应一个线程，L为大于或等于N的正整数；

根据每个图像块的白平衡增益与初始增益权重，确定所述原始图像的白平衡增益。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

启动K个线程对所述原始图像进行场景识别得到场景识别结果，K为正整数；

根据所述场景识别结果，调整所述N个图像块的初始增益权重，得到所述N个图像块的目标增益权重；

所述根据每个图像块的白平衡增益与初始增益权重，确定所述原始图像的白平衡增益，包括：

根据每个图像块的白平衡增益与目标增益权重，确定所述原始图像的白平衡增益。

3.根据权利要求2所述的方法，其特征在于，所述根据所述场景识别结果，调整所述N个图像块的初始增益权重，得到所述N个图像块的目标增益权重，包括：

根据所述原始图像的场景识别结果中的关键特征在所述图像块中的占比结果和场景色彩需求，调整所述N个图像块的初始增益权重，得到所述N个图像块的目标增益权重。

4.根据权利要求1至3任一项所述的方法，其特征在于，所述根据所述每个图像块的特征值和所述每个图像块的白色像素数量计算每个图像块的初始增益权重，包括：

根据所述每个图像块的色温值和标准色温曲线，确定所述每个图像块的色温值与所述标准色温曲线的欧氏距离；

根据所述每个图像块的欧氏距离和所述每个图像块的白色像素点数量，计算每个图像块的初始增益权重。

5.根据权利要求4所述的方法，其特征在于，所述第i个图像块的初始增益权重W_i满足如下公式：

W_i＝n_i×(1/d_i)

其中，i的取值范围为(0,N]，i为正整数，n_i为第i个图像块的白色像素点数量，d_i为第i个图像块的欧氏距离。

6.根据权利要求1至3任一项所述的方法，其特征在于，所述计算出每个图像块的白平衡增益，包括：

根据每个图像块的色温值与标准光源的增益值，计算所述每个图像块的白平衡增益。

7.根据权利要求2或3所述的方法，其特征在于，所述原始图像的白平衡增益RGB_gain满足如下公式：

其中，ρ₁为第1个图像块的目标增益权重、ρ₂为第2个图像块的目标增益权重、ρ_i为第i个图像块的目标增益权重、ρ_n为第N个图像块的目标增益权重，RGB_gain1为第1个图像块的白平衡增益，RGB_gain2为第2个图像块的白平衡增益，RGB_gaini为第i个图像块的白平衡增益，RGB_gainN为第N个图像块的白平衡增益，i的取值范围为(0,N]，i为正整数。

8.一种图像的白平衡处理装置，其特征在于，所述装置包括：

图像获取模块，用于获取原始图像；

划分模块，用于将所述原始图像划分成N个图像块，N为正整数；

特征值计算模，用于根据所述原始图像中各个像素点的图像信息，确定所述N个图像块的特征值；

分类模块，用于根据所述N个图像块的特征值，将所述N个图像块划分为M个图像块集合，M为小于N的正整数；

第一计算模块，用于启动L个线程计算出每个图像块的白平衡增益，根据所述每个图像块的特征值和所述每个图像块的白色像素数量计算每个图像块的初始增益权重，其中，一个图像块集合至少对应一个线程，L为大于或等于N的正整数；

第二计算模块，用于根据每个图像块的白平衡增益与初始增益权重，确定所述原始图像的白平衡增益。

9.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法。

10.一种终端，其特征在于，包括：处理器及存储器；

所述存储器用于存储计算机程序；

所述处理器用于执行所述存储器存储的计算机程序，以使所述终端执行权利要求1至7中任一项所述的方法。

Images