CN112995632A

CN112995632A - 图像的白平衡处理方法、装置、电子设备和存储介质

Info

Publication number: CN112995632A
Application number: CN202110427633.0A
Authority: CN
Inventors: 杨弢
Original assignee: Seashell Housing Beijing Technology Co Ltd
Current assignee: Seashell Housing Beijing Technology Co Ltd
Priority date: 2021-04-21
Filing date: 2021-04-21
Publication date: 2021-06-18
Anticipated expiration: 2041-04-21
Also published as: CN112995632B

Abstract

本公开实施例公开了一种图像的白平衡处理方法、装置、电子设备和存储介质。该图像的白平衡处理方法包括：获取第一色彩空间下的待处理图像；将上述待处理图像的色彩空间转换为第二色彩空间，得到转换后图像；基于上述待处理图像和上述转换后图像，确定影响限制信息，其中，上述影响限制信息用以限制色彩空间转换对白平衡处理的影响；基于上述影响限制信息，对上述待处理图像进行白平衡处理，生成白平衡处理后图像。本公开实施例可以基于不同色彩空间下的相应图像进行图像白平衡处理，由此，提高了白平衡处理的准确度。

Description

图像的白平衡处理方法、装置、电子设备和存储介质

技术领域

本公开涉及图像处理技术，尤其是一种图像的白平衡处理方法、装置、电子设备和存储介质。

背景技术

白平衡（White Balance，WB），是描述图像中白色精确度的一项指标。白平衡是随着电子影像再现色彩而产生的。

实践中，许多用户在使用图像拍摄装置拍摄图像的过程中，都会遇到这样的问题：在日光灯的房间里拍摄的影像会显得发绿，在室内钨丝灯光下拍摄出来的景物就会偏黄，而在日光阴影处拍摄到的照片则莫名其妙地偏蓝，其原因就在于白平衡算法的处理方式上。

目前，由于室内环境以其丰富的色彩表现，复杂的光源环境，大面积单色的场景等等给白平衡带来了很大的挑战。而且，在ISP（图像信号处理，Image Signal Processing）处理过程中，各个环节呈不同程度的耦合效应，在复杂的室内环境拍摄条件下，这种相互影响，相互耦合的效应被放大。例如，如果采用CCM（色彩校正矩阵，Color CorrectionMatrix）对图像进行转换，则可能对图像的颜色、白平衡处理等的影响比较大。因此，在上述场景中，如何提高图像白平衡处理的准确性，是一个值得关注的技术问题。

发明内容

本公开实施例提供一种图像的白平衡处理方法、装置、电子设备和存储介质，以提高图像白平衡处理的准确性。

根据本公开实施例的第一个方面，提供的一种图像的白平衡处理方法，包括：

获取第一色彩空间下的待处理图像；

将所述待处理图像的色彩空间转换为第二色彩空间，得到转换后图像；

基于所述待处理图像和所述转换后图像，确定影响限制信息，其中，所述影响限制信息用以限制色彩空间转换对白平衡处理的影响；

基于所述影响限制信息，对所述待处理图像进行白平衡处理，生成白平衡处理后图像。

可选地，在本公开任一实施例的方法中，所述基于所述待处理图像和所述转换后图像，确定影响限制信息，包括：

对所述待处理图像进行光源估计，得到第一光源信息；

对所述转换后图像进行光源估计，得到第二光源信息；

基于所述第一光源信息和所述第二光源信息，确定影响限制信息。

可选地，在本公开任一实施例的方法中，所述基于所述第一光源信息和所述第二光源信息，确定影响限制信息，包括：

基于所述第一光源信息，确定第一转换矩阵，其中，所述第一转换矩阵用于将所述待处理图像转换为所述待处理图像的白平衡处理后图像；

基于所述第二光源信息，确定第二转换矩阵，其中，所述第二转换矩阵用于将所述转换后图像转换为所述转换后图像的白平衡处理后图像；

基于所述第一转换矩阵和所述第二转换矩阵，确定影响限制信息。

可选地，在本公开任一实施例的方法中，所述将所述待处理图像的色彩空间转换为第二色彩空间，包括：

采用第三转换矩阵，将所述待处理图像的色彩空间转换为第二色彩空间，其中，所述第三转换矩阵用于将所述第一色彩空间下的图像转换为所述第二色彩空间下的图像。

可选地，在本公开任一实施例的方法中，所述基于所述影响限制信息，对所述待处理图像进行白平衡处理，生成白平衡处理后图像，包括：

基于所述影响限制信息、所述第一转换矩阵和所述第三转换矩阵，对所述待处理图像进行白平衡处理，生成白平衡处理后图像。

可选地，在本公开任一实施例的方法中，所述第一转换矩阵、所述第二转换矩阵和所述第三转换矩阵为对角矩阵。

可选地，在本公开任一实施例的方法中，所述第一色彩空间为国际照明委员会建立的标准色度观察者色彩空间CIEXYZ，或者，图像信号处理流程色彩空间转换之前的摄像头自身的红绿蓝色彩空间native RGB；所述第二色彩空间为标准红绿蓝色彩空间sRGB。

根据本公开实施例的第二个方面，提供的一种图像的白平衡处理装置，包括：

获取单元，被配置成获取第一色彩空间下的待处理图像；

转换单元，被配置成将所述待处理图像的色彩空间转换为第二色彩空间，得到转换后图像；

确定单元，被配置成基于所述待处理图像和所述转换后图像，确定影响限制信息，其中，所述影响限制信息用以限制色彩空间转换对白平衡处理的影响；

生成单元，被配置成基于所述影响限制信息，对所述待处理图像进行白平衡处理，生成白平衡处理后图像。

可选地，在本公开任一实施例的装置中，所述确定单元包括：

第一光源估计子单元，被配置成对所述待处理图像进行光源估计，得到第一光源信息；

第二光源估计子单元，被配置成对所述转换后图像进行光源估计，得到第二光源信息；

确定子单元，被配置成基于所述第一光源信息和所述第二光源信息，确定影响限制信息。

可选地，在本公开任一实施例的装置中，所述确定子单元包括：

第一确定模块，被配置成基于所述第一光源信息，确定第一转换矩阵，其中，所述第一转换矩阵用于将所述待处理图像转换为所述待处理图像的白平衡处理后图像；

第二确定模块，被配置成基于所述第二光源信息，确定第二转换矩阵，其中，所述第二转换矩阵用于将所述转换后图像转换为所述转换后图像的白平衡处理后图像；

第三确定模块，被配置成基于所述第一转换矩阵和所述第二转换矩阵，确定影响限制信息。

可选地，在本公开任一实施例的装置中，所述转换单元包括：

转换子单元，被配置成采用第三转换矩阵，将所述待处理图像的色彩空间转换为第二色彩空间，其中，所述第三转换矩阵用于将所述第一色彩空间下的图像转换为所述第二色彩空间下的图像。

可选地，在本公开任一实施例的装置中，所述生成单元包括：

生成子单元，被配置成基于所述影响限制信息、所述第一转换矩阵和所述第三转换矩阵，对所述待处理图像进行白平衡处理，生成白平衡处理后图像。

可选地，在本公开任一实施例的装置中，所述第一转换矩阵、所述第二转换矩阵和所述第三转换矩阵为对角矩阵。

可选地，在本公开任一实施例的装置中，所述第一色彩空间为国际照明委员会建立的标准色度观察者色彩空间CIEXYZ，或者，图像信号处理流程色彩空间转换之前的摄像头自身的红绿蓝色彩空间native RGB；所述第二色彩空间为标准红绿蓝色彩空间sRGB。

根据本公开实施例的第三个方面，提供的一种电子设备，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述存储器中存储的计算机程序，且所述计算机程序被执行时，实现本公开上述第一方面的图像的白平衡处理方法中任一实施例的方法。

根据本公开实施例的第四个方面，提供的一种计算机可读介质，该计算机程序被处理器执行时，实现如上述第一方面的图像的白平衡处理方法中任一实施例的方法。

根据本公开实施例的第五个方面，提供的一种计算机程序，该计算机程序包括计算机可读代码，当该计算机可读代码在设备上运行时，使得该设备中的处理器执行用于实现如上述第一方面的图像的白平衡处理方法中任一实施例的方法中各步骤的指令。

基于本公开上述实施例提供的图像的白平衡处理方法、装置、电子设备和存储介质，可以获取第一色彩空间下的待处理图像，然后，将上述待处理图像的色彩空间转换为第二色彩空间，得到转换后图像，之后，基于上述待处理图像和上述转换后图像，确定影响限制信息，其中，上述影响限制信息用以限制色彩空间转换对白平衡处理的影响，最后，基于上述影响限制信息，对上述待处理图像进行白平衡处理，生成白平衡处理后图像。从而可以基于不同色彩空间下的相应图像进行图像白平衡处理，由此，提高了白平衡处理的准确度。

下面通过附图和实施例，对本公开的技术方案做进一步的详细描述。

附图说明

构成说明书的一部分的附图描述了本公开的实施例，并且连同描述一起用于解释本公开的原理。

参照附图，根据下面的详细描述，可以更加清楚地理解本公开，其中：

图1为本公开图像的白平衡处理方法的第一个实施例的流程图。

图2为本公开图像的白平衡处理方法的第二个实施例的流程图。

图3为本公开图像的白平衡处理方法的第三个实施例的流程图。

图4为本公开图像的白平衡处理装置的一个实施例的结构示意图。

图5是本公开一示例性实施例提供的电子设备的结构图。

具体实施方式

现在将参照附图来详细描述本公开的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。

本领域技术人员可以理解，本公开实施例中的“第一”、“第二”等术语仅用于区别不同步骤、设备或模块等，既不代表任何特定技术含义，也不表示它们之间的必然逻辑顺序。

还应理解，在本公开实施例中，“多个”可以指两个或两个以上，“至少一个”可以指一个、两个或两个以上。

还应理解，对于本公开实施例中提及的任一部件、数据或结构，在没有明确限定或者在前后文给出相反启示的情况下，一般可以理解为一个或多个。

另外，本公开中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本公开中字符“/”，一般表示前后关联对象是一种“或”的关系。

还应理解，本公开对各个实施例的描述着重强调各个实施例之间的不同之处，其相同或相似之处可以相互参考，为了简洁，不再一一赘述。

同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。

以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。

对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。

本公开实施例可以应用于终端设备、计算机系统和服务器中的至少一种电子设备，其可与众多其它通用或专用计算系统环境或配置一起操作。适于与终端设备、计算机系统和服务器中的至少一种电子设备一起使用的众所周知的计算系统、环境和/或配置的例子包括但不限于：个人计算机系统、服务器计算机系统、瘦客户机、厚客户机、手持或膝上设备、基于微处理器的系统、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机系统﹑大型计算机系统和包括上述任何系统的分布式云计算技术环境，等等。

终端设备、计算机系统和服务器中的至少一种电子设备可以在由计算机系统执行的计算机系统可执行指令（诸如程序模块）的一般语境下描述。通常，程序模块可以包括例程、程序、目标程序、组件、逻辑、数据结构等等，它们执行特定的任务或者实现特定的抽象数据类型。计算机系统/服务器可以在分布式云计算环境中实施，分布式云计算环境中，任务是由通过通信网络链接的远程处理设备执行的。在分布式云计算环境中，程序模块可以位于包括存储设备的本地或远程计算系统存储介质上。

请参考图1，示出了根据本公开的图像的白平衡处理方法的第一个实施例的流程100。该图像的白平衡处理方法，包括：

101，获取第一色彩空间下的待处理图像。

在本实施例中，图像的白平衡处理方法的执行主体（例如服务器、终端设备、具有图像处理功能的图像处理单元等）可以通过有线连接方式或者无线连接方式从其他电子设备或者本地，获取第一色彩空间下的待处理图像。

其中，第一色彩空间可以是任一色彩空间。作为示例，第一色彩空间可以是国际照明委员会建立的标准色度观察者色彩空间，即CIEXYZ色彩空间，或者，标准红绿蓝色彩空间（sRGB，standard Red Green Blue），或者，YUV（亦称YCrCb，是被欧洲电视系统所采用的一种颜色编码方法）色彩空间、HSV（色调饱和度值，Hue Saturation Value）色彩空间等等。

待处理图像可以是待对其进行白平衡处理的图像。示例性的，该待处理图像可以是原始图像（例如raw图像文件），也可以是基于原始图像得到的图像，还可以是经过腐蚀操作等处理后得到的图像。可选的，待处理图像还可以是raw图像文件经过去马赛克之后的图像。

102，将上述待处理图像的色彩空间转换为第二色彩空间，得到转换后图像。

在本实施例中，上述执行主体可以将101中获取的待处理图像的色彩空间转换为第二色彩空间，得到转换后图像。

其中，上述第二色彩空间可以是任一不同于上述第一色彩空间的色彩空间。作为示例，第二色彩空间可以是CIEXYZ色彩空间、sRGB色彩空间、YUV色彩空间、HSV色彩空间等等。

作为示例，上述执行主体可以将上述待处理图像输入至预先训练的转换模型，通过该转换模型将待处理图像的色彩空间转换为第二色彩空间，得到转换后图像。

其中，上述转换模型可以用于将第一色彩空间下的图像转换为第二色彩空间下的图像。

这里，上述转换模型可以是基于预先确定的训练样本集合，训练得到的卷积神经网络。其中，上述训练样本集合中的训练样本可以包括：第一色彩空间下的样本图像，以及与第一色彩空间下的样本图像相对应的第二色彩空间下的样本图像。

可选的，上述转换模型也可以用于将任一非第二色彩空间下的图像转换为第二色彩空间下的图像。

这里，上述转换模型可以是基于预先确定的训练样本集合训练得到的卷积神经网络。其中，上述训练样本集合中的训练样本可以包括：多个除第二色彩空间之外的其他色彩空间（例如CIEXYZ色彩空间、sRGB色彩空间、YUV色彩空间、HSV色彩空间等）下的待转换样本图像，以及与待转换样本图像相对应的转换后样本图图像，即第二色彩空间下的样本图像。

103，基于上述待处理图像和上述转换后图像，确定影响限制信息。

在本实施例中，上述执行主体可以基于101获取的待处理图像和102得到的转换后图像，确定影响限制信息。其中，上述影响限制信息用以限制色彩空间转换对白平衡处理的影响。

作为示例，可以将上述待处理图像和上述转换后图像输入至预先训练的影响限制信息确定模型，经由该影响限制信息确定模型，确定影响限制信息。

这里，示例性的，可以针对预先确定的待处理样本图像中的每个待处理样本图像，采用如上述102所描述的方式，得到该待处理样本图像的转换后图像，并将其作为与该待处理样本图像相对应的转换后样本图像，之后，经由技术人员对该待处理图像的矩阵和该待处理图像的转换后图像的矩阵进行统计，从而得到与待处理样本图像和该待处理样本图像的转换后样本图像相对应的影响限制信息，并将其作为与该待处理样本图像相对应的影响限制样本信息。由此，可以获得包含待处理样本图像、与待处理样本图像相对应的转换后样本图像和影响限制样本信息的训练样本。之后，可以采用机器学习算法，基于所得到的多个训练样本，对卷积神经网络进行训练，从而得到影响限制信息确定模型。

104，基于上述影响限制信息，对上述待处理图像进行白平衡处理，生成白平衡处理后图像。

在本实施例中，上述执行主体可以基于103中所确定的影响限制信息，对101中获取的待处理图像进行白平衡处理，生成白平衡处理后图像。

作为示例，上述执行主体可以将上述影响限制信息和待处理图像，输入至预先训练的白平衡处理模型，进行白平衡处理，从而生成白平衡处理后图像。

其中，上述白平衡处理模型可以是采用机器学习算法，基于预先确定的训练样本集，训练得到的卷积神经网络。上述训练样本集中的训练样本可以包括影响限制样本信息、与影响限制样本信息相对应的待处理样本图像，以及与影响限制样本信息相对应的白平衡处理后样本图像。

本公开的上述实施例提供的图像的白平衡处理方法，可以获取第一色彩空间下的待处理图像，然后，将上述待处理图像的色彩空间转换为第二色彩空间，得到转换后图像，之后，基于上述待处理图像和上述转换后图像，确定影响限制信息，其中，上述影响限制信息用以限制采用CCM进行色彩空间转换的过程中对白平衡处理的影响，最后，基于上述影响限制信息，对上述待处理图像进行白平衡处理，生成白平衡处理后图像。从而可以基于不同色彩空间下的相应图像进行图像白平衡处理，由此，提高了白平衡处理的准确度。

在本实施例的一些可选的实现方式中，上述执行主体还可以采用如下方式，执行上述102，以将上述待处理图像的色彩空间转换为第二色彩空间：

采用第三转换矩阵，将上述待处理图像的色彩空间转换为第二色彩空间。其中，上述第三转换矩阵用于将上述第一色彩空间下的图像转换为上述第二色彩空间下的图像。

这里，可以采用多种方式来确定用于将上述第一色彩空间下的图像转换为上述第二色彩空间下的图像的第三转换矩阵。

可以理解，上述可选的实现方式中，可以采用第三转换矩阵，将待处理图像的色彩空间转换为第二色彩空间，这样，可以提高色彩空间转换的速度。

在本实施例的一些可选的实现方式中，上述第一色彩空间为国际照明委员会建立的标准色度观察者色彩空间，即CIEXYZ色彩空间，或者，图像信号处理流程色彩空间转换之前的摄像头自身的红绿蓝色彩空间native RGB。上述第二色彩空间为标准红绿蓝色彩空间，即sRGB色彩空间。

实践表明，当第一色彩空间为native RGB色彩空间，第二色彩空间为sRGB色彩空间时，所生成的白平衡处理后图像的白平衡准确度较高。

进一步参考图2，图2是本公开的图像的白平衡处理方法的第二个实施例的流程图。该图像的白平衡处理方法的流程200，包括：

201，获取第一色彩空间下的待处理图像。

202，将上述待处理图像的色彩空间转换为第二色彩空间，得到转换后图像。

在本实施例中，上述执行主体可以将201中获取的待处理图像的色彩空间转换为第二色彩空间，得到转换后图像。

203，对上述待处理图像进行光源估计，得到第一光源信息。

在本实施例中，上述执行主体可以对201中获取的待处理图像进行光源估计，得到第一光源信息。其中，第一光源信息可以为：对待处理图像进行光源估计的结果。作为示例，第一光源信息可以采用RGB（红绿蓝，Red Green Blue）色值表征。

在这里，上述执行主体可以采用多种方式，对该待处理图像进行光源估计，例如，Gray world（灰度世界算法），Gray edge（灰度边缘检测算法），White Patch（白色斑块检测算法）等等。

204，对上述转换后图像进行光源估计，得到第二光源信息。

在本实施例中，上述执行主体可以对上述转换后图像进行光源估计，得到第二光源信息。其中，第二光源信息可以为：对转换后图像进行光源估计的结果。作为示例，第二光源信息可以采用RGB（红绿蓝，Red Green Blue）色值表征。

在这里，上述执行主体可以采用多种方式，对该待处理图像进行光源估计，例如，Gray world，Gray edge，White Patch等等。

其中，204所采用的光源估计算法，可以与上述203中所采用的光源估计算法相同或者不同。

205，基于上述第一光源信息和上述第二光源信息，确定影响限制信息。

在本实施例中，上述执行主体可以基于上述第一光源信息和上述第二光源信息，确定影响限制信息。其中，上述影响限制信息用以限制色彩空间转换对白平衡处理的影响。

作为示例，上述执行主体可以通过预先建立的对应关系表，来基于上述第一光源信息和上述第二光源信息，确定影响限制信息。其中，上述对应关系表中可以记录有第一光源信息、第二光源信息，以及影响限制信息的对应关系。

206，基于上述影响限制信息，对上述待处理图像进行白平衡处理，生成白平衡处理后图像。

在本实施例中，上述执行主体可以基于上述影响限制信息，对上述待处理图像进行白平衡处理，生成白平衡处理后图像。

在本实施例中，上述201、202、206与图1对应的实施例中的101、102、104基本一致，这里不再赘述。

需要说明的是，除上面所记载的内容外，本申请实施例还可以包括与图1对应的实施例相同或类似的特征、效果，在此不再赘述。

还需要和说明的是，上述201-206并不构成对其所标识各个步骤执行顺序的限定，例如，在一些情况下，上述执行主体可以先执行204，之后，再执行203；或者，也可以同时并行执行203和204。

从图2中可以看出，本实施例中的图像的白平衡处理方法的流程200可以基于第一光源信息和第二光源信息，来确定影响限制信息，这样可以更好地限制色彩空间转换对白平衡处理的影响，从而可以进一步提高白平衡处理的准确度。

在本实施例的一些可选的实现方式中，上述执行主体可以采用如下方式，来执行上述205，以基于上述第一光源信息和上述第二光源信息，确定影响限制信息：

第一步，基于上述第一光源信息，确定第一转换矩阵。其中，上述第一转换矩阵用于将上述待处理图像转换为该待处理图像的白平衡处理后图像。

作为示例，如果第一光源信息采用包含三个元素的矩阵

表征，三个元素依次表征第一光源信息中的红绿蓝三通道的色值，那么，第一转换矩阵T₁可以是：

其中，

的结果为

、

、

中最大的数值。

第二步，基于上述第二光源信息，确定第二转换矩阵。其中，上述第二转换矩阵用于将上述转换后图像转换为上述转换后图像的白平衡处理后图像。

作为示例，如果第二光源信息采用包含三个元素的矩阵

表征，三个元素依次表征第二光源信息中的红绿蓝三通道的色值，那么，第二转换矩阵T₂可以是：

其中，

的结果为

、

、

中最大的数值。

第三步，基于上述第一转换矩阵和上述第二转换矩阵，确定影响限制信息。

作为示例，上述执行主体可以采用如下方式，来确定影响限制信息：

首先，将第二光源信息反馈作用到第一光源信息上，其计算过程具体目标是指通过对第一转换矩阵T₁加入某些限制，使其白平衡经过色彩空间转换之后，尽量要和经过第一转换矩阵T₁和第二转换矩阵T₂共同处理过的结果接近即：

其中，

为待处理图像，W表征影响限制信息，T₁表征第一转换矩阵、T₂表征第二转换矩阵，M表征第三转换矩阵。其中，第三转换矩阵用于将第一色彩空间下的图像转换为第二色彩空间下的图像。

这样做的原因是：如果第三转换矩阵M对白平衡处理的影响比较大，或者是对白平衡处理的结果很敏感，那么，则需要在进行白平衡处理前，也就是

矩阵之前通过一个矩阵

对

进行限制。

的具体求解方法如下：

其中，F表征f（frobenius）范数，即对应元素的平方和再开方。

由于

矩阵为对角矩阵，所以这里也限定

为对角矩阵。

，

设

，

，

通过解上式可以求得：

其中，

表征矩阵W中的对角元素，

表征矩阵A中的元素，

表征矩阵B中的元素。

由此，上述执行主体可以求解出影响限制信息，即矩阵W。

发明人发现，传统的ISP处理往往是通过各种转换技巧来保证图像白平衡处理的成功率。然而，白平衡处理不能直接在CCM转换之后的sRGB色彩空间进行。因此，上述可选的实现方式提供了一种在CCM转换之后重新计算光照，并以其为参考，而又保证白平衡处理位于CCM处理之前。以此调节前面的光照估计，这样，一定程度上减小了各个环节的相互影响，从而提高了白平衡处理的准确度。

可以理解，上述可选的实现方式中，可以基于第一转换矩阵和第二转换矩阵，来确定影响限制信息，从而确保经过色彩空间转换之后，尽量和经过第一转换矩阵和第二转换矩阵共同处理过的结果接近，避免了第一转换矩阵作用于待处理图像后所产生的偏色等影响。由此，进一步提高了白平衡处理的准确性。

在上述可选的实现方式中的一些应用场景下，上述执行主体可以采用如下方式，来将上述待处理图像的色彩空间转换为第二色彩空间：

在上述应用场景的一些情况中，上述执行主体可以采用如下方式执行上述206，以基于上述影响限制信息，对上述待处理图像进行白平衡处理，生成白平衡处理后图像：

基于上述影响限制信息、上述第一转换矩阵和上述第三转换矩阵，对上述待处理图像进行白平衡处理，生成白平衡处理后图像。

作为示例，上述执行主体可以将上述影响限制信息、上述第一转换矩阵、上述第三转换矩阵，以及待处理图像，输入至预先训练的白平衡处理模型，从而对上述待处理图像进行白平衡处理，生成白平衡处理后图像。

其中，上述白平衡处理模型可以是采用机器学习算法，基于预先确定的训练样本集合，训练得到的卷积神经网络。训练样本集合中的训练样本可以包括：相对应的影响限制样本信息、第一转换样本矩阵、第三转换样本矩阵，以及待处理样本图像。

可选的，上述执行主体也可以采用如下方式，来基于上述影响限制信息、上述第一转换矩阵和上述第三转换矩阵，对上述待处理图像进行白平衡处理：

其中，假设

。

表征白平衡处理后图像，

表征待处理图像，N表征待处理图像或白平衡处理后图像中的像素的数量，3表征待处理图像或白平衡处理后图像的通道数，W表征影响限制信息，T₁表征第一转换矩阵，M表征第三转换矩阵，“*”表征矩阵乘法。

这样相当于使用

作为“新”的光源，而经过“新”的光源之后采用第三转换矩阵进行CCM转换时颜色恢复的准确性对WB不那么敏感，白平衡算法也会更加鲁棒。

可以理解，上述可选的实现方式可以基于影响限制信息、第一转换矩阵和第三转换矩阵，来辅助待处理图像的白平衡处理，从而可以进一步提高白平衡处理的准确度。

在本实施例的一些可选的实现方式中，上述第一转换矩阵、上述第二转换矩阵和上述第三转换矩阵为对角矩阵。

可以理解，在第一转换矩阵、第二转换矩阵和第三转换矩阵均为对角矩阵的情况下，可以简化色彩空间转换、白平衡处理等操作的复杂程度，从而可以提高处理速度。

请继续参考图3，图3是本公开的图像的白平衡处理方法的第三个实施例的流程图。该图像的白平衡处理方法的流程300，包括：

301，获取第一色彩空间下的待处理图像。

302，采用第三转换矩阵，将上述待处理图像的色彩空间转换为第二色彩空间，得到转换后图像。

在本实施例中，上述执行主体可以采用第三转换矩阵，将上述待处理图像的色彩空间转换为第二色彩空间，得到转换后图像。其中，上述第三转换矩阵用于将上述第一色彩空间下的图像转换为上述第二色彩空间下的图像。

303，对上述待处理图像进行光源估计，得到第一光源信息。

在本实施例中，上述执行主体可以对上述待处理图像进行光源估计，得到第一光源信息。

304，对上述转换后图像进行光源估计，得到第二光源信息。

在本实施例中，上述执行主体可以对上述转换后图像进行光源估计，得到第二光源信息。

305，基于上述第一光源信息，确定第一转换矩阵。

在本实施例中，上述执行主体可以基于上述第一光源信息，确定第一转换矩阵。其中，上述第一转换矩阵用于将上述待处理图像转换为上述待处理图像的白平衡处理后图像。

306，基于上述第二光源信息，确定第二转换矩阵。

在本实施例中，上述执行主体可以基于上述第二光源信息，确定第二转换矩阵。其中，上述第二转换矩阵用于将上述转换后图像转换为上述转换后图像的白平衡处理后图像。

307，基于上述第一转换矩阵和上述第二转换矩阵，确定影响限制信息。

在本实施例中，上述执行主体可以基于上述第一转换矩阵和上述第二转换矩阵，确定影响限制信息。其中，上述影响限制信息用以限制色彩空间转换对白平衡处理的影响。

308，基于上述影响限制信息、上述第一转换矩阵和上述第三转换矩阵，对上述待处理图像进行白平衡处理，生成白平衡处理后图像。

在本实施例中，上述执行主体可以基于上述影响限制信息、上述第一转换矩阵和上述第三转换矩阵，对上述待处理图像进行白平衡处理，生成白平衡处理后图像。

作为本公开的图像的白平衡处理方法的一个实施例的应用场景，该图像的白平衡处理方法可以应用于VR（Virtual Reality，虚拟现实）看房场景中。通常，要完成在线VR看房需要涉及到整合应用多种技术，而最后呈现给用户的看这一环，必然离不开对照片的处理（例如ISP处理）。虽然相机、手机等设备已经普及，也涉及到各种相关的照片处理技术，但对于VR拍房定制化设备存在各种挑战。首先，拍房设备是高度集成各种传感器设备的定制化硬件，只能自主研发。其次，这种设备通常无法达到手机那样大的出货量，因此，很难得到成熟的ISP厂商的支持，所以，同时需要自建ISP能力。最后，由于仅限于拍房的特殊场景，ISP处理上也有别于其他ISP厂商的处理方法。

一般的白平衡算法在自然场景中具有较高的成功率，但由于室内环境以其丰富的色彩表现，复杂的光源环境，大面积单色的场景等等给白平衡带来了很大的挑战。而且由于ISP处理过程中各个环节呈不同程度的耦合效应，在复杂的室内环境拍摄条件下，这种相互影响，相互耦合的效应被放大。

而本公开由于可以基于影响限制信息，通过不同色彩空间下的相应图像进行图像白平衡处理，由此，提高了白平衡处理的准确度。适合应用于VR看房场景中，例如，可以直接应用到室内拍照场景的ISP处理流程中。具体执行过程可以参考以上描述，在此不再赘述。

还需要和说明的是，上述301-308并不构成对其所标识各个步骤执行顺序的限定，例如，在一些情况下，上述执行主体可以先执行304，之后，再执行303；或者，也可以同时并行执行303和304。

从图3中可以看出，本实施例中的图像的白平衡处理方法的流程300中，可以基于第一转换矩阵和第二转换矩阵，来确定影响限制信息，从而避免了第一转换矩阵作用于待处理图像后所产生的偏色等影响，提高了白平衡处理的准确度。此外，通过矩阵运算实现待处理图像的白平衡处理，提高了白平衡处理的速度。

进一步参考图4，作为对上述各图所示方法的实现，本公开提供了一种图像的白平衡处理装置的一个实施例，该装置实施例与图1-图3所示的方法实施例相对应，除下面所记载的特征外，该装置实施例还可以包括与图1-图3所示的方法实施例相同或相应的特征，以及产生与图1-图3所示的方法实施例相同或相应的效果。该装置具体可以应用于各种电子设备中。

如图4所示，本实施例的图像的白平衡处理装置400包括：获取单元401、转换单元402、确定单元403和生成单元404。其中，获取单元401，被配置成获取第一色彩空间下的待处理图像；转换单元402，被配置成将上述待处理图像的色彩空间转换为第二色彩空间，得到转换后图像；确定单元403，被配置成基于上述待处理图像和上述转换后图像，确定影响限制信息，其中，上述影响限制信息用以限制色彩空间转换对白平衡处理的影响；生成单元404，被配置成基于上述影响限制信息，对上述待处理图像进行白平衡处理，生成白平衡处理后图像。

在本实施例中，图像的白平衡处理装置400的获取单元401可以获取第一色彩空间下的待处理图像。

在本实施例中，上述转换单元402可以将上述待处理图像的色彩空间转换为第二色彩空间，得到转换后图像。

在本实施例中，上述确定单元403可以基于上述待处理图像和上述转换后图像，确定影响限制信息。其中，上述影响限制信息用以限制色彩空间转换对白平衡处理的影响。

在本实施例中，上述生成单元404可以基于上述影响限制信息，对上述待处理图像进行白平衡处理，生成白平衡处理后图像。

在本实施例的一些可选的实现方式中，上述确定单元403包括：

第一光源估计子单元（图中未示出），被配置成对上述待处理图像进行光源估计，得到第一光源信息；

第二光源估计子单元（图中未示出），被配置成对上述转换后图像进行光源估计，得到第二光源信息；

确定子单元（图中未示出），被配置成基于上述第一光源信息和上述第二光源信息，确定影响限制信息。

在本实施例的一些可选的实现方式中，上述确定子单元包括：

第一确定模块（图中未示出），被配置成基于上述第一光源信息，确定第一转换矩阵，其中，上述第一转换矩阵用于将上述待处理图像转换为上述待处理图像的白平衡处理后图像；

第二确定模块（图中未示出），被配置成基于上述第二光源信息，确定第二转换矩阵，其中，上述第二转换矩阵用于将上述转换后图像转换为上述转换后图像的白平衡处理后图像；

第三确定模块（图中未示出），被配置成基于上述第一转换矩阵和上述第二转换矩阵，确定影响限制信息。

在本实施例的一些可选的实现方式中，上述转换单元402包括：

转换子单元（图中未示出），被配置成采用第三转换矩阵，将上述待处理图像的色彩空间转换为第二色彩空间，其中，上述第三转换矩阵用于将上述第一色彩空间下的图像转换为上述第二色彩空间下的图像。

在本实施例的一些可选的实现方式中，上述生成单元404包括：

生成子单元（图中未示出），被配置成基于上述影响限制信息、上述第一转换矩阵和上述第三转换矩阵，对上述待处理图像进行白平衡处理，生成白平衡处理后图像。

在本实施例的一些可选的实现方式中，上述第一色彩空间为国际照明委员会建立的标准色度观察者色彩空间CIEXYZ，或者，图像信号处理流程色彩空间转换之前的摄像头自身的红绿蓝色彩空间native RGB；上述第二色彩空间为标准红绿蓝色彩空间sRGB。

本公开的上述实施例提供的图像的白平衡处理装置中，获取单元401可以获取第一色彩空间下的待处理图像，然后，转换单元402可以将上述待处理图像的色彩空间转换为第二色彩空间，得到转换后图像，之后，确定单元403可以基于上述待处理图像和上述转换后图像，确定影响限制信息，其中，上述影响限制信息用以限制色彩空间转换对白平衡处理的影响，最后，生成单元404可以基于上述影响限制信息，对上述待处理图像进行白平衡处理，生成白平衡处理后图像。由此，本公开实施例可以基于不同色彩空间下的相应图像进行图像白平衡处理，从而提高了白平衡处理的准确度。

下面，参考图5来描述根据本公开实施例的电子设备。该电子设备可以是第一设备和第二设备中的任一个或两者、或与它们独立的单机设备，该单机设备可以与第一设备和第二设备进行通信，以从它们接收所采集到的输入信号。

图5图示了根据本公开实施例的电子设备的框图。

如图5所示，电子设备包括一个或多个处理器501和存储器502。

处理器501可以是中央处理单元（CPU）或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备中的其他组件以执行期望的功能。

存储器502可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器（RAM）和/或高速缓冲存储器（cache）等。所述非易失性存储器例如可以包括只读存储器（ROM）、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器501可以运行所述程序指令，以实现上文所述的本公开的各个实施例的图像的白平衡处理方法以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如输入信号、信号分量、噪声分量等各种内容。

在一个示例中，电子设备还可以包括：输入装置503和输出装置504，这些组件通过总线系统和/或其他形式的连接机构（未示出）互连。

例如，在该电子设备是第一设备或第二设备时，该输入装置503可以是上述的麦克风或麦克风阵列，用于捕捉声源的输入信号。在该电子设备是单机设备时，该输入装置503可以是通信网络连接器，用于从第一设备和第二设备接收所采集的输入信号。

此外，该输入装置503还可以包括例如键盘、鼠标等等。该输出装置504可以向外部输出各种信息，包括确定出的距离信息、方向信息等。该输出装置504可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。

当然，为了简化，图5中仅示出了该电子设备中与本公开有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备还可以包括任何其他适当的组件。

除了上述方法和设备以外，本公开的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本公开各种实施例的图像的白平衡处理方法中的步骤。

所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。

所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子（非穷举的列表）包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器（RAM）、只读存储器（ROM）、可擦式可编程只读存储器（EPROM或闪存）、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

另外，本公开的实施例还可以是计算机程序，该计算机程序可以包括计算机可读代码。当上述计算机可读代码在设备上运行时，该设备中的处理器执行本说明书上述“示例性方法”部分中描述的根据本公开各种实施例的图像的白平衡处理方法中的步骤。

以上结合具体实施例描述了本公开的基本原理，但是，需要指出的是，在本公开中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本公开的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本公开为必须采用上述具体的细节来实现。

本说明书中各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似的部分相互参见即可。对于系统实施例而言，由于其与方法实施例基本对应，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

可能以许多方式来实现本公开的方法和装置。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本公开的方法和装置。用于所述方法的步骤的上述顺序仅是为了进行说明，本公开的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本公开实施为记录在记录介质中的程序，这些程序包括用于实现根据本公开的方法的机器可读指令。因而，本公开还覆盖存储用于执行根据本公开的方法的程序的记录介质。

本公开的描述是为了示例和描述起见而给出的，而并不是无遗漏的或者将本公开限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显然的。选择和描述实施例是为了更好说明本公开的原理和实际应用，并且使本领域的普通技术人员能够理解本公开从而设计适于特定用途的带有各种修改的各种实施例。

Claims

1.一种图像的白平衡处理方法，其特征在于，所述方法包括：

获取第一色彩空间下的待处理图像；

2.根据权利要求1所述的方法，其特征在于，所述基于所述待处理图像和所述转换后图像，确定影响限制信息，包括：

对所述待处理图像进行光源估计，得到第一光源信息；

对所述转换后图像进行光源估计，得到第二光源信息；

3.根据权利要求2所述的方法，其特征在于，所述基于所述第一光源信息和所述第二光源信息，确定影响限制信息，包括：

4.根据权利要求3所述的方法，其特征在于，所述将所述待处理图像的色彩空间转换为第二色彩空间，包括：

5.根据权利要求4所述的方法，其特征在于，所述基于所述影响限制信息，对所述待处理图像进行白平衡处理，生成白平衡处理后图像，包括：

6.根据权利要求4或5所述的方法，其特征在于，所述第一转换矩阵、所述第二转换矩阵和所述第三转换矩阵为对角矩阵。

7. 根据权利要求1-5之一所述的方法，其特征在于，所述第一色彩空间为国际照明委员会建立的标准色度观察者色彩空间CIEXYZ，或者，图像信号处理流程色彩空间转换之前的摄像头自身的红绿蓝色彩空间native RGB；所述第二色彩空间为标准红绿蓝色彩空间sRGB。

8.一种图像的白平衡处理装置，其特征在于，所述装置包括：

获取单元，被配置成获取第一色彩空间下的待处理图像；

9.一种电子设备，其特征在于，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述存储器中存储的计算机程序，且所述计算机程序被执行时，实现上述权利要求1-7任一所述的方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时，实现上述权利要求1-7任一所述的方法。