CN116743977A - 图像处理方法及装置、计算机可读存储介质、终端 - Google Patents

Abstract

一种图像处理方法及装置、计算机可读存储介质、终端，所述方法包括：获取白平衡矩阵，所述白平衡矩阵包括颜色信息维度和场景信息维度，所述白平衡矩阵中的元素为光源估计值；获取待处理图像和所述待处理图像的采集信息；将所述待处理图像的像素信息映射至所述颜色信息维度，得到所述待处理图像的颜色向量，以及将所述采集信息映射至所述场景信息维度，得到所述待处理图像的场景向量；根据所述颜色向量和所述场景向量，在所述白平衡矩阵中确定所述待处理图像对应的光源估计值。本申请提供的方案有利于兼顾白平衡算法的准确性和可调性。

Description

图像处理方法及装置、计算机可读存储介质、终端

技术领域

本申请涉及图像处理技术领域，尤其涉及一种图像处理方法及装置、计算机可读存储介质、终端。

背景技术

自动白平衡(Automatic White Balance，AWB)技术通常应用于成像系统，以模仿人类感知光源的能力，使得传感器在不同光源下获取到的同种色彩信息能够保持一致。比如，同样一张白纸，人眼在不同的光源下观看，都能感受到纸是白色的。但传感器与人眼不同，无法感知光源，在不同光源下获取到同一张白纸的色彩信息是不一样的。因此，在成像系统中引入AWB技术对光源色进行估计，从而去除掉传感器获取的色彩信息中的光源色，得到白色的纸，实现与人眼类似的功能，因此，AWB算法的应用是获得高质量图像的重要环节。

发明内容

本申请解决的技术问题是如何兼顾白平衡算法的准确性和可调性。

为解决上述技术问题，本申请实施例提供一种图像处理方法，所述方法包括：获取白平衡矩阵，所述白平衡矩阵包括颜色信息维度和场景信息维度，所述白平衡矩阵中的元素为光源估计值；获取待处理图像和所述待处理图像的采集信息；将所述待处理图像的像素信息映射至所述颜色信息维度，得到所述待处理图像的颜色向量，以及将所述采集信息映射至所述场景信息维度，得到所述待处理图像的场景向量；根据所述颜色向量和所述场景向量，在所述白平衡矩阵中确定所述待处理图像对应的光源估计值。

可选的，根据所述颜色向量和所述场景向量，在所述白平衡矩阵中确定所述待处理图像对应的光源估计值包括：对映射向量进行取整，得到索引向量，其中，所述映射向量包括所述颜色向量和所述场景向量；根据所述索引向量在所述白平衡矩阵中进行查找，得到参考光源估计值；根据所述映射向量和所述索引向量之间的距离，对所述参考光源估计值进行插值，得到所述光源估计值。

可选的，所述白平衡矩阵包括D个子矩阵，其中，不同的子矩阵表征的场景信息不同，D为大于1的正整数，将所述采集信息映射至所述场景信息维度，得到所述待处理图像的场景向量包括：对所述采集信息进行特征提取，得到场景特征向量；将所述场景特征向量映射至[0，D-1]，得到所述场景向量。

可选的，获取白平衡矩阵包括：步骤一：将样本图像以及所述样本图像的采集信息输入至白平衡模型，所述白平衡模型包括第一特征提取模块、融合模块、映射模块、估计模块和更新模块；步骤二：采用所述第一特征提取模块对所述样本图像的采集信息进行特征提取，得到第一样本特征向量；步骤三：采用所述融合模块对所述第一样本特征向量和样本图像特征向量进行融合，得到当前估计矩阵，其中，所述样本图像特征向量为所述第一特征提取模块对本次输入的样本图像或者对第一次输入的样本图像进行特征提取得到的；步骤四：采用所述映射模块将所述样本图像的像素信息映射至所述颜色信息维度，得到样本颜色向量，以及将所述样本图像的采集信息映射至所述场景信息维度，得到样本场景向量；步骤五：采用所述估计模块根据所述样本颜色向量和所述样本场景向量，在所述当前估计矩阵中确定所述样本图像对应的光源估计值；步骤六：采用所述更新模块根据所述样本图像对应的光源估计值和所述样本图像的光源标签值之间的损失值的变化判断所述白平衡模型是否收敛，如果判断结果为是，则将所述当前估计矩阵作为所述白平衡矩阵，若判断结果为否，则更新所述白平衡模型，并返回至所述步骤一。

可选的，所述样本图像的光源标签值包括多个像素点的光源标签值，所述步骤五包括：根据所述样本场景向量和多个像素点的样本颜色向量，在所述当前估计矩阵中分别确定所述各个像素点对应的光源估计值；分别根据各个像素点对应的光源估计值和所述光源标签值，计算各个像素点对应的损失值。

可选的，所述方法还包括：根据所述白平衡矩阵计算校验图像对应的光源估计值；根据所述校验图像对应的光源估计值和所述校验图像对应的光源标签值之间的误差，判断是否对所述白平衡矩阵进行修正；如果判断结果为是，则获取所述白平衡矩阵中校验区域的光源调整值。

可选的，所述方法还包括：采用所述待处理图像对应的光源估计值对所述待处理图像进行校正，得到校正后的图像。

本申请实施例还提供一种图像处理装置，所述装置包括：第一获取模块，用于获取白平衡矩阵，所述白平衡矩阵包括颜色信息维度和场景信息维度，所述白平衡矩阵中的元素为光源估计值；第二获取模块，用于获取待处理图像和所述待处理图像的采集信息；映射模块，用于将所述待处理图像的像素信息映射至所述颜色信息维度，得到所述待处理图像的颜色向量，以及将所述采集信息映射至所述场景信息维度，得到所述待处理图像的场景向量；估计模块，用于根据所述颜色向量和所述场景向量，在所述白平衡矩阵中确定所述待处理图像对应的光源估计值。

本申请实施例还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器运行时，执行上述的图像处理方法的步骤。

本申请实施例还提供一种终端，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机程序，所述处理器运行所述计算机程序时执行上述的图像处理方法的步骤。

与现有技术相比，本申请实施例的技术方案具有以下有益效果：

本申请实施例的方案中，设置包含颜色信息维度和场景信息维度的白平衡矩阵，一方面根据待处理图像的像素信息确定颜色向量，另一方面根据待处理图像的场景信息确定场景向量，然后基于颜色向量和场景向量从白平衡矩阵中确定光源估计值。相较于仅根据图像的颜色信息确定光源估计值的方案，本申请实施例提供的方案考虑到图像的采集场景对AWB算法的影响，能够使得到的光源估计值更加准确。此外，上述方案中白平衡矩阵区分颜色信息维度和场景信息维度，若白平衡矩阵在某个场景下的准确度不高，可以通过调整白平衡矩阵中场景信息维度下该场景对应的光源估计值。因此，本申请实施例提供的方案进一步具有可调、易调的优点，降低了调参的难度。由上，本申请实施例提供的方案能够兼顾白平衡算法的准确性和可调性。

进一步，本实施例的方案中，通过取整得到索引向量，然后基于索引向量在白平衡矩阵中进行查找，得到参考光源估计值，然后基于映射向量和索引向量之间的距离，对参考光源估计值进行插值，得到光源估计值。采用这样的方案，有利于提高基于白平衡矩阵确定的光源估计值的准确性。

附图说明

图1是本申请实施例中一种图像处理方法的流程示意图；

图2是本申请实施例中一种白平衡模型的结构示意图；

图3是本申请实施例中一种白平衡矩阵的生成方法的流程示意图；

图4是本申请实施例中另一种图像处理方法的部分流程示意图。

图5是本申请实施例中一种图像处理装置的结构示意图。

具体实施方式

如背景技术所述，目前的AWB算法的准确性仍有待提高。

具体而言，在一些场景下，AWB的解(也即，得到的光源值)不是唯一的。例如，白光打在黄色的墙上和黄光打在白色的墙上，在这两种场景下，传感器对墙面进行拍摄采集到的颜色信息可能会非常相似。假设墙面的颜色是x，光源的颜色是y，光源达到墙面上，被传感器接收后得到的颜色信息是z，那么采用AWB算法得到的解有两种：白光、黄光。为了提高AWB算法的准确性，还要考虑采集图像的场景。例如，在AWB算法的设计阶段采集多个场景下的真实光源值，然后在AWB算法的应用阶段，基于预先采集的多个场景下真实光源值的经验，推断得到光源估计值。然而，预先采集的多个场景中很可能存在多种光源可能性的场景，此时需要人工对AWB算法调参。当场景数量较多时，人工调参的方式工作量较大。

为降低人工调参的工作量，可以在AWB算法中引入机器学习的方法。具体的，先根据多个场景下的样本图像的真实光源作为标签进行深度学习，得到训练后的模型，然后应用训练后的模型计算图像的光源值。这种采用模型计算光源值的方案，若发现模型得到的某个场景下的光源值不准确，则需要重新采用该场景下的图像数据对模型进行训练优化，周期较长，因此，这种方案的可调性较差。

有鉴于此，本申请实施例提供一种图像处理方法，在本申请实施例的方案中，设置包含颜色信息维度和场景信息维度的白平衡矩阵，一方面根据待处理图像的像素信息确定颜色向量，另一方面根据待处理图像的场景信息确定场景向量，然后基于颜色向量和场景向量从白平衡矩阵中确定光源估计值。相较于仅根据图像的颜色信息确定光源估计值的方案，本申请实施例提供的方案考虑到图像的采集场景对AWB算法的影响，能够使得到的光源估计值更加准确。此外，上述方案中白平衡矩阵区分颜色信息维度和场景信息维度，若白平衡矩阵在某个场景下的准确度不高，可以通过调整白平衡矩阵中场景信息维度下该场景对应的光源估计值。因此，本申请实施例提供的方案进一步具有可调、易调的优点，降低了调参的难度。由上，本申请实施例提供的方案能够兼顾白平衡算法的准确性和可调性。

为使本申请的上述目的、特征和有益效果能够更为明显易懂，下面结合附图对本申请的具体实施例做详细的说明。

参照图1，图1是本申请实施例中一种图像处理方法的流程示意图。所述方法可以由终端执行，所述终端可以是现有的各种具有数据接收和数据处理能力的终端设备，例如，可以是手机、计算机、物联网设备和服务器等，但并不限于此。示例性的，所述终端可以配置有图像传感器，或者，终端可以与图像传感器耦接，以能够获取图像传感器采集的图像。图1示出的图像处理方法可以包括以下步骤：

步骤S11：获取白平衡矩阵，所述白平衡矩阵包括颜色信息维度和场景信息维度，所述白平衡矩阵中的元素为光源估计值；

步骤S12：获取待处理图像和所述待处理图像的采集信息；

步骤S13：将所述待处理图像的像素信息映射至所述颜色信息维度，得到所述待处理图像的颜色向量，以及将所述采集信息映射至所述场景信息维度，得到所述待处理图像的场景向量；

步骤S14：根据所述颜色向量和所述场景向量，在所述白平衡矩阵中确定所述待处理图像对应的光源估计值。

在步骤S11中，终端可以获取白平衡矩阵，白平衡矩阵可以包括颜色信息维度和场景信息维度，且白平衡矩阵中的元素均为光源估计值。

具体而言，本申请实施例中的白平衡矩阵可以是多维矩阵。白平衡矩阵包括Q个维度，Q为大于1的正整数。其中，Q个维度中一部分维度为场景相关的维度，另一部分维度为颜色相关的维度，白平衡矩阵中的元素均为光源估计值。

本领域技术人员可以理解的是，基于Q个维度上的一组索引，能够在白平衡矩阵中唯一确定一个光源估计值。其中，每个维度上的索引范围可以分别为0～L-1，其中，L为维度上的元素数量。场景信息维度上的不同索引可以表征不同的场景。

在本申请的一实施例中，白平衡矩阵可以包括D个子矩阵，不同的子矩阵表征的场景信息不同。换言之，不同的子矩阵对应不同的场景信息。也就说，不同子矩阵用于确定不同场景下的光源估计值。其中，场景信息可以是指图像的采集场景。例如，采集场景可以是：暗光场景、逆光场景、亮光场景等，但并不限于此。

进一步地，每个子矩阵可以包括至少一个维度，且子矩阵所包括的维度均为颜色信息维度。

在本申请的一实施例中，白平衡矩阵可以是三维矩阵。具体的，白平衡矩阵可以为M×N×D的矩阵，其中，M、N和D均为大于1的正整数。其中，D维度为场景信息维度，M×N为颜色信息维度。其中，D维度的索引范围为[0，D-1]，M维度的索引范围为[0，M-1]，N维度的索引范围为[0，N-1]。

示例性的，M×N的颜色信息维度可以分别表征U色度和V色度，具体的，U色度可以对应二维UV颜色空间中的U分量，V色度可以对应二维UV颜色空间中的V分量。

在本申请的另一实施例中，白平衡矩阵的维度可以大于3，其中，场景信息维度可以包括至少两个维度，颜色信息维度可以包括至少两个维度。

例如，白平衡矩阵可以为四维矩阵。具体的，场景信息维度可以包括第一维度和第二维度，其中，第一维度可以用于表征亮度，第二维度可以用于表征曝光时间；颜色信息维度可以包括第三维度和第四维度，其中，第三维度可以用于表征U色度，第四维度可以用于表征V色度。以白平衡矩阵为M×N×D1×D2为例，其中，D1维度表征亮度，D2表征曝光时间，D1维度上的不同索引可以表征不同的亮度，D1维度上的不同索引可以表征不同的曝光时间。

在具体实施中，白平衡矩阵可以是预先存储于终端能够访问的存储器中。每当终端产生白平衡校正的需求，可以从存储器中读取白平衡矩阵进行白平衡校正。

关于白平衡矩阵的生成或计算过程的更多内容可以参照下文关于图2和图3的相关描述。

在步骤S12中，终端获取待处理图像和待处理图像的采集信息。

在具体实施中，待处理图像可以是由图像传感器采集到的图像。本实施例对于图像的尺寸和格式并不进行限制。示例性的，所述待处理图像可以为红(Red，R)绿(Green，G)蓝(Blue，B)的三通道图像。

进一步地，采集信息可以是图像传感器采集待处理图像时设置的参数。非限制性的，采集信息可以包括以下任意一项或多项：曝光时间、感光度、亮度。需要说明的是，本申请实施例中的亮度可以是指图像采集时的环境亮度，在实际应用中，环境亮度可以基于图像的像素信息计算得到。

需要说明的是，本申请实施例对于步骤S11和步骤S12的执行顺序并不进行限制。在实际应用中，可以是先执行步骤S12再执行S11，或者，也可以是先执行步骤S11再执行S12，或者，还可以是同时执行S11和S12。

在步骤S13中，一方面，终端将待处理图像的像素信息映射至颜色信息维度，以得到待处理图像的颜色向量。其中，待处理图像的颜色向量可以用于在白平衡矩阵的颜色信息维度上查找光源估计值。需要说明的是，颜色向量可以包括颜色特征值，颜色特征值的数量和颜色信息维度的数量一致。

步骤S13中，可以确定待处理图像中多个像素点的颜色向量。例如，可以包括待处理图像中所有像素点的颜色向量。又例如，待处理图像的颜色向量可以包括一部分像素点(如有效像素点)的颜色向量。

本申请的一实施例中，像素点的颜色向量可以表示为

具体的，可以先采用下列公式计算像素点的U色度值和V色度值：

u＝log(g/r)；v＝log(g/b)；

其中，u为像素点的U色度值，v为像素点的V色度值，r为像素点在R通道的像素值，g为像素点在G通道的像素值，b为像素点在B通道的像素值。

进一步地，可以将像素点的U色度值和V色度值分别映射至颜色信息维度的索引范围内，得到颜色向量。

示例性的，如上文所述，白平衡矩阵可以为M×N×D的矩阵，其中，M×N为颜色信息维度。可以将像素点的u值映射至[0，M-1]，得到u_mapped。类似的，可以将像素点的v值映射至[0，N-1]，得到v_mapped。由此，可以得到像素点的颜色向量其中，0≤u_mapped≤M-1，0≤v_mapped≤N-1。也即，颜色特征值分别包括u_mapped和v_mapped。

在本申请的另一实施例中，像素点的颜色向量可以是基于对待处理图像进行特征提取得到的颜色特征向量得到的。例如，可以采用下文中白平衡模型中的特征提取模块计算得到颜色特征向量，然后将颜色特征向量映射至颜色信息维度的索引范围内。其中，颜色特征向量和颜色向量的维度或尺寸可以是相同的。

本领域技术人员可以理解的是，像素点的颜色向量也可以是像素点在其他颜色空间的向量表示。

另一方面，终端将待处理图像的采集信息映射至场景信息维度，以得到待处理图像的场景向量。其中，待处理图像的场景向量可以用于在白平衡矩阵的场景信息维度上查找光源估计值。需要说明的是，场景向量可以包括场景特征值，场景特征值的数量和场景信息维度的数量一致。

具体而言，可以对待处理图像的采集信息进行特征提取，得到场景特征向量。在具体实施中，可以采用下文中白平衡模型的第二特征提取单元对待处理图像的采集信息进行特征提取。

进一步地，可以将场景特征向量映射至场景信息维度的索引范围内，得到场景向量。

若场景信息维度仅为1个维度，则映射得到的场景向量为1个场景特征值。示例性的，如上文所述，白平衡矩阵可以包括D个子矩阵，D维度为场景信息维度。可以将场景特征向量映射至[0，D-1]，得到1个场景特征值，该场景特征值可以记为d_mapped，0≤d_mapped≤D-1。

若场景信息维度为多个维度，则可以将场景特征向量分别映射至多个维度的索引范围内，得到场景向量。例如，场景信息维度为上述的第一维度和第二维度，其中，场景向量可以表示为：其中，0≤d1_mapped≤D1 -1，0≤d2_mapped≤D2 -1。

由上，通过步骤S13可以得到待处理图像的颜色向量和场景向量，颜色向量可以包括多个颜色特征值，场景向量可以包括至少一个场景特征值，其中，颜色向量所包含的颜色特征值的数量可以取决于白平衡矩阵的颜色信息维度的数量，以及场景向量所包含的颜色特征值的数量可以取决于白平衡矩阵的场景信息维度的数量。步骤S13得到的各个特征值和白平衡矩阵的维度可以是一一对应的，特征值可以分别用于在对应维度上查找光源估计值。

在步骤S14中，终端根据待处理图像的颜色向量和场景向量，在白平衡矩阵中确定待处理图像对应的光源估计值。为便于描述，下面部分内容将颜色向量和场景向量统称为映射向量。也即，映射向量包括颜色向量和场景向量，映射向量包括颜色向量中的特征值和场景向量中的特征值。

在本申请的一实施例中，步骤S13中可以得到多个像素点对应的映射向量，然后在步骤S14中分别根据各个像素点对应的映射向量确定各个像素点对应的光源估计值。

在本申请的另一实施例中，步骤S13中可以得到待处理图像对应的映射向量(也即，1个映射向量)，然后在步骤S14中分别根据待处理图像对应的映射向量确定待处理图像对应的光源估计值。

在具体实施中，可以将映射向量作为索引在白平衡矩阵中确定光源估计值。在实际应用中，步骤S13中得到的颜色向量和场景向量中的特征值可能不是整数。在这种情况下，本申请实施例的方案中可以对映射向量进行取整，得到索引向量。

示例性的，可以对映射向量中的特征值进行向上取整或者向下取整，得到索引向量。然后可以根据索引向量在白平衡矩阵中查找索引向量对应的光源估计值。例如，可以直接将根据索引向量查找到的光源估计值作为待处理图像对应的光源估计值。

又示例性的，可以对映射向量进行向上取整和向下取整，得到多个索引向量，然后根据多个索引向量在白平衡矩阵中进行查找，得到多个参考光源估计值。然后根据映射向量和索引向量之间的距离以及多个参考光源估计值进行插值处理，得到光源估计值，以提高光源估计值的准确性。其中，参考光源估计值是指根据索引向量在白平衡矩阵中查找得到的光源估计值。

例如，可以对映射向量进行向上取整，得到第一索引向量，根据第一索引向量在白平衡矩阵中进行查找，确定第一参考光源估计值；以及对映射向量进行向下取整，得到第二索引向量，然后根据第二索引向量在白平衡矩阵中进行查找，确定第二参考光源估计值。进一步地，根据映射向量和第一索引向量之间的距离占第一索引向量和第二索引向量之间的距离的比例，在第一参考光源估计值和第二参考光源估计值进行插值，得到映射向量对应的光源估计值。

在具体实施中，还可以对映射向量中的各个特征值分别进行向上取整和向下取整，得到2^Q个索引向量。其中，Q为映射向量中特征值的数量，基于2^Q个索引向量可以查找确定2^Q个参考光源估计值。进一步可以根据2^Q个参考光源估计值进行多方向的插值处理，得到映射向量对应的光源估计值。

下面以白平衡矩阵为M×N×D的矩阵为例，对步骤S14的具体过程进行非限制性的说明。

具体的，以白平衡矩阵为M×N×D的矩阵为例，映射向量可以为[u_mapped,v_mapped,d_mapped]，分别对u_mapped、v_mapped、d_mapped进行向上取整和向下取整，得到u_mapped_up、u_mapped_down、v_mapped_up、u_mapped_down、para_mapped_up、para_mapped_down。由此，可以得到8个索引向量，然后可以分别根据各个索引向量在白平衡矩阵中进行查找，得到一组参考光源估计值(也即，8个参考光源估计值)。

参照表1，表1是通过取整得到的一组索引向量以及查找得到的一组参考光源估计值。

序号	索引向量	参考光源估计值
			1	[u_mapped_up，u_mapped_up，v_mapped_up]	Y0
2	[u_mapped_up，u_mapped_up，v_mapped_down]	Y1
			3	[u_mapped_up，u_mapped_down，v_mapped_up]	Y2
4	[u_mapped_up，u_mapped_down，v_mapped_down]	Y3
			5	[u_mapped_down，u_mapped_up，v_mapped_up]	Y4
6	[u_mapped_down，u_mapped_up，v_mapped_down]	Y5
			7	[u_mapped_down，u_mapped_down，v_mapped_up]	Y6
8	[u_mapped_down,u_mapped_down,v_mapped_down]	Y7

进一步地，可以根据映射向量[u_mapped,v_mapped,d_mapped]和各个索引向量之间的距离，对该组参考光源估计值进行多方向的插值处理，从而得到映射向量[u_mapped,v_mapped,d_mapped]对应的光源估计值。在步骤S14之后，可以采用步骤S14得到的光源估计值对待处理图像进行校正，得到校正后的图像。

在本申请的一实施例中，步骤S14得到多个像素点各自对应的光源估计值。进一步地，终端可以根据多个像素点对应的光源估计值加权计算，得到待处理图像对应的光源估计值。由此，终端可以将待处理图像中每个像素点的颜色信息去除待处理图像对应的光源估计值，得到校正后的图像。

在本申请的另一实施例中，步骤S13中计算得到多个像素点各自对应的光源估计值。步骤S14中，终端可以分别将多个像素点的颜色信息去除该像素点对应的光源估计值，得到校正后的颜色信息，从而得到校正后的图像。

参照图2，图2是本申请实施例中一种白平衡模型的结构示意图，图3是本申请实施例中一种白平衡矩阵的生成方法的流程示意图。下面结合图2和图3对本申请一实施例中白平衡矩阵的生成方法进行描述。本申请实施例的方案中，白平衡矩阵可以是采用有监督训练对白平衡模型进行训练得到的。

如图2所示，白平衡模型可以包括第一特征提取模块21、融合模块22、映射模块23、估计模块24和更新模块25。其中，第一特征提取模块21包括第一特征提取单元211和第二特征提取单元212。

图3示出的方法可以包括如下步骤：

步骤S31，将样本图像以及样本图像的采集信息输入至白平衡模型。

具体的，样本图像的类型和待处理图像的类型可以是相同的。例如，样本图像可以是三通道图像，本实施例对此并不限制。

进一步地，可以对样本图像进行预处理。例如，可以对样本图像进行去马赛克颜色插值和降采样。采用这样的方案有利于减小白平衡模型的输入数据的大小，有利于提高训练白平衡模型的效率。关于样本图像的采集信息的具体内容可以参照上文关于待处理图像的采集信息的相关描述，在此不再赘述。

此外，样本图像可以包含色卡，所述色卡可以用于计算样本图像的光源标签值。所述光源标签值可以视为用于监督的真值。

步骤S32，采用第一特征提取单元211对样本图像的采集信息进行特征提取，得到第一样本特征向量，以及采用第二特征单元212对样本图像进行特征提取，得到样本图像特征向量。

具体的，第一特征提取单元211可以包括多个卷积层，第二特征提取单元212也可以包括多个卷积层，本申请实施例对于第一特征提取单元211和第二特征提取单元212的具体结构并不进行限制。为便于描述，下面将第一样本特征向量记为Fpara，以及将样本图像特征向量记为Frgb。示例性的，Fpara可以是长度为k的一维向量，k为大于1的正整数，Frgb为多维向量，Frgb可以为n×n×c的向量。其中，n、c、k的具体取值取决于第一特征提取单元211和第二特征提取单元212的结构。

步骤S33，采用融合模块22对第一样本特征向量和样本图像特征向量进行融合，得到当前估计矩阵。

其中，当前估计矩阵的维度和白平衡矩阵的维度可以是一致的。也即，当前估计矩阵可以包括颜色信息维度和场景信息维度。需要说明的是，本申请实施例中对于白平衡矩阵的维度以及尺寸可以是预先定义的。示例性的，白平衡矩阵可以为M×N×D。

具体而言，可以采用融合模块22先将Frgb拉伸为一维向量，然后将一维的Frgb与Fpara拼接，得到拼接后的一维向量。进一步地，可以将拼接后的一维向量变形为M×N×D的矩阵。在具体实施中，融合模块22可以包括全连接层，全连接层的输入可以为拼接后的一维向量，全连接层的输出可以为当前估计矩阵，本申请实施例对于融合模块22所包含的全连接层的数量并不进行限制。

步骤S34，采用映射模块23将样本图像的像素信息映射至颜色信息维度，得到样本颜色向量，以及将样本图像的采集信息映射至场景信息维度，得到样本场景向量。

具体的，可以将第一样本特征向量映射至场景信息维度，得到样本场景向量。

此外，还可以根据样本图像中像素点的rgb值计算u色度值和v色度值，然后将u色度值和v色度值映射中颜色信息维度的索引范围内，得到样本颜色向量。

在其他实施例中，还可以通过特征提取，得到样本颜色特征向量，然后将样本颜色特征向量映射至颜色信息维度的索引范围内，得到样本颜色向量。

示例性的，可以对样本图像特征向量进行特征提取，得到样本颜色特征向量。特征提取模块还可以包括第三特征提取单元(图2未示)，第三特征提取单元的输入和第一特征提取单元的输出连接，第三特征提取单元的输出和映射模块23的输入连接。第三特征提取单元可以对样本图像特征向量进行特征提取，得到样本颜色特征向量。在这种情况下，样本图像可以无需直接输入至映射模块23。

又示例性的，可以直接对样本图像进行特征提取，得到样本颜色特征向量。例如，特征提取模块还可以包括第四特征提取单元(图2未示)，第四特征提取单元的输入为样本图像，第四特征提取单元的输出和映射模块23的输入连接。第四特征提取单元可以对样本图像进行特征提取，得到样本颜色特征向量。在这种情况下，样本图像可以无需直接输入至映射模块23。与第二特征提取单元不同的是，第四特征提取单元输出的样本颜色特征向量的维度和样本颜色向量的维度相同。

关于步骤S34的更多内容可以参见图1中关于步骤S13的相关描述。

步骤S35，采用估计模块24根据样本颜色向量和样本场景向量，在当前估计矩阵中确定样本图像对应的光源估计值。

关于步骤S35的具体内容可以参照上文关于步骤S14的相关描述，在此不再赘述。

由此，可以得到样本图像对应的光源估计值。其中，样本图像对应的光源估计值可以是根据样本图像中多个像素点对应的光源估计值计算得到的，或者，样本图像对应的光源估计值包括样本图像中多个像素点对应的光源估计值。

步骤S36，采用更新模块25根据样本图像对应的光源估计值和样本图像的光源标签值之间的损失值的变化判断白平衡模型是否收敛，如果判断结果为是，则将当前估计矩阵作为白平衡矩阵，若判断结果为否，则更新白平衡模型，并返回至步骤S31。

本申请实施例的方案中，设置有损失函数监督白平衡模型的训练过程，。需要说明的是，本申请实施例对于采用的损失函数的类型并不进行限制，例如，可以是L1损失函数，L2损失函数等。

本申请实施例的方案中采用梯度下降法训练白平衡模型。具体的，在步骤S36中，可以根据损失函数、光源标签值和步骤S35得到的光源估计值，计算损失值，然后根据损失值的变化判断白平衡模型是否收敛。例如，若计算得到的损失值仍在下降，则可以确定模型尚未收敛；若计算得到的损失值保持平稳不再下降，则可以确定模型收敛。

在本申请的一实施例中，可以根据样本图像中多个像素点的光源估计值计算样本图像对应的光源估计值，然后根据样本图像对应的光源估计值与光源标签值计算用于判断是否收敛的损失值。

在本申请的另一实施例中，样本图像的光源标签值可以包括多个像素点的光源标签值，步骤S36中可以根据各个像素点对应的光源估计值和光源标签值分别计算各个像素点对应的损失值，然后根据各个像素点的损失值计算用于判断是否收敛的损失值。采用这样的方案，有利于保证训练得到的白平衡矩阵在混光场景下的准确性。

进一步地，若根据计算得到的损失值的变化确定白平衡模型收敛，则可以将当前估计矩阵作为白平衡矩阵。若根据损失值的变化确定白平衡模型尚未收敛，则可以更新白平衡模型，然后返回至步骤S31。其中，更新白平衡模型可以包括更新白平衡模型中的特征提取模块21、融合模块22。

具体的，可以采用当前批次样本数据返回至步骤S31继续训练白平衡模型，或者，也可以获取下一批次的样本图像返回至步骤S31进行训练。

由上，通过图3示出的方法对图2示出的白平衡模型进行有监督的训练，能够得到白平衡矩阵。

参照图4，图4是本申请实施例中另一种图像处理方法的流程示意图。图4示出的方案可以包括步骤S41至步骤S43。

步骤S41，根据白平衡矩阵计算校验图像对应的光源估计值。

关于步骤S41的具体内容可以参照上文关于图1的相关描述，在此不再赘述。

步骤S42，根据所述校验图像对应的光源估计值和校验图像对应的光源标签值之间的误差，判断是否对白平衡矩阵进行修正。

具体的，如果校验图像对应的光源标签值和光源标签值之间的误差大于或等于误差阈值，则可以确定白平衡矩阵需要修正。若误差小于误差阈值，则可以确定白平衡矩阵不需要修正。

步骤S43，如果判断结果为是，则获取白平衡矩阵中校验区域的光源调整值。

具体的，步骤S41中可以根据校验图像的像素信息确定颜色向量，以及根据校验图像的采集信息确定场景向量，然后根据颜色向量和场景向量确定索引向量。进一步地，基于索引向量在白平衡矩阵中确定参考光源估计值，校验区域可以包括确定的参考光源估计值。例如，校验区域的尺寸可以是预先确定的。或者，校验区域可以是由白平衡模型的开发人员或者维护人员确定的。

进一步地，可以根据获取的光源调整值对校验区域的光源估计值进行调整，从而得到优化后的白平衡矩阵。在具体实施例中，光源调整值可以是由白平衡模型的开发人员或者维护人员输入的。或者，光源调整值可以是根据步骤S42中得到的误差确定的。

由上，本申请实施例的方案中，可以采用校验图像对白平衡矩阵中的光源估计值进行验证，若根据白平衡矩阵得到的光源估计值误差较大，则可以在白平衡矩阵中确定待调整的区域(也即，校验区域)，然后对该区域内的光源估计值进行修正。因此，本申请实施例的方案具有可调易调的优点。

可以理解的是，在具体实施中，上述方法可以采用软件程序的方式实现，该软件程序运行于芯片或芯片模组内部集成的处理器中；或者，该方法可以采用硬件或者软硬结合的方式来实现，例如用专用的芯片或芯片模组来实现，或者，用专用的芯片或芯片模组结合软件程序来实现。

参照图5，图5是本申请实施例中的一种图像处理装置的结构示意图，图5示出的装置可以包括：

第一获取模块51，用于获取白平衡矩阵，所述白平衡矩阵包括颜色信息维度和场景信息维度，所述白平衡矩阵中的元素为光源估计值；

第二获取模块52，用于获取待处理图像和所述待处理图像的采集信息；

映射模块53，用于将所述待处理图像的像素信息映射至所述颜色信息维度，得到所述待处理图像的颜色向量，以及将所述采集信息映射至所述场景信息维度，得到所述待处理图像的场景向量；

估计模块54，用于根据所述颜色向量和所述场景向量，在所述白平衡矩阵中确定所述待处理图像对应的光源估计值。

关于本申请实施例中的图像处理装置的工作原理、工作方法和有益效果等更多内容，可以参照上文关于图像处理方法的相关描述，在此不再赘述。

本申请实施例还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器运行时，执行上述的图像处理方法的步骤。所述存储介质可以包括ROM、RAM、磁盘或光盘等。所述存储介质还可以包括非挥发性存储器(non-volatile)或者非瞬态(non-transitory)存储器等。

本申请实施例还提供一种终端，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机程序，所述处理器运行所述计算机程序时执行上述的图像处理方法的步骤。所述终端包括但不限于手机、计算机、平板电脑等终端设备。

应理解，本申请实施例中，所述处理器可以为中央处理单元(central processingunit，简称CPU)，该处理器还可以是其他通用处理器、数字信号处理器(digital signalprocessor，简称DSP)、专用集成电路(application specific integrated circuit，简称ASIC)、现成可编程门阵列(field programmable gate array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

还应理解，本申请实施例中的存储器可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(read-only memory，简称ROM)、可编程只读存储器(programmable ROM，简称PROM)、可擦除可编程只读存储器(erasable PROM，简称EPROM)、电可擦除可编程只读存储器(electricallyEPROM，简称EEPROM)或闪存。易失性存储器可以是随机存取存储器(random accessmemory，简称RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的随机存取存储器(random access memory，简称RAM)可用，例如静态随机存取存储器(staticRAM，简称SRAM)、动态随机存取存储器(DRAM)、同步动态随机存取存储器(synchronousDRAM，简称SDRAM)、双倍数据速率同步动态随机存取存储器(double data rate SDRAM，简称DDR SDRAM)、增强型同步动态随机存取存储器(enhanced SDRAM，简称ESDRAM)、同步连接动态随机存取存储器(synchlink DRAM，简称SLDRAM)和直接内存总线随机存取存储器(direct rambus RAM，简称DR RAM)

上述实施例，可以全部或部分地通过软件、硬件、固件或其他任意组合来实现。当使用软件实现时，上述实施例可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令或计算机程序。在计算机上加载或执行所述计算机指令或计算机程序时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以为通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机程序可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机程序可以从一个网站站点、计算机、服务器或数据中心通过有线或无线方式向另一个网站站点、计算机、服务器或数据中心进行传输。

在本申请所提供的几个实施例中，应该理解到，所揭露的方法、装置和系统，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的；例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式；例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理包括，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。例如，对于应用于或集成于芯片的各个装置、产品，其包含的各个模块/单元可以都采用电路等硬件的方式实现，或者，至少部分模块/单元可以采用软件程序的方式实现，该软件程序运行于芯片内部集成的处理器，剩余的(如果有)部分模块/单元可以采用电路等硬件方式实现；对于应用于或集成于芯片模组的各个装置、产品，其包含的各个模块/单元可以都采用电路等硬件的方式实现，不同的模块/单元可以位于芯片模组的同一组件(例如芯片、电路模块等)或者不同组件中，或者，至少部分模块/单元可以采用软件程序的方式实现，该软件程序运行于芯片模组内部集成的处理器，剩余的(如果有)部分模块/单元可以采用电路等硬件方式实现；对于应用于或集成于终端的各个装置、产品，其包含的各个模块/单元可以都采用电路等硬件的方式实现，不同的模块/单元可以位于终端内同一组件(例如，芯片、电路模块等)或者不同组件中，或者，至少部分模块/单元可以采用软件程序的方式实现，该软件程序运行于终端内部集成的处理器，剩余的(如果有)部分模块/单元可以采用电路等硬件方式实现。

应理解，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，表示前后关联对象是一种“或”的关系。

本申请实施例中出现的“多个”是指两个或两个以上。本申请实施例中出现的第一、第二等描述，仅作示意与区分描述对象之用，没有次序之分，也不表示本申请实施例中对设备个数的特别限定，不能构成对本申请实施例的任何限制。虽然本申请披露如上，但本申请并非限定于此。任何本领域技术人员，在不脱离本申请的精神和范围内，均可作各种更动与修改，因此本申请的保护范围应当以权利要求所限定的范围为准。

虽然本申请披露如上，但本申请并非限定于此。任何本领域技术人员，在不脱离本申请的精神和范围内，均可作各种更动与修改，因此本申请的保护范围应当以权利要求所限定的范围为准。

Claims (10)

1.一种图像处理方法，其特征在于，所述方法包括：

获取白平衡矩阵，所述白平衡矩阵包括颜色信息维度和场景信息维度，所述白平衡矩阵中的元素为光源估计值；

获取待处理图像和所述待处理图像的采集信息；

将所述待处理图像的像素信息映射至所述颜色信息维度，得到所述待处理图像的颜色向量，以及将所述采集信息映射至所述场景信息维度，得到所述待处理图像的场景向量；

根据所述颜色向量和所述场景向量，在所述白平衡矩阵中确定所述待处理图像对应的光源估计值。

2.根据权利要求1所述的图像处理方法，其特征在于，根据所述颜色向量和所述场景向量，在所述白平衡矩阵中确定所述待处理图像对应的光源估计值包括：

对映射向量进行取整，得到索引向量，其中，所述映射向量包括所述颜色向量和所述场景向量；

根据所述索引向量在所述白平衡矩阵中进行查找，得到参考光源估计值；根据所述映射向量和所述索引向量之间的距离，对所述参考光源估计值进行插值，得到所述光源估计值。

3.根据权利要求1所述的图像处理方法，其特征在于，所述白平衡矩阵包括D个子矩阵，其中，不同的子矩阵表征的场景信息不同，D为大于1的正整数，将所述采集信息映射至所述场景信息维度，得到所述待处理图像的场景向量包括：

对所述采集信息进行特征提取，得到场景特征向量；

将所述场景特征向量映射至[0，D-1]，得到所述场景向量。

4.根据权利要求1所述的图像处理方法，其特征在于，获取白平衡矩阵包括：

步骤一：将样本图像以及所述样本图像的采集信息输入至白平衡模型，所述白平衡模型包括第一特征提取模块、融合模块、映射模块、估计模块和更新模块；

步骤二：采用所述第一特征提取模块对所述样本图像的采集信息进行特征提取，得到第一样本特征向量；

步骤三：采用所述融合模块对所述第一样本特征向量和样本图像特征向量进行融合，得到当前估计矩阵，其中，所述样本图像特征向量为所述第一特征提取模块对本次输入的样本图像或者对第一次输入的样本图像进行特征提取得到的；

步骤四：采用所述映射模块将所述样本图像的像素信息映射至所述颜色信息维度，得到样本颜色向量，以及将所述样本图像的采集信息映射至所述场景信息维度，得到样本场景向量；

步骤五：采用所述估计模块根据所述样本颜色向量和所述样本场景向量，在所述当前估计矩阵中确定所述样本图像对应的光源估计值；

步骤六：采用所述更新模块根据所述样本图像对应的光源估计值和所述样本图像的光源标签值之间的损失值的变化判断所述白平衡模型是否收敛，如果判断结果为是，则将所述当前估计矩阵作为所述白平衡矩阵，若判断结果为否，则更新所述白平衡模型，并返回至所述步骤一。

5.根据权利要求4所述的图像处理方法，其特征在于，所述样本图像的光源标签值包括多个像素点的光源标签值，所述步骤五包括：

根据所述样本场景向量和多个像素点的样本颜色向量，在所述当前估计矩阵中分别确定所述各个像素点对应的光源估计值；

分别根据各个像素点对应的光源估计值和所述光源标签值，计算各个像素点对应的损失值。

6.根据权利要求1所述的图像处理方法，其特征在于，所述方法还包括：

根据所述白平衡矩阵计算校验图像对应的光源估计值；

根据所述校验图像对应的光源估计值和所述校验图像对应的光源标签值之间的误差，判断是否对所述白平衡矩阵进行修正；

如果判断结果为是，则获取所述白平衡矩阵中校验区域的光源调整值。

7.根据权利要求1所述的图像处理方法，其特征在于，所述方法还包括：

采用所述待处理图像对应的光源估计值对所述待处理图像进行校正，得到校正后的图像。

8.一种图像处理装置，其特征在于，所述装置包括：

第一获取模块，用于获取白平衡矩阵，所述白平衡矩阵包括颜色信息维度和场景信息维度，所述白平衡矩阵中的元素为光源估计值；

第二获取模块，用于获取待处理图像和所述待处理图像的采集信息；

映射模块，用于将所述待处理图像的像素信息映射至所述颜色信息维度，得到所述待处理图像的颜色向量，以及将所述采集信息映射至所述场景信息维度，得到所述待处理图像的场景向量；

估计模块，用于根据所述颜色向量和所述场景向量，在所述白平衡矩阵中确定所述待处理图像对应的光源估计值。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器运行时，执行权利要求1至7中任一项所述的图像处理方法的步骤。

10.一种终端，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机程序，其特征在于，所述处理器运行所述计算机程序时执行权利要求1至7中任一项所述的图像处理方法的步骤。