CN114500969A - 图像处理方法、装置、存储介质以及终端 - Google Patents

Abstract

本申请实施例公开了一种图像处理方法、装置、存储介质以及终端，所述方法包括：获取相机采集的目标图像的颜色通道数据，将颜色通道数据输入至光源分类模型中，得到目标图像对应的光源属于不同预设类型光源的匹配概率，基于匹配概率确定目标图像对应的白平衡增益，以及基于白平衡增益对目标图像进行白平衡调整。本申请通过光源分类模型对目标图像的颜色通道数据进行识别，颜色通道数据实际上为不同波段的光谱通道数据，也就是通过光源分类模型对采集的不同波段的光谱通道数据进行识别，可以准确地得到目标图像对应的光源属于不同预设类型光源的匹配概率，再依据匹配概率得到目标图像的白平衡增益，可以提高对图像进行白平衡的准确性。

Description

图像处理方法、装置、存储介质以及终端

技术领域

本申请涉及图像处理技术领域，尤其涉及一种图像处理方法、装置、存储介质以及终端。

背景技术

白平衡(Auto White Balance，简称AWB)是指在不同的色温下，使传感器采集的图像接近人眼所看的真实画面。也就是说，AWB可以使白色的物体在不同的色温下拍摄得到的图像也是白色的。在日常使用中，手机的相机可以设定自动白平衡，自动白平衡在大部分情况下就可以满足用户拍摄的需求。利用自动白平衡技术，相机能够自动估计环境色光，并去除光源对图像传感器的影响，使相机能够具有与人类视觉系统一样的颜色恒常性。

发明内容

本申请实施例提供了一种图像处理方法、装置、计算机存储介质以及终端，可以提高对图像进行白平衡处理的准确性。所述技术方案如下：

第一方面，本申请实施例提供了一种图像处理方法，所述方法包括：

获取相机采集的目标图像的颜色通道数据；

将所述颜色通道数据输入至光源分类模型中，得到所述目标图像对应的光源属于不同预设类型光源的匹配概率；

基于所述匹配概率确定所述目标图像对应的白平衡增益，以及基于所述白平衡增益对所述目标图像进行白平衡调整。

第二方面，本申请实施例提供了一种图像处理装置，所述装置包括：

数据采集模块，用于获取相机采集的目标图像的颜色通道数据；

光源识别模块，用于将所述颜色通道数据输入至光源分类模型中，得到所述目标图像对应的光源属于不同预设类型光源的匹配概率；

图像调整模块，用于基于所述匹配概率确定所述目标图像对应的白平衡增益，以及基于所述白平衡增益对所述目标图像进行白平衡调整。

第三方面，本申请实施例提供了一种计算机存储介质，所述计算机存储介质有多条指令，所述指令适于由处理器加载并执行上述的方法步骤。

第四方面，本申请实施例提供了一种终端，可包括：存储器和处理器；其中，所述存储器存储有计算机程序，所述计算机程序适于由所述存储器加载并执行上述的方法步骤。

本申请实施例提供的技术方案带来的有益效果至少包括：

本申请实施例的方案在执行时，获取相机采集的目标图像的颜色通道数据，将所述颜色通道数据输入至光源分类模型中，得到所述目标图像对应的光源属于不同预设类型光源的匹配概率，基于所述匹配概率确定所述目标图像对应的白平衡增益，以及基于所述白平衡增益对所述目标图像进行白平衡调整。本申请通过光源分类模型对目标图像的颜色通道数据进行识别，颜色通道数据实际上为不同波段的光谱通道数据，也就是通过光源分类模型对采集的不同波段的光谱通道数据进行识别，可以准确地得到目标图像对应的光源属于不同预设类型光源的匹配概率，再依据匹配概率得到目标图像的白平衡增益，可以提高对图像进行白平衡处理的准确性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的一种图像处理方法的流程示意图；

图2A是本申请实施例提供的一种图像的示意图；

图2B是本申请实施例提供的另一种图像的示意图；

图3是本申请实施例提供的另一种图像处理方法的流程示意图；

图4是本申请实施例提供的一种图像处理装置的结构示意图；

图5是本申请实施例提供的一种终端的结构示意图。

具体实施方式

为使得本申请实施例的发明目的、特征、优点能够更加的明显和易懂，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而非全部实施例。基于本申请中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

在本申请的描述中，需要理解的是，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。在本申请的描述中，需要说明的是，除非另有明确的规定和限定，“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本申请中的具体含义。此外，在本申请的描述中，除非另有说明，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。

相关技术中，越来越多的白平衡方案引入多光谱传感器，利用多光谱传感器采集的色温信息和相机采集的图像信息对图像进行白平衡调整。但是，这些方案得到的白平衡结果不够准确，尤其是在应对大面积的纯色场景或者混淆色的场景时，得到的白平衡结果更不准确。

下面结合具体的实施例对本申请进行详细说明。

在下述方法实施例中，为了便于说明，仅以各步骤的执行主体为终端进行介绍说明。

请参见图1，为本申请实施例提供的一种图像处理方法的流程示意图。如图1所示，本申请实施例的所述方法可以包括以下步骤：

S101，获取相机采集的目标图像的颜色通道数据。

可以理解的是，颜色通道数据可以为不同波段的光谱通道数据，每个光谱通道对应一个波段，不同光谱通道对应不同的波段。在多光谱影像技术领域，光谱通道的数量通常多达数十甚至数百个以上，并且各光谱通道对应的波段之间往往是连续的。

根据一些实施例，获取相机采集的目标图像的颜色通道数据，可以为获取多光谱传感器在目标图像当前所处的光源下所采集的不同波段的光谱通道数据。可以理解的是，多光谱传感器可以输出多个不同波段的光谱通道数据，比如，光谱通道的数量可以为8个、11个、13个等数值，本申请实施例对此不作限制。目标图像当前所处的光源可以包括很多种，比如，光源种类可以为色温范围为2000K-9000K内的常见40种光源，本申请实施例对光源种类不作限制。

S102，将所述颜色通道数据输入至光源分类模型中，得到所述目标图像对应的光源属于不同预设类型光源的匹配概率。

可以理解的是，光源分类模型可以为预先训练好的，可以识别出颜色通道数据属于不同预设类型光源的匹配概率。在光源分类模型训练的过程中，采用的训练数据可以为已知光源类型的颜色通道数据。比如，预设的光源类型有40种，对于每种光源类型，都可以采集在该光源类型下的多个图像的颜色通道数据，也就是说，每种光源类型可以对应有多个颜色通道数据，每个颜色通道数据对应不同图像，这些图像可以按照颜色场景来划分，即每个图像都可以对应一个颜色场景。颜色场景表示图像中所包含的颜色信息，当一个图像中仅包含一种颜色时，此时可以该图像的颜色场景描述为单色场景；当一个图像中包含多种颜色时，此时可以该图像的颜色场景描述为混色场景。比如，可参见图2A所示的图像，该图像可以为相机拍摄一块黑板所形成的图像，显然，该图像中仅包含一种颜色，该图像的颜色场景就可以为单色场景。再比如，可参见图2B所示的图像，该图像可以为相机拍摄的风景图像，显然，该图像中包含多种不同颜色的图像元素，花朵、花朵的枝叶、树干、树上的花朵、天空这些图像元素都为不同的颜色，该图像的颜色场景可以描述为混色场景。因此，在训练光源分类模型时，对于同一种光源类型，可以采用不同颜色场景所对应的不同图像的颜色通道数据来训练光源分类模型，以使光源分类模型可以依据颜色通道数据准确地识别出目标图像属于不同预设类型光源的匹配概率。

在一些实施例中，光源分类模型输出的匹配概率的数量可以等于预设类型光源的种类数量，也可以小于预设类型光源的种类数量。比如，预设类型光源有40种，光源分类模型可以输出40个匹配概率，40个匹配概率可以为目标图像分别属于40种预设类型光源的匹配概率；光源分类模型还可以仅输出3个匹配概率，3个匹配概率可以为目标图像分别属于40种预设类型光源的匹配概率中值最大的3个匹配概率；比如，光源分类模型还可以仅输出1个匹配概率，该匹配概率为40种预设类型光源的匹配概率中值最大的概率。

S103，基于所述匹配概率确定所述目标图像对应的白平衡增益，以及基于所述白平衡增益对所述目标图像进行白平衡调整。

可以理解的是，白平衡增益包括红色增益、绿色增益以及蓝色增益。

在一些实施例中，可以根据光源分类模型输出的各匹配概率，确定概率值最大的三个匹配概率所对应的预设类型光源。当光源分类模型输出的匹配概率的数量等于预设类型光源的种类数量时，可以对各匹配概率进行排列，然后找出概率值最大的三个匹配概率所对应的预设类型光源。另外，光源分类模型也可以直接输出概率值最大三个匹配概率，然后可以确定这三个匹配概率所对应的预设类型光源。进一步的，可以采用下述公式计算得到目标图像对应的白平衡增益。

(1)P1＝p1/(p1+p2+p3)；P2＝p2/(p1+p2+p3)；P3＝p3/(p1+p2+p3)；

(2)Rgain＝rgain_a*P1+rgain_b*P2+rgain_c*P3；Ggain＝1；Bgain＝bgain_a*P1+bgain_b*P2+bgain_c*P3。

假设三个预设类型光源为光源a、光源b、光源c，光源a对应的匹配概率为p1、光源b对应的匹配概率为p2、光源c对应的匹配概率为p3；rgain表示每种光源的红色标定增益，ggain表示每种光源的绿色标定增益，bgain表示每种光源的蓝色标定增益；Rgain表示目标图像对应的白平衡增益中的红色增益，Ggain表示目标图像对应的白平衡增益中的绿色增益，Bgain表示目标图像对应的白平衡增益中的蓝色增益。

可以理解的是，上述公式中涉及每种光源对应的红色标定增益、绿色标定增益以及蓝色标定增益，对于标定增益的计算过程，可以在确定光源种类之后计算出每种光源对应的标定增益。具体的，可以在每种光源下使用摄像机拍摄灰卡，然后取出raw图种灰色的r(R值)、g(G值)、b(B值)，然后得到rgain＝g/r、ggain＝1、bgain＝g/b，由此可以得到每种光源对应的标定增益。

由以上计算公式可知，P1为光源a在三种光源中所占的概率权重，P2为光源b在三种光源中所占的概率权重，P3为光源c在三种光源中所占的概率权重，然后，目标图像对应的白平衡增益中的红色增益可以由三种光源的红色标定增益按照概率权重进行加权求和得到，目标图像对应的白平衡增益中的蓝色增益可以由三种光源的蓝色标定增益按照概率权重进行加权求和得到，目标图像对应的白平衡增益中的绿色增益可以设置为1。进一步的，可以将目标图像在当前环境下的R值、G值、以及B值分别乘上红色增益、绿色增益以及蓝色增益，即可完成对目标图像的白平衡调整。

在另外的实施例中，光源分类模型可以输出一个匹配概率，该匹配概率为匹配概率中值最大的概率，可以确定该匹配概率所对应的预设类型光源，进一步的，可以获取该预设类型光源对应的红色标定增益、绿色标定增益以及蓝色标定增益，进一步的，可以将该预设类型光源对应的红色标定增益作为目标图像对应的白平衡增益中的红色增益，可以将该预设类型光源对应的绿色标定增益作为目标图像对应的白平衡增益中的绿色增益，可以将该预设类型光源对应的蓝色标定增益作为目标图像对应的白平衡增益中的蓝色增益。其中，对于该预设类型光源对应的红色标定增益、绿色标定增益以及蓝色标定增益的获取过程，可参见上述实施例中的描述，在此不再赘述。

本申请实施例的方案在执行时，获取相机采集的目标图像的颜色通道数据，将所述颜色通道数据输入至光源分类模型中，得到所述目标图像对应的光源属于不同预设类型光源的匹配概率，基于各所述匹配概率确定所述目标图像对应的白平衡增益，以及基于所述白平衡增益对所述目标图像进行白平衡调整。本申请通过光源分类模型对目标图像的颜色通道数据进行识别，颜色通道数据实际上为不同波段的光谱通道数据，也就是通过光源分类模型对采集的不同波段的光谱通道数据进行识别，可以得到目标图像对应的光源属于不同预设类型光源的匹配概率，再依据匹配概率得到目标图像的白平衡增益，可以提高对图像进行白平衡处理的准确性。

请参见图3，为本申请实施例提供的一种图像处理方法的流程示意图。如图3所示，本申请实施例的所述方法可以包括以下步骤：

S301，获取相机在各预设类型光源下采集的不同场景的样本图像的样本颜色通道数据。

可以理解的是，场景可以为颜色场景，颜色场景可以包括单色场景和混色场景，即场景可以为单色场景或混色场景。单色场景指的是图像中仅包括一种颜色的物体，比如，一个图像中仅包括一个纯白色的墙面，或者，一个图像中仅包括一个纯黑色的桌面。混色场景指的是图像中可以包括多种颜色的物体，比如，一个图像中可以包括蓝天、白云、树木等不同颜色的物体，或者，一个图像中可以包括一个人物，该人物身着不同颜色的衣物。

预设类型光源可以为色温范围在2000K-9000K内的常见40种光源。

样本颜色通道数据可以为不同波段的光谱通道数据，每个光谱通道对应一个波段，不同光谱通道对应不同的波段。在多光谱影像技术领域，光谱通道的数量通常多达数十甚至数百个以上，并且各光谱通道对应的波段之间往往是连续的。

标定矩阵可以为用于将样本颜色通道数据还原为全波段的光谱通道数的矩阵。由上述可知，样本颜色通道数据可以为不同波段的光谱通道数据，这些波段的波长范围可以小于全波段的波长范围。通常，标定矩阵可由多光谱传感器的厂家提供。

在一些实施例中，预设类型光源可以有多种，在每种光源下，相机可以采集各个场景的样本图像，多光谱传感器可以获取各样本图像在当前光源下的样本光谱通道数据。

S302，分别计算各所述样本颜色通道数据和标定矩阵的乘积，得到第一样本颜色通道数据。

S303，分别对所述各第一样本颜色通道数据进行一阶导数计算，得到各第二样本颜色通道数据。

S304，对所述各第二样本颜色通道数据进行降维处理，得到各第三样本颜色通道数据。

S305，采用所述各第三样本颜色通道数据训练光源分类模型。

下面对S302-S305进行解释说明。

由样本颜色通道数据得到第三样本颜色通道数据的过程，其实是对数据进行处理的过程，经过该数据处理过程，采用处理后的数据来训练光源分类模型，可以简化光源分类模型的复杂度，可以提高光源分类模型的准确率。

由于样本颜色通道数据为不同波段的光谱通道数据，而这些波段的波长范围小于全波段的波长范围，可以将各样本颜色通道数据和标定矩阵进行相乘，得到全波段的光谱通道数据，为描述方便，可以将全波段的光谱通道数据称为第一样本颜色通道数据。比如，采用的多光谱传感器可以具有13个光谱通道，全波段的光谱通道可以为100个光谱通道，那么样本光谱通道数据可以为13个数值，乘上标定矩阵后，得到的第一样本颜色通道数据可以为100个数值。进一步的，可以对第一样本颜色通道数据进行一阶导数计算，得到第二样本颜色通道数据。进一步的，可以对第二样本颜色通道数据进行降维处理，得到第三样本颜色通道数据。由于第一样本颜色通道数据、第二样本颜色通道数据都为高维的数据，进行降维处理后，可以得到数十维甚至更少维数的数据，也就是可以得到较少维数的第三样本颜色通道数据对光源分类模型进行训练。通常，降维处理可以采用主成分分析(PrincipalComponent Analysis，PCA)方法。

采用第三样本颜色通道数据训练光源分类模型，通常可以选用神经网络模型，神经网络模型的训练过程可以包括以下步骤：定义一个包含多个可学习参数(权重)的神经网络；对输入的数据集进行迭代计算；通过多层网络结构来处理输入数据；计算损失值(输出值与目标值的差值)；反向传播梯度到神经网络的参数中；根据更新规则来更新网络中的权重值。另外，也可以选用循环神经网络(Recurrent Neural Network,，RNN)、长短期记忆(Long Short-Term Memory，LSTM)等时序模型进行训练，本申请实施例对此不作限制。

S306，获取相机采集的目标图像的颜色通道数据。

可以理解的是，相机当前所采集的目标图像必定是在某种光源下所采集的，为了识别出当前的光源为何种光源，首先，可以获取多光谱传感器在当前光源下采集的目标图像的颜色通道数据，即获取多光谱传感器输出的不同波段的光谱通道数据。

S307，计算所述颜色通道数据和标定矩阵的乘积，得到第一颜色通道数据。

S308，对所述第一颜色通道数据进行一阶求导，得到第二颜色通道数据。

S309，对所述第二颜色通道数据进行降维处理，得到第三颜色通道数据。

下面对S307-S309进行解释说明。

由S302-S305可知，在训练得到光源分类模型的过程中，先对样本颜色通道数据进行处理，然后使用处理之后的数据来训练光源分类模型。因此，在使用光源分类模型对颜色通道数据进行识别时，也需要对颜色通道数据进行同样的数据处理过程，即可以将颜色通道数据和标定矩阵相乘，得到第一颜色通道数据，然后对第一颜色通道数据进行一阶求导，得到第二颜色通道数据。由于本申请实施例中所使用的多光谱传感器所输出的光谱通道数据对应的波长范围有限，需要与标定矩阵进行相乘后，得到全波段的光谱通道数据。那么，第一颜色通道数据为全波段的光谱通道数据，第一颜色通道数据和第二颜色通道数据都为高维的数据，然后需要降高维的数据进行降维处理，得到较低维数的第三颜色通道数据，同样也可以采用PCA方法进行降维处理。

S310，将所述第三颜色通道数据输入至光源分类模型中，得到所述目标图像对应的光源属于不同预设类型光源的匹配概率，以及在各所述匹配概率中确定处于预设概率范围内的匹配概率。

在一些实施方式中，可以将第三颜色通道数据输入至预先训练好的光源分类模型中进行识别，光源分类模型可以输出目标图像对应的光源属于不同预设类型光源的匹配概率。进一步的，在各所述匹配概率中确定处于预设概率范围内的匹配概率，可以理解为，将光源分类模型输出的多个匹配概率的值按照由大到小的顺序进行排列，找出排列在前的预设数量的匹配概率，比如，预设数量可以为三个，可以找出概率值最大的三个匹配概率。或者，在各所述匹配概率中确定处于预设概率范围内的匹配概率，可以理解为，在光源分类模型输出的多个匹配概率中找出概率值大于或者等于概率阈值的匹配概率，比如，概率阈值可以设置为0.32。

S311，获取所述处于预设概率范围内的匹配概率各自对应的目标类型光源，以及计算各所述目标类型光源对应的匹配概率的总和。

在一些实施例中，将多个匹配概率排序后，然后找出排列在前的预设数量的匹配概率时，比如，预设数量设置为三个，可以确定概率值最大的三个匹配概率各自对应的目标类型光源，可以计算这三个匹配概率的总和。

在一些实施例中，从多个匹配概率中找出概率值大于或者等于概率阈值的匹配概率时，可以确定这些匹配概率对应的目标类型光源，还可以计算这些匹配概率的总和。

S312，分别计算各所述目标类型光源对应的匹配概率与所述总和的比值，将各所述比值分别作为各所述目标类型光源各自对应的权重。

在一些实施例中，假如从S311中确定的目标类型光源分别为光源a、光源b、光源c，光源a对应的匹配概率为p1，光源b对应的匹配概率为p2，光源c对应的匹配概率为p3，可以计算光源a对应的匹配概率与总和的比值，得到P1＝p1/(p1+p2+p3)，那么P1可以作为光源a对应的权重；可以计算光源b对应的匹配概率与总和的比值，得到P2＝p2/(p1+p2+p3)，那么P2可以作为光源b对应的权重；可以计算光源c对应的匹配概率与总和的比值，得到P3＝p3/(p1+p2+p3)，那么P3可以作为光源c对应的权重。

S313，分别获取相机在各所述目标类型光源下采集的各灰卡图像的光谱数据。

可以理解的是，光谱数据可以为红(R)、绿(G)、蓝(B)三个颜色通道的值，即光谱数据可以包括R值、G值、以及B值。

在一些实施例中，可以通过相机分别在目标分类光源下采集各灰卡图像(拍摄灰卡得到的图像)，将这些灰卡图像采用raw格式进行保存，然后可以得到各灰卡图像在raw格式下的r(R值)、g(G值)、b(B值)。

S314，基于所述各灰卡图像的光谱数据，确定各所述目标类型光源各自对应的标定增益，所述标定增益包括红色标定增益、蓝色标定增益以及绿色标定增益。

在一些实施例中，对于每种目标类型光源，可以计算出其对应的红色标定增益(rgain)、绿色标定增益(ggain)、蓝色标定增益(bgain)。具体的计算方式可以为：rgain＝g/r，ggain＝1，bgain＝b/r。

S315，基于各所述目标类型光源各自对应的权重分别对各所述目标类型光源各自对应的红色标定增益进行加权求和，得到所述目标图像对应的白平衡增益中的红色增益，基于各所述目标类型光源各自对应的权重分别对各所述目标类型光源各自对应的蓝色标定增益进行加权求和，得到所述目标图像对应的白平衡增益中的蓝色增益，将预设定值作为所述目标图像对应的白平衡增益中的绿色增益。

在一些实施例中，对于目标图像对应的白平衡增益中的红色增益(Rgain)，可以由各目标类型光源对应的红色标定增益进行加权求和得到。具体计算公式可以为：Rgain＝rgain_a*P1+rgain_b*P2+rgain_c*P3。

对于目标图像对应的白平衡增益中的蓝色增益(Bgain)，可以由各目标类型光源对应的红色标定增益进行加权求和得到。具体计算公式可以为：Bgain＝bgain_a*P1+bgain_b*P2+bgain_c*P3。

预设定值可以设置为1，可以将目标图像对应的白平衡增益中的绿色增益设置为1。

S316，基于所述白平衡增益中的红色增益、所述白平衡增益中的蓝色增益以及所述白平衡增益中的绿色增益对所述目标图像进行白平衡调整。

在一些实施例中，可以将目标图像在当前光源下的R值乘上白平衡增益中的红色增益，将目标图像在当前光源下的G值乘上白平衡增益中的绿色增益、，将目标图像在当前光源下的B值分别乘上白平衡增益中的蓝色增益，即可完成对目标图像的白平衡调整。

本申请实施例的方案在执行时，首先对各种光源下采集的不同场景的样本图像的样本颜色通道数据进行数据处理，然后由处理后的数据来训练光源分类模型，可以简化光源分类模型的复杂度。然后，使用训练好的光源分类模型来识别相机采集的目标图像的颜色通道数据时，也可以先对颜色通道数据进行相应的数据处理，然后将处理后的数据输入至光源分类模型进行识别，可以得到目标图像属于不同预设类型光源的匹配概率。进而可以基于不同光源的匹配概率、不同光源所占的权重，不同光源的标定增益，可以求得目标图像对应的白平衡增益，进而可以对目标图像进行白平衡调整。由于光源分类模型在训练时，采用的训练数据包括多种光源在不同场景下的数据，这些场景可以包括单色场景或者混色场景，因此可以提高光源分类模型识别出光源种类的准确率，进而可以提高对图像进行白平衡处理的准确性。

请参见图4，为本申请实施例提供的一种图像处理装置的结构示意图。图像处理装置400可以通过软件、硬件或者两者的结合实现成为终端的全部或一部分。装置400包括：

数据采集模块410，用于获取相机采集的目标图像的颜色通道数据；

光源识别模块420，用于将所述颜色通道数据输入至光源分类模型中，得到所述目标图像对应的光源属于不同预设类型光源的匹配概率；

图像调整模块430，用于基于所述匹配概率确定所述目标图像对应的白平衡增益，以及基于所述白平衡增益对所述目标图像进行白平衡调整。

可选的，光源识别模块420包括：

第一处理单元，用于计算所述颜色通道数据和标定矩阵的乘积，得到第一颜色通道数据；

第二处理单元，用于对所述第一颜色通道数据进行一阶求导，得到第二颜色通道数据；

第三处理单元，用于对所述第二颜色通道数据进行降维处理，得到第三颜色通道数据；

第四处理单元，用于将所述第三颜色通道数据输入至光源分类模型中，得到所述目标图像对应的光源属于不同预设类型光源的匹配概率。

可选的，图像调整模块430包括：

第一计算单元，用于在各所述匹配概率中确定处于预设概率范围内的匹配概率；

第二计算单元，用于基于所述处于预设概率范围内的匹配概率确定所述处于预设概率范围内的匹配概率对应的目标类型光源各自对应的权重；

第三计算单元，用于获取各所述目标类型光源各自对应的标定增益；

第四计算单元，用于基于所述处于预设概率范围内的匹配概率对应的目标类型光源各自对应的权重以及各所述目标类型光源各自对应的标定增益，得到所述目标图像对应的白平衡增益。

可选的，第二计算单元包括：

光源类型确定单元，用于获取所述处于预设概率范围内的匹配概率各自对应的目标类型光源；

概率总和计算单元，用于计算各所述目标类型光源对应的匹配概率的总和；

权重计算单元，用于分别计算各所述目标类型光源对应的匹配概率与所述总和的比值，将各所述比值分别作为各所述目标类型光源各自对应的权重。

可选的，第三计算单元包括：

数据获取单元，用于分别获取相机在各所述目标类型光源下采集的各灰卡图像的光谱数据；

标定增益计算单元，用于基于所述各灰卡图像的光谱数据，确定各所述目标类型光源各自对应的标定增益，所述标定增益包括红色标定增益、蓝色标定增益以及绿色标定增益。

可选的，第四计算单元包括：

红色增益计算单元，用于基于各所述目标类型光源各自对应的权重分别对各所述目标类型光源各自对应的红色标定增益进行加权求和，得到所述目标图像对应的白平衡增益中的红色增益；

蓝色增益计算单元，用于基于各所述目标类型光源各自对应的权重分别对各所述目标类型光源各自对应的蓝色标定增益进行加权求和，得到所述目标图像对应的白平衡增益中的蓝色增益；

绿色增益计算单元，用于将预设定值作为所述目标图像对应白平衡增益中的绿色增益。

可选的，装置还包括：

样本获取模块，用于获取相机在各预设类型光源下采集的不同场景的样本图像的样本颜色通道数据；

模型训练模块，用于采用各所述样本颜色通道数据训练光源分类模型。

可选的，模型训练模块包括：

第一样本数据处理单元，用于分别计算各所述样本颜色通道数据和标定矩阵的乘积，得到各第一样本颜色通道数据；

第二样本数据处理单元，用于分别对所述各第一样本颜色通道数据进行一阶导数计算，得到各第二样本颜色通道数据；

第三样本数据处理单元，用于对所述各第二样本颜色通道数据进行降维处理，得到各第三样本颜色通道数据；

第四样本数据处理单元，用于采用所述各第三样本颜色通道数据对模型训练光源分类模型。

请参考图5，图5为本申请实施例提供的一种终端的结构示意图。如图5所示，终端1300可以包括：至少一个处理器1301，至少一个网络接口1304，用户接口1303，存储器1305，显示屏组件1306，至少一个通信总线1302。

其中，通信总线1302用于实现这些组件之间的连接通信。

其中，用户接口1303可以包括显示屏(Display)、摄像头(Camera)，可选用户接口1303还可以包括标准的有线接口、无线接口。

其中，网络接口1304可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。

其中，处理器1301可以包括一个或者多个处理核心。处理器1301利用各种借口和线路连接整个终端1300内的各个部分，通过运行或执行存储在存储器1305内的指令、程序、代码集或指令集，以及调用存储在存储器1305内的数据，执行终端1300的各种功能和处理数据。可选的，处理器1301可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)、可编程逻辑阵列(Programmable Logic Array，PLA)中的至少一种硬件形式来实现。处理器1301可集成中央处理器(Central Processing Unit，CPU)、图像处理器(Graphics Processing Unit，GPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责显示屏所需要显示的内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器1301中，单独通过一块芯片进行实现。

其中，存储器1305可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory)。可选的，该存储器1305包括非瞬时性计算机可读介质(non-transitory computer-readable storage medium)。存储器1305可用于存储指令、程序、代码、代码集或指令集。存储器1305可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现上述各个方法实施例的指令等；存储数据区可存储上面各个方法实施例中涉及到的数据等。存储器1305可选的还可以是至少一个位于远离前述处理器1301的存储装置。如图5所示，作为一种计算机存储介质的存储器1305中可以包括操作系统、网络通信模块、用户接口模块以及图像处理方法的程序。

在图5所示的终端1300中，用户接口1303主要用于为用户提供输入的接口，获取用户输入的数据；而处理器1301可以用于调用存储器1305中存储的图像处理方法的程序，并具体执行以下操作：

获取相机采集的目标图像的颜色通道数据；

将所述颜色通道数据输入至光源分类模型中，得到所述目标图像对应的光源属于不同预设类型光源的匹配概率；

基于所述匹配概率确定所述目标图像对应的白平衡增益，以及基于所述白平衡增益对所述目标图像进行白平衡调整。

在一个实施例中，处理器1301在执行所述将所述颜色通道数据输入至光源分类模型中，得到所述目标图像对应的光源属于不同预设类型光源的匹配概率的步骤时，具体执行以下操作：

计算所述颜色通道数据和标定矩阵的乘积，得到第一颜色通道数据；

对所述第一颜色通道数据进行一阶求导，得到第二颜色通道数据；

对所述第二颜色通道数据进行降维处理，得到第三颜色通道数据；

将所述第三颜色通道数据输入至光源分类模型中，得到所述目标图像对应的光源属于不同预设类型光源的匹配概率。

在一个实施例中，处理器1301在执行所述基于各所述匹配概率确定所述目标图像对应的白平衡增益，具体执行以下操作：

在各所述匹配概率中确定处于预设概率范围内的匹配概率；

基于所述处于预设概率范围内的匹配概率确定所述处于预设概率范围内的匹配概率对应的目标类型光源各自对应的权重；

获取各所述目标类型光源各自对应的标定增益；

基于所述处于预设概率范围内的匹配概率对应的目标类型光源各自对应的权重以及各所述目标类型光源各自对应的标定增益，得到所述目标图像对应的白平衡增益。

在一个实施例中，处理器1301在执行所述基于排列在前的预设数量的匹配概率确定所述预设数量的匹配概率对应的目标类型光源各自对应的权重，具体执行以下操作：

获取所述处于预设概率范围内的匹配概率各自对应的目标类型光源；

计算各所述目标类型光源对应的匹配概率的总和；

分别计算各所述目标类型光源对应的匹配概率与所述总和的比值，将各所述比值分别作为各所述目标类型光源各自对应的权重。

在一个实施例中，处理器1301在执行所述获取各所述目标类型光源各自对应的标定增益，具体执行以下操作：

分别获取相机在各所述目标类型光源下采集的各灰卡图像的光谱数据；

基于所述各灰卡图像的光谱数据，确定各所述目标类型光源各自对应的标定增益，所述标定增益包括红色标定增益、蓝色标定增益以及绿色标定增益。

在一个实施例中，处理器1301在执行所述基于所述预设数量的匹配概率对应的目标类型光源各自对应的权重以及各所述目标类型光源各自对应的标定增益，得到所述目标图像对应的白平衡增益的步骤时，具体执行以下操作：

基于各所述目标类型光源各自对应的权重分别对各所述目标类型光源各自对应的红色标定增益进行加权求和，得到所述目标图像对应的白平衡增益中的红色增益；

基于各所述目标类型光源各自对应的权重分别对各所述目标类型光源各自对应的蓝色标定增益进行加权求和，得到所述目标图像对应的白平衡增益中的蓝色增益；

将预设定值作为所述目标图像对应白平衡增益中的绿色增益。

在一个实施例中，处理器1301在执行所述获取相机采集的目标图像的颜色通道数据之前，还执行以下操作：

获取相机在各预设类型光源下采集的不同场景的样本图像的样本颜色通道数据；

采用各所述样本颜色通道数据训练光源分类模型。

在一个实施例中，处理器1301在执行所述采用各所述样本颜色通道数据对模型训练光源分类模型，具体执行以下操作：

分别计算各所述样本颜色通道数据和标定矩阵的乘积，得到各第一样本颜色通道数据；

分别对所述各第一样本颜色通道数据进行一阶导数计算，得到各第二样本颜色通道数据；

对所述各第二样本颜色通道数据进行降维处理，得到各第三样本颜色通道数据；

采用所述各第三样本颜色通道数据训练光源分类模型。

除此之外，本领域技术人员可以理解，上述附图所示出的终端1300的结构并不构成对终端1300的限定，用户终端可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。比如，终端1300中还包括射频电路、音频电路、WiFi组件、电源、蓝牙组件等部件，在此不再赘述。

本申请实施例还提供了一种计算机可读存储介质，该计算机存储介质存储有至少一条指令，所述至少一条指令用于被处理器执行以实现如上述各个实施例所述的图像处理方法。

本申请实施例还提供了一种计算机程序产品，该计算机程序产品存储有至少一条指令，所述至少一条指令由所述处理器加载并执行以实现如上各个实施例所述的图像处理方法。

本领域技术人员应该可以意识到，在上述一个或多个示例中，本申请实施例所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时，可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。以上所述仅为本申请的可选实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (11)

1.一种图像处理方法，其特征在于，所述方法包括：

获取相机采集的目标图像的颜色通道数据；

将所述颜色通道数据输入至光源分类模型中，得到所述目标图像对应的光源属于不同预设类型光源的匹配概率；

基于所述匹配概率确定所述目标图像对应的白平衡增益，以及基于所述白平衡增益对所述目标图像进行白平衡调整。

2.根据权利要求1所述的方法，其特征在于，所述将所述颜色通道数据输入至光源分类模型中，得到所述目标图像对应的光源属于不同预设类型光源的匹配概率，包括：

计算所述颜色通道数据和标定矩阵的乘积，得到第一颜色通道数据；

对所述第一颜色通道数据进行一阶求导，得到第二颜色通道数据；

对所述第二颜色通道数据进行降维处理，得到第三颜色通道数据；

将所述第三颜色通道数据输入至光源分类模型中，得到所述目标图像对应的光源属于不同预设类型光源的匹配概率。

3.根据权利要求1或2所述的方法，其特征在于，所述基于所述匹配概率确定所述目标图像对应的白平衡增益，包括：

在各所述匹配概率中确定处于预设概率范围内的匹配概率；

基于所述处于预设概率范围内的匹配概率确定所述处于预设概率范围内的匹配概率对应的目标类型光源各自对应的权重；

获取各所述目标类型光源各自对应的标定增益；

基于所述处于预设概率范围内的匹配概率对应的目标类型光源各自对应的权重以及各所述目标类型光源各自对应的标定增益，得到所述目标图像对应的白平衡增益。

4.根据权利要求3所述的方法，其特征在于，所述基于所述处于预设概率范围内的匹配概率确定所述处于预设概率范围内的匹配概率对应的目标类型光源各自对应的权重，包括：

获取所述处于预设概率范围内的匹配概率各自对应的目标类型光源；

计算各所述目标类型光源对应的匹配概率的总和；

分别计算各所述目标类型光源对应的匹配概率与所述总和的比值，将各所述比值分别作为各所述目标类型光源各自对应的权重。

5.根据权利要求3所述的方法，其特征在于，所述获取各所述目标类型光源各自对应的标定增益，包括：

分别获取相机在各所述目标类型光源下采集的各灰卡图像的光谱数据；

基于所述各灰卡图像的光谱数据，确定各所述目标类型光源各自对应的标定增益，所述标定增益包括红色标定增益、蓝色标定增益以及绿色标定增益。

6.根据权利要求5所述的方法，其特征在于，所述基于所述处于预设概率范围内的匹配概率对应的目标类型光源各自对应的权重以及各所述目标类型光源各自对应的标定增益，得到所述目标图像对应的白平衡增益，包括：

基于各所述目标类型光源各自对应的权重分别对各所述目标类型光源各自对应的红色标定增益进行加权求和，得到所述目标图像对应的白平衡增益中的红色增益；

基于各所述目标类型光源各自对应的权重分别对各所述目标类型光源各自对应的蓝色标定增益进行加权求和，得到所述目标图像对应的白平衡增益中的蓝色增益；

将预设定值作为所述目标图像对应白平衡增益中的绿色增益。

7.根据权利要求1或2所述的方法，其特征在于，所述获取相机采集的目标图像的颜色通道数据之前，还包括：

获取相机在各预设类型光源下采集的不同场景的样本图像的样本颜色通道数据；

采用各所述样本颜色通道数据训练光源分类模型。

8.根据权利要求7所述的方法，其特征在于，所述采用各所述样本颜色通道数据对模型训练光源分类模型，包括：

分别计算各所述样本颜色通道数据和标定矩阵的乘积，得到各第一样本颜色通道数据；

分别对所述各第一样本颜色通道数据进行一阶导数计算，得到各第二样本颜色通道数据；

对所述各第二样本颜色通道数据进行降维处理，得到各第三样本颜色通道数据；

采用所述各第三样本颜色通道数据训练光源分类模型。

9.一种图像处理装置，其特征在于，所述装置包括：

数据采集模块，用于获取相机采集的目标图像的颜色通道数据；

光源识别模块，用于将所述颜色通道数据输入至光源分类模型中，得到所述目标图像对应的光源属于不同预设类型光源的匹配概率；

图像调整模块，用于基于所述匹配概率确定所述目标图像对应的白平衡增益，以及基于所述白平衡增益对所述目标图像进行白平衡调整。

10.一种计算机存储介质，其特征在于，所述计算机存储介质存储有多条指令，所述指令适于由处理器加载并执行如权利要求1～8任意一项的方法步骤。

11.一种终端，其特征在于，包括：处理器和存储器；其中，所述存储器存储有计算机程序，所述计算机程序适于由所述处理器加载并执行如权利要求1～8任意一项的方法步骤。

Images