CN107578390B - 一种使用神经网络进行图像白平衡校正的方法及装置 - Google Patents

Abstract

一种使用神经网络进行图像白平衡校正的方法及装置，属于数字图像处理技术领域。包括：S1、采集原始图像；S2、环境光源色温的参数值计算；S3、对所述原始图像和所述待处理图像分别进行预处理得到训练用的预处理图像和第二预处理图像；S4、构建卷积神经网络模型；S5、训练卷积神经网络模型；S6、利用卷积神经网络计算得到红色通道增益值gainR及蓝色通道增益值gainB；S7、利用所述红色通道增益值gainR及蓝色通道增益值gainB对待处理图像进行白平衡校正，从而得到校正后的白平衡图像。该方法解决了现有技术中白平衡容易失效的技术问题，有效的提高了算法的计算速度，精确度得到很大提高，且该模型鲁棒性非常好。

Description

一种使用神经网络进行图像白平衡校正的方法及装置

技术领域

本发明属于数字图像处理技术领域，具体涉及一种使用神经网络进行图像白平衡校正的方法及装置。

背景技术

白平衡的基本概念是：在图像处理过程中，任何光源下，对原本材质为白色物体的图像进行色彩还原，去除外部光源色温对图像的影响，使其在照片上能显示成白色。

目前的自动白平衡算法可以分为两类，包括无监督和有监督算法。无监督白平衡通过提出一系列相关假设来估计光源色温，计算简单，但该类算法与假设息息相关。无监督白平衡算法，常见的有白色块假设和灰度世界假设。白色块假设光源颜色可以用图像的最大值来表示，要求场景中存在白点，自适应较差。灰度世界假设场景的平均反射是无色差的，即用图像RGB三通道的平均值作为色温估计，当场景出现大面积单色时，校正失效。

有监督白平衡算法通过机器学习的方法估计色温，由于有大量的先验知识，且没有假设条件的约束，效果上优于无监督算法，但计算复杂度比无监督算法高。

因此，需要一种更准确更通用便捷的图像白平衡校正方法。

发明内容

为解决现有技术中白平衡效正容易失效的技术问题，本发明提供了一种使用神经网络进行图像白平衡校正的方法及装置。

本发明的一个方面，提供了一种使用神经网络进行图像白平衡校正的方法，用于对待处理图像进行白平衡校正，包括：

S1、采集预定环境中包含标准色卡的原始图像；

S2、对所述原始图像中标准色卡白色色块进行参数提取及处理，得到代表环境光源色温的参数值；

S3、对所述原始图像和所述待处理图像分别进行图像分割、抽取、直方图拉伸、特征标准化预处理得到训练用的预处理图像和第二预处理图像；

S4、构建包括数据层、卷积层、降采样层、全连接层、输出层卷积神经网络模型；

S5、将所述训练用预处理图像及所述参数值输入卷积神经网络以对卷积神经网络模型进行训练，得到训练好的网络模型；

S6、将所述第二预处理图像送入卷积神经网络进行计算、处理，得到红色通道增益值gainR及蓝色通道增益值gainB；

S7、利用所述红色通道增益值gainR及蓝色通道增益值gainB对待处理图像进行白平衡校正，从而得到校正后的白平衡图像。

进一步的，所述S2具体为：提取所述原始图像中白色色块中每个像素点的红色R、绿色G、蓝色B分量值，并计算得到红色分量平均值avgR_gt、绿色分量平均值avgG_gt、蓝色分量平均值avgB_gt。

进一步的，所述S3中对原始图像和所述待处理图像，均按照如下方法进行处理，得到训练用预处理图像和第二预处理图像；处理方法具体如下：S31、将每幅raw格式图像用16bit保存为png格式文件；在每幅图中不包含标准色卡的区域中，将图片按照32*32尺寸不重复地任意分割为若干小块，生成若干32*32大小、位宽为16bit的png图像块集合；

S32、统计每个小图像块的最大值与最小值，并将每个小块按照各自的最大值与最小值分别进行全等级直方图拉伸(global histogram stretching)操作，将所得结果使用8bit的png格式存储；

具体的，将第i个小块中三个通道全部像素的最大值记为d，作为该小图像块的像素值上界；将最小值记为c，作为该小图像块的像素值下界；记b＝255，a＝0，分别表示输出图像的上下界数值；全等级直方图拉伸函数记为s＝T(r)，其中T(.)的解析表达式为：

其中，s_i(x,y)表示第i个图像块在(x,y)处的像素值经全等级直方图拉伸后的处理值；r_i(x,y)表示第i个图像块在(x,y)处的像素值；x表示第i个图像块横坐标位置值，x的取值范围为1到该图像块的宽度值，y表示第i个图像块纵坐标位置值，y得取值范围为1到该图像块的高度值；

对每个小图像块r_i，采用以上公式进行处理，最终得到拉伸后的预处理图像s_i；

S33、将所有8bit的小块s_i进行均值与标准差统计，对从全体图像块中统计得到的均值与标准差取平均值，得到总体均值与标准差，对每幅小图像块使用总体均值与标准差进行归一化操作，得到归一化后图像块；

记总体均值为s_mean，标准差记为std_mean，则对每个s_i，采取如下计算公式进行处理：

将得到的

作为训练数据输入网络。

进一步的，所述步骤S4中的卷神经网络模型包括：

第一层为数据层，为隐藏层提供经过预处理后得到的8bit，32*32*3的非重叠RGB图像；

第二层为卷积层，采用240个1*1*3的卷积核对第一层提供的数据进行卷积操作，得到240个32*32的特征映射图；

第三层为降采样层，将上层每个特征映射图按8*8区域、步进8的方式进行降采样，降采样采用max-pooling算法，即在每8*8区域中选取最大的值，作为降采样输出；最终得到的降采样图像为4*4的特征映射图，这样的特征映射图共有240个，共包含240*4*4＝3840个像素点；

第四层为全连接层，包含40个隐藏结点；其中每个结点与上层的240个4*4的特征映射图中所有的3840个像素都有连接；

第五层为作为输出层的全连接层，包含3个输出结点，其中每个结点与上一层的40个结点都有连接；

神经网络采用Eculid-loss作为损失函数，其公式如下：

其中N为样本数量，在本实施例一中N设置为3，表示RGB三个输出值，y_n是预测RGB值，

是原RGB值；

神经网络输出准确性度量定义为在单一光源下实际输出与期望输出的RGB三元组的角误差，其公式如下：

其中，y表示神经网络实际输出的gainR、gainB、gainG组成的三元向量；

表示神经网络实际期望输出的gainR、gainB、gainG组成的三元向量。

进一步的，在所述步骤S6中，将所述第二预处理图像送入卷积神经网络进行计算得到每个第二预处理小图像块的输出红色R、绿色G、蓝色B预测值；

将这些预测值取每个通道的中值，分别作为整幅图像的整体红色R、绿色G、蓝色B估计量；

利用整体红色R、绿色G、蓝色B估计量进行通道增益计算，得到红色通道增益值gainR及蓝色通道增益值gainB。

进一步的，所述S2具体为：提取所述原始图像中白色色块的红色R、绿色G、蓝色B分量值，并计算得到红色分量平均值avgR_gt、绿色分量平均值avgG_gt、蓝色分量平均值avgB_gt，根据红色分量平均值avgR_gt、绿色分量平均值avgG_gt、蓝色分量平均值avgB_gt计算得到红色增益分量gainR_gt、蓝色增益分量gainB_gt。

进一步的，所述S3中，对原始图像和所述待处理图像，均按照如下方法进行处理，得到训练用预处理图像和第二预处理图像；处理方法具体如下：

S31、将每幅raw格式图像用16bit保存为png格式文件；在每幅图中不包含标准色卡的区域中，将图片按照32*32尺寸不重复地任意分割为若干小块，生成若干32*32大小、位宽为16bit的png图像块集合；

S32、统计每个小图像块的最大值与最小值，并将每个小块按照各自的最大值与最小值分别进行全等级直方图拉伸(global histogram stretching)操作，将所得结果使用8bit的png格式存储；

具体的，将第i个小块中三个通道全部像素的最大值记为d，作为该小图像块的像素值上界；将最小值记为c，作为该小图像块的像素值下界；记b＝255，a＝0，分别表示输出图像的上下界数值；全等级直方图拉伸函数记为s＝T(r)，其中T(.)的解析表达式为：

其中，s_i(x,y)表示第i个图像块在(x,y)处的像素值经全等级直方图拉伸后的处理值；r_i(x,y)表示第i个图像块在(x,y)处的像素值；x表示第i个图像块横坐标位置值，x的取值范围为1到该图像块的宽度值，y表示第i个图像块纵坐标位置值，y得取值范围为1到该图像块的高度值；

对每个小图像块r_i，采用以上公式进行处理，最终得到拉伸后的预处理图像s_i；

S33、将所有8bit的小块s_i进行均值与标准差统计，对从全体图像块中统计得到的均值与标准差取平均值，得到总体均值与标准差，对每幅小图像块使用总体均值与标准差进行归一化操作，得到归一化后图像块；

记总体均值为s_mean，标准差记为std_mean，则对每个s_i，采取如下计算公式进行处理：

将得到的

作为训练数据输入网络。

进一步的，所述步骤S4中的卷神经网络模型包括：

第一层为数据层，为隐藏层提供经过预处理后得到的8bit，32*32*3的非重叠RGB图像；

第二层为卷积层，采用240个1*1*3的卷积核对第一层提供的数据进行卷积操作，得到240个32*32的特征映射图；

第三层为降采样层，将上层每个特征映射图按8*8区域、步进8的方式进行降采样，降采样采用max-pooling算法，即在每8*8区域中选取最大的值，作为降采样输出；最终得到的降采样图像为4*4的特征映射图，这样的特征映射图共有240个，共包含240*4*4＝3840个像素点；

第四层为全连接层，包含40个隐藏结点；其中每个结点与上层的240个4*4的特征映射图中所有的3840个像素都有连接；

第五层作为输出层的全连接层，包含两个输出结点，其中每个结点与上一层的40个结点都有连接；

神经网络采用Eculid-loss作为损失函数，其公式如下：

其中N为样本数量，在本实施例二中N设置为2，表示G/R和G/B两个增益输出值，y_n是预测gainR和gainB值，

是原gainR和gainB值；

神经网络输出准确性度量定义为在单一光源下实际输出与期望输出的gainR和gainB值二元组的角误差，其公式如下：

其中，y表示神经网络实际输出的gainR、gainB组成的二元向量；

表示神经网络实际期望输出的gainR、gainB组成的二元向量。

进一步的，所述S1中：

所述预定环境为：室内不同光照场景与室外不同光照场景；

所述采集的室内不同场景原始图像数量不少于100，室外不同场景原始图像数量不少于500；

所述标准色卡为24色标准色卡、或18％灰卡。

本发明的另一个方面，还提供了一种使用神经网络进行图像白平衡校正的装置，用于对待处理图像进行白平衡校正，包括：

图像采集模块,用于采集预定环境中包含标准色卡的原始图像；

色温参数计算模块，用于对所述原始图像中标准色卡白色色块进行参数提取及处理，得到代表环境光源色温的参数值；

图像预处理模块，用于对所述原始图像和所述待处理图像分别进行图像分割、抽取、直方图拉伸、特征标准化预处理得到训练用预处理图像和第二预处理图像；

神经网络模块，包括数据层、卷积层、降采样层、全连接层、输出层卷积神经网络模型；

神经网络训练模块，将所述训练用预处理图像及所述参数值输入卷积神经网络以对卷积神经网络模型进行训练，得到训练好的网络模型；

增益计算模块，用于将所述第二预处理图像送入卷积神经网络进行计算、处理，得到红色通道增益值gainR及蓝色通道增益值gainB；

白平衡处理模块，用于利用所述红色通道增益值gainR及蓝色通道增益值gainB对待处理图像进行白平衡校正，从而得到校正后的白平衡图像。

根据本发明的技术方案，通过采集大量的不同场景下的实景原始图像作为素材，对这些实景原始图像中标准色卡白色色块进行参数提取及处理，得到代表环境光源色温的参数值；再对所述原始图像和所述待处理图像分别进行图像分割、抽取、直方图拉伸、特征标准化预处理得到训练用预处理图像和第二预处理图像；之后，将所述训练用预处理图像及所述参数值输入卷积神经网络以对卷积神经网络模型进行训练，得到训练好的网络模型；这样，只需第二预处理图像，将其输入到训练好的卷积神经网络中，即可得到待处理图像进行白平衡校正时需要的校正参数。

因为输入神经网络的是经过图像分割、直方图拉伸、特征标准化预处理后图像，因此大大的提高了神经网络模型训练的速度，同时有效提高了算法的计算速度。而且，采集的原始图像覆盖了不同的使用场景，通过卷积神经网络对图像的RGB值进行拟合，构建出在图像白平衡调整中所需要的误差先验信息，精确度得到很大提高，同时，该模型鲁棒性非常好。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种使用神经网络进行图像白平衡校正的方法的流程图；

图2是本发明实施例提供的图像预处理方法流程图；

图3是本发明实施例提供的卷积神经网络结构示意图；

图4是本发明实施例提供的一种使用神经网络进行图像白平衡校正的装置的结构图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本发明进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。

为了提高白平衡校正的准确性，本发明提出一种基于深度学习的图像白平衡算法，通过卷积神经网络对图像的标准化RGB值进行拟合，构建出在图像白平衡调整中所需要的误差先验信息，并用此模型对待调图像进行运算并得出调整参数，白平衡校正效果得到明显改善。

具体实施例一

本发明使用神经网络进行图像白平衡校正，图1是本发明实施例的系统流程图，包括如下步骤：

S1：采集预定环境中包含标准色卡的原始图像；

图像采集步骤中，使用高像素相机进行取景，预定环境包括室内不同色温光照(国际标准人工日光D65、模拟太阳光D50、欧洲、日本、中国商店光源TL84、模拟美国商店灯光CWF、家庭酒店用灯F等)场景与室外不同天气(晴天、阴天)不同时间段(早晨、上午、中午、傍晚等)场景两组，其中室内不同场景数量不少于100，室外不同场景数量不少于500，以使所拍摄场景包括各种不同条件的光照及亮度。在每个场景中，需要放置一块标准色卡，所述标准色卡可以为24色标准色卡、18％灰卡等，以便于对拍摄到的图像进行光照测定，所拍摄图像采用raw格式进行无损存储。

S2、对所述原始图像中标准色卡白色色块进行参数提取及处理，得到代表环境光源色温的参数值；

对所采集的图像中的标准色卡进行测定，选取其中的白块，提取所述原始图像中白色色块中每个像素点的红色R、绿色G、蓝色B分量值，并计算得到红色分量平均值avgR_gt、绿色分量平均值avgG_gt、蓝色分量平均值avgB_gt作为图像的ground truth数值。

S3：对所述原始图像和所述待处理图像分别进行图像分割、抽取、直方图拉伸、特征标准化预处理得到训练用的预处理图像和第二预处理图像；

对原始图像和所述待处理图像，均按照如图2所示方法进行处理，得到训练用预处理图像和第二预处理图像；

S31、图像分块：将每幅raw格式图像用16bit保存为png格式文件；在每幅图中不包含24色标准色卡的区域中，将图片按照32*32尺寸不重复地任意分割为若干小块，生成若干32*32大小、位宽为16bit的png图像块集合；

S32、图像直方图拉伸：统计每个小图像块的最大值与最小值，并将每个小块按照各自的最大值与最小值分别进行全等级直方图拉伸(global histogram stretching)操作，将所得结果使用8bit的png格式存储。

具体的，将第i个小块中全部像素的三个通道的最大值记为d，作为该小图像块的像素值上界；将最小值记为c，作为该小图像块的像素值下界。记b＝255，a＝0，分别表示输出图像的上下界数值；全等级直方图拉伸函数记为s＝T(r)，其中T(.)的解析表达式为：

其中，s_i(x,y)表示第i个图像块在(x,y)处的像素值经全等级直方图拉伸后的处理值；r_i(x,y)表示第i个图像块在(x,y)处的像素值；x表示第i个图像块横坐标位置值，x的取值范围为1到该图像块的宽度值，y表示第i个图像块纵坐标位置值，y得取值范围为1到该图像块的高度值；

对每个小图像块r_i，采用以上公式进行处理，最终得到拉伸后的预处理图像s_i；

S33、图像归一化：将所有8bit的小块si进行均值与标准差统计，对从全体图像块中统计得到的均值与标准差取平均值，得到总体均值与标准差，对每幅小图像块使用总体均值与标准差进行归一化操作得到归一化后图像块数据；

记总体均值为s_mean，标准差记为std_mean，则对每个s_i，采取如下计算公式进行处理：

将得到的

作为训练数据输入卷积神经网络。

S4：构建包括数据层、卷积层、降采样层、全连接层、输出层卷积神经网络模型；

本发明使用卷积神经网络来为图像色彩进行估计。如图3所示，所采用的卷积神经网络由五个层组成，各个层的类别与结点设置描述如下：

第一层为数据层，为隐藏层提供经过预处理后得到的8bit，32*32*3的非重叠RGB图像；

第二层为卷积层，采用240个1*1*3的卷积核对第一层提供的数据进行卷积操作，得到240个32*32的特征映射图；

第三层为降采样层，将上层每个特征映射图按8*8区域、步进8的方式进行降采样，降采样采用max-pooling算法，即在每8*8区域中选取最大的值，作为降采样输出；最终得到的降采样图像为4*4的特征映射图，这样的特征映射图共有240个，共包含240*4*4＝3840个像素点；

第四层为全连接层，包含40个隐藏结点；其中每个结点与上层的240个4*4的特征映射图中所有的3840个像素都有连接；

第五层为作为输出层的全连接层，包含3个输出结点，其中每个结点与上一层的40个结点都有连接；

神经网络采用Eculid-loss作为损失函数，其公式如下：

其中N为样本数量，在本实施例一中N设置为3，表示RGB三个输出值，y_n是预测RGB值，

是原RGB值；

神经网络输出准确性度量定义为在单一光源下实际输出与期望输出的RGB三元组的角误差，其公式如下：

其中，y表示神经网络实际输出的gainR、gainB、gainG组成的三元向量；

表示神经网络实际期望输出的gainR、gainB、gainG组成的三元向量。

S5、将所述训练用预处理图像及所述参数值输入卷积神经网络以对卷积神经网络模型进行训练，得到训练好的网络模型；

在网络设置好后，使用在S3中得到的训练用预处理图像及S2中得到的相应的代表环境光源色温的参数值对神经网络进行训练。在经过若干次迭代之后，得到训练好的网络模型，作为预测工具。

S6：将所述第二预处理图像送入训练好的卷积神经网络进行计算、处理，得到红色通道增益值gainR及蓝色通道增益值gainB；

在预测模型训练好后，将待测照片也进行相同的图像分割、抽取、直方图拉伸、特征标准化预处理，得到若干32*32*3的小图像块即第二预处理图像。将这些小图像块送入网络进行计算，最终得到每个预测小图像块的输出RGB预测值。将这些预测值取每个通道的中值，分别作为整幅图像的整体红色R、绿色G、蓝色B估计量；利用整体红色R、绿色G、蓝色B估计量进行通道增益计算，得到红色通道增益值gainR及蓝色通道增益值gainB；

对获取到的RGB均值进行增益计算，公式如下：

公式中，R_med为整体红色R估计量、G_med整体绿色G估计量、B_med整体蓝色B估计量。

S7、利用所述红色通道增益值gainR及蓝色通道增益值gainB对待处理图像进行白平衡校正，从而得到校正后的白平衡图像；

根据gainR、gainB值对待校正图像进行白平衡校正。即原图的R通道值乘以gainR值，B通道值乘以gainB值，从而得到校正后的白平衡图像。

本实施例一的有益效果是：

1、因为输入神经网络的是经过图像分割、直方图拉伸、特征标准化预处理后图像，因此大大的提高了神经网络模型训练的速度，同时有效提高了算法的计算速度。

2、采集的原始图像覆盖了不同的使用场景，通过步骤S4建立预测模型，通过卷积神经网络对图像的RGB值进行拟合，构建出在图像白平衡调整中所需要的误差先验信息，精确度得到很大提高，同时，该模型鲁棒性非常好。

具体实施例二：

与实施例一相比较，本发明还采用了一种更优的预测模型，区别在于步骤S2、S4、S6上。

S2、对所述原始图像中标准色卡白色色块进行参数提取及处理，得到代表环境光源色温的参数值；

具体的，提取所述原始图像中白色色块的红色R、绿色G、蓝色B分量值，并计算得到红色分量平均值avgR_gt、绿色分量平均值avgG_gt、蓝色分量平均值avgB_gt，根据红色分量平均值avgR_gt、绿色分量平均值avgG_gt、蓝色分量平均值avgB_gt计算得到红色增益分量gainR_gt、蓝色增益分量gainB_gt；公式如下：

gainR_gt＝avgG_gt/avgR_gt

gainB_gt＝avgG_gt/avgB_gt。

S4:构建包括数据层、卷积层、降采样层、全连接层、输出层卷积神经网络模型；

该预测模型的第一层至第四层结构同实施例一相同，区别点在于实施例二中预测模型的第五层，实施例二采用G/R和G/B值作为预测值。

第五层作为输出层的全连接层，包含两个输出结点，其中每个结点与上一层的40个结点都有连接。

神经网络采用Eculid-loss作为损失函数，其公式如下：

其中N为样本数量，在本实施例二中N设置为2，表示G/R和G/B两个增益输出值，y_n是预测gainR和gainB值，

是原gainR和gainB值。

神经网络输出准确性度量定义为在单一光源下实际输出与期望输出的gainR和gainB值二元组的角误差，其公式如下：

其中，y表示神经网络实际输出的gainR、gainB组成的二元向量；

表示神经网络实际期望输出的gainR、gainB组成的二元向量。

S5、将所述训练用预处理图像及所述参数值红色增益分量gainR_gt、蓝色增益分量gainB_gt输入卷积神经网络以对卷积神经网络模型进行训练，得到训练好的网络模型；

S6、将所述第二预处理图像送入训练好的卷积神经网络进行计算、处理，直接得到红色通道增益值gainR及蓝色通道增益值gainB，将这些预测值分别取gainR和gainB的中值，分别作为整幅图像的整体gainR和gainB估计量。

S7、利用所述红色通道增益值gainR及蓝色通道增益值gainB对待处理图像进行白平衡校正，从而得到校正后的白平衡图像。

根据步骤S6得到的gainR、gainB值对样本照片进行白平衡校正。即原图的R通道值乘以gainR值，B通道值乘以gainB值，从而得到校正后的白平衡图像。

本实施例二的有益效果是：

1、具有实施例一的精确度和鲁棒性优势

2、与实施例一相比，卷积神经网络直接预测得到gainR和gainB，效率更高。

本发明的另一个方面，如图4所示，还提供了一种使用神经网络进行图像白平衡校正的装置，用于对待处理图像进行白平衡校正，包括：

图像采集模块1,用于采集预定环境中包含标准色卡的原始图像；

色温参数计算模块2，用于对所述原始图像中标准色卡白色色块进行参数提取及处理，得到代表环境光源色温的参数值；

图像预处理模块3，用于对所述原始图像和所述待处理图像分别进行图像分割、抽取、直方图拉伸、特征标准化预处理得到训练用的预处理图像和第二预处理图像；

神经网络模块4，包括数据层、卷积层、降采样层、全连接层、输出层卷积神经网络模型；

神经网络训练模块5，将所述训练用预处理图像及所述参数值输入卷积神经网络以对卷积神经网络模型进行训练，得到训练好的网络模型；

增益计算模块6，用于将所述第二预处理图像送入卷积神经网络进行计算、处理，得到红色通道增益值gainR及蓝色通道增益值gainB；

白平衡处理模块7，用于利用所述红色通道增益值gainR及蓝色通道增益值gainB对待处理图像进行白平衡校正，从而得到校正后的白平衡图像。

根据本发明的技术方案，通过采集大量的不同场景下的实景原始图像作为素材，对这些实景原始图像中标准色卡白色色块进行参数提取及处理，得到代表环境光源色温的参数值；再对所述原始图像和所述待处理图像分别进行图像分割、抽取、直方图拉伸、特征标准化预处理得到训练用预处理图像和第二预处理图像；之后，将所述训练用预处理图像及所述参数值输入卷积神经网络以对卷积神经网络模型进行训练，得到训练好的网络模型；这样，只需第二预处理图像，将其输入到训练好的卷积神经网络中，即可得到待处理图像进行白平衡校正时需要的校正参数。

因为输入神经网络的是经过图像分割、直方图拉伸、特征标准化预处理后图像，因此大大的提高了神经网络模型训练的速度，同时有效提高了算法的计算速度。而且，采集的原始图像覆盖了不同的使用场景，通过卷积神经网络对图像的RGB值进行拟合，构建出在图像白平衡调整中所需要的误差先验信息，精确度得到很大提高，同时，该模型鲁棒性非常好。

应当理解的是，本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理，而不构成对本发明的限制。因此，在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。此外，本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。

Claims (7)

1.一种使用神经网络进行图像白平衡校正的方法，用于对待处理图像进行白平衡校正，其特征在于，包括：

S1、采集预定环境中包含标准色卡的原始图像；

S2、对所述原始图像中标准色卡白色色块进行参数提取及处理，得到代表环境光源色温的参数值；

S3、对所述原始图像和所述待处理图像分别进行图像分割、抽取、直方图拉伸、特征标准化预处理得到训练用的预处理图像和第二预处理图像；

S4、构建包括数据层、卷积层、降采样层、全连接层、输出层的卷积神经网络模型；

S5、将所述训练用预处理图像及所述参数值输入卷积神经网络以对卷积神经网络模型进行训练，得到训练好的网络模型；

S6、将所述第二预处理图像送入训练好的卷积神经网络进行计算、处理，得到红色通道增益值gainR及蓝色通道增益值gainB；

S7、利用所述红色通道增益值gainR及蓝色通道增益值gainB对待处理图像进行白平衡校正，从而得到校正后的白平衡图像；

其中，所述S2具体为：提取所述原始图像中白色色块中每个像素点的红色R、绿色G、蓝色B分量值，并计算得到红色分量平均值avgR_gt、绿色分量平均值avgG_gt、蓝色分量平均值avgB_gt；

所述S3中，对原始图像和所述待处理图像，均按照如下方法进行处理，得到训练用的预处理图像和第二预处理图像；处理方法具体如下：

S31、将每幅raw格式图像用16bit保存为png格式文件；在每幅图中不包含标准色卡的区域中，将图片按照32*32尺寸不重复地任意分割为若干小块，生成若干32*32大小、位宽为16bit的png图像块集合；

S32、统计每个小图像块的最大值与最小值，并将每个小块按照各自的最大值与最小值分别进行全等级直方图拉伸操作，将所得结果使用8bit的png格式存储；

具体的，将第i个小块中三个通道全部像素的最大值记为d_i，作为该小图像块的像素值上界；将最小值记为c_i，作为该小图像块的像素值下界；记b＝255，a＝0，分别表示输出图像的上下界数值；全等级直方图拉伸函数记为s＝T(r)，其中T(.)的解析表达式为：

其中，s_i(x,y)表示第i个图像块在(x,y)处的像素值经全等级直方图拉伸后的处理值；r_i(x,y)表示第i个图像块在(x,y)处的像素值；x表示第i个图像块横坐标位置值，x的取值范围为1到该图像块的宽度值，y表示第i个图像块纵坐标位置值，y得取值范围为1到该图像块的高度值；

对每个小图像块r_i，采用以上公式进行处理，最终得到拉伸后的预处理图像s_i；

S33、将所有8bit的小块s_i进行均值与标准差统计，对从全体图像块中统计得到的均值与标准差取平均值，得到总体均值与标准差，对每幅小图像块使用总体均值与标准差进行归一化操作，得到归一化后图像块数据；

记总体均值为s_mean，标准差记为std_mean，则对每个s_i，采取如下计算公式进行处理：

将得到的s′_i作为训练数据输入卷积神经网络。

2.根据权利要求1所述的方法，其特征在于，所述步骤S4中的卷神经网络模型包括：

第一层为数据层，为隐藏层提供经过预处理后得到的8bit，32*32*3的非重叠RGB图像；

第二层为卷积层，采用240个1*1*3的卷积核对第一层提供的数据进行卷积操作，得到240个32*32的特征映射图；

第三层为降采样层，将上层每个特征映射图按8*8区域、步进8的方式进行降采样，降采样采用max-pooling算法，即在每8*8区域中选取最大的值，作为降采样输出；最终得到的降采样图像为4*4的特征映射图，这样的特征映射图共有240个，共包含240*4*4＝3840个像素点；

第四层为全连接层，包含40个隐藏结点；其中每个结点与上层的240个4*4的特征映射图中所有的3840个像素都有连接；

第五层为作为输出层的全连接层，包含3个输出结点，其中每个结点与上一层的40个结点都有连接；

神经网络采用Eculid-loss作为损失函数，其公式如下：

其中N为训练样本数量，y_n和

的维数为3，表示RGB三个输出值，y_n是预测RGB值，

是原RGB值；

神经网络输出准确性度量定义为在单一光源下实际输出与期望输出的RGB三元组的角误差，其公式如下：

其中，y表示神经网络实际输出的gainR、gainB、gainG组成的三元向量；

表示神经网络实际期望输出的gainR、gainB、gainG组成的三元向量。

3.根据权利要求2所述的方法，其特征在于，在所述步骤S6中，将所述第二预处理图像送入卷积神经网络进行计算得到每个第二预处理小图像块的输出红色R、绿色G、蓝色B预测值；

将这些预测值取每个通道的中值，分别作为整幅图像的整体红色R、绿色G、蓝色B估计量；

利用整体红色R、绿色G、蓝色B估计量进行通道增益计算，得到红色通道增益值gainR及蓝色通道增益值gainB。

4.根据权利要求1所述的方法，其特征在于，所述S2具体为：提取所述原始图像中白色色块的红色R、绿色G、蓝色B分量值，并计算得到红色分量平均值avgR_gt、绿色分量平均值avgG_gt、蓝色分量平均值avgB_gt，根据红色分量平均值avgR_gt、绿色分量平均值avgG_gt、蓝色分量平均值avgB_gt计算得到红色增益分量gainR_gt、蓝色增益分量gainB_gt。

5.根据权利要求4所述的方法，其特征在于，所述步骤S4中的卷神经网络模型包括：

第一层为数据层，为隐藏层提供经过预处理后得到的8bit，32*32*3的非重叠RGB图像；

第二层为卷积层，采用240个1*1*3的卷积核对第一层提供的数据进行卷积操作，得到240个32*32的特征映射图；

第三层为降采样层，将上层每个特征映射图按8*8区域、步进8的方式进行降采样，降采样采用max-pooling算法，即在每8*8区域中选取最大的值，作为降采样输出；最终得到的降采样图像为4*4的特征映射图，这样的特征映射图共有240个，共包含240*4*4＝3840个像素点；

第四层为全连接层，包含40个隐藏结点；其中每个结点与上层的240个4*4的特征映射图中所有的3840个像素都有连接；

第五层作为输出层的全连接层，包含两个输出结点，其中每个结点与上一层的40个结点都有连接；

神经网络采用Eculid-loss作为损失函数，其公式如下：

其中N为训练样本数量，y_n和

的维数为2，表示G/R和G/B两个增益输出值，y_n是预测gainR和gainB值，

是原gainR和gainB值；

神经网络输出准确性度量定义为在单一光源下实际输出与期望输出的gainR和gainB值二元组的角误差，其公式如下：

其中，y表示神经网络实际输出的gainR、gainB组成的二元向量；

表示神经网络实际期望输出的gainR、gainB组成的二元向量。

6.根据权利要求1-5任一项所述的方法，其特征在于，所述S1中：

所述预定环境为：室内不同光照场景与室外不同光照场景；

所述采集的室内不同场景原始图像数量不少于100，室外不同场景原始图像数量不少于500；

所述标准色卡为24色标准色卡、或18％灰卡。

7.一种使用神经网络进行图像白平衡校正的装置，用于对待处理图像进行白平衡校正，其特征在于，包括：

图像采集模块,用于采集预定环境中包含标准色卡的原始图像；

色温参数计算模块，用于对所述原始图像中标准色卡白色色块进行参数提取及处理，得到代表环境光源色温的参数值；

图像预处理模块，用于对所述原始图像和所述待处理图像分别进行图像分割、抽取、直方图拉伸、特征标准化预处理得到训练用预处理图像和第二预处理图像；

神经网络模块，包括数据层、卷积层、降采样层、全连接层、输出层的卷积神经网络模型；

神经网络训练模块，将所述训练用预处理图像及所述参数值输入卷积神经网络以对卷积神经网络模型进行训练，得到训练好的网络模型；

增益计算模块，用于将所述第二预处理图像送入卷积神经网络进行计算、处理，得到红色通道增益值gainR及蓝色通道增益值gainB；白平衡处理模块，用于利用所述红色通道增益值gainR及蓝色通道增益值gainB对待处理图像进行白平衡校正，从而得到校正后的白平衡图像；

其中，所述色温参数计算模块包括：像素点RGB分量值提取单元，用于提取所述原始图像中白色色块中每个像素点的红色R、绿色G、蓝色B分量值，并计算得到红色分量平均值avgR_gt、绿色分量平均值avgG_gt、蓝色分量平均值avgB_gt；

所述图像预处理模块包括：

第一预处理单元，用于将每幅raw格式图像用16bit保存为png格式文件；在每幅图中不包含标准色卡的区域中，将图片按照32*32尺寸不重复地任意分割为若干小块，生成若干32*32大小、位宽为16bit的png图像块集合；

第二预处理单元，用于统计每个小图像块的最大值与最小值，并将每个小块按照各自的最大值与最小值分别进行全等级直方图拉伸操作，将所得结果使用8bit的png格式存储；具体的，将第i个小块中三个通道全部像素的最大值记为d_i，作为该小图像块的像素值上界；将最小值记为c_i，作为该小图像块的像素值下界；记b＝255，a＝0，分别表示输出图像的上下界数值；全等级直方图拉伸函数记为s＝T(r)，其中T(.)的解析表达式为：

其中，s_i(x,y)表示第i个图像块在(x,y)处的像素值经全等级直方图拉伸后的处理值；r_i(x,y)表示第i个图像块在(x,y)处的像素值；x表示第i个图像块横坐标位置值，x的取值范围为1到该图像块的宽度值，y表示第i个图像块纵坐标位置值，y得取值范围为1到该图像块的高度值；

对每个小图像块r_i，采用以上公式进行处理，最终得到拉伸后的预处理图像s_i；

第三预处理单元，用于将所有8bit的小块s_i进行均值与标准差统计，对从全体图像块中统计得到的均值与标准差取平均值，得到总体均值与标准差，对每幅小图像块使用总体均值与标准差进行归一化操作，得到归一化后图像块数据；

记总体均值为s_mean，标准差记为std_mean，则对每个s_i，采取如下计算公式进行处理：

将得到的s′_i作为训练数据输入卷积神经网络。

Images