CN107578390B - 一种使用神经网络进行图像白平衡校正的方法及装置 - Google Patents
一种使用神经网络进行图像白平衡校正的方法及装置 Download PDFInfo
- Publication number
- CN107578390B CN107578390B CN201710826612.XA CN201710826612A CN107578390B CN 107578390 B CN107578390 B CN 107578390B CN 201710826612 A CN201710826612 A CN 201710826612A CN 107578390 B CN107578390 B CN 107578390B
- Authority
- CN
- China
- Prior art keywords
- image
- value
- layer
- neural network
- image block
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
- Facsimile Image Signal Circuits (AREA)
Abstract
一种使用神经网络进行图像白平衡校正的方法及装置,属于数字图像处理技术领域。包括:S1、采集原始图像;S2、环境光源色温的参数值计算;S3、对所述原始图像和所述待处理图像分别进行预处理得到训练用的预处理图像和第二预处理图像;S4、构建卷积神经网络模型;S5、训练卷积神经网络模型;S6、利用卷积神经网络计算得到红色通道增益值gainR及蓝色通道增益值gainB;S7、利用所述红色通道增益值gainR及蓝色通道增益值gainB对待处理图像进行白平衡校正,从而得到校正后的白平衡图像。该方法解决了现有技术中白平衡容易失效的技术问题,有效的提高了算法的计算速度,精确度得到很大提高,且该模型鲁棒性非常好。
Description
技术领域
本发明属于数字图像处理技术领域,具体涉及一种使用神经网络进行图像白平衡校正的方法及装置。
背景技术
白平衡的基本概念是:在图像处理过程中,任何光源下,对原本材质为白色物体的图像进行色彩还原,去除外部光源色温对图像的影响,使其在照片上能显示成白色。
目前的自动白平衡算法可以分为两类,包括无监督和有监督算法。无监督白平衡通过提出一系列相关假设来估计光源色温,计算简单,但该类算法与假设息息相关。无监督白平衡算法,常见的有白色块假设和灰度世界假设。白色块假设光源颜色可以用图像的最大值来表示,要求场景中存在白点,自适应较差。灰度世界假设场景的平均反射是无色差的,即用图像RGB三通道的平均值作为色温估计,当场景出现大面积单色时,校正失效。
有监督白平衡算法通过机器学习的方法估计色温,由于有大量的先验知识,且没有假设条件的约束,效果上优于无监督算法,但计算复杂度比无监督算法高。
因此,需要一种更准确更通用便捷的图像白平衡校正方法。
发明内容
为解决现有技术中白平衡效正容易失效的技术问题,本发明提供了一种使用神经网络进行图像白平衡校正的方法及装置。
本发明的一个方面,提供了一种使用神经网络进行图像白平衡校正的方法,用于对待处理图像进行白平衡校正,包括:
S1、采集预定环境中包含标准色卡的原始图像;
S2、对所述原始图像中标准色卡白色色块进行参数提取及处理,得到代表环境光源色温的参数值;
S3、对所述原始图像和所述待处理图像分别进行图像分割、抽取、直方图拉伸、特征标准化预处理得到训练用的预处理图像和第二预处理图像;
S4、构建包括数据层、卷积层、降采样层、全连接层、输出层卷积神经网络模型;
S5、将所述训练用预处理图像及所述参数值输入卷积神经网络以对卷积神经网络模型进行训练,得到训练好的网络模型;
S6、将所述第二预处理图像送入卷积神经网络进行计算、处理,得到红色通道增益值gainR及蓝色通道增益值gainB;
S7、利用所述红色通道增益值gainR及蓝色通道增益值gainB对待处理图像进行白平衡校正,从而得到校正后的白平衡图像。
进一步的,所述S2具体为:提取所述原始图像中白色色块中每个像素点的红色R、绿色G、蓝色B分量值,并计算得到红色分量平均值avgRgt、绿色分量平均值avgGgt、蓝色分量平均值avgBgt。
进一步的,所述S3中对原始图像和所述待处理图像,均按照如下方法进行处理,得到训练用预处理图像和第二预处理图像;处理方法具体如下:S31、将每幅raw格式图像用16bit保存为png格式文件;在每幅图中不包含标准色卡的区域中,将图片按照32*32尺寸不重复地任意分割为若干小块,生成若干32*32大小、位宽为16bit的png图像块集合;
S32、统计每个小图像块的最大值与最小值,并将每个小块按照各自的最大值与最小值分别进行全等级直方图拉伸(global histogram stretching)操作,将所得结果使用8bit的png格式存储;
具体的,将第i个小块中三个通道全部像素的最大值记为d,作为该小图像块的像素值上界;将最小值记为c,作为该小图像块的像素值下界;记b=255,a=0,分别表示输出图像的上下界数值;全等级直方图拉伸函数记为s=T(r),其中T(.)的解析表达式为:
其中,si(x,y)表示第i个图像块在(x,y)处的像素值经全等级直方图拉伸后的处理值;ri(x,y)表示第i个图像块在(x,y)处的像素值;x表示第i个图像块横坐标位置值,x的取值范围为1到该图像块的宽度值,y表示第i个图像块纵坐标位置值,y得取值范围为1到该图像块的高度值;
对每个小图像块ri,采用以上公式进行处理,最终得到拉伸后的预处理图像si;
S33、将所有8bit的小块si进行均值与标准差统计,对从全体图像块中统计得到的均值与标准差取平均值,得到总体均值与标准差,对每幅小图像块使用总体均值与标准差进行归一化操作,得到归一化后图像块;
记总体均值为smean,标准差记为stdmean,则对每个si,采取如下计算公式进行处理:
进一步的,所述步骤S4中的卷神经网络模型包括:
第一层为数据层,为隐藏层提供经过预处理后得到的8bit,32*32*3的非重叠RGB图像;
第二层为卷积层,采用240个1*1*3的卷积核对第一层提供的数据进行卷积操作,得到240个32*32的特征映射图;
第三层为降采样层,将上层每个特征映射图按8*8区域、步进8的方式进行降采样,降采样采用max-pooling算法,即在每8*8区域中选取最大的值,作为降采样输出;最终得到的降采样图像为4*4的特征映射图,这样的特征映射图共有240个,共包含240*4*4=3840个像素点;
第四层为全连接层,包含40个隐藏结点;其中每个结点与上层的240个4*4的特征映射图中所有的3840个像素都有连接;
第五层为作为输出层的全连接层,包含3个输出结点,其中每个结点与上一层的40个结点都有连接;
神经网络采用Eculid-loss作为损失函数,其公式如下:
神经网络输出准确性度量定义为在单一光源下实际输出与期望输出的RGB三元组的角误差,其公式如下:
进一步的,在所述步骤S6中,将所述第二预处理图像送入卷积神经网络进行计算得到每个第二预处理小图像块的输出红色R、绿色G、蓝色B预测值;
将这些预测值取每个通道的中值,分别作为整幅图像的整体红色R、绿色G、蓝色B估计量;
利用整体红色R、绿色G、蓝色B估计量进行通道增益计算,得到红色通道增益值gainR及蓝色通道增益值gainB。
进一步的,所述S2具体为:提取所述原始图像中白色色块的红色R、绿色G、蓝色B分量值,并计算得到红色分量平均值avgRgt、绿色分量平均值avgGgt、蓝色分量平均值avgBgt,根据红色分量平均值avgRgt、绿色分量平均值avgGgt、蓝色分量平均值avgBgt计算得到红色增益分量gainRgt、蓝色增益分量gainBgt。
进一步的,所述S3中,对原始图像和所述待处理图像,均按照如下方法进行处理,得到训练用预处理图像和第二预处理图像;处理方法具体如下:
S31、将每幅raw格式图像用16bit保存为png格式文件;在每幅图中不包含标准色卡的区域中,将图片按照32*32尺寸不重复地任意分割为若干小块,生成若干32*32大小、位宽为16bit的png图像块集合;
S32、统计每个小图像块的最大值与最小值,并将每个小块按照各自的最大值与最小值分别进行全等级直方图拉伸(global histogram stretching)操作,将所得结果使用8bit的png格式存储;
具体的,将第i个小块中三个通道全部像素的最大值记为d,作为该小图像块的像素值上界;将最小值记为c,作为该小图像块的像素值下界;记b=255,a=0,分别表示输出图像的上下界数值;全等级直方图拉伸函数记为s=T(r),其中T(.)的解析表达式为:
其中,si(x,y)表示第i个图像块在(x,y)处的像素值经全等级直方图拉伸后的处理值;ri(x,y)表示第i个图像块在(x,y)处的像素值;x表示第i个图像块横坐标位置值,x的取值范围为1到该图像块的宽度值,y表示第i个图像块纵坐标位置值,y得取值范围为1到该图像块的高度值;
对每个小图像块ri,采用以上公式进行处理,最终得到拉伸后的预处理图像si;
S33、将所有8bit的小块si进行均值与标准差统计,对从全体图像块中统计得到的均值与标准差取平均值,得到总体均值与标准差,对每幅小图像块使用总体均值与标准差进行归一化操作,得到归一化后图像块;
记总体均值为smean,标准差记为stdmean,则对每个si,采取如下计算公式进行处理:
进一步的,所述步骤S4中的卷神经网络模型包括:
第一层为数据层,为隐藏层提供经过预处理后得到的8bit,32*32*3的非重叠RGB图像;
第二层为卷积层,采用240个1*1*3的卷积核对第一层提供的数据进行卷积操作,得到240个32*32的特征映射图;
第三层为降采样层,将上层每个特征映射图按8*8区域、步进8的方式进行降采样,降采样采用max-pooling算法,即在每8*8区域中选取最大的值,作为降采样输出;最终得到的降采样图像为4*4的特征映射图,这样的特征映射图共有240个,共包含240*4*4=3840个像素点;
第四层为全连接层,包含40个隐藏结点;其中每个结点与上层的240个4*4的特征映射图中所有的3840个像素都有连接;
第五层作为输出层的全连接层,包含两个输出结点,其中每个结点与上一层的40个结点都有连接;
神经网络采用Eculid-loss作为损失函数,其公式如下:
神经网络输出准确性度量定义为在单一光源下实际输出与期望输出的gainR和gainB值二元组的角误差,其公式如下:
进一步的,所述S1中:
所述预定环境为:室内不同光照场景与室外不同光照场景;
所述采集的室内不同场景原始图像数量不少于100,室外不同场景原始图像数量不少于500;
所述标准色卡为24色标准色卡、或18%灰卡。
本发明的另一个方面,还提供了一种使用神经网络进行图像白平衡校正的装置,用于对待处理图像进行白平衡校正,包括:
图像采集模块,用于采集预定环境中包含标准色卡的原始图像;
色温参数计算模块,用于对所述原始图像中标准色卡白色色块进行参数提取及处理,得到代表环境光源色温的参数值;
图像预处理模块,用于对所述原始图像和所述待处理图像分别进行图像分割、抽取、直方图拉伸、特征标准化预处理得到训练用预处理图像和第二预处理图像;
神经网络模块,包括数据层、卷积层、降采样层、全连接层、输出层卷积神经网络模型;
神经网络训练模块,将所述训练用预处理图像及所述参数值输入卷积神经网络以对卷积神经网络模型进行训练,得到训练好的网络模型;
增益计算模块,用于将所述第二预处理图像送入卷积神经网络进行计算、处理,得到红色通道增益值gainR及蓝色通道增益值gainB;
白平衡处理模块,用于利用所述红色通道增益值gainR及蓝色通道增益值gainB对待处理图像进行白平衡校正,从而得到校正后的白平衡图像。
根据本发明的技术方案,通过采集大量的不同场景下的实景原始图像作为素材,对这些实景原始图像中标准色卡白色色块进行参数提取及处理,得到代表环境光源色温的参数值;再对所述原始图像和所述待处理图像分别进行图像分割、抽取、直方图拉伸、特征标准化预处理得到训练用预处理图像和第二预处理图像;之后,将所述训练用预处理图像及所述参数值输入卷积神经网络以对卷积神经网络模型进行训练,得到训练好的网络模型;这样,只需第二预处理图像,将其输入到训练好的卷积神经网络中,即可得到待处理图像进行白平衡校正时需要的校正参数。
因为输入神经网络的是经过图像分割、直方图拉伸、特征标准化预处理后图像,因此大大的提高了神经网络模型训练的速度,同时有效提高了算法的计算速度。而且,采集的原始图像覆盖了不同的使用场景,通过卷积神经网络对图像的RGB值进行拟合,构建出在图像白平衡调整中所需要的误差先验信息,精确度得到很大提高,同时,该模型鲁棒性非常好。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种使用神经网络进行图像白平衡校正的方法的流程图;
图2是本发明实施例提供的图像预处理方法流程图;
图3是本发明实施例提供的卷积神经网络结构示意图;
图4是本发明实施例提供的一种使用神经网络进行图像白平衡校正的装置的结构图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明了,下面结合具体实施方式并参照附图,对本发明进一步详细说明。应该理解,这些描述只是示例性的,而并非要限制本发明的范围。此外,在以下说明中,省略了对公知结构和技术的描述,以避免不必要地混淆本发明的概念。
为了提高白平衡校正的准确性,本发明提出一种基于深度学习的图像白平衡算法,通过卷积神经网络对图像的标准化RGB值进行拟合,构建出在图像白平衡调整中所需要的误差先验信息,并用此模型对待调图像进行运算并得出调整参数,白平衡校正效果得到明显改善。
具体实施例一
本发明使用神经网络进行图像白平衡校正,图1是本发明实施例的系统流程图,包括如下步骤:
S1:采集预定环境中包含标准色卡的原始图像;
图像采集步骤中,使用高像素相机进行取景,预定环境包括室内不同色温光照(国际标准人工日光D65、模拟太阳光D50、欧洲、日本、中国商店光源TL84、模拟美国商店灯光CWF、家庭酒店用灯F等)场景与室外不同天气(晴天、阴天)不同时间段(早晨、上午、中午、傍晚等)场景两组,其中室内不同场景数量不少于100,室外不同场景数量不少于500,以使所拍摄场景包括各种不同条件的光照及亮度。在每个场景中,需要放置一块标准色卡,所述标准色卡可以为24色标准色卡、18%灰卡等,以便于对拍摄到的图像进行光照测定,所拍摄图像采用raw格式进行无损存储。
S2、对所述原始图像中标准色卡白色色块进行参数提取及处理,得到代表环境光源色温的参数值;
对所采集的图像中的标准色卡进行测定,选取其中的白块,提取所述原始图像中白色色块中每个像素点的红色R、绿色G、蓝色B分量值,并计算得到红色分量平均值avgRgt、绿色分量平均值avgGgt、蓝色分量平均值avgBgt作为图像的ground truth数值。
S3:对所述原始图像和所述待处理图像分别进行图像分割、抽取、直方图拉伸、特征标准化预处理得到训练用的预处理图像和第二预处理图像;
对原始图像和所述待处理图像,均按照如图2所示方法进行处理,得到训练用预处理图像和第二预处理图像;
S31、图像分块:将每幅raw格式图像用16bit保存为png格式文件;在每幅图中不包含24色标准色卡的区域中,将图片按照32*32尺寸不重复地任意分割为若干小块,生成若干32*32大小、位宽为16bit的png图像块集合;
S32、图像直方图拉伸:统计每个小图像块的最大值与最小值,并将每个小块按照各自的最大值与最小值分别进行全等级直方图拉伸(global histogram stretching)操作,将所得结果使用8bit的png格式存储。
具体的,将第i个小块中全部像素的三个通道的最大值记为d,作为该小图像块的像素值上界;将最小值记为c,作为该小图像块的像素值下界。记b=255,a=0,分别表示输出图像的上下界数值;全等级直方图拉伸函数记为s=T(r),其中T(.)的解析表达式为:
其中,si(x,y)表示第i个图像块在(x,y)处的像素值经全等级直方图拉伸后的处理值;ri(x,y)表示第i个图像块在(x,y)处的像素值;x表示第i个图像块横坐标位置值,x的取值范围为1到该图像块的宽度值,y表示第i个图像块纵坐标位置值,y得取值范围为1到该图像块的高度值;
对每个小图像块ri,采用以上公式进行处理,最终得到拉伸后的预处理图像si;
S33、图像归一化:将所有8bit的小块si进行均值与标准差统计,对从全体图像块中统计得到的均值与标准差取平均值,得到总体均值与标准差,对每幅小图像块使用总体均值与标准差进行归一化操作得到归一化后图像块数据;
记总体均值为smean,标准差记为stdmean,则对每个si,采取如下计算公式进行处理:
S4:构建包括数据层、卷积层、降采样层、全连接层、输出层卷积神经网络模型;
本发明使用卷积神经网络来为图像色彩进行估计。如图3所示,所采用的卷积神经网络由五个层组成,各个层的类别与结点设置描述如下:
第一层为数据层,为隐藏层提供经过预处理后得到的8bit,32*32*3的非重叠RGB图像;
第二层为卷积层,采用240个1*1*3的卷积核对第一层提供的数据进行卷积操作,得到240个32*32的特征映射图;
第三层为降采样层,将上层每个特征映射图按8*8区域、步进8的方式进行降采样,降采样采用max-pooling算法,即在每8*8区域中选取最大的值,作为降采样输出;最终得到的降采样图像为4*4的特征映射图,这样的特征映射图共有240个,共包含240*4*4=3840个像素点;
第四层为全连接层,包含40个隐藏结点;其中每个结点与上层的240个4*4的特征映射图中所有的3840个像素都有连接;
第五层为作为输出层的全连接层,包含3个输出结点,其中每个结点与上一层的40个结点都有连接;
神经网络采用Eculid-loss作为损失函数,其公式如下:
神经网络输出准确性度量定义为在单一光源下实际输出与期望输出的RGB三元组的角误差,其公式如下:
S5、将所述训练用预处理图像及所述参数值输入卷积神经网络以对卷积神经网络模型进行训练,得到训练好的网络模型;
在网络设置好后,使用在S3中得到的训练用预处理图像及S2中得到的相应的代表环境光源色温的参数值对神经网络进行训练。在经过若干次迭代之后,得到训练好的网络模型,作为预测工具。
S6:将所述第二预处理图像送入训练好的卷积神经网络进行计算、处理,得到红色通道增益值gainR及蓝色通道增益值gainB;
在预测模型训练好后,将待测照片也进行相同的图像分割、抽取、直方图拉伸、特征标准化预处理,得到若干32*32*3的小图像块即第二预处理图像。将这些小图像块送入网络进行计算,最终得到每个预测小图像块的输出RGB预测值。将这些预测值取每个通道的中值,分别作为整幅图像的整体红色R、绿色G、蓝色B估计量;利用整体红色R、绿色G、蓝色B估计量进行通道增益计算,得到红色通道增益值gainR及蓝色通道增益值gainB;
对获取到的RGB均值进行增益计算,公式如下:
公式中,Rmed为整体红色R估计量、Gmed整体绿色G估计量、Bmed整体蓝色B估计量。
S7、利用所述红色通道增益值gainR及蓝色通道增益值gainB对待处理图像进行白平衡校正,从而得到校正后的白平衡图像;
根据gainR、gainB值对待校正图像进行白平衡校正。即原图的R通道值乘以gainR值,B通道值乘以gainB值,从而得到校正后的白平衡图像。
本实施例一的有益效果是:
1、因为输入神经网络的是经过图像分割、直方图拉伸、特征标准化预处理后图像,因此大大的提高了神经网络模型训练的速度,同时有效提高了算法的计算速度。
2、采集的原始图像覆盖了不同的使用场景,通过步骤S4建立预测模型,通过卷积神经网络对图像的RGB值进行拟合,构建出在图像白平衡调整中所需要的误差先验信息,精确度得到很大提高,同时,该模型鲁棒性非常好。
具体实施例二:
与实施例一相比较,本发明还采用了一种更优的预测模型,区别在于步骤S2、S4、S6上。
S2、对所述原始图像中标准色卡白色色块进行参数提取及处理,得到代表环境光源色温的参数值;
具体的,提取所述原始图像中白色色块的红色R、绿色G、蓝色B分量值,并计算得到红色分量平均值avgRgt、绿色分量平均值avgGgt、蓝色分量平均值avgBgt,根据红色分量平均值avgRgt、绿色分量平均值avgGgt、蓝色分量平均值avgBgt计算得到红色增益分量gainRgt、蓝色增益分量gainBgt;公式如下:
gainRgt=avgGgt/avgRgt
gainBgt=avgGgt/avgBgt。
S4:构建包括数据层、卷积层、降采样层、全连接层、输出层卷积神经网络模型;
该预测模型的第一层至第四层结构同实施例一相同,区别点在于实施例二中预测模型的第五层,实施例二采用G/R和G/B值作为预测值。
第五层作为输出层的全连接层,包含两个输出结点,其中每个结点与上一层的40个结点都有连接。
神经网络采用Eculid-loss作为损失函数,其公式如下:
神经网络输出准确性度量定义为在单一光源下实际输出与期望输出的gainR和gainB值二元组的角误差,其公式如下:
S5、将所述训练用预处理图像及所述参数值红色增益分量gainRgt、蓝色增益分量gainBgt输入卷积神经网络以对卷积神经网络模型进行训练,得到训练好的网络模型;
S6、将所述第二预处理图像送入训练好的卷积神经网络进行计算、处理,直接得到红色通道增益值gainR及蓝色通道增益值gainB,将这些预测值分别取gainR和gainB的中值,分别作为整幅图像的整体gainR和gainB估计量。
S7、利用所述红色通道增益值gainR及蓝色通道增益值gainB对待处理图像进行白平衡校正,从而得到校正后的白平衡图像。
根据步骤S6得到的gainR、gainB值对样本照片进行白平衡校正。即原图的R通道值乘以gainR值,B通道值乘以gainB值,从而得到校正后的白平衡图像。
本实施例二的有益效果是:
1、具有实施例一的精确度和鲁棒性优势
2、与实施例一相比,卷积神经网络直接预测得到gainR和gainB,效率更高。
本发明的另一个方面,如图4所示,还提供了一种使用神经网络进行图像白平衡校正的装置,用于对待处理图像进行白平衡校正,包括:
图像采集模块1,用于采集预定环境中包含标准色卡的原始图像;
色温参数计算模块2,用于对所述原始图像中标准色卡白色色块进行参数提取及处理,得到代表环境光源色温的参数值;
图像预处理模块3,用于对所述原始图像和所述待处理图像分别进行图像分割、抽取、直方图拉伸、特征标准化预处理得到训练用的预处理图像和第二预处理图像;
神经网络模块4,包括数据层、卷积层、降采样层、全连接层、输出层卷积神经网络模型;
神经网络训练模块5,将所述训练用预处理图像及所述参数值输入卷积神经网络以对卷积神经网络模型进行训练,得到训练好的网络模型;
增益计算模块6,用于将所述第二预处理图像送入卷积神经网络进行计算、处理,得到红色通道增益值gainR及蓝色通道增益值gainB;
白平衡处理模块7,用于利用所述红色通道增益值gainR及蓝色通道增益值gainB对待处理图像进行白平衡校正,从而得到校正后的白平衡图像。
根据本发明的技术方案,通过采集大量的不同场景下的实景原始图像作为素材,对这些实景原始图像中标准色卡白色色块进行参数提取及处理,得到代表环境光源色温的参数值;再对所述原始图像和所述待处理图像分别进行图像分割、抽取、直方图拉伸、特征标准化预处理得到训练用预处理图像和第二预处理图像;之后,将所述训练用预处理图像及所述参数值输入卷积神经网络以对卷积神经网络模型进行训练,得到训练好的网络模型;这样,只需第二预处理图像,将其输入到训练好的卷积神经网络中,即可得到待处理图像进行白平衡校正时需要的校正参数。
因为输入神经网络的是经过图像分割、直方图拉伸、特征标准化预处理后图像,因此大大的提高了神经网络模型训练的速度,同时有效提高了算法的计算速度。而且,采集的原始图像覆盖了不同的使用场景,通过卷积神经网络对图像的RGB值进行拟合,构建出在图像白平衡调整中所需要的误差先验信息,精确度得到很大提高,同时,该模型鲁棒性非常好。
应当理解的是,本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理,而不构成对本发明的限制。因此,在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。此外,本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。
Claims (7)
1.一种使用神经网络进行图像白平衡校正的方法,用于对待处理图像进行白平衡校正,其特征在于,包括:
S1、采集预定环境中包含标准色卡的原始图像;
S2、对所述原始图像中标准色卡白色色块进行参数提取及处理,得到代表环境光源色温的参数值;
S3、对所述原始图像和所述待处理图像分别进行图像分割、抽取、直方图拉伸、特征标准化预处理得到训练用的预处理图像和第二预处理图像;
S4、构建包括数据层、卷积层、降采样层、全连接层、输出层的卷积神经网络模型;
S5、将所述训练用预处理图像及所述参数值输入卷积神经网络以对卷积神经网络模型进行训练,得到训练好的网络模型;
S6、将所述第二预处理图像送入训练好的卷积神经网络进行计算、处理,得到红色通道增益值gainR及蓝色通道增益值gainB;
S7、利用所述红色通道增益值gainR及蓝色通道增益值gainB对待处理图像进行白平衡校正,从而得到校正后的白平衡图像;
其中,所述S2具体为:提取所述原始图像中白色色块中每个像素点的红色R、绿色G、蓝色B分量值,并计算得到红色分量平均值avgRgt、绿色分量平均值avgGgt、蓝色分量平均值avgBgt;
所述S3中,对原始图像和所述待处理图像,均按照如下方法进行处理,得到训练用的预处理图像和第二预处理图像;处理方法具体如下:
S31、将每幅raw格式图像用16bit保存为png格式文件;在每幅图中不包含标准色卡的区域中,将图片按照32*32尺寸不重复地任意分割为若干小块,生成若干32*32大小、位宽为16bit的png图像块集合;
S32、统计每个小图像块的最大值与最小值,并将每个小块按照各自的最大值与最小值分别进行全等级直方图拉伸操作,将所得结果使用8bit的png格式存储;
具体的,将第i个小块中三个通道全部像素的最大值记为di,作为该小图像块的像素值上界;将最小值记为ci,作为该小图像块的像素值下界;记b=255,a=0,分别表示输出图像的上下界数值;全等级直方图拉伸函数记为s=T(r),其中T(.)的解析表达式为:
其中,si(x,y)表示第i个图像块在(x,y)处的像素值经全等级直方图拉伸后的处理值;ri(x,y)表示第i个图像块在(x,y)处的像素值;x表示第i个图像块横坐标位置值,x的取值范围为1到该图像块的宽度值,y表示第i个图像块纵坐标位置值,y得取值范围为1到该图像块的高度值;
对每个小图像块ri,采用以上公式进行处理,最终得到拉伸后的预处理图像si;
S33、将所有8bit的小块si进行均值与标准差统计,对从全体图像块中统计得到的均值与标准差取平均值,得到总体均值与标准差,对每幅小图像块使用总体均值与标准差进行归一化操作,得到归一化后图像块数据;
记总体均值为smean,标准差记为stdmean,则对每个si,采取如下计算公式进行处理:
将得到的s′i作为训练数据输入卷积神经网络。
2.根据权利要求1所述的方法,其特征在于,所述步骤S4中的卷神经网络模型包括:
第一层为数据层,为隐藏层提供经过预处理后得到的8bit,32*32*3的非重叠RGB图像;
第二层为卷积层,采用240个1*1*3的卷积核对第一层提供的数据进行卷积操作,得到240个32*32的特征映射图;
第三层为降采样层,将上层每个特征映射图按8*8区域、步进8的方式进行降采样,降采样采用max-pooling算法,即在每8*8区域中选取最大的值,作为降采样输出;最终得到的降采样图像为4*4的特征映射图,这样的特征映射图共有240个,共包含240*4*4=3840个像素点;
第四层为全连接层,包含40个隐藏结点;其中每个结点与上层的240个4*4的特征映射图中所有的3840个像素都有连接;
第五层为作为输出层的全连接层,包含3个输出结点,其中每个结点与上一层的40个结点都有连接;
神经网络采用Eculid-loss作为损失函数,其公式如下:
神经网络输出准确性度量定义为在单一光源下实际输出与期望输出的RGB三元组的角误差,其公式如下:
3.根据权利要求2所述的方法,其特征在于,在所述步骤S6中,将所述第二预处理图像送入卷积神经网络进行计算得到每个第二预处理小图像块的输出红色R、绿色G、蓝色B预测值;
将这些预测值取每个通道的中值,分别作为整幅图像的整体红色R、绿色G、蓝色B估计量;
利用整体红色R、绿色G、蓝色B估计量进行通道增益计算,得到红色通道增益值gainR及蓝色通道增益值gainB。
4.根据权利要求1所述的方法,其特征在于,所述S2具体为:提取所述原始图像中白色色块的红色R、绿色G、蓝色B分量值,并计算得到红色分量平均值avgRgt、绿色分量平均值avgGgt、蓝色分量平均值avgBgt,根据红色分量平均值avgRgt、绿色分量平均值avgGgt、蓝色分量平均值avgBgt计算得到红色增益分量gainRgt、蓝色增益分量gainBgt。
5.根据权利要求4所述的方法,其特征在于,所述步骤S4中的卷神经网络模型包括:
第一层为数据层,为隐藏层提供经过预处理后得到的8bit,32*32*3的非重叠RGB图像;
第二层为卷积层,采用240个1*1*3的卷积核对第一层提供的数据进行卷积操作,得到240个32*32的特征映射图;
第三层为降采样层,将上层每个特征映射图按8*8区域、步进8的方式进行降采样,降采样采用max-pooling算法,即在每8*8区域中选取最大的值,作为降采样输出;最终得到的降采样图像为4*4的特征映射图,这样的特征映射图共有240个,共包含240*4*4=3840个像素点;
第四层为全连接层,包含40个隐藏结点;其中每个结点与上层的240个4*4的特征映射图中所有的3840个像素都有连接;
第五层作为输出层的全连接层,包含两个输出结点,其中每个结点与上一层的40个结点都有连接;
神经网络采用Eculid-loss作为损失函数,其公式如下:
神经网络输出准确性度量定义为在单一光源下实际输出与期望输出的gainR和gainB值二元组的角误差,其公式如下:
6.根据权利要求1-5任一项所述的方法,其特征在于,所述S1中:
所述预定环境为:室内不同光照场景与室外不同光照场景;
所述采集的室内不同场景原始图像数量不少于100,室外不同场景原始图像数量不少于500;
所述标准色卡为24色标准色卡、或18%灰卡。
7.一种使用神经网络进行图像白平衡校正的装置,用于对待处理图像进行白平衡校正,其特征在于,包括:
图像采集模块,用于采集预定环境中包含标准色卡的原始图像;
色温参数计算模块,用于对所述原始图像中标准色卡白色色块进行参数提取及处理,得到代表环境光源色温的参数值;
图像预处理模块,用于对所述原始图像和所述待处理图像分别进行图像分割、抽取、直方图拉伸、特征标准化预处理得到训练用预处理图像和第二预处理图像;
神经网络模块,包括数据层、卷积层、降采样层、全连接层、输出层的卷积神经网络模型;
神经网络训练模块,将所述训练用预处理图像及所述参数值输入卷积神经网络以对卷积神经网络模型进行训练,得到训练好的网络模型;
增益计算模块,用于将所述第二预处理图像送入卷积神经网络进行计算、处理,得到红色通道增益值gainR及蓝色通道增益值gainB;白平衡处理模块,用于利用所述红色通道增益值gainR及蓝色通道增益值gainB对待处理图像进行白平衡校正,从而得到校正后的白平衡图像;
其中,所述色温参数计算模块包括:像素点RGB分量值提取单元,用于提取所述原始图像中白色色块中每个像素点的红色R、绿色G、蓝色B分量值,并计算得到红色分量平均值avgRgt、绿色分量平均值avgGgt、蓝色分量平均值avgBgt;
所述图像预处理模块包括:
第一预处理单元,用于将每幅raw格式图像用16bit保存为png格式文件;在每幅图中不包含标准色卡的区域中,将图片按照32*32尺寸不重复地任意分割为若干小块,生成若干32*32大小、位宽为16bit的png图像块集合;
第二预处理单元,用于统计每个小图像块的最大值与最小值,并将每个小块按照各自的最大值与最小值分别进行全等级直方图拉伸操作,将所得结果使用8bit的png格式存储;具体的,将第i个小块中三个通道全部像素的最大值记为di,作为该小图像块的像素值上界;将最小值记为ci,作为该小图像块的像素值下界;记b=255,a=0,分别表示输出图像的上下界数值;全等级直方图拉伸函数记为s=T(r),其中T(.)的解析表达式为:
其中,si(x,y)表示第i个图像块在(x,y)处的像素值经全等级直方图拉伸后的处理值;ri(x,y)表示第i个图像块在(x,y)处的像素值;x表示第i个图像块横坐标位置值,x的取值范围为1到该图像块的宽度值,y表示第i个图像块纵坐标位置值,y得取值范围为1到该图像块的高度值;
对每个小图像块ri,采用以上公式进行处理,最终得到拉伸后的预处理图像si;
第三预处理单元,用于将所有8bit的小块si进行均值与标准差统计,对从全体图像块中统计得到的均值与标准差取平均值,得到总体均值与标准差,对每幅小图像块使用总体均值与标准差进行归一化操作,得到归一化后图像块数据;
记总体均值为smean,标准差记为stdmean,则对每个si,采取如下计算公式进行处理:
将得到的s′i作为训练数据输入卷积神经网络。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710826612.XA CN107578390B (zh) | 2017-09-14 | 2017-09-14 | 一种使用神经网络进行图像白平衡校正的方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710826612.XA CN107578390B (zh) | 2017-09-14 | 2017-09-14 | 一种使用神经网络进行图像白平衡校正的方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107578390A CN107578390A (zh) | 2018-01-12 |
CN107578390B true CN107578390B (zh) | 2020-08-07 |
Family
ID=61033479
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710826612.XA Active CN107578390B (zh) | 2017-09-14 | 2017-09-14 | 一种使用神经网络进行图像白平衡校正的方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107578390B (zh) |
Families Citing this family (31)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109003231B (zh) * | 2018-06-11 | 2021-01-29 | 广州视源电子科技股份有限公司 | 一种图像增强方法、装置和显示设备 |
CN109118549A (zh) * | 2018-07-20 | 2019-01-01 | 上海电力学院 | 一种用白色打印纸作参照物恢复目标物颜色的方法 |
CN109118451A (zh) * | 2018-08-21 | 2019-01-01 | 李青山 | 一种基于卷积回归的航空正射影像去雾算法 |
CN109242792B (zh) * | 2018-08-23 | 2020-11-17 | 广东数相智能科技有限公司 | 一种基于白色物体的白平衡校对方法 |
CN111062876B (zh) * | 2018-10-17 | 2023-08-08 | 北京地平线机器人技术研发有限公司 | 用于校正模型训练和图像校正的方法和装置及电子设备 |
CN111064860A (zh) * | 2018-10-17 | 2020-04-24 | 北京地平线机器人技术研发有限公司 | 图像校正方法、图像校正装置和电子设备 |
EP3864838B1 (en) | 2018-11-16 | 2023-09-20 | Huawei Technologies Co., Ltd. | Meta-learning for camera adaptive color constancy |
CN109348206A (zh) * | 2018-11-19 | 2019-02-15 | Oppo广东移动通信有限公司 | 图像白平衡处理方法、装置、存储介质及移动终端 |
CN109729332B (zh) * | 2018-12-12 | 2021-06-15 | 珠海亿智电子科技有限公司 | 一种自动白平衡矫正方法和系统 |
CN109618145B (zh) * | 2018-12-13 | 2020-11-10 | 深圳美图创新科技有限公司 | 色彩恒常性校正方法、装置及图像处理设备 |
CN109859117A (zh) * | 2018-12-30 | 2019-06-07 | 南京航空航天大学 | 一种采用神经网络直接校正rgb值的图像颜色校正方法 |
CN112840636A (zh) * | 2019-02-28 | 2021-05-25 | 华为技术有限公司 | 一种图像处理方法和装置 |
WO2020215180A1 (zh) * | 2019-04-22 | 2020-10-29 | 华为技术有限公司 | 图像处理方法、装置和电子设备 |
CN110647930B (zh) * | 2019-09-20 | 2022-08-05 | 北京达佳互联信息技术有限公司 | 一种图像处理方法、装置及电子设备 |
WO2021051382A1 (zh) * | 2019-09-20 | 2021-03-25 | 深圳市大疆创新科技有限公司 | 白平衡处理方法和设备、可移动平台、相机 |
CN110677636B (zh) * | 2019-10-11 | 2020-07-14 | 珠海爱必途科技有限公司 | 扩展式信号补偿平台 |
CN111435986B (zh) * | 2019-12-23 | 2021-11-23 | 珠海市杰理科技股份有限公司 | 源图像数据库的获取方法、训练装置及电子设备 |
WO2021204202A1 (zh) * | 2020-04-10 | 2021-10-14 | 华为技术有限公司 | 图像自动白平衡的方法及装置 |
CN113518210B (zh) * | 2020-04-10 | 2024-05-24 | 华为技术有限公司 | 图像自动白平衡的方法及装置 |
CN112118388B (zh) * | 2020-08-04 | 2022-07-26 | 绍兴埃瓦科技有限公司 | 图像处理方法、装置、计算机设备和存储介质 |
CN111882555B (zh) * | 2020-08-07 | 2024-03-12 | 中国农业大学 | 基于深度学习的网衣检测方法、装置、设备及存储介质 |
CN112333437B (zh) * | 2020-09-21 | 2022-05-31 | 宁波萨瑞通讯有限公司 | AI camera调试参数生成仪 |
CN114697483B (zh) * | 2020-12-31 | 2023-10-10 | 复旦大学 | 基于压缩感知白平衡算法的屏下摄像装置及方法 |
CN113516132B (zh) * | 2021-03-25 | 2024-05-03 | 杭州博联智能科技股份有限公司 | 基于机器学习的颜色校准方法、装置、设备及介质 |
US11606544B2 (en) * | 2021-06-08 | 2023-03-14 | Black Sesame Technologies Inc. | Neural network based auto-white-balancing |
CN115835034B (zh) * | 2021-09-15 | 2024-04-05 | 荣耀终端有限公司 | 白平衡处理方法与电子设备 |
CN114757856B (zh) * | 2022-06-16 | 2022-09-20 | 深圳深知未来智能有限公司 | 一种基于无监督深度学习的自动白平衡算法及系统 |
CN115412712B (zh) * | 2022-11-03 | 2023-03-28 | 深圳比特微电子科技有限公司 | 多光源场景下的白平衡方法、装置及可读存储介质 |
CN116433508B (zh) * | 2023-03-16 | 2023-10-27 | 湖北大学 | 一种基于Swin-Unet的灰度图像着色校正方法 |
CN116303909B (zh) * | 2023-04-26 | 2023-08-22 | 山东齐鲁电子招标采购服务有限公司 | 一种电子投标文件与条款的匹配方法、设备及介质 |
CN117649661B (zh) * | 2024-01-30 | 2024-04-12 | 青岛超瑞纳米新材料科技有限公司 | 一种碳纳米管制备状态图像处理方法 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1932850A (zh) * | 2006-10-09 | 2007-03-21 | 武汉大学 | 一种遥感图像空间形状特征提取与分类方法 |
CN101283604A (zh) * | 2005-08-30 | 2008-10-08 | 诺基亚公司 | 具有自动白平衡的图像处理设备 |
CN102175625A (zh) * | 2010-11-29 | 2011-09-07 | 樊潮 | 一种癌细胞识别方法 |
CN103093429A (zh) * | 2013-01-18 | 2013-05-08 | 金三立视频科技(深圳)有限公司 | 图像增强方法 |
US9336582B1 (en) * | 2015-04-17 | 2016-05-10 | Google Inc. | Convolutional color correction |
CN106131526A (zh) * | 2016-07-13 | 2016-11-16 | 凌云光技术集团有限责任公司 | 一种基于rgb空间的白平衡处理方法及装置 |
CN106412547A (zh) * | 2016-08-29 | 2017-02-15 | 厦门美图之家科技有限公司 | 一种基于卷积神经网络的图像白平衡方法、装置和计算设备 |
CN106443598A (zh) * | 2016-12-08 | 2017-02-22 | 中国人民解放军海军航空工程学院 | 基于卷积神经网络的雷达网协同航迹欺骗干扰鉴别方法 |
CN106709477A (zh) * | 2017-02-23 | 2017-05-24 | 哈尔滨工业大学深圳研究生院 | 一种基于自适应得分融合与深度学习的人脸识别方法及系统 |
CN106845471A (zh) * | 2017-02-20 | 2017-06-13 | 深圳市唯特视科技有限公司 | 一种基于生成对抗网络的视觉显著性预测方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7184080B2 (en) * | 2001-06-25 | 2007-02-27 | Texas Instruments Incorporated | Automatic white balancing via illuminant scoring |
JP2010278530A (ja) * | 2009-05-26 | 2010-12-09 | Sanyo Electric Co Ltd | 画像表示装置 |
-
2017
- 2017-09-14 CN CN201710826612.XA patent/CN107578390B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101283604A (zh) * | 2005-08-30 | 2008-10-08 | 诺基亚公司 | 具有自动白平衡的图像处理设备 |
CN1932850A (zh) * | 2006-10-09 | 2007-03-21 | 武汉大学 | 一种遥感图像空间形状特征提取与分类方法 |
CN102175625A (zh) * | 2010-11-29 | 2011-09-07 | 樊潮 | 一种癌细胞识别方法 |
CN103093429A (zh) * | 2013-01-18 | 2013-05-08 | 金三立视频科技(深圳)有限公司 | 图像增强方法 |
US9336582B1 (en) * | 2015-04-17 | 2016-05-10 | Google Inc. | Convolutional color correction |
CN106131526A (zh) * | 2016-07-13 | 2016-11-16 | 凌云光技术集团有限责任公司 | 一种基于rgb空间的白平衡处理方法及装置 |
CN106412547A (zh) * | 2016-08-29 | 2017-02-15 | 厦门美图之家科技有限公司 | 一种基于卷积神经网络的图像白平衡方法、装置和计算设备 |
CN106443598A (zh) * | 2016-12-08 | 2017-02-22 | 中国人民解放军海军航空工程学院 | 基于卷积神经网络的雷达网协同航迹欺骗干扰鉴别方法 |
CN106845471A (zh) * | 2017-02-20 | 2017-06-13 | 深圳市唯特视科技有限公司 | 一种基于生成对抗网络的视觉显著性预测方法 |
CN106709477A (zh) * | 2017-02-23 | 2017-05-24 | 哈尔滨工业大学深圳研究生院 | 一种基于自适应得分融合与深度学习的人脸识别方法及系统 |
Non-Patent Citations (3)
Title |
---|
Color Constancy Using CNNs;Simone Bianco 等;《2015 IEEE Conference on Computer Vision and Pattern Recognition Workshops》;20151026;参见第81-89页 * |
Multiframe Auto White Balance;Radu Ciprian Bilcu 等;《IEEE Signal Processing Letters》;20110331;第18卷(第3期);参见第165-168页 * |
基于灰度世界和白点检测的自动白平衡算法;金黄斌 等;《电子器件》;20110430;第34卷(第2期);参见第227页第1栏 * |
Also Published As
Publication number | Publication date |
---|---|
CN107578390A (zh) | 2018-01-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107578390B (zh) | 一种使用神经网络进行图像白平衡校正的方法及装置 | |
CN110276767B (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
CN108230264B (zh) | 一种基于ResNet神经网络的单幅图像去雾方法 | |
CN109688351B (zh) | 一种图像信号处理方法、装置及设备 | |
CN108810418B (zh) | 图像处理方法、装置、移动终端及计算机可读存储介质 | |
CN110580428A (zh) | 图像处理方法、装置、计算机可读存储介质和电子设备 | |
CN108616700B (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
WO2022000397A1 (zh) | 低照度图像增强方法、装置及计算机设备 | |
CN103716547A (zh) | 一种智能模式的拍照方法 | |
CN106327488B (zh) | 一种自适应的前景检测方法及其检测装置 | |
CN111724317A (zh) | Raw域视频去噪监督数据集构造方法 | |
CN109389569B (zh) | 基于改进DehazeNet的监控视频实时去雾方法 | |
CN109712177A (zh) | 图像处理方法、装置、电子设备和计算机可读存储介质 | |
CN111553940B (zh) | 一种深度图人像边缘优化方法及处理装置 | |
CN114862698A (zh) | 一种基于通道引导的真实过曝光图像校正方法与装置 | |
CN110414558A (zh) | 基于事件相机的特征点匹配方法 | |
CN102088539A (zh) | 一种预拍照画质评价方法和系统 | |
CN115984535A (zh) | 一种用于钻井作业现场的低照度图像判断以及图像增强方法 | |
CN113824945B (zh) | 一种基于深度学习的快速自动白平衡和颜色矫正方法 | |
CN103313068A (zh) | 基于灰边缘约束灰世界的白平衡校正图像处理方法及装置 | |
WO2021051382A1 (zh) | 白平衡处理方法和设备、可移动平台、相机 | |
CN117451012B (zh) | 一种无人机航摄测量方法及系统 | |
CN107424134B (zh) | 图像处理方法、装置、计算机可读存储介质和计算机设备 | |
CN115620119A (zh) | 一种天气类型图像检测及雾天图像处理方法及装置 | |
CN114882128A (zh) | 一种虚拟相机画面颜色匹配方法、系统及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |