CN113824945B - 一种基于深度学习的快速自动白平衡和颜色矫正方法 - Google Patents
一种基于深度学习的快速自动白平衡和颜色矫正方法 Download PDFInfo
- Publication number
- CN113824945B CN113824945B CN202111382303.0A CN202111382303A CN113824945B CN 113824945 B CN113824945 B CN 113824945B CN 202111382303 A CN202111382303 A CN 202111382303A CN 113824945 B CN113824945 B CN 113824945B
- Authority
- CN
- China
- Prior art keywords
- image
- color
- white balance
- pred
- color correction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/73—Colour balance circuits, e.g. white balance circuits or colour temperature control
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/68—Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Processing Of Color Television Signals (AREA)
- Color Television Image Signal Generators (AREA)
- Image Processing (AREA)
Abstract
本发明提供的一种基于深度学习的快速自动白平衡和颜色矫正方法，速度方面：awb和color correction能在普通嵌入式设备上做到实时性，计算量比传统算法减小；效果方面：解决了传统方法对大面积纯色图片白平衡估计不准确的问题，且在低色温和低照度环境下表现了较好的白平衡和颜色矫正的效果，经过imatest测试，在低照度和低色温下，白平衡的灰阶还原度在90％以上，颜色矫正后的ΔC<8％，ΔE<15％，而在高色温下的白平衡还原度均超过95％，颜色饱和度基本大于100。而传统的白平衡算法在低色温低照度下灰阶还原度只能达到60％‑80％；适用性方面：本方法适用于多sensor，且可拓展于其他的任务领域。
Description
技术领域
本发明属于图像处理技术领域，尤其涉及一种基于深度学习的快速自动白平衡和颜色矫正方法。
背景技术
传统的AWB算法包含以下一些算法：
高级白平衡算法，其算法流程是：
1.在灯箱里面拍摄不同色温下(D75、D65、D50、CWF、H、A)的灰卡图片，灰卡充满整副实况图；
2.标定出每一个色温下的白平衡基准点，然后确定出基准白点绘制参考白区；
3.计算待校正图像当前落入参考白区的参考白点，根据这些灰点结合权重计算得到待校正图像的白平衡色彩补偿；
灰度世界算法, 其算法流程是：
确定灰度值avg_gray
有两种方法确定avg_gray:a.取最大亮度值的一半b.计算图片R,G,B三个通道的均值为avg_r，avg_g，avg_b。avg_gray = (avg_r+avg_g+avg_b)/3
计算R,G,B三个通道的增益系数：
kr = avg_gray/avg_r
kg =avg_gray/avg_g
kb= avg_gray/avg_b
根据Von Kries对角模型，对于图像中的每个像素C,调整其分量R,G,B分量：
C(R’) = C(R) * kr
C(G’) = C(G) * kg
C(B’) = C(B) * kr
完美反射法，其算法流程是：
计算每个像素R , G , B之和并保存。
按照R + G + B的值的大小计算出其前10%或其他Ratio的白色参考点的阈值T。
遍历图像中的每个点，计算其中R + G + B 值大于T的所有点的R , G ,B 分量的累积和的平均值。
将每个像素量化到[ 0 , 255 ]
传统的Color Correction算法：
Color Correction，是在做完白平衡矫正以后做的一个颜色纠正算法，算法的背景主要是Image Sensor对三原色RGB的响应跟人眼有较大的差别，以及pixel之间Crosstalk现象的存在，ImageSensor输出的图像必须经过Color Correction才能还原出比较真实的色彩。传统的color correction算法是步骤是将经过白平衡矫正后的24色卡图片计算得到一个3*3的计算矩阵，然后用3*3矩阵矫正得到新的图片。
基于深度学习的颜色矫正方法大体可分为以下几类：
白平衡：神经网络估计场景光照强度，然后根据光强矫正白平衡图片；
白平衡+Color Correction: 采用img-img结构生成颜色矫正后的图片；
高级白平衡算法主要存在的问题是存在白点灰区检测不准情况，而对于大面积纯色背景灰区检测会存在错误的白点检测，最终会纠正成偏色的白平衡图片。
灰度世界法主要存在的问题是若图像的颜色比较单一，那么就不再满足grayworld假设。
完美反射法主要存在的问题是受阈值T这个参数影响较大。如果过高的T容易导致图片泛白。
传统的Color Correction算法一般都是回归一个或者几个矫正矩阵，无法满足一些光照混乱，低照度，低色温的场景。
而对于深度学习的一些方法存在以下一些弊端：
对于光照估计方法，很难获取大量的场景的ground-truth illumination。
对于生成类的方法，则会对后续步骤引入其他的问题，比如可能会降低图片清晰度，抹除图片原始纹理信息。
对于这些神经网络任务，很难做到实时计算白平衡和color correciton参数且不实用于多sensor。
发明内容
鉴于上述现有技术的不足之处，本发明的目的在于提供一种基于深度学习的快速自动白平衡和颜色矫正方法旨在解决上述问题中的一种或多种。
为了达到上述目的，本发明采取了以下技术方案：
一种基于深度学习的快速自动白平衡和颜色矫正方法，其特征在于，包括以下步骤：
数据预处理步骤，其包括：
将标准无色差图片转成RAW图，然后将RAW图经过Demosiac变成Demosiac RGB；
将无色偏SRGB经过反gamma变换转成线性RGB，然后将线性RGB经过颜色空间转换变成SRGB Transform；
将Demosiac RGB经过颜色空间转换变成Demosiac Transform；
选取SRGB Transform的颜色通道和Demosiac Transform的亮度通道，合成新的图像；
新的图像经过RGB空间转换变成新的RGB；
根据新的RGB的白点对应Demosiac RGB的pixel, 算出监督label r_gain,b_gain,g_gain；
网络训练步骤，其包括：
把上述数据预处理后的Demosiac RGB经过一些数据增强送入网络；
网络输出3个AWB Gain:r_pred,g_pred,b_pred,以及6个Color CorrectionMatrix [[c01,c02] [c11,c12][c21,c22 ]]；
其中根据label r_gain,g_gain,b_gain和网络输出r_pred,g_pred,b_pred计算出一组loss,记作awb_loss；
color matrix进行无监督训练，给网络的六个color matrix输出赋予六个初值，然后将网络输出值和awb矫正后的图片进行颜色矫正得到cc_out,用cc_out和预处理出来的new_rgb计算一组loss,记作color_loss；
给每个loss 赋予不同的权值，相加得到总loss；
根据总loss更新网络模型参数，并得到初始模型；
得到初始模型后，在采集和标注好的数据集里fine-tune得到更适配sensor的模型；
网络向前推理步骤，其包括：
根据上述网络的输出r_pred, g_pred, b_pred,矫正awb图片表示为：
；
根据上述得到的Color Correction Matrix,颜色矫正后的图片表示为
。
优选的，所述颜色空间转换包括HSV,HSL,HSI,YUV,LAB。
优选的，所述数据增强包括：a.颜色扰动；b.水平垂直方向翻转； c.加轻微噪声；d.裁剪。
与现有技术相比，本发明的有益效果：
本发明提供的一种基于深度学习的快速自动白平衡和颜色矫正方法，速度方面：awb和color correction能在普通嵌入式设备上做到实时性，计算量比传统算法减小；效果方面：解决了传统方法对大面积纯色图片白平衡估计不准确的问题，且在低色温和低照度环境下表现了较好的白平衡和颜色矫正的效果，经过imatest测试，在低照度和低色温下，白平衡的灰阶还原度在90%以上,颜色矫正后的ΔC<8%,ΔE<15%,而在高色温下的白平衡还原度均超过95%，颜色饱和度基本大于100。而传统的白平衡算法在低色温低照度下灰阶还原度只能达到60%-80%；适用性方面：本方法适用于多sensor,且可拓展于其他的任务领域。
附图说明
图1为本发明基于深度学习的快速自动白平衡和颜色矫正方法的流程框图；
图2为本发明的数据预处理步骤的流程框图。
具体实施方式
为使本发明的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
如附图1- 2所示，本发明提供的一种基于深度学习的快速自动白平衡和颜色矫正方法，包括以下步骤：
数据预处理步骤，其包括：
将标准无色差图片转成RAW图，然后将RAW图经过Demosiac变成Demosiac RGB；
将无色偏SRGB经过反gamma变换转成线性RGB，然后将线性RGB经过颜色空间转换变成SRGB Transform；
将Demosiac RGB经过颜色空间转换变成Demosiac Transform；
选取SRGB Transform的颜色通道和Demosiac Transform的亮度通道，合成新的图像；
新的图像经过RGB空间转换变成新的RGB；
根据新的RGB的白点对应Demosiac RGB的pixel, 算出监督label r_gain,b_gain,g_gain；
网络训练步骤，其包括：
把上述数据预处理后的Demosiac RGB经过一些数据增强送入网络；
网络输出3个AWB Gain:r_pred,g_pred,b_pred,以及6个Color CorrectionMatrix [[c01,c02] [c11,c12][c21,c22 ]]；
其中根据label r_gain,g_gain,b_gain和网络输出r_pred,g_pred,b_pred计算出一组loss,记作awb_loss；
color matrix进行无监督训练，给网络的六个color matrix输出赋予六个初值，然后将网络输出值和awb矫正后的图片进行颜色矫正得到cc_out,用cc_out和预处理出来的new_rgb计算一组loss,记作color_loss；
给每个loss 赋予不同的权值，相加得到总loss；
根据总loss更新网络模型参数，并得到初始模型；
得到初始模型后，在采集和标注好的数据集里fine-tune得到更适配sensor的模型；
网络向前推理步骤，其包括：
根据上述网络的输出r_pred, g_pred, b_pred,矫正awb图片表示为：
；
根据上述得到的Color Correction Matrix,颜色矫正后的图片表示为
。
具体为，网络训练过程中可以输出n1个awb_gain,n2个color corrction matrix，(n1, n2为整数)。采用无监督+有监督的训练，无 ccm 监督label，通过不同的loss组合控制网络学习到合适的CCM参数。通过有监督+无监督的组合，减少了无监督参数学习的难度，awb有监督的label，较容易收敛到一个较好的结果，减少了后面学习颜色矫正矩阵的难度。在无监督回归颜色矫正矩阵时，采用了赋值初始值的方法，减小了训练的难度和提高了网络的收敛效率，让网络的输出值一直在一个合理的范围内。
因白平衡训练过程中较难获取大量的白平衡训练数据，而大量的数据集是srgb空间的，本算法数据预处理流程中采用了先生成raw数据，然后把raw数据demosiac成线性的rgb空间图片。为减少grount-truth srgb中的亮度影响和将其转换成线性空间，先将srgb进行degamma变换，degamma后和demosiac RGB进行颜色空间转换，然后把颜色空间的亮度通道置换成一样，再次转换成RGB空间，然后根据新得到的RGB图片和demosiac 图片来计算awb监督label，此操作可以减少后续ccm 无监督学习其他因素的影响。因训练采用的大量的srgb图片进行数据预处理，训练出来的基础模型已经适用于多种sensor，若要提高精度，只需再用对应的sensor数据进行fine-tune即可。
为做到任务的实时性，网络采用简单的结构，但效果依然不错。且将awb参数和color correction参数一起回归，节俭了后续任务流程的时间且保证了一个较好的效果。
在一些实施例中，所述颜色空间转换包括HSV,HSL,HSI,YUV,LAB。
在一些实施例中，所述数据增强包括：a.颜色扰动；b.水平垂直方向翻转； c.加轻微噪声；d.裁剪。
综上，本发明的工作原理如下：
本发明提供的一种基于深度学习的快速自动白平衡和颜色矫正方法，速度方面：awb和color correction能在普通嵌入式设备上做到实时性，计算量比传统算法减小；效果方面：解决了传统方法对大面积纯色图片白平衡估计不准确的问题，且在低色温和低照度环境下表现了较好的白平衡和颜色矫正的效果，经过imatest测试，在低照度和低色温下，白平衡的灰阶还原度在90%以上,颜色矫正后的ΔC<8%,ΔE<15%,而在高色温下的白平衡还原度均超过95%，颜色饱和度基本大于100。而传统的白平衡算法在低色温低照度下灰阶还原度只能达到60%-80%；适用性方面：本方法适用于多sensor,且可拓展于其他的任务领域。
可以理解的是，对本领域普通技术人员来说，可以根据本发明的技术方案及其发明构思加以等同替换或改变，而所有这些改变或替换都应属于本发明所附的权利要求的保护范围。
Claims (1)
1.一种基于深度学习的快速自动白平衡和颜色矫正方法，其特征在于，包括以下步骤：
数据预处理步骤，其包括：
将标准无色差图像RGB1转成RAW图，然后将RAW图经过去马赛克变换(Demosiac)变成图像RGB2；
将图像RGB1经过反gamma变换转成线性图像RGB3，然后将线性图像RGB3经过颜色空间转换变成图像HSV1；
将图像RGB2经过颜色空间转换变成图像HSV2；
选取图像HSV1的颜色通道和图像HSV2的亮度通道，合成新的图像HSV3；
新的图像HSV3经过颜色空间转换变成新的图像RGB4；
根据新的图像RGB4的白点对应图像RGB2的pixel，算出监督标注(label)r_gain，b_gain，g_gain；
网络训练步骤，其包括：
把上述数据预处理后的图像RGB2经过颜色扰动，水平垂直方向翻转和随机裁剪数据增强处理后送入网络；
网络输出3个AWB Gain：r_pred，g_pred，b_pred，以及6个颜色矫正矩阵参数c01，c02，c11，c12，c21，c22；
其中根据label r_gain，g_gain，b_gain和网络输出r_pred，g_pred，
b_pred计算出一组loss，记作awb_loss；
对颜色矫正矩阵参数进行无监督训练，给c01，c02，c11，c12，c21，c22赋予初值，然后根据网络输出值r_pred，g_pred，b_pred对图像RGB2进行白平衡矫正(AWB)；根据c01，c02，c11，c12，c21，c22对白平衡矫正后的图像进行颜色矫正得到cc_out，用cc_out和预处理出来的图像RGB4计算一组loss，记作color_loss；
给每个loss赋予不同的权值，相加得到总loss；
根据总loss更新网络模型参数，并得到初始模型；
得到初始模型后，在采集和标注好的数据集里进行微调(fine-tune)得到更适配图像传感器(Image sensor)的模型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111382303.0A CN113824945B (zh) | 2021-11-22 | 2021-11-22 | 一种基于深度学习的快速自动白平衡和颜色矫正方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111382303.0A CN113824945B (zh) | 2021-11-22 | 2021-11-22 | 一种基于深度学习的快速自动白平衡和颜色矫正方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113824945A CN113824945A (zh) | 2021-12-21 |
| CN113824945B true CN113824945B (zh) | 2022-02-11 |
Family
ID=78917908
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111382303.0A Active CN113824945B (zh) | 2021-11-22 | 2021-11-22 | 一种基于深度学习的快速自动白平衡和颜色矫正方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113824945B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114390266B (zh) * | 2021-12-28 | 2024-05-21 | 杭州涂鸦信息技术有限公司 | 一种图像白平衡处理方法、设备及计算机可读存储介质 |
| CN114463221A (zh) * | 2022-02-14 | 2022-05-10 | 北京邮电大学 | 一种用于多设备域awb增强的自监督颜色校正方法 |
| CN114757856B (zh) * | 2022-06-16 | 2022-09-20 | 深圳深知未来智能有限公司 | 一种基于无监督深度学习的自动白平衡算法及系统 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105791790B (zh) * | 2014-12-25 | 2018-09-04 | 小米科技有限责任公司 | 图像处理方法及装置 |
| JP7242185B2 (ja) * | 2018-01-10 | 2023-03-20 | キヤノン株式会社 | 画像処理方法、画像処理装置、画像処理プログラム、および、記憶媒体 |
| CN110634103A (zh) * | 2019-08-28 | 2019-12-31 | 天津大学 | 基于生成对抗网络的图像去马赛克方法 |
| CN111127336B (zh) * | 2019-11-18 | 2023-05-02 | 复旦大学 | 一种基于自适应选择模块的图像信号处理方法 |
| JP2021087201A (ja) * | 2019-11-29 | 2021-06-03 | キヤノン株式会社 | 画像処理装置、画像処理方法、学習装置、学習方法、撮像装置、及びプログラム |
| CN113099121B (zh) * | 2021-04-15 | 2022-05-06 | 西安交通大学 | 一种基于弱监督学习的isp实现方法 |
-
2021
- 2021-11-22 CN CN202111382303.0A patent/CN113824945B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN113824945A (zh) | 2021-12-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113824945B (zh) | 一种基于深度学习的快速自动白平衡和颜色矫正方法 | |
| US10055815B2 (en) | Image processing apparatus, image processing system, imaging apparatus and image processing method | |
| US20080240605A1 (en) | Image Processing Apparatus, Image Processing Method, and Image Processing Program | |
| CN104581105B (zh) | 基于色温距离变换权重图和块可靠性修正的自动白平衡方法 | |
| CN106504212A (zh) | 一种改进的hsi空间信息低照度彩色图像增强算法 | |
| CN107578383A (zh) | 一种低照度图像增强处理方法 | |
| CN109816608B (zh) | 一种基于噪声抑制的低照度图像自适应亮度增强方法 | |
| CN109493291A (zh) | 一种自适应伽马校正的彩色图像对比度增强方法 | |
| CN107862672B (zh) | 图像去雾的方法及装置 | |
| CN108830800A (zh) | 一种暗光场景下图像的亮度提升增强方法 | |
| WO2015119271A1 (ja) | 画像処理装置、撮像装置、画像処理方法、コンピュータにより処理可能な一時的でない記憶媒体 | |
| CN112348754B (zh) | 一种低照度彩色图像增强方法及装置 | |
| CN110570384A (zh) | 一种对场景图像进行光照均衡处理的方法、装置、计算机设备以及计算机存储介质 | |
| JP5719123B2 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
| JP2000123164A (ja) | 画像処理装置及びその方法 | |
| CN115984535A (zh) | 一种用于钻井作业现场的低照度图像判断以及图像增强方法 | |
| CN113596422B (zh) | 一种色彩校正矩阵ccm调整的方法及监控设备 | |
| JP4635975B2 (ja) | 画像処理装置及び画像処理方法 | |
| CN112488968B (zh) | 一种分程度直方图均衡融合的图像增强方法 | |
| JP3870796B2 (ja) | 画像処理装置及び画像処理方法 | |
| TWI711005B (zh) | 影像亮度調整方法及計算機程式產品 | |
| CN112907470A (zh) | 基于Lab色域变换、分类及白平衡的水下图像恢复方法 | |
| CN108898566B (zh) | 一种利用时空照度图的低照度彩色视频增强方法 | |
| CN111010557A (zh) | 白点范围确定方法、白平衡校正方法及装置、存储介质 | |
| CN106327439A (zh) | 一种快速雾霾天图像清晰化方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |