CN114757856B - 一种基于无监督深度学习的自动白平衡算法及系统 - Google Patents
一种基于无监督深度学习的自动白平衡算法及系统 Download PDFInfo
- Publication number
- CN114757856B CN114757856B CN202210678040.6A CN202210678040A CN114757856B CN 114757856 B CN114757856 B CN 114757856B CN 202210678040 A CN202210678040 A CN 202210678040A CN 114757856 B CN114757856 B CN 114757856B
- Authority
- CN
- China
- Prior art keywords
- picture
- light source
- rgb
- color space
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013135 deep learning Methods 0.000 title claims abstract description 21
- 238000000034 method Methods 0.000 claims abstract description 16
- 238000012545 processing Methods 0.000 claims abstract description 12
- 230000001131 transforming effect Effects 0.000 claims abstract description 3
- 238000012549 training Methods 0.000 claims description 23
- 238000007781 pre-processing Methods 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 6
- 230000006870 function Effects 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 6
- 239000003086 colorant Substances 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims description 2
- 230000009466 transformation Effects 0.000 claims 1
- 238000002372 labelling Methods 0.000 abstract description 3
- 238000010606 normalization Methods 0.000 abstract description 3
- 150000001875 compounds Chemical class 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000013480 data collection Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000001028 reflection method Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/088—Non-supervised learning, e.g. competitive learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20132—Image cropping
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
- Processing Of Color Television Signals (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于无监督深度学习的自动白平衡算法及系统,涉及图像处理技术领域,具体步骤为:获取RGB颜色空间图片;将RGB颜色空间图片变换成线性颜色空间图片;将线性颜色空间图片经过颜色空间转换为灰度图;对灰度图随机裁剪获得灰度裁剪图,并对灰度裁剪图进行归一化处理;将归一化处理后的灰度裁剪图输入预估网络中获得光源颜色;根据光源颜色对RGB颜色空间图片进行白平衡处理;本发明不仅训练出一个光源颜色估计模型,突破了数据标注采集等限制,还可将训练好的模型移植手机以及相机中,解决了传统方法中适应性差的问题。
Description
技术领域
本发明涉及图像处理技术领域,更具体的说是涉及一种基于无监督深度学习的自动白平衡算法及系统。
背景技术
白平衡算法(AWB)主要的作用是将偏暖或者偏冷的色调自动恢复到正常色调,使图像看起来更加色彩饱满正常。传统的AWB算法包含高级白平衡算法、灰度世界算法、完美反射法、基于深度学习的自动白平衡方法等等,在基于深度学习的自动白平衡方法中,采用有监督学习的算法流程为:根据标定的光源颜色,然后通过深度神经网络学习光强颜色。
但其存在以下缺陷:1)对于有监督的光源颜色估计算法,缺乏用基本真实光源注释的大型数据集。事实上,用于此目的的数据集通常是通过拍摄放置了具有已知色度特性的标准对象(例如彩色目标)的场景来获得的。而对于收集监督深度学习所需的大数据集显然是不切实际的。2)所学习的模型通常专门用于对于训练集的相同设备获取的图像的处理。它们应用于其他设备拍摄的图像需要某种形式的适应或再训练。
因此,研发一种可有效解决深度学习训练数据获取难,多设备适应性差等问题的白平衡算法是本领域技术人员亟需解决的问题。
发明内容
有鉴于此,本发明提供了一种基于无监督深度学习的自动白平衡算法及系统,有效解决了深度学习训练数据获取难,多设备适应性差等问题。
为了实现上述目的,本发明提供如下技术方案:
一种基于无监督深度学习的自动白平衡算法,具体步骤为:
获取RGB颜色空间图片rgb_img;
将RGB颜色空间图片rgb_img变换成线性颜色空间图片rgb_degamma;
将线性颜色空间图片rgb_degamma经过颜色空间转换为灰度图gray_degamma;
对灰度图gray_degamma随机裁剪获得灰度裁剪图gray_crop,并对灰度裁剪图gray_crop进行归一化处理;
将归一化处理后的灰度裁剪图gray_crop输入预估网络中获得光源颜色;
根据光源颜色对RGB颜色空间图片rgb_img进行白平衡处理。
可选的,线性颜色空间图片rgb_degamma通过反伽马变换操作获得。
可选的,预估网络的构建步骤为:
搭建基础预估网络;
获取训练图片;
对训练图片进行预处理;
基于损失函数计算当前损失loss;
根据当前损失loss更新基础预估网络的预测模型的参数,当loss不再下降,趋于稳定时,得到光源颜色预测模型,完成预估网络训练。
可选的,预估网络的构建步骤还包括基于标记有光源颜色数据集对光源颜色预测模型进行微调。
可选的,在将预处理后的图片输入基础预估网络之前,将预处理的图片进行数据增强,包括:a.颜色扰动;b.水平垂直方向翻转;c.加轻微噪声;d.裁剪。
可选的,预估的光源颜色的计算公式为:
可选的,当前损失loss的计算公式为:
一种基于无监督深度学习的自动白平衡系统,包括:
数据获取模块:用于获取RGB颜色空间图片rgb_img;
数据预处理模块,用于根据RGB颜色空间图片rgb_img获得灰度裁剪图gray_crop;
网络训练模块:用于根据基础预估网络完成对光源颜色预测模型的训练,获得预估网络;
白平衡模块:用于根据预估网络的输出光源颜色对RGB颜色空间图片rgb_img进行白平衡处理。
经由上述的技术方案可知,与现有技术相比,本发明公开了一种基于无监督深度学习的自动白平衡算法及系统,不仅训练出一个光源颜色估计模型,突破了数据标注采集等限制,还可将训练好的模型移植手机以及相机中,解决了传统方法中适应性差的问题;本发明还解决了传统方法对大面积纯色图片白平衡参数估计不准确的问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本发明的方法流程示意图;
图2为本发明的网络结构示意图;
图3为本发明的系统结构图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例公开了一种基于无监督深度学习的自动白平衡算法,如图1所示,具体步骤为:
步骤1、数据收集和预处理,目标是生成可供网络学习的灰度图,具体为:
数据收集:从网络上收集大量的RGB颜色空间的图片;
数据的预处理:
为减少亮度因素对网络训练的影响,将RGB颜色空间图片rgb_img经过反伽马变换操作变换成rgb_degamma;
因收集的数据是不同传感器、不同环境、不同光照条件下拍摄的,为了方便网络学习检测图片中的灰区(灰区:即RGB颜色空间图片中R=G=B的区域),将rgb_degamma经过颜色空间转换rgb->gray成灰度图gray_degamma;
对灰度图gray_degamma进行随机裁剪成灰度裁剪图gray_crop,并进行归一化处理。
步骤2、网络训练,目的是获取图片的光源颜色。
网络学习的原理为:将大小为H*W(其中H表示图片的高,单位为Pixel,W表示图片的宽,单位为Pixel)的RGB空间图片,经过数据预处理后送入网络中,得到权值映射,大小也为H*W,其代表的意义是对图片中灰区赋予较高的权重,对其他非灰区赋予小的权重,最后通过下列公式转换为光源颜色,计算公式为:
网络训练的具体步骤为:
步骤21、把上述数据预处理后的灰度裁剪图gray_crop经过一些数据增强送入网络(数据增强方法a.颜色扰动 b.水平垂直方向翻转 c.加轻微噪声 d.裁剪);
步骤22、通过结构如图2所示的网络,得到网络输出值Ir,Ig,Ib,其中Ir,Ig,Ib分别代表网络估计出的光源颜色;
步骤23、通过损失函数计算当前损失loss;具体为:
其中,本实施例中的损失函数是为了使网络能根据训练数据学习出图片的灰区,然后根据灰区计算出图片的光源颜色。
步骤24、根据损失loss更新网络模型参数,并得到最终效果最好的初始光源颜色预测模型;
步骤25、得到初始模型后,可在标记有光源颜色数据集里微调可以得到更适配sensor的光源颜色预测模型。
其中,本实施例中的网络通过训练一个卷积神经网络来选择哪些像素应该被用来估计光源的颜色。更准确地说,估计将是输入像素的加权和,其中权值是网络的输出。对于H×W(其中H表示图片的高,单位为Pixel,W表示图片的宽,单位为Pixel)的输入RGB图像,网络输出一个权值映射(∈[0,1]),然后将权值映射通过公式(1)计算成光源颜色I。
步骤3、进行白平衡处理,具体为:
步骤31、将需要白平衡处理的数据经过数据预处理后送入加载模型的网络,得到网络估计的光源颜色Ir,Ig,Ib;
步骤32、根据网络输出的值对图片进行白平衡处理。
本实施例根据训练出的光源颜色估计模型,突破了数据标注采集等限制。训练出的模型可移植到相机、手机等终端设备用于白平衡矫正;解决了传统方法对大面积纯色图片白平衡参数估计不准确的问题;经过imatest测试,在低色温和低照度情况下,白平衡的灰阶还原度在90%以上,正常情况下的灰阶还原度达到95%以上。
在另一实施例中,还包括一种基于无监督深度学习的自动白平衡系统,如图3所示,包括:
数据获取模块:用于获取RGB颜色空间图片rgb_img;
数据预处理模块:用于根据RGB颜色空间图片rgb_img获得灰度裁剪图gray_crop;
网络训练模块:用于根据基础预估网络完成对光源颜色预测模型的训练,获得预估网络;
白平衡模块:用于根据预估网络的输出光源颜色对RGB颜色空间图片rgb_img进行白平衡处理。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (6)
1.一种基于无监督深度学习的自动白平衡方法,其特征在于,具体步骤为:
获取RGB颜色空间图片rgb_img;
将RGB颜色空间图片rgb_img变换成线性颜色空间图片rgb_degamma;
将线性颜色空间图片rgb_degamma经过颜色空间转换为灰度图gray_degamma;
对灰度图gray_degamma随机裁剪获得灰度裁剪图gray_crop,并对灰度裁剪图gray_crop进行归一化处理;
将归一化处理后的灰度裁剪图gray_crop输入预估网络中获得光源颜色;
根据光源颜色对RGB颜色空间图片rgb_img进行白平衡处理;
其中,预估网络的构建步骤为:
搭建基础预估网络;
获取训练图片;
对训练图片进行预处理;
将预处理后的训练图片输入基础预估网络,获得权值映射ω,并通过计算得到预估的光源颜色;
基于损失函数计算当前损失loss;
根据当前损失loss更新基础预估网络的预测模型的参数,得到光源颜色预测模型,完成预估网络训练;
其中,当前损失loss的计算公式为:
式中,ε为1e-4,其中Ir,Ig,Ib分别为R通道、G通道、B通道的预估的光源颜色;I为预估的光源颜色。
2.根据权利要求1所述的一种基于无监督深度学习的自动白平衡方法,其特征在于,线性颜色空间图片rgb_degamma通过反伽马变换操作获得。
3.根据权利要求1所述的一种基于无监督深度学习的自动白平衡方法,其特征在于,预估网络的构建步骤还包括基于标记有光源颜色的数据集对光源颜色预测模型进行微调。
4.根据权利要求1所述的一种基于无监督深度学习的自动白平衡方法,其特征在于,在将预处理后的图片输入基础预估网络之前,将预处理的图片进行数据增强,包括:a.颜色扰动;b.水平垂直方向翻转;c.加轻微噪声;d.裁剪。
6.一种基于无监督深度学习的自动白平衡系统,其特征在于,包括:
数据获取模块:用于获取RGB颜色空间图片rgb_img;
数据预处理模块:用于根据RGB颜色空间图片rgb_img获得灰度裁剪图gray_crop;
网络训练模块:用于根据基础预估网络完成对光源颜色预测模型的训练,获得预估网络;
白平衡模块:用于根据预估网络的输出光源颜色对RGB颜色空间图片rgb_img进行白平衡处理;
其中,网络训练模块包括损失计算子模块,所述损失计算子模块:用于基于损失函数计算当前损失loss;
损失函数具体为:
式中,ε为1e-4,其中Ir,Ig,Ib分别为R通道、G通道、B通道的预估的光源颜色;I为预估的光源颜色。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210678040.6A CN114757856B (zh) | 2022-06-16 | 2022-06-16 | 一种基于无监督深度学习的自动白平衡算法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210678040.6A CN114757856B (zh) | 2022-06-16 | 2022-06-16 | 一种基于无监督深度学习的自动白平衡算法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114757856A CN114757856A (zh) | 2022-07-15 |
CN114757856B true CN114757856B (zh) | 2022-09-20 |
Family
ID=82336787
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210678040.6A Active CN114757856B (zh) | 2022-06-16 | 2022-06-16 | 一种基于无监督深度学习的自动白平衡算法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114757856B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116596891B (zh) * | 2023-05-22 | 2024-09-10 | 南京林业大学 | 基于半监督多任务检测的木地板颜色分类及缺陷检测方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
AU2004202924A1 (en) * | 2004-06-29 | 2006-01-12 | Monash University | Method and apparatus for determining horizon angle and displacement |
CN112598594A (zh) * | 2020-12-24 | 2021-04-02 | Oppo(重庆)智能科技有限公司 | 颜色一致性矫正方法及相关装置 |
CN113469296A (zh) * | 2021-09-03 | 2021-10-01 | 广东众聚人工智能科技有限公司 | 基于少量标签数据自监督联合学习的图像分类方法及系统 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107578390B (zh) * | 2017-09-14 | 2020-08-07 | 长沙全度影像科技有限公司 | 一种使用神经网络进行图像白平衡校正的方法及装置 |
CN113273181B (zh) * | 2018-11-16 | 2022-09-09 | 华为技术有限公司 | 用于相机自适应颜色恒常性的元学习 |
CN112399162B (zh) * | 2019-08-16 | 2022-09-16 | 浙江宇视科技有限公司 | 一种白平衡校正方法、装置、设备和存储介质 |
CN113994384A (zh) * | 2019-09-11 | 2022-01-28 | 谷歌有限责任公司 | 使用机器学习的图像着色 |
CN112204957A (zh) * | 2019-09-20 | 2021-01-08 | 深圳市大疆创新科技有限公司 | 白平衡处理方法和设备、可移动平台、相机 |
CN113947179A (zh) * | 2020-07-16 | 2022-01-18 | 浙江宇视科技有限公司 | 白平衡校正方法、装置、设备和存储介质 |
CN113824945B (zh) * | 2021-11-22 | 2022-02-11 | 深圳深知未来智能有限公司 | 一种基于深度学习的快速自动白平衡和颜色矫正方法 |
CN114463221A (zh) * | 2022-02-14 | 2022-05-10 | 北京邮电大学 | 一种用于多设备域awb增强的自监督颜色校正方法 |
-
2022
- 2022-06-16 CN CN202210678040.6A patent/CN114757856B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
AU2004202924A1 (en) * | 2004-06-29 | 2006-01-12 | Monash University | Method and apparatus for determining horizon angle and displacement |
CN112598594A (zh) * | 2020-12-24 | 2021-04-02 | Oppo(重庆)智能科技有限公司 | 颜色一致性矫正方法及相关装置 |
CN113469296A (zh) * | 2021-09-03 | 2021-10-01 | 广东众聚人工智能科技有限公司 | 基于少量标签数据自监督联合学习的图像分类方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN114757856A (zh) | 2022-07-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107578390B (zh) | 一种使用神经网络进行图像白平衡校正的方法及装置 | |
CN109034184B (zh) | 一种基于深度学习的均压环检测识别方法 | |
CN111292264A (zh) | 一种基于深度学习的图像高动态范围重建方法 | |
US9299011B2 (en) | Signal processing apparatus, signal processing method, output apparatus, output method, and program for learning and restoring signals with sparse coefficients | |
WO2020000960A1 (zh) | 图像分离方法、装置、计算机设备及存储介质 | |
KR20090017158A (ko) | 자동 화이트 밸런스 방법 | |
CN112508812B (zh) | 图像色偏校正方法、模型训练方法、装置及设备 | |
CN102209246A (zh) | 一种实时视频白平衡处理系统 | |
CN115223004A (zh) | 基于改进的多尺度融合生成对抗网络图像增强方法 | |
Kwok et al. | Gray world based color correction and intensity preservation for image enhancement | |
CN114757856B (zh) | 一种基于无监督深度学习的自动白平衡算法及系统 | |
US20230059499A1 (en) | Image processing system, image processing method, and non-transitory computer readable medium | |
CN113824945B (zh) | 一种基于深度学习的快速自动白平衡和颜色矫正方法 | |
CN115526806B (zh) | 基于人工智能的黑光图像自动校色方法 | |
CN111861949B (zh) | 一种基于生成对抗网络的多曝光图像融合方法及系统 | |
CN111242868A (zh) | 暗视觉环境下基于卷积神经网络的图像增强方法 | |
US11790501B2 (en) | Training method for video stabilization and image processing device using the same | |
CN109522865A (zh) | 一种基于深度神经网络的特征加权融合人脸识别方法 | |
CN109451292B (zh) | 图像色温校正方法及装置 | |
US20230196739A1 (en) | Machine learning device and far-infrared image capturing device | |
Zhang et al. | An underwater image enhancement method based on local white balance | |
CN114463221A (zh) | 一种用于多设备域awb增强的自监督颜色校正方法 | |
CN114708177A (zh) | 一种多曝光图像融合在多能流平台上的监管方法 | |
CN115034974A (zh) | 可见光与红外融合图像类自然色还原方法、设备及储存介质 | |
CN114187187A (zh) | 基于差异信息色彩映射的红外图像伪彩色方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |