CN112070686A - 一种基于深度学习的逆光图像协同增强方法 - Google Patents

一种基于深度学习的逆光图像协同增强方法 Download PDF

Info

Publication number
CN112070686A
CN112070686A CN202010816305.5A CN202010816305A CN112070686A CN 112070686 A CN112070686 A CN 112070686A CN 202010816305 A CN202010816305 A CN 202010816305A CN 112070686 A CN112070686 A CN 112070686A
Authority
CN
China
Prior art keywords
backlight image
image
enhanced
backlight
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010816305.5A
Other languages
English (en)
Other versions
CN112070686B (zh
Inventor
张二虎
段敬红
李贝
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Songshi Intelligent Technology Co.,Ltd.
Original Assignee
Xian University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian University of Technology filed Critical Xian University of Technology
Priority to CN202010816305.5A priority Critical patent/CN112070686B/zh
Publication of CN112070686A publication Critical patent/CN112070686A/zh
Application granted granted Critical
Publication of CN112070686B publication Critical patent/CN112070686B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G06T5/90—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Abstract

本发明公开了一种基于深度学习的逆光图像协同增强方法，步骤包括：步骤1、采集逆光图像；步骤2、选取三种传统逆光图像增强方法，对每一幅逆光图像均生成三幅不同种类的伪目标图像；步骤3、设置对逆光图像增强的全卷积深度神经网络模型；步骤4、针对不同种类的伪目标图像设计不同的损失函数，然后加权综合所有的损失函数形成总的损失函数，以此来共同指导逆光图像增强的全卷积神经网络模型的训练，来学习并综合不同伪目标图像优点；步骤5、对于待增强的逆光图像，输入到训练好的全卷积神经网络模型，该模型的输出就是增强后的逆光图像。本发明的方法，增强后的图像整体轮廓清晰、层次分明、色彩协调。

Description

一种基于深度学习的逆光图像协同增强方法
技术领域
本发明属于数字图像处理技术领域，涉及一种基于深度学习的逆光图像协同增强方法。
背景技术
随着数码相机、手机等成像设备的日益普及，图像作为传递信息的主要媒介已被广泛应用于社会生活的各个领域。但是由于拍摄环境的约束以及拍摄设备硬件的限制，常会出现逆光图像，导致被拍摄的图像质量降低，进而会影响到后续的处理或者识别。因此，对逆光图像进行自动增强显得非常重要，具有实际应用价值。
现有的针对逆光图像的增强手段，主要是采用传统的基于光照不均图像的增强方法来进行处理，如直方图均衡增强方法、多尺度Retinex方法、照射图估计方法、非线性亮度提升方法等。这些方法无法同时兼顾欠曝光的主体和部分过曝光的背景，导致增强后图像的细节表现不好。另外，如果将逆光图像看作低照度图像和过曝光图像的结合，分别通过融合低照度增强方法和过曝光增强方法的增强结果来提高逆光图像的质量，虽然能同时增强欠曝光区域和过曝光区域的细节，但得到的图像整体往往会变得不连续。虽然基于深度学习的方法在低质量图像增强方面有许多方法，但在逆光图像的增强方面鲜有应用，其存在的问题是没有与逆光图像成对的正常图像，因而无法训练深度学习网络。
发明内容
本发明的目的是提供一种基于深度学习的逆光图像协同增强方法，解决了现有技术采用的深度学习方法，在逆光图像增强中没有真实的高质量图像与之对应，以及单目标增强效果不理想的问题。
本发明所采用的技术方案是，一种基于深度学习的逆光图像协同增强方法，按照以下步骤实施：
步骤1、采集逆光图像Is；
步骤2、选取三种传统逆光图像增强方法，对步骤1采集的每一幅逆光图像均生成三幅不同种类的伪目标图像；
步骤3、设置对逆光图像增强的全卷积深度神经网络模型，用Fe表示，
步骤4、针对步骤2中的不同种类的伪目标图像设计不同的损失函数，然后加权综合所有的损失函数形成总的损失函数，以此来共同指导步骤3所设计的逆光图像增强的全卷积神经网络模型的训练，来学习并综合不同伪目标图像优点；
步骤5、对于待增强的逆光图像Is，将其输入到步骤4训练好的逆光图像增强的全卷积神经网络模型Fe，该全卷积神经网络模型的输出就是增强后的逆光图像Ie，即Ie＝Fe(Is)，即成。
本发明的有益效果是，一是解决了应用深度学习方法对逆光图像增强时无相应成对图像的问题；二是充分利用了不同伪目标图像的长处，协同训练逆光图像增强的网络模型，使得增强后的图像比传统方法生成的图像更为真实，图像整体轮廓清晰、层次分明、色彩协调。
附图说明
图1是本发明方法的原理框图；
图2是本发明方法中的逆光图像增强的全卷积神经网络模型结构图；
图3a是一幅逆光图像；
图3b是采用本发明方法对图3a增强后的图像；
图3c是采用传统的多尺度Retinex方法对图3a增强后的图像；
图3d是采用传统的照射图估计方法对图3a增强后的图像；
图3e是基于图像分割的自适应增强方法对图3a增强后的图像；
图4是本发明方法的步骤过程框图。
具体实施方式
下面结合附图和具体实施方式对本发明进行详细说明。
参照图1及图4，本发明基于深度学习的逆光图像协同增强方法，按照以下步骤实施：
步骤1、利用数码相机、手机采集一定数量的逆光图像Is；
步骤2、选取三种具有不同特色的传统逆光图像增强方法，对步骤1采集的每一幅逆光图像均生成三幅不同种类的伪目标图像，其中，传统逆光图像增强方法1生成的伪目标图像要求结构清晰，用It1表示；传统逆光图像增强方法2生成的伪目标图像要求细节丰富，用It2表示；传统逆光图像增强方法3生成的伪目标图像要求色彩丰富，用It3表示；
步骤3、参照图2，设置对逆光图像增强的全卷积深度神经网络模型，用Fe表示，具体过程为，
3.1)使用一个步长为1的3×3卷积层将输入的逆光图像Is映射到特征空间，形成特征图；
3.2)采用三个下采样块对步骤3.1)形成的特征图进行编码，每一个下采样块都是由一个步长为2的3×3卷积层和ReLU激活层组成，每个下采样块都提取64通道的特征映射输出；
3.3)通过三个上采样块对步骤3.2)最后一个下采样块的特征映射输出进行解码，每个上采样块都是先通过最近邻插值将特征图上采样到更高一层的尺寸，再通过一个3×3卷积层和ReLU激活层进行特征映射的；此外在将前一层输入送入到下一个上采样块之前，将其与对应的下采样时提取到的特征拼接起来，以得到更为丰富的级联特征；
3.4)将所有上采样块的输出resize为输入逆光图像的大小并进行通道拼接，形成192个通道的级联特征，再通过一个1*1卷积层将其融合为64个通道的特征；
3.5)利用一个3*3卷积层将64个通道的特征映射到3通道的图像空间，并通过Sigmoid层将输出的结果归一化到0-1的图像范围，生成由该网络增强后的逆光图像。
步骤4、针对步骤2中的不同种类的伪目标图像设计不同的损失函数，然后加权综合所有的损失函数形成总的损失函数，以此来共同指导步骤3所设计的逆光图像增强的全卷积神经网络模型的训练，来学习并综合不同伪目标图像优点；
损失函数的构建过程为，
对于传统逆光图像增强方法1生成的伪目标图像It1与步骤3全卷积神经网络模型Fe生成的增强后的逆光图像的损失函数L1，称为结构损失函数，其定义为：L1＝||Fe(Is)-It1||1，其中Fe(Is)表示由全卷积神经网络模型Fe生成的增强后的逆光图像；
对于传统逆光图像增强方法2生成的伪目标图像It2与步骤3全卷积神经网络模型Fe生成的增强后的逆光图像的损失函数L2，称为感知损失函数，其定义为：
Figure BDA0002632849340000051
其中算子VGG(·)表示提取VGGNet-19网络的conv4-4层输出的特征；
对于传统逆光图像增强方法3生成的伪目标图像It3与步骤3全卷积神经网络模型Fe生成的增强后的逆光图像的损失函数L3，称为颜色损失函数，其定义为：
Figure BDA0002632849340000052
其中算子B(·)表示进行高斯滤波模糊运算；选取的高斯滤波函数为：
Figure BDA0002632849340000053
参数为A＝0.053；μx＝0；μy＝0；σx＝3；σy＝3；
总的结构损失函数L定义为：L＝L1+λpL2+λcL3；
其中系数λp的取值范围为0.05到0.15之间，系数λc的取值范围为0.5到1.5之间；
步骤5、对于待增强的逆光图像Is，将其输入到步骤4训练好的逆光图像增强的全卷积神经网络模型Fe，该全卷积神经网络模型的输出就是增强后的逆光图像Ie，即Ie＝Fe(Is)，即成。
实验验证：
本发明的基于深度学习的逆光图像协同增强方法，增强后的图像视觉效果整体上优于所采用的传统方法。如图3a-图3e所示是一组示例图，图3a是一幅逆光图像，图3c是采用传统的多尺度Retinex方法(Petro A B,Sbert C,Morel J M.Multiscale Retinex.[J].Image Processing on Line,2014,4:71-88)对图3a增强后的图像，图3d是采用照射图估计方法(Guo X,Li Y,Ling H.LIME:Low-light image enhancement via illuminationmap estimation[J].IEEE Transactions on Image Processing,2017,26(2):982-993.)对图3a增强后的图像，图3e是基于图像分割的自适应增强方法(李贝.基于机器学习的逆光图像增强技术研究[D].西安理工大学,2022)对图3a增强后的图像，而图3b是本发明方法的增强效果。从图3a-图3e可以看出，经过本发明方法增强后的图像色彩饱和度有所提升，暗区域的亮度有得到了有效地提高使得细节信息清晰可见，而且该部分的噪声相比其他传统方法来说保持在较低水平，与此同时图像轮廓清晰、层次分明、整体色彩较为协调。由此可见，本发明方法能够使网络学习到传统的不同逆光图像增强方法的优点，并一定程度抑制其缺点，从而实现逆光图像视觉质量的有效提高。

Claims (5)

1.一种基于深度学习的逆光图像协同增强方法，其特征在于，按照以下步骤实施：
步骤1、采集逆光图像Is；
步骤2、选取三种传统逆光图像增强方法，对步骤1采集的每一幅逆光图像均生成三幅不同种类的伪目标图像；
步骤3、设置对逆光图像增强的全卷积深度神经网络模型，用Fe表示，
步骤4、针对步骤2中的不同种类的伪目标图像设计不同的损失函数，然后加权综合所有的损失函数形成总的损失函数，以此来共同指导步骤3所设计的逆光图像增强的全卷积神经网络模型的训练，来学习并综合不同伪目标图像优点；
步骤5、对于待增强的逆光图像Is，将其输入到步骤4训练好的逆光图像增强的全卷积神经网络模型Fe，该全卷积神经网络模型的输出就是增强后的逆光图像Ie，即Ie＝Fe(Is)，即成。
2.根据权利要求1所述的基于深度学习的逆光图像协同增强方法，其特征在于：所述的三种具有不同特色的传统逆光图像增强方法分别是，
传统逆光图像增强方法1生成的伪目标图像要求结构清晰，用It1表示；
传统逆光图像增强方法2生成的伪目标图像要求细节丰富，用It2表示；
传统逆光图像增强方法3生成的伪目标图像要求色彩丰富，用It3表示。
3.根据权利要求1所述的基于深度学习的逆光图像协同增强方法，其特征在于：所述的步骤3中，具体过程为，
3.1)使用一个步长为1的3×3卷积层将输入的逆光图像Is映射到特征空间，形成特征图；
3.2)采用三个下采样块对步骤3.1)形成的特征图进行编码，每一个下采样块都是由一个步长为2的3×3卷积层和ReLU激活层组成，每个下采样块都提取64通道的特征映射输出；
3.3)通过三个上采样块对步骤3.2)最后一个下采样块的特征映射输出进行解码，每个上采样块都是先通过最近邻插值将特征图上采样到更高一层的尺寸，再通过一个3×3卷积层和ReLU激活层进行特征映射的；此外在将前一层输入送入到下一个上采样块之前，将其与对应的下采样时提取到的特征拼接起来，以得到更为丰富的级联特征；
3.4)将所有上采样块的输出resize为输入逆光图像的大小并进行通道拼接，形成192个通道的级联特征，再通过一个1*1卷积层将其融合为64个通道的特征；
3.5)利用一个3*3卷积层将64个通道的特征映射到3通道的图像空间，并通过Sigmoid层将输出的结果归一化到0-1的图像范围，生成由该网络增强后的逆光图像。
4.根据权利要求1所述的基于深度学习的逆光图像协同增强方法，其特征在于：所述的步骤4中，损失函数的构建过程为，
对于传统逆光图像增强方法1生成的伪目标图像It1与步骤3全卷积神经网络模型Fe生成的增强后的逆光图像的损失函数L1，称为结构损失函数，其定义为：L1＝||Fe(Is)-It1||1，其中Fe(Is)表示由全卷积神经网络模型Fe生成的增强后的逆光图像；
对于传统逆光图像增强方法2生成的伪目标图像It2与步骤3全卷积神经网络模型Fe生成的增强后的逆光图像的损失函数L2，称为感知损失函数，其定义为：
Figure FDA0002632849330000031
其中算子VGG(·)表示提取VGGNet-19网络的conv4-4层输出的特征；
对于传统逆光图像增强方法3生成的伪目标图像It3与步骤3全卷积神经网络模型Fe生成的增强后的逆光图像的损失函数L3，称为颜色损失函数，其定义为：
Figure FDA0002632849330000032
其中算子B(·)表示进行高斯滤波模糊运算；选取的高斯滤波函数为：
Figure FDA0002632849330000033
参数为A＝0.053；μx＝0；μy＝0；σx＝3；σy＝3；
总的结构损失函数L定义为：L＝L1+λpL2+λcL3。
5.根据权利要求4所述的基于深度学习的逆光图像协同增强方法，其特征在于：所述的系数λp的取值范围为0.05到0.15之间，系数λc的取值范围为0.5到1.5之间。
CN202010816305.5A 2020-08-14 2020-08-14 一种基于深度学习的逆光图像协同增强方法 Active CN112070686B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010816305.5A CN112070686B (zh) 2020-08-14 2020-08-14 一种基于深度学习的逆光图像协同增强方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010816305.5A CN112070686B (zh) 2020-08-14 2020-08-14 一种基于深度学习的逆光图像协同增强方法

Publications (2)

Publication Number Publication Date
CN112070686A true CN112070686A (zh) 2020-12-11
CN112070686B CN112070686B (zh) 2023-04-28

Family

ID=73661707

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010816305.5A Active CN112070686B (zh) 2020-08-14 2020-08-14 一种基于深度学习的逆光图像协同增强方法

Country Status (1)

Country Link
CN (1) CN112070686B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112884675A (zh) * 2021-03-18 2021-06-01 国家海洋信息中心 一种批量遥感影像调色工程化实现方法
CN113191956A (zh) * 2021-01-19 2021-07-30 西安理工大学 基于深度抠图的逆光图像增强方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106651766A (zh) * 2016-12-30 2017-05-10 深圳市唯特视科技有限公司 一种基于深度卷积神经网络的图像风格迁移方法
CN108492271A (zh) * 2018-03-26 2018-09-04 中国电子科技集团公司第三十八研究所 一种融合多尺度信息的自动图像增强系统及方法
US10304193B1 (en) * 2018-08-17 2019-05-28 12 Sigma Technologies Image segmentation and object detection using fully convolutional neural network

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106651766A (zh) * 2016-12-30 2017-05-10 深圳市唯特视科技有限公司 一种基于深度卷积神经网络的图像风格迁移方法
CN108492271A (zh) * 2018-03-26 2018-09-04 中国电子科技集团公司第三十八研究所 一种融合多尺度信息的自动图像增强系统及方法
US10304193B1 (en) * 2018-08-17 2019-05-28 12 Sigma Technologies Image segmentation and object detection using fully convolutional neural network

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
HONGXU YANG，AND ETC: "Efficient Catheter Segmentation in 3D Cardiac Ultrasound using Slice-Based FCN With Deep Supervision and F-Score Loss", 《2019 IEEE INTERNATIONAL CONFERENCE ON IMAGE PROCESSING (ICIP)》 *
刘超等: "超低照度下微光图像增强神经网络损失函数设计分析", 《国防科技大学学报》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113191956A (zh) * 2021-01-19 2021-07-30 西安理工大学 基于深度抠图的逆光图像增强方法
CN113191956B (zh) * 2021-01-19 2024-02-09 西安理工大学 基于深度抠图的逆光图像增强方法
CN112884675A (zh) * 2021-03-18 2021-06-01 国家海洋信息中心 一种批量遥感影像调色工程化实现方法

Also Published As

Publication number Publication date
CN112070686B (zh) 2023-04-28

Similar Documents

Publication Publication Date Title
Lv et al. Attention guided low-light image enhancement with a large scale low-light simulation dataset
CN112288658A (zh) 一种基于多残差联合学习的水下图像增强方法
WO2021164234A1 (zh) 图像处理方法以及图像处理装置
CN111915525B (zh) 基于改进深度可分离生成对抗网络的低照度图像增强方法
CN112001863B (zh) 一种基于深度学习的欠曝光图像恢复方法
CN110148088B (zh) 图像处理方法、图像去雨方法、装置、终端及介质
CN112348747A (zh) 图像增强方法、装置及存储介质
CN112308803B (zh) 一种基于深度学习的自监督低照度图像增强及去噪方法
CN113628152B (zh) 一种基于多尺度特征选择性融合的暗光图像增强方法
Bianco et al. Personalized image enhancement using neural spline color transforms
CN110610526A (zh) 一种基于wnet对单目人像进行分割和景深渲染的方法
CN113284061B (zh) 一种基于梯度网络的水下图像增强方法
CN112070686B (zh) 一种基于深度学习的逆光图像协同增强方法
CN114862698A (zh) 一种基于通道引导的真实过曝光图像校正方法与装置
CN115393227A (zh) 基于深度学习的微光全彩视频图像自适应增强方法及系统
CN114219722A (zh) 一种利用时频域层级处理的低光照图像增强方法
CN113628141B (zh) 一种基于高低曝光图像融合的hdr细节增强方法
Zheng et al. Low-light image and video enhancement: A comprehensive survey and beyond
Zou et al. Rawhdr: High dynamic range image reconstruction from a single raw image
Yadav et al. Frequency-domain loss function for deep exposure correction of dark images
CN116823662A (zh) 一种融合原生特征的图像去噪去模糊方法
CN114663300A (zh) 基于dce的低照度图像增强方法、系统及相关设备
CN112712481A (zh) 一种针对弱光图像增强的结构-纹理感知方法
CN114511462B (zh) 一种视觉图像增强方法
CN112381761B (zh) 一种鲁棒的低光照增强图像质量评价方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20230410

Address after: Room 407, Building 03, Yitian Village, Furong Road, Futian District, Shenzhen City, Guangdong Province, 518000

Applicant after: Lin Hongjun

Address before: 710000 No. B49, Xinda Zhongchuang space, 26th Street, block C, No. 2 Trading Plaza, South China City, international port district, Xi'an, Shaanxi Province

Applicant before: Xi'an Huaqi Zhongxin Technology Development Co.,Ltd.

Effective date of registration: 20230410

Address after: 710000 No. B49, Xinda Zhongchuang space, 26th Street, block C, No. 2 Trading Plaza, South China City, international port district, Xi'an, Shaanxi Province

Applicant after: Xi'an Huaqi Zhongxin Technology Development Co.,Ltd.

Address before: 710048 Shaanxi province Xi'an Beilin District Jinhua Road No. 5

Applicant before: XI'AN University OF TECHNOLOGY

GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20230714

Address after: Room 402, Building 10, Phase 2, Nanshan Yungu Entrepreneurship Park, No. 2, Pingshan 1st Road, Pingshan Community, Taoyuan Street, Nanshan District, Shenzhen City, Guangdong Province, 518051

Patentee after: Shenzhen Songshi Intelligent Technology Co.,Ltd.

Address before: Room 407, Building 03, Yitian Village, Furong Road, Futian District, Shenzhen City, Guangdong Province, 518000

Patentee before: Lin Hongjun