CN111539885B - 一种基于多尺度网络的图像增强去雾方法 - Google Patents

一种基于多尺度网络的图像增强去雾方法 Download PDF

Info

Publication number
CN111539885B
CN111539885B CN202010318350.8A CN202010318350A CN111539885B CN 111539885 B CN111539885 B CN 111539885B CN 202010318350 A CN202010318350 A CN 202010318350A CN 111539885 B CN111539885 B CN 111539885B
Authority
CN
China
Prior art keywords
image
defogging
network
module
foggy
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010318350.8A
Other languages
English (en)
Other versions
CN111539885A (zh
Inventor
郭宇
丁轩
董航
项蕾
张昕昳
王飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian Jiaotong University
Original Assignee
Xian Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian Jiaotong University filed Critical Xian Jiaotong University
Priority to CN202010318350.8A priority Critical patent/CN111539885B/zh
Publication of CN111539885A publication Critical patent/CN111539885A/zh
Application granted granted Critical
Publication of CN111539885B publication Critical patent/CN111539885B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于多尺度网络的图像增强去雾方法，包括以下步骤：基于U型网络的架构设计多尺度增强去雾网络，多尺度增强去雾网络包括编码器模块GEnc、基于boosting算法的解码器模块GDec及特征复原模块GRes，其中，编码器模块GEnc用于对有雾图像进行不同尺度有雾特征的提取，解码器模块GDec用于通过对有雾特征进行修复，解码器模块GDec的末端连接有卷积层，卷积层用于通过最终修复的特征重建去雾后的图像该方法能够实现图像的去雾，且去雾效果较好。

Description

一种基于多尺度网络的图像增强去雾方法
技术领域
本发明属于计算机视觉与图像处理领域，涉及一种基于多尺度网络的图像增强去雾方法。
背景技术
在图像的成像过程中，常常因为大气中的浑浊介质而导致有雾图像的成像质量下降。图像去雾的目标就是从一个有雾图像复原出一个清晰无雾的图像。在进行景物理解、目标识别等高等级视觉任务之前，图像首先需要经过一轮强化处理，提升图像的质量，才可以进行高等级视觉任务。因此，图像去雾问题是人们重点关注的问题。现存的图像去雾方法通常将有雾图像I建模为：
I(x)＝T(x)J(x)+(1-T(x))A (1)
J表示清晰的场景，A代表着大气光强度，即周围环境的光强，T表示着光线透过函数，x则表示着像素点的位置。
数据驱动的深度学习方法可以更高效地从有雾图像I中复原出没有雾的场景J。早期的方法首先使用很深的卷积神经网络(CNNs)去估计传输函数并且用传统的方法--暗通道先验法去估计大气光强度。然而，暗通道先验法是基于大气光强度全局一致的假设，它常常会导致去雾后的结果有着明显的颜色失真。为了解决颜色失真的问题，一些去雾方法使用卷积神经网络直接或者迭代地估计没有雾的清晰图像。尽管有些去雾方法取得了不错的结果，但这些去雾方法采用的架构都是针对一些高等级计算机视觉任务(检测、识别等)而设计的。这意味着这些去雾网络没有针对去雾问题本身进行优化，从而无法得到最优解。
不同于许多高等级的视觉任务，图像去雾问题是一种高度病态问题。在图像去雾问题中，小小的估算错误就会引起剧烈的变化。一般情况下有两种解决这类病态问题的方法，一种需要使用确定的图像先验知识进行约束，另一种是针对该问题认真地设计相对应的算法来解决。对于深度去雾神经网络，简单地堆叠更多的网络层或者是使用更复杂的层是无法取得显著的效果的。因此，设计专门的去雾网络模型对图像去雾问题是十分重要的。
发明内容
本发明的目的在于克服上述现有技术的缺点，提供了一种基于多尺度网络的图像增强去雾方法，该方法能够实现图像的去雾，且去雾效果较好。
为达到上述目的，本发明所述的基于多尺度网络的图像增强去雾方法包括以下步骤：
基于U型网络的架构设计多尺度增强去雾网络，多尺度增强去雾网络包括编码器模块GEnc、基于boosting算法的解码器模块GDec及特征复原模块GRes，其中，编码器模块GEnc用于对有雾图像进行不同尺度有雾特征的提取，解码器模块GDec用于通过对有雾特征进行修复，解码器模块GDec的末端连接有卷积层，该卷积层用于通过最终修复的特征重建去雾后的图像
对于图像去雾问题，SOSboosting算法描述为：
为在第n次迭代中的估计图像，g(·)表示去雾的方法，/>表示使用有雾输入图像I的增强图像。
利用神经网络的方式在解码器模块GDec中实现SOS boosting算法。
在根据SOSboosting算法优化的解码器模块GDec的第n层中，从上一层得到的特征jn+1上进行采样，再通过从编码器模块GEnc中得到的特征in进行增强，并且通过优化单元生成增强的特征jn，所述优化单元为：
其中，↑2表示上采样的缩放比例为2，(in+(jn+1)↑2)表示强化后的特征，表示在第n层上的可训练的优化单元，/>由θn参数化。
本发明具有以下有益效果：
本发明所述的基于多尺度网络的图像增强去雾方法在具体操作时，通过在不同的特征尺度，利用SOSboosting算法对图像特征jn进行渐进式的优化，使得解码器模块GDec可以逐渐地对jn进行修复，从而得到更好的去雾图像。此外，相比起其他boosting算法，SOSboosting算法通过强化特征的操作(in+(jn+1)↑2)，可以更有效的利用in中的结构和空间信息来帮助优化单元进行特征优化，最后根据SOSboosting算法优化的解码器模块GDec可以在不额外增加网络层的情况下提升去雾效果。
附图说明
图1为本发明的结构图；
图2为SOSboosting算法模块的示意图；
图3a为去雾前的图像；
图3b为U-NET方法去雾后的图像；
图3c为本发明去雾后的图像。
具体实施方式
下面结合附图对本发明做进一步详细描述：
参考图1，本发明所述的基于多尺度网络的图像增强去雾方法包括以下步骤：
基于U型网络(U-Net)的架构设计多尺度增强去雾网络，在受到SOS增强方法的启发后，为多尺度增强去雾网络设计多尺度的增强解码器，所述多尺度增强去雾网络包括编码器模块GEnc、基于boosting算法的解码器模块GDec及特征复原模块GRes。
SOSboosting算法已被证明在图像去噪领域中取得较好效果，并且基于SOSboosting算法提出了许多新的图像去噪的方法。由于SOSboosting算法在增强过的图像上进行优化处理，且在针对同一场景的图像去噪中，去噪方法可以在噪声更少的图像中取得更好的信噪比结果。基于上述合理假设，SOS boosting算法可以提升去噪结果的信噪比。
对于图像去雾问题，SOSboosting算法可描述为：
为在第n次迭代中的估计图像，g(·)表示去雾的方法，/>表示使用有雾输入图像I的增强图像，和图像去噪问题类似，在去雾问题上，针对同一去雾算法g(·),当处理的有雾图像雾浓度越低，其去雾效果越好，即通过SOS boosting算法每次更新得到的去雾结果/> 会比上一次循环的结果/>更好。基于该结论，本发明提出了一种基于深度学习技术的深度增强去雾网络，并取得了比现有算法更好的去雾结果。
深度增强去雾网络：在一个针对去雾问题的U型网络中，可以将编码器视为对有雾图像进行不同尺度有雾特征的提取，而将解码器作为通过对有雾特征进行修复而得到去雾后图像的复原模块，通过逐渐改进从特征复原模块GRes获取的有雾特征jL(L为网络的总尺度数)，进而得到清晰图像特征。在多尺度增强去雾网络中，将SOS boosting算法应用在解码器上，并利用神经网络的方式实现SOS boosting算法，图2为SOS boosting算法模块的结构，在根据SOSboosting算法优化的解码器模块GDec的第n层中，从上一层得到的特征jn+1上采样，通过对从编码器中得到的特征in进行增强，并且通过改进单元生成增强的特征jn，优化单元为：
其中，↑2表示上采样的缩放比例为2，(in+(jn+1)↑2)表示强化后的特征，表示在第n层上可训练的优化单元，/>由θn参数化。
在多尺度增强去雾网络中，图像特征的上、下采样分别采用卷积核为3×3且步长为2的反卷积层和卷积层实现。在每一层的优化单元和编码器中都使用一组残差块：该残差块由三个残差子模块构成，每个子模块包含两个卷积核为3×3的卷积层和一个直接连接输入和输出的通路。显而易见地，网络处理公式(4)与SOS boosting算法是等价的，因此可以有效对有雾特征进行逐步修复，最后，在解码器的最末端设置卷积层，该卷积层用于从最终修复的特征中重建雾后的图像
在多尺度增强去雾网络的训练过程中，本发明采用带清晰图像真值的去雾训练集，其中，包含7000张室内图像对(一张有雾图像和一张对应的清晰图像)和7000张室外图像对，训练时采用的损失函数为最小均方误差。
由图3a、图3b及图3c可以看出，相比现有的U-NET网络架构，本发明获得的去雾后图像不仅成功去掉了雾，还避免了重建图像过程中出现的错误。

Claims (3)

1.一种基于多尺度网络的图像增强去雾方法，其特征在于，包括以下步骤：
基于U型网络的架构设计多尺度增强去雾网络，多尺度增强去雾网络包括编码器模块GEnc、基于boosting算法的解码器模块GDec及特征复原模块GRes，其中，编码器模块GEnc用于对有雾图像进行不同尺度有雾特征的提取，解码器模块GDec用于通过对有雾特征进行修复，解码器模块GDec的末端连接有卷积层，卷积层用于通过最终修复的特征重建去雾后的图像
深度增强去雾网络：在一个针对去雾问题的U型网络中，将编码器视为对有雾图像进行不同尺度有雾特征的提取，将解码器作为通过对有雾特征进行修复而得到去雾后图像的复原模块，通过逐渐改进从特征复原模块GRes获取的有雾特征jL，L为网络的总尺度数，进而得到清晰图像特征，在多尺度增强去雾网络中，将SOS boosting算法应用在解码器上，并利用神经网络的方式实现SOS boosting算法，根据SOS boosting算法优化的解码器模块GDec的第n层中，从上一层得到的特征jn+1上采样，通过对从编码器中得到的特征in进行增强，并且通过改进单元生成增强的特征jn，优化单元为：
其中，↑2表示上采样的缩放比例为2，(in+(jn+1)↑2)表示强化后的特征，表示在第n层上可训练的优化单元，/>由θn参数化；
在多尺度增强去雾网络中，图像特征的上、下采样分别采用卷积核为3×3且步长为2的反卷积层和卷积层实现，在每一层的优化单元和编码器中都使用一组残差块：该残差块由三个残差子模块构成，每个子模块包含两个卷积核为3×3的卷积层和一个直接连接输入和输出的通路。
2.根据权利要求1所述的基于多尺度网络的图像增强去雾方法，其特征在于，对于图像去雾问题，SOS boosting算法描述为：
为在第n次迭代中的估计图像，g(·)表示去雾的方法，/>表示使用有雾输入图像I的增强图像。
3.根据权利要求1所述的基于多尺度网络的图像增强去雾方法，其特征在于，利用神经网络的方式在解码器模块GDec中实现SOS boosting算法。
CN202010318350.8A 2020-04-21 2020-04-21 一种基于多尺度网络的图像增强去雾方法 Active CN111539885B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010318350.8A CN111539885B (zh) 2020-04-21 2020-04-21 一种基于多尺度网络的图像增强去雾方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010318350.8A CN111539885B (zh) 2020-04-21 2020-04-21 一种基于多尺度网络的图像增强去雾方法

Publications (2)

Publication Number Publication Date
CN111539885A CN111539885A (zh) 2020-08-14
CN111539885B true CN111539885B (zh) 2023-09-19

Family

ID=71979032

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010318350.8A Active CN111539885B (zh) 2020-04-21 2020-04-21 一种基于多尺度网络的图像增强去雾方法

Country Status (1)

Country Link
CN (1) CN111539885B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113034445B (zh) * 2021-03-08 2022-11-11 桂林电子科技大学 一种基于UNet3+的多尺度连接图像去雾算法
CN113364937B (zh) * 2021-05-13 2022-10-25 西安交通大学 一种有监督的视频真实去雾数据集的采集方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109671076A (zh) * 2018-12-20 2019-04-23 上海联影智能医疗科技有限公司 血管分割方法、装置、电子设备及存储介质
CN109993804A (zh) * 2019-03-22 2019-07-09 上海工程技术大学 一种基于条件生成对抗网络的道路场景去雾方法
CN110517203A (zh) * 2019-08-30 2019-11-29 山东工商学院 一种基于参考图像重建的去雾方法
CN110570371A (zh) * 2019-08-28 2019-12-13 天津大学 一种基于多尺度残差学习的图像去雾方法
EP3616097A1 (en) * 2017-04-25 2020-03-04 The Board of Trustees of the Leland Stanford Junior University Dose reduction for medical imaging using deep convolutional neural networks

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3654244A4 (en) * 2017-07-31 2020-11-04 Shanghai United Imaging Healthcare Co., Ltd. METHOD AND SYSTEM FOR EXTRACTING A REGION OF INTEREST FROM VOLUME DATA

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3616097A1 (en) * 2017-04-25 2020-03-04 The Board of Trustees of the Leland Stanford Junior University Dose reduction for medical imaging using deep convolutional neural networks
CN109671076A (zh) * 2018-12-20 2019-04-23 上海联影智能医疗科技有限公司 血管分割方法、装置、电子设备及存储介质
CN109993804A (zh) * 2019-03-22 2019-07-09 上海工程技术大学 一种基于条件生成对抗网络的道路场景去雾方法
CN110570371A (zh) * 2019-08-28 2019-12-13 天津大学 一种基于多尺度残差学习的图像去雾方法
CN110517203A (zh) * 2019-08-30 2019-11-29 山东工商学院 一种基于参考图像重建的去雾方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
He Zhang等.Multi-scale Single Image Dehazing Using Perceptual Pyramid Deep Network.《2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops (CVPRW)》.2018,第1015-1024页. *
Xin Liu等.Efficient single image dehazing and denoising: An efficient multi-scale correlated wavelet approach.《Computer Vision and Image Understanding》.2017,第162卷第23-33页. *
Yaniv Romano等.Boosting of Image Denoising Algorithms.《arXiv-Computer Vision and Pattern Recognition》.2015,第1-33页. *
焦庆磊等.基于U-Net的胸片肋骨影像抑制算法.《计算机系统应用》.2019,第28卷(第10期),第164-169页. *
程剑杰.基于多尺度聚合特征的单幅图像去雨研究.《信息科技辑》.2020,(第02期),第8-46页. *

Also Published As

Publication number Publication date
CN111539885A (zh) 2020-08-14

Similar Documents

Publication Publication Date Title
Tian et al. Deep learning on image denoising: An overview
CN108537746B (zh) 一种基于深度卷积网络的模糊可变图像盲复原方法
CN108921799B (zh) 基于多尺度协同学习卷积神经网络的遥感图像薄云去除方法
CN111915530B (zh) 一种基于端到端的雾霾浓度自适应神经网络图像去雾方法
CN109872288B (zh) 用于图像去噪的网络训练方法、装置、终端及存储介质
CN111028177A (zh) 一种基于边缘的深度学习图像去运动模糊方法
CN111028163A (zh) 一种基于卷积神经网络的联合图像去噪与弱光增强方法
CN109509156B (zh) 一种基于生成对抗模型的图像去雾处理方法
CN111539885B (zh) 一种基于多尺度网络的图像增强去雾方法
CN112819705B (zh) 一种基于网状结构与长距离相关性的真实图像去噪方法
CN116563146A (zh) 基于可学习曲率图的图像增强方法与系统
CN113284061A (zh) 一种基于梯度网络的水下图像增强方法
CN113538258A (zh) 基于掩码的图像去模糊模型及方法
CN112132757B (zh) 一种基于神经网络的通用图像复原方法
CN110852947B (zh) 一种基于边缘锐化的红外图像超分辨方法
CN113421210A (zh) 一种基于双目立体视觉的表面点云重建方法
CN117422653A (zh) 一种基于权重共享和迭代数据优化的低光照图像增强方法
CN117392036A (zh) 基于照明幅度的低光图像增强方法
CN117408924A (zh) 一种基于多重语义特征融合网络的低光照图像增强方法
CN116433516A (zh) 一种基于注意力机制的低照度图像去噪增强方法
CN116523790A (zh) 一种sar图像去噪优化方法、系统和存储介质
CN113012071B (zh) 一种基于深度感知网络的图像失焦去模糊方法
WO2022207110A1 (en) Noise reconstruction for image denoising
CN112927151A (zh) 一种基于边缘增强和卷积神经网络的图像去噪方法
CN116206116A (zh) 降噪卷积自编码装置及降噪卷积自编码方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant