CN108564535A - 一种基于深度学习的图像去雾方法 - Google Patents

一种基于深度学习的图像去雾方法 Download PDF

Info

Publication number
CN108564535A
CN108564535A CN201711347566.1A CN201711347566A CN108564535A CN 108564535 A CN108564535 A CN 108564535A CN 201711347566 A CN201711347566 A CN 201711347566A CN 108564535 A CN108564535 A CN 108564535A
Authority
CN
China
Prior art keywords
depth
image
neural networks
convolutional neural
defogging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711347566.1A
Other languages
English (en)
Inventor
韩松臣
余丽莎
黄畅昕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan University
Original Assignee
Sichuan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan University filed Critical Sichuan University
Priority to CN201711347566.1A priority Critical patent/CN108564535A/zh
Publication of CN108564535A publication Critical patent/CN108564535A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Processing (AREA)

Abstract

雾或霾天气下图像质量严重退化，对比度低，清晰度差。利用传统方法去雾经常会产生色偏和失真，这里提出一种新的图像去雾方法：首先利用本文设计的深度卷积神经网络提取图像的颜色，纹理，结构等特征并进行映射，得到各像素点场景深度，再将深度值代入大气散射模型，推算得到无雾图像。这种方法充分利用了卷积神经网络强大的特征提取和学习能力，改进了传统去雾方法存在的纹理细节丢失，颜色失真等问题。

Description

一种基于深度学习的图像去雾方法
技术领域
本发明属于计算机图像处理领域，具体涉及到一种用于图像去雾的方法。
背景技术
在雾或霾天气下图像质量严重退化，对比度低，清晰度差，影响了计算机图像处理中特征的提取分析以及目标的检测，而图像去雾可以提升场景可见度，修正颜色偏移，因此图像的去雾处理具有广泛的需求。
传统的图像去雾方法主要分为两类：图像增强法和图像复原法。图像增强法是对质量降低的图像做增强处理，提升图像的对比度和色彩饱和度，如Retinex算法，伽马校正，直方图均衡等。这类方法的优点是操作简单，速度快，突出显示图像中有用的信息，但是这种方法没有对有雾图像的形成原因进行补偿，对图像中细节的处理并不理想，使得图像中的有用信息部分损失。图像复原法基于大气散射物理模型，通过对有雾图像降质原因的分析，并有效利用先验知识，来恢复原始图像。
由于图像复原法更具有针对性，可以取得更理想的去雾效果，因此成为图像去雾领域的研究热点。Tan提出基于清晰图像比有雾图像对比度高的统计规律，采用对比度区域最大法进行去雾，这种方法增强了图像对比度，但由于没有从成像机理的角度恢复颜色和边缘等信息，导致复原后的图像颜色过于饱和，并且景深不连续处会有严重的Halo效应；Fattal假设场景目标辐射与介质传输具有局部区域统计不相关性，再通过独立成分分析法估计出场景辐射率，进而得到无雾图像，去雾效果较好，但对于灰度图像和浓雾天气并不适用；He提出基于暗通道先验法则的去雾方法，该方法通过大量户外无雾图像获取先验知识，但是也具有一定的局限性，对雪地，天空等偏白的场景效果不理想。
深度学习的兴起为图像去雾提供了新方法。目前的相关研究包括利用三种颜色通道特征进行去雾，以及利用稀疏自动编码机和人工提取多种特征，送入多层神经网络训练进行去雾等。相比于传统去雾方法，深度学习方法可以充分利用到图像的各种特征，包括颜色，纹理，结构等，具有广阔的研究前景。
发明内容
基于对上述去雾方法的分析，本发明基于深度学习思想，提出一种将卷积神经网络和大气散射模型相结合的新的去雾方法。总体思路是利用一个训练好的深度卷积神经网络直接进行颜色，纹理，结构等各种图像特征的提取，端到端输出，得到各像素点场景深度，再将场景深度代入大气散射模型，推算得到无雾图像。
基于深度学习景深测量的图像去雾方法具体实现如下：
(一)设计用于图像景深测量的的深度卷积神经网络，由5个卷积层和1个全连接层组成。其中第一个卷积层的卷积核大小为11×11，第二个卷积层的卷积核大小为5×5，后面三层的卷积核大小均为3×3，前两层同时伴有池化操作，最大池化尺寸均为2×2。
(二)将有雾图像输入深度卷积神经网络中，首先采用不同尺度的卷积核进行特征提取，使提取到的特征具有旋转，平移不变性。卷积公式为：
其中：xi为输入特征图，yj为输出特征图，wij为卷积层中连接xi和yj的权值，*表示二维离散卷积运算，bj为偏置参量，可通过训练得到。
(三)将卷积阶段检测到的特征输入非线性单元，进行非线性变换，这里采用不饱和非线性函数ReLU，公式如下：
R＝max(0，y)
梯度公式如下：
(四)经过非线性处理后，特征图进入下采样单元，这里采取的是平均池化操作，公式如下：
其中，R为池化尺寸大小，Y’(a,b)为池化后的特征图。
(五)最后将下采样单元处理得到的特征图输出到全连接层，将提取的所有特征进行融合，同时在全连接层中引入Dropout机制，减少数据的过拟合，最终输出有雾图像的场景深度图。
(六)用来描述有雾图像形成的大气散射模型如下：
I(x)＝J(x)t(x)+A(1-t(x))
其中，x是空间坐标，I(x)是有雾图像，J(x)是无雾图像，A是全球大气光，t(x)是介质传输系数。
(七)介质传输系数t(x)表达式如下：
t(x)＝e-βd(x)
其中，β是大气散射系数，d(x)是场景深度。
(八)根据相关研究，在大气同质的情况下，场景反照率β可视为一个常数，本发明中取2。
(九)将场景反照率β和前面由深度卷积神经网络输出的场景深度值d(x)代入介质传输系数表达式，求得t(x)。
(十)从暗通道图中取亮度大小前1％的像素平均值作为全球大气光A的值。
(十一)为避免图像整体偏白，为透射率t(x)设置阈值t0，当t值小于t0时，令t＝t0，本发明中令t0＝0.1。
(十二)有雾图像I(x)已知，将I(x)，t(x)，A的值代入大气散射模型，求取无雾图像J(x)有以下公式：
本发明利用深度卷积神经网络直接对有雾图像进行端到端输出，得到各像素点场景深度，再将深度值代入大气散射模型，恢复无雾图像。充分利用了卷积神经网络强大的特征提取和学习能力，改进了传统去雾方法存在的纹理细节丢失，颜色失真等问题。
附图说明
图1为本发明实施例中图像去雾的整体思路框图。
图2为本发明实施例中用于场景深度测量的深度卷积神经网络基本结构图。
图3为本发明实施例中各方法对有雾山峰图像进行去雾的效果对比图，从左上到右下依次为有雾图，Fattal方法，He方法和本发明方法去雾图。
图4为本发明实施例中各方法对有雾楼宇图像进行去雾的效果对比图，顺序同上。

Claims (6)

1.本发明提出一种将卷积神经网络和大气散射模型相结合的去雾方法，总体思路是利用一个训练好的深度卷积神经网络直接进行颜色，纹理，结构等各种图像特征的提取，得到各像素点场景深度，再结合大气散射模型，推算得到无雾图像。
2.设计用于图像景深测量的的深度卷积神经网络，由5个卷积层和1个全连接层组成，其中第一个卷积层的卷积核大小为11×11，第二个卷积层的卷积核大小为5×5，后面三层的卷积核大小均为3×3，前两层同时伴有池化操作，最大池化尺寸均为2×2。
3.全连接层中引入Dropout机制，减少数据的过拟合，最终端到端的输出有雾图像的场景深度图。
4.为避免图像整体偏白，为透射率t(x)设置阈值t0，当t值小于t0时，令t＝t0，本发明中令t0＝0.1。
5.有雾图像I(x)已知，将I(x)，t(x)，A的值代入大气散射模型，求取无雾图像J(x)有以下公式：
6.本发明利用深度卷积神经网络直接对有雾图像进行端到端输出，得到各像素点场景深度，再将深度值代入大气散射模型，恢复无雾图像，充分利用了卷积神经网络强大的特征提取和学习能力，改进了传统去雾方法存在的纹理细节丢失，颜色失真等问题。
CN201711347566.1A 2017-12-15 2017-12-15 一种基于深度学习的图像去雾方法 Pending CN108564535A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711347566.1A CN108564535A (zh) 2017-12-15 2017-12-15 一种基于深度学习的图像去雾方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711347566.1A CN108564535A (zh) 2017-12-15 2017-12-15 一种基于深度学习的图像去雾方法

Publications (1)

Publication Number Publication Date
CN108564535A true CN108564535A (zh) 2018-09-21

Family

ID=63529366

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711347566.1A Pending CN108564535A (zh) 2017-12-15 2017-12-15 一种基于深度学习的图像去雾方法

Country Status (1)

Country Link
CN (1) CN108564535A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109389569A (zh) * 2018-10-26 2019-02-26 大象智能科技(南京)有限公司 基于改进DehazeNet的监控视频实时去雾方法
CN110738624A (zh) * 2019-10-18 2020-01-31 电子科技大学 一种区域自适应的图像去雾系统及方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160155218A1 (en) * 2014-11-28 2016-06-02 Axis Ab Defogging images and video
CN106780356A (zh) * 2016-11-15 2017-05-31 天津大学 基于卷积神经网络和先验信息的图像去雾方法
CN106910175A (zh) * 2017-02-28 2017-06-30 武汉大学 一种基于深度学习的单幅图像去雾算法
CN107256541A (zh) * 2017-06-15 2017-10-17 北京航空航天大学 一种基于卷积神经网络的多光谱遥感图像去雾方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160155218A1 (en) * 2014-11-28 2016-06-02 Axis Ab Defogging images and video
CN106780356A (zh) * 2016-11-15 2017-05-31 天津大学 基于卷积神经网络和先验信息的图像去雾方法
CN106910175A (zh) * 2017-02-28 2017-06-30 武汉大学 一种基于深度学习的单幅图像去雾算法
CN107256541A (zh) * 2017-06-15 2017-10-17 北京航空航天大学 一种基于卷积神经网络的多光谱遥感图像去雾方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109389569A (zh) * 2018-10-26 2019-02-26 大象智能科技(南京)有限公司 基于改进DehazeNet的监控视频实时去雾方法
CN110738624A (zh) * 2019-10-18 2020-01-31 电子科技大学 一种区域自适应的图像去雾系统及方法
CN110738624B (zh) * 2019-10-18 2022-02-01 电子科技大学 一种区域自适应的图像去雾系统及方法

Similar Documents

Publication Publication Date Title
Ren et al. Gated fusion network for single image dehazing
CN106157267B (zh) 一种基于暗通道先验的图像去雾透射率优化方法
CN107301623B (zh) 一种基于暗通道和图像分割的交通图像去雾方法及系统
Wang et al. A fast single-image dehazing method based on a physical model and gray projection
CN109493300B (zh) 基于fpga卷积神经网络的航拍图像实时去雾方法及无人机
CN108564549A (zh) 一种基于多尺度稠密连接网络的图像去雾方法
CN104318524A (zh) 一种基于YCbCr色彩空间的图像增强方法、装置及系统
CN104867121B (zh) 基于暗原色先验和Retinex理论的图像快速去雾法
CN110827218B (zh) 基于图像hsv透射率加权校正的机载图像去雾方法
CN109389569B (zh) 基于改进DehazeNet的监控视频实时去雾方法
CN104809709A (zh) 基于域变换与带权四叉树分解的单幅图像自适应去雾方法
CN105447825A (zh) 图像去雾方法及其系统
WO2024060576A1 (zh) 一种基于暗通道先验的图像去雾方法
CN109919859A (zh) 一种户外场景图像去雾增强方法、计算设备及其存储介质
CN105023246B (zh) 一种基于对比度和结构相似度的图像增强方法
CN105989583B (zh) 一种图像去雾方法
Yu et al. Image and video dehazing using view-based cluster segmentation
CN108765323A (zh) 一种基于改进暗通道与图像融合的柔性去雾方法
CN112164010A (zh) 一种多尺度融合卷积神经网络图像去雾方法
CN104318528A (zh) 基于多尺度wls滤波的雾天图像恢复方法
CN112419163B (zh) 一种基于先验知识和深度学习的单张图像弱监督去雾方法
CN108711160A (zh) 一种基于hsi增强性模型的目标分割方法
Wei et al. An image fusion dehazing algorithm based on dark channel prior and retinex
CN108564535A (zh) 一种基于深度学习的图像去雾方法
CN112508814B (zh) 一种基于无人机低空视角下的图像色调修复型去雾增强方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20180921

RJ01 Rejection of invention patent application after publication