CN107749052A - 基于深度学习神经网络的图像去雾方法及系统 - Google Patents

基于深度学习神经网络的图像去雾方法及系统 Download PDF

Info

Publication number
CN107749052A
CN107749052A CN201711001504.5A CN201711001504A CN107749052A CN 107749052 A CN107749052 A CN 107749052A CN 201711001504 A CN201711001504 A CN 201711001504A CN 107749052 A CN107749052 A CN 107749052A
Authority
CN
China
Prior art keywords
mrow
image
neural network
deep learning
fog
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711001504.5A
Other languages
English (en)
Inventor
任航
宋玉龙
郭巳秋
刘博超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changchun Institute of Optics Fine Mechanics and Physics of CAS
Original Assignee
Changchun Institute of Optics Fine Mechanics and Physics of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changchun Institute of Optics Fine Mechanics and Physics of CAS filed Critical Changchun Institute of Optics Fine Mechanics and Physics of CAS
Priority to CN201711001504.5A priority Critical patent/CN107749052A/zh
Publication of CN107749052A publication Critical patent/CN107749052A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/73Deblurring; Sharpening
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种基于深度学习神经网络的图像去雾方法及系统,方法包括:将含雾图像输入到深度学习神经网络系统;深度学习神经网络系统对所述含雾图像进行特征提取,自主学习并提取雾相关特征;对含雾图像进行多尺度映射,在不同尺度下集中提取含雾图像的特征,形成特征图;对特征图上的每一个像素进行局部极值,并保持分辨率不变,得到处理后的图像;对处理后的图像进行非线性回归操作,得到初始透射率t(x);利用引导滤波器优化透射率,对所述处理后的图像进行图像平滑处理;计算大气光参数;根据初始透射率t(x)及大气光参数,恢复无雾图像。本发明在系统和现有去雾方法间建立了联系,在保证效率和易实现的基础上,比现有方法展现出了更好的去雾性能。

Description

基于深度学习神经网络的图像去雾方法及系统
技术领域
本发明属于图像处理技术领域,具体涉及一种基于深度学习神经网络的图像去雾方法及系统。
背景技术
雾是一种常见的大气现象。空气中无处不在的灰尘、烟或其他颗粒,都会降低大气的清晰度。在景物摄影领域,光在大气中的透射率对远距离物体的成像尤为重要,因此雾通常会给成像带来很多问题,如:由于光被大气中粒子散射带来的摄影成像时物体在视觉效果上对比度的降低。因此,去雾工作在摄影领域和计算机视觉领域,都有着很大的应用前景。
因为大气中雾的透射程度往往与景深有关,在不同的位置,深度越大,雾越浓厚。如今已有很多不同的去雾方法,如基于直方图,基于对比度的和基于饱和度的。另外,利用多副图像或景深信息去雾的方法也已被提出。例如,利用从不同偏振角度拍摄的多副图像进行去雾的方法。在不同天气条件下拍摄同一场景的图片的多对比度去雾方法被提出。基于深度的方法需要输入一些深度信息或利用已知的3D模型。在实际应用中,深度信息和多副雾图往往是不容易得到和利用的。
最近,借助更好的假设和先验知识,单幅图像的去雾工作取得了重大进展。根据无雾图像中的局部对比度比含雾图像的对比度更高的假设,学者提出了一种基于马尔科夫随机场(MRF)的局部对比度最大化的去雾方法。尽管最大化对比度的方法能够实现很好的去雾效果,但同时也会产生一些过饱和的图像。基于最小输入的独立成分分析法(ICA)被用于去雾工作,但是这一方法的处理时间非常长且不能被用于处理雾浓的图片。受暗光物体去除技术的启发,暗通道先验(DCP)在大量针对清晰图像的测试中被发现,即在无雾图像块中,至少有一个颜色通道会包含一些像素且这些像素在该通道里的值非常低。利用暗通道先验,雾的厚度就可以被估计,并可以利用大气散射模型实现去雾。然而,DCP这种方法的去雾效果在天空区域会出现失真且计算量比较大。学者们提出了一些改进的算法去克服这些限制。为了提高去雾质量,Kratz和Nishino等人利用一个阶乘马尔科夫随机场去构建图像模型,以更准确地估计场景辐射。Meng等人提出了一个有效的正则化去雾方法,通过探究图像内部的边缘限制来复原清晰图像。为了提高计算效率,标准中值滤波,双中值滤波,引导联合双边滤波和图像引导滤波被用于替代耗时较多的软抠图步骤。近年来,与雾相关的先验知识已经在机器学习的框架中被利用。Tang将四种与雾有关的图像特征与随机森林相结合,以估计透射率。Zhu等人利用颜色衰减先验,建立了一个线性模型去估计雾图的景深,并用有监督的方法学习模型的参数。尽管去雾领域已经出现了诸多成就,这些先进的方法都被相同雾相关的先验或启发式线索限制——这些方法在处理一些图像时总会显得低效。
单幅图像的去雾在视觉领域是一项非常难的课题。相反的,人类的大脑却可以无需任何信息从自然场景中迅速地识别出含雾区域。参照生物启发式卷积神经网络在高阶视觉课题如图像分类、人脸识别和物体检测方向的成功,人们尝试也为图像去雾提出一个类似的生物启发模型。事实上,如今已经有了一些基于深度学习的(卷积)神经网络被利用在图像复原或重建等基础视觉任务中。然而,这些方法都不能被直接利用到单幅图像的去雾过程中。
发明内容
本发明旨在克服现有技术的缺陷,提供一种基于深度学习神经网络的图像去雾方法及系统。
为实现上述目的,本发明采用以下技术方案:提供一种基于深度学习神经网络的图像去雾方法,包括如下步骤:
步骤1、将含雾图像输入到深度学习神经网络系统;
步骤2、所述深度学习神经网络系统对所述含雾图像进行特征提取,自主学习并提取雾相关特征;
步骤3、对所述含雾图像进行多尺度映射,在不同尺度下集中提取所述含雾图像的特征,形成特征图;
步骤4、对所述特征图上的每一个像素进行局部极值,并保持分辨率不变,得到处理后的图像;
步骤5、对所述处理后的图像进行非线性回归操作,得到初始透射率t(x);
步骤6、利用引导滤波器优化透射率,对所述处理后的图像进行图像平滑处理;
步骤7、计算大气光参数;
步骤8、根据所述初始透射率t(x)及所述大气光参数,恢复无雾图像。
一些实施例中,所述步骤1中,所述深度学习神经网络系统包括网络层和非线性激活函数,所述非线性激活函数在所述网络层之后,所述网络层包括级联的巻积层和全连接层;所述网络层和非线性激活函数进行特征提取、多尺度映射、局部极值及非线性回归,以估计大气透射率。
一些实施例中,所述非线性激活函数为用于多层感受器或卷积神经网络中的一个前向反馈非线性激活函数。
一些实施例中,所述深度学习神经网络系统对所述含雾图像进行特征提取,具体为:
当用于卷积神经网络时,非线性激活函数单元对k幅特征图进行像素级的最大化处理,并生成一张新的特征图,则所述深度学习神经网络系统的第一层特征图的输入为:
其中,分别代表了滤波器和偏差,*代表卷积操作,第一层的输出共有n1张特征图;代表深度学习神经网络第一层特征图输入,x为含雾图像I(x)中每个像素点,j∈[1,k],i1∈[1,n1];
是所有k×n1个卷积滤波器中的其中一个,其中3代表了输入图像I(x)的通道数,f1是滤波器的尺寸大小;
非线性激活函数单元将kn1维向量映射到n1维向量,并自主学习并提取雾相关特征。
一些实施例中,所述步骤3中,对所述含雾图像进行多尺度映射,在不同尺度下集中提取所述含雾图像的特征,形成特征图,具体为:
在所述深度学习神经网络系统第二层采用平行卷积操作,其中每个卷积滤波器的尺寸都在3×3,5×5,7×7中选取,并且这三种尺寸的滤波器的个数均相同,则所述深度学习神经网络系统的第二层的特征图输入表示为:
其中,包括n2对参数并被分为3组,n2是第二层输出的维度,i2∈[1,n2]标志了输出特征图,表示对i2/3向下取整,\代表取余操作。
一些实施例中,所述步骤4中,对所述特征图上的每一个像素进行局部极值,并保持分辨率不变,得到处理后的图像,具体为:
在所述深度学习神经网络系统的第三层采用局部极值操作,第三层特征图的输入表示为:
其中,为第三层输入,y∈Ω(x),i3∈[1,n3],Ω(x)是一块以x为中心、f3×f3为大小的区域,第三层的输出维度n3=n2
一些实施例中,所述步骤5中,对所述处理后的图像进行非线性回归操作,得到初始透射率t(x),具体为:
利用双边修正线性单元激活函数进行非线性回归,所述深度学习神经网络系统的第四层特征图的输入为:
F4=min(tmax,max(tmin,W4*F3+B4))
其中,W4={W4}包括了一个n3×f4×f4大小的滤波器,B4={B4}代表了偏差,tmax及tmin分别为双边修正线性单元BReLU激活函数的上下幅值,BReLU为双边修正线性单元,根据公式,激活函数的梯度可以被表示为:
一些实施例中,所述步骤7中,将透射率值最高的0.1%个像素点的透射率最大值作为大气光参数α。
一些实施例中,所述步骤8中,根据初始透射率t(x)及大气光参数,恢复无雾图像,具体步骤为:
大气散射模型为:I(x)=J(x)t(x)+α(1-t(x)),t(x)=e-βd(x)
其中,I(x)是观察到的雾图,J(x)是需要被恢复出的真实图像,t(x)是媒介透射率,α是全局大气光常数,x代表雾图I(x)中的每个像素点,β是大气散射系数,d(x)是景深;
在上述公式中,估计出t(x)和α后,真实场景图J(x)就可以被恢复得到。
为实现上述目的,本发明采用以下技术方案:提供一种基于深度学习神经网络的图像去雾系统,包括:
输入模块,用于将含雾图像输入到深度学习神经网络系统;
深度学习神经网络系统,用于对所述含雾图像进行特征提取,自主学习并提取雾相关特征;对所述含雾图像进行多尺度映射,在不同尺度下集中提取所述含雾图像的特征,形成特征图;对所述特征图上的每一个像素进行局部极值,并保持分辨率不变,得到处理后的图像;对所述处理后的图像进行非线性回归操作,得到初始透射率t(x);
图像平滑处理模块,用于利用引导滤波器优化透射率,对所述处理后的图像进行图像平滑处理;
大气光参数计算模块,用于计算大气光参数;
图像恢复模块,用于根据所述初始透射率t(x)及所述大气光参数,恢复无雾图像。
本发明的有益效果在于:由于现有的去雾方法利用的各种不同的限制或先验知识来构建合理有效的去雾方法,去雾工作的关键在于估计含雾图像的大气透射率图。在本发明的基于深度学习神经网络的图像去雾系统中,将雾图作为输入,输出相应的透射率图,并将之利用到根据大气散射模型去雾的过程中。在深度结构上,采用了卷积神经网络(CNN)并专门设计其网络层,使之在操作过程中能体现去雾领域里所利用的假设或先验知识。具体而言,Maxout单元层用于特征提取,可提取出与雾有关的所有特征。
此外,本发明还提出了一种新的非线性激活函数,以进一步提高恢复出的无雾图像的质量。
本发明在系统和现有去雾方法间建立起了联系,在保证效率和易实现的基础上,比现有方法展现出了更好的去雾性能。
附图说明
图1为深度学习神经网络的网络结构示意图。
图2为修正线性单元和双边修正线性单元函数比较图。
图3为基于深度学习神经网络的图像去雾系统结构示意图。
具体实施方式
首先介绍一下本发明的理论背景:为了描述雾图的信息,大气散射模型可以被写成以下形式:
I(x)=J(x)t(x)+α(1-t(x)) (1)
t(x)=e-βd(x) (2)
其中,I(x)是观察到的雾图,J(x)是需要被恢复出的真实图像,t(x)是媒介透射率,α是全局大气光常数,x代表雾图I(x)中的每个像素点,β是大气散射系数,d(x)是景深。在公式(1)中,有三个未知参数,在估计出t(x)和α后,真实场景图J(x)就可以被恢复得到。公式(2)表明,当d(x)趋于无穷时,t(x)趋于0。综合(1)(2)可得。
α=I(x),d(x)→∞ (3)
在实际过程中,d(x)不可能趋于无穷,但远距离会产生一个很小的透射率t0。与公式(3)中得到大气光的方法不同,按照下面的方法估计大气光会更准确。
上述理论背景说明,恢复出清晰图像的关键在于,估计出准确的大气透射率。大气散射模型表明,在图像去雾过程中,透射率的估计是最关键的步骤。
为了实现这个目的,本发明提出了一种基于深度学习的神经网络去雾系统,这一系统可以自主学习原图和透射率图之间的对应关系。下面,介绍一下本发明的原理:本发明通过基于深度学习神经网络系统来估计透射率,将雾图作为输入,输出相应的透射率图,并将之利用到根据大气散射模型去雾的过程中。在深度结构上,系统采用了卷积神经网络(CNN)并专门设计其网络层,使之在操作过程中能体现去雾领域里所利用的假设或先验知识。具体而言,提出了一种函数用于特征提取,可提取出与雾有关的所有特征。还提出了一种新的非线性激活函数,称之为双边修正线性单元,以进一步提高恢复出的无雾图像的质量。之后利用导向滤波优化透射率,通过计算,最后恢复出无雾图像。请参阅图3,本发明实施例提供的基于深度学习神经网络的图像去雾方法,包括如下步骤:
执行步骤1:将含雾图像输入到深度学习神经网络系统。输入含雾图像I(x)深度学习神经网络系统。其中,x代表雾图I(x)中的每个像素点。深度学习神经网络系统包括网络层和非线性激活函数,所述非线性激活函数在所述网络层之后,所述网络层包括级联的巻积层和全连接层;所述网络层和非线性激活函数进行特征提取、多尺度映射、局部极值及非线性回归,以估计大气透射率。全连接层的每一个结点都与上一层的所有结点相连,用来把前边提取到的特征综合起来,起到将学到的“分布式特征表示”映射到样本标记空间的作用。
执行步骤2:所述深度学习神经网络系统对所述含雾图像进行特征提取,自主学习并提取雾相关特征。为了克服去雾问题本身的病态性,现有的方法提出了各种各样的假设。基于这些假设,研究者们能够提取出与雾有关的特征(如:暗通道、色调差异和颜色衰减等)。本发明认为,提取出雾相关特征的过程与用合适的滤波器卷积输入图像(雾图)并进行非线性映射的过程等价。受到这些其他方法在提取特征时在颜色通道内的极值处理的启发,选择了一个独特的激活函数进行非线性映射来用于降维。此函数是用于多层感受器或卷积神经网络CNN中的一个简单的前向反馈非线性激活函数。当用于卷积神经网络时,会对k幅特征图进行像素级的最大化处理,并生成一张新的特征图。基于此单元,设计了深度学习神经网络去雾系统的第一层,第一层的特征图输入为:
其中,分别代表了滤波器和偏差,*代表卷积操作。在这里,第一层的输出共有n1张特征图。是所有k×n1个卷积滤波器中的其中一个,其中3代表了输入图像I(x)的通道数,f1是滤波器的尺寸大小。代表深度学习神经网络第一层特征图输入,x为含雾图像I(x)中每个像素点,j∈[1,k],i1∈[1,n1]。公式(5)的函数将kn1维向量映射到n1维向量,并能够自主学习并提取雾相关特征。
执行步骤3:对所述含雾图像进行多尺度映射,在不同尺度下集中提取所述含雾图像的特征,形成特征图。多尺度特征对去雾是非常有效的,多尺度特征即是在不同尺度下集中提取输入图片的特征。多尺度特征提取在实现尺度不变性上具有优秀的效果。例如,GoogleNet中的初始结构就采用了带有不同滤波器大小的平行卷积层,因而更好地解决了在输入图像中物体定位问题,也理所应当地在各项实验中上取得了最好的实验效果。受到多尺度特征提取的启发,本专利在网络的的第二层也采用了平行卷积操作,其中每个卷积滤波器的尺寸都在3×3,5×5,7×7中选取,并且这三种尺寸的滤波器的个数均相同。第二层的输入可以表示为下面的形式:
其中,表示深度学习神经网络系统的第二层的特征图输入,包括n2对参数并被分为3组。n2是第二层输出的维度,i∈[1,n2]标志了输出特征图。表示对i/3向下取整,\代表取余操作。
执行步骤4:对所述特征图上的每一个像素进行局部极值,并保持分辨率不变,得到处理后的图像。为了实现空间不变性,视觉皮层上的复杂细胞会将来自简单细胞的刺激进行线性特征整合。IIan等人提出,一系列的池化操作可以将空间一致的属性描述出来。根据CNNs的经典结构,克服局部敏感性的方法就是对每个像素均进行邻近最大值操作。此外,局部极值也与“透射率的值在局部范围内具有不变性”这一假设相符,这一假设也被普遍利用以消除透射率的估计误差。因此,本发明深度学习神经网络系统的第三层采用局部极值操作:
其中,Ω(x)是一块以x为中心、f3×f3为大小的区域,第三层的输出维度n3=n2。第三层为最大池化层,CNN中的最大池化操作时常会降低特征图的分辨率,与之不同的是,局部极值操作是针对特征图上的每一个像素的,能够保持分辨率的不变,取得更好的图像复原效果。
执行步骤5:对所述处理后的图像进行非线性回归操作,得到初始透射率t(x)。在深度网络里,标准的非线性激活函数包括Sigmoid和修正线性单元(ReLU)。前者易出现梯度消失的情况,可能会导致慢收敛或在网络训练中局部优化不理想。为了解决梯度消失的问题,提供了离散化的特征值。然而,ReLU是被设计用来解决分类问题而非像图像复原这样的回归问题。特别的,ReLU的输出均大于0,抑制了小于0的值。这可能会导致响应溢出,特别是在最后一层,因为对图像恢复而言,最后一层的输出值应该是在一个有着上限和下限的小范围内。为了克服这一限制,本发明提出了双边修正线性单元激活函数BReLU,如图2所示。受Sigmoid和ReLU启发,BReLU作为一种新的线性单元,保持了BReLU,第四层的特征图可以被定义为:
F4=min(tmax,max(tmin,W4*F3+B4)) (8)
其中,W4={W4}包括了一个n3×f4×f4大小的滤波器,B4={B4}代表了偏差,tmin,max是双边修正线性单元激活函数BReLU的上下幅值(在本实施例中,tmin=0,tmax=1)。根据公式(8),激活函数的梯度可以被表示为:
上述四层依次级联的网络层共同组成了一个基于卷积神经网络CNN的、可训练的端到端深度学习神经网络系统,其中卷积层中的滤波器函数和偏差都是网络需要学习的参数。整个深度学习神经网络系统包括了3个卷积层和1个最大池化层。其中,第一层、第二层及第四层为巻积层,第三层为最大池化层。
执行步骤6:利用引导滤波器优化透射率,对所述处理后的图像进行图像平滑处理。引导滤波器是hekaiming于2010年提出的一种滤波器,导向图像可以是输入图像自身或者是另外一个不同的图像。导向滤波器能够向双边滤波器一样保持边缘平滑,但是它在边缘附近有更好的表现。导向滤波器也是更一般地超越平滑的概念:它可以转化导向图的结构为滤波输出,用于很多新的滤波应用像去雾及导向抠图。更多的,导向滤波器自然的有个快速并且不近似线性时间算法,与核的尺寸和像素亮度范围。现在,它是最快的边缘保持滤波器之一。实验显示导向滤波器在很多种计算机视觉及图形学的应用中有很好的作用及效率,包括边缘保持平滑,细节增强,HDR压缩,图像抠图,去雾,级联采样等等。
执行步骤7:计算大气光参数。在透射率图中,将透射率值最高的那0.1%个像素点中的透射率最大值作为大气光参数α。
执行步骤8:根据所述初始透射率t(x)及所述大气光参数α,恢复无雾图像。根据前文的大气散射模型公式(1)和公式(2):
I(x)=J(x)t(x)+α(1-t(x)) (1)
t(x)=e-βd(x) (2)
其中,I(x)是观察到的雾图,J(x)是需要被恢复出的真实图像,t(x)是媒介透射率,α是全局大气光常数,x代表雾图I(x)中的每个像素点,β是大气散射系数,d(x)是景深。在公式(1)中,有三个未知参数,在估计出初始透射率t(x)和大气光参数α后,真实场景图J(x)就可以被恢复得到。
此外,请参阅图3,本发明还提供一种基于深度学习神经网络的图像去雾系统,基于深度学习神经网络系统,包括以下模块:
输入模块,用于将含雾图像输入到深度学习神经网络系统;
深度学习神经网络系统,用于对所述含雾图像进行特征提取,自主学习并提取雾相关特征;对所述含雾图像进行多尺度映射,在不同尺度下集中提取所述含雾图像的特征,形成特征图;对所述特征图上的每一个像素进行局部极值,并保持分辨率不变,得到处理后的图像;对所述处理后的图像进行非线性回归操作,得到初始透射率t(x);
图像平滑处理模块,用于利用引导滤波器优化透射率,对所述处理后的图像进行图像平滑处理;
大气光参数计算模块,用于计算大气光参数;
图像恢复模块,用于根据所述初始透射率t(x)及所述大气光参数,恢复无雾图像。
其中,请参阅图1,深度学习神经网络系统包括以下四个模块:
特征提取模块,用于对所述含雾图像进行特征提取,自主学习并提取雾相关特征。特征提取模块是第一层网络模块,为巻积层;
多尺度映射模块,用于对所述含雾图像进行多尺度映射,在不同尺度下集中提取所述含雾图像的特征,形成特征图。多尺度映射模块是第二次网络模块,为巻积层。
局部极值模块,用于对所述特征图上的每一个像素进行局部极值,并保持分辨率不变,得到处理后的图像。局部极值模块是第三层网络模块,为最大池化层。
非线性回归模块,用于对所述处理后的图像进行非线性回归操作,得到初始透射率t(x)。非线性回归模块为第四层网络模块,为巻积层。
上述基于深度学习神经网络的图像去雾方法通过基于深度学习神经网络的图像去雾系统实现,因此基于深度学习神经网络的图像去雾系统的具体实施方法此处不再赘述。
本发明的基于深度学习神经网络的图像去雾系统,将雾图作为输入,输出相应的透射率图,并将之利用到根据大气散射模型去雾的过程中。在深度结构上,采用了卷积神经网络(CNN)并专门设计其网络层,使之在操作过程中能体现去雾领域里所利用的假设或先验知识。具体而言,Maxout单元层用于特征提取,可提取出与雾有关的所有特征。
更加地,本发明提出的新的非线性激活函数,能够进一步提高恢复出的无雾图像的质量。
以上所述本发明的具体实施方式,并不构成对本发明保护范围的限定。任何根据本发明的技术构思所作出的各种其他相应的改变与变形,均应包含在本发明权利要求的保护范围内。

Claims (10)

1.一种基于深度学习神经网络的图像去雾方法,其特征在于,包括如下步骤:
步骤1、将含雾图像输入到深度学习神经网络系统;
步骤2、所述深度学习神经网络系统对所述含雾图像进行特征提取,自主学习并提取雾相关特征;
步骤3、对所述含雾图像进行多尺度映射,在不同尺度下集中提取所述含雾图像的特征,形成特征图;
步骤4、对所述特征图上的每一个像素进行局部极值,并保持分辨率不变,得到处理后的图像;
步骤5、对所述处理后的图像进行非线性回归操作,得到初始透射率t(x);
步骤6、利用引导滤波器优化透射率,对所述处理后的图像进行图像平滑处理;
步骤7、计算大气光参数;
步骤8、根据所述初始透射率t(x)及所述大气光参数,恢复无雾图像。
2.如权利要求1所述的基于深度学习神经网络的图像去雾方法,其特征在于,所述步骤1中,所述深度学习神经网络系统包括网络层和非线性激活函数,所述非线性激活函数在所述网络层之后,所述网络层包括级联的卷积层和全连接层;
所述网络层和非线性激活函数进行特征提取、多尺度映射、局部极值及非线性回归,以估计大气透射率。
3.如权利要求2所述的基于深度学习神经网络的图像去雾方法,其特征在于,所述非线性激活函数为用于多层感受器或卷积神经网络中的一个前向反馈非线性激活函数。
4.如权利要求3所述的基于深度学习神经网络的图像去雾方法,其特征在于,所述步骤2中,所述深度学习神经网络系统对所述含雾图像进行特征提取,具体为:
当用于所述卷积神经网络时,深度学习神经网络系统对k幅特征图进行像素级的最大化处理,并生成一张新的特征图,则所述深度学习神经网络系统的第一层特征图的输入为:
<mrow> <msubsup> <mi>F</mi> <mn>1</mn> <mrow> <mi>i</mi> <mn>1</mn> </mrow> </msubsup> <mrow> <mo>(</mo> <mi>x</mi> <mo>)</mo> </mrow> <mo>=</mo> <munder> <mi>max</mi> <mrow> <mi>j</mi> <mo>&amp;Element;</mo> <mo>&amp;lsqb;</mo> <mn>1</mn> <mo>,</mo> <mi>k</mi> <mo>&amp;rsqb;</mo> </mrow> </munder> <msubsup> <mi>f</mi> <mn>1</mn> <mrow> <mi>i</mi> <mn>1</mn> <mo>,</mo> <mi>j</mi> </mrow> </msubsup> <mrow> <mo>(</mo> <mi>x</mi> <mo>)</mo> </mrow> </mrow>
其中,分别代表了滤波器和偏差,*代表卷积操作,第一层的输出共有n1张特征图;代表深度学习神经网络第一层特征图输入;x是指含雾图向I(x)中的每个像素点,j∈[1,k],i1∈[1,n1]。
是所有k×n1个卷积滤波器中的其中一个,其中3代表了输入图像I(x)的通道数,f1是滤波器的尺寸大小;
非线性激活函数单元将kn1维向量映射到n1维向量,并自主学习并提取雾相关特征。
5.如权利要求4所述的基于深度学习神经网络的图像去雾方法,其特征在于,所述步骤3中,对所述含雾图像进行多尺度映射,在不同尺度下集中提取所述含雾图像的特征,形成特征图,具体为:
在所述深度学习神经网络系统第二层采用平行卷积操作,其中每个卷积滤波器的尺寸都在3×3,5×5,7×7中选取,并且这三种尺寸的滤波器的个数均相同,则所述深度学习神经网络系统的第二层的特征图输入表示为:
其中,包括n2对参数并被分为3组,n2是第二层输出的维度,i2∈[1,n2]标志了输出特征图,表示对i2/3向下取整,\代表取余操作。
6.如权利要求5所述的基于深度学习神经网络的图像去雾方法,其特征在于,所述步骤4中,对所述特征图上的每一个像素进行局部极值,并保持分辨率不变,得到处理后的图像,具体为:
在所述深度学习神经网络系统的第三层采用局部极值操作,第三层特征图的输入表示为:
<mrow> <msubsup> <mi>F</mi> <mn>3</mn> <mrow> <mi>i</mi> <mn>3</mn> </mrow> </msubsup> <mrow> <mo>(</mo> <mi>x</mi> <mo>)</mo> </mrow> <mo>=</mo> <munder> <mi>max</mi> <mrow> <mi>y</mi> <mo>&amp;Element;</mo> <mi>&amp;Omega;</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>)</mo> </mrow> </mrow> </munder> <msubsup> <mi>F</mi> <mn>2</mn> <mrow> <mi>i</mi> <mn>3</mn> </mrow> </msubsup> <mrow> <mo>(</mo> <mi>y</mi> <mo>)</mo> </mrow> </mrow>
其中,为深度神经网络第三层输入,Ω(x)是一块以x为中心、f3×f3为大小的区域,第三层的输出维度n3=n2,x为含雾图像I(x)中每个像素点,y∈Ω(x),i3∈[1,n3]。
7.如权利要求6所述的基于深度学习神经网络的图像去雾方法,其特征在于,所述步骤5中,对所述处理后的图像进行非线性回归操作,得到初始透射率t(x),具体为:
利用双边修正线性单元激活函数进行非线性回归,所述深度学习神经网络系统的第四层特征图的输入为:
F4=min(tmax,max(tmin,W4*F3+B4))
其中,W4={W4}包括了一个n3×f4×f4大小的滤波器,B4={B4}代表了偏差,tmax及tmin分别为双边修正线性单元BReLU的上下幅值,根据公式,激活函数的梯度可以被表示为:
<mrow> <mfrac> <mrow> <mo>&amp;part;</mo> <msub> <mi>F</mi> <mn>4</mn> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>)</mo> </mrow> </mrow> <mrow> <mo>&amp;part;</mo> <msub> <mi>F</mi> <mn>3</mn> </msub> </mrow> </mfrac> <mo>=</mo> <mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mrow> <mfrac> <mrow> <mo>&amp;part;</mo> <msub> <mi>F</mi> <mn>4</mn> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>)</mo> </mrow> </mrow> <mrow> <mo>&amp;part;</mo> <msub> <mi>F</mi> <mn>3</mn> </msub> </mrow> </mfrac> <mo>,</mo> </mrow> </mtd> <mtd> <mrow> <msub> <mi>t</mi> <mrow> <mi>m</mi> <mi>i</mi> <mi>n</mi> </mrow> </msub> <mo>&amp;le;</mo> <msub> <mi>F</mi> <mn>4</mn> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>)</mo> </mrow> <mo>&amp;le;</mo> <msub> <mi>t</mi> <mrow> <mi>m</mi> <mi>a</mi> <mi>x</mi> </mrow> </msub> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mn>0</mn> <mo>,</mo> </mrow> </mtd> <mtd> <mrow> <mi>o</mi> <mi>t</mi> <mi>h</mi> <mi>e</mi> <mi>r</mi> <mi>w</mi> <mi>i</mi> <mi>s</mi> <mi>e</mi> </mrow> </mtd> </mtr> </mtable> </mfenced> <mo>.</mo> </mrow>
8.如权利要求1所述的基于深度学习神经网络的图像去雾系统,其特征在于,所述步骤7中,将透射率值最高的0.1%个像素点的透射率最大值作为大气光参数α。
9.如权利要求7所述的基于深度学习神经网络的图像去雾系统,其特征在于,所述步骤8中,根据初始透射率t(x)及大气光参数,恢复无雾图像,具体步骤为:
大气散射模型为:I(x)=J(x)t(x)+α(1-t(x)),t(x)=e-βd(x)
其中,I(x)是观察到的雾图,J(x)是需要被恢复出的真实图像,t(x)是媒介透射率,α是全局大气光常数,x代表雾图I(x)中的每个像素点,β是大气散射系数,d(x)是景深;
在上述公式中,估计出t(x)和α后,真实场景图J(x)就可以被恢复得到。
10.一种基于深度学习神经网络的图像去雾系统,其特征在于,基于深度学习神经网络系统,包括以下模块:
输入模块,用于将含雾图像输入到深度学习神经网络系统;
深度学习神经网络系统,用于对所述含雾图像进行特征提取,自主学习并提取雾相关特征;对所述含雾图像进行多尺度映射,在不同尺度下集中提取所述含雾图像的特征,形成特征图;对所述特征图上的每一个像素进行局部极值,并保持分辨率不变,得到处理后的图像;对所述处理后的图像进行非线性回归操作,得到初始透射率t(x);
图像平滑处理模块,用于利用引导滤波器优化透射率,对所述处理后的图像进行图像平滑处理;
大气光参数计算模块,用于计算大气光参数;
图像恢复模块,用于根据所述初始透射率t(x)及所述大气光参数,恢复无雾图像。
CN201711001504.5A 2017-10-24 2017-10-24 基于深度学习神经网络的图像去雾方法及系统 Pending CN107749052A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711001504.5A CN107749052A (zh) 2017-10-24 2017-10-24 基于深度学习神经网络的图像去雾方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711001504.5A CN107749052A (zh) 2017-10-24 2017-10-24 基于深度学习神经网络的图像去雾方法及系统

Publications (1)

Publication Number Publication Date
CN107749052A true CN107749052A (zh) 2018-03-02

Family

ID=61253160

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711001504.5A Pending CN107749052A (zh) 2017-10-24 2017-10-24 基于深度学习神经网络的图像去雾方法及系统

Country Status (1)

Country Link
CN (1) CN107749052A (zh)

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108805839A (zh) * 2018-06-08 2018-11-13 西安电子科技大学 基于卷积神经网络的联合估计图像去雾方法
CN108898562A (zh) * 2018-06-22 2018-11-27 大连海事大学 一种基于深度学习的移动设备图像去雾方法
CN109035150A (zh) * 2018-04-24 2018-12-18 湖南省有色地质勘查研究院 一种基于光谱修正的遥感影像数据去雾方法
CN109087270A (zh) * 2018-09-04 2018-12-25 中国矿业大学(北京) 一种基于改进的卷积匹配追踪管道视频图像去雾增强方法
CN109087258A (zh) * 2018-07-27 2018-12-25 中山大学 一种基于深度学习的图像去雨方法及装置
CN109389569A (zh) * 2018-10-26 2019-02-26 大象智能科技(南京)有限公司 基于改进DehazeNet的监控视频实时去雾方法
CN109712083A (zh) * 2018-12-06 2019-05-03 南京邮电大学 一种基于卷积神经网络的单幅图像去雾方法
CN110097522A (zh) * 2019-05-14 2019-08-06 燕山大学 一种基于多尺度卷积神经网络的单幅户外图像去雾方法
CN110189262A (zh) * 2019-04-29 2019-08-30 复旦大学 基于神经网络以及直方图匹配的图像去雾算法
CN110211052A (zh) * 2019-03-29 2019-09-06 北京工业大学 一种基于特征学习的单幅图像去雾方法
CN110263706A (zh) * 2019-06-19 2019-09-20 南京邮电大学 一种雾霾天气车载视频动态目标检测和识别的方法
CN110310238A (zh) * 2019-06-18 2019-10-08 华南农业大学 一种基于重用原始信息的压缩奖惩神经网络的单幅图像去雨方法
CN110807744A (zh) * 2019-10-25 2020-02-18 山东工商学院 一种基于卷积神经网络的图像去雾方法
CN111161159A (zh) * 2019-12-04 2020-05-15 武汉科技大学 一种基于先验知识与深度学习结合的图像去雾方法和装置
CN111369472A (zh) * 2020-03-12 2020-07-03 北京字节跳动网络技术有限公司 图像去雾方法、装置、电子设备及介质
CN112419166A (zh) * 2020-09-24 2021-02-26 南京晓庄学院 一种基于局部区域分割与scn结合的图像去雾方法
CN113469912A (zh) * 2021-06-30 2021-10-01 清华大学 一种基于深度学习的雾天能见度估计方法和系统
CN113763259A (zh) * 2021-02-18 2021-12-07 北京沃东天骏信息技术有限公司 图像去雾方法和装置
WO2022213372A1 (zh) * 2021-04-09 2022-10-13 深圳市大疆创新科技有限公司 图像去雾方法、装置、电子设备和计算机可读介质
US11694306B2 (en) 2020-06-12 2023-07-04 Samsung Electronics Co., Ltd. Image processing apparatus and method of operating the same

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030198371A1 (en) * 2002-03-28 2003-10-23 Youichi Ono Medical image processing apparatus, method and program with media in which the program is recorded
CN106127702A (zh) * 2016-06-17 2016-11-16 兰州理工大学 一种基于深度学习的图像去雾算法
CN107103591A (zh) * 2017-03-27 2017-08-29 湖南大学 一种基于图像雾霾浓度估计的单幅图像去雾方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030198371A1 (en) * 2002-03-28 2003-10-23 Youichi Ono Medical image processing apparatus, method and program with media in which the program is recorded
CN106127702A (zh) * 2016-06-17 2016-11-16 兰州理工大学 一种基于深度学习的图像去雾算法
CN107103591A (zh) * 2017-03-27 2017-08-29 湖南大学 一种基于图像雾霾浓度估计的单幅图像去雾方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
BOLUN CAI ET AL.: "DehazeNet: An End-to-End System for Single Image Haze Removal", 《IEEE TRANSACTIONS ON IMAGE PROCESSING》 *

Cited By (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109035150B (zh) * 2018-04-24 2019-05-10 湖南省有色地质勘查研究院 一种基于光谱修正的遥感影像数据去雾方法
CN109035150A (zh) * 2018-04-24 2018-12-18 湖南省有色地质勘查研究院 一种基于光谱修正的遥感影像数据去雾方法
CN108805839A (zh) * 2018-06-08 2018-11-13 西安电子科技大学 基于卷积神经网络的联合估计图像去雾方法
CN108898562A (zh) * 2018-06-22 2018-11-27 大连海事大学 一种基于深度学习的移动设备图像去雾方法
CN108898562B (zh) * 2018-06-22 2022-04-12 大连海事大学 一种基于深度学习的移动设备图像去雾方法
CN109087258A (zh) * 2018-07-27 2018-12-25 中山大学 一种基于深度学习的图像去雨方法及装置
CN109087258B (zh) * 2018-07-27 2021-07-20 中山大学 一种基于深度学习的图像去雨方法及装置
CN109087270B (zh) * 2018-09-04 2019-05-14 中国矿业大学(北京) 一种基于改进的卷积匹配追踪管道视频图像去雾增强方法
CN109087270A (zh) * 2018-09-04 2018-12-25 中国矿业大学(北京) 一种基于改进的卷积匹配追踪管道视频图像去雾增强方法
CN109389569A (zh) * 2018-10-26 2019-02-26 大象智能科技(南京)有限公司 基于改进DehazeNet的监控视频实时去雾方法
CN109712083A (zh) * 2018-12-06 2019-05-03 南京邮电大学 一种基于卷积神经网络的单幅图像去雾方法
CN110211052A (zh) * 2019-03-29 2019-09-06 北京工业大学 一种基于特征学习的单幅图像去雾方法
CN110189262A (zh) * 2019-04-29 2019-08-30 复旦大学 基于神经网络以及直方图匹配的图像去雾算法
CN110189262B (zh) * 2019-04-29 2023-03-24 复旦大学 基于神经网络以及直方图匹配的图像去雾方法
CN110097522A (zh) * 2019-05-14 2019-08-06 燕山大学 一种基于多尺度卷积神经网络的单幅户外图像去雾方法
CN110097522B (zh) * 2019-05-14 2021-03-19 燕山大学 一种基于多尺度卷积神经网络的单幅户外图像去雾方法
CN110310238A (zh) * 2019-06-18 2019-10-08 华南农业大学 一种基于重用原始信息的压缩奖惩神经网络的单幅图像去雨方法
CN110263706A (zh) * 2019-06-19 2019-09-20 南京邮电大学 一种雾霾天气车载视频动态目标检测和识别的方法
CN110263706B (zh) * 2019-06-19 2021-07-27 南京邮电大学 一种雾霾天气车载视频动态目标检测和识别的方法
CN110807744A (zh) * 2019-10-25 2020-02-18 山东工商学院 一种基于卷积神经网络的图像去雾方法
CN110807744B (zh) * 2019-10-25 2023-09-08 山东工商学院 一种基于卷积神经网络的图像去雾方法
CN111161159A (zh) * 2019-12-04 2020-05-15 武汉科技大学 一种基于先验知识与深度学习结合的图像去雾方法和装置
CN111161159B (zh) * 2019-12-04 2023-04-18 武汉科技大学 一种基于先验知识与深度学习结合的图像去雾方法和装置
CN111369472A (zh) * 2020-03-12 2020-07-03 北京字节跳动网络技术有限公司 图像去雾方法、装置、电子设备及介质
US11694306B2 (en) 2020-06-12 2023-07-04 Samsung Electronics Co., Ltd. Image processing apparatus and method of operating the same
CN112419166A (zh) * 2020-09-24 2021-02-26 南京晓庄学院 一种基于局部区域分割与scn结合的图像去雾方法
CN112419166B (zh) * 2020-09-24 2024-01-05 南京晓庄学院 一种基于局部区域分割与scn结合的图像去雾方法
CN113763259A (zh) * 2021-02-18 2021-12-07 北京沃东天骏信息技术有限公司 图像去雾方法和装置
WO2022213372A1 (zh) * 2021-04-09 2022-10-13 深圳市大疆创新科技有限公司 图像去雾方法、装置、电子设备和计算机可读介质
CN113469912A (zh) * 2021-06-30 2021-10-01 清华大学 一种基于深度学习的雾天能见度估计方法和系统

Similar Documents

Publication Publication Date Title
CN107749052A (zh) 基于深度学习神经网络的图像去雾方法及系统
CN111209952A (zh) 基于改进ssd和迁移学习的水下目标检测方法
CN113065558A (zh) 一种结合注意力机制的轻量级小目标检测方法
CN110570371A (zh) 一种基于多尺度残差学习的图像去雾方法
CN112766160A (zh) 基于多级属性编码器和注意力机制的人脸替换方法
CN113344806A (zh) 一种基于全局特征融合注意力网络的图像去雾方法与系统
CN107748895A (zh) 基于dct‑cnn模型的无人机着陆地貌图像分类方法
CN108038846A (zh) 基于多层卷积神经网络的输电线路设备图像缺陷检测方法及系统
CN112365414B (zh) 一种基于双路残差卷积神经网络的图像去雾方法
WO2020007307A1 (zh) 全景图像的天空滤镜方法及便携式终端
Tang et al. Single image dehazing via lightweight multi-scale networks
CN110097522B (zh) 一种基于多尺度卷积神经网络的单幅户外图像去雾方法
WO2021238420A1 (zh) 图像去雾方法、终端及计算机存储介质
Liu et al. Image de-hazing from the perspective of noise filtering
CN109345609B (zh) 基于卷积神经网络进行壁画图像去噪和线描画生成的方法
CN107749048A (zh) 图像矫正系统及方法、色盲图像矫正系统及方法
CN113066025A (zh) 一种基于增量学习与特征、注意力传递的图像去雾方法
CN115147488A (zh) 一种基于密集预测的工件位姿估计方法与抓取系统
CN107766810B (zh) 一种云、影检测方法
CN112330639A (zh) 一种用于彩色-热红外图像的显著性检测方法
CN113421210B (zh) 一种基于双目立体视觉的表面点云重建方法
Wang et al. MDD-ShipNet: Math-Data Integrated Defogging for Fog-Occlusion Ship Detection
CN107301625B (zh) 基于亮度融合网络的图像去雾方法
CN110738624A (zh) 一种区域自适应的图像去雾系统及方法
CN115376184A (zh) 一种基于生成对抗网络的ir图像活体检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180302