CN110880165A - 一种基于轮廓和颜色特征融合编码的图像去雾方法 - Google Patents

一种基于轮廓和颜色特征融合编码的图像去雾方法 Download PDF

Info

Publication number
CN110880165A
CN110880165A CN201910977828.5A CN201910977828A CN110880165A CN 110880165 A CN110880165 A CN 110880165A CN 201910977828 A CN201910977828 A CN 201910977828A CN 110880165 A CN110880165 A CN 110880165A
Authority
CN
China
Prior art keywords
layer
convolution
image
net
layers
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910977828.5A
Other languages
English (en)
Inventor
黄爱爱
胡巍
谭明明
范影乐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Dianzi University
Hangzhou Electronic Science and Technology University
Original Assignee
Hangzhou Electronic Science and Technology University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Electronic Science and Technology University filed Critical Hangzhou Electronic Science and Technology University
Priority to CN201910977828.5A priority Critical patent/CN110880165A/zh
Publication of CN110880165A publication Critical patent/CN110880165A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明提出了一种基于轮廓和颜色特征融合编码的图像去雾方法。本发明构建生成网络和判别网络，将待处理图像输入Generator‑Net，首先提取带雾图像的整体轮廓特征，在低级特征编码区提取图像颜色特征，实现轮廓特征的融合编码；在高级语义编码区，实现反向传播过程语义信息的深度解析；融合低级特征编码的输出及高级语义编码的多层输出，通过卷积神经网络进行特征解码，实现图像去雾。在网络学习过程中，将生成的去雾图像和对应的样本标签输入到Discriminator‑Net，进一步提升Generator‑Net的去雾能力。本发明有效提升去雾图像的可见度、对比度以及鲜明度，对后续图像目标的分析和理解具有重要意义。

Description

一种基于轮廓和颜色特征融合编码的图像去雾方法
技术领域
本发明属于计算机视觉领域，具体涉及一种基于轮廓和颜色特征融合编码的图像去雾方法。
背景技术
雾天环境下成像的去雾处理对于图像目标分析和理解具有重要意义，一直是计算机视觉的研究热点之一。传统去雾方法主要基于大气散射模型，考虑光在传播过程中遇到雾霾等颗粒阻碍，而引起的光线散射以及传播方向的改变。虽然近年来卷积神经网络成为了研究热点，通过构建深层网络、迁移学习、训练多尺度网络模型等方式估计场景深度图，再根据估计模型反推得到去雾图像。但必须指出的是，实际上因为有雾噪声均匀弥漫在图像全局的缘故，导致图像轮廓和纹理等方向特征不明显，颜色特征相对凸显，从而在卷积神经网络的特征提取时，与轮廓纹理特征相比较，颜色特征更容易受到关注。但相关研究表明在模糊或弱视觉的场景中，视神经系统往往是先提取场景的主体轮廓，然后再融合颜色等特征实现目标感知任务。
发明内容
本发明提出了一种基于轮廓和颜色特征融合编码的图像去雾方法，构建生成网络Generator-Net和判别网络Discriminator-Net，将待处理图像输入Generator-Net，首先对输入图像做轮廓特征提取，同时在低级特征编码区提取图像颜色特征，并逐层融入轮廓特征再做编码运算；然后将低级特征编码区的编码结果在高级语义编码区进行深度编码；最后融合低级特征编码区和高级语义编码区的编码结果，进行逐层解码后生成去雾图像。在网络学习过程中，将生成的去雾图像和对应的样本标签输入到判别网络中，判断生成去雾图像的逼真程度，进一步提升Generator-Net的去雾能力。本发明包括如下步骤：
步骤1：构建生成网络Generator-Net，其中Generator-Net由轮廓特征器、低级特征编码区、高级语义编码区、特征解码区四部分组成。
由于判别网络Discriminator-Net是一个二分类网络，只能估计出生成网络Generator-Net的输出是真还是假的概率，并且转化成0或1来进行最后的判断。正因为估计成0或1存在偏差，在大量像素的累积影响下导致总体偏差过大，输出的图像将出现失真现象。因此本发明对生成网络损失函数LG进行了改进，加入了判别纠正权重，如式(1)～(5)所示。
LG＝10L1+(1+λ)Lerr (1)
Figure BDA0002234225860000021
Figure BDA0002234225860000022
Figure BDA0002234225860000023
Figure BDA0002234225860000024
其中，λ表示判别纠正权重；D(Ilabel)表示训练样本标签经Discriminator-Net的判别结果；Ilabel表示训练样本标签；L1表示Generator-Net的输出和训练样本标签之间的距离；Lerr表示Generator-Net的输出经Discriminator-Net判别和正确判别标签之间的距离；G(I)表示Generator-Net的输出，I表示输入图像，G(I)和Ilabel的尺寸一致；C表示输出图像的通道数，W和H分别表示输出图像的宽和高，；D(G(I))表示Generator-Net的输出经Discriminator-Net的判别结果；f(·)表示将模拟量映射为0或1；T表示正确判别标签，是全为1的M×N二维矩阵，M＝30，N＝30；D(G(I))和T的尺寸一样。
1-1：构建轮廓提取器，针对有雾图像I(i,j)提取表征其细节特征的轮廓纹理图Icont(i,j)，i、j分别表示像素的行坐标和列坐标。根据视皮层的方向选择特性，设置多方向经典感受野，再结合二维高斯导函数模型，提取带雾图像I(i,j)经典感受野内的中心水平、中心垂直、正、负对角线4类边缘，得到轮廓纹理图Icont(i,j)，具体如式(6)～(8)所示。
Icont(i,j)＝u(i,j)×max{ev(i,j)} (6)
Figure BDA0002234225860000031
Figure BDA0002234225860000032
其中，RF(i,j,θv)表示高斯导函数；θv对应于上述4类边缘的方位角，v＝1,2,...,4；u(i,j)代表响应强度系数；max表示取集合中的最大值；*表示卷积运算；|·|表示取绝对值，×表示乘法运算。
1-2：构建低级特征编码区，提取待处理图像I(i,j)的颜色特征，并融合上述1-1提取的轮廓特征进行编码，获取编码结果。考虑到网络较深的特征提取器，在颜色和轮廓特征融合过程中，可能会造成信息过度编码，因此在设计低级特征编码网络时，本发明在传统VGG七层网络基础上，将卷积层调整为三层。为了能更加充分的融合颜色和轮廓特征，将1-1获得的轮廓纹理图Icont(i,j)依次融入三层卷积层，提高轮廓特征的占容比。综合考虑过度学习和效率的因素，将三层卷积层中的卷积核的个数设置为64。为了去除低级特征编码区的信息冗余，前两层卷积层的步长为1，将第三层卷积层的步长设为2。另外为了提高网络的泛化能力，每次卷积操作后都有标准化处理过程，最后通过Relu函数进行激活。特别说明，为了避免图像去雾后的失真现象，整个网络中都省去了池化操作。
1-3：构建高级语义编码区，将上述1-2中低级特征编码区的编码结果进行更深层次的编码。考虑到深层次编码中的各层信息可能会失去关联性，所以选择由三个双层残差块和一个残差单元构建高级语义编码区，其中双层残差块由两个残差单元组成。另外为了发挥高级语义编码中每个特征信息的作用，同时又考虑到计算资源的有限性，本发明采用空洞卷积来替代普通卷积和池化操作。高级语义编码区包括以下七层结构：
第一层，残差单元1，由两层3×3大小、dilation＝2的卷积核组成；
第二层，残差单元2，由两层3×3大小、dilation＝2的卷积核组成；
第三层，残差单元3，由两层3×3大小、dilation＝3的卷积核组成；
第四层，残差单元4，由两层3×3大小、dilation＝3的卷积核组成；
第五层，残差单元5，由两层3×3大小、dilation＝4的卷积核组成；
第六层，残差单元6，由两层3×3大小、dilation＝4的卷积核组成；
第七层，残差单元7，由两层3×3大小的普通卷积核组成。
为了提高计算效率，将每层卷积核的个数设为64，其中每次卷积后都先标准化操作再经Relu函数激活。
1-4：构建特征解码区，将低级特征编码区的输出结果及高级语义编码的中间结果和最后输出结果进行融合，然后通过卷积神经网络进行特征解码，最终生成去雾图像。在经过低级特征编码和高级语义编码后，编码网络较深，为避免深层网络的关联信息中断，将低级特征编码区的第三层输出结果和高级语义编码区的输出结果进行特征融合，然后将融合结果输入到解码网络。因为编码过程中信息丢失较少，所以解码区只设计了三层反卷积网络；由于低级特征编码时出现了特征图的尺寸减半，因此在第一层解码时，根据卷积神经网络前后图像尺寸变化模型设计一个4×4大小、步长为2的卷积核；第二层就恢复成普通的3×3大小、步长为1的卷积核；由于第三层要输出原图像的结构，所以选用1×1大小的卷积核来压缩解码的所有信息。其中，前两层均是在卷积后先标准化再经Relu函数激活，而最后一层是前两层信息的压缩，故不再需要函数激活。
步骤2：将步骤1中1-4得到的去雾图像和样本标签输入到判别网络Discriminator-Net进行判断，通过判别传递函数更新网络参数，强化生成网络的去雾能力，同时增强判别网络的判断能力，从而得到更清晰的去雾图像。
其中判别网络损失函数LD，如式(9)～(11)所示。
LD＝LT+LF (9)
Figure BDA0002234225860000041
Figure BDA0002234225860000042
其中，LT表示训练样本标签经Discriminator-Net判别与正确判别标签之间的距离；LF表示Generator-Net的输出经Discriminator-Net判别与错误判别标签之间的距离；F表示错误判别标签，是全为0的M×N二维矩阵。
本发明具有的有益效果为：
1、模拟深度视觉感知系统的编码过程，提出了一种从低级特征编码到高级语义编码的图像编码新方法。通过三层普通卷积层构建低级特征编码区，提取并融合输入图像的颜色和纹理等低级特征；通过将若干个空洞卷积残差单元组成感受野尺寸递增的残差网络，来构建高级语义编码区，深度编码融合的低级特征。
2、提出了一种基于轮廓和颜色特征融合编码的图像去雾新方法。设置具有方向选择特性的经典感受野，对视觉信息进行二维高斯导函数处理，获取表征细节特征的轮廓纹理图。在低级特征编码网络中逐层融入轮廓特征，提高低级特征中轮廓的比重，改善了去雾后图像颜色失真和光晕问题。
3、改进了原有生成网络的损失函数。首先将生成图像和对应样本标签分别输入到判别网络，输出两个元素值在0和1之间的矩阵；再通过L1函数计算两个矩阵之间的平均距离；最后定义平均距离为判别纠正权重，添加到原始的成损失函数中，可以使生成损失快速收敛并且在一定程度上进一步减小了收敛值。
附图说明
为了使本发明的目的、技术方案和有益效果更加清楚，本发明提供如下附图进行说明：
图1为本发明的算法框图；
图2为本发明的低级特征编码网络模型图；
图3为本发明的高级语义编码网络模型图；
图4为本发明的特征解码网络模型图。
具体实施方式
下面结合附图对本说明本发明作进一步说明。
如图1所示，一种基于轮廓和颜色特征融合编码的图像去雾方法的具体实施步骤如下：
步骤1：构建生成网络Generator-Net，其中Generator-Net由轮廓特征器、低级特征编码区、高级语义编码区、特征解码区四部分组成。
由于判别网络Discriminator-Net是一个二分类网络，只能估计出生成网络Generator-Net的输出是真还是假的概率，并且转化成0或1来进行最后的判断。正因为估计成0或1存在偏差，在大量像素的累积影响下导致总体偏差过大，输出的图像将出现失真现象。因此本发明对生成网络损失函数LG进行了改进，加入了判别纠正权重，如式(1)～(5)所示。
LG＝10L1+(1+λ)Lerr (1)
Figure BDA0002234225860000051
Figure BDA0002234225860000052
Figure BDA0002234225860000061
Figure BDA0002234225860000062
其中，λ表示判别纠正权重；D(Ilabel)表示训练样本标签经Discriminator-Net的判别结果；Ilabel表示训练样本标签；L1表示Generator-Net的输出和训练样本标签之间的距离；Lerr表示Generator-Net的输出经Discriminator-Net判别和正确判别标签之间的距离；G(I)表示Generator-Net的输出，I表示输入图像，G(I)和Ilabel的尺寸一致；C表示输出图像的通道数，W和H分别表示输出图像的宽和高，；D(G(I))表示Generator-Net的输出经Discriminator-Net的判别结果；f(·)表示将模拟量映射为0或1；T表示正确判别标签，是全为1的M×N二维矩阵，M＝30，N＝30；D(G(I))和T的尺寸一样。
1-1：构建轮廓提取器，针对有雾图像I(i,j)提取表征其细节特征的轮廓纹理图Icont(i,j)，i、j分别表示像素的行坐标和列坐标。根据视皮层的方向选择特性，设置多方向经典感受野，再结合二维高斯导函数模型，提取带雾图像I(i,j)经典感受野内的中心水平、中心垂直、正、负对角线4类边缘，得到轮廓纹理图Icont(i,j)，具体如式(6)～(8)所示。
Icont(i,j)＝u(i,j)×max{ev(i,j)} (6)
Figure BDA0002234225860000063
ev(i,j)＝|I(i,j)*RF(i,j,θv)| (8)
其中，RF(i,j,θv)表示高斯导函数；θv对应于上述4类边缘的方位角，v＝1,2,...,4；u(i,j)代表响应强度系数；max表示取集合中的最大值；*表示卷积运算；|·|表示取绝对值，×表示乘法运算。
1-2：如图2所示，构建低级特征编码区，提取待处理图像I(i,j)的颜色特征，并融合上述1-1提取的轮廓特征进行编码，获取编码结果。考虑到网络较深的特征提取器，在颜色和轮廓特征融合过程中，可能会造成信息过度编码，因此在设计低级特征编码网络时，本发明在传统VGG七层网络基础上，将卷积层调整为三层。为了能更加充分的融合颜色和轮廓特征，将1-1获得的轮廓纹理图Icont(i,j)依次融入三层卷积层，提高轮廓特征的占容比。综合考虑过度学习和效率的因素，将三层卷积层中的卷积核的个数设置为64。为了去除低级特征编码区的信息冗余，前两层卷积层的步长为1，将第三层卷积层的步长设为2。另外为了提高网络的泛化能力，每次卷积操作后都有标准化处理过程，最后通过Relu函数进行激活。特别说明，为了避免图像去雾后的失真现象，整个网络中都省去了池化操作。
1-3：如图3所示，构建高级语义编码区，将上述1-2中低级特征编码区的编码结果进行更深层次的编码。考虑到深层次编码中的各层信息可能会失去关联性，所以选择由三个双层残差块和一个残差单元构建高级语义编码区，其中双层残差块由两个残差单元组成。另外为了发挥高级语义编码中每个特征信息的作用，同时又考虑到计算资源的有限性，本发明采用空洞卷积来替代普通卷积和池化操作。高级语义编码区包括以下七层结构：
第一层，残差单元1，由两层3×3大小、dilation＝2的卷积核组成；
第二层，残差单元2，由两层3×3大小、dilation＝2的卷积核组成；
第三层，残差单元3，由两层3×3大小、dilation＝3的卷积核组成；
第四层，残差单元4，由两层3×3大小、dilation＝3的卷积核组成；
第五层，残差单元5，由两层3×3大小、dilation＝4的卷积核组成；
第六层，残差单元6，由两层3×3大小、dilation＝4的卷积核组成；
第七层，残差单元7，由两层3×3大小的普通卷积核组成。
为了提高计算效率，将每层卷积核的个数设为64，其中每次卷积后都先标准化操作再经Relu函数激活。
1-4：如图4所示，构建特征解码区，将低级特征编码区的输出结果及高级语义编码的中间结果和最后输出结果进行融合，然后通过卷积神经网络进行特征解码，最终生成去雾图像。在经过低级特征编码和高级语义编码后，编码网络较深，为避免深层网络的关联信息中断，将低级特征编码区的第三层输出结果和高级语义编码区的输出结果进行特征融合，然后将融合结果输入到解码网络。因为编码过程中信息丢失较少，所以解码区只设计了三层反卷积网络；由于低级特征编码时出现了特征图的尺寸减半，因此在第一层解码时，根据卷积神经网络前后图像尺寸变化模型设计一个4×4大小、步长为2的卷积核；第二层就恢复成普通的3×3大小、步长为1的卷积核；由于第三层要输出原图像的结构，所以选用1×1大小的卷积核来压缩解码的所有信息。其中，前两层均是在卷积后先标准化再经Relu函数激活，而最后一层是前两层信息的压缩，故不再需要函数激活。
考虑到有雾图像缺乏对应的清晰图，因此本发明采用式(9)所示的平均梯度AG和式(10)所示的信息熵EY两个无参考图像评价指标，对有雾图像去雾结果进行评价。
Figure BDA0002234225860000081
其中，g表示水平或垂直方向上的灰度值差；
Figure BDA0002234225860000082
和
Figure BDA0002234225860000083
分别表示图像的水平方向梯度和垂直方向梯度。
Figure BDA0002234225860000084
Figure BDA0002234225860000085
其中，图像的像素灰度组成特征二元组，记为(x,y)，x表示像素灰度值，0≤x≤255，y表示邻域灰度均值，0≤y≤255；S(x,y)表示特征二元组(x,y)出现的次数；Px,y表示特征二元组(x,y)在整幅图像中出现的概率。
步骤2：将步骤1中1-4得到的去雾图像和样本标签输入到判别网络Discriminator-Net进行判断，通过判别传递函数更新网络参数，强化生成网络的去雾能力，同时增强判别网络的判断能力，从而得到更清晰的去雾图像。
其中判别网络损失函数LD，如式(12)～(14)所示。
LD＝LT+LF (12)
Figure BDA0002234225860000086
Figure BDA0002234225860000087
其中，LT表示训练样本标签经Discriminator-Net判别与正确判别标签之间的距离；LF表示Generator-Net的输出经Discriminator-Net判别与错误判别标签之间的距离；F表示错误判别标签，是全为0的M×N二维矩阵。

Claims (1)

1.一种基于轮廓和颜色特征融合编码的图像去雾方法，其特征在于，该方法具体包括以下步骤：
步骤1、构建生成网络Generator-Net，其中Generator-Net由轮廓特征器、低级特征编码区、高级语义编码区、特征解码区四部分组成；
其中生成网络损失函数LG进行了改进，加入了判别纠正权重，如式(1)～(5)所示；
LG＝10L1+(1+λ)Lerr (1)
Figure FDA0002234225850000011
Figure FDA0002234225850000012
Figure FDA0002234225850000013
Figure FDA0002234225850000014
其中，λ表示判别纠正权重；D(Ilabel)表示训练样本标签经Discriminator-Net的判别结果；Ilabel表示训练样本标签；L1表示Generator-Net的输出和训练样本标签之间的距离；Lerr表示Generator-Net的输出经Discriminator-Net判别和正确判别标签之间的距离；G(I)表示Generator-Net的输出，I表示输入图像，G(I)和Ilabel的尺寸一致；C表示输出图像的通道数，W和H分别表示输出图像的宽和高；D(G(I))表示Generator-Net的输出经Discriminator-Net的判别结果；f(·)表示将模拟量映射为0或1；T表示正确判别标签，是全为1的M×N二维矩阵，M＝30，N＝30；D(G(I))和T的尺寸一样；
1-1、构建轮廓提取器，针对有雾图像I(i,j)提取表征其细节特征的轮廓纹理图Icont(i,j)，i、j分别表示像素的行坐标和列坐标；根据视皮层的方向选择特性，设置多方向经典感受野，再结合二维高斯导函数模型，提取带雾图像I(i,j)经典感受野内的中心水平、中心垂直、正、负对角线4类边缘，得到轮廓纹理图Icont(i,j)，具体如式(6)～(8)所示；
Icont(i,j)＝u(i,j)×max{ev(i,j)} (6)
Figure FDA0002234225850000021
ev(i,j)＝|I(i,j)*RF(i,j,θv)| (8)
其中，RF(i,j,θv)表示高斯导函数；θv对应于上述4类边缘的方位角，v＝1,2,...,4；u(i,j)代表响应强度系数；max表示取集合中的最大值；*表示卷积运算；|·|表示取绝对值；×表示乘法运算；
1-2、构建低级特征编码区，提取待处理图像I(i,j)的颜色特征，并融合上述1-1提取的轮廓特征进行编码，获取编码结果；将传统VGG七层网络的卷积层调整为三层；将1-1获得的轮廓纹理图Icont(i,j)依次融入三层卷积层，提高轮廓特征的占容比；将三层卷积层中的卷积核的个数设置为64；前两层卷积层的步长为1，将第三层卷积层的步长设为2；每次卷积操作后都有标准化处理过程，最后通过Relu函数进行激活；特别说明，整个网络中都无池化操作；
1-3、构建高级语义编码区，将上述1-2中低级特征编码区的编码结果进行更深层次的编码；由三个双层残差块和一个残差单元构建高级语义编码区，其中双层残差块由两个残差单元组成；采用空洞卷积来替代普通卷积和池化操作；高级语义编码区包括以下七层结构、
第一层，残差单元1，由两层3×3大小、dilation＝2的卷积核组成；
第二层，残差单元2，由两层3×3大小、dilation＝2的卷积核组成；
第三层，残差单元3，由两层3×3大小、dilation＝3的卷积核组成；
第四层，残差单元4，由两层3×3大小、dilation＝3的卷积核组成；
第五层，残差单元5，由两层3×3大小、dilation＝4的卷积核组成；
第六层，残差单元6，由两层3×3大小、dilation＝4的卷积核组成；
第七层，残差单元7，由两层3×3大小的普通卷积核组成；
将每层卷积核的个数设为64，其中每次卷积后都先标准化操作再经Relu函数激活；
1-4、构建特征解码区，将低级特征编码区的输出结果及高级语义编码的中间结果和最后输出结果进行融合，然后通过卷积神经网络进行特征解码，最终生成去雾图像；，将低级特征编码区的第三层输出结果和高级语义编码区的输出结果进行特征融合，然后将融合结果输入到解码网络；解码区只设计三层反卷积网络；在第一层解码时，根据卷积神经网络前后图像尺寸变化模型设计一个4×4大小、步长为2的卷积核；第二层选用普通的3×3大小、步长为1的卷积核；第三层选用1×1大小的卷积核来压缩解码的所有信息；其中，前两层均是在卷积后先标准化再经Relu函数激活，而最后一层是前两层信息的压缩，不需要函数激活；
步骤2、将步骤1中1-4得到的去雾图像和样本标签输入到判别网络Discriminator-Net进行判断，通过判别传递函数更新网络参数，强化生成网络的去雾能力，同时增强判别网络的判断能力，从而得到更清晰的去雾图像；
其中判别网络损失函数LD，如式(9)～(11)所示；
LD＝LT+LF (9)
Figure FDA0002234225850000031
Figure FDA0002234225850000032
其中，LT表示训练样本标签经Discriminator-Net判别与正确判别标签之间的距离；LF表示Generator-Net的输出经Discriminator-Net判别与错误判别标签之间的距离；F表示错误判别标签，是全为0的M×N二维矩阵。
CN201910977828.5A 2019-10-15 2019-10-15 一种基于轮廓和颜色特征融合编码的图像去雾方法 Pending CN110880165A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910977828.5A CN110880165A (zh) 2019-10-15 2019-10-15 一种基于轮廓和颜色特征融合编码的图像去雾方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910977828.5A CN110880165A (zh) 2019-10-15 2019-10-15 一种基于轮廓和颜色特征融合编码的图像去雾方法

Publications (1)

Publication Number Publication Date
CN110880165A true CN110880165A (zh) 2020-03-13

Family

ID=69728321

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910977828.5A Pending CN110880165A (zh) 2019-10-15 2019-10-15 一种基于轮廓和颜色特征融合编码的图像去雾方法

Country Status (1)

Country Link
CN (1) CN110880165A (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111445418A (zh) * 2020-03-31 2020-07-24 联想(北京)有限公司 图像去雾处理方法、装置及计算机设备
CN111462013A (zh) * 2020-04-03 2020-07-28 西安交通大学 一种基于结构化残差学习的单图去雨方法
CN112116000A (zh) * 2020-09-16 2020-12-22 深圳印像数据科技有限公司 针对服装类型的图像识别方法
CN112149802A (zh) * 2020-09-17 2020-12-29 广西大学 一种语义结构一致的图像内容转换方法
CN112686223A (zh) * 2021-03-12 2021-04-20 腾讯科技（深圳）有限公司 一种表格识别方法、装置和计算机可读存储介质
CN113129237A (zh) * 2021-04-26 2021-07-16 广西师范大学 基于多尺度融合编码网络的深度图像去模糊方法
CN113240589A (zh) * 2021-04-01 2021-08-10 重庆兆光科技股份有限公司 一种多尺度特征融合的图像去雾方法及系统
CN113256592A (zh) * 2021-06-07 2021-08-13 中国人民解放军总医院 图像特征提取模型的训练方法、系统及装置
CN113284112A (zh) * 2021-05-27 2021-08-20 中国科学院国家空间科学中心 一种基于深度神经网络的熔滴图像轮廓提取方法及系统
CN113673538A (zh) * 2021-08-16 2021-11-19 广西科技大学 一种生物启发式多级多层次反馈式轮廓检测方法
CN115496989A (zh) * 2022-11-17 2022-12-20 南京硅基智能科技有限公司 一种生成器、生成器训练方法及避免图像坐标粘连方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2568438A2 (en) * 2011-09-08 2013-03-13 Fujitsu Limited Image defogging method and system
EP2851865A1 (en) * 2012-05-15 2015-03-25 SK Telecom Co., Ltd Image-processing apparatus for removing haze contained in video, and method therefor
CN106548467A (zh) * 2016-10-31 2017-03-29 广州飒特红外股份有限公司 红外图像和可见光图像融合的方法及装置
CN107248148A (zh) * 2017-06-14 2017-10-13 上海晔芯电子科技有限公司 图像降噪方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2568438A2 (en) * 2011-09-08 2013-03-13 Fujitsu Limited Image defogging method and system
EP2851865A1 (en) * 2012-05-15 2015-03-25 SK Telecom Co., Ltd Image-processing apparatus for removing haze contained in video, and method therefor
CN106548467A (zh) * 2016-10-31 2017-03-29 广州飒特红外股份有限公司 红外图像和可见光图像融合的方法及装置
CN107248148A (zh) * 2017-06-14 2017-10-13 上海晔芯电子科技有限公司 图像降噪方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
MINGMING TAN ET AL.: "Image-Dehazing Method Based on the Fusion Coding of Contours and Colors", 《IEEE ACCESS》 *

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111445418A (zh) * 2020-03-31 2020-07-24 联想(北京)有限公司 图像去雾处理方法、装置及计算机设备
CN111445418B (zh) * 2020-03-31 2024-05-28 联想(北京)有限公司 图像去雾处理方法、装置及计算机设备
CN111462013B (zh) * 2020-04-03 2022-03-22 西安交通大学 一种基于结构化残差学习的单图去雨方法
CN111462013A (zh) * 2020-04-03 2020-07-28 西安交通大学 一种基于结构化残差学习的单图去雨方法
CN112116000A (zh) * 2020-09-16 2020-12-22 深圳印像数据科技有限公司 针对服装类型的图像识别方法
CN112149802A (zh) * 2020-09-17 2020-12-29 广西大学 一种语义结构一致的图像内容转换方法
CN112686223A (zh) * 2021-03-12 2021-04-20 腾讯科技（深圳）有限公司 一种表格识别方法、装置和计算机可读存储介质
CN112686223B (zh) * 2021-03-12 2021-06-18 腾讯科技（深圳）有限公司 一种表格识别方法、装置和计算机可读存储介质
CN113240589A (zh) * 2021-04-01 2021-08-10 重庆兆光科技股份有限公司 一种多尺度特征融合的图像去雾方法及系统
CN113129237A (zh) * 2021-04-26 2021-07-16 广西师范大学 基于多尺度融合编码网络的深度图像去模糊方法
CN113129237B (zh) * 2021-04-26 2022-10-28 广西师范大学 基于多尺度融合编码网络的深度图像去模糊方法
CN113284112A (zh) * 2021-05-27 2021-08-20 中国科学院国家空间科学中心 一种基于深度神经网络的熔滴图像轮廓提取方法及系统
CN113284112B (zh) * 2021-05-27 2023-11-10 中国科学院国家空间科学中心 一种基于深度神经网络的熔滴图像轮廓提取方法及系统
CN113256592A (zh) * 2021-06-07 2021-08-13 中国人民解放军总医院 图像特征提取模型的训练方法、系统及装置
CN113256592B (zh) * 2021-06-07 2021-10-08 中国人民解放军总医院 图像特征提取模型的训练方法、系统及装置
CN113673538A (zh) * 2021-08-16 2021-11-19 广西科技大学 一种生物启发式多级多层次反馈式轮廓检测方法
CN113673538B (zh) * 2021-08-16 2023-07-14 广西科技大学 一种生物启发式多级多层次反馈式轮廓检测方法
CN115496989A (zh) * 2022-11-17 2022-12-20 南京硅基智能科技有限公司 一种生成器、生成器训练方法及避免图像坐标粘连方法
US12056903B2 (en) 2022-11-17 2024-08-06 Nanjing Silicon Intelligence Technology Co., Ltd. Generator, generator training method, and method for avoiding image coordinate adhesion

Similar Documents

Publication Publication Date Title
CN110880165A (zh) 一种基于轮廓和颜色特征融合编码的图像去雾方法
CN107767413B (zh) 一种基于卷积神经网络的图像深度估计方法
CN109118467B (zh) 基于生成对抗网络的红外与可见光图像融合方法
CN108875935B (zh) 基于生成对抗网络的自然图像目标材质视觉特征映射方法
CN111145116B (zh) 一种基于生成对抗网络的海面雨天图像样本增广方法
CN110517329B (zh) 一种基于语义分析的深度学习图像压缩方法
CN111784602A (zh) 一种生成对抗网络用于图像修复的方法
CN113870335B (zh) 一种基于多尺度特征融合的单目深度估计方法
CN110458060A (zh) 一种基于对抗学习的车辆图像优化方法及系统
CN110570363A (zh) 基于带有金字塔池化与多尺度鉴别器的Cycle-GAN的图像去雾方法
CN110555465A (zh) 一种基于cnn与多特征融合的天气图像识别方法
CN110675462A (zh) 一种基于卷积神经网络的灰度图像彩色化方法
CN111161364A (zh) 一种针对单视角深度图的实时形状补全和姿态估计方法
CN110827295A (zh) 基于体素模型与颜色信息耦合的三维语义分割方法
CN113962878B (zh) 一种低能见度图像去雾模型方法
CN113420794B (zh) 一种基于深度学习的二值化Faster R-CNN柑橘病虫害识别方法
CN112734727A (zh) 一种基于改进深度神经网络的苹果采摘方法
CN112084934A (zh) 基于骨骼数据双通道深度可分离卷积的行为识别方法
CN115330620A (zh) 一种基于循环生成对抗网络的图像去雾方法
CN114972748A (zh) 一种可解释边缘注意力和灰度量化网络的红外语义分割方法
CN110084136A (zh) 基于超像素crf模型的上下文优化室内场景语义标注方法
CN112560624A (zh) 基于模型深度集成的高分遥感影像语义分割方法
Jin et al. A lightweight scheme for multi-focus image fusion
CN113822825B (zh) 基于3d-r2n2的光学建筑目标三维重建方法
CN112767539B (zh) 一种基于深度学习的图像三维重构方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200313