CN109685737A - 一种图像去雾方法 - Google Patents

一种图像去雾方法 Download PDF

Info

Publication number
CN109685737A
CN109685737A CN201811579417.2A CN201811579417A CN109685737A CN 109685737 A CN109685737 A CN 109685737A CN 201811579417 A CN201811579417 A CN 201811579417A CN 109685737 A CN109685737 A CN 109685737A
Authority
CN
China
Prior art keywords
network model
neural network
image
defogging method
convolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811579417.2A
Other languages
English (en)
Inventor
陆健强
姜冰
王卫星
李旺枝
黄波
尧港东
赖俊贵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China Agricultural University
Original Assignee
South China Agricultural University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China Agricultural University filed Critical South China Agricultural University
Priority to CN201811579417.2A priority Critical patent/CN109685737A/zh
Publication of CN109685737A publication Critical patent/CN109685737A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/73Deblurring; Sharpening
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种图像去雾方法,具体包括以下步骤:搭建基于ResNet的深度神经网络模型;采集训练数据集并训练网络模型;设计神经网络模型损失函数,使神经网络模型更精确地实现对有雾图像的去雾清晰化处理;精简压缩神经网络模型,压缩神经网络模型计算量;使用训练好的神经网络模型对待处理图像进行端到端去雾清晰化处理。本发明通过压缩神经网络模型,使模型计算量和参数数量明显下降,减少运行时间,可在移动端稳定运行。

Description

一种图像去雾方法
技术领域
本发明属于数字图像处理技术领域,特别涉及一种基于ResNet神经网络单幅图像去雾压缩模型的去雾方法。
背景技术
室外成像系统由于受到空气中的水蒸气和尘埃等的影响,其清晰度大大地降低,图像整体泛白,纹理特征,细节信息丢失。另外,随着工业化的进程加快,大气污染日益严重,雾霾天气频繁出现使得大气能见度急剧减小,伴随着的问题使得室外成像更加困难,室外获得的图像清晰度远远达不到智能应用系统所需要的要求和人们日常室外拍照所需。降质退化的图像很大程度限制了图像本身的用途,例如图像分割,目标检测以及图像理解和分析的多方面的用途。
虽然已有专利通过基于深度卷积神经网络模型实现对输入图像的尽可能的清晰化处理,以尽可能地增强去雾效果。但该去雾技术依然存在着计算量大,运算效率低,参数估计困难等一系列问题,无法有效运行在移动端等设备上,因此需要提供一种图像视觉还原效果好但运算量和运算时间减少的、可在移动端运行的去雾方法。
发明内容
本发明的主要目的在于克服现有技术的缺点与不足,提供一种图像去雾方法,其在图像视觉还原效果好的同时,具有减少网络模型计算量,运行时间短的优点。
本发明的目的通过以下的技术方案实现:一种图像去雾方法,具体包括以下步骤:
搭建基于ResNet的深度神经网络模型,神经网络模型输入为单幅有雾图像,输出为其对应的清晰图像;
采集同一场景的有雾图像及其对应的清晰图像数据集作为训练数据集,使用训练数据集训练网络模型;
设计神经网络模型损失函数,使神经网络模型更精确地实现对有雾图像的去雾清晰化处理;
精简压缩神经网络模型,压缩神经网络模型计算量,以减少运行时间,使该神经网络模型可在移动端稳定运行;
使用训练好的神经网络模型对待处理图像进行端到端去雾清晰化处理。
优选的,使用SIFT算法进行关键点匹配对图像数据集进行像素偏移校正。
优选的,所述神经网络模型包括21个卷积层和多尺度损失函数,所述21个卷积层包括一个对输入数据进行特征提取的卷积层和10个残差模块,每个残差模块包括2个卷积层。
更进一步的,在神经网络模型的每个卷积层之后增加Batch Normalization(批量标准化)层,加快神经网络模型训练收敛速度,减小神经网络模型震荡,优化迭代次数,减少更新耗时从而提高神经网络模型的性能。
更进一步的,所述精简压缩神经网络模型和精简计算量的步骤为:使用低精度浮点数保存运算得到的参数,卷积核分解,使用1×N和N×1的卷积核代替N×N的卷积核操作,从而减少运算数据量,减少运行时间,达到快速计算的效果。在计算量和参数数量明显下降之后,神经网络模型可以应用在移动端平台。
优选的,所述神经网络模型的block中的卷积层后添加一层channel shuffle(通道混洗)操作,把输入通道分成3组并分别做对应的组内3x3卷积变换,然后在下一次变换之前做一次分组间的channel shuffle。
更进一步的,每一个block层的shortcut(短接)部分加入一个步长为2、大小为3×3平均池化层,把元素相加的操作转为通道级联,这扩大了通道维度,增加的计算成本却大大降低。
本发明与现有技术相比,具有如下优点和有益效果:
1、本发明使用神经网络模型实现了对有雾图像端到端的处理方式,减少了人为估计参数的步骤,通过更高效Depth-wise的卷积方式来替代原有的传统卷积,使模型计算量和参数数量明显下降,去雾方法可应用在如手机、平板等的移动端平台。
2、本发明在神经网络模型中增加shuffle net层,可允许获得更多通道的信息,性能的收益源于更宽的特征映射,可以帮助编码更多信息。并且较小的模型的特征映射通道更少,这意味着能多的从特征映射上获取收益。
3、本发明设计多尺度损失函数对网络进行优化训练,收敛效果更好,应用去雾效果明显,网络模型具有更好的泛化能力,在多种场景下达到优良效果。
4、本发明能够较好地解决传统图像去雾清晰化算法容易出现天空区域的Halo效应的问题,使去雾效果明显提高。
5、本发明的神经网络压缩模型相比原有的残差网络结构变化较小,实现复杂度较低,可以广泛应用。
附图说明
图1为本发明一种图像去雾方法的的流程图。
图2为本发明一种图像去雾方法的神经网络模型网络结构图。
图3本发明一种图像去雾方法的去雾效果对比图,图3(a)为输入图像,图3(b)为本发明去雾方法去雾后图像,图3(c)为暗通道先验法去雾后图像。
具体实施方式
下面结合实施例及附图对本发明作进一步详细的描述,但本发明的实施方式不限于此。
实施例
一种图像去雾方法,具体包括以下步骤:
S1、搭建基于ResNet的深度神经网络模型,包括21个卷积层和多尺度损失函数,所述21个卷积层包括一个对输入数据进行特征提取的卷积层和10个残差模块,每个残差模块包括2个卷积层;在每个卷积层之后增加Batch Normalization(批量标准化)层,加快网络训练收敛速度,减小神经网络模型震荡,优化迭代次数,减少更新耗时从而提高网络的性能;
神经网络模型输入为单幅有雾图像,输出为其对应的清晰图像。
S2、采集同一场景的有雾图像及其对应的清晰图像数据集作为训练数据集,使用SIFT算法进行关键点匹配,实现对图像数据集的像素偏移校正;使用训练数据集训练网络模型。
S3、设计神经网络模型损失函数,使神经网络模型更精确地实现对有雾图像的去雾清晰化处理。
S4、精简压缩神经网络模型,使用低精度浮点数保存运算得到的参数,卷积核分解,使用1×N和N×1的卷积核代替N×N的卷积核操作,也即使用Depth-wise(深度可分离卷积)的卷积方式来替代原有的传统卷积,由于大量使用1×1的卷积可以直接使用高度优化的矩阵相乘来完成,并且1×1的卷积不需要预处理操作,从而减少运算数据量,减少运行时间,达到快速计算的效果。压缩网络计算量,以减少运行时间,使该神经网络模型可在移动端稳定运行。
S5、在神经网络模型的block中的卷积层里添加一层channel shuffle(通道混洗)操作,把输入通道分成3组并分别做对应的组内3x3卷积变换,然后在下一次变换之前做了一次分组间的channel shuffle。如此一来,每个分组就含有了其它分组的局部通道相关性了。如果channel shuffle操作次数足够多,就可以认为这完全等效于常规卷积运算了,通过这种方式也改变输出的通道数,从而可以增加特征数。每一个block层的shortcut(短接)部分加入一个步长为2、大小为3×3平均池化层,把元素相加的操作转为了通道级联,这扩大了通道维度,增加的计算成本却大大降低。
搭建好的神经网络模型框架如表1所示,残差网络的每一个block主支路包括了一层卷积层,一层Batch Normaizationl层,一个channl shuffle通道混洗层,一个步长为2的3×3的卷积层,最后还有一层卷积层,副支路是一个步长为2的3×3的卷积层,通道混洗后网络的卷积可允许获得更多通道的信息,性能的收益源于更宽的特征映射,可以帮助编码更多信息。并且较小的模型的特征映射通道更少,这意味着能多的从特征映射上获取收益,大大提神模型性能,去雾效果更加明显。
表1基于ResNet的深度神经网络模型算法框架图
S6、使用训练好的神经网络模型对待处理图像进行端到端去雾清晰化处理。
所述神经网络模型损失函数包括图像的色彩损失函数、图像纹理损失函数和图形细节信息损失函数。
所述的色彩损失函数使用均方误差(MSE)进行衡量,由于直接对输出图像及其所对应的清晰图像进行均方误差衡量存在比较大的误差,因此本发明专利首先分别对输入图像和其对应的清晰图像进行高斯滤波模糊后,在计算两幅图像之间的均方误差。所述的均方误差损失函数如式(1)所示:
Lcolor(Youtput,Yclear)=||Youtput-Yclear||2 (1)
其中,Youtput表示高斯滤波模糊后的网络输出图像,Yclear表示高斯滤波模糊后采集到的清晰的图像。
所述的图像纹理损失函数,通过一个生成对抗网络(GAN)进行学习所得,其中纹理损失函数定义如式(2)所示:
其中FW表示生成对抗网络,D表示判别网络,Ioutput表示深度神经网络输出结果,Iclear表示数据集中的清晰图像。
所述的图像细节损失函数如式(3)所示,
其中A、B表示分别对高斯滤波模糊后采集到的清晰图像Yclear和高斯滤波模糊后的网络输出图像Youtput进行Canny边缘检测所得的图像。
所述的总损失函数如式(4)所示
Ltotal=0.4*Ldetail+0.2*Ltexture+0.8*Lcolor (4)
其中Lcolor为色彩损失函数,Ltexture为图像纹理损失函数,Ldetail为图像细节信息损失函数。
本发明使用裁剪后的224×224的图片输入,在卷积后得到的特征图大小为7×7,经过全连接层输出。如表2所示,当使用完全一样训练方法,本专利算法的复杂度和VGG-16相比降低了近30倍,网络的错误率降低了21.9%,本专利算法的复杂度和ResNet网络相比较降低了2.73倍,错误率降低了4.6%。
表2与VGG-16算法和ResNet算法的比较
模型 Complexity(MFLOPs复杂度) Err(错误率)%
VGG-16 15300 56.0
ResNet 1428 38.7
本发明 524 34.1
上述实施例为本发明较佳的实施方式,但本发明的实施方式并不受上述实施例的限制,其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化,均应为等效的置换方式,都包含在本发明的保护范围之内。

Claims (7)

1.一种图像去雾方法,其特征在于,具体包括以下步骤:
搭建基于ResNet的深度神经网络模型,神经网络模型输入为单幅有雾图像,输出为其对应的清晰图像;
采集同一场景的有雾图像及其对应的清晰图像数据集作为训练数据集,使用训练数据集训练网络模型;
设计神经网络模型损失函数;
精简压缩神经网络模型,压缩神经网络模型计算量;
使用训练好的神经网络模型对待处理图像进行端到端去雾清晰化处理。
2.根据权利要求1所述的图像去雾方法,其特征在于,使用SIFT算法进行关键点匹配对图像数据集进行像素偏移校正。
3.根据权利要求1所述的图像去雾方法,其特征在于,所述神经网络模型包括21个卷积层和多尺度损失函数,所述21个卷积层包括一个对输入数据进行特征提取的卷积层和10个残差模块,每个残差模块包括2个卷积层。
4.根据权利要求3所述的图像去雾方法,其特征在于,在神经网络模型的每个卷积层之后增加Batch Normalization层。
5.根据权利要求3所述的图像去雾方法,其特征在于,所述精简压缩神经网络模型和精简计算量的步骤为:使用低精度浮点数保存运算得到的参数,卷积核分解,使用1×N和N×1的卷积核代替N×N的卷积核操作。
6.根据权利要求1所述的图像去雾方法,其特征在于,在所述神经网络模型的block中的卷积层后添加一层channel shuffle操作,把输入通道分成3组并分别做对应的组内3×3卷积变换,然后在下一次变换之前做了一次分组间的channel shuffle。
7.根据权利要求6所述的图像去雾方法,其特征在于,每一个block层的shortcut部分加入一个步长为2、大小为3×3平均池化层,把元素相加的操作转为通道级联。
CN201811579417.2A 2018-12-24 2018-12-24 一种图像去雾方法 Pending CN109685737A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811579417.2A CN109685737A (zh) 2018-12-24 2018-12-24 一种图像去雾方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811579417.2A CN109685737A (zh) 2018-12-24 2018-12-24 一种图像去雾方法

Publications (1)

Publication Number Publication Date
CN109685737A true CN109685737A (zh) 2019-04-26

Family

ID=66188163

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811579417.2A Pending CN109685737A (zh) 2018-12-24 2018-12-24 一种图像去雾方法

Country Status (1)

Country Link
CN (1) CN109685737A (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110309876A (zh) * 2019-06-28 2019-10-08 腾讯科技(深圳)有限公司 目标检测方法、装置、计算机可读存储介质和计算机设备
CN110310238A (zh) * 2019-06-18 2019-10-08 华南农业大学 一种基于重用原始信息的压缩奖惩神经网络的单幅图像去雨方法
CN110570355A (zh) * 2019-09-12 2019-12-13 杭州海睿博研科技有限公司 多尺度自动聚焦超分辨率处理系统和方法
CN110738213A (zh) * 2019-09-20 2020-01-31 成都芯云微电子有限公司 一种包括周边环境的图像识别方法及装置
CN110930320A (zh) * 2019-11-06 2020-03-27 南京邮电大学 一种基于轻量化卷积神经网络的图像去雾方法
CN111046828A (zh) * 2019-12-20 2020-04-21 西安交通大学 一种矿井下监控图像的去粉尘降噪神经网络方法
CN111178217A (zh) * 2019-12-23 2020-05-19 上海眼控科技股份有限公司 人脸图像的检测方法及设备
CN112614072A (zh) * 2020-12-29 2021-04-06 北京航空航天大学合肥创新研究院 一种图像复原方法、装置、图像复原设备及存储介质
CN112651948A (zh) * 2020-12-30 2021-04-13 重庆科技学院 一种基于机器视觉的青蒿素萃取智能跟踪与识别方法
CN113449722A (zh) * 2020-03-27 2021-09-28 北京有限元科技有限公司 对图像中的文本信息进行定位以及识别的方法以及装置
US11982725B2 (en) 2021-04-30 2024-05-14 Regents Of The University Of Minnesota Parallel transmission magnetic resonance imaging with a single transmission channel RF coil using deep learning

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108230264A (zh) * 2017-12-11 2018-06-29 华南农业大学 一种基于ResNet神经网络的单幅图像去雾方法
CN109063728A (zh) * 2018-06-20 2018-12-21 燕山大学 一种火灾图像深度学习模式识别方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108230264A (zh) * 2017-12-11 2018-06-29 华南农业大学 一种基于ResNet神经网络的单幅图像去雾方法
CN109063728A (zh) * 2018-06-20 2018-12-21 燕山大学 一种火灾图像深度学习模式识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CHRISTIAN SZEGEDY ET AL: "Rethinking the Inception Architecture for Computer Vision", 《2016 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 *
XIANGYU ZHANG ET AL: "ShuffleNet: An Extremely Efficient Convolutional Neural Network for Mobile Devices", 《ARXIV:1707.01083V2》 *

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110310238A (zh) * 2019-06-18 2019-10-08 华南农业大学 一种基于重用原始信息的压缩奖惩神经网络的单幅图像去雨方法
CN110309876A (zh) * 2019-06-28 2019-10-08 腾讯科技(深圳)有限公司 目标检测方法、装置、计算机可读存储介质和计算机设备
CN110570355A (zh) * 2019-09-12 2019-12-13 杭州海睿博研科技有限公司 多尺度自动聚焦超分辨率处理系统和方法
CN110738213B (zh) * 2019-09-20 2022-07-01 成都芯云微电子有限公司 一种包括周边环境的图像识别方法及装置
CN110738213A (zh) * 2019-09-20 2020-01-31 成都芯云微电子有限公司 一种包括周边环境的图像识别方法及装置
CN110930320A (zh) * 2019-11-06 2020-03-27 南京邮电大学 一种基于轻量化卷积神经网络的图像去雾方法
CN110930320B (zh) * 2019-11-06 2022-08-16 南京邮电大学 一种基于轻量化卷积神经网络的图像去雾方法
CN111046828A (zh) * 2019-12-20 2020-04-21 西安交通大学 一种矿井下监控图像的去粉尘降噪神经网络方法
CN111178217A (zh) * 2019-12-23 2020-05-19 上海眼控科技股份有限公司 人脸图像的检测方法及设备
CN113449722A (zh) * 2020-03-27 2021-09-28 北京有限元科技有限公司 对图像中的文本信息进行定位以及识别的方法以及装置
CN112614072A (zh) * 2020-12-29 2021-04-06 北京航空航天大学合肥创新研究院 一种图像复原方法、装置、图像复原设备及存储介质
CN112651948B (zh) * 2020-12-30 2022-04-12 重庆科技学院 一种基于机器视觉的青蒿素萃取智能跟踪与识别方法
CN112651948A (zh) * 2020-12-30 2021-04-13 重庆科技学院 一种基于机器视觉的青蒿素萃取智能跟踪与识别方法
US11982725B2 (en) 2021-04-30 2024-05-14 Regents Of The University Of Minnesota Parallel transmission magnetic resonance imaging with a single transmission channel RF coil using deep learning

Similar Documents

Publication Publication Date Title
CN109685737A (zh) 一种图像去雾方法
CN108230264B (zh) 一种基于ResNet神经网络的单幅图像去雾方法
CN108269244B (zh) 一种基于深度学习和先验约束的图像去雾系统
CN111462013B (zh) 一种基于结构化残差学习的单图去雨方法
CN112734867B (zh) 一种基于空谱特征分离提取的多光谱图像压缩方法及系统
CN108805839A (zh) 基于卷积神经网络的联合估计图像去雾方法
CN109034268B (zh) 一种面向信息素诱捕器的红脂大小蠹检测器优化方法
CN101009835A (zh) 基于背景的运动估计编码方法
CN111667421B (zh) 一种图像去雾方法
CN111553856B (zh) 基于深度估计辅助的图像去雾方法
CN112435191A (zh) 一种基于多个神经网络结构融合的低照度图像增强方法
CN103517079B (zh) 基于数据驱动子空间集的压缩视频采集与重构系统
CN112288630A (zh) 一种基于改进的广泛深度神经网络的超分辨率图像重建方法及系统
CN112070691B (zh) 一种基于U-Net的图像去雾方法
CN115063326B (zh) 基于图像压缩的红外夜视图像高效通讯方法
CN111598786A (zh) 一种基于深度去噪自编码网络的高光谱图像解混方法
CN113436101B (zh) 基于高效通道注意力机制的龙格库塔模块去雨的方法
CN109685735B (zh) 基于雾层平滑先验的单张图片去雾方法
CN113822816A (zh) 气雾散射模型优化的单张遥感图像去霾方法
CN110189262A (zh) 基于神经网络以及直方图匹配的图像去雾算法
CN113936019A (zh) 一种基于卷积神经网络技术的大田作物产量估算方法
CN114663307B (zh) 基于不确定性网络的集成图像去噪系统
CN108596831B (zh) 一种基于AdaBoost实例回归的超分辨率重建方法
CN117173595A (zh) 基于改进YOLOv7的无人机航拍图像目标检测方法
CN114187210B (zh) 一种基于可见光-远红外图像的多模态去浓雾方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190426

RJ01 Rejection of invention patent application after publication