CN110992285B - 一种基于分层神经网络的图像去雾方法 - Google Patents

一种基于分层神经网络的图像去雾方法 Download PDF

Info

Publication number
CN110992285B
CN110992285B CN201911209016.2A CN201911209016A CN110992285B CN 110992285 B CN110992285 B CN 110992285B CN 201911209016 A CN201911209016 A CN 201911209016A CN 110992285 B CN110992285 B CN 110992285B
Authority
CN
China
Prior art keywords
content
image
detail
processing
defogging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911209016.2A
Other languages
English (en)
Other versions
CN110992285A (zh
Inventor
张笑钦
蒋润华
王涛
赵丽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wenzhou University
Original Assignee
Wenzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wenzhou University filed Critical Wenzhou University
Priority to CN201911209016.2A priority Critical patent/CN110992285B/zh
Publication of CN110992285A publication Critical patent/CN110992285A/zh
Application granted granted Critical
Publication of CN110992285B publication Critical patent/CN110992285B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种基于分层神经网络的图像去雾方法，包括获取有雾图片，并将有雾图片分割为内容特征和细节特征两种成分；对内容特征和细节特征两种成分进行去雾处理；对内容特征和细节特征两种成分处理时产生的中间结果进行交互；根据交互结果，恢复出与有雾图片相对的无雾图像。实施本发明，能够解决现有技术所存在的问题，将有雾图分割为内容和细节两部分进行去雾处理，得到更高的定量指标及更好的视觉效果。

Description

一种基于分层神经网络的图像去雾方法
技术领域
本发明涉及图像处理技术领域，尤其涉及一种基于分层神经网络的图像去雾方法。
背景技术
雾作为一种常见的自然现象，不仅影响人们对于真实场景的实时判断，还会影响其他计算机视觉技术诸如无人驾驶，遥感图像等的实际应用。在有雾的场景下，由于大气中杂质微粒较多，捕获到的图像往往色彩偏暗，纹理细节难以辨认，而许多现有的去雾方法往往无法很好的同时恢复色彩信息和图像细节。
图像去雾研究是一个经典的研究课题，在1924年，一个经典的雾图合成模型被提出来，正如下式：
I＝Jt+A(1-t)
t(x)＝eβd(x)
其中，I为观察到的雾图，J为待恢复的清晰图像，t和A分别是空气透射率和全球大气光，d是成像的深度。在上述模型中，仅I为已知变量，而J、t和A均需要从已知变量中检测出来，因此现有的模型大多数依赖于不同的先验或者假设来尽可能地检测上述三个未知变量。例如：在09年，何凯明等人提出了基于暗通道先验(DCP，Dark Channel Prior)的去雾方法，该先验通过统计结果得出，在绝大多数非天空的局部区域里，某一些像素总会有至少一个颜色通道具有很低的值。此后，不断有新的先验被提出，如颜色衰减先验(CAP,ColorAttenuation Prior，在有雾图片中，雾浓度和图片亮度与饱和度之差呈正相关)，色差差异先验，color-line(颜色线),haze-line(雾线)先验等。考虑到不同先验实际上是针对图像某一特性的观察估计，有学者将多个先验组合起来，并进一步用随机森林来确定它们之间的关系。尽管上述方法取得了一定的效果，但它们均依赖于不同的图像先验来获取三个未知参数，并需要大量复杂且耗费资源的运算统计相关参数。
随着深度学习浪潮兴起，去雾问题的研究者们也纷纷将深度学习引入这一领域。最早采用深度学习方法进行去雾的方法依赖于一个多尺度的卷积神经网络。这一网络层首先通过Coarse-scale的模块获得初步的空气透射率t,之后再输入fine-scale模块进一步得到更精细的空气透射率。最后用得到的t通过雾图的成像模型获得去雾后的图片。此后，DehazeNet的提出将传统的物理模型融入到卷积网络中，并获得了更好的实验效果。与它们不同，AOD-Net第一次提出将空气透射率t和大气光A结合为一个参数，最后，利用雾图成像模型的变体直接获得去雾结果。该方法不再同时估计两个参数，这样避免了多参数估计叠加造成最后的误差偏大的情况。在此之后，有学者发现图像去雾问题可以归纳为一种特殊的图像迁移问题，即从雾图迁移至无雾图。在此基础上，部分学者提出了一种基于生成对抗网络的去雾网络，这一网络直接学习从有雾图到无雾图的映射函数，并使用一个判别器校正无雾图的生成。
尽管上述的深度学习方法相较于基于自然先验的方法取得了更好的效果，但它们大多受限于较差的可解释性。此外，深度学习方法往往会导致光圈效应，影响人们的视觉效果。
发明内容
本发明实施例所要解决的技术问题在于，提供一种基于分层神经网络的图像去雾方法，能够解决现有技术所存在的问题，将有雾图分割为内容和细节两部分进行去雾处理，得到更高的定量指标及更好的视觉效果。
为了解决上述技术问题，本发明实施例提供了一种基于分层神经网络的图像去雾方法，包括以下步骤：
步骤S1、获取有雾图片，并将所述有雾图片分割为内容特征和细节特征两种成分；
步骤S2、对内容特征和细节特征两种成分进行去雾处理；
步骤S3、对内容特征和细节特征两种成分处理时产生的中间结果进行交互；
步骤S4、根据交互结果，恢复出与所述有雾图片相对的无雾图像。
其中，所述步骤S1具体包括：
获取有雾图片，使用一个卷积核大小为3×3的卷积层从所述有雾图片中初步抽取出初始图像内容特征，并使用卷积核大小为3×3，步长为2的卷积层将特征的大小减半，同时特征层的通道数被增加至32；
用6个叠加的残差网络从所抽取的初始内容特征中进一步抽取关于图像细节的特征，得到内容特征和细节特征；
待得到内容特征和细节特征之后，使用一个轻量级的VGG网络对两者的深度信息进行检测，得出关于图像内容和细节的模型参数；其中，所述轻量级VGG网络包含十五个卷积层、三个最大化池化层、三个最大化上采样层以及一个TanH层，且所述轻量级VGG网络中的最初两个卷积层产生的特征层通过两个跳跃链接输入至最后两个卷积层。
其中，所述步骤S2具体包括：
将得到的内容特征和细节特征分别送入两个网络分支进行去雾处理；其中，所述两个网络分支包括负责处理内容特征的分支及负责处理细节特征的分支，且所述两个网路分支均通过4个由卷积层构成的长短期依赖循环网络构成；所述负责处理内容特征的分支从VGG中得到关于图像内容的模型参数，并将图像内容的模型参数作为对内容的整体估计结果来进行去雾处理；所述负责处理细节特征的分支得到关于图像细节的模型参数，并将图像细节的模型参数作为对细节的整体估计结果来进行去雾处理。
其中，所述图像细节的模型参数与所述图像内容的模型参数相关联，且二者的关联可通过下式来表示：
Figure BDA0002297622690000031
其中，PDetail表示为图像细节的参数，PContent表示为图像内容的参数。
其中，所述步骤S3具体包括：
将所述负责处理细节特征的分支的去雾处理中产生3个关于图像细节的中间结果加到所述负责处理内容特征的分支的去雾处理中产生3个关于图像内容的中间结果中，同时将所述负责处理内容特征的分支的去雾处理中产生3个关于图像内容的中间结果中所包含的细节信息加到所述负责处理细节特征的分支的去雾处理中产生3个关于图像细节的中间结果中，且进一步使用6个叠加的残差网络进行检测，得到交互处理的内容特征和细节特征。
其中，所述步骤S4具体包括：
在得到交互处理的内容特征和细节特征之后，将两者点对点进行相加，并将相加后的特征层送入若干卷积层和平均上采样层构成的复原模块，通过卷积层自适应的恢复出无雾图像，且进一步通过平均上采样层将图像恢复为原始尺寸。
实施本发明实施例，具有如下有益效果：
1、与现有技术相比，本发明提出了一个将雾图分解为图像内容和图像细节的网络模型，在两个不同成分上进行去雾操作，并通过中间结果交互的方式提升整体性能，最后由卷积层自适应的将神经网络特征恢复为无雾图像；
2、本发明充分考虑了单一图像中不同成分的具体特性，将图像中的内容和细节信息分开处理，并将两个处理过程进行交互来提升整体性能；
3、本发明充分考虑神经网络中特征与图像的差异，去雾处理主要在神经网络特征空间中进行处理，在处理结束之后，通过若干卷积层自适应的将神经网络特征恢复为无雾图像。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，根据这些附图获得其他的附图仍属于本发明的范畴。
图1为本发明实施例提出的一种基于分层神经网络的图像去雾方法的流程图；
图2为本发明实施例提出的一种基于分层神经网络的图像去雾方法中有雾图片分割后并实现去雾处理的应用场景图；
图3为图2中有雾图片分割后通过负责处理细节特征的分支和负责处理内容特征的分支进行交互的应用场景图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述。
如图1所示，为本发明实施例中，提出的一种基于分层神经网络的图像去雾方法，包括以下步骤：
步骤S1、获取有雾图片，并将所述有雾图片分割为内容特征和细节特征两种成分；
具体过程为，获取有雾图片，使用一个卷积核大小为3×3的卷积层从所述有雾图片中初步抽取出初始图像内容特征，并使用卷积核大小为3×3，步长为2的卷积层将特征的大小减半，同时特征层的通道数被增加至32；
用6个叠加的残差网络从所抽取的初始内容特征中进一步抽取关于图像细节的特征，得到内容特征和细节特征；
待得到内容特征和细节特征之后，使用一个轻量级的VGG网络对两者的深度信息进行检测，得出关于图像内容和细节的模型参数；其中，所述轻量级VGG网络包含十五个卷积层、三个最大化池化层、三个最大化上采样层以及一个TanH层，且所述轻量级VGG网络中的最初两个卷积层产生的特征层通过两个跳跃链接输入至最后两个卷积层。
步骤S2、对内容特征和细节特征两种成分进行去雾处理；
具体过程为，将得到的内容特征和细节特征分别送入两个网络分支进行去雾处理；其中，上述两个网络分支包括负责处理内容特征的分支及负责处理细节特征的分支，且两个网路分支均通过4个由卷积层构成的长短期依赖循环网络构成；负责处理内容特征的分支从VGG中得到关于图像内容的模型参数，并将图像内容的模型参数作为对内容的整体估计结果来进行去雾处理；负责处理细节特征的分支得到关于图像细节的模型参数，并将图像细节的模型参数作为对细节的整体估计结果来进行去雾处理。
图像细节的模型参数与图像内容的模型参数相关联，且二者的关联可通过下式来表示：
Figure BDA0002297622690000061
其中，PDetail表示为图像细节的参数，PContent表示为图像内容的参数。
步骤S3、对内容特征和细节特征两种成分处理时产生的中间结果进行交互；
具体过程为，由于在上述网络两个分支中均包含4个由卷积层构成的长短期依赖循环网络，使得去雾过程中均会对应产生3个关于内容和细节的中间结果。
因此，可以将负责处理细节特征的分支的去雾处理中产生3个关于图像细节的中间结果加到负责处理内容特征的分支的去雾处理中产生3个关于图像内容的中间结果中，同时将负责处理内容特征的分支的去雾处理中产生3个关于图像内容的中间结果中所包含的细节信息加到负责处理细节特征的分支的去雾处理中产生3个关于图像细节的中间结果中，且进一步使用6个叠加的残差网络进行检测，得到交互处理的内容特征和细节特征。
可以理解的是，交互的作用在于不仅可以使图像内容更为真实，还可以保证图像细节在去雾处理不会出现丢失，以及加速图像细节的恢复。
步骤S4、根据交互结果，恢复出与所述有雾图片相对的无雾图像。
具体过程为，在得到交互处理的内容特征和细节特征之后，将两者点对点进行相加，并将相加后的特征层送入若干卷积层和平均上采样层构成的复原模块，通过卷积层自适应的恢复出无雾图像，且进一步通过平均上采样层将图像恢复为原始尺寸。
如图2和图3所示，为本发明实施例中，提出的一种基于分层神经网络的图像去雾方法的应用场景图。在图2中，为有雾图片分割后并实现去雾处理的应用场景图；在图3中，为负责处理细节特征的分支和负责处理内容特征的分支交互的应用场景图。
实施本发明实施例，具有如下有益效果：
1、与现有技术相比，本发明提出了一个将雾图分解为图像内容和图像细节的网络模型，在两个不同成分上进行去雾操作，并通过中间结果交互的方式提升整体性能，最后由卷积层自适应的将神经网络特征恢复为无雾图像；
2、本发明充分考虑了单一图像中不同成分的具体特性，将图像中的内容和细节信息分开处理，并将两个处理过程进行交互来提升整体性能；
3、本发明充分考虑神经网络中特征与图像的差异，去雾处理主要在神经网络特征空间中进行处理，在处理结束之后，通过若干卷积层自适应的将神经网络特征恢复为无雾图像。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，所述的程序可以存储于一计算机可读取存储介质中，所述的存储介质，如ROM/RAM、磁盘、光盘等。
以上所揭露的仅为本发明一种较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。

Claims (1)

1.一种基于分层神经网络的图像去雾方法，其特征在于，所述方法包括以下步骤：
步骤S1、获取有雾图片，并将所述有雾图片分割为内容特征和细节特征两种成分；
步骤S2、对内容特征和细节特征两种成分进行去雾处理；
步骤S3、对内容特征和细节特征两种成分处理时产生的中间结果进行交互；
步骤S4、根据交互结果，恢复出与所述有雾图片相对的无雾图像；
所述步骤S1具体包括：
获取有雾图片，使用一个卷积核大小为3×3的卷积层从所述有雾图片中初步抽取出初始图像内容特征，并使用卷积核大小为3×3，步长为2的卷积层将特征的大小减半，同时特征层的通道数被增加至32；
用6个叠加的残差网络从所抽取的初始内容特征中进一步抽取关于图像细节的特征，得到内容特征和细节特征；
待得到内容特征和细节特征之后，使用一个轻量级的VGG网络对两者的深度信息进行检测，得出关于图像内容和细节的模型参数；其中，所述轻量级的VGG网络包含十五个卷积层、三个最大化池化层、三个最大化上采样层以及一个TanH层，且所述轻量级VGG网络中的最初两个卷积层产生的特征层通过两个跳跃链接输入至最后两个卷积层；
所述步骤S2具体包括：
将得到的内容特征和细节特征分别送入两个网络分支进行去雾处理；其中，所述两个网络分支包括负责处理内容特征的分支及负责处理细节特征的分支，且所述两个网络分支均通过4个由卷积层构成的长短期依赖循环网络构成；所述负责处理内容特征的分支从VGG中得到关于图像内容的模型参数，并将图像内容的模型参数作为对内容的整体估计结果来进行去雾处理；所述负责处理细节特征的分支得到关于图像细节的模型参数，并将图像细节的模型参数作为对细节的整体估计结果来进行去雾处理；
所述图像细节的模型参数与所述图像内容的模型参数相关联，且二者的关联可通过下式来表示：
Figure DEST_PATH_IMAGE001
其中，
Figure 286648DEST_PATH_IMAGE002
表示为图像细节的参数，
Figure DEST_PATH_IMAGE003
表示为图像内容的参数；
所述步骤S3具体包括：
将所述负责处理细节特征的分支的去雾处理中产生3个关于图像细节的中间结果加到所述负责处理内容特征的分支的去雾处理中产生3个关于图像内容的中间结果中，同时将所述负责处理内容特征的分支的去雾处理中产生3个关于图像内容的中间结果中所包含的细节信息加到所述负责处理细节特征的分支的去雾处理中产生3个关于图像细节的中间结果中，且进一步使用6个叠加的残差网络进行检测，得到交互处理的内容特征和细节特征；
所述步骤S4具体包括：
在得到交互处理的内容特征和细节特征之后，将两者点对点进行相加，并将相加后的特征层送入若干卷积层和平均上采样层构成的复原模块，通过卷积层自适应的恢复出无雾图像，且进一步通过平均上采样层将图像恢复为原始尺寸。
CN201911209016.2A 2019-11-30 2019-11-30 一种基于分层神经网络的图像去雾方法 Active CN110992285B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911209016.2A CN110992285B (zh) 2019-11-30 2019-11-30 一种基于分层神经网络的图像去雾方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911209016.2A CN110992285B (zh) 2019-11-30 2019-11-30 一种基于分层神经网络的图像去雾方法

Publications (2)

Publication Number Publication Date
CN110992285A CN110992285A (zh) 2020-04-10
CN110992285B true CN110992285B (zh) 2022-05-20

Family

ID=70088866

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911209016.2A Active CN110992285B (zh) 2019-11-30 2019-11-30 一种基于分层神经网络的图像去雾方法

Country Status (1)

Country Link
CN (1) CN110992285B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109003240A (zh) * 2018-07-16 2018-12-14 安徽理工大学 一种基于多尺度并行cnn的图像去噪方法
CN109685735A (zh) * 2018-12-21 2019-04-26 温州大学 基于雾层平滑先验的单张图片去雾方法
CN110148145A (zh) * 2019-03-25 2019-08-20 东南大学 一种融合边界信息的图像目标区提取方法及应用
CN110458801A (zh) * 2019-06-24 2019-11-15 深圳市未来媒体技术研究院 一种3d双路径神经网络及基于该网络的肺部结节检测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109003240A (zh) * 2018-07-16 2018-12-14 安徽理工大学 一种基于多尺度并行cnn的图像去噪方法
CN109685735A (zh) * 2018-12-21 2019-04-26 温州大学 基于雾层平滑先验的单张图片去雾方法
CN110148145A (zh) * 2019-03-25 2019-08-20 东南大学 一种融合边界信息的图像目标区提取方法及应用
CN110458801A (zh) * 2019-06-24 2019-11-15 深圳市未来媒体技术研究院 一种3d双路径神经网络及基于该网络的肺部结节检测方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Dynamic Scene Deblurring Using Spatially Variant Recurrent Neural Networks;Jiawei Zhang et al.;《2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition》;20181231;第2521-2529页 *
Improve Object Detection via a Multi-feature and Multi-task CNN Model;Yingxin Lou et al.;《2017 IEEE Visual Communications and Image Processing》;20171231;第1-4页 *
Jiawei Zhang et al..Dynamic Scene Deblurring Using Spatially Variant Recurrent Neural Networks.《2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition》.2018, *

Also Published As

Publication number Publication date
CN110992285A (zh) 2020-04-10

Similar Documents

Publication Publication Date Title
Yeh et al. Multi-scale deep residual learning-based single image haze removal via image decomposition
Zhang et al. Joint transmission map estimation and dehazing using deep networks
Li et al. Single image dehazing via conditional generative adversarial network
CN111209952B (zh) 基于改进ssd和迁移学习的水下目标检测方法
Dumoulin et al. Feature-wise transformations
CN111915530B (zh) 一种基于端到端的雾霾浓度自适应神经网络图像去雾方法
Yang et al. Single image haze removal via region detection network
US20220044366A1 (en) Generating an image mask for a digital image by utilizing a multi-branch masking pipeline with neural networks
CN112818862A (zh) 基于多源线索与混合注意力的人脸篡改检测方法与系统
US11393100B2 (en) Automatically generating a trimap segmentation for a digital image by utilizing a trimap generation neural network
Li et al. Deep dehazing network with latent ensembling architecture and adversarial learning
CN109657551B (zh) 一种基于上下文信息增强的人脸检测方法
CN110148088B (zh) 图像处理方法、图像去雨方法、装置、终端及介质
CN110136075B (zh) 一种基于边缘锐化循环生成对抗网络的遥感影像去雾方法
CN111681198A (zh) 一种形态学属性滤波多模融合成像方法、系统及介质
Zheng et al. T-net: Deep stacked scale-iteration network for image dehazing
Guo et al. Joint raindrop and haze removal from a single image
CN114627269A (zh) 一种基于深度学习目标检测的虚拟现实安防监控平台
CN114155165A (zh) 一种基于半监督的图像去雾方法
Mun et al. Texture preserving photo style transfer network
CN114626042A (zh) 一种人脸验证攻击方法和装置
CN113139431A (zh) 基于深监督学习的图像显著性目标检测方法
CN110992285B (zh) 一种基于分层神经网络的图像去雾方法
CN116342377A (zh) 一种降质场景下伪装目标图像自适应生成方法与系统
Li et al. SMWE-GFPNNet: A High-precision and Robust Method for Forest Fire Smoke Detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant