CN111882496A - 一种基于递归神经网络的夜间图像去雾方法 - Google Patents

一种基于递归神经网络的夜间图像去雾方法 Download PDF

Info

Publication number
CN111882496A
CN111882496A CN202010642326.XA CN202010642326A CN111882496A CN 111882496 A CN111882496 A CN 111882496A CN 202010642326 A CN202010642326 A CN 202010642326A CN 111882496 A CN111882496 A CN 111882496A
Authority
CN
China
Prior art keywords
image
glow
convolution
neural network
recurrent neural
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010642326.XA
Other languages
English (en)
Inventor
于腾
万超颖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Jiacheng Technology Co ltd
Original Assignee
Suzhou Jiacheng Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Jiacheng Technology Co ltd filed Critical Suzhou Jiacheng Technology Co ltd
Priority to CN202010642326.XA priority Critical patent/CN111882496A/zh
Publication of CN111882496A publication Critical patent/CN111882496A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/514—Depth or shape recovery from specularities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/536—Depth or shape recovery from perspective effects, e.g. by using vanishing points
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于递归神经网络的夜间图像去雾方法，涉及图像去雾技术领域，包括以下步骤：搭建空洞卷积模型，并将夜间有雾图像I作为输入；获取从卷积层输出的辉光相关特征fG和经过小尺度的卷积滤波得到用来表示辉光位置的GM；将获取的GM与fG的级联特征经过卷积滤波得到辉光的强度估计S；将获取的特征级联起来卷积输出得到去辉光后的雾霾图像H；获取雾霾图像H的透射率和环境光照。本发明通过递归迭代将输入有雾图像的不同分量融合在同一损失函数中，提高辉光分量求解的准确度以及算法的鲁棒性；通过在特征提取的卷积层中采用空洞卷积的结构，减少局部信息丢失的同时增大感受也能包含更多的前后像素信息，使模型的预测更加准确。

Description

一种基于递归神经网络的夜间图像去雾方法
技术领域
本发明涉及图像去雾技术领域，具体来说，涉及一种基于递归神经网络的夜间图像去雾方法。
背景技术
近年来，日间图像去雾问题得到了广泛的关注，并涌现出许多优秀的算法，包括图像增强法，模型求解法等。然而将这些方法直接应用于夜间图像去雾问题时，效果往往不尽如人意。原因有二，一是相对于场景单一的强光源来说，夜间场景一般包含有多个光源，导致模型中的环境光照不再是常量；二是在雨雾天气，路灯、车灯等光源发出的光线经过折射与散射后使成像后的光源被放大，这种现象叫做辉光效应。
现有的基于大气散射模型的图像去雾技术在日间雾霾图像的复原和清晰化上已经取得了良好的效果，但当将这些方法直接应用到夜间有雾图像的时候，结果却不尽如人意，其主要原因是夜间场景成像机制比较复杂，往往包含多个光源，环境光照不能再当作常量看待，而且这些方法无法去除雾气对入射光的衰减，因此不适用于夜间图像去雾。
目前夜间图像去雾的效果还不够理想，主要表现在两个方面：1)颜色失真：去雾前后的全局颜色不一致；2)光晕效应：去雾后图像的光源区域存在光晕效应和过曝现象。
针对相关技术中的问题，目前尚未提出有效的解决方案。
发明内容
针对相关技术中的问题，本发明提出一种基于递归神经网络的夜间图像去雾方法，以克服现有相关技术所存在的上述技术问题。
本发明的技术方案是这样实现的：
一种基于递归神经网络的夜间图像去雾方法，包括以下步骤：
步骤S1，搭建空洞卷积模型，并将夜间有雾图像I作为输入；
步骤S2，获取从卷积层输出的辉光相关特征fG和经过小尺度的卷积滤波得到用来表示辉光位置的GM；
步骤S3，将获取的GM与fG的级联特征经过卷积滤波得到辉光的强度估计S；
步骤S4，将获取的特征级联起来卷积输出得到去辉光后的雾霾图像H；
步骤S5，获取雾霾图像H的透射率和环境光照；
步骤S6，将透射率和环境光照代入大气散射模型获得无雾图像。
进一步的，包括辉光分量分解，表示为：
I(x)＝H(x)+G(x)，
其中，H(x)＝Jc(x)t(x)+Ac(x)(1_t(x))表示为有雾图像的雾霾图像，
Figure BDA0002571620900000021
其中，G为辉光图像，S表示为k个代表辉光图像形状和光照的Sk的叠加，GM表示为光源区域和非光源区域的二值辉光掩膜。
进一步的，包括：
将获取的有雾图像I和雾霾图像H再反馈到空洞卷积模型的输入端进行下一次迭代，直到网络收敛。
进一步的，所述获取雾霾图像H的透射率和环境光照，表示为：
Figure BDA0002571620900000022
其中，ωk为滤波窗口；
获取如下：
Figure BDA0002571620900000023
其中，μk和
Figure BDA0002571620900000024
分别是窗口ωk内像素的均值和方差，|ω|为ωk中像素的数量；输出图像A的每一个像素点为包含该点的所有线性函数的均值，表示为：
Figure BDA0002571620900000025
本发明的有益效果：
本发明基于递归神经网络的夜间图像去雾方法，通过递归迭代将输入有雾图像的不同分量融合在同一损失函数中，使之能更好的表达、建模输入和输出的非线性映射关系以及图像各分量的内在联系，提高辉光分量求解的准确度以及算法的鲁棒性；通过在特征提取的卷积层中采用空洞卷积的结构，减少局部信息丢失的同时增大感受也能包含更多的前后像素信息，使模型的预测更加准确；以局部光滑和边缘保持为约束条件，以各向异性滤波器为方向，获取基于局部最大像素法的环境光照，提高环境光照估计的准确度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据本发明实施例的一种基于递归神经网络的夜间图像去雾方法的流程示意图；
图2是根据本发明实施例的一种基于递归神经网络的夜间图像去雾方法的空洞卷积模型示意图；
图3是根据本发明实施例的一种基于递归神经网络的夜间图像去雾方法的场景应用流程示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。
根据本发明的实施例，提供了一种基于递归神经网络的夜间图像去雾方法。
如图1-图3所示，根据本发明实施例的基于递归神经网络的夜间图像去雾方法，包括以下步骤：
步骤S1，搭建空洞卷积(Dilated Convolution)模型，并将夜间有雾图像I作为输入；
步骤S2，获取从卷积层输出的辉光相关特征fG和经过小尺度的卷积滤波得到用来表示辉光位置的GM；
步骤S3，将获取的GM与fG的级联特征经过卷积滤波得到辉光的强度估计S；
步骤S4，将获取的特征级联起来卷积输出得到去辉光后的雾霾图像H；
步骤S5，获取雾霾图像H的透射率和环境光照；
步骤S6，将透射率和环境光照代入大气散射模型获得无雾图像。
其中，进一步包括辉光分量分解，表示为：
I(x)＝H(x)+G(x)，
其中，H(x)＝Jc(x)t(x)+Ac(x)(1_t(x))表示为有雾图像的雾霾图像，
Figure BDA0002571620900000041
其中，G为辉光图像，S表示为k个代表辉光图像形状和光照的Sk的叠加，GM表示为光源区域和非光源区域的二值辉光掩膜。
其中，进一步包括：
将获取的有雾图像I和雾霾图像H再反馈到空洞卷积模型的输入端进行下一次迭代，直到网络收敛。
其中，所述获取雾霾图像H的透射率和环境光照，表示为：
Figure BDA0002571620900000042
其中，ωk为滤波窗口；
获取如下：
Figure BDA0002571620900000043
其中，μk和
Figure BDA0002571620900000044
分别是窗口ωk内像素的均值和方差，|ω|为ωk中像素的数量；输出图像A的每一个像素点为包含该点的所有线性函数的均值，表示为：
Figure BDA0002571620900000045
另外，具体的，以日间图像去雾模型作为出发点，其表达如下：
Ic(x)＝Jc(x)tc(x)+Ac(1_tc(x))，
其中I(x)为已知的有雾图像，J(x)为要求解的无雾图像，t(x)为像素的透射率，表示光从物体表面透过雾气到达相机的光强比例，其取值范围是0到1，A为环境光照，是一个场景相关的三维颜色常向量，c代表颜色通道。
Ic(x)＝Jc(x)t(x)+Ac(x)(1_t(x))+G(x)，
其中G表示图像中的辉光分量。夜间去雾的目标是根据输入有雾图像I求得无雾图像J。
另外，具体的，输入图像I去除辉光效应后得到的雾霾图像H中仍然有雾霾的干扰，需要对H中的透射率和环境光照进行求解。根据Retinex理论，J可以表达为：
Jc(x)＝Ac(x)Rc(x),c∈{r,g,b}，
结合公式：
H(x)＝Jc(x)t(x)+Ac(x)(1_t(x))，
则可以得到：
H(x)＝Ac(x)Rc(x)t(x)+Ac(x)(1_t(x))＝Ac(x)(Rc(x)t(x)+1_t(x))，
其中Ac(x)为我们需要求解的环境光照，Rc(x)为各颜色通道的反射率。
将Retinex算法中的入射光求解理论在雾霾条件下拓展延伸，将A看作图像中的低频分量，而(Rc(x)t(x)+1_t(x))部分作为高频分量，用图像低通滤波的方法分离出环境光照。
综上所述，借助于本发明的上述技术方案，基于递归神经网络的夜间图像去雾方法，通过递归迭代与多任务学习的方式将输入有雾图像的不同分量融合在同一损失函数中，使之能更好的表达、建模输入和输出的非线性映射关系以及图像各分量的内在联系，提高辉光分量求解的准确度以及算法的鲁棒性；通过在特征提取的卷积层中采用空洞卷积的结构，减少局部信息丢失的同时增大感受也能包含更多的前后像素信息，使模型的预测更加准确；以局部光滑和边缘保持为约束条件，以各向异性滤波器为方向，获取基于局部最大像素法的环境光照，提高环境光照估计的准确度。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种基于递归神经网络的夜间图像去雾方法，其特征在于，包括以下步骤：
搭建空洞卷积模型，并将夜间有雾图像I作为输入；
获取从卷积层输出的辉光相关特征fG和经过小尺度的卷积滤波得到用来表示辉光位置的GM；
将获取的GM与fG的级联特征经过卷积滤波得到辉光的强度估计S；
将获取的特征级联起来卷积输出得到去辉光后的雾霾图像H；
获取雾霾图像H的透射率和环境光照；
将透射率和环境光照代入大气散射模型获得无雾图像。
2.根据权利要求1所述的基于递归神经网络的夜间图像去雾方法，其特征在于，进一步包括辉光分量分解，表示为：
I(x)＝H(x)+G(x)，
其中，H(x)＝Jc(x)t(x)+Ac(x)(1_t(x))表示为有雾图像的雾霾图像，
Figure FDA0002571620890000011
其中，G为辉光图像，S表示为k个代表辉光图像形状和光照的Sk的叠加，GM表示为光源区域和非光源区域的二值辉光掩膜。
3.根据权利要求1所述的基于递归神经网络的夜间图像去雾方法，其特征在于，进一步包括：
将获取的有雾图像I和雾霾图像H再反馈到空洞卷积模型的输入端进行下一次迭代，直到网络收敛。
4.根据权利要求1所述的基于递归神经网络的夜间图像去雾方法，其特征在于，所述获取雾霾图像H的透射率和环境光照，表示为：
Figure FDA0002571620890000012
其中，ωk为滤波窗口；
获取如下：
Figure FDA0002571620890000013
bk＝μk-akμk；
其中，μk和
Figure FDA0002571620890000014
分别是窗口ωk内像素的均值和方差，|ω|为ωk中像素的数量；输出图像A的每一个像素点为包含该点的所有线性函数的均值，表示为：
Figure FDA0002571620890000021
CN202010642326.XA 2020-07-06 2020-07-06 一种基于递归神经网络的夜间图像去雾方法 Pending CN111882496A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010642326.XA CN111882496A (zh) 2020-07-06 2020-07-06 一种基于递归神经网络的夜间图像去雾方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010642326.XA CN111882496A (zh) 2020-07-06 2020-07-06 一种基于递归神经网络的夜间图像去雾方法

Publications (1)

Publication Number Publication Date
CN111882496A true CN111882496A (zh) 2020-11-03

Family

ID=73150259

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010642326.XA Pending CN111882496A (zh) 2020-07-06 2020-07-06 一种基于递归神经网络的夜间图像去雾方法

Country Status (1)

Country Link
CN (1) CN111882496A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113191964A (zh) * 2021-04-09 2021-07-30 上海海事大学 一种使用高低频分解的无监督夜间图像去雾方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140205192A1 (en) * 2011-08-30 2014-07-24 Fujitsu Limited Image defogging method and system
CN105631829A (zh) * 2016-01-15 2016-06-01 天津大学 基于暗通道先验与颜色校正的夜间雾霾图像去雾方法
US20170316551A1 (en) * 2016-04-29 2017-11-02 Industry Foundation Of Chonnam National University System for image dehazing by modifying lower bound of transmission rate and method therefor
CN108629750A (zh) * 2018-05-03 2018-10-09 明见（厦门）技术有限公司 一种夜间去雾方法、终端设备及存储介质
CN108734670A (zh) * 2017-04-20 2018-11-02 天津工业大学 单幅夜间弱照度雾霾图像的复原算法
CN109583343A (zh) * 2018-11-21 2019-04-05 荆门博谦信息科技有限公司 一种鱼类图像处理系统和方法
CN109658447A (zh) * 2018-11-06 2019-04-19 天津大学 基于边缘细节保持的夜间图像去雾方法
CN111091500A (zh) * 2018-10-24 2020-05-01 天津工业大学 点光源多散射模型图像复原方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140205192A1 (en) * 2011-08-30 2014-07-24 Fujitsu Limited Image defogging method and system
CN105631829A (zh) * 2016-01-15 2016-06-01 天津大学 基于暗通道先验与颜色校正的夜间雾霾图像去雾方法
US20170316551A1 (en) * 2016-04-29 2017-11-02 Industry Foundation Of Chonnam National University System for image dehazing by modifying lower bound of transmission rate and method therefor
CN108734670A (zh) * 2017-04-20 2018-11-02 天津工业大学 单幅夜间弱照度雾霾图像的复原算法
CN108629750A (zh) * 2018-05-03 2018-10-09 明见（厦门）技术有限公司 一种夜间去雾方法、终端设备及存储介质
CN111091500A (zh) * 2018-10-24 2020-05-01 天津工业大学 点光源多散射模型图像复原方法
CN109658447A (zh) * 2018-11-06 2019-04-19 天津大学 基于边缘细节保持的夜间图像去雾方法
CN109583343A (zh) * 2018-11-21 2019-04-05 荆门博谦信息科技有限公司 一种鱼类图像处理系统和方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
杨爱萍;赵美琪;王海新;鲁立宇;: "基于低通滤波和多特征联合优化的夜间图像去雾", 光学学报, no. 10 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113191964A (zh) * 2021-04-09 2021-07-30 上海海事大学 一种使用高低频分解的无监督夜间图像去雾方法
CN113191964B (zh) * 2021-04-09 2024-04-05 上海海事大学 一种使用高低频分解的无监督夜间图像去雾方法

Similar Documents

Publication Publication Date Title
CN106157267B (zh) 一种基于暗通道先验的图像去雾透射率优化方法
Sahu et al. A survey on underwater image enhancement techniques
CN107301623B (zh) 一种基于暗通道和图像分割的交通图像去雾方法及系统
Negru et al. Exponential contrast restoration in fog conditions for driving assistance
TWI514323B (zh) 基於混合暗通道先驗的影像除霧方法及其系統
KR102261532B1 (ko) 단일 스케일 영상 융합에 기반한 안개 제거 시스템 및 방법
CN110148095A (zh) 一种水下图像增强方法及增强装置
Highnam et al. Model-based image enhancement of far infrared images
Yadav et al. Fog removal techniques from images: A comparative review and future directions
TWI489416B (zh) 影像還原方法
CN108133462B (zh) 一种基于梯度场区域分割的单幅图像的复原方法
CN104766286A (zh) 基于无人驾驶汽车的图像去雾装置及去雾方法
US11941815B2 (en) Method and a system training a model to perform semantic segmentation on foggy images
CN110827218A (zh) 基于图像hsv透射率加权校正的机载图像去雾方法
CN105447825A (zh) 图像去雾方法及其系统
CN111598814B (zh) 基于极端散射通道的单图像去雾方法
CN111882496A (zh) 一种基于递归神经网络的夜间图像去雾方法
WO2020020445A1 (en) A method and a system for processing images to obtain foggy images
KR101998027B1 (ko) 악천후에서의 도로 객체 검출 기법 학습을 위한 안개 및 비 영상 합성 기법 및 시스템
CN113256516A (zh) 一种图像增强方法
Tao et al. Improved Retinex for low illumination image enhancement of nighttime traffic
CN109191405B (zh) 一种基于透射率全局估计的航空影像去雾算法
CN110246102B (zh) 一种雨天视频清晰处理方法
CN109241865B (zh) 一种弱对比度交通场景下的车辆检测分割算法
CN111091500B (zh) 点光源多散射模型图像复原方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20201103