CN110189262A - 基于神经网络以及直方图匹配的图像去雾算法 - Google Patents

基于神经网络以及直方图匹配的图像去雾算法 Download PDF

Info

Publication number
CN110189262A
CN110189262A CN201910357531.9A CN201910357531A CN110189262A CN 110189262 A CN110189262 A CN 110189262A CN 201910357531 A CN201910357531 A CN 201910357531A CN 110189262 A CN110189262 A CN 110189262A
Authority
CN
China
Prior art keywords
histogram
layer
image
neural network
defogging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910357531.9A
Other languages
English (en)
Other versions
CN110189262B (zh
Inventor
范益波
池俊
李敏江
孟子皓
曾晓洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fudan University
Original Assignee
Fudan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fudan University filed Critical Fudan University
Priority to CN201910357531.9A priority Critical patent/CN110189262B/zh
Publication of CN110189262A publication Critical patent/CN110189262A/zh
Application granted granted Critical
Publication of CN110189262B publication Critical patent/CN110189262B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G06T5/73—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration by the use of histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于图像增强技术领域，具体为一种基于神经网络以及直方图匹配的图像去雾算法。本发明方法包括：先对输入有雾图像进行分割，然后对分割后的每一小块图像采用神经网络预测有雾图像到无雾图像的直方图变化，并以模型输出的预测直方图指导该小块有雾图像进行像素的重新排布；每小块图像去雾完成后，通过导向滤波器去除区块之间的不自然过渡。本发明在拥有良好的去雾结果的同时，计算速度也更快，并且计算量不随着图像大小增加而增加，非常适合高分辨率图像去雾。

Description

基于神经网络以及直方图匹配的图像去雾算法
技术领域
本发明属于图像增强技术领域，具体涉及基于神经网络进行直方图匹配的图像去雾算法。
背景技术
大雾是一种普遍的天气，尤其在中国以及其他正在进行工业化的国家中，由于空气污染的影响，很多城市更是经常受到雾霾天气的困扰。在雾霾天中，由于空气中的雾气、灰尘、小水滴等细小悬浮物对光线传播的散射，会极大地影响人视线。在这样的天气下拍摄的照片也往往会变得朦胧。
在过去的十余年里，去雾领域的研究者提出了很多的算法来实现单幅图像的去雾，可以大致分为以下几类。一类算法基于图像增强，基于图像增强的算法更关注图像的对比度和细节，去雾后的结果更加清晰，然而由于未考虑图像质量变差的根本原因，恢复后的图像相比原图会产生色彩的畸变。第二类算法为基于物理模型的算法，基于物理模型的算法从有雾图像的退化机制入手，恢复原始图像，由于考虑了有雾图像的形成机制，能更真实地还原出原始图像，然而这种类型的算法往往只能应用于特定场景。还有一类算法基于深度学习，其中又分端到端(模型输入有雾图像，输出清晰图像)的方法，以及利用模型估算传输率等物理量，再用传统方法去雾的算法。这两类算法都需要对输入图像进行二维的卷积，需要大量的运算，尤其是对高清图像时，计算的复杂度急剧上升。
发明内容
本发明的目的在于提出一种高效的，并且能适应多种场景的图像去雾算法。
由于传统的尝试通过物理模型的算法很难以一种线性变换来表示各种情况中雾气的影响，在本发明中加入了深度学习的方法，通过大量数据，来学习有雾图像以及无雾图像的直方图之间潜在的变换。
本发明提出的图像去雾算法，是基于神经网络以及直方图匹配技术的，具体步骤为：
(1)将图像分割成一系列的小块，使得每一小块内，雾的浓度相差不大；通常情况下可将图像分割成8x8个区块。若图像中不同区域雾浓度变化较大，可以分成更多块；
(2)统计每一小块内的像素值的分布，分R、G、B(红、绿、蓝)三通道统计灰度直方图。灰度直方图的横坐标以4像素为间隔，故总共有256/4＝64个间隔，又因为有三个通道，故统计得到的数据可以表示成64x1x3的矩阵。统计得到的矩阵需要除以矩阵中的最大值，保证所有输入数据的取值范围为0-1，便于模型学习；
(3)将之前得到的每一小块图像的直方图统计结果输入到经过训练的神经网络中，通过一系列一维的卷积，最终输出预测的去雾结果中对应块的直方图；
(4)将输出的直方图以及输入的直方图都除以它们所有数据的和，使它们中数据的累加和为1(归一化处理)，并通过积分转换为累计分布直方图，以进行直方图匹配。假设输入的直方图进行积分得到的累计分布直方图为ci(x)，输出的直方图积分得到的累计分布直方图为co(x)，它们的横坐标x为像素值，纵坐标为小于等于x的像素在所有像素中所占的比例。取ci＝co时他们的横坐标就是对应的像素重排列的查找表。例如ci(100)＝co(90)，则表示有雾图像中像素值为100的像素在去雾结果中的像素值应该为90；
(5)进行直方图匹配后，对应的，分别获得每一块的去雾结果，并拼成大图；
(6)由于分块预测，此时区块之间会有不自然的过渡，本发明通过导向滤波器来去除不自然的过渡。其中，原始有雾图像作为引导图。
实验表明，本发明方法去雾效果非常好，明显增强了图像的对比度，且十分自然；算法的速度也远远优于现有方法。
附图说明
图1为本发明算法框图。
图2为本发明中的神经网络的结构。
图3为本发明方法流程图。
图4为本发明与其他几种算法相比的效果对比。
具体实施方式
下面结合附图，对本发明做进一步描述。
图1展示了本发明中算法的整体框图，图2展示了本发明中的神经网络的结构。
图1中最左侧的图像为待去雾的有雾图象，上面的红框表示第一个待处理的窗口。第一步先获取该窗口的灰度直方图(这里为了方便将三通道的信息合并展示)。R、G、B三通道都分别进行直方图统计，每个通道的直方图横坐标分成64个区间(图1有雾图像直方图横坐标)，分别代表像素值的取值范围[0,3]，[4,7]……直方图的纵坐标代表落在对应像素值区间的像素点的数目，所以纵坐标取值范围不固定，需要在输入模型进行预测前将其取值范围归一化到[0,1]，具体做法为三个颜色通道直方图中的所有数据都除以其最大值。
之后将获取到的归一化直方图输入到我们训练好的网络，即HistogramsTransformation Network。网络给出了预测去雾结果的直方图。为了保证积分得到的累计分布函数收敛到1，需要将输入直方图和输出直方图中的所有数据除以它们的和。之后将输入和输出的直方图分别进行积分，得到两者的累计分布函数，并进行直方图匹配，就获得了清晰图像上用红框表示出来的去雾结果。假设输入的直方图进行积分得到的累计分布直方图为ci(x)，输出的直方图积分得到的累计分布直方图为co(x)，直方图匹配的具体步骤为：
(a)将64点的累计分布函数通过线性插值插到256点；
(b)依次取x＝0，1，……255，取ci(x)的值，并求使得ci(x)＝co(x′)时的x′的值；由于通常来无法正好找到整数x′，使得ci(x)＝co(x′)，故取值时取满足co(x′)<ci(x)<co(x′+1)的整数x′并进行插值得到x′；x′就是对应的去雾后，该区块内取值为x的像素值应映射到的新像素值；
(c)在步骤(b)中算出255个像素对应的查找表后，对该区块内所有像素依据查找表进行重排列，此时输入图像的直方图近似为模型输出结果。
完成所有图像窗口的直方图匹配工作后，需要用到导向滤波器去除区块效应。这里，选择原始的有雾图像作为引导图，分块直方图匹配结果为待滤波图像。
图2展示了直方图变换网络的结构。网络的输入以及中间的特征图都为一维的数据，并且中间的运算采取一维的卷积。由于在进行判决时，是将统计好的直方图送入网络，这一步相当于把数据压缩成了一维，这样在网络进行卷积时，只需沿着第二维(纬度为1)进行卷积，大大减少了运算的次数以及产生的中间特征所占用的内存。网络由三部分组成，特征提取层(Feature Extracting Layers)，映射层(Mapping Layers)以及压缩层(Shrinking Layers)。
特征提取层由三层网络组成。第一层由64个3x1x3的卷积核组成，第二层由64个3x1x64的卷积核组成，第三层由32个3x1x64的卷积核组成。所有的卷积核都做一维的卷积。每一层做卷积的时候都对输入特征进行“零填充”，保证所有输出特征在第一个维度上保持64的大小，以免因为网络太深造成边缘信息损失。
映射层由16层包含了32个3x1x32的卷积核的层构成。映射层采用了一个一维“残差网络”的结构，如图2最右侧所示。映射层中每一层的输出都为输入以及卷积结果的和。由于在较深的网络中，每一层的输入和输出变化比较小，但是卷积核比较难以学习非常小的变化，所以提供一个旁路让输入直接到输出，这样只需要令卷积核中的权重都接近0就可以实现比较小的变化，使网络更深。
最后的压缩层将映射层的输出压缩为64x1x3的大小，用于之后进行三个通道的直方图匹配。
模型训练使用的数据库为Google的RESIDE-β数据集。训练时将训练集分为四份，使用其中三份为训练集，第四份为测试集，第四份中最后留350张图作为验证集。
训练时，初始的学习率为3x10-4，每当模型连续两轮训练在测试集上的表现不再提升时，减半学习率。
图4展示了几张本发明与其他算法的去雾结果对比图，可以发现本发明的去雾结果增强了图像的对比度，且十分自然。
表1展示了本发明与其他几种算法的量化结果对比。可以发现，本发明的结果，在结构相似度以及色差上都表现最佳，且在运行时间上，本发明也远远快于ECCV2016与CVPR2018中提出的另外两种基于深度学习的算法。
表1本发明与其他几种算法的效果及耗时对比

Claims (5)

1.一种基于神经网络以及直方图匹配的图像去雾算法，其特征在于，具体步骤为：
（1）将图像分割成一系列的小块，使得每一小块内，雾的浓度相差不大；
（2）统计每一小块内的像素值的分布，分R、G、B三通道统计灰度直方图；设灰度直方图的横坐标以4像素为间隔，总共有256 / 4 = 64个间隔；有三个通道，统计得到的数据表示成64×1×3的矩阵；将统计得到的矩阵除以矩阵中的最大值，保证所有输入数据的取值范围为0-1，便于模型学习；
（3）将之前得到的每一小块图像的直方图统计结果输入到经过训练的神经网络中，通过一系列一维的卷积，最终输出预测的去雾结果中对应块的直方图；
（4）将输出的直方图以及输入的直方图都除以它们所有数据的和，使它们中数据的累加和为1，并通过积分转换为累计分布直方图，以进行直方图匹配；
（5）进行直方图匹配后，对应的，分别获得每一块的去雾结果，并拼成大图；
（6）由于分块预测，此时区块之间会有不自然的过渡，通过导向滤波器来去除不自然的过渡；其中，原始有雾图像作为引导图。
2.根据权利要求1所述的基于神经网络以及直方图匹配的图像去雾算法，其特征在于，步骤（1）中所述图像小块大小分8×8像素。
3.根据权利要求1所述的基于神经网络以及直方图匹配的图像去雾算法，其特征在于，步骤（3）中所述神经网络结构分为三部分：特征提取层，映射层以及压缩层；其中：
特征提取层由三层网络组成：第一层由64个3×1×3的卷积核组成，第二层由64个3×1×64的卷积核组成，第三层由32个3×1×64的卷积核组成；所有的卷积核都做一维的卷积；每一层做卷积的时候都对输入特征进行“零填充”，保证所有输出特征在第一个维度上保持64的大小；
映射层有16层，每层包含32个3×1×32的卷积核；映射层采用一个一维“残差网络”的结构，映射层中每一层的输出都为输入以及卷积结果的和；
压缩层将映射层的输出压缩为64×1×3的大小，用于之后进行三个通道的直方图匹配。
4.根据权利要求1所述的基于神经网络以及直方图匹配的图像去雾算法，其特征在于，步骤（3）中，模型训练使用的数据库为Google的RESIDE-β数据集；训练时将训练集分为四份，使用其中三份为训练集，第四份为测试集，第四份中最后留350张图作为验证集。
5.根据权利要求1-4之一所述的基于神经网络以及直方图匹配的图像去雾算法，其特征在于，步骤（4）中所述直方图匹配时，假设输入的直方图进行积分得到的累计分布直方图为ci(x)，输出的直方图积分得到的累计分布直方图为co(x)，匹配的具体步骤为：
（a）将64点的累计分布函数通过线性插值插到256点；
（b）依次取x=0，1，……255，取ci(x)的值，并求使得时的的值；由于通常来无法正好找到整数，使得，故取值时取满足的整数并进行插值得到；就是对应的去雾后，该区块内取值为x的像素值应映射到的新像素值；
（c）在步骤（b）中算出255个像素对应的查找表后，对该区块内所有像素依据查找表进行重排列，此时输入图像的直方图近似为模型输出结果。
CN201910357531.9A 2019-04-29 2019-04-29 基于神经网络以及直方图匹配的图像去雾方法 Active CN110189262B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910357531.9A CN110189262B (zh) 2019-04-29 2019-04-29 基于神经网络以及直方图匹配的图像去雾方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910357531.9A CN110189262B (zh) 2019-04-29 2019-04-29 基于神经网络以及直方图匹配的图像去雾方法

Publications (2)

Publication Number Publication Date
CN110189262A true CN110189262A (zh) 2019-08-30
CN110189262B CN110189262B (zh) 2023-03-24

Family

ID=67715413

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910357531.9A Active CN110189262B (zh) 2019-04-29 2019-04-29 基于神经网络以及直方图匹配的图像去雾方法

Country Status (1)

Country Link
CN (1) CN110189262B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112102214A (zh) * 2020-09-14 2020-12-18 济南浪潮高新科技投资发展有限公司 一种基于直方图与神经网络的图像去雾方法
CN115456915A (zh) * 2022-11-10 2022-12-09 深圳深知未来智能有限公司 基于3DLut的图像去雾处理方法、系统及可存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104504658A (zh) * 2014-12-15 2015-04-08 中国科学院深圳先进技术研究院 基于bp神经网络的单一图像去雾方法及装置
CN106910175A (zh) * 2017-02-28 2017-06-30 武汉大学 一种基于深度学习的单幅图像去雾算法
CN107749052A (zh) * 2017-10-24 2018-03-02 中国科学院长春光学精密机械与物理研究所 基于深度学习神经网络的图像去雾方法及系统
CN108564549A (zh) * 2018-04-20 2018-09-21 福建帝视信息科技有限公司 一种基于多尺度稠密连接网络的图像去雾方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104504658A (zh) * 2014-12-15 2015-04-08 中国科学院深圳先进技术研究院 基于bp神经网络的单一图像去雾方法及装置
CN106910175A (zh) * 2017-02-28 2017-06-30 武汉大学 一种基于深度学习的单幅图像去雾算法
CN107749052A (zh) * 2017-10-24 2018-03-02 中国科学院长春光学精密机械与物理研究所 基于深度学习神经网络的图像去雾方法及系统
CN108564549A (zh) * 2018-04-20 2018-09-21 福建帝视信息科技有限公司 一种基于多尺度稠密连接网络的图像去雾方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
刘佳嘉等: "基于大气散射模型的单幅雾天图像复原方法", 《中国测试》 *
姜冰等: "适用于多场景的 ResNet 单幅图像去雾算法", 《信息技术》 *
杨爱萍等: "人工光源条件下夜间雾天图像建模及去雾", 《电子与信息学报》 *
林笑君等: "基于Retinex的一种图像去雾算法", 《电视技术》 *
黄靖等: "一种深度学习的单幅图像去雾方法", 《小型微型计算机系统》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112102214A (zh) * 2020-09-14 2020-12-18 济南浪潮高新科技投资发展有限公司 一种基于直方图与神经网络的图像去雾方法
CN112102214B (zh) * 2020-09-14 2023-11-14 山东浪潮科学研究院有限公司 一种基于直方图与神经网络的图像去雾方法
CN115456915A (zh) * 2022-11-10 2022-12-09 深圳深知未来智能有限公司 基于3DLut的图像去雾处理方法、系统及可存储介质

Also Published As

Publication number Publication date
CN110189262B (zh) 2023-03-24

Similar Documents

Publication Publication Date Title
CN111784602B (zh) 一种生成对抗网络用于图像修复的方法
CN112288658A (zh) 一种基于多残差联合学习的水下图像增强方法
CN110555465B (zh) 一种基于cnn与多特征融合的天气图像识别方法
CN113052210B (zh) 一种基于卷积神经网络的快速低光照目标检测方法
Gao et al. Sand-dust image restoration based on reversing the blue channel prior
CN107358585B (zh) 基于分数阶微分及暗原色先验的雾天图像增强方法
CN110443763B (zh) 一种基于卷积神经网络的图像阴影去除方法
CN106600560A (zh) 一种适用于行车记录仪的图像去雾方法
Tang et al. Single image dehazing via lightweight multi-scale networks
CN107123088A (zh) 一种自动更换证件照背景颜色的方法
CN110866879B (zh) 一种基于多密度雨纹感知的图像去雨方法
CN109657612B (zh) 一种基于人脸图像特征的质量排序系统及其使用方法
CN110276354A (zh) 一种高分辨率街景图片语义分割训练与实时分割方法
CN111861925A (zh) 一种基于注意力机制与门控循环单元的图像去雨方法
CN110717921B (zh) 改进型编码解码结构的全卷积神经网络语义分割方法
CN107578386A (zh) 一种无人机拍摄图像的优化去雾处理方法
CN107292830A (zh) 低照度图像增强及评价方法
CN112508814B (zh) 一种基于无人机低空视角下的图像色调修复型去雾增强方法
CN109919832B (zh) 一种用于无人驾驶的交通图像拼接方法
CN116797488A (zh) 一种基于特征融合与注意力嵌入的低照度图像增强方法
CN110189262A (zh) 基于神经网络以及直方图匹配的图像去雾算法
CN112419163B (zh) 一种基于先验知识和深度学习的单张图像弱监督去雾方法
CN112164010A (zh) 一种多尺度融合卷积神经网络图像去雾方法
CN115546505A (zh) 一种基于深度学习的无监督单目图像深度估计方法
Liang et al. Learning to remove sandstorm for image enhancement

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant