CN110189262B - 基于神经网络以及直方图匹配的图像去雾方法 - Google Patents
基于神经网络以及直方图匹配的图像去雾方法 Download PDFInfo
- Publication number
- CN110189262B CN110189262B CN201910357531.9A CN201910357531A CN110189262B CN 110189262 B CN110189262 B CN 110189262B CN 201910357531 A CN201910357531 A CN 201910357531A CN 110189262 B CN110189262 B CN 110189262B
- Authority
- CN
- China
- Prior art keywords
- histogram
- image
- layer
- defogging
- neural network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 20
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 12
- 230000007704 transition Effects 0.000 claims abstract description 5
- 230000001186 cumulative effect Effects 0.000 claims description 14
- 238000013507 mapping Methods 0.000 claims description 11
- 238000012549 training Methods 0.000 claims description 10
- 239000011159 matrix material Substances 0.000 claims description 6
- 230000006835 compression Effects 0.000 claims description 4
- 238000007906 compression Methods 0.000 claims description 4
- 238000005315 distribution function Methods 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 4
- 238000012360 testing method Methods 0.000 claims description 3
- 230000010354 integration Effects 0.000 claims description 2
- 238000012795 verification Methods 0.000 claims description 2
- 238000003062 neural network model Methods 0.000 claims 1
- 238000004364 calculation method Methods 0.000 abstract description 4
- 230000008859 change Effects 0.000 abstract description 2
- 230000008707 rearrangement Effects 0.000 abstract description 2
- 230000009466 transformation Effects 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明属于图像增强技术领域，具体为一种基于神经网络以及直方图匹配的图像去雾方法。本发明方法包括：先对输入有雾图像进行分割，然后对分割后的每一小块图像采用神经网络预测有雾图像到无雾图像的直方图变化，并以模型输出的预测直方图指导该小块有雾图像进行像素的重新排布；每小块图像去雾完成后，通过导向滤波器去除区块之间的不自然过渡。本发明在拥有良好的去雾结果的同时，计算速度也更快，并且计算量不随着图像大小增加而增加，非常适合高分辨率图像去雾。
Description
技术领域
本发明属于图像增强技术领域，具体涉及基于神经网络进行直方图匹配的图像去雾方法。
背景技术
大雾是一种普遍的天气，在雾霾天中，由于空气中的雾气、灰尘、小水滴等细小悬浮物对光线传播的散射，会极大地影响人视线。在这样的天气下拍摄的照片也往往会变得朦胧。
在过去的十余年里，去雾领域的研究者提出了很多的算法来实现单幅图像的去雾，可以大致分为以下几类。一类算法基于图像增强，基于图像增强的算法更关注图像的对比度和细节，去雾后的结果更加清晰，然而由于未考虑图像质量变差的根本原因，恢复后的图像相比原图会产生色彩的畸变。第二类算法为基于物理模型的算法，基于物理模型的算法从有雾图像的退化机制入手，恢复原始图像，由于考虑了有雾图像的形成机制，能更真实地还原出原始图像，然而这种类型的算法往往只能应用于特定场景。还有一类算法基于深度学习，其中又分端到端(模型输入有雾图像，输出清晰图像)的方法，以及利用模型估算传输率等物理量，再用传统方法去雾的算法。这两类算法都需要对输入图像进行二维的卷积，需要大量的运算，尤其是对高清图像时，计算的复杂度急剧上升。
发明内容
本发明的目的在于提出一种高效的，并且能适应多种场景的图像去雾方法。
由于传统的尝试通过物理模型的算法很难以一种线性变换来表示各种情况中雾气的影响，在本发明中加入了深度学习的方法，通过大量数据，来学习有雾图像以及无雾图像的直方图之间潜在的变换。
本发明提出的图像去雾方法，是基于神经网络以及直方图匹配技术的，具体步骤为：
(1)将图像分割成一系列的小块，使得每一小块内，雾的浓度相差不大；通常情况下可将图像分割成8x8个区块。若图像中不同区域雾浓度变化较大，可以分成更多块；
(2)统计每一小块内的像素值的分布，分R、G、B(红、绿、蓝)三通道统计灰度直方图。灰度直方图的横坐标以4像素为间隔，故总共有256/4＝64个间隔，又因为有三个通道，故统计得到的数据可以表示成64x1x3的矩阵。统计得到的矩阵需要除以矩阵中的最大值，保证所有输入数据的取值范围为0-1，便于模型学习；
(3)将之前得到的每一小块图像的直方图统计结果输入到经过训练的神经网络中，通过一系列一维的卷积，最终输出预测的去雾结果中对应块的直方图；
(4)将输出的直方图以及输入的直方图都除以它们所有数据的和，使它们中数据的累加和为1(归一化处理)，并通过积分转换为累计分布直方图，以进行直方图匹配。假设输入的直方图进行积分得到的累计分布直方图为ci(x)，输出的直方图积分得到的累计分布直方图为co(x)，它们的横坐标x为像素值，纵坐标为小于等于x的像素在所有像素中所占的比例。取ci＝co时他们的横坐标就是对应的像素重排列的查找表。例如ci(100)＝co(90)，则表示有雾图像中像素值为100的像素在去雾结果中的像素值应该为90；
(5)进行直方图匹配后，对应的，分别获得每一块的去雾结果，并拼成大图；
(6)由于分块预测，此时区块之间会有不自然的过渡，本发明通过导向滤波器来去除不自然的过渡。其中，原始有雾图像作为引导图。
实验表明，本发明方法去雾效果非常好，明显增强了图像的对比度，且十分自然；算法的速度也远远优于现有方法。
附图说明
图1为本发明算法框图。
图2为本发明中的神经网络的结构。
图3为本发明方法流程图。
图4为本发明与其他几种算法相比的效果对比。
具体实施方式
下面结合附图，对本发明做进一步描述。
图1展示了本发明中算法的整体框图，图2展示了本发明中的神经网络的结构。
图1中最左侧的图像为待去雾的有雾图象，上面的灰框表示第一个待处理的窗口。第一步先获取该窗口的灰度直方图(这里为了方便将三通道的信息合并展示)。R、G、B三通道都分别进行直方图统计，每个通道的直方图横坐标分成64个区间(图1有雾图像直方图横坐标)，分别代表像素值的取值范围[0,3]，[4,7]……直方图的纵坐标代表落在对应像素值区间的像素点的数目，所以纵坐标取值范围不固定，需要在输入模型进行预测前将其取值范围归一化到[0,1]，具体做法为三个颜色通道直方图中的所有数据都除以其最大值。
之后将获取到的归一化直方图输入到我们训练好的网络，即HistogramsTransformation Network。网络给出了预测去雾结果的直方图。为了保证积分得到的累计分布函数收敛到1，需要将输入直方图和输出直方图中的所有数据除以它们的和。之后将输入和输出的直方图分别进行积分，得到两者的累计分布函数，并进行直方图匹配，就获得了清晰图像上用灰框表示出来的去雾结果。假设输入的直方图进行积分得到的累计分布直方图为ci(x)，输出的直方图积分得到的累计分布直方图为co(x)，直方图匹配的具体步骤为：
(a)将64点的累计分布函数通过线性插值插到256点；
(b)依次取x＝0，1，……255，取ci(x)的值，并求使得ci(x)＝co(x′)时的x′的值；由于通常来无法正好找到整数x′，使得ci(x)＝co(x′)，故取值时取满足co(x′)<ci(x)<co(x′+1)的整数x′并进行插值得到x′；x′就是对应的去雾后，该区块内取值为x的像素值应映射到的新像素值；
(c)在步骤(b)中算出255个像素对应的查找表后，对该区块内所有像素依据查找表进行重排列，此时输入图像的直方图近似为模型输出结果。
完成所有图像窗口的直方图匹配工作后，需要用到导向滤波器去除区块效应。这里，选择原始的有雾图像作为引导图，分块直方图匹配结果为待滤波图像。
图2展示了直方图变换网络的结构。网络的输入以及中间的特征图都为一维的数据，并且中间的运算采取一维的卷积。由于在进行判决时，是将统计好的直方图送入网络，这一步相当于把数据压缩成了一维，这样在网络进行卷积时，只需沿着第二维(纬度为1)进行卷积，大大减少了运算的次数以及产生的中间特征所占用的内存。网络由三部分组成，特征提取层(Feature Extracting Layers)，映射层(Mapping Layers)以及压缩层(Shrinking Layers)。
特征提取层由三层网络组成。第一层由64个3x1x3的卷积核组成，第二层由64个3x1x64的卷积核组成，第三层由32个3x1x64的卷积核组成。所有的卷积核都做一维的卷积。每一层做卷积的时候都对输入特征进行“零填充”，保证所有输出特征在第一个维度上保持64的大小，以免因为网络太深造成边缘信息损失。
映射层由16层包含了32个3x1x32的卷积核的层构成。映射层采用了一个一维“残差网络”的结构，如图2最右侧所示。映射层中每一层的输出都为输入以及卷积结果的和。由于在较深的网络中，每一层的输入和输出变化比较小，但是卷积核比较难以学习非常小的变化，所以提供一个旁路让输入直接到输出，这样只需要令卷积核中的权重都接近0就可以实现比较小的变化，使网络更深。
最后的压缩层将映射层的输出压缩为64x1x3的大小，用于之后进行三个通道的直方图匹配。
模型训练使用的数据库为Google的RESIDE-β数据集。训练时将训练集分为四份，使用其中三份为训练集，第四份为测试集，第四份中最后留350张图作为验证集。
训练时，初始的学习率为3x10-4，每当模型连续两轮训练在测试集上的表现不再提升时，减半学习率。
图4展示了几张本发明与其他算法的去雾结果对比图，可以发现本发明的去雾结果增强了图像的对比度，且十分自然。
表1展示了本发明与其他几种算法的量化结果对比。可以发现，本发明的结果，在结构相似度以及色差上都表现最佳，且在运行时间上，本发明也远远快于ECCV2016与CVPR2018中提出的另外两种基于深度学习的算法。
表1本发明与其他几种算法的效果及耗时对比
Claims (3)
1.一种基于神经网络以及直方图匹配的图像去雾方法，其特征在于，具体步骤为：
（1）将图像分割成一系列的小块，使得每一小块内，雾的浓度相差不大；
（2）统计每一小块内的像素值的分布，分R、G、B三通道统计灰度直方图；设灰度直方图的横坐标以4像素为间隔，总共有256 / 4 = 64个间隔；有三个通道，统计得到的数据表示成64×1×3的矩阵；将统计得到的矩阵除以矩阵中的最大值，保证所有输入数据的取值范围为0-1，便于模型学习；
（3）将之前得到的每一小块图像的直方图统计结果输入到经过训练的神经网络模型中，通过一系列一维的卷积，最终输出预测的去雾结果中对应块的直方图；
（4）将输出的直方图和输入的直方图分别除以它们所有数据的和，得到两个数据，再使得到的两个数据的累加和为1，并通过积分转换为累计分布直方图，以进行直方图匹配；
（5）进行直方图匹配后，对应的，分别获得每一块的去雾结果，并拼成大图；
（6）由于分块预测，此时区块之间存在不自然的过渡，通过导向滤波器来去除不自然的过渡；其中，原始有雾图像作为引导图；
步骤（3）中所述神经网络结构分为三部分：特征提取层，映射层以及压缩层；其中：
特征提取层由三层网络组成：第一层由64个3×1×3的卷积核组成，第二层由64个3×1×64的卷积核组成，第三层由32个3×1×64的卷积核组成；所有的卷积核都做一维的卷积；每一层做卷积的时候都对输入特征进行“零填充”，保证所有输出特征在第一个维度上保持64的大小；
映射层有16层，每层包含32个3×1×32的卷积核；映射层采用一个一维“残差网络”的结构，映射层中每一层的输出都为输入以及卷积结果的和；
压缩层将映射层的输出压缩为64×1×3的大小，用于之后进行三个通道的直方图匹配；
步骤（4）中所述直方图匹配时，假设输入的直方图进行积分得到的累计分布直方图为ci(x)，输出的直方图积分得到的累计分布直方图为co(x)，匹配的具体步骤为：
（a）将64点的累计分布函数通过线性插值插到256点；
（b）依次取x=0，1，……255，取ci(x)的值，并求使得
时的
的值；由于无法正好找到整数
，使得
，故取值时取满足
的整数
并进行插值得到
；
就是对应的去雾后，该区块内取值为x的像素值应映射到的新像素值；
（c）在步骤（b）中算出255个像素对应的查找表后，对该区块内所有像素依据查找表进行重排列，此时输入图像的直方图近似为模型输出结果。
2.根据权利要求1所述的基于神经网络以及直方图匹配的图像去雾方法，其特征在于，步骤（1）中所述图像小块大小为8×8像素。
3.根据权利要求1所述的基于神经网络以及直方图匹配的图像去雾方法，其特征在于，步骤（3）中，模型训练使用的数据库为Google的RESIDE-β数据集；训练时将训练集分为四份，使用其中三份为训练集，第四份为测试集，第四份中最后留350张图作为验证集。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910357531.9A CN110189262B (zh) | 2019-04-29 | 2019-04-29 | 基于神经网络以及直方图匹配的图像去雾方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910357531.9A CN110189262B (zh) | 2019-04-29 | 2019-04-29 | 基于神经网络以及直方图匹配的图像去雾方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110189262A CN110189262A (zh) | 2019-08-30 |
| CN110189262B true CN110189262B (zh) | 2023-03-24 |
Family
ID=67715413
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910357531.9A Active CN110189262B (zh) | 2019-04-29 | 2019-04-29 | 基于神经网络以及直方图匹配的图像去雾方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110189262B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112102214B (zh) * | 2020-09-14 | 2023-11-14 | 山东浪潮科学研究院有限公司 | 一种基于直方图与神经网络的图像去雾方法 |
| CN112329788A (zh) * | 2020-09-29 | 2021-02-05 | 北京空间飞行器总体设计部 | 一种基于直方图统计的bp神经网络目标检测方法 |
| CN115456915B (zh) * | 2022-11-10 | 2023-05-09 | 深圳深知未来智能有限公司 | 基于3DLut的图像去雾处理方法、系统及可存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104504658A (zh) * | 2014-12-15 | 2015-04-08 | 中国科学院深圳先进技术研究院 | 基于bp神经网络的单一图像去雾方法及装置 |
| CN106910175A (zh) * | 2017-02-28 | 2017-06-30 | 武汉大学 | 一种基于深度学习的单幅图像去雾算法 |
| CN107749052A (zh) * | 2017-10-24 | 2018-03-02 | 中国科学院长春光学精密机械与物理研究所 | 基于深度学习神经网络的图像去雾方法及系统 |
| CN108564549A (zh) * | 2018-04-20 | 2018-09-21 | 福建帝视信息科技有限公司 | 一种基于多尺度稠密连接网络的图像去雾方法 |
-
2019
- 2019-04-29 CN CN201910357531.9A patent/CN110189262B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104504658A (zh) * | 2014-12-15 | 2015-04-08 | 中国科学院深圳先进技术研究院 | 基于bp神经网络的单一图像去雾方法及装置 |
| CN106910175A (zh) * | 2017-02-28 | 2017-06-30 | 武汉大学 | 一种基于深度学习的单幅图像去雾算法 |
| CN107749052A (zh) * | 2017-10-24 | 2018-03-02 | 中国科学院长春光学精密机械与物理研究所 | 基于深度学习神经网络的图像去雾方法及系统 |
| CN108564549A (zh) * | 2018-04-20 | 2018-09-21 | 福建帝视信息科技有限公司 | 一种基于多尺度稠密连接网络的图像去雾方法 |
Non-Patent Citations (5)
| Title |
|---|
| 一种深度学习的单幅图像去雾方法;黄靖等;《小型微型计算机系统》;20180815(第08期);全文 * |
| 人工光源条件下夜间雾天图像建模及去雾;杨爱萍等;《电子与信息学报》;20180630;全文 * |
| 基于Retinex的一种图像去雾算法;林笑君等;《电视技术》;20130902(第17期);全文 * |
| 基于大气散射模型的单幅雾天图像复原方法;刘佳嘉等;《中国测试》;20170731(第7期);全文 * |
| 适用于多场景的 ResNet 单幅图像去雾算法;姜冰等;《信息技术》;20190415;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110189262A (zh) | 2019-08-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108765336B (zh) | 基于暗亮原色先验与自适应参数优化的图像去雾方法 | |
| CN111784602B (zh) | 一种生成对抗网络用于图像修复的方法 | |
| CN110555465B (zh) | 一种基于cnn与多特征融合的天气图像识别方法 | |
| CN110189262B (zh) | 基于神经网络以及直方图匹配的图像去雾方法 | |
| CN108269244B (zh) | 一种基于深度学习和先验约束的图像去雾系统 | |
| CN112435191B (zh) | 一种基于多个神经网络结构融合的低照度图像增强方法 | |
| CN110378848B (zh) | 一种基于衍生图融合策略的图像去雾方法 | |
| CN110889852A (zh) | 基于残差-注意力深度神经网络的肝脏分割方法 | |
| CN111161360B (zh) | 基于Retinex理论的端到端网络的图像去雾方法 | |
| CN110717921B (zh) | 改进型编码解码结构的全卷积神经网络语义分割方法 | |
| CN110288550B (zh) | 基于先验知识引导条件生成对抗网络的单张图像去雾方法 | |
| CN110363727B (zh) | 基于多尺度暗通道先验级联深度神经网络的图像去雾方法 | |
| CN110544213A (zh) | 一种基于全局和局部特征融合的图像去雾方法 | |
| CN107273870A (zh) | 一种监控场景下融合上下文信息的行人位置检测方法 | |
| CN113628152B (zh) | 一种基于多尺度特征选择性融合的暗光图像增强方法 | |
| CN111553856B (zh) | 基于深度估计辅助的图像去雾方法 | |
| CN114842216A (zh) | 一种基于小波变换的室内rgb-d图像语义分割方法 | |
| CN112215859B (zh) | 一种基于深度学习和邻接约束的纹理边界检测方法 | |
| CN111079864A (zh) | 一种基于优化视频关键帧提取的短视频分类方法及系统 | |
| CN105608683B (zh) | 一种单幅图像去雾方法 | |
| CN109345479B (zh) | 一种视频监控数据的实时预处理方法及存储介质 | |
| CN108765337B (zh) | 一种基于暗原色先验与非局部mtv模型的单幅彩色图像去雾处理方法 | |
| WO2023206343A1 (zh) | 一种基于图像预训练策略的图像超分辨率方法 | |
| CN114372929A (zh) | 一种基于模型优化和压缩的图像快速去雾方法及装置 | |
| CN109949320B (zh) | 基于熵与互信息的高光谱图像超像元分割方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |