CN112435194A - 一种基于生成对抗网络的域自适应去雾方法 - Google Patents
一种基于生成对抗网络的域自适应去雾方法 Download PDFInfo
- Publication number
- CN112435194A CN112435194A CN202011376614.1A CN202011376614A CN112435194A CN 112435194 A CN112435194 A CN 112435194A CN 202011376614 A CN202011376614 A CN 202011376614A CN 112435194 A CN112435194 A CN 112435194A
- Authority
- CN
- China
- Prior art keywords
- image
- video
- defogging
- foggy
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 17
- 238000007781 pre-processing Methods 0.000 claims abstract description 14
- 238000013528 artificial neural network Methods 0.000 claims abstract description 13
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 7
- 238000002834 transmittance Methods 0.000 claims description 5
- 238000005516 engineering process Methods 0.000 claims description 4
- 238000013508 migration Methods 0.000 claims description 3
- 230000005012 migration Effects 0.000 claims description 3
- 238000012958 reprocessing Methods 0.000 claims description 2
- 230000002194 synthesizing effect Effects 0.000 claims description 2
- 238000012545 processing Methods 0.000 abstract description 24
- 230000000694 effects Effects 0.000 abstract description 5
- 230000003042 antagnostic effect Effects 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 2
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000013618 particulate matter Substances 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
Images
Classifications
-
- G06T5/73—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Abstract
本发明公开了一种实时视频去雾方法，该实时视频去雾方法，通过摄像头得到有雾视频，视频输入到视频图像处理模块组DF‑CNN，然后对视频中的每帧模糊图像进行处理，其中去雾模型包括雾天图像预处理模块和去雾模块，图像预处理主要采用Cycle‑GAN生成对抗网络结构，去雾模块主要由粗尺度卷积神经网络、细尺度卷积神经网络和编码器‑解码器网络结构组成，经过模型处理后得到清晰的图像，最终将处理结果合成为清晰的视频图像通过显示器终端可视化。本发明拥有更好的处理效果，具备实时处理能力，达到了高速高清的去雾效果。
Description
技术领域
本发明主要涉及计算机图像与视频处理领域，具体涉及一种基于生成对抗网络的域自适应去雾方法。
背景技术
雾霾是城市中一种常见的天气现象，我国很多地区已将雾霾作为灾害性天气进行预警预报，而高密度的人口地区必然会排放出大量的细颗粒物，一旦排放超过大气循环能力和承载度，细颗粒物浓度将持续积聚，此时如果受静稳天气等影响，极易出现大范围的雾霾，而在雾霾严重时，道路的能见度低，驾驶员获取的道路信息严重不足，极易发生交通事故，同时自动驾驶系统、目标跟踪系统会受到严重制约，因此在雾霾这类恶劣天气下恢复清晰视频图像一直是智能化交通领域的一个研究热点。
目前的去雾主要方法是暗通道先验的去雾方法，研究人员曾提出来经典的雾图模型：
其中I(x)是待去雾图像，J(x)是要恢复的无雾图像，A为全球大气光成分，t为空气折射率，而我们已知的条件就是I(x)，要求目标值J(x)。暗通道先验去雾的大致工作流程大致如下：
1)求图像暗通道
2)利用暗通道计算出折射率
3)利用暗通道估计大气光
4)代入雾图模型公式进行去雾计算。
然而，直接使用暗通道先验的去雾方法会使得最终恢复的图像比较暗，同时，当折射率图比较粗糙时就会使得去雾图像出现不协调的部分，而为了获取更为精细的折射率图时，前人曾引入了soft matting方法，虽然可以获取更为细腻的结果，但是这个方法最严重的问题是有着太多的浮点计算，使得速度特别慢，这样就出现了要么速度快但是去雾效果一般要么是效果好但是耗时严重这个问题。这样在当今智能化交通领域就很难同时满足：①实时获取去雾图像；②去雾图像清晰度高这两个要求，因此，寻求在雾霾等可见度低的恶劣环境下同时满足这两个要求的方法具有极其重要的研究意义。
发明内容
近年来数字图像处理技术发展迅猛，对于图像的处理有很多不同的手段。国内外学者越来越关注在小信息量输入（单幅图像）的条件下，对数字图像外观的建模与重绘，但该技术对于视频的去雾处理技术应用还太完整，而且传统的视频去雾的算法由于其复杂度较高，很难满足智能化交通领域视频处理的要求。基于大气退化物理模型的单幅图像去雾是通过合理的数学推演和假设，还原清晰、高品质的图像。但这种图像增强的算法并不能满足视频去雾的高性能要求，在很多情况下，对输入的有雾图像并没有达到去雾增强的作用，反而使得视频画面质量下降。本发明旨在解决这些视频去雾处理技术现存的问题。
本发明所采用的技术方案是通过摄像头获取有雾视频，对视频中的每帧模糊图像输入到去雾模型进行处理。去雾模型包括雾天图像预处理模块（主要为Cycle-GAN生成对抗网络结构)和去雾模块（由粗尺度卷积神经网络、细尺度卷积神经网络和编码器-解码器网络结构组成），经过模型处理后得到清晰的图片，然后将处理结果合成为清晰的视频通过显示器终端可视化。
雾天图像预处理模块主要使用Cycle-GAN生成对抗网络结构，对图像首先进行预处理。我们从公开数据集上收集合成雾天图像，将获取的实时有雾视频中得到的图像经过生成器（Generator）生成近似于合成雾天图像得假图。Cycle-GAN网络结构的判别器（Discriminator）把该图像与原有雾图像进行比对。判别器由多个卷积层构成，从图像中提取特征后，判断这些特征是否属于特定类别，判别器网络的最后一层是用于产生一维输出的卷积层。然后计算图像损失值，二者对抗，重构误差，在引导图像类型迁移时保留图像的固有属性。最终经过预处理模块处理的实时数据更加接近于合成雾天数据，然而合成雾天数据去雾技术已经较为发达，那么最终处理效果会大大改善。
去雾模块由粗尺度卷积神经网络、细尺度卷积神经网络和编码器-解码器网络结构组成，对经过预处理的图像进行去雾处理，得到清晰的图像。首先，预处理得到的特征明显的图像，经过粗尺度卷积神经网络处理得到粗透射率图，再由细尺度卷积神经网络对该图进行处理，再将得到的结果经过编码器-解码器网络结构进行进一步的去雾处理，得到清晰的图像。最终将这些处理过后的图像合成为流畅的清晰视频，再在显示器终端进行可视化，达到视频去雾的效果。
本发明的有益效果是，在消除不利天气影响、增强视见度的基础上，考虑系统实时性。充分利用多种不同卷积神经网络结构的优势，对模糊图像进行处理和增强，有效地增加了视频图像的辨识度。
附图说明
图1为本发明的操作原理框图。
图2为本发明的Cycle-GAN的网络流程图。
图3为本发明的编码器-解码器网络结构图。
具体实施方式
为了使发明的目的、特征和优点更加清晰，下面结合附图和具体实施方案，对本发明进一步的详细描述。需要说明的是，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
请参阅图1，在雾霾等能见度低的恶劣天气环境下视频采集设备获取到的模糊视频图像传输到视频图像处理模块组DF-CNN，在视频图像处理模块组进行视频图像处理，最终将清晰的去雾视频图像在显示器上可视化。
视频图像处理模块组DF-CNN的组成如下，在去雾模型内部，由雾天图像预处理模块和去雾模块组成，雾天图像预处理模块主要为Cycle-GAN生成对抗网络结构；去雾模快主要由粗尺度卷积神经网络、细尺度卷积神经网络和编码器-解码器网络结构组成。
视频图像处理模块组DF-CNN的组成如下，首先将摄像头拍摄到的有雾模糊视频图像输入到去雾模型上，将视频分为多帧的图像，然后图像经过雾天图像预处理模块进行预处理,即通过风格迁移将实时的有雾数据转化为合成风格的有雾数据，但是此时生成的图像无法满足实际需求。
接下来将经Cycle-GAN生成对抗网络结构处理后的图像输入到去雾模块中，通过粗尺度卷积神经网络，将图像先转化为粗透射率图像，然后将粗透射率图传输到细尺度卷积神经网络中进行再次处理，将处理后的图像传输到编码器-解码器上，在编码器-解码器中先将图像经过编码器进行压缩处理，将图像噪点降到最低，再经过解码器释放，将图像的非噪点部分进行放大，此时，得到的图像已经满足了实际需求。
最后将处理好的图像合成为视频，然后将实时有雾视频去雾清晰化结果进行可视化输出，处理后的视频同样可以应用到智慧化交通如自动驾驶系统或目标跟踪系统上。
上述实施例为本发明的一种实施方式，但本发明的实施方式不限定于此，从事该技术人员在未背离本发明精神和原则下所做的任何修改、替换、改进，均包含在发明的保护范围内。
Claims (4)
1.一种基于生成对抗网络的域自适应去雾方法，其特征在于，该方法采用雾天图像预处理模块和去雾模快对有雾视频进行去雾处理。
2.根据权利要求1所述的一种基于生成对抗网络的域自适应去雾方法，其特征在于，所述的图像预处理模块采用了Cycle-GAN生成对抗网络结构。
3.根据权利要求1所述的一种基于生成对抗网络的域自适应去雾方法，其特征在于，所述的视频去雾模块采用了DF-CNN网络结构。
4.根据权利要求1、2、3所述的一种基于生成对抗网络的域自适应去雾方法，其特征在于，具体包括以下步骤：
S1.将视频图像以每秒n帧的速率分为图片传输给视频去雾预处理模块；
S2.将有雾的图像帧在Cycle-GAN进行预处理，利用风格迁移技术将实时的有雾数据转化为合成风格的有雾数据；
S3.将经Cycle-GAN生成对抗网络结构处理后的图像输入到去雾模块中；
S4.首先通过粗尺度卷积神经网络，将图像先转化为粗透射率图像；
S5.然后将粗透射率图传输到细尺度卷积神经网络中进行再次处理；
S6.将处理后的图像传输到编码器-解码器上，在编码器-解码器中先将图像经过编码器进行压缩处理，将图像噪点降到最低；
S7.再将压缩处理后的图像经过解码器释放，将图像的非噪点部分进行放大，此时，得到的图像已经满足了实际需求；
S8.最后将处理好的图像按照正确的序列顺序合成为视频，然后将实时有雾视频去雾清晰化结果进行可视化输出。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011376614.1A CN112435194A (zh) | 2020-11-30 | 2020-11-30 | 一种基于生成对抗网络的域自适应去雾方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011376614.1A CN112435194A (zh) | 2020-11-30 | 2020-11-30 | 一种基于生成对抗网络的域自适应去雾方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112435194A true CN112435194A (zh) | 2021-03-02 |
Family
ID=74699080
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011376614.1A Pending CN112435194A (zh) | 2020-11-30 | 2020-11-30 | 一种基于生成对抗网络的域自适应去雾方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112435194A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116977220A (zh) * | 2023-08-07 | 2023-10-31 | 中国矿业大学 | 基于图像质量启发的盲图像去运动模糊算法 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106127702A (zh) * | 2016-06-17 | 2016-11-16 | 兰州理工大学 | 一种基于深度学习的图像去雾算法 |
-
2020
- 2020-11-30 CN CN202011376614.1A patent/CN112435194A/zh active Pending
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106127702A (zh) * | 2016-06-17 | 2016-11-16 | 兰州理工大学 | 一种基于深度学习的图像去雾算法 |
Non-Patent Citations (1)
| Title |
|---|
| 孙嘉敏: ""基于CycleGAN的水面图像去雾方法的研究与实现"", 《万方数据库》 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116977220A (zh) * | 2023-08-07 | 2023-10-31 | 中国矿业大学 | 基于图像质量启发的盲图像去运动模糊算法 |
| CN116977220B (zh) * | 2023-08-07 | 2024-02-13 | 中国矿业大学 | 基于图像质量启发的盲图像去运动模糊算法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Li et al. | Single image dehazing via conditional generative adversarial network | |
| CN109740465B (zh) | 一种基于实例分割神经网络框架的车道线检测算法 | |
| Bahnsen et al. | Rain removal in traffic surveillance: Does it matter? | |
| CN110263706B (zh) | 一种雾霾天气车载视频动态目标检测和识别的方法 | |
| Kuanar et al. | Night time haze and glow removal using deep dilated convolutional network | |
| CN110310241A (zh) | 一种融合深度区域分割的多大气光值交通图像去雾方法 | |
| CN111709888B (zh) | 一种基于改进的生成对抗网络的航拍图像去雾方法 | |
| Cao et al. | Haze removal of railway monitoring images using multi-scale residual network | |
| CN112766056B (zh) | 一种基于深度神经网络的弱光环境车道线检测方法、装置 | |
| CN111598814B (zh) | 基于极端散射通道的单图像去雾方法 | |
| CN114821326A (zh) | 一种宽幅遥感影像中密集弱小目标检测识别方法 | |
| CN116503709A (zh) | 一种基于改进YOLOv5的雾霾天气下车辆检测方法 | |
| Han et al. | A method based on multi-convolution layers joint and generative adversarial networks for vehicle detection | |
| CN113763427A (zh) | 一种基于从粗到精遮挡处理的多目标跟踪方法 | |
| CN114973199A (zh) | 一种基于卷积神经网络的轨道交通列车障碍物检测方法 | |
| CN112435194A (zh) | 一种基于生成对抗网络的域自适应去雾方法 | |
| CN112801021B (zh) | 基于多级语义信息的车道线检测方法及系统 | |
| CN112465720A (zh) | 一种基于图像天空分割的图像去雾方法、装置和存储介质 | |
| CN115457448B (zh) | 一种视频关键帧智能提取系统 | |
| CN110544216A (zh) | 基于深度学习的视频去雾系统 | |
| Ding et al. | Sparse codes fusion for context enhancement of night video surveillance | |
| CN116433513A (zh) | 一种道路监视视频去雾方法、系统、电子设备和存储介质 | |
| CN115984568A (zh) | 一种基于YOLOv3网络的雾霾环境下目标检测方法 | |
| CN114821510A (zh) | 基于改进U-Net网络的车道线检测方法及装置 | |
| CN112767275A (zh) | 一种基于人工稀疏标注信息引导的单张图像去雾方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20210302 |