CN110503609B - 一种基于混合感知模型的图像去雨方法 - Google Patents
一种基于混合感知模型的图像去雨方法 Download PDFInfo
- Publication number
- CN110503609B CN110503609B CN201910634627.5A CN201910634627A CN110503609B CN 110503609 B CN110503609 B CN 110503609B CN 201910634627 A CN201910634627 A CN 201910634627A CN 110503609 B CN110503609 B CN 110503609B
- Authority
- CN
- China
- Prior art keywords
- image
- network
- repair
- local information
- rain
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000008447 perception Effects 0.000 title claims abstract description 19
- 238000000034 method Methods 0.000 title claims abstract description 13
- 238000001228 spectrum Methods 0.000 claims abstract description 11
- 230000006870 function Effects 0.000 claims description 12
- 238000013135 deep learning Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000001010 compromised effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
- G06T5/75—Unsharp masking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种基于混合感知模型的图像去雨方法，包括步骤：1)将待处理图像输入到编码网络中，输出特征谱；2)再将特征谱分别输入到用于局部信息感知的解码网络和用于输出非局部信息感知的解码网络中；3)用于局部信息感知的解码网络输出雨滴掩膜图像；用于非局部信息感知的解码网络输出上下文关系谱；4)将上下文关系谱和待处理图像拼接在一起输入至修复网络中，修复网络输出修复图像；5)将待处理图像和修复图像加权组合得到最终去雨图像。本发明引入了非局部信息感知网络，它可以通过训练自动学习全局信息，帮助修复网络恢复出更清晰的图像；引入了局部信息感知网络，有效避免无雨区域的过增强现象，让修复网络只关注雨滴遮挡区域。
Description
技术领域
本发明涉及图像处理领域、深度学习领域，特别涉及一种基于混合感知模型和深度学习修复图像的方法。
背景技术
许多新兴应用，如无人机，自动/辅助驾驶，搜救机器人，环境监测，安全监控，运输和检查，都依赖于基于计算机视觉的传感和对室外环境的理解。此类系统涉及广泛的目标任务，例如检测，识别，分割，跟踪和解析。然而，视觉传感和理解算法的性能将在很大程度上受到恶劣环境的危害，如浓雾和暴雨，尤其是摄像机镜头被大量雨滴遮挡的情形。
目前的图像去雨技术主要针对于背景中的雨，背景中的雨往往导致图像模糊，目标没有被完全遮挡。而当镜头被大量雨滴遮挡时，背景信息大量丢失，这对图像修复处理提出巨大挑战。
发明内容
本发明所要解决的技术问题是，提供一种从单张图像中去掉遮挡目标的雨滴并修复背景的方法。
本发明为解决上述技术问题所采用的技术方案是，一种基于混合感知模型的图像去雨方法，包括以下步骤：
1)将待处理图像输入到编码网络中，输出特征谱；
2)再将特征谱分别输入到用于局部信息感知的解码网络和用于输出非局部信息感知的解码网络中；
3)用于局部信息感知的解码网络输出雨滴掩膜图像，雨滴掩膜图像中各像素值取值范围为0到1，雨滴遮挡越严重对应位置的像素值越接近1；用于非局部信息感知的解码网络输出上下文关系谱，上下文关系谱用于捕捉雨滴内部和周围的背景的相关性，以帮助修复雨滴区域；
4)将上下文关系谱和待处理图像拼接在一起输入至修复网络中，修复网络输出修复图像T；
5)将待处理图像和修复图像加权组合得到最终去雨图像O：
其中，
表示图像中对应像素值相乘，Mask为雨滴掩膜图像。
从去雨图像O的计算可以看出：在雨滴严重遮挡区域，Mask的值接近1，去雨图像O中该位置像素值的主要贡献来源于图像T，即
在无雨滴的干净区域，Mask的值趋于0，去雨图像O的主要贡献来源于P，即
也就是直接从原始输入图片搬移信息。这样做的好处是修复网络可以专注于修复雨滴遮挡区域，无需担心破坏干净区域。
本发明引入了非局部信息感知网络，它可以通过训练自动学习全局信息，帮助修复网络恢复出更清晰的图像；引入了局部信息感知网络，可以有效避免无雨区域的过增强现象，并且让修复网络只关注雨滴遮挡区域。
发明的有益效果是：能够有效地将镜头被大量雨滴遮挡时所拍摄的图像恢复为清晰图像。
附图说明
图1为本发明流程示意图。
具体实施方式
如图1所示的图像去雨方法，包括以下步骤：
1)将一张镜头被雨滴遮挡的相机所拍摄的图像P输入到编码网络中，编码网络输出特征谱S；
2)将特征谱S分别输入到局部信息感知网络Decoder1和非局部信息感知网络Decoder2当中，Decoder1输出雨滴掩膜Mask。从图像上看，Mask将点亮雨滴区域，雨滴遮挡越严重，Mask对应位置的值越接近1(Mask通过tanh函数约束到0到1范围内)；Decoder2输出上下文关系谱A，A用于捕捉雨滴内部和周围的背景的信息，以帮助修复雨滴区域；
3)将上下文关系谱A和图片P拼接到一起，然后输入到修复网络G中，G采用U-net结构；修复网络G输出图像T；
4)将输入图像P和图像T加权组合得到最终输出图像O：
其中，
表示图像中对应像素值相乘，Mask为雨滴掩膜图像。
训练网络所用的损失函数采用了感知损失和像素级损失，具体公式如下：
Loss＝0.05*L1_loss(O，GT)+L1_loss(vgg(O)，vgg(GT))
其中L1_loss表示L1范数损失函数，即两幅图像相减，所得差的绝对值。O表示加权后最终所得图像，GT表示与输入图像P对应的清晰图像。vgg表示在ImageNet数据集上预训练的分类网络，这里取它的中间某一层(一般选第30层)特征图作为输出。
局部信息感知网络工作原理：因为最终输出图片O是输入图片P和修复网络输出的图片T的加权组合，优化损失函数就是要减小图片O和清晰图片GT的差异。显然，图片P和图片T中，越接近GT者权重越大，这样才会使得损失函数减小。在干净区域，图片P和GT的像素值是相等的，而T经过修复网络G处理后会不可避免地失真，因此损失函数的约束会使得P的权重大，T的权重小，这样Mask在干净区域的值趋于零；而在雨滴遮挡区域，P和GT有着固定的差异，修复网络G会促使T与GT的差异小于P和GT的差异，因此P的权重小，T的权重大。由以上两点可知，损失函数会约束局部信息感知网络使其输出好的雨滴掩膜Mask，并且Mask的值并不是非零即一，它会根据雨滴透明度自适应调整大小，在(0,1)区间内连续取值。
非局部信息感知网络工作原理：一般来说，损失函数对非局部信息感知网络的约束并不直接，因而非局部信息感知网络很难收敛，无法获得有用信息。但在这里，非局部信息感知网络和局部信息感知网络共用了一个编码网络，而局部信息感知网络会关注雨滴区域，进而编码网络也会关注雨滴区域，因此非局部信息感知网络的解码器可以在编码网络的基础上进行学习，使得其更容易收敛，相当于局部信息感知网络对非局部信息感知网络起了引导作用。此外，非局部信息感知网络不仅仅关注雨滴区域，本发明在非局部信息感知网络的输出层之前，引入了一层non-local neural network,帮助非局部信息感知网络学习全局信息，如雨滴周围的纹理、色彩等与雨滴遮挡区域之间的相关性信息，使得上下文关系谱可以为修复网络提供雨滴周围的重要信息。
Claims (3)
1.一种基于混合感知模型的图像去雨方法，其特征在于，包括以下步骤：
1)将待处理图像输入到编码网络中，输出特征谱；
2)再将特征谱分别输入到用于局部信息感知的解码网络和用于输出非局部信息感知的解码网络中；
3)用于局部信息感知的解码网络输出雨滴掩膜图像，雨滴掩膜图像中各像素值取值范围为0到1，雨滴遮挡越严重对应位置的像素值越接近1；用于非局部信息感知的解码网络输出上下文关系谱，上下文关系谱用于捕捉雨滴内部和周围的背景的相关性，以帮助修复雨滴区域；
4)将上下文关系谱和待处理图像拼接在一起输入至修复网络中，修复网络输出修复图像；
5)将待处理图像和修复图像加权组合得到最终去雨图像：
其中，
表示图像中对应像素值相乘，O、Mask、T、P分别为去雨图像、雨滴掩膜图像、修复图像、待处理图像。
2.如权利要求1所述方法，其特征在于，训练图像去雨过程的损失函数Loss为：
Loss＝0.05*L1_loss(O，GT)+L1_loss(vgg(O)，vgg(GT))
其中，L1_loss表示L1范数损失函数；O为去雨图像，GT为与待处理图像P相对应的清晰图像；vgg为取图像特征的函数。
3.如权利要求2所述方法，其特征在于，所述取图像特征的函数vgg为在ImageNet数据集上预训练的分类网络中间一层特征图的输出。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910634627.5A CN110503609B (zh) | 2019-07-15 | 2019-07-15 | 一种基于混合感知模型的图像去雨方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910634627.5A CN110503609B (zh) | 2019-07-15 | 2019-07-15 | 一种基于混合感知模型的图像去雨方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110503609A CN110503609A (zh) | 2019-11-26 |
| CN110503609B true CN110503609B (zh) | 2023-04-28 |
Family
ID=68585431
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910634627.5A Active CN110503609B (zh) | 2019-07-15 | 2019-07-15 | 一种基于混合感知模型的图像去雨方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110503609B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113469906B (zh) * | 2021-06-24 | 2023-02-07 | 湖南大学 | 一种用于图像修复的跨层全局和局部感知网络的方法 |
| CN113378980B (zh) * | 2021-07-02 | 2023-05-09 | 西安电子科技大学 | 基于自适应上下文注意力机制的口罩遮挡人脸恢复方法 |
| CN113450288B (zh) * | 2021-08-04 | 2022-09-06 | 广东工业大学 | 基于深度卷积神经网络单图像去雨方法、系统和存储介质 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108537753A (zh) * | 2018-04-10 | 2018-09-14 | 武汉大学 | 一种基于上下文特征空间约束的图像修复方法 |
Family Cites Families (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5082950B2 (ja) * | 2008-03-13 | 2012-11-28 | 住友化学株式会社 | 揮発性芳香族化合物の分解方法 |
| CN101465957B (zh) * | 2008-12-30 | 2011-01-26 | 应旭峰 | 一种虚拟三维场景中实现遥控互动的系统 |
| CN104683392A (zh) * | 2013-11-27 | 2015-06-03 | 上海墨芋电子科技有限公司 | 一种新型云计算的网络存储管理系统 |
| CN104978718A (zh) * | 2015-06-12 | 2015-10-14 | 中国科学院深圳先进技术研究院 | 一种基于图像熵的视频雨滴去除方法及系统 |
| CN105139344B (zh) * | 2015-06-12 | 2018-06-22 | 中国科学院深圳先进技术研究院 | 基于频域及相位一致性的单幅图像去除雨滴影响的方法和系统 |
| CN105335949A (zh) * | 2015-08-28 | 2016-02-17 | 中国科学院深圳先进技术研究院 | 一种视频图像去雨方法及系统 |
| US20180061008A1 (en) * | 2016-08-31 | 2018-03-01 | Autoliv Asp, Inc. | Imaging system and method |
| KR101903523B1 (ko) * | 2017-01-02 | 2018-10-04 | 안양대학교 산학협력단 | 비디오 데이터에서 에지 프로젝션 기반의 모자이크 검출 방법 |
| CN107133932B (zh) * | 2017-05-04 | 2021-05-04 | 季鑫 | 视网膜图像预处理方法、装置和计算设备 |
| CN108923984B (zh) * | 2018-07-16 | 2021-01-12 | 西安电子科技大学 | 基于卷积网络的时空视频压缩感知方法 |
| CN109347787B (zh) * | 2018-08-15 | 2020-08-04 | 阿里巴巴集团控股有限公司 | 一种身份信息的识别方法及装置 |
| CN109344822B (zh) * | 2018-09-03 | 2022-06-03 | 电子科技大学 | 一种基于长短期记忆网络的场景文本检测方法 |
| CN109242864B (zh) * | 2018-09-18 | 2021-09-24 | 电子科技大学 | 基于多分支网络的图像分割结果质量评价方法 |
| CN109499068B (zh) * | 2018-11-14 | 2022-06-03 | 腾讯科技（深圳）有限公司 | 对象的控制方法和装置、存储介质、电子装置 |
-
2019
- 2019-07-15 CN CN201910634627.5A patent/CN110503609B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108537753A (zh) * | 2018-04-10 | 2018-09-14 | 武汉大学 | 一种基于上下文特征空间约束的图像修复方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110503609A (zh) | 2019-11-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Mehra et al. | ReViewNet: A fast and resource optimized network for enabling safe autonomous driving in hazy weather conditions | |
| CN106780356B (zh) | 基于卷积神经网络和先验信息的图像去雾方法 | |
| CN110232380B (zh) | 基于Mask R-CNN神经网络的火灾夜间场景复原方法 | |
| CN111340844B (zh) | 基于自注意力机制的多尺度特征光流学习计算方法 | |
| Eigen et al. | Restoring an image taken through a window covered with dirt or rain | |
| CN110503609B (zh) | 一种基于混合感知模型的图像去雨方法 | |
| CN107274445B (zh) | 一种图像深度估计方法和系统 | |
| CN110570371A (zh) | 一种基于多尺度残差学习的图像去雾方法 | |
| CN102831591B (zh) | 一种基于高斯滤波的单幅图像的实时去雾方法 | |
| Rashid et al. | Single image dehazing using CNN | |
| Milford et al. | Long exposure localization in darkness using consumer cameras | |
| CN111582074A (zh) | 一种基于场景深度信息感知的监控视频树叶遮挡检测方法 | |
| Zhou et al. | Adapting semantic segmentation models for changes in illumination and camera perspective | |
| CN114004766A (zh) | 一种水下图像增强方法、系统和设备 | |
| John et al. | Enhancement of weather degraded video sequences using wavelet fusion | |
| Zhao et al. | Research on the identification and distribution of biofouling using underwater cleaning robot based on deep learning | |
| CN113379619B (zh) | 去雾成像、能见度提取和景深估计的一体化处理方法 | |
| CN114663352A (zh) | 一种输电线路缺陷高精度检测方法、系统及存储介质 | |
| Lee et al. | Learning to remove bad weather: Towards robust visual perception for self-driving | |
| Palvanov et al. | DHCNN for visibility estimation in foggy weather conditions | |
| CN110738624B (zh) | 一种区域自适应的图像去雾系统及方法 | |
| Razzok et al. | Pedestrian detection under weather conditions using conditional generative adversarial network | |
| Zhao et al. | Enhanced densely dehazing network for single image haze removal under railway scenes | |
| Thirumala et al. | Haze-level prior approach to enhance object visibility under atmosphericdegradation | |
| Lee et al. | Perception-friendly video enhancement for autonomous driving under adverse weather conditions |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |