CN113870129B - 基于空间感知与时间差异学习的视频去雨方法 - Google Patents
基于空间感知与时间差异学习的视频去雨方法 Download PDFInfo
- Publication number
- CN113870129B CN113870129B CN202111078395.3A CN202111078395A CN113870129B CN 113870129 B CN113870129 B CN 113870129B CN 202111078395 A CN202111078395 A CN 202111078395A CN 113870129 B CN113870129 B CN 113870129B
- Authority
- CN
- China
- Prior art keywords
- rain
- time difference
- video
- perception
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 24
- 230000008447 perception Effects 0.000 title claims abstract description 21
- 230000007246 mechanism Effects 0.000 claims abstract description 13
- 238000000605 extraction Methods 0.000 claims description 3
- 230000010354 integration Effects 0.000 claims description 2
- 230000003287 optical effect Effects 0.000 claims 1
- 238000012545 processing Methods 0.000 abstract description 6
- 230000008569 process Effects 0.000 abstract description 5
- 238000013135 deep learning Methods 0.000 abstract description 3
- 230000000007 visual effect Effects 0.000 abstract 1
- 230000000694 effects Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 238000011161 development Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000003909 pattern recognition Methods 0.000 description 2
- 238000002679 ablation Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000000053 physical method Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000004080 punching Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000036962 time dependent Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明属于图像处理和计算机视觉领域，涉及一种基于空间感知与时间差异学习的视频去雨方法。本发明从集合的角度建模，重新定义了去雨任务，提出了一种新的显式时空视频去雨模型。该模型可以描述不同帧之间关于降雨区域的直观关系。受这个模型的启发，进一步构建了一个基于空间感知与时间差异的深度学习框架。首先利用注意力机制学习序列下时间差异中的相关性，然后进一步利用空间感知去恢复清晰图像，完成一个端到端的时间信息与空间信息集成的去雨过程。进行了大量实验证明了与各种先进的视频去雨方法相比本发明方法性能的优越性以及各模块的必要性。
Description
技术领域
本发明属于图像处理和计算机视觉领域，涉及一种基于空间感知与时间差异学习的视频去雨方法。
背景技术
随着科学技术的发展，图像和视频的概念正逐渐被应用在众多活动当中，比如上班打卡时的面部识别技术，驾驶时需要的倒车影像，交通安全的监察监控系统等等。伴随其中的，便是许多与图像设备、视频处理等有关的技术也在不断地发展与进步，既而反作用推动整个图像领域应用范围的越来越广。然而，视觉领域中有一个很大的一个限制就是恶劣天气。当遇到诸如大雨、雾霾、暴雪之类的天气情况的时候，不仅人们肉眼的辨识辨物会受到影响，摄像机、照相机的清晰度、可见性也会大打折扣，于是这些技术与图像，特别是户外环境采集到的图像便会受到很大的影响导致画质的变化。而在一般应用当中，对于实际拍摄的图像与视频进行操作时很少会去考虑户外的天气影响，这就会导致计算机视觉系统的效果变差受限，使得最终获得的图像变得模糊、不清晰，对比度变小，细节减少或丢失，出现图片质量降低、图像噪声增加、重要背景信息遮挡丢失等情况，从而极大地影响了图像分割，所需目标识别，特定目标跟踪等等大部分的视觉处理算法的性能。
因此，去雨对于图像的处理而言具有重要的现实意义，也具有很大的发展前景。他不仅可以作为一项单独的任务，如视频监控系统中雨天拍摄的车牌照的复原等等，也可以应用在许多计算机视觉系统任务的预处理步骤，防止因细节丢失而带来的信息不准确等等问题，保证性能准确有效。但因为雨在空间上是随机分布没有规律，并且雨还处于高速下落的状态，容易与运动物体混淆，因此，去雨工作即雨滴的检测和去除都具有非常大的难度。
现在也已经有人提出了许多种方法来进行去雨，这些方法总体来说可以被分成两类：基于视频的去雨方法和基于单幅图像的去雨方法。
基于图像的方法主要是利用雨水本身的物理特性的不同，进行信号的分离。 YuLi等人在2016年《IEEE Conference on Computer Vision and Pattern Recognition》发表的“Rain Streak Removal using Layer Priors”利用高斯模型对背景图像和雨线的先验信息进行编码，处理不同尺度的雨线。但由于该方法是采用方差提取雨条纹块，可靠性较低。专利CN108765327A利用稀疏编码来实现去雨，他通过将图像分解为低频和高频并进一步形成去雨字典，然后再基于稀疏编码去分解字典的成分，并利用景深进行一定的修正。但这种方法会引起输出图片一定程度上的色彩失真。深度学习的出现和发展提供了一些新的方法。专利CN106204499A通过训练一个三层的卷积神经网络，对原始图像进行重叠取块输入，并进行平均加权最终得到无雨图像。专利CN110838095A通过构建密集网络模型，提取雨纹信息，并与长短记忆网络模型串联得到子网络模型，以此反复循环迭代最终得到循环密集神经网络完成去雨。除此之外也有专利利用生成对抗网络完成去雨，例如专利CN112258402A设计了一种密集残差和LSTM相结合的生成器子网络，采用多次迭代进行特征提取和生成无雨图像。专利CN110992275A在利用编解码结构的同时增加了辅助的雨纹估计网络和图像细化网络对结果进行进一步的细化。
基于视频的方法与单幅图像去雨类似，但不同的是，来自视频序列的时间冗余信息可以为雨水去除提供更多的可能性。最早有将背景相同的雨帧进行平均，以此来简单地利用时间信息完成去雨的。此外，也有人分别采用稀疏编码、方向梯度先验和低秩等传统物理方法实现了视频中的雨滴的去除。专利 CN103729828A通过检测相邻帧之间的光照变化，判断光照下像素是否被雨滴覆盖，进而去除雨滴。例如专利CN110070506A提出了混合指数模型来多尺度地模拟雨信息，再利用优化算法进行优化和最终的加权。专利CN105335949A利用快速模糊C均值聚类算法对已经从RGB转换为YCbCr色彩空间的图像像素进行分割，完成去雨。在深度学习的领域，同样出现了众多基于网络数据训练的方法， Jie Chen在2018年《IEEE Conference on Computer Vision and Pattern Recognition》发表的“RobustVideo Content Alignment and Compensation for Rain Removal in a CNN Framework”利用超像素级对齐算法完成去雨，将降雨图像分割成超像素，然后执行一致性约束并补偿这些对齐的超像素上丢失的细节。Wenhan Yang在 2018年《IEEE Conference on ComputerVision and Pattern Recognition》发表的“Erase or Fill Deep Joint Recurrent RainRemoval and Reconstruction in Videos”利用深度循环卷积网络设计了一个联合循环网络集成去雨和背景的重建。但事实上，这些方法大多都只关注最终的结果性能，并以此来得到时间信息有被有效地利用的结论。但是这些基于神经网络的程序是黑盒状态，它们对时间信息的利用方式缺少可解释性。并且由于网络层数的增加也不可避免地出现了运行时间长、运行效率低等问题。
发明内容
本发明建立了一个明确的显式时空视频去雨模型，并进一步提出了一个基于空间感知与时间差异的学习框架。具体来说，从集合的角度提出了一种新的视频去雨模型，以此来显式地描述不同相邻帧之间的降雨区域存在的关系。并以此设计了一个端到端视频去雨网络，首先利用注意力机制学习序列下时间差异中的相关性，然后进一步利用空间感知去恢复清晰图像，完成一个端到端的时间信息与空间信息集成的去雨过程。
具体方案如下：
一种基于空间感知与时间差异学习的视频去雨方法，步骤如下：
第一步，根据时间差异性做减法得到初始雨条纹；
从一个新的角度来描述雨帧，将帧按照空间位置看作是一个大的集合，然后根据该位置上是否有雨条纹再进行划分，具体表示为，
π(Yt)＝πr(Yt)∪πb(Yt)， (1)
π(Yt)表示当前帧对于空间位置的集合表示。πr(Yt)是当前帧中被雨水覆盖的位置。πb(Yt)则表示当前帧中没有雨条纹的位置，也就是后续不再需要进行处理的位置。对于πr(Yt)而言，视频序列中相邻帧不仅在背景信息上存在重叠关系，在雨线的分布上同样存在重叠。因此，参考相邻帧信息，πr(Yt)可以表示为，
πr(Yadjacent)是视频序列中相邻帧的雨线位置的集合表示。交集∩表示当前帧和相邻帧之间雨线的重叠区域，而则表示当前帧的独有的与相邻帧无关的雨线位置。通过该模型，便可以通过简单的减法就可以去除重叠的雨纹，
第二步，利用注意力机制学习其中的时间相关性，获得更准确的雨线图；
第三步，基于空间感知的集成去雨模块，利用空间信息，完成去雨任务。
本发明的有益效果是：
1)口本发明集合的角度提出了一种新的视频去雨模型，以此来显式地描述不同相邻帧之间的降雨区域的潜在关系，更好地利用时间信息。同时提出了能够实现端到端的视频去雨网络并且算法的性能优越，通过消融研究验证了不同网络模块的有效性。
2)本发明针对视频去雨的问题提出的去雨方法在处理小雨和大雨情况下都有很好的表现效果，不仅能够将当前帧的各种方向堆叠的雨线去除干净，而且还能够很好地恢复当前帧的背景信息，保留较为完整的细节信息。并且运行速度快，效率高。
附图说明
图1为方案整体流程图；
图2为方案流程效果图；
图3为本发明在合成数据上的结果展示示意图，(a)表示输入雨图，(b)表示该发明的实验结果；
图4为本发明在真实数据上的结果展示示意图，(a)表示输入真实的雨图，(b) 表示该发明的实验结果。
具体实施方式
本发明基于时间差异与空间感知，以相邻帧作为输入，利用自注意和相互注意机制引导学习其中的时间相关性，同时去除运动引入的背景信息。最后，空间感知的集成网络对输出结果进行补偿，恢复最终的清晰帧，具体实施方案如下：方案网络具体流程如图1，具体操作如下：
第一步，根据时间差异性做减法得到初始雨条纹；
定义三个雨输入帧[Yt-1，Yt，Yt+1]和基于流的估计网络。基于流的对齐过程可以表述为：
表示对其以后的相邻帧。/>表示训练过的SpyNet网络，为了更好地适应雨场景，SpyNet的网络参数也参与了学习过程。根据雨的位置在相邻帧的相同和差异，对对齐后的/>进行相减可以得到初始雨条纹提取，
第二步，利用注意力机制学习其中的时间相关性，获得更准确的雨线图；
注意驱动的时间相关学习可以对不同框架下的雨区进行学习，并去除背景信息。公式为：
代表自注意机制，/>代表相互注意机制。在与输入元素相乘之后，就可以接收目标结果了。同时，对不同注意网络得到的中间结果进行进一步的处理，引入了一种权重学习机制——相互注意。
第三步，基于空间感知的集成去雨模块，利用空间信息，完成去雨任务；
为了充分利用空间信息，实现去训练的任务，还定义了以下的空间感知集成去训练：
是空间感知的集成去雨网络，/>表示经过空间感知网络后的当前帧的条纹。对于该模块的网络架构，构建了两个残差模块(Conv+ReLU+Conv)。最后由输入当前雨帧Yt减去/>便可以得到最终的去雨结果Xt。
损失函数。
网络是以L1范数作为损失函数，在与无雨图像的比较指导下逐步去训练，训练的损失函数可以表示为：，
λα、λβ、λ为平衡每一项的加权参数。表示/> 表示/>
这个损失函数将指导网络学习从输入的雨的视频去除雨条纹。
Claims (3)
1.一种基于空间感知与时间差异的视频去雨方法，其特征在于，步骤如下：
第一步，根据时间差异性做减法得到初始雨条纹；
将帧按照空间位置看作是一个大的集合，然后根据该位置上是否有雨条纹再进行划分，具体表示为，
π(Yt)＝πr(Yt)∪πb(Yt), (1)π(Yt)表示当前帧对于空间位置的集合表示；πr(Yt)是当前帧中被雨水覆盖的位置；πb(Yt)则表示当前帧中没有雨条纹的位置，也就是后续不再需要进行处理的位置；对于πr(Yt)而言，视频序列中相邻帧不仅在背景信息上存在重叠关系，在雨线的分布上同样存在重叠；因此，参考相邻帧信息，πr(Yt)可以表示为，
πr(Yadjacent)是视频序列中相邻帧的雨线位置的集合表示；交集∩表示当前帧和相邻帧之间雨线的重叠区域，而则表示当前帧的独有的与相邻帧无关的雨线位置；
第二步，利用注意力机制学习其中的时间相关性，获得更准确的雨线图；
所述的第二步具体操作如下：
利用自注意和相互注意机制学习不同帧的雨纹的时间相关性，并去除物体运动引人的背景信息：
代表自注意机制，/>代表相互注意机制；在与输入元素相乘之后，就可以接收目标结果了；同时，对不同注意网络得到的中间结果进行进一步的处理，引入了一种权重学习机制——相互注意：
第三步，基于空间感知的集成去雨模块，利用空间信息，完成去雨任务。
2.如权利要求1所述的一种基于空间感知与时间差异的视频去雨方法，其特征在于，所述的第一步具体操作如下：
根据雨的位置在相邻帧的重叠部分和差异部分的原理，对进行光流对齐后的进行相减得到初始雨条纹提取，
3.如权利要求1或2所述的基于空间感知与时间差异学习的视频去雨方法，其特征在于，所述的第三步具体操作如下：
定义空间感知集成去训练:
是空间感知的集成去雨网络，/>表示经过空间感知网络后的当前帧的条纹；
对于该模块的网络架构，构建了两个残差模块(Conv+ReLU+Conv)；最后由输入当前雨帧Yt减去便可以得到最终的去雨结果Xt。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111078395.3A CN113870129B (zh) | 2021-09-15 | 2021-09-15 | 基于空间感知与时间差异学习的视频去雨方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111078395.3A CN113870129B (zh) | 2021-09-15 | 2021-09-15 | 基于空间感知与时间差异学习的视频去雨方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113870129A CN113870129A (zh) | 2021-12-31 |
| CN113870129B true CN113870129B (zh) | 2024-05-24 |
Family
ID=78995964
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111078395.3A Active CN113870129B (zh) | 2021-09-15 | 2021-09-15 | 基于空间感知与时间差异学习的视频去雨方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113870129B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116596779B (zh) * | 2023-04-24 | 2023-12-01 | 天津大学 | 基于Transformer的Raw视频去噪方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| AU2020100196A4 (en) * | 2020-02-08 | 2020-03-19 | Juwei Guan | A method of removing rain from single image based on detail supplement |
| CN111553851A (zh) * | 2020-04-08 | 2020-08-18 | 大连理工大学 | 一种基于时间域的雨线分解和空间结构引导的视频去雨方法 |
| CN112734672A (zh) * | 2021-01-13 | 2021-04-30 | 大连理工大学 | 基于注意力形变卷积自动搜索的实时视频去雨方法 |
-
2021
- 2021-09-15 CN CN202111078395.3A patent/CN113870129B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| AU2020100196A4 (en) * | 2020-02-08 | 2020-03-19 | Juwei Guan | A method of removing rain from single image based on detail supplement |
| CN111553851A (zh) * | 2020-04-08 | 2020-08-18 | 大连理工大学 | 一种基于时间域的雨线分解和空间结构引导的视频去雨方法 |
| CN112734672A (zh) * | 2021-01-13 | 2021-04-30 | 大连理工大学 | 基于注意力形变卷积自动搜索的实时视频去雨方法 |
Non-Patent Citations (1)
| Title |
|---|
| 自然场景图像去雨的可学习混合MAP网络;马龙;刘日升;姜智颖;王怡洋;樊鑫;李豪杰;;中国图象图形学报;20180216(第02期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113870129A (zh) | 2021-12-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Mehra et al. | ReViewNet: A fast and resource optimized network for enabling safe autonomous driving in hazy weather conditions | |
| Yang et al. | Single image deraining: From model-based to data-driven and beyond | |
| Chen et al. | Pixelwise deep sequence learning for moving object detection | |
| Spencer et al. | Defeat-net: General monocular depth via simultaneous unsupervised representation learning | |
| CN111104903B (zh) | 一种深度感知交通场景多目标检测方法和系统 | |
| CN110503613B (zh) | 基于级联空洞卷积神经网络的面向单幅图像去雨方法 | |
| CN111639564B (zh) | 一种基于多注意力异构网络的视频行人重识别方法 | |
| CN112215074A (zh) | 基于无人机视觉的实时目标识别与检测追踪系统及方法 | |
| CN111126223A (zh) | 基于光流引导特征的视频行人再识别方法 | |
| CN112365414A (zh) | 一种基于双路残差卷积神经网络的图像去雾方法 | |
| CN111553851A (zh) | 一种基于时间域的雨线分解和空间结构引导的视频去雨方法 | |
| Ahn et al. | EAGNet: Elementwise attentive gating network-based single image de-raining with rain simplification | |
| Guo et al. | Joint raindrop and haze removal from a single image | |
| Fan et al. | Multiscale cross-connected dehazing network with scene depth fusion | |
| Mayr et al. | Self-supervised learning of the drivable area for autonomous vehicles | |
| CN112288776A (zh) | 一种基于多时间步金字塔编解码器的目标跟踪方法 | |
| Yu et al. | Split-attention multiframe alignment network for image restoration | |
| Chaudhary et al. | Tsnet: deep network for human action recognition in hazy videos | |
| CN113763427A (zh) | 一种基于从粗到精遮挡处理的多目标跟踪方法 | |
| Yan et al. | Feature-aligned video raindrop removal with temporal constraints | |
| CN113870129B (zh) | 基于空间感知与时间差异学习的视频去雨方法 | |
| Peng et al. | Single-image raindrop removal using concurrent channel-spatial attention and long-short skip connections | |
| Roy et al. | A comprehensive survey on computer vision based approaches for moving object detection | |
| Yoon et al. | Thermal-infrared based drivable region detection | |
| Šarić et al. | Dense semantic forecasting in video by joint regression of features and feature motion |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |