CN114463237B - 基于全局运动补偿和帧间时域关联性的实时视频去雨方法 - Google Patents
基于全局运动补偿和帧间时域关联性的实时视频去雨方法 Download PDFInfo
- Publication number
- CN114463237B CN114463237B CN202210114817.6A CN202210114817A CN114463237B CN 114463237 B CN114463237 B CN 114463237B CN 202210114817 A CN202210114817 A CN 202210114817A CN 114463237 B CN114463237 B CN 114463237B
- Authority
- CN
- China
- Prior art keywords
- characteristic information
- motion compensation
- convolution
- frame
- rain
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 71
- 238000005457 optimization Methods 0.000 claims abstract description 12
- 238000004364 calculation method Methods 0.000 claims abstract description 11
- 238000011176 pooling Methods 0.000 claims abstract description 9
- 230000004927 fusion Effects 0.000 claims abstract description 7
- 238000013528 artificial neural network Methods 0.000 claims abstract description 6
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 4
- 230000006872 improvement Effects 0.000 claims abstract description 4
- 238000012545 processing Methods 0.000 claims description 10
- 230000002123 temporal effect Effects 0.000 claims description 9
- 230000006870 function Effects 0.000 claims description 6
- 238000010586 diagram Methods 0.000 claims description 5
- 230000000295 complement effect Effects 0.000 claims description 4
- 238000010606 normalization Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 6
- 238000004422 calculation algorithm Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 3
- 238000003909 pattern recognition Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 230000000704 physical effect Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000007670 refining Methods 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 230000001447 compensatory effect Effects 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000002688 persistence Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000036962 time dependent Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/207—Analysis of motion for motion estimation over a hierarchy of resolutions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Molecular Biology (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明提出一种基于全局运动补偿和帧间时域关联性的实时视频去雨方法，进行基于全局运动补偿的视频帧间运动信息对齐，包括采用基于全局上下文模块GCM进行改进来完成运动估计和运动补偿，基于空洞卷积和下采样法的混合多尺度特征提取，然后基于混合多尺度时域互补优化，基于卷积神经网络的多帧特征融合及目标帧重建，通过最小化输出图片和对应的背景图片的像素差的平方和损失函数来优化神经网络，并利用优化后网络输出无雨图片。其中，全局运动补偿通过空间金字塔池化来减少全局运动补偿的计算点，从而减少计算量。基于混合多尺度时域相关性针对混合尺度的特征信息的时域互补性，以此来提高各个尺度特征信息，并最终提高视频去雨的效果。
Description
技术领域
本发明涉及户外实时视频去雨处理技术领域，具体涉及一种基于全局运动补偿和混合多尺度时域关联性的实时视频去雨方法。
背景技术
在指恶劣天气情况下，视频质量会受到雨条纹的影响，无法利用室外视频来做相应的视频，比方说目标检索，目标跟踪，人物识别等等。基于此，去除视频信息中的雨条纹信息十分必要。最近几年视频去雨技术成为计算机视觉领域一项新兴技术。如何保留视频图像细节信息，最大限度提高受影响的视频图像的清晰度是视频去雨技术需要面对的问题。
针对视频中的雨信息，早期方法分析了自然雨条纹的特征。随后产生了各种基于雨特性的视频去雨方法，以下详述。
Garg和Nayar等[文献1]分析了自然雨条纹的特征，综合分析了雨条纹的视觉效果。在[文献2]中，Garg和Nayar等进一步提出在图像的拍摄过程中，由于曝光时间的影响，雨滴在图像上会形成雨痕的视觉效果。在这种情况下，受雨水影响的像素主要取决于像素点本身的像素值、雨滴的大小和速度以及曝光时间。该论文提出通过设置相机的参数，如景深、曝光时间等来减少雨条纹对图片的影响。
针对雨的特性，新加坡国立大学Xiaopeng Zhang等[文献3]提出了一种新的去雨方法，该方法在视频中结合了雨的时间和色度属性。时间属性指出，在整个视频中，图像像素并不总是被雨覆盖。色度特性表明受雨影响的像素的R，G和B值的变化大致相同。通过结合这两个属性，方法可以检测并消除固定摄像机拍摄的静态和动态场景中的雨痕。
针对传统方法中没有考虑到视频图像中的运动物体这一问题，2015年Kim等在[文献4]提出了一种使用时间相关和低秩矩阵完成的新颖的视频排序方法。该方法根据当前帧与相邻帧之间的差异生成初始雨图。使用稀疏基向量表示初始雨图，采用支持向量机(SVM)将其分为雨连线和异常点。通过去除异常值，改进雨图并检测雨条纹。该方法采用EM算法迭代计算。实验结果表明，该方法能够有效去除雨痕，有利于重建场景内容。
针对传统视频去雨的方法通常是将雨条纹信息作为一种确定性的信息，2017年，西安交通大学的Weiwei[文献5]提出将视频信息分为三个成分：背景信息，运动的物体，雨信息，并采用混合高斯模型来表示雨条纹信息。该论文将雨条信息作为一种基于块的高斯混合模型的随机信息，这种改变可以让该方法可以适应更广泛的雨条情况。
随着深度学习技术的广泛使用，最近几年基于网络的视频去雨方法开始产生。2018年，刘家瑛老师团队[6]提出了基于深度学习的视频去雨方法，该方法探讨了雨条纹对背景信息具有一定的遮挡性，并提出建立了联合循环雨水清除和重建网络来消除雨条纹对背景的遮挡影响。2019年，刘家瑛老师团队[7]又提出采用先初去雨再细化去雨的方式来消除雨条纹对视频的影响。在此阶段中，初步去雨的结果作为细化去雨的输入。同时为了引导网络学习精准的输出视频，该网络采用了运动限制以及亮度限制两者结合来引导网络学习。该方法前期采用了光流法来利用相邻帧之间的运动互补性，但是由于光流法本身具有一定的局限性，同样也会影响到网络框架本身的实验结果。2020年，刘家瑛老师团队[8]针对雨视频连续序列帧信息的高度相似性，并可以视为同一场景的不同版本，提出了基于时域相关性以及一致性的自学习的视频去雨网络框架。该网络提出了采用相邻图片帧来引导学习当前视频帧的图片信息。网络第一阶段，是采用时间域相关性，利用相邻视频帧来学习当前帧的干净图片。第二阶段是增强不同视频帧的时间域一致性。2021年，文献[9]针对当前合成雨数据集和真实数据集的差异性导致在真实视频去雨效果的不尽如意，以及结合雨条纹空间域上有很强的物理特性(比如方向、尺度以及薄厚)，同时在时间域上具有自然的持续性，提出了半监督视频去雨算法，该算法采用一个动态的雨发生器来描述雨的物理特性，这种动态发生器包括一个生成模型和一个转换模型来同时编码空间域物理结构和时间上连续变化的雨条纹，这被称为参数化深度神经网络。网络还设计了一种EM算法来求解该模型。该算法中在网络重建过程中采用了3D卷积，该方式导致了该算法需要用到的计算量比较大。
综上所述，现有方法主要考虑到雨条纹的物理特性以及随机分布，忽略了雨条纹的帧间多尺度时域互补特性以及传统方法所用的光流法的精确性有限，从而降低了视频去雨方法中的准确性。同时当前视频去雨算法运行时间较长，实时性较差。
下面就视频去雨相关专利展开分析。
迄今为止，在所有视频去雨方向共计受理专利28项(其中授权6项)。在9项已有关于视频雨视频中，主要有涉及基于光照、K分类算法、雨势大小判断、多尺度卷积稀疏编码，以及混合高斯模型的相关专利。结合雨条纹的稀疏性，本专利采用混合指数模型来模拟雨条纹，并进一步达到视频去雨的方法。
表1：相关领域受礼专利数量
| 所在领域 | 受理专利数量 |
| 基于模型的视频去雨 | 7 |
| 基于深度学习的视频去雨 | 21 |
相关文献：
[1]Kshitiz Garg and Shree K Nayar,Detection and removal of rain fromvideos[C],in CVPR,2004
[2]Kshitiz Garg and Shree K Nayar,When does a camera see rain[C]？inICCV,2005
[3]Zhang,Xiaopeng and Li,Hao and Qi,Yingyi and Leow,Wee Kheng and Ng,Teck Khim.RAIN REMOVAL IN VIDEO BY COMBINING TEMPORAL AND CHROMATICPROPERTIES[C],in ICME,2006
[文献4]Kim,Jin-Hwan，Sim,Jae-Young，Kim,Chang-Su.Video Deraining andDesnowing Using Temporal Correlation and Low-Rank Matrix Completion[J],2015TIP.
[5]Wei Wei,Lixuan Yi,Qi Xie,Qian Zhao,Deyu Meng,and Zongben Xu,Shouldwe encode rain streaks invideo as deterministic or stochastic[C],in CVPR,2017.
[6]iaying Liu,Wenhan Yang,Shuai Yang,Zongming Guo；Erase or fill？deepjoint recurrent rain removal and reconstruction in videos.Proceedings of theIEEE conference on computer vision and pattern recognition.2018,pp.3233-3242.
[7]Yang W,Liu J,Feng J.Frame-consistent recurrent video derainingwith dual-level flow[C]//Proceedings of the IEEE/CVF Conference on ComputerVision and Pattern Recognition.2019:1661-1670.
[8]Yang W,Tan R T,Wang S,et al.Self-learning video rain streakremoval:When cyclic consistency meets temporal correspondence[C]//Proceedingsof the IEEE/CVF Conference on Computer Vision and Pattern Recognition.2020:1720-1729.
[9]Yue Z,Xie J,Zhao Q,et al.Semi-Supervised Video Deraining withDynamical Rain Generator[C]//Proceedings of the IEEE/CVF Conference onComputer Vision and Pattern Recognition.2021.
[10]X.Fu,J.Huang,X.Ding,Y.Liao,and J.Paisley,“Clearing the skies:Adeep network architecture for single-image rain removal,”IEEE Trans.ImageProcess.,vol.26,no.6,pp.2944–2956,2017.
[11]T.-X.Jiang,T.-Z.Huang,X.-L.Zhao,L.-J.Deng,and Y.Wang,“Fastderain:Anovel video rain streak removal method using directional gradient priors,”IEEE Trans.Image Process.,vol.28,no.4,pp.2089–2102,2018.
[12]J.Chen,C.-H.Tan,J.Hou,L.-P.Chau,and H.Li,“Robust video contentalignment and compensation for rain removal in a cnn framework,”in Proc.IEEEConf.Comput.Vision Pattern Recognit.,2018,pp.6286–6295.
[13]S.Deng,M.Wei,J.Wang,Y.Feng,L.Liang,H.Xie,F.L.Wang,and M.Wang,“Detail-recovery image deraining via context aggregation networks,”inProc.IEEE Conf.Comput.Vision Pattern Recognit.,2020,pp.14 560–14 569.
[14]K.Jiang,Z.Wang,P.Yi,C.Chen,B.Huang,Y.Luo,J.Ma,and J.Jiang,“Multi-scale progressive fusion network for single image deraining,”in Proc.IEEEConf.Comput.Vision Pattern Recognit.,2020,pp.8346–8355.
[15]Z.Yue,J.Xie,Q.Zhao,and D.Meng,“Semi-supervised video derainingwith dynamical rain generator,”in Proc.IEEE Conf.Comput.Vision PatternRecognit.,2021,pp.642–652.
发明内容
针对现有视频去雨技术存在的不足，本发明提出了一种基于全局运动补偿和混合多尺度时域关联性的视频去雨方法。
本发明所采用的技术方案是一种基于全局运动补偿和帧间时域关联性的实时视频去雨方法，进行如下步骤，
步骤S1，基于全局运动补偿的视频帧间运动信息对齐，包括采用基于全局上下文模块GCM进行改进来完成运动估计和运动补偿，实现包括以下步骤，
步骤S1.1，将特征信息分为三个路径处理，第一个路径是采用空间金字塔池化方法来减少图像计算点；
步骤S1.2，将特征信息采用第二个路径通过1x1卷积和空间金字塔池化方法来减少图像计算点；
步骤S1.3，将S1.1和S1.2所得的特征图通过点乘的方式获得全局上下文特征信息；
步骤S1.4，将步骤S1.3所得的特征信息依次通过1x1卷积、归一化处理以及1x1卷积转换成通道相关特征信息；
步骤S1.5，将步骤S1.4所得的特征信息与步骤S2中所得的特征信息相加，即为通过全局特征相关信息进行全局运动补偿的多帧信息，作为GCM的第三条路径处理；
步骤S2，基于空洞卷积和下采样法的混合多尺度特征提取；
步骤S3，基于混合多尺度时域互补的混合多尺度特征优化，实现包括以下步骤，
步骤S3.1，分别采用卷积提取特征信息，为了融合各个尺度的特征信息，并合并在一起；
步骤S3.2，将步骤S3.1得到的特征信息采用混合卷积提取相应的特征信息；
步骤S3.3，将步骤S3.2得到的特征信息分别与步骤S3.1得到的特征信息合并在一起；
步骤S3.4，将步骤S3.3得到的特征信息采用卷积来充分融合并提取；
步骤S3.5，将步骤S3.4所得的特征信息与步骤S3.1的输入特征信息相加；
步骤S4，基于卷积神经网络的多帧特征融合及目标帧重建；
步骤S5，通过最小化步骤S4中的输出图片和对应的背景图片的像素差的平方和损失函数Lpixel来优化神经网络，并利用优化后网络输出无雨图片。
而且，步骤S2中，采用基于空洞卷积和下采样多种方式来提取不同尺度的特征信息，达到混合多尺度来时域特征信息互补关联优化：
而且，所述步骤S3.2中，采用混合卷积的方式提取多帧特征信息，包括采用并列的1x1卷积和3x3卷积。
而且，所述步骤S3.4中，采用三层卷积的方式将采用卷积来充分融合并提取。
而且，所述步骤S4中，采用三层3x3卷积来完成多帧特征融合和优化。
而且，所述步骤S5中，采用以下函数实现优化神经网络，
其中，H、W、C表示雨图片的高、宽以及通道数，m表示某一像素点，N表示图片中总的像素点；Im和分别表示网络的输入雨图片中像素点m对应的像素值以及该输入雨图片对应的背景图片中像素点m对应的像素值。
与现有视频去雨方法相比，本发明具有以下优点和有益效果：
1)与现有技术相比，本发明提出了一个新问题，视频去雨方法的实时性；
2)与现有技术相比，本发明提出了一个全新的基于全局的运动补偿的多帧运动信息对齐方法。
3)与现有技术相比，本发明通过基于多帧图片时域特征互补性的混合多尺度特征优化方法。
附图说明
图1为本发明实施例的流程图。
图2为本发明实施例的全局运动补偿的原理图。
图3为本发明实施例的混合多尺度时域关联优化的原理图。
具体实施方式
为了便于本领域普通技术人员理解和实施本发明，下面结合附图和实施例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。
本发明采用了一种全局运动补偿方式来进行帧间运动信息对齐，并避免了常用的运动估计和运动补偿的复杂算法，如光流法等；混合多尺度时域关联性主要研究混合多尺度特征信息的时域互补性，以此来提高各个尺度的特征信息，并最终提高视频去雨的效果。针对光流法来完成运动估计和运动补偿具有一定的缺陷性，以及混合多尺度特征在帧间具有一定的时域补偿性。为了解决这些问题，本发明通过采用全局运动补偿来完成帧间运动信息的补偿，以及混合多尺度特征时域关联优化各尺度特征信息，并最终完成视频去雨。
本发明提出视频去雨网络框架主要由三个部分组成：全局运动补偿，混合多尺度特征提取，基于多帧图片时域互补性的混合多尺度特征优化，多帧特征融合并优化目标帧。
本实施例采用pytorch1.2作为仿真实验平台，深度学习网络框架如图1，据此说明该发明并进行实验验证。在公共的数据集NUTRain上进行训练和测试。针对本发明做进一步的阐述。
一种基于全局运动补偿和混合多尺度时域关联性的视频去雨方法，用于采用改进的全局上下文模块来完成多帧之间的运动估计和运动补偿，并采用空间金字塔池化方式来减少全局上下文模块的计算量。将完成运动补偿后的特征信息采用空洞卷积和下采样方式完成混合多尺度特征信息的提取。根据帧间不同尺度的相似雨条纹具有一定的特征互补性，将混合多尺度特征信息更新优化。最后，通过将多种特种信息融合并获取目标帧信息，完成视频去雨。
参见图1，实施例提供的视频去雨求解过程包括如下步骤：
步骤S1：基于全局运动补偿的视频帧间特征对齐；
本发明提出采用全局上下文模块来完成帧间运动估计和运动补偿。该模块将输入特征信息分为三条路径来完成，并且可以划分为两个步骤。第一个步骤是为了完成全局上下文特征提取，第二个步骤是为了完成相关转换。为了减少计算量，第二个步骤采用了bottleneck模块来取代常规卷积操作。同时为了更进一步减少计算量，网络采用了空间金字塔池化方式来减少计算点。
参见图2，实施例中，步骤1中采用基于全局上下文模块(global context module，简称为GCM)进行改进来完成运动估计和运动补偿。步骤1的实施，具体包括以下步骤：
步骤S1.1，将特征信息分为三个路径处理，第一个路径是采用空间金字塔池化方法(SPP)来减少图像计算点；
步骤S1.2将特征信息采用第二个路径通过1x1卷积和空间金字塔池化方法(SPP)来减少图像计算点；
步骤S1.3，将S1.1和S1.2所得的特征图通过点乘的方式获得全局上下文特征信息；
步骤S1.4，将步骤S1.3所得的特征信息依次通过1x1卷积、归一化处理以及1x1卷积转换成通道相关特征信息；
步骤S1.5，将步骤S1.4所得的特征信息与步骤S2中所得的特征信息相加，即为通过全局特征相关信息进行全局运动补偿的多帧信息，此即为GCM的第三条路径处理。
步骤S2：基于空洞卷积和下采样法的混合多尺度特征提取；
步骤2中分别采用混合多尺度特征提取采用空洞卷积的方式，以及下采样法的方式来提取不同尺度的特征信息。
也即分别采用不同空洞参数的空洞卷积来提取不同尺度的特征信息然后采用下采样法来提取尺度特征信息x01ds。这样可以达到混合多尺度来时域特征信息互补关联优化。
步骤S3：基于时域帧间互补的混合多尺度特征优化；
参见图3，步骤S3的具体实现，包括如下步骤：
步骤S3.1，分别采用bottleneck卷积变换提取特征信息和x02ds，为了融合各个尺度的特征信息，并合并在一起；
本步骤采用合并的方式来融合不同种类的特征信息。
步骤S3.2，将S3.1步骤得到的特征信息采用混合卷积(并列的1x1卷积和3x3卷积)提取相应的特征信息；
本步骤中，采用混合卷积的方式(并列的1x1卷积和3x3卷积)提取多帧特征信息x03以及将其下采样后得到的x03ds。
步骤S3.3，将步骤S3.2得到的特征信息分别与步骤S3.1卷积得到的特征信息合并在一起；
本步骤中，采用合并的方式将不同时域的特征信息融合在一起得到和x04ds。
步骤S3.4，将步骤S3.3得到的特征信息采用bottleneck卷积变换来充分融合并提取得到和x05ds。
本步骤中，优选可采用三层卷积的方式将采用卷积来充分融合并提取和x05ds。
步骤S3.5，将步骤S3.4所得的特征信息与步骤S3.1的输入特征信息相加分别得到和x06ds。
步骤S4：基于卷积神经网络的多帧特征融合及目标帧重建。
作为优选，采用三层3x3卷积来融合多帧特征信息并实现优化。该步骤的输出特征信息即为目标帧信息。
步骤S5，通过最小化步骤S4中的输出图片和对应的背景图片的像素差的平方和损失函数Lpixel来优化神经网络，并利用优化后网络输出无雨图片。
作为优选，步骤S5中采用L2像素损失函数作为网络约束。
其中，H、W、C表示雨图片的高、宽以及通道数，m表示某一像素点，N表示图片中总的像素点；Im和分别表示网络的输入雨图片中像素点m对应的像素值以及该输入雨图片对应的背景图片中像素点m对应的像素值。
具体实施时，以上技术方案可采用计算机软件技术实现自动运行流程，运行本方法的硬件装置也应当在本发明的保护范围内。
为了证明该方法的优越性，将该方法和当前一些先进的方法做了实验对比：
1、本方法在模拟数据上进行试验。为了验证该方法优越于其他方法，本发明中采用PSNR以及SSIM作为数据指标，数据结果见表1.
表1本发明在合成数据上与其他方法比较结果
| DDN[10] | FastRain[11] | SpacCNN[12] | DRD[13] | MSPFN[14] | S2VD[15] | Ours | |
| PSNR | 32.87 | 30.54 | 33.11 | 32.98 | 35.76 | 34.21 | 37.15 |
| SSIM | 0.9497 | 0.9255 | 0.9475 | 0.9411 | 0.9609 | 0.9543 | 0.9689 |
表2本发明与其他方法在计算消耗量上的比较结果
| DRD[13] | MSPFN[14] | S2VD[15] | Ours | |
| Par.(M) | 5.22 | 13.56 | 0.53 | 0.21 |
| Time(ms) | 668 | 552 | 32 | 48 |
2、本方法在真实数据上的结果也有相应结论，优越于其他方法
3、本方法在计算量与其他方法的比较见表2，S2VD虽然在计算消耗量方面优于本算法，其实验效果相对较差。
应当理解的是，本说明书未详细阐述的部分均属于现有技术。上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。
Claims (6)
1.一种基于全局运动补偿和帧间时域关联性的实时视频去雨方法，其特征在于：进行如下步骤，
步骤S1，基于全局运动补偿的视频帧间运动信息对齐，包括采用基于全局上下文模块GCM进行改进来完成运动估计和运动补偿，实现包括以下步骤，
步骤S1.1，将特征信息分为三个路径处理，第一个路径是采用空间金字塔池化方法来减少图像计算点；
步骤S1.2，将特征信息采用第二个路径通过1x1卷积和空间金字塔池化方法来减少图像计算点；
步骤S1.3，将S1.1和S1.2所得的特征图通过点乘的方式获得全局上下文特征信息；
步骤S1.4，将步骤S1.3所得的特征信息依次通过1x1卷积、归一化处理以及1x1卷积转换成通道相关特征信息；
步骤S1.5，将步骤S1.4所得的特征信息与步骤S2中所得的特征信息相加，即为通过全局特征相关信息进行全局运动补偿的多帧信息，作为GCM的第三条路径处理；
步骤S2，基于空洞卷积和下采样法的混合多尺度特征提取；
步骤S3，基于混合多尺度时域互补的混合多尺度特征优化，实现包括以下步骤，
步骤S3.1，分别采用卷积提取特征信息，为了融合各个尺度的特征信息，并合并在一起；
步骤S3.2，将步骤S3.1得到的特征信息采用混合卷积提取相应的特征信息；
步骤S3.3，将步骤S3.2得到的特征信息分别与步骤S3.1得到的特征信息合并在一起；
步骤S3.4，将步骤S3.3得到的特征信息采用卷积来充分融合并提取；
步骤S3.5，将步骤S3.4所得的特征信息与步骤S3.1的输入特征信息相加；
步骤S4，基于卷积神经网络的多帧特征融合及目标帧重建；
步骤S5，通过最小化步骤S4中的输出图片和对应的背景图片的像素差的平方和损失函数Lpixel来优化神经网络，并利用优化后网络输出无雨图片。
2.根据权利要求1所述基于全局运动补偿和帧间时域关联性的实时视频去雨方法，其特征在于：步骤S2中，采用基于空洞卷积和下采样多种方式来提取不同尺度的特征信息，达到混合多尺度来时域特征信息互补关联优化。
3.根据权利要求1所述基于全局运动补偿和帧间时域关联性的实时视频去雨方法，其特征在于：所述步骤S3.2中，采用混合卷积的方式提取多帧特征信息，包括采用并列的1x1卷积和3x3卷积。
4.根据权利要求1所述基于全局运动补偿和帧间时域关联性的实时视频去雨方法，其特征在于：所述步骤S3.4中，采用三层卷积的方式将采用卷积来充分融合并提取。
5.根据权利要求1所述基于全局运动补偿和帧间时域关联性的实时视频去雨方法，其特征在于：所述步骤S4中，采用三层3x3卷积来完成多帧特征融合和优化。
6.根据权利要求1或2或3或4或5所述基于全局运动补偿和帧间时域关联性的实时视频去雨方法，其特征在于：所述步骤S5中，采用以下函数实现优化神经网络，
其中，H、W、C表示雨图片的高、宽以及通道数，m表示某一像素点，N表示图片中总的像素点；Im和分别表示网络的输入雨图片中像素点m对应的像素值以及该输入雨图片对应的背景图片中像素点m对应的像素值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210114817.6A CN114463237B (zh) | 2022-01-30 | 2022-01-30 | 基于全局运动补偿和帧间时域关联性的实时视频去雨方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210114817.6A CN114463237B (zh) | 2022-01-30 | 2022-01-30 | 基于全局运动补偿和帧间时域关联性的实时视频去雨方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114463237A CN114463237A (zh) | 2022-05-10 |
| CN114463237B true CN114463237B (zh) | 2024-04-19 |
Family
ID=81412326
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210114817.6A Active CN114463237B (zh) | 2022-01-30 | 2022-01-30 | 基于全局运动补偿和帧间时域关联性的实时视频去雨方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114463237B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115578295B (zh) * | 2022-11-17 | 2023-04-07 | 中国科学技术大学 | 一种视频去雨方法、系统、设备及存储介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2015129259A1 (ja) * | 2014-02-28 | 2015-09-03 | パナソニックＩｐマネジメント株式会社 | 画像処理装置及び画像処理方法 |
| CN109118431A (zh) * | 2018-09-05 | 2019-01-01 | 武汉大学 | 一种基于多记忆及混合损失的视频超分辨率重建方法 |
| WO2019010950A1 (zh) * | 2017-07-13 | 2019-01-17 | 北京大学深圳研究生院 | 用于图像或视频中行人重识别的深度判别网络模型方法 |
| CN110070506A (zh) * | 2019-04-15 | 2019-07-30 | 武汉大学 | 一种基于多尺度混合指数模型的视频去雨方法 |
| AU2020100460A4 (en) * | 2020-03-26 | 2020-04-30 | Huang, Shuying DR | Single image deraining algorithm based on multi-scale dictionary |
| CN111340738A (zh) * | 2020-03-24 | 2020-06-26 | 武汉大学 | 一种基于多尺度渐进融合的图像去雨方法 |
| CN112070687A (zh) * | 2020-08-20 | 2020-12-11 | 武汉大学 | 一种基于团队递归反馈机制的图像去雨方法及系统 |
-
2022
- 2022-01-30 CN CN202210114817.6A patent/CN114463237B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2015129259A1 (ja) * | 2014-02-28 | 2015-09-03 | パナソニックＩｐマネジメント株式会社 | 画像処理装置及び画像処理方法 |
| WO2019010950A1 (zh) * | 2017-07-13 | 2019-01-17 | 北京大学深圳研究生院 | 用于图像或视频中行人重识别的深度判别网络模型方法 |
| CN109118431A (zh) * | 2018-09-05 | 2019-01-01 | 武汉大学 | 一种基于多记忆及混合损失的视频超分辨率重建方法 |
| CN110070506A (zh) * | 2019-04-15 | 2019-07-30 | 武汉大学 | 一种基于多尺度混合指数模型的视频去雨方法 |
| CN111340738A (zh) * | 2020-03-24 | 2020-06-26 | 武汉大学 | 一种基于多尺度渐进融合的图像去雨方法 |
| AU2020100460A4 (en) * | 2020-03-26 | 2020-04-30 | Huang, Shuying DR | Single image deraining algorithm based on multi-scale dictionary |
| CN112070687A (zh) * | 2020-08-20 | 2020-12-11 | 武汉大学 | 一种基于团队递归反馈机制的图像去雨方法及系统 |
Non-Patent Citations (1)
| Title |
|---|
| 基于多通道多尺度卷积神经网络的单幅图像去雨方法;柳长源;王琪;毕晓君;;电子与信息学报;20200915(第09期);224-231 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114463237A (zh) | 2022-05-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Hu et al. | Depth-attentional features for single-image rain removal | |
| Li et al. | All in one bad weather removal using architectural search | |
| Liu et al. | Erase or fill? deep joint recurrent rain removal and reconstruction in videos | |
| Ancuti et al. | NTIRE 2021 nonhomogeneous dehazing challenge report | |
| Zhang et al. | Beyond monocular deraining: Parallel stereo deraining network via semantic prior | |
| Cai et al. | FCSR-GAN: Joint face completion and super-resolution via multi-task learning | |
| CN110188835B (zh) | 基于生成式对抗网络模型的数据增强行人再识别方法 | |
| Yang et al. | Stereoscopic video quality assessment based on 3D convolutional neural networks | |
| Wei et al. | Building detail-sensitive semantic segmentation networks with polynomial pooling | |
| Liu et al. | Improving nighttime driving-scene segmentation via dual image-adaptive learnable filters | |
| Fan et al. | Multiscale cross-connected dehazing network with scene depth fusion | |
| Zheng et al. | T-net: Deep stacked scale-iteration network for image dehazing | |
| Kim et al. | Cross-attention transformer for video interpolation | |
| CN114463237B (zh) | 基于全局运动补偿和帧间时域关联性的实时视频去雨方法 | |
| Zhou et al. | PADENet: An efficient and robust panoramic monocular depth estimation network for outdoor scenes | |
| Wan et al. | Crformer: A cross-region transformer for shadow removal | |
| Liu et al. | Deep joint estimation network for satellite video super-resolution with multiple degradations | |
| Liu et al. | Two-stream refinement network for RGB-D saliency detection | |
| Cho et al. | Learning adaptive dense event stereo from the image domain | |
| Ran et al. | Adaptive fusion and mask refinement instance segmentation network for high resolution remote sensing images | |
| Fan et al. | Non-aligned supervision for real image dehazing | |
| Zhu et al. | HDRD-Net: High-resolution detail-recovering image deraining network | |
| Xue et al. | Multi-scale features joint rain removal for single image | |
| Guo et al. | DADFNet: Dual attention and dual frequency-guided dehazing network for video-empowered intelligent transportation | |
| Mao et al. | Aggregating Global and Local Representations via Hybrid Transformer for Video Deraining |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |