CN110070506A - 一种基于多尺度混合指数模型的视频去雨方法 - Google Patents
一种基于多尺度混合指数模型的视频去雨方法 Download PDFInfo
- Publication number
- CN110070506A CN110070506A CN201910298090.XA CN201910298090A CN110070506A CN 110070506 A CN110070506 A CN 110070506A CN 201910298090 A CN201910298090 A CN 201910298090A CN 110070506 A CN110070506 A CN 110070506A
- Authority
- CN
- China
- Prior art keywords
- video
- rain
- model
- information
- indicate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 62
- 238000005457 optimization Methods 0.000 claims abstract description 15
- 238000013179 statistical model Methods 0.000 claims abstract description 14
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 12
- 238000000354 decomposition reaction Methods 0.000 claims abstract description 12
- 238000001514 detection method Methods 0.000 claims abstract description 8
- 239000011159 matrix material Substances 0.000 claims description 18
- 238000009826 distribution Methods 0.000 claims description 11
- 238000010276 construction Methods 0.000 claims description 7
- 230000000295 complement effect Effects 0.000 claims description 3
- 238000009795 derivation Methods 0.000 claims description 3
- 241000208340 Araliaceae Species 0.000 claims description 2
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 claims description 2
- 235000003140 Panax quinquefolius Nutrition 0.000 claims description 2
- 235000008434 ginseng Nutrition 0.000 claims description 2
- 229910017435 S2 In Inorganic materials 0.000 claims 1
- 238000012545 processing Methods 0.000 abstract description 6
- 238000005516 engineering process Methods 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 101100072002 Arabidopsis thaliana ICME gene Proteins 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000005314 correlation function Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 239000004615 ingredient Substances 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明提出了一种基于多尺度混合指数模型的视频去雨方法，包括获取原始雨视频信息，根据雨视频的结构特性，构造成多尺度雨视频模型；原始雨视频成分分解，包括将不同尺度雨视频分别分解，得到雨信息，背景以及前景；对不同尺度信息，构造雨视频背景模型、前景运动物体检测模型和基于混合指数模型的初始雨统计模型，从而建立单一尺度下的雨视频的统计模型；对单一尺度下的雨视频统计模型用最大期望迭代优化算法优化，获得去雨后视频；对各个尺度的去雨视频采用金字塔分解重构，并加和平均获得最终的去雨视频。本发明可以有效地建立视频雨条纹噪声模型，提高视频图像去雨的清晰度，并进一步提高后期的视频处理结果的准确度。
Description
技术领域
本发明涉及户外视频去雨处理技术领域，具体涉及一种基于多尺度混合指数模型的视频去雨方法。
背景技术
在指恶劣天气情况下，视频质量会受到雨条纹的影响，无法利用室外视频来做相应的视频，比方说目标检索，目标跟踪，人物识别等等。基于此，去除视频信息中的雨条纹信息十分必要。最近几年视频去雨技术成为计算机视觉领域一项新兴技术。如何保留视频图像细节信息，最大限度提高受影响的视频图像的清晰度是视频去雨技术需要面对的问题。
针对视频中的雨信息，早期方法分析了自然雨条纹的特征。随后产生了各种基于雨特性的视频去雨方法，以下详述。
Garg和Nayar等[文献1]分析了自然雨条纹的特征，综合分析了雨条纹的视觉效果。在[文献2]中，Garg和Nayar等进一步提出在图像的拍摄过程中，由于曝光时间的影响，雨滴在图像上会形成雨痕的视觉效果。在这种情况下，受雨水影响的像素主要取决于像素点本身的像素值、雨滴的大小和速度以及曝光时间。该论文提出通过设置相机的参数，如景深、曝光时间等来减少雨条纹对图片的影响。
针对雨的特性，新加坡国立大学Xiaopeng Zhang等[文献3]提出了一种新的去雨方法，该方法在视频中结合了雨的时间和色度属性。时间属性指出，在整个视频中，图像像素并不总是被雨覆盖。色度特性表明受雨影响的像素的R，G和B值的变化大致相同。通过结合这两个属性，方法可以检测并消除固定摄像机拍摄的静态和动态场景中的雨痕。
针对传统方法中没有考虑到视频图像中的运动物体这一问题，2015年Kim等在[文献4]提出了一种使用时间相关和低秩矩阵完成的新颖的视频排序方法。该方法根据当前帧与相邻帧之间的差异生成初始雨图。使用稀疏基向量表示初始雨图，采用支持向量机(SVM)将其分为雨连线和异常点。通过去除异常值，改进雨图并检测雨条纹。该方法采用EM算法迭代计算。实验结果表明，该方法能够有效去除雨痕，有利于重建场景内容。
针对传统视频去雨的方法通常是将雨条纹信息作为一种确定性的信息，2017年，西安交通大学的weiwei[文献5]提出将视频信息分为三个成分：背景信息，运动的物体，雨信息，并采用混合高斯模型来表示雨条纹信息。该论文将雨条信息作为一种基于块的高斯混合模型的随机信息，这种改变可以让该方法可以适应更广泛的雨条情况。
综上所述，现有方法主要考虑到雨条纹的物理特性以及随机分布，忽略了雨条纹稀疏特性，从而降低了视频去雨方法中雨条纹的精确性，并进一步弱化了视频去雨的精确性。
下面就视频去雨相关专利展开分析。
迄今为止，在所有视频去雨方向共计受理专利9项(其中授权6项)。在9项已有关于视频雨视频中，主要有涉及基于光照、K分类算法、雨势大小判断、多尺度卷积稀疏编码，以及混合高斯模型的相关专利。结合雨条纹的稀疏性，本专利采用混合指数模型来模拟雨条纹，并进一步达到视频去雨的方法。
相关文献：
[文献1]Kshitiz Garg and Shree K Nayar,Detection and removal of rainfrom videos[C],in CVPR,2004
[文献2]Kshitiz Garg and Shree K Nayar,When does a camera see rain[C]？in ICCV,2005
[文献3]Zhang,Xiaopeng and Li,Hao and Qi,Yingyi and Leow,Wee Kheng andNg,Teck Khim.RAIN REMOVAL IN VIDEO BY COMBINING TEMPORAL AND CHROMATICPROPERTIES[C],in ICME,2006
[文献4]Kim,Jin-Hwan，Sim,Jae-Young，Kim,Chang-Su.Video Deraining andDesnowing Using Temporal Correlation and Low-Rank Matrix Completion[J],2015TIP.
[文献5]Wei Wei,Lixuan Yi,Qi Xie,Qian Zhao,Deyu Meng,and Zongben Xu,Should we encode rain streaks invideo as deterministic or stochastic[C],inCVPR,2017.
[文献6]Xiangyong Cao,Qian Zhao,Deyu Meng,Yang Chen,and Zongben Xu，Robust Low-Rank Matrix Factorization Under General Mixture NoiseDistributions[J],inICCV,2015.
[文献7]Yu Li,Robby T Tan,Xiaojie Guo,Jiangbo Lu,andMichael S Brown,Rain streak removal using layer priors[C],in CVPR,2016.
[文献8]Xueyang Fu,Jiabin Huang,Xinghao Ding,Yinghao Liao,and JohnPaisley,Clearing the skies:A deep network architecture for single-image rainremoval,IEEE Transactions on Image Processing[J],2017.
[文献9]Minghan Li,Qi Xie,Qian Zhao,Wei Wei,Shuhang Gu,Jing Tao,andDeyu Meng,Video rain streak removal by multiscale convolutional sparse coding[C],in CVPR,2018.
发明内容
针对现有视频去雨技术中，所采用的雨条纹模型在表达稀疏条纹时候，具有一定的缺陷性，而雨条纹正好具有稀疏特性。鉴于此，为了更为精确得表达雨条纹的图像，本发明提出了一种混合指数模型的视频去雨方法。同时，考虑到视频图像中，雨条纹形状大小各异以及方向多样性，其对视频图像中的上下文内容的复杂性，本发明进一步采用了基于多尺度混合指数模型的视频去雨方法。
本发明所采用的技术方案是一种基于多尺度混合指数模型的视频去雨方法，包括如下步骤：
步骤S1，获取原始雨视频信息，根据雨视频的结构特性，构造成多尺度雨视频模型；
步骤S2，原始雨视频成分分解，包括将不同尺度雨视频分别分解，得到雨信息，背景以及前景；
步骤S3，对不同尺度信息，分别根据雨视频的背景信息具有低秩特性，基于低秩分解的方法，构造雨视频背景模型；
步骤S4，对不同尺度信息，分别根据视频前景的运动特性构建前景运动物体检测模型，
步骤S5，对不同尺度信息，分别根据雨视频中雨条纹的结构特性，构造基于混合指数模型的初始雨统计模型如下；
步骤S6，对不同尺度信息，分别基于步骤S3-S5所得结果，建立单一尺度下的雨视频的统计模型；
步骤S7，以步骤S1中的原始雨视频作为输入，结合步骤S6中构造的单一尺度下的雨视频统计模型，用最大期望迭代优化算法优化模型，获得去雨后视频以及其他统计变量；
步骤S8，对各个尺度的去雨视频采用金字塔分解重构，并加和平均获得最终的去雨视频。
而且，步骤S1中，将原始视频信息分解成多尺度形式，当分解为两个尺度信息时，
O＝O1+O2
其中，O表示原始视频信息，O1，O2分别表示原始视频信息分解成的不同尺度信息。
而且，步骤S2中，对任一尺度信息O1，分解如下
O1＝R+B+M
其中，R,B,M分别表示视频的雨信息，背景以及前景。
而且，步骤S3中，构造雨视频背景模型如下，
B＝UVT
其中，U,V为单一尺度视频信息的低秩分解参数，VT表示V的转置矩阵。
而且，步骤S4中，对任一尺度信息O1，构建前景运动物体检测模型
O1＝H°O1+H⊥°O1
其中，°为哈达玛乘积算子，H°O1表示矩阵对应元素逐项相乘。O1为原始输入视频的某一尺度信息，矩阵H用来表示视频某一像素点是否存在运动物体，当视频中，某一像素点有移动前景时，H取值为1；H⊥表示H的正交补，且H⊥+H＝1；H°O1表示O1中存在移动前景的部分，H⊥°O1表示O1中不存在移动前景的部分。
而且，步骤S5中，构造基于混合指数模型的初始雨统计模型如下，
其中，πk表示混合比，且πk≥0，K是雨信息中不同形状的指数模型的数量，μ表示指数分布的精度参数，μk表示第k个指数模型的精度参数；p表示指数分布的形状参数，γ()表示伽马函数，fk(eij；0；μk)表示第k个指数模型；eij表示在视频矩阵横坐标为i，纵坐标为j处的雨信息，P(eij)表示参数变量为eij的函数，exp{}表示以自然常数为底的指数函数，|eij|表示eij的绝对值。
而且，步骤S6中，建立单一尺度下的雨视频的统计模型如下，
s.t.(1-H)°R＝(1-H)°(O1-B)
其中，ε表示一个非常小的正数，Min-表示将极大值问题转换成极小值问题，s.t.表示约束函数，Dk表示函数中的自由变量的个数；fpk((1-H)。R；0,μk)表示第k个指数模型，其指数模型形状参数为p；Q1,Q2表示权值参数，‖H‖3DTV和‖H‖1表示H的规范化，δ是调优参数，n表示数据矩阵的列数。
而且，所述步骤S7中，采用最大优化算法EM求解基于多尺度混合指数模型的优化模型，引入隐变量zijk∈{0，1}，且则第k个指数模型的概率为：
其中，上标t表示迭代次数。用E(zijk)来表示第k个指数模型的概率。
而且，所述步骤S7中，根据引入的隐变量，建立基于EM优化方法的优化模型函数，
其中，用Q表示优化模型函数。
而且，所述步骤S7中，根据基于EM优化方法的优化模型函数，引入拉格朗日算子，建立最大化拉格朗日函数；基于优化模型函数对μk求导，建立约束函数；对U、V建立约束函数，采用拉格朗日乘子法方法求解。
与现有视频去雨方法相比，本发明具有以下优点和有益效果：
1)与现有技术相比，本发明提出了一个新问题，当前所采用的混合高斯模型在表达具有稀疏性的和条纹特性的雨信息具有一定的缺陷；
2)与现有技术相比，本发明提出采用混合指数模型来模拟雨信息，并应用到视频去雨中；采用混合指数模型来表达雨噪声，可以更加贴近雨噪声信息，提高视频去雨的清晰度。
3)与现有技术相比，本发明通过混合指数模型来模拟雨信息，并采用EM迭代算法来优化模型参数，以得到清晰准确的无雨视频。
附图说明
图1为本发明实施例的流程图。
具体实施方式
为了便于本领域普通技术人员理解和实施本发明，下面结合附图和实施例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。
本发明提出视频信息主要由三个部分组成：背景信息，运动物体，雨噪声。雨噪声采用多尺度的混合指数模型来模拟，通过模型参数，可以得到不同尺度、不同形状的指数模型分布。背景信息通过低秩分解来得到。运动物体通过马尔科夫随机场以及图像分割得到。建立相应的综合模型，并通过EM算法优化，相关参数通过校正的方法来优化。
本实施例采用matlab作为仿真实验平台。
参见图1，实施例提供的视频去雨求解过程如下：
步骤S1：读取原始雨视频信息O，根据雨视频的结构特性，构造成多尺度雨视频模型；
雨视频具有多尺度特性，根据此特性，将原始视频信息分解成多尺度形式，实施例中分解为两个尺度信息：
O＝O1+O2
其中，O表示原始视频信息，O1，O2分别表示原始视频信息分解成的不同尺度信息。
实施例中，用拉普拉斯金字塔变换分解方法将带原始雨视频分解，取尺度信息为2。
步骤S2：原始雨视频成分分解：将不同尺度雨视频分解，得到雨信息，背景以及前景：以下以某一尺度信息O1为例，其分解形式为:
O1＝R+B+M
其中，R,B,M分别表示视频的雨信息，背景以及前景。
步骤S3：对不同尺度信息，分别基于低秩分解的方法，构造雨视频背景模型。
根据雨视频的背景信息具有低秩特性，以O1尺度信息为例，构造雨视频背景模型如下：
B＝UVT
其中，U,V为单一尺度视频信息的低秩分解参数，VT表示V的转置矩阵。
对O2尺度信息的处理方式相同。由于O1可以表示实际中任一尺度，因此，本发明不予赘述。其他以O1尺度信息举例说明的步骤情况相同。
步骤S4：对不同尺度信息，分别根据视频前景的运动特性构建前景运动物体检测模型：
根据视频前景中存在运动前景区域和不运动物体前景区域，以O1尺度信息为例，将前景信息形式表示如下，作为前景运动物体检测模型：
O1＝H°O1+H⊥°O1
其中，°为哈达玛乘积算子，H°O1表示矩阵对应元素逐项相乘。O1为原始输入视频的某一尺度信息。矩阵H用来表示视频某一像素点是否存在运动物体。当视频中，某一像素点有移动前景时，H取值为1。H⊥表示H的正交补，且H⊥+H＝1。H°O1表示O1中存在移动前景的部分，H⊥°O1表示O1中不存在移动前景的部分。
对O2尺度信息的处理方式相同。
步骤S5：对不同尺度信息，分别根据雨视频中雨条纹的结构特性，构造基于混合指数模型的初始雨统计模型：
实施例中，考虑视频中的雨信息具有稀疏性以及随机性，假设其符合混合指数模型分布。用混合指数模型来表示雨视频中的O1尺度下的雨信息，得到基于混合指数模型的初始雨统计模型：
其中，πk表示混合比，且πk≥0，K是雨信息中不同形状的指数模型的数量，μ表示指数分布的精度参数，μk表示第k个指数模型的精度参数。p表示指数分布的形状参数，当形状参数设置p为1时，其为拉普拉斯分布；当形状参数设置p为2时，其为高斯分布。γ()表示伽马函数，fk(eij；0；μk)表示第k个指数模型。eij表示在视频矩阵横坐标为i，纵坐标为j处的雨信息，P(eij)表示参数变量为eij的函数，exp{}表示以自然常数为底的指数函数。|eij|表示eij的绝对值。
步骤S6：对不同尺度信息，分别整合步骤S3-S5所得结果，建立单一尺度下的雨视频的统计模型：
实施例根据前景、背景以及雨信息模型，建立如下的O1尺度信息的综合优化模型，作为雨视频统计模型：
s.t.(1-H)°R＝(1-H)°(O1-B)
其中，ε表示一个非常小的正数。Min-表示将极大值问题转换成极小值问题。s.t.表示约束函数。Dk表示函数中的自由变量的个数，此处指数函数中自由变量为指数形状参数p，以及精度参数，因此Dk设置为2。fpk((1-H)°R；0,μk)表示第k个指数模型，其指数模型形状参数为p。Q1,Q2表示权值参数。‖H‖3DTV，‖H‖1表示H的规范化方法。3DTV表示对视频前后帧的三个方向右、下、后做全变分。Q1,Q2数据值的设置以及Q1‖H‖3DTV+Q2‖H‖1的计算参考[文献5]。δ是调优参数，其取值参考[文献6]。n表示数据矩阵的列数。
对O2尺度信息的处理方式相同。
步骤S7：以步骤S1中的原始雨视频作为输入，结合步骤S6中构造的单一尺度下的雨视频统计模型，用最大期望迭代优化算法优化模型，获得每个尺度的去雨视频。
实施例采用EM算法进行求解混合指数的雨视频统计模型，具体设计步骤如下：
1、引入隐变量zijk∈{0，1}，且则第k个指数模型的概率为：
其中，上标t表示迭代次数。用E(zijk)来表示第k个指数模型的概率。
2、根据引入的隐变量，建立基于EM优化方法的优化模型函数：
此处，用常用的表示方式Q来表示这一优化模型函数。
3、根据步骤2建立的优化模型函数，引入拉格朗日算子，建立最大化拉格朗日优化函数：
式中λ即为引入的拉格朗日算子。
4、根据步骤2建立的优化模型函数对μk求导，建立其约束函数，最终需满足如下关系式：
其中pk表示第k个指数模型的形状参数。
低秩分解参数U、V采用如下约束函数：
低秩分解参数U、V的约束函数采用ALM(拉格朗日乘子法)方法求解。
具体实施时，EM算法根据以上建立的相关函数，迭代计算。其中E步骤包括步骤1，M步骤包括步骤2、3、4。当迭代计算停止时，得到无雨背景，雨条纹信息。
步骤S8：在步骤7获得各个尺度的去雨视频后，对各个尺度的去雨视频采用金字塔分解重构，并加和平均获得最终的去雨视频。
具体实施时，以上技术方案可采用计算机软件技术实现自动运行流程，运行本方法的硬件装置也应当在本发明的保护范围内。
为了证明该方法的优越性，将该方法和当前一些先进的方法做了实验对比：
1、本方法在模拟数据上进行试验，试验视频为在摄像头不动情况下拍摄的视频。为了验证该方法优越于其他方法，本发明中采用PSNR以及SSIM作为数据指标，数据结果见表1.
表1本发明在合成数据上与其他方法比较结果
| [文献7] | [文献8] | [文献5] | [文献9] | Ours | |
| PSNR | 31.0354 | 28.5137 | 32.2509 | 34.3237 | 34.6939 |
| SSIM | 0.9039 | 0.8865 | 0.9691 | 0.96337 | 0.9715 |
| FSIM | 0.9310 | 0.9119 | 0.9799 | 0.9749 | 0.9821 |
2、本方法在真实数据上的结果也有相应结论，优越于其他方法
应当理解的是，本说明书未详细阐述的部分均属于现有技术。上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。
Claims (10)
1.一种基于多尺度混合指数模型的视频去雨方法，其特征在于，包括如下步骤：
步骤S1，获取原始雨视频信息，根据雨视频的结构特性，构造成多尺度雨视频模型；
步骤S2，原始雨视频成分分解，包括将不同尺度雨视频分别分解，得到雨信息，背景以及前景；
步骤S3，对不同尺度信息，分别根据雨视频的背景信息具有低秩特性，基于低秩分解的方法，构造雨视频背景模型；
步骤S4，对不同尺度信息，分别根据视频前景的运动特性构建前景运动物体检测模型，
步骤S5，对不同尺度信息，分别根据雨视频中雨条纹的结构特性，构造基于混合指数模型的初始雨统计模型如下；
步骤S6，对不同尺度信息，分别基于步骤S3-S5所得结果，建立单一尺度下的雨视频的统计模型；
步骤S7，以步骤S1中的原始雨视频作为输入，结合步骤S6中构造的单一尺度下的雨视频统计模型，用最大期望迭代优化算法优化模型，获得去雨后视频；
步骤S8，对各个尺度的去雨视频采用金字塔分解重构，并加和平均获得最终的去雨视频。
2.根据权利要求1所述基于多尺度混合指数模型的视频去雨方法，其特征在于：步骤S1中，将原始视频信息分解成多尺度形式，当分解为两个尺度信息时，
O＝O1+O2
其中，O表示原始视频信息，O1和O2分别表示原始视频信息分解成的不同尺度信息。
3.根据权利要求2所述基于多尺度混合指数模型的视频去雨方法，其特征在于：步骤S2中，对任一尺度信息O1，分解如下
O1＝R+B+M
其中，R，B，M分别表示视频的雨信息，背景以及前景。
4.根据权利要求3所述基于多尺度混合指数模型的视频去雨方法，其特征在于：步骤S3中，构造雨视频背景模型如下，
B＝UVT
其中，U，V为单一尺度视频信息的低秩分解参数，VT表示V的转置矩阵。
5.根据权利要求4所述基于多尺度混合指数模型的视频去雨方法，其特征在于：步骤S4中，对任一尺度信息O1，构建前景运动物体检测模型
其中，为哈达玛乘积算子，表示矩阵对应元素逐项相乘。O1为原始输入视频的某一尺度信息，矩阵H用来表示视频某一像素点是否存在运动物体，当视频中，某一像素点有移动前景时，H取值为1；H⊥表示H的正交补，且H⊥+H＝1；表示O1中存在移动前景的部分，表示O1中不存在移动前景的部分。
6.根据权利要求5所述基于多尺度混合指数模型的视频去雨方法，其特征在于：步骤S5中，构造基于混合指数模型的初始雨统计模型如下，
其中，πk表示混合比，且πk≥0，K是雨信息中不同形状的指数模型的数量，μ表示指数分布的精度参数，μk表示第k个指数模型的精度参数；p表示指数分布的形状参数，γ()表示伽马函数，fk(eij；0；μk)表示第k个指数模型；eij表示在视频矩阵横坐标为i，纵坐标为j处的雨信息，P(eij)表示参数变量为eij的函数，exp{}表示以自然常数为底的指数函数，|eij|表示eij的绝对值。
7.根据权利要求6所述基于多尺度混合指数模型的视频去雨方法，其特征在于：步骤S6中，建立单一尺度下的雨视频的统计模型如下，
其中，ε表示一个非常小的正数，Min-表示将极大值问题转换成极小值问题，s.t.表示约束函数，Dk表示函数中的自由变量的个数；表示第k个指数模型，其指数模型形状参数为p；Q1，Q2表示权值参数，||H||3DTV和||H||1表示H的规范化，δ是调优参数，n表示数据矩阵的列数。
8.根据权利要求7所述基于多尺度混合指数模型的视频去雨方法，其特征在于：所述步骤S7中，采用最大优化算法EM求解基于多尺度混合指数模型的优化模型，引入隐变量zijk∈{0，1}，且则第k个指数模型的概率为：
其中，上标t表示迭代次数。用E(ziik)来表示第k个指数模型的概率。
9.根据权利要求8所述基于多尺度混合指数模型的视频去雨方法，其特征在于：所述步骤S7中，根据引入的隐变量，建立基于EM优化方法的优化模型函数，
其中，用Q表示优化模型函数。
10.根据权利要求4或5或6或7或8或9所述基于多尺度混合指数模型的视频去雨方法，其特征在于：所述步骤S7中，根据基于EM优化方法的优化模型函数，引入拉格朗日算子，建立最大化拉格朗日函数；基于优化模型函数对μk求导，建立约束函数；对U、V建立约束函数，采用拉格朗日乘子法方法求解。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910298090.XA CN110070506B (zh) | 2019-04-15 | 2019-04-15 | 一种基于多尺度混合指数模型的视频去雨方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910298090.XA CN110070506B (zh) | 2019-04-15 | 2019-04-15 | 一种基于多尺度混合指数模型的视频去雨方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110070506A true CN110070506A (zh) | 2019-07-30 |
| CN110070506B CN110070506B (zh) | 2022-07-19 |
Family
ID=67367683
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910298090.XA Active CN110070506B (zh) | 2019-04-15 | 2019-04-15 | 一种基于多尺度混合指数模型的视频去雨方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110070506B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110866879A (zh) * | 2019-11-13 | 2020-03-06 | 江西师范大学 | 一种基于多密度雨纹感知的图像去雨方法 |
| CN111340738A (zh) * | 2020-03-24 | 2020-06-26 | 武汉大学 | 一种基于多尺度渐进融合的图像去雨方法 |
| CN112070687A (zh) * | 2020-08-20 | 2020-12-11 | 武汉大学 | 一种基于团队递归反馈机制的图像去雨方法及系统 |
| CN114463237A (zh) * | 2022-01-30 | 2022-05-10 | 武汉大学 | 基于全局运动补偿和帧间时域关联性的实时视频去雨方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| AU2009200497A1 (en) * | 2001-05-18 | 2009-02-26 | Sirna Therapeutics, Inc. | Conjugates and compositions for cellular delivery |
| CN108520501A (zh) * | 2018-03-30 | 2018-09-11 | 西安交通大学 | 一种基于多尺度卷积稀疏编码的视频去雨雪方法 |
| CN109360169A (zh) * | 2018-10-24 | 2019-02-19 | 西南交通大学 | 一种单幅图像去雨除雾的信号处理方法 |
-
2019
- 2019-04-15 CN CN201910298090.XA patent/CN110070506B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| AU2009200497A1 (en) * | 2001-05-18 | 2009-02-26 | Sirna Therapeutics, Inc. | Conjugates and compositions for cellular delivery |
| CN108520501A (zh) * | 2018-03-30 | 2018-09-11 | 西安交通大学 | 一种基于多尺度卷积稀疏编码的视频去雨雪方法 |
| CN109360169A (zh) * | 2018-10-24 | 2019-02-19 | 西南交通大学 | 一种单幅图像去雨除雾的信号处理方法 |
Non-Patent Citations (2)
| Title |
|---|
| WEI WEI: "Should we encode rain streaks invideo as deterministic or stochastic", 《2017 IEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION》 * |
| 王志超: "基于小波融合的视频图像去雨(雪)方法", 《北华大学学报(自然科学版)》 * |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110866879A (zh) * | 2019-11-13 | 2020-03-06 | 江西师范大学 | 一种基于多密度雨纹感知的图像去雨方法 |
| CN110866879B (zh) * | 2019-11-13 | 2022-08-05 | 江西师范大学 | 一种基于多密度雨纹感知的图像去雨方法 |
| CN111340738A (zh) * | 2020-03-24 | 2020-06-26 | 武汉大学 | 一种基于多尺度渐进融合的图像去雨方法 |
| CN111340738B (zh) * | 2020-03-24 | 2022-03-04 | 武汉大学 | 一种基于多尺度渐进融合的图像去雨方法 |
| CN112070687A (zh) * | 2020-08-20 | 2020-12-11 | 武汉大学 | 一种基于团队递归反馈机制的图像去雨方法及系统 |
| CN114463237A (zh) * | 2022-01-30 | 2022-05-10 | 武汉大学 | 基于全局运动补偿和帧间时域关联性的实时视频去雨方法 |
| CN114463237B (zh) * | 2022-01-30 | 2024-04-19 | 武汉大学 | 基于全局运动补偿和帧间时域关联性的实时视频去雨方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110070506B (zh) | 2022-07-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110070506A (zh) | 一种基于多尺度混合指数模型的视频去雨方法 | |
| Xu et al. | SNR-aware low-light image enhancement | |
| Lee et al. | Local disparity estimation with three-moded cross census and advanced support weight | |
| Ju et al. | Single image dehazing via an improved atmospheric scattering model | |
| Huang et al. | An efficient visibility enhancement algorithm for road scenes captured by intelligent transportation systems | |
| US20190355152A1 (en) | Point cloud attribute compression method based on kd tree and optimized graph transformation | |
| Zhang et al. | Low-rank decomposition-based restoration of compressed images via adaptive noise estimation | |
| CN110378849B (zh) | 基于深度残差网络的图像去雾去雨方法 | |
| CN103200421B (zh) | 一种基于Curvelet变换和相位一致的无参考图像质量评价方法 | |
| CN106530240B (zh) | 一种基于多尺度融合和全变分优化的图像去雾方法 | |
| Ma et al. | EFFICIENT BOX-CONSTRAINED TV-TYPE-l¹ ALGORITHMS FOR RESTORING IMAGES WITH IMPULSE NOISE | |
| CN104616249A (zh) | 一种基于曲率变分的小波变换图像去噪算法 | |
| CN114463237B (zh) | 基于全局运动补偿和帧间时域关联性的实时视频去雨方法 | |
| Huang et al. | A new haze removal algorithm for single urban remote sensing image | |
| Cho et al. | Geodesic path-based diffusion acceleration for image denoising | |
| Yu et al. | Content-adaptive rain and snow removal algorithms for single image | |
| Wen et al. | Learning flipping and rotation invariant sparsifying transforms | |
| Chen et al. | Reweighted low-rank factorization with deep prior for image restoration | |
| Hua et al. | Iterative residual network for image dehazing | |
| CN116703750A (zh) | 基于边缘注意力和多阶微分损失的图像去雾方法及系统 | |
| Zheng et al. | Non-local single image de-raining without decomposition | |
| Xue et al. | Multi-scale features joint rain removal for single image | |
| Pal et al. | A robust visibility restoration framework for rainy weather degraded images | |
| Priorov et al. | Applications of image filtration based on principal component analysis and nonlocal image processing | |
| Lézoray | Hierarchical morphological graph signal multi‐layer decomposition for editing applications |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |