CN113256517A - 一种基于半监督概率图模型的视频去雨方法 - Google Patents
一种基于半监督概率图模型的视频去雨方法 Download PDFInfo
- Publication number
- CN113256517A CN113256517A CN202110547379.8A CN202110547379A CN113256517A CN 113256517 A CN113256517 A CN 113256517A CN 202110547379 A CN202110547379 A CN 202110547379A CN 113256517 A CN113256517 A CN 113256517A
- Authority
- CN
- China
- Prior art keywords
- model
- rain
- video
- probability map
- semi
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 36
- 230000000694 effects Effects 0.000 claims abstract description 16
- 238000012549 training Methods 0.000 claims abstract description 10
- 238000010276 construction Methods 0.000 claims abstract description 8
- 238000012795 verification Methods 0.000 claims abstract description 8
- 238000004422 calculation algorithm Methods 0.000 claims description 9
- 238000005457 optimization Methods 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 5
- 238000013528 artificial neural network Methods 0.000 claims description 3
- 238000011156 evaluation Methods 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 230000002123 temporal effect Effects 0.000 abstract description 2
- 238000013135 deep learning Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000009795 derivation Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Probability & Statistics with Applications (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于半监督概率图模型的视频去雨方法,包括下述步骤:S1、模型构建:构建半监督概率图模型;S2、模型训练:通过最大后验概率优化模型;S3、模型验证:在验证集上对S2中得到的概率图模型进行验证;通过验证集的带雨视频,验证模型效果,利用信噪比来评估模型的性能;S4、模型更新:设置模型参数的更新频率。本发明将视频分解为三个构成部分,一是重建的去雨层,二是雨层,三是残差层,通过引入空间和时间上的连续性先验,构建概率图模型,利用深度网络对先验进行建模,最后利用最大后验估计来优化概率模型的参数;本发明相对于现有技术来说,具有方法简单、成本低、结果稳定性高、去雨效果好等优点。
Description
技术领域
本发明涉及一种视频去雨方法,具体地说,是涉及一种基于半监督概率图模型的视频去雨方法。
背景技术
对图像或者视频进行去噪的研究一直以来都是计算机视觉和图像处理领域内的一个重要课题。特别是在现实生活中,因为雨滴会对道路上的路况造成一定程度的遮挡,驾驶车辆行驶在下大雨等的恶劣天气下是非常危险的;不仅如此,在重要位置设置的摄像头也会因为雨水的遮挡,导致无法提供清楚的信息;人们在出去旅游的时候会拍摄很多美景的照片,但是有的照片会因为天气状况等原因无法得到清晰的效果。以上所描述的情况都需要对图像进行后期的处理,因此,对视频图像噪音去除的研究是非常有现实意义的。
在视频中,下雨往往是一个坏天气。雨滴不仅会对视频的质量造成负面影响,还会严重到后期视频处理算法的质量,例如语义分割,目标识别,自动驾驶等。作为一个最基本的预处理步骤,视频去雨在计算机视觉社区中引起了越来越多人的关注。
对雨水去除的传统方法主要有基于纯粹物理模型和数学推导的去雨模型、以及基于稀疏编码字典学习和分类器的去雨方法。
基于纯粹物理模型和数学推导的去雨模型,是基于纯物理模型的方法,其涉及的模型种类繁多且涉及物理专业知识较多。
基于稀疏编码字典学习和分类器的去雨方法,其需要人工设计先验知识,而且计算开销巨大;而且当雨水和背景是非常相似的形状时,它是没办法分离开两者的。
近期,深度网络的非线性变换能力,基于深度学习的方法显著提高了视频去雨的效果。其核心思想是直接训练一个端到端的去雨器。尽管基于深度学习的方法在某些合成数据上有显著效果,但与落地真实应用还是有很大的空间。一方面,现有方法主要在构建背景,忽略了雨滴层的内蕴特性。另一方面,基于深度学习的方法需要大量的数据,例如:带雨/不带雨的视频对。
发明内容
为克服传统方法和深度学习方法的缺陷,本发明提出了一种基于半监督概率图模型的视频去雨方法,引入动态雨滴生成子用来模拟雨滴层,真实的带雨视频在我们的方法中被视为未标记数据,对于合成的带标签数据,对应的真实的无雨滴视频被作为一个强先验引入,不带标签的真实数据,用一个三维马尔可夫随机场来构建时间上的联系,提升结果的稳定性。进一步提出了一种蒙特卡洛的最大期望算法用来求解模型。
本发明采用的技术方案为:
一种基于半监督概率图模型的视频去雨方法,包括下述步骤:
S1、模型构建:构建半监督概率图模型;
S2、模型训练:通过最大后验概率优化模型;
S3、模型验证:在验证集上对S2中得到的概率图模型进行验证;通过验证集的带雨视频,验证模型效果,利用信噪比来评估模型的性能;
S4、模型更新:设置模型参数的更新频率。
作为优选,步骤S1具体为:
S1-1、半监督概率图模型构建
ε是残差项,是一个三维张量,εijt表示的是第i帧,第(j,t)位置的像素点;
S1-2、对无雨的背景层建模
其中
ρ,γ是参数,分别代表在空间和时间的强度和顺畅度;
S1-3、对雨滴层建模
st=F(st-1,zt;α),
st代表第t帧的隐藏状态;
zt是随机噪声向量;
F(st-1,zt;α)是接收模型,H(st;β)是发射模型;
接收模型重写为:
mi对于第i个带雨视频的固定的;
发射模型公式整合为:
作为优选,步骤S2具体为:
通过最大后验概率,确定概率模型中的参数W,θ;
优化的目标是:
上式的内涵是学习一个从带雨视频到去雨视频的映射;
其中,在求期望的步骤,引入一个隐变量z,然后根据这个样本,求得最优参数W,θ;E-step:
其中
τ代表Langevin dynamic的时间步数,δ代表着步长,ξ(τ)是高斯白噪声;
M-step:
目标是优化下面的函数
利用梯度下降算法更新参数
作为优选,步骤S3具体为:
S3-1定义评估指标峰值信噪比
真实去噪图片X和带噪图片Y,图片大小为h×w,h是图片高度,w是图片宽度,
MSE为均方误差
MAXX=maxX(i,j)
峰值信噪比PSNR定义为:
S3-2:根据峰值信噪比PSNR获得模型的效果,峰值信噪比PSNR越高,模型效果越好。
作为优选,步骤S4中采用的更新方法为增量更新方法,即每一个月采集到新的图像数据,利用新采集到的数据集和之前的全量数据集,重新进行S1-S3的步骤。
本发明的有益效果在于:
本发明将视频分解为三个构成部分,一是重建的去雨层,二是雨层,三是残差层,通过引入空间和时间上的连续性先验,构建概率图模型,利用深度网络对先验进行建模,最后利用最大后验估计来优化概率模型的参数;本发明相对于现有技术来说,具有方法简单、成本低、结果稳定性高、去雨效果好等优点。
附图说明
图1是本发明的流程图;
图2是本发明的去雨器网络结构图;
图3是本发明雨滴生成子中的发射模型和接收模型的网络结构。
具体实施方式
下面结合具体实施例对本发明作进一步说明,但本发明所要保护的范围并不限于此。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。
参照图1,一种基于半监督概率图模型的视频去雨方法,包括下述步骤:
S1、模型构建:构建半监督概率图模型;
其具体为:
S1-1、半监督概率图模型构建
ε是残差项,是一个三维张量,εijt表示的是第i帧,第(j,t)位置的像素点;
S1-2、对无雨的背景层建模
其中
ρ,γ是参数,分别代表在空间和时间的强度和顺畅度;
ε0设置的非常小,趋近于0;
S1-3、对雨滴层建模
直观的,雨滴层在空间和时间都具有动态性,所以我们自然的应用spatial-temporal process来刻画它;
st=F(st-1,zt;α),
st代表第t帧的隐藏状态;
zt是随机噪声向量;
接收模型重写为:
mi对于第i个带雨视频的固定的;
发射模型公式整合为:
用上式来模拟每个小批量数据中的带雨层;
为了增加此类动态生成算子的能力,发射模型和接收模型都用深度网络来构建;用两层的感知机来构建接收模型(transition model.);用cnn来构建发射模型(emissionmodel);图3展示了接收模型和发射模型的网络结构。
S2、模型训练:通过最大后验概率优化模型;
S2具体为:
S2-1构成了一个视频区域的概率模型,模型构建好之后,通过最大后验概率,确定概率模型中的参数W,θ;
优化的目标是:
上式的内涵是学习一个从带雨视频到去雨视频的映射;
加入的未标记的真实数据,增加了模型的泛化能力;
其中,在求期望的步骤,引入一个隐变量z,然后根据这个样本,求得最优参数W,θ;
E-step:
其中
τ代表Langevin dynamic的时间步数,δ代表着步长,ξ(τ)是高斯白噪声,为了防止陷入局部点;
上式中,最核心的是求偏导;
M-step:
目标是优化下面的函数
利用梯度下降算法更新参数
S3、模型验证:在验证集上对S2中得到的概率图模型进行验证;通过验证集的带雨视频,验证模型效果,利用信噪比来评估模型的性能;
S3具体为:
S3-1定义评估指标峰值信噪比
真实去噪图片X和带噪图片Y,图片大小为h×w,h是图片高度,w是图片宽度,
MSE为均方误差
MAXX=maxX(i,j)
峰值信噪比PSNR定义为:
S3-2:根据峰值信噪比PSNR获得模型的效果,峰值信噪比PSNR越高,模型效果越好。
S4、模型更新:设置模型参数的更新频率;
采用的更新方法为增量更新方法,即每一个月采集到新的图像数据,利用新采集到的数据集和之前的全量数据集,重新进行S1-S3的步骤。
本发明将视频分解为三个构成部分,一是重建的去雨层,二是雨层,三是残差层。首先,在贝叶斯框架下的概率构建去雨模型,最关键的是动态雨滴生成子的构建,动态雨滴生成子由发射模型和接收模型构成。接收模型记录了相邻帧中的雨滴的连续变化,发射模型将状态空间映射为雨滴。为提升雨滴生成子的建模能力,发射模型和接收模型均由深度网络构建。其次,引入半监督模型构建带标签和无标签的数据的两种不同的先验。对于带标签的数据,直接嵌入到模型中,形成强先验。对于无标签的数据,利用三维马尔科夫随机场进行建模。最后利用蒙特卡洛EM算法求解最大后验估计来优化概率模型的参数。本发明相对于现有技术来说,具有方法简单、成本低、结果稳定性高、去雨效果好等优点。
以上结合实施例对本发明进行了详细说明,但所述内容仅为本发明的具体实施方式,但并不能因此而理解为对本发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,凡依本发明申请范围所做出的若干变形与改进等,均应仍属于本发明的专利涵盖范围之内。
Claims (5)
1.一种基于半监督概率图模型的视频去雨方法,其特征在于包括下述步骤:
S1、模型构建:构建半监督概率图模型;
S2、模型训练:通过最大后验概率优化模型;
S3、模型验证:在验证集上对S2中得到的概率图模型进行验证;通过验证集的带雨视频,验证模型效果,利用信噪比来评估模型的性能;
S4、模型更新:设置模型参数的更新频率。
2.根据权利要求1所述基于半监督概率图模型的视频去雨方法,其特征在于步骤S1具体为:
S1-1、半监督概率图模型构建
S1-2、对无雨的背景层建模
其中
ρ,γ是参数,分别代表在空间和时间的强度和顺畅度;
S1-3、对雨滴层建模
st=F(st-1,zt;α),
st代表第t帧的隐藏状态;
zt是随机噪声向量;
F(st-1,zt;α)是接收模型,H(st;β)是发射模型;
接收模型重写为:
mi对于第i个带雨视频是固定的;
发射模型公式整合为:
3.根据权利要求1所述基于半监督概率图模型的视频去雨方法,其特征在于步骤S2具体为:
通过最大后验概率,确定概率模型中的参数W,θ;
优化的目标是:
上式的内涵是学习一个从带雨视频到去雨视频的映射;
其中,在求期望的步骤,引入一个隐变量z,然后根据这个样本,求得最优参数W,θ;
E-step:
其中
τ代表Langevin dynamic的时间步数,δ代表着步长,ξ(τ)是高斯白噪声;
M-step:
目标是优化下面的函数
利用梯度下降算法更新参数
5.根据权利要求1所述基于半监督概率图模型的视频去雨方法,其特征在于:步骤S4中采用的更新方法为增量更新方法,即每一个月采集到新的图像数据,利用新采集到的数据集和之前的全量数据集,然后重新进行S1-S3的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110547379.8A CN113256517A (zh) | 2021-05-19 | 2021-05-19 | 一种基于半监督概率图模型的视频去雨方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110547379.8A CN113256517A (zh) | 2021-05-19 | 2021-05-19 | 一种基于半监督概率图模型的视频去雨方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113256517A true CN113256517A (zh) | 2021-08-13 |
Family
ID=77182869
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110547379.8A Pending CN113256517A (zh) | 2021-05-19 | 2021-05-19 | 一种基于半监督概率图模型的视频去雨方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113256517A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114332460A (zh) * | 2021-12-07 | 2022-04-12 | 合肥工业大学 | 一种半监督单图像去雨处理方法 |
-
2021
- 2021-05-19 CN CN202110547379.8A patent/CN113256517A/zh active Pending
Non-Patent Citations (1)
Title |
---|
ONGSHENG YUE,ET AL: "Semi-Supervised Video Deraining with Dynamic Rain Generator", 《ARXIV:2103.07939V1》 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114332460A (zh) * | 2021-12-07 | 2022-04-12 | 合肥工业大学 | 一种半监督单图像去雨处理方法 |
CN114332460B (zh) * | 2021-12-07 | 2024-04-05 | 合肥工业大学 | 一种半监督单图像去雨处理方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112308860B (zh) | 基于自监督学习的对地观测图像语义分割方法 | |
CN111461258B (zh) | 耦合卷积神经网络和图卷积网络的遥感影像场景分类方法 | |
CN110111335B (zh) | 一种自适应对抗学习的城市交通场景语义分割方法及系统 | |
CN108986050B (zh) | 一种基于多分支卷积神经网络的图像和视频增强方法 | |
CN106845478B (zh) | 一种字符置信度的二次车牌识别方法及装置 | |
CN107909548B (zh) | 一种基于噪声建模的视频去雨方法 | |
CN106920243A (zh) | 改进的全卷积神经网络的陶瓷材质件序列图像分割方法 | |
CN104134068B (zh) | 基于稀疏编码的监控车辆特征表示及分类方法 | |
CN107657593B (zh) | 一种单幅图像去雨方法 | |
CN100370486C (zh) | 基于嵌入式隐马尔可夫模型与交叉熵的台风中心定位方法 | |
CN111915592A (zh) | 基于深度学习的遥感图像云检测方法 | |
CN101540047A (zh) | 基于独立高斯混合模型的纹理图像分割方法 | |
CN110188835A (zh) | 基于生成式对抗网络模型的数据增强行人再识别方法 | |
CN107301382B (zh) | 基于时间依赖约束下深度非负矩阵分解的行为识别方法 | |
Veeravasarapu et al. | Adversarially tuned scene generation | |
Huang et al. | Towards unsupervised single image dehazing with deep learning | |
Yu et al. | REIN the RobuTS: Robust DNN-based image recognition in autonomous driving systems | |
CN116109499A (zh) | 一种基于Transformer的面向记忆的单图片去雨方法 | |
CN113256517A (zh) | 一种基于半监督概率图模型的视频去雨方法 | |
Babu et al. | An efficient image dahazing using Googlenet based convolution neural networks | |
An et al. | RS-AUG: Improve 3D object detection on LiDAR with realistic simulator based data augmentation | |
CN112418227B (zh) | 基于双自注意力机制的监控视频卡车分割方法 | |
CN109859119B (zh) | 一种基于自适应低秩张量恢复的视频图像去雨方法 | |
CN116993760A (zh) | 一种基于图卷积和注意力机制的手势分割方法、系统、设备及介质 | |
CN116758421A (zh) | 一种基于弱监督学习的遥感图像有向目标检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210813 |