CN112651898B - 一种基于记忆增强的视频去雨方法与装置 - Google Patents

一种基于记忆增强的视频去雨方法与装置 Download PDF

Info

Publication number
CN112651898B
CN112651898B CN202110034912.0A CN202110034912A CN112651898B CN 112651898 B CN112651898 B CN 112651898B CN 202110034912 A CN202110034912 A CN 202110034912A CN 112651898 B CN112651898 B CN 112651898B
Authority
CN
China
Prior art keywords
rain
network
memory
current frame
term memory
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110034912.0A
Other languages
English (en)
Other versions
CN112651898A (zh
Inventor
刘家瑛
胡煜章
杨文瀚
郭宗明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Peking University
Original Assignee
Peking University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Peking University filed Critical Peking University
Priority to CN202110034912.0A priority Critical patent/CN112651898B/zh
Publication of CN112651898A publication Critical patent/CN112651898A/zh
Application granted granted Critical
Publication of CN112651898B publication Critical patent/CN112651898B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Picture Signal Circuits (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于记忆增强的视频去雨方法与装置，其步骤包括：1)将卷积长短期记忆网络的内部状态作为全局长期记忆；对于待去雨处理的目标视频，将该目标视频的前n帧分别输入记忆增强去雨网络，获得各帧对应的去雨结果；2)对于该目标视频的第n帧之后的每一帧，执行步骤a)～c)，获得该目标视频对应的去雨视频：a)将当前待去雨帧的前多帧的去雨结果、全局长期记忆、当前待去雨帧输入记忆增强去雨网络进行去雨，得到当前帧的去雨结果；b)计算当前待去雨帧与其去雨结果之间的差值，作为当前待去雨帧的雨痕图；c)将雨痕图输入卷积长短期记忆网络，更新该卷积长短期记忆网络的内部状态作为新的全局长期记忆。

Description

一种基于记忆增强的视频去雨方法与装置
技术领域
本发明属于软件技术领域，涉及一种视频去雨方法，尤其涉及一种基于记忆增强的视频去雨方法与装置。
背景技术
在雨天条件下拍摄得到的视频数据，在视频帧中会出现雨痕，同时局部区域还会由于水汽的聚集而产生雾化的效果，这些现象会导致视频的质量受到很大的影响，主要体现在两个方面：首先视频的主观图像质量会受到影响，导致其视觉效果不佳。此外，随着计算机视觉的快速发展，对雨天拍摄的视频的相关计算机视觉分析任务的性能也会受到下降，比如对于雨天视频中的目标检测，会由于雨痕、雾化的现象导致准确率降低，这也是自动驾驶真正投入实际应用过程中所必须面对的问题。因此，视频去雨方法逐渐成为了研究热点。近年来，随着深度学习的快速发展，基于深度学习进行视频去雨逐渐成为可能。
对于视频去雨问题，需要从单张图像的去雨与多帧之间的时域连续性结合来考虑。经过去雨得到的结果，不仅本身需要有较好的视觉效果，还需要保证所有的去雨后的帧之间依然保有较好的时域连续性，否则，即使单个视频帧能够取得较好的去雨效果，如果缺乏对于去雨结果的时域连续性约束，那么相邻帧之间由于去雨过程可能会产生了不一致的图像变形，那么会严重影响去雨后的视频的质量。
发明内容
针对上述问题和相关方法的缺陷，本发明的目的在于提供一种基于记忆增强的视频去雨方法与装置。在每一帧的去雨过程中，本发明所提出的记忆增强去雨网络的输入，除了当前待去雨帧外，还会将当前待去雨帧的前两帧的去雨结果以及一个全局长期记忆作为输入，其中，前者负责引入短期时域信息，后者引入长期时域信息，从而进行时域上的约束，并引导模型生成时域连续的去雨结果。在当前帧的去雨过程结束后，还会根据去雨结果动态更新全局长期记忆，并用于下一帧的去雨过程。
本发明主要包括以下步骤：
(1)对于视频的前两帧，将长期记忆设置初始化为0，并将其自身直接输入去雨网络获得去雨结果。
(2)从第三帧开始，将当前帧的前两帧的去雨结果、全局长期记忆、当前待去雨帧输入记忆增强去雨网络进行去雨，得到当前帧的去雨结果。
(3)计算当前待去雨帧与其去雨结果之间的差值，即当前帧的雨痕图。
(4)将当前帧的雨痕图输入卷积长短期记忆网络(卷积LSTM网络)，将该卷积长短期记忆网络新的内部状态作为新的全局长期记忆，从而更新全局长期记忆。
(5)重复第2步到第4步，直到所有的视频帧都完成去雨过程，获得完整去雨视频。
本发明的技术方案为：
一种基于记忆增强的视频去雨方法，其步骤包括：
1)将卷积长短期记忆网络的内部状态作为全局长期记忆；对于待去雨处理的目标视频，将该目标视频的前n帧分别输入记忆增强去雨网络，获得各帧对应的去雨结果；
2)对于该目标视频的第n帧之后的每一帧，执行步骤a)～c)，获得该目标视频对应的去雨视频；
a)将当前待去雨帧的前多帧的去雨结果、当前的全局长期记忆、当前待去雨帧输入记忆增强去雨网络进行去雨，得到当前帧的去雨结果；
b)计算当前待去雨帧与其去雨结果之间的差值，作为当前待去雨帧的雨痕图；
c)将当前待去雨帧的雨痕图输入卷积长短期记忆网络，更新该卷积长短期记忆网络的内部状态作为新的全局长期记忆，即更新所述全局长期记忆。
进一步的，所述步骤1)中，n取值为2，即将该目标视频的前两帧I1以及I2分别输入记忆增强去雨网络，获得对应的去雨结果I1以及I2；将全局长期记忆初始化为0，即ε0＝0。
进一步的，步骤a)中，将当前待去雨帧的前两帧的去雨结果、当前的全局长期记忆、当前待去雨帧输入记忆增强去雨网络进行去雨，得到当前帧的去雨结果。
进一步的，所述记忆增强去雨网络包括U-Net网络、卷积网络Conv和局部卷积网络；其中，所述U-Net网络，用于根据当前待去雨帧It的前多帧的去雨结果提取短期时域信息γt并将其输入所述卷积网络Conv；所述卷积网络Conv，用于根据短期时域信息γt和当前的全局长期记忆εt生成局部卷积系数Ct，并将其输入所述局部卷积网络；所述局部卷积网络，用于根据局部卷积系数Ct和当前待去雨帧It，生成当前待去雨帧It的去雨结果It。
进一步的，所述卷积网络Conv由三层卷积层依次连接组成。
一种基于记忆增强的视频去雨装置，其特征在于，包括卷积长短期记忆网络、记忆增强去雨网络；其中
所述记忆增强去雨网络，用于将当前待去雨帧的前多帧的去雨结果、当前的全局长期记忆、当前待去雨帧输入记忆增强去雨网络进行去雨，得到当前帧的去雨结果；
所述卷积长短期记忆网络，用于将当前待去雨帧的雨痕图更新卷积长短期记忆网络的内部状态作为新的全局长期记忆，即更新所述全局长期记忆；其中，通过计算当前待去雨帧与其去雨结果之间的差值，作为当前待去雨帧的雨痕图。
与现有技术相比，本发明的积极效果为：
本发明能够结合短期时域信息和长期记忆，对于视频帧进行去雨，更好地利用了视频帧之间存在的时域关联性。
附图说明
图1为本发明所使用的记忆增强去雨方法框架示意图。
图2为本发明所使用的记忆增强去雨网络结构图。
具体实施方式
下面对本发明的详细方法流程作进一步地描述：
步骤1：初始化长期记忆。
对于视频的前两帧I1以及I2，将全局长期记忆ε0初始化为0，并各自输入记忆增强去雨网络获得去雨结果I1以及I2。
步骤2：进行每一帧的去雨过程。
对于后续待去雨的视频帧It，将其前两帧的去雨结果It-1和It-2、当前时间点的全局长期记忆εt以及It共同输入到记忆增强去雨网络中，从而获得当前待去雨帧的去雨结果It。
记忆增强去雨网络结构如图2所示，具体而言，首先利用U-Net网络(参考Ronneberger,Olaf,Philipp Fischer,and Thomas Brox."U-net:Convolutionalnetworks for biomedical image segmentation."International Conference onMedical image computing and computer-assisted intervention.Springer,Cham,2015.)，根据It-1和It-2提取短期时域信息γt。
γt＝UNet(It-2,It-1)
之后，将当前时间点的长期记忆εt以及短期时域信息γt输入由三层卷积层组成的简单卷积网络(标记为Conv)，生成局部卷积系数Ct。
Ct＝Conv(εt,γt)
最后，将计算所得的局部卷积系数Ct与输入的当前待去雨帧It进行局部卷积(局部卷积可以参考Niklaus et.al.Video Frame Interpolation via Adaptive SeparableConvolution ICCV2017)，得到当前帧的去雨结果It。
步骤3：计算每一帧的雨痕图。
对于当前待去雨帧It以及利用去雨网络去雨得到的结果It，计算二者之间的差值Rt，并将其视为当前帧的雨痕图。
步骤4：长期记忆更新。
将当前帧的雨痕图输入卷积长短期记忆网络，从而更新其内部状态，并将更新后的新状态作为新的全局长期记忆，即εt+1。
更新方式即为传统卷积LSTM网络的更新方式：
εt+1＝LSTM(εt,Rt)
步骤5：完成所有视频帧去雨。
重复步骤2-4，在这个过程中不断更新长期记忆，直到所有视频帧完成去雨过程。
需要注意的是，公布实施例的目的在于帮助进一步理解本发明，但是本领域的技术人员可以理解：在不脱离本发明及所附权利要求的精神和范围内，各种替换和修改都是可能的。因此，本发明不应局限于实施例所公开的内容，本发明要求保护的范围以权利要求书界定的范围为准。

Claims (8)

1.一种基于记忆增强的视频去雨方法，其步骤包括：
1)将卷积长短期记忆网络的内部状态作为全局长期记忆；对于待去雨处理的目标视频，将该目标视频的前n帧分别输入记忆增强去雨网络，获得各帧对应的去雨结果；所述记忆增强去雨网络包括U-Net网络、卷积网络Conv和局部卷积网络；其中，所述U-Net网络，用于根据当前待去雨帧It的前多帧的去雨结果提取短期时域信息γt并将其输入所述卷积网络Conv；所述卷积网络Conv，用于根据短期时域信息γt和当前的全局长期记忆εt生成局部卷积系数Ct，并将其输入所述局部卷积网络；所述局部卷积网络，用于根据局部卷积系数Ct和当前待去雨帧It，生成当前待去雨帧It的去雨结果
Figure FDA0003815977550000011
2)对于该目标视频的第n帧之后的每一帧，执行步骤a)～c)，获得该目标视频对应的去雨视频；
a)将当前待去雨帧的前多帧的去雨结果、当前的全局长期记忆、当前待去雨帧输入记忆增强去雨网络进行去雨，得到当前帧的去雨结果；
b)计算当前待去雨帧与其去雨结果之间的差值，作为当前待去雨帧的雨痕图；
c)将当前待去雨帧的雨痕图输入卷积长短期记忆网络，更新该卷积长短期记忆网络的内部状态作为新的全局长期记忆，即更新所述全局长期记忆。
2.如权利要求1所述的方法，其特征在于，所述步骤1)中，n取值为2，即将该目标视频的前两帧I1以及I2分别输入记忆增强去雨网络，获得对应的去雨结果
Figure FDA0003815977550000012
以及
Figure FDA0003815977550000013
将全局长期记忆初始化为0，即ε0＝0。
3.如权利要求1或2所述的方法，其特征在于，步骤a)中，将当前待去雨帧的前两帧的去雨结果、当前的全局长期记忆、当前待去雨帧输入记忆增强去雨网络进行去雨，得到当前帧的去雨结果。
4.如权利要求1所述的方法，其特征在于，所述卷积网络Conv由三层卷积层依次连接组成。
5.一种基于记忆增强的视频去雨装置，其特征在于，包括卷积长短期记忆网络、记忆增强去雨网络；其中
所述记忆增强去雨网络，用于将当前待去雨帧的前多帧的去雨结果、当前的全局长期记忆、当前待去雨帧输入记忆增强去雨网络进行去雨，得到当前帧的去雨结果；所述记忆增强去雨网络包括U-Net网络、卷积网络Conv和局部卷积网络；其中，所述U-Net网络，用于根据当前待去雨帧It的前多帧的去雨结果提取短期时域信息γt并将其输入所述卷积网络Conv；所述卷积网络Conv，用于根据短期时域信息γt和当前的全局长期记忆εt生成局部卷积系数Ct，并将其输入所述局部卷积网络；所述局部卷积网络，用于根据局部卷积系数Ct和当前待去雨帧It，生成当前待去雨帧It的去雨结果
Figure FDA0003815977550000021
所述卷积长短期记忆网络，用于将当前待去雨帧的雨痕图更新卷积长短期记忆网络的内部状态作为新的全局长期记忆，即更新所述全局长期记忆；其中，通过计算当前待去雨帧与其去雨结果之间的差值，作为当前待去雨帧的雨痕图。
6.如权利要求5所述的视频去雨装置，其特征在于，所述卷积网络Conv由三层卷积层依次连接组成。
7.如权利要求5所述的视频去雨装置，其特征在于，对于待去雨处理的目标视频，将该目标视频的前n帧分别输入记忆增强去雨网络，获得各帧对应的去雨结果；将全局长期记忆初始化为0。
8.如权利要求5所述的视频去雨装置，其特征在于，将当前待去雨帧的前两帧的去雨结果、当前的全局长期记忆、当前待去雨帧输入记忆增强去雨网络进行去雨，得到当前帧的去雨结果。
CN202110034912.0A 2021-01-12 2021-01-12 一种基于记忆增强的视频去雨方法与装置 Active CN112651898B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110034912.0A CN112651898B (zh) 2021-01-12 2021-01-12 一种基于记忆增强的视频去雨方法与装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110034912.0A CN112651898B (zh) 2021-01-12 2021-01-12 一种基于记忆增强的视频去雨方法与装置

Publications (2)

Publication Number Publication Date
CN112651898A CN112651898A (zh) 2021-04-13
CN112651898B true CN112651898B (zh) 2023-04-07

Family

ID=75368027

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110034912.0A Active CN112651898B (zh) 2021-01-12 2021-01-12 一种基于记忆增强的视频去雨方法与装置

Country Status (1)

Country Link
CN (1) CN112651898B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110557521A (zh) * 2018-05-30 2019-12-10 北京大学 视频去雨的方法、装置、设备及计算机可读存储介质
CN110796623A (zh) * 2019-10-31 2020-02-14 上海融军科技有限公司 一种基于渐进式残差网络的红外图像去雨方法及装置
AU2020100196A4 (en) * 2020-02-08 2020-03-19 Juwei Guan A method of removing rain from single image based on detail supplement

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012066564A1 (en) * 2010-11-15 2012-05-24 Indian Institute Of Technology, Kharagpur Method and apparatus for detection and removal of rain from videos using temporal and spatiotemporal properties.
CN111553851B (zh) * 2020-04-08 2022-09-23 大连理工大学 一种基于时间域的雨线分解和空间结构引导的视频去雨方法
CN111861926B (zh) * 2020-07-24 2023-09-29 南京信息工程大学滨江学院 一种基于空域组增强机制与长短时记忆网络的图像去雨方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110557521A (zh) * 2018-05-30 2019-12-10 北京大学 视频去雨的方法、装置、设备及计算机可读存储介质
CN110796623A (zh) * 2019-10-31 2020-02-14 上海融军科技有限公司 一种基于渐进式残差网络的红外图像去雨方法及装置
AU2020100196A4 (en) * 2020-02-08 2020-03-19 Juwei Guan A method of removing rain from single image based on detail supplement

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Memory-Augmented Auto-Regressive Network for Frame Recurrent Inter Prediction;Yuzhang Hu等;《IEEE》;20200928;第1-5页 *

Also Published As

Publication number Publication date
CN112651898A (zh) 2021-04-13

Similar Documents

Publication Publication Date Title
CN112669325B (zh) 一种基于主动式学习的视频语义分割方法
CN108681752B (zh) 一种基于深度学习的图像场景标注方法
CN109242844B (zh) 基于深度学习的胰腺癌肿瘤自动识别系统、计算机设备、存储介质
CN110443173B (zh) 一种基于帧间关系的视频实例分割方法及系统
CN110473231B (zh) 一种具有预判式学习更新策略的孪生全卷积网络的目标跟踪方法
CN109271876B (zh) 基于时间演化建模和多示例学习的视频动作检测方法
CN109740537B (zh) 人群视频图像中行人图像属性的精确标注方法及系统
CN110889863B (zh) 一种基于目标感知相关滤波的目标跟踪方法
CN109409307B (zh) 一种基于时空上下文分析的在线视频行为检测方法
CN111401293B (zh) 一种基于Head轻量化Mask Scoring R-CNN的手势识别方法
CN106709933B (zh) 一种基于非监督学习的运动估计方法
CN107194948B (zh) 基于集成式预测与时空域传播的视频显著性检测方法
CN115424177A (zh) 一种基于增量学习的孪生网络目标跟踪的方法
CN112529931A (zh) 一种前景分割的方法及系统
CN110852199A (zh) 一种基于双帧编码解码模型的前景提取方法
CN108257105B (zh) 一种针对视频图像的光流估计与去噪联合学习深度网络模型
CN112651898B (zh) 一种基于记忆增强的视频去雨方法与装置
CN112258557B (zh) 一种基于空间注意力特征聚合的视觉跟踪方法
CN112488165A (zh) 一种基于深度学习模型的红外行人识别方法及系统
CN115862119B (zh) 基于注意力机制的人脸年龄估计方法及装置
CN116363275A (zh) 一种面向手语数字人的动作编排方法
CN113450363B (zh) 一种基于标签校正的元学习细胞核分割系统及方法
CN112529815B (zh) 一种雨后真实图像中雨滴去除方法及系统
CN114972435A (zh) 基于长短时集成外观更新机制的目标跟踪方法
CN112634178A (zh) 一种基于双向时域一致的视频去雨方法与装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant