CN115797646A - 多尺度特征融合的视频去噪方法、系统、设备及存储介质 - Google Patents

多尺度特征融合的视频去噪方法、系统、设备及存储介质 Download PDF

Info

Publication number
CN115797646A
CN115797646A CN202211597894.8A CN202211597894A CN115797646A CN 115797646 A CN115797646 A CN 115797646A CN 202211597894 A CN202211597894 A CN 202211597894A CN 115797646 A CN115797646 A CN 115797646A
Authority
CN
China
Prior art keywords
module
denoising
frame
sequence
fusion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211597894.8A
Other languages
English (en)
Inventor
孙立辉
陈恒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
HEBEI UNIVERSITY OF ECONOMICS AND BUSINESS
Original Assignee
HEBEI UNIVERSITY OF ECONOMICS AND BUSINESS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by HEBEI UNIVERSITY OF ECONOMICS AND BUSINESS filed Critical HEBEI UNIVERSITY OF ECONOMICS AND BUSINESS
Priority to CN202211597894.8A priority Critical patent/CN115797646A/zh
Publication of CN115797646A publication Critical patent/CN115797646A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Image Analysis (AREA)

Abstract

本发明提供了一种多尺度特征融合的视频去噪方法、系统、设备及介质,其中,方法包括:对原始视频数据进行加噪处理后形成有噪视频数据;将有噪视频数据输入光流对齐模块获取对齐后的序列帧;将对齐后的序列帧输入多尺度细化模块,多尺度细化模块通过引入残差细化模块以及可选择性跳跃连接机制获取输出每组对齐后的序列帧的中间特征;将中间特征输入时空融合模块获取去噪序列帧,通过联合感知损失的损失函数监督训练去噪序列帧和输入序列中心帧的差异,根据差异调整预先设置网络模型的参数,直至网络模型收敛。本发明解决了视频去噪效果无法较好的保留细节纹理特征且难以实时处理的问题。

Description

多尺度特征融合的视频去噪方法、系统、设备及存储介质
技术领域
本文件涉及视频去噪技术领域,尤其涉及一种多尺度特征融合的视频去噪方法、系统、设备及存储介质。
背景技术
随着社交设备的不断普及和推广,视频应用得以发展和流行,然而由于传感器内部电路、拍摄环境、光照等内外界的因素影响,视频在获取、传输和存储过程中不可避免的产生许多噪声,影响观看效果,同时影响后续其他任务处理。
传统视频处理方法多数将去噪任务视为图像去噪的简单拓展,忽略视频帧的时间相关性,造成处理出现不断闪烁、伪影和引入新的噪声等问题。近年来,基于深度学习的视频去噪取得了较好的效果,根据其序列帧对齐方式不同,主要分为三种:基于非局部自相似特征去噪;基于显式和隐式对齐的去噪。其中基于非局部自相似特征是指利用图像和序列的非局部自相似特征,例如VNLnet中通过在图像或者序列间搜索相似的图像块进行组合,对同组图像块利用网络实现噪声和真实图像之间的映射实现局部去噪,最终形成整个图像或者序列去噪结果。基于显式对齐则是利用光流实现运动估计和补偿,例如DVDnet中利用相邻帧的通过光流计算运动估计和实现运动补偿,然后将对齐后的特征送入时空融合去噪块实现全局去噪。基于隐式对齐则是通过隐式建模的方法,学习输入噪声序列间的偏移量进行隐式的估计或者建模,然后学习真实图像和噪声图像之间的映射,最后输出去噪的结果。例如FastDVDnet通过U-net隐式建模的能力,在解决帧错位问题同时,利用两阶段架构快速的学习了两者之间的映射关系,实现了快速处理。EDVR通过可形变卷积计算相邻帧之间的偏移量,然后反向变形得到对齐帧后再进行时空融合去噪和重建操作,得到了更好的性能。
但目前基于深度学习的方法却仍存在一些问题:基于非局部自相似性依赖于精确的帧对齐后才能准确搜索高度匹配的图像块,如果只是加大搜索图像块的数量或者大小,必然增加昂贵的计算成本。基于显式帧对齐即通过光流计算,在处理过程中,第一步一般即对齐处理,然而输入的数据本身含有噪声,图像的细节特征容易受噪声影响,在对齐时被移除或者造成伪影现象,同时,光流计算的约束条件严格,针对大运动场景无法精确对齐。虽然隐式建模实现帧对齐的方法众多,但是多数结构对细节特征不敏感,例如U-net在提取和融合阶段很容易受噪声影响,忽略细节特征,在融合阶段无法更换恢复纹理细节。此外,隐式建模一般网络结构复杂,例如可形变卷积,双向循环网络等等无法用于在线视频任务。因此,如何充分利用序列时序信息,较好的保留视频序列细节特征,同时实现在线处理是目前亟待解决的问题。
发明内容
本发明提供一种多尺度特征融合的视频去噪方法、系统、设备及存储介质,旨在解决上述问题。
本发明实施例提供了一种多尺度特征融合的视频去噪方法,包括:
S1、视频加噪,获取原始视频数据,对原始视频数据进行加噪处理后形成有噪视频数据;
S2、光流对齐,将有噪视频数据输入预先设置网络模型的光流对齐模块对有噪视频数据进行对齐处理后获取对齐后的序列帧;
S3、获取中间特征,将对齐后的序列帧依次输入预先设置网络模型的多尺度细化模块,多尺度细化模块通过引入残差细化模块以及可选择性跳跃连接机制获取输出每组对齐后的序列帧的中间特征;
S4、将中间特征输入预先设置网络模型的时空融合模块,通过时空融合模块获取去噪序列帧,其中时空融合模块引入非局部的残差融合模块和选择性机制;
S5、通过联合感知损失的损失函数监督训练去噪序列帧和输入序列中心帧的差异,根据差异调整预先设置网络模型的参数,直至预先设置网络模型收敛。
本发明实施例提供了一种多尺度特征融合的视频去噪系统,包括:
加噪模块,用于获取原始视频数据,对原始视频数据进行加噪处理后形成有噪视频数据;
光流对齐模块,用于对有噪视频数据进行对齐处理后获取对齐后的序列帧;
多尺度细化模块,将对齐后的序列帧作为输入,通过引入残差细化模块以及可选择性跳跃连接机制获取输出每组对齐后的序列帧的中间特征;
时空融合模块,用于将中间特征作为输入引入非局部的残差融合模块和选择性机制;
模型训练模块,用于通过联合感知损失的损失函数监督训练去噪序列帧和输入序列中心帧的差异,根据差异调整预先设置网络模型的参数,直至预先设置网络模型收敛。
本发明实施例提供了一种电子设备,包括:
处理器;以及,
被安排成存储计算机可执行指令的存储器,所述计算机可执行指令在被执行时使所述处理器执行如多尺度特征融合的视频去噪方法的步骤。
本发明实施例提供了一种存储介质,用于存储计算机可执行指令,所述计算机可执行指令在被执行时实现如多尺度特征融合的视频去噪方法的步骤。
采用本发明实施例,通过校正后的光流进行帧对齐,校正网络采用密集残差连接,细化光流的运动向量,避免了输入数据中的噪声对于运动估计的影响,同时整体的级联两阶段架构减少了推理期间的复杂计算,利于实时处理;利用融合可选择性跳跃连接机制和残差细化网络的多尺度U-net网络,可选择跳跃连接利于传递不同语义特征的重要特征,长短跳跃连接的配合使得在实现精确的对齐的同时保留了序列的细节特征。本发明在第二阶段提出利用非局部注意力引导的多尺度特征对全局依赖进行建模,能够挖掘和重建序列的非局部纹理特征,保留更多的纹理细节信息。经联合感知损失函数的优化监督,网络能够学习到更符合真实图像间的映射关系,最后输出中心帧的去噪结果。
附图说明
为了更清楚地说明本说明书一个或多个实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本说明书中记载的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例的多尺度特征融合的视频去噪方法的流程图;
图2为本发明实施例的多尺度特征融合的视频去噪系统的示意图;
图3为本发明实施例的光流对齐模块的示意图;
图4为本发明实施例的多尺度细化模块的示意图;
图5为本发明实施例的可选择性跳跃连接的示意图;
图6为本发明实施例的时空融合模块的示意图;
图7为本发明实施例的去噪效果示意图。
具体实施方式
为了使本技术领域的人员更好地理解本说明书一个或多个实施例中的技术方案,下面将结合本说明书一个或多个实施例中的附图,对本说明书一个或多个实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本说明书的一部分实施例,而不是全部的实施例。基于本说明书一个或多个实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都应当属于本文件的保护范围。
方法实施例一
本发明实施例提供了一种多尺度特征融合的视频去噪方法,图1为本发明实施例的多尺度特征融合的视频去噪方法的流程图,根据图1所示,本发明实施例的多尺度特征融合的视频去噪方法具体包括:
S1、视频加噪,获取原始视频数据,对原始视频数据进行加噪处理后形成有噪视频数据;
S2、光流对齐,将有噪视频数据输入预先设置网络模型的光流对齐模块对有噪视频数据进行对齐处理后获取对齐后的序列帧;
S3、获取中间特征,将对齐后的序列帧依次输入预先设置网络模型的多尺度细化模块,多尺度细化模块通过引入残差细化模块以及可选择性跳跃连接机制获取输出每组对齐后的序列帧的中间特征;
S4、将中间特征输入预先设置网络模型的时空融合模块,通过时空融合模块获取去噪序列帧,其中时空融合模块引入非局部的残差融合模块和选择性机制;
S5、通过联合感知损失的损失函数监督训练去噪序列帧和输入序列中心帧的差异,根据差异调整预先设置网络模型的参数,直至预先设置网络模型收敛。
本发明实施例中步骤S1中对原始视频进行加噪处理从而得到送入网络模型的有噪视频序列的方法为:随机从同一段视频序列中选择连续的5帧序列,然后对5帧序列随机裁剪同一位置的数据,裁剪大小为96×96,对裁剪部位加入方差相同的高斯噪声,为扩大数据集的数量,对裁剪的位置进行含有翻转、旋转等操作。
本发明实施中步骤S2所述的对输入的噪声连续序列,送入网络模型的光流对齐模块,如图3所示,光流对齐模块包含光流对齐网络、运动校正网络和对齐网络三部分。
光流计算网络,以组内时刻g的帧作为参考帧,分别由g-1时刻序列帧和g+1时刻序列帧与g时刻的参考帧进行光流计算,得到两帧之间的光流;
运动校正网络,将得到的光流特征分别送入统一运动校正网络中,网络采用密集的卷积和权重归一化操作,用于细化光流计算的运动向量,分别得到校正后的光流特征;
对齐网络,根据校正后g时刻的帧和g-1时刻的帧的光流特征,采用反向变形的方法对齐到g时刻,得到对齐后的g-1时刻的帧,同理得到对齐后g+1时刻的帧。
本发明实施例中步骤S3所述的多尺度细化模块基于原始的U-net架构,如图4所示。提取和融合阶段的残差细化块为基于残差的注意力模块,将对每次得到不同层次的语义特征进行计算得到权重,通过残差跳跃连接相应层级的输入的特征。此外,可选择性跳跃连接如图5所示,为对提取阶段得到的不同层次的语义特征进行融合再计算得到权重,然后分别应用到原始层级中进行拼接得到融合阶段的输入。
本发明实施例中步骤S4所述的时空融合模块如图6所示,仍采用上述的多尺度细化模块,但是改进其中的残差细化模块,使用非局部残差融合模块作为提取和融合阶段的操作。非局部残差融合模块首先对输入的特征进行卷积得到特征图,其次对特征图进行变形、卷积和归一化操作得到全局的长距离建模权重,然后应用到输入的特征图上,最后通过一组卷积进行转换获得经建模过滤后的特征图。其余网络架构与多尺度细化模块相同。
在本发明的进一步实例中,步骤S5所述的联合感知损失表达式为:
L=δLperceptual+LMSE
式中:Lperceptual表示感知损失;LMSE表示均方差损失;δ为权重系数,基于经验δ设定为0.1。
在本发明的进一步实例中,步骤S5之后还需要对验证集中的视频序列进行评估,评估采用两种方式进行客观比较,分别为峰值信噪比PSNR(Peak Signal-to-Noise Ratio)和结构相似性SSIM(Structured Similarity)。
为更好说明本发明的有效性,本发明将和其他算法进行对比展示去噪效果。对于原始视频集序列DAVIS测试集加入高斯噪声。对比实验将采用4种具有代表性的方法进行比较,这4种代表性的视频去噪方法分别为:基于自相似原理中具有代表性的VNLnet、基于光流对齐中的DVDnet和ToFlow[8]和基于隐式对齐的FastDVDnet四种方法。
针对本发明提出的方法,将主要在高斯噪声情况下进行测试,噪声参数方差设定以下四种情况模拟真实世界的不同噪声水平:10,20,40,50。客观评价指标选择峰值信噪比PSNR和结构相似性SSIM。其中两者指标越大,说明去噪效果越好。表1给出了四种方法在同一平台测试得到的客观评价效果:
表1
Figure BDA0003997587150000071
通过对比实验我们可以看到,本发明无论在何种噪声水平下均可以获得更好的去噪性能,其PSNR指标比目前先进的方法平均高出0.6dB左右,其SSIM指标平均获得0.04的增益。
为了验证方法对于细节的处理,可以从图7所示的实验去噪效果图可以看出,针对运动车辆上的英文标识去噪时,第一种VNLnet方法去噪产生明显的伪影现象,这是因为未对齐序列,造成搜索的相似块时不匹配而产生模糊;第二种DVDnet方法虽然使用光流对齐,但未充分挖掘利用和时序特征,丢失细节信息,导致去噪后仍存在模糊;第三种FastDVDnet方法由于采用隐式的多尺度架构对局部特征不敏感,去噪后仍存在模糊现象,而本方法通过校正后的光流和多尺度细化架构的联合,实现精确对齐再去噪,减少了噪声分量对细节特征的影响,因此对运动物体的局部特征还原更加清晰。
表2是本方法和其他方法在同一平台推理单个序列时间上的对比。视频帧分辨率为854×480,视频序列长度为10,为对比实际应用,ToFlow、DVDnet和本方法的时间中均包括光流计算。从表2可以看出,相比较基于非局部自相似和基于光流的算法在速度上提升4-10倍。与目前处理速度最快的FastDVDnet方法接近,只需要平均每帧0.33s即可对480p视频帧进行去噪,支持实时处理。
表2
Figure BDA0003997587150000081
与现有技术相比,本发明所述的基于光流和多尺度特征融合的视频去噪方法通过对齐、细化和重建三步的两阶段架构,学习到噪声图像和真实图像之间的映射关系。两级的级联架构避免了大量的光流计算成本,同时利于实现长序列的建模,此外,借助于优化后的多尺度特征架构,加强对局部特征的重建,克服了现有技术中基于深度学习技术的方法容易造成序列纹理特征丢失的问题,同时支持实时处理任务,更好的应用于实际生活环境。
通过采用本发明实施例具备如下有益效果:
1、本发明利用通过校正后的光流进行帧对齐,校正网络采用密集残差连接,细化光流的运动向量,避免了输入数据中的噪声对于运动估计的影响,同时整体的级联两阶段架构减少了推理期间的复杂计算,利于实时处理;
2、本发明利用融合可选择性跳跃连接机制和残差细化网络的多尺度U-net网络,可选择跳跃连接利于传递不同语义特征的重要特征,长短跳跃连接的配合使得在实现精确的对齐的同时保留了序列的细节特征。
3、本文在第二阶段提出利用非局部注意力引导的多尺度特征对全局依赖进行建模,能够挖掘和重建序列的非局部纹理特征,保留更多的纹理细节信息。经联合感知损失函数的优化监督,网络能够学习到更符合真实图像间的映射关系,最后输出中心帧的去噪结果。
方法实施例二
本发明实施例提供了一种基于光流和多尺度特征融合的视频去噪方法,包括如下步骤:
步骤1:数据集预处理步骤:获取原始视频序列数据,确保每段视频序列帧至少大于5帧及以上,对原始视频序列进行加噪处理,得到送入网络模型的有噪视频序列,和原始视频序列形成一对数据;
步骤2:将有噪视频序列输入至网络模型,输入序列帧数为5帧,按照时间索引3帧为一组,分为3组依次送入网络模型的光流对齐模块进行处理,得到每组对齐后的序列帧;
步骤3:将的每组对齐后的序列帧依次送入多尺度细化模块,挖掘序列的空间特征,在保留细节特征的同时实现精确对齐。多尺度细化模块整体架构基于改进的U-net架构,其中在提取和融合阶段引入残差细化模块,并引入可选择性机制到跳跃连接,通过长短连接的配合保留细节特征,同时结合U型结构实现精确对齐,输出每组的中间特征;
步骤4:将上述得到的每组中间特征进行拼接,送入网络模型中的时空融合模块。时空融合模块整体架构基于改进的U-net架构,其中在提取和融合阶段引入非局部的残差融合模块,并引入可选择性机制到跳跃连接,得到最后输出序列中心帧的去噪序列帧;
步骤5:利用联合感知损失的损失函数监督训练输出去噪序列帧和输入序列中心帧的差异,不断调整视频去噪网络模型的参数,直至网络模型整体收敛,结束训练。
系统实施例
本发明实施例提供了一种多尺度特征融合的视频去噪系统,图2为本发明实施例的多尺度特征融合的视频去噪系统的示意图,本发明实施例的多尺度特征融合的视频去噪系统具体包括:
加噪模块,用于获取原始视频数据,对原始视频数据进行加噪处理后形成有噪视频数据;
光流对齐模块,用于对有噪视频数据进行对齐处理后获取对齐后的序列帧;
多尺度细化模块,将对齐后的序列帧作为输入,通过引入残差细化模块以及可选择性跳跃连接机制获取输出每组对齐后的序列帧的中间特征;
时空融合模块,用于将中间特征作为输入,通过引入非局部的残差融合模块和选择性机制获取最终的去噪序列帧;
模型训练模块,用于通过联合感知损失的损失函数监督训练去噪序列帧和输入序列中心帧的差异,根据差异调整预先设置网络模型的参数,直至预先设置网络模型收敛。
本发明实施例的加噪模块具体用于:随机从同一段视频序列中选择连续的5帧序列,然后对5帧序列随机裁剪同一位置的数据,裁剪大小为96×96,对裁剪部位加入方差相同的高斯噪声,为扩大数据集的数量,对裁剪的位置进行含有翻转、旋转等操作。
本发明实施例的光流对齐模块包含光流对齐网络、运动校正网络和对齐网络三部分。
光流计算网络,以组内时刻g的帧作为参考帧,分别由g-1时刻序列帧和g+1时刻序列帧与g时刻的参考帧进行光流计算,得到两帧之间的光流;
运动校正网络,将得到的光流特征分别送入统一运动校正网络中,网络采用密集的卷积和权重归一化操作,用于细化光流计算的运动向量,分别得到校正后的光流特征;
对齐网络,根据校正后g时刻的帧和g-1时刻的帧的光流特征,采用反向变形的方法对齐到g时刻,得到对齐后的g-1时刻的帧,同理得到对齐后g+1时刻的帧。
本发明实施例的多尺度细化模块具体用于:基于原始的U-net架构,提取和融合阶段的残差细化块为基于残差的注意力模块,将对每次得到不同层次的语义特征进行计算得到权重,通过残差跳跃连接相应层级的输入的特征。此外,可选择性跳跃连接如图5所示,为对提取阶段得到的不同层次的语义特征进行融合再计算得到权重,然后分别应用到原始层级中进行拼接得到融合阶段的输入。
本发明实施例的时空融合模块具体用于:采用上述的多尺度细化模块,但是改进其中的残差细化模块,使用非局部残差融合模块作为提取和融合阶段的操作。非局部残差融合模块首先对输入的特征进行卷积得到特征图,其次对特征图进行变形、卷积和归一化操作得到全局的长距离建模权重,然后应用到输入的特征图上,最后通过一组卷积进行转换获得经建模过滤后的特征图。其余网络架构与多尺度细化模块相同。
本发明实施例中的联合感知损失表达式为:
L=δLperceptual+LMSE
式中:Lperceptual表示感知损失;LMSE表示均方差损失;δ为权重系数,基于经验δ设定为0.1。
装置实施例一
一种电子设备,包括:
处理器;以及,
被安排成存储计算机可执行指令的存储器,所述计算机可执行指令在被执行时使所述处理器执行如上述方法实施例的步骤。
装置实施例二
一种存储介质,用于存储计算机可执行指令,所述计算机可执行指令在被执行时实现如上述方法实施例的步骤。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (10)

1.一种多尺度特征融合的视频去噪方法,其特征在于,包括:
S1、视频加噪,获取原始视频数据,对所述原始视频数据进行加噪处理后形成有噪视频数据;
S2、光流对齐,将所述有噪视频数据输入预先设置网络模型的光流对齐模块对所述有噪视频数据进行对齐处理后获取对齐后的序列帧;
S3、获取中间特征,将所述对齐后的序列帧依次输入预先设置网络模型的多尺度细化模块,所述多尺度细化模块通过引入残差细化模块以及可选择性跳跃连接机制获取输出每组对齐后的序列帧的中间特征;
S4、将所述中间特征输入预先设置网络模型的时空融合模块,通过所述时空融合模块获取去噪序列帧,其中所述时空融合模块引入非局部的残差融合模块和选择性机制;
S5、通过联合感知损失的损失函数监督训练去噪序列帧和输入序列中心帧的差异,根据所述差异调整预先设置网络模型的参数,直至所述预先设置网络模型收敛。
2.根据权利要求1所述的方法,其特征在于,所述步骤S1具体包括:
随机从所述原始视频数据中选择连续的N帧序列,然后对N帧序列以相同尺寸裁剪同一位置的数据,对裁剪部位加入方差相同的高斯噪声,并对裁剪的位置进行翻转及旋转,其中,N为大于等于5的正整数。
3.根据权利要求2所述的方法,其特征在于,所述步骤S2具体包括:
将所述对齐后的序列帧送入光流对齐模块的光流计算网络,以对齐后的序列帧中时刻g的帧作为参考帧,分别由g-1时刻序列帧和g+1时刻序列帧与g时刻的参考帧进行光流计算,得到两帧之间的光流,其中g为大于等于1且小于等于N-1的正整数;
将所述两帧之间的光流分别送入统一运动校正网络中,所述运动校正网络网络采用密集的卷积和权重归一化操作,用于细化光流计算的运动向量,分别得到校正后的光流特征;
通过对齐网络根据校正后g时刻的帧和g-1时刻的帧的光流特征,采用反向变形的方法得到对齐到g时刻、对齐到g-1时刻以及对齐到g+1时刻的帧。
4.根据权利要求1所述的方法,其特征在于,所述步骤S3具体包括:
在所述多尺度细化模块的提取和融合阶段引入基于残差的注意力模块,将所述对齐后的序列帧通过采样得到不同层次的语义特征,通过残差跳跃连接相应层级的输入的特征,通过可选择性跳跃连接为对提取阶段得到的不同层次的语义特征进行融合再计算得到权重,然后分别应用到原始层级中进行拼接得到所述时空融合模块输入。
5.根据权利要求4所述的方法,其特征在于,所述步骤S4具体包括:
所述时空融合模块中提取和融合阶段使用非局部残差融合模块,所述非局部残差融合模块对输入的特征进行卷积得到特征图后对所述特征图进行变形、卷积和归一化操作得到全局的长距离建模权重,然后应用到输入的特征图上,最后通过一组卷积进行转换获得经建模过滤后的特征图。
6.根据权利要求1所述的方法,其特征在于,所述步骤S5具体包括:
通过公式1获取联合感知损失:
L=δLperceptual+LMSE 公式1;
其中,Lperceptual表示感知损失;LMSE表示均方差损失;δ为权重系数。
7.根据权利要求1所述的方法,其特征在于,所述方法进一步包括:
采用峰值信噪比和结构相似性两种方式对所述多尺度特征融合的视频去噪方法进行去噪性能评估。
8.一种多尺度特征融合的视频去噪系统,其特征在于,包括:
加噪模块,用于获取原始视频数据,对所述原始视频数据进行加噪处理后形成有噪视频数据;
光流对齐模块,用于对所述有噪视频数据进行对齐处理后获取对齐后的序列帧;
多尺度细化模块,将所述对齐后的序列帧作为输入,通过引入残差细化模块以及可选择性跳跃连接机制获取输出每组对齐后的序列帧的中间特征;
时空融合模块,用于将所述中间特征作为输入,通过引入非局部的残差融合模块和选择性机制获取最终的去噪序列帧;
模型训练模块,用于通过联合感知损失的损失函数监督训练去噪序列帧和输入序列中心帧的差异,根据所述差异调整预先设置网络模型的参数,直至所述预先设置网络模型收敛。
9.一种电子设备,包括:
处理器;以及,
被安排成存储计算机可执行指令的存储器,所述计算机可执行指令在被执行时使所述处理器执行如权利要求1-7所述的任意一项多尺度特征融合的视频去噪方法的步骤。
10.一种存储介质,用于存储计算机可执行指令,所述计算机可执行指令在被执行时实现如权利要求1-7所述的任意一项多尺度特征融合的视频去噪方法的步骤。
CN202211597894.8A 2022-12-14 2022-12-14 多尺度特征融合的视频去噪方法、系统、设备及存储介质 Pending CN115797646A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211597894.8A CN115797646A (zh) 2022-12-14 2022-12-14 多尺度特征融合的视频去噪方法、系统、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211597894.8A CN115797646A (zh) 2022-12-14 2022-12-14 多尺度特征融合的视频去噪方法、系统、设备及存储介质

Publications (1)

Publication Number Publication Date
CN115797646A true CN115797646A (zh) 2023-03-14

Family

ID=85419699

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211597894.8A Pending CN115797646A (zh) 2022-12-14 2022-12-14 多尺度特征融合的视频去噪方法、系统、设备及存储介质

Country Status (1)

Country Link
CN (1) CN115797646A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116757970A (zh) * 2023-08-18 2023-09-15 腾讯科技(深圳)有限公司 视频重建模型的训练方法、视频重建方法、装置及设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116757970A (zh) * 2023-08-18 2023-09-15 腾讯科技(深圳)有限公司 视频重建模型的训练方法、视频重建方法、装置及设备
CN116757970B (zh) * 2023-08-18 2023-11-17 腾讯科技(深圳)有限公司 视频重建模型的训练方法、视频重建方法、装置及设备

Similar Documents

Publication Publication Date Title
WO2021048607A1 (en) Motion deblurring using neural network architectures
CN111539290B (zh) 视频动作识别方法、装置、电子设备及存储介质
CN114565655B (zh) 一种基于金字塔分割注意力的深度估计方法及装置
CN114463218B (zh) 一种基于事件数据驱动的视频去模糊方法
CN113222855B (zh) 一种图像恢复方法、装置和设备
CN114170286B (zh) 一种基于无监督深度学习的单目深度估计方法
CN113724379B (zh) 融合图像与激光点云的三维重建方法及装置
CN112200732B (zh) 一种清晰特征融合的视频去模糊方法
CN113850231A (zh) 一种红外图像的转换训练方法、装置、设备及存储介质
CN115797646A (zh) 多尺度特征融合的视频去噪方法、系统、设备及存储介质
CN116485741A (zh) 一种无参考图像质量评价方法、系统、电子设备及存储介质
CN112598604A (zh) 一种盲脸复原方法及系统
CN117351542A (zh) 一种面部表情识别方法及系统
CN110070541B (zh) 一种适用于小样本数据的图像质量评价方法
CN111275751A (zh) 一种无监督绝对尺度计算方法及系统
CN116883265A (zh) 一种基于增强特征融合机制的图像去模糊方法
CN113313683B (zh) 基于元迁移学习的无参考视频质量评价方法
CN112381056B (zh) 一种融合多个源域的跨域行人重识别方法及系统
CN114841887A (zh) 一种基于多层次差异学习的图像恢复质量评价方法
CN110381313B (zh) 基于lstm网络与图像组质量盲评估的视频压缩感知重构方法
CN114549302A (zh) 一种图像超分辨率重建方法及系统
CN113891069A (zh) 一种视频质量的评估方法、装置及设备
CN113902647A (zh) 一种基于双闭环网络的图像去模糊方法
CN115311149A (zh) 图像去噪方法、模型、计算机可读存储介质及终端设备
CN113012072A (zh) 一种基于注意力网络的图像运动去模糊方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination