CN111212198A - 一种视频去噪的方法和设备 - Google Patents

一种视频去噪的方法和设备 Download PDF

Info

Publication number
CN111212198A
CN111212198A CN201811399755.8A CN201811399755A CN111212198A CN 111212198 A CN111212198 A CN 111212198A CN 201811399755 A CN201811399755 A CN 201811399755A CN 111212198 A CN111212198 A CN 111212198A
Authority
CN
China
Prior art keywords
video
denoised
training
dictionary
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811399755.8A
Other languages
English (en)
Other versions
CN111212198B (zh
Inventor
袁其政
宋钦梅
郭明松
方华
周骏华
李金龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Mobile Communications Group Co Ltd
China Mobile Hangzhou Information Technology Co Ltd
Original Assignee
China Mobile Communications Group Co Ltd
China Mobile Hangzhou Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Mobile Communications Group Co Ltd, China Mobile Hangzhou Information Technology Co Ltd filed Critical China Mobile Communications Group Co Ltd
Priority to CN201811399755.8A priority Critical patent/CN111212198B/zh
Publication of CN111212198A publication Critical patent/CN111212198A/zh
Application granted granted Critical
Publication of CN111212198B publication Critical patent/CN111212198B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/21Circuitry for suppressing or minimising disturbance, e.g. moiré or halo

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开了一种视频去噪的方法和设备,用以解决现有技术中在视频去噪后视频感知质量差的问题。本发明将接收到的待去噪视频分割成多个去噪视频的GOP,并根据去噪视频的GOP的第一质量值确定待去噪视频的第二质量值;根据待去噪视频的第二质量值确定稀疏表示阈值;将稀疏表示阈值和待去噪视频的像素值输入训练联合字典,以对待去噪视频进行稀疏表示去噪;其中,其中,训练联合字典为视频空域训练集和视频时域训练集采用KSVD方法训练的联合字典。由于本发明不仅对空域噪声进行了去噪处理,还对时域噪声进行了去噪处理,不仅保证了待去噪视频中每帧图像的质量,还保证视频不会产生抖动和闪烁等问题,提升视频的整体感知质量。

Description

一种视频去噪的方法和设备
技术领域
本发明涉及通信技术领域,特别涉及一种视频去噪的方法和设备。
背景技术
在视频通信、多媒体通信系统中,高清视频的数据量非常庞大,因此在传输和存储过程中,需要对获取到的视频数据进行编码操作。目前使用的一种国际编码标准有:JPEG(Joint Photographic Experts Group,联合图像专家小组)、MPEG(Moving PicturesExperts Group,动态图象专家组)、H.264/AVC(Advanced Video Coding,高级视频编码)和H265采用BDTC(Block-based Discrete Cosine Transform,基于块的离散余弦变换)压缩图像和视频。
在视频通过上列编码标准进行编码后会产生块效应等噪声,严重影响视频视觉感知。在高清视频通话时,块效应等噪声的影响非常严重,因此需要对编码后的视频进行去块效应等噪声的处理,目前对编码视频的去噪处理包括后处理方法,后处理去噪方法主要是针对视频编码后得到的每帧数据进行去噪处理。且采用后处理去噪的方法主要针对视频的空域视频进行去噪处理,但是在进过后处理去噪后,视频图像模糊,且产生抖动和闪烁等问题。
综上,现有技术中在对视频的空域视频去噪后,视频图像模糊,且由于视频存在时域噪声会产生抖动和闪烁的现象,使视频的整体感知质量差。
发明内容
本发明提供一种视频去噪的方法和设备,用以解决现有技术中在视频去噪后视频感知质量差的问题。
第一方面,本发明实施例提供一种视频去噪的方法,该方法包括:
将接收到的待去噪视频分割成多个去噪视频的GOP(Group of Picture,画面组),并根据所述去噪视频的GOP的第一质量值确定所述待去噪视频的第二质量值;
根据所述待去噪视频的第二质量值确定稀疏表示阈值;
将所述稀疏表示阈值和所述待去噪视频的像素值输入训练联合字典,以对所述待去噪视频进行稀疏表示去噪;
其中,所述训练联合字典为视频空域训练集和视频时域训练集采用KSVD(K-meansSingular Value Decomposition,K均值奇异值分解)方法训练的联合字典。
上述方法,对接收到的待去噪视频进行去噪处理时,先将接收到的待去噪视频分割成多个去噪视频的GOP,并计算每个去噪视频的GOP的第一质量值,根据计算的第一质量值确定待去噪视频的第二质量值,进而根据第二质量值确定待去噪视频的稀疏表示阈值,将所述待去噪视频的稀疏表示阈值和待去噪视频的像素值输入训练联合字典,对待去噪视频进行稀疏表示去噪,其中训练联合字典是采用KSVD训练方法,对字典空域训练集和字典时域训练集进行训练得到的;由于本发明中在对待去噪视频进行处理时,不仅对视频的空域噪声进行了去噪处理,同时对视频的时域噪声进行了去噪处理,因此在保证待去噪视频中每帧图像质量的同时,还保证视频不会产生抖动和闪烁等问题,提升视频的整体感知质量。
在一种可能的实现方式中,根据所述去噪视频的GOP的第一质量值确定所述待去噪视频的第二质量值时,采用无参考质量评估方法确定所述待去噪视频中的每个所述去噪视频的GOP的第一质量值;
根据确定的多个所述去噪视频的GOP的第一质量值求平均,并将得到的平均值作为待去噪视频的第二质量值。
上述方法,采用无参考质量评估方法准确的确定出每个去噪视频的GOP的第一质量值,将确定的多个去噪视频的GOP的第一质量值求平均得到待去噪视频的第二质量值,根据计算第二质量值的方式可以准确的计算出第二质量值。
在一种可能的实施方式中,根据所述待去噪视频的第二质量值确定稀疏表示阈值时,根据第二质量值与稀疏表示阈值的对应关系,确定所述待去噪视频的第二质量值对应的稀疏表示阈值。
上述方法,在确定待去噪视频的第二质量值的前提下,根据第二质量值与稀疏表示阈值的对应关系,可以准确的确定待去噪视频的稀疏表示阈值。
在一种可能的实施方式中,根据下列方式确定第二质量值与稀疏表示阈值的对应关系:
确定第一视频训练集中每个第一视频片段的第二质量值;
将每个第一视频片段及所述第一视频片段对应的多个稀疏表示阈值输入所述训练联合字典,确定所述训练联合字典输出的每个稀疏表示阈值对应的去噪处理后的第一视频片段;
确定所述去噪处理后的每个第一视频片段对应的第三质量值;
确定同一个所述去噪处理后的第一视频片段对应的所述第三质量值与所述第二质量值的质量差值;
将计算得到的不同所述去噪处理后的第一视频片段的质量差值进行对比,确定所述质量差值最大的所述去噪处理后的第一视频片段对应的第三质量值,并根据第三质量值确定稀疏表示阈值;
根据确定的所述稀疏表示阈值及所述去噪处理后的第一视频片段对应的第二质量值,确定第二质量值与稀疏表示阈值的对应关系。
上述方法,对视频训练集中的每个第一视频片段都确定出一组包含去噪处理后的第一视频片段的第三质量值与第二质量值之间的差值最大时对应的稀疏表示阈值,及第一视频片段的第二质量值的数据,因此确定出多组数据,根据确定的多组包含所述稀疏表示阈值及所述去噪处理后的第一视频片段对应的第二质量值的数据,确定第二质量值与稀疏表示阈值的对应关系,使确定出的第二质量值与稀疏表示阈值的对应关系更加的准确,进而可以根据所述对应关系在确定第二质量值的情况下,准确的求得需要输入到训练联合字典中的稀疏表示阈值。
在一种可能的实施方式中,根据下列方式确定所述训练联合字典:
将第二视频训练集中每个第二视频片段分割成M个训练视频的GOP;
针对任意一个所述第二视频片段,从所述第二视频片段分割得到的M个所述训练视频的GOP中选取N个所述训练视频的GOP;
根据选取的所述训练视频的GOP确定所述字典空域训练集和所述字典时域训练集;
将所述字典空域训练集及所述字典时域训练集进行联合处理,确定字典训练数据集;
将所述字典训练数据集采用KSVD方法进行训练,确定所述训练联合字典;
其中,M和N为正整数,且N小于等于M。
上述方法,训练联合字典是字典训练数据集采用KSVD方法进行训练得到的,其中字典训练数据集是由字典空域训练集及所述字典时域训练集进行联合处理得到的,因此采用KSVD方法对模型进行训练时即对空域进行训练,又对时域进行训练,输出的训练联合字典是字典空域训练集及字典时域训练集采用KSVD方法训练确定的,因此在后续使用训练联合字典对待去噪视频进行去噪处理时,既可以对空域噪声进行去噪处理,又可以对时域噪声进行去噪处理。
在一种可能的实施方式中,根据选取的所述训练视频的GOP确定所述字典空域训练集时,针对任意一个所述训练视频的GOP,根据训练视频的GOP中的视频帧选取第一视频块;
将选取的所述第一视频块中像素点的数量作为行数,及将选取的所述第一视频块的数量作为列数,生成第一数据矩阵,其中所述第一数据矩阵的数据为选取的所述第一视频块的像素值;
将生成的第一数据矩阵作为所述字典空域训练集。
上述方法,在选取的每个训练视频的GOP中选取第一视频块,将第一视频块中像素点的数量作为行数,将选取的第一视频块的数量作为列数,生成第一矩阵,将生成的第一矩阵作为字典空域训练集,其中第一数据矩阵中的数据为选取的第一视频块的像素值,根据上述方式可以准确的确定出第一数据矩阵,将确定的第一数据矩阵作为字典空域训练集,进而可以准确的确定出字典空域训练集。
在一种可能的实施方式中,根据选取的所述训练视频的GOP确定所述字典时域训练集时,针对任意一个所述训练视频的GOP,根据运动估计算法确定所述训练视频的GOP中前后两帧相匹配的第二视频块;
将选取的所述第二视频块中像素点的数量作为行数,及将选取的所述第二视频块的数量作为列数生成第二数据矩阵,其中所述第二数据矩阵的数据为前帧对应的第二视频块的像素值,及前帧对应的第二视频块与后帧对应的第二视频块之间的像素质量差值;
将生成的第二数据矩阵作为所述字典时域训练集。
上述方法,在选取的每个训练视频的GOP中选取第二视频块,将第二视频块中像素点的数量作为行数,将选取的第二视频块的数量作为列数,生成第二矩阵,将生成的第二矩阵作为字典时域训练集,其中第二数据矩阵中的数据为选取的第二视频块的像素值,根据上述方式可以准确的确定出第二数据矩阵,将确定的第二数据矩阵作为字典时域训练集,进而可以准确的确定出字典时域训练集。
第二方面,本发明实施例提供一种视频去噪的设备,该设备包括:处理器以及收发机:
所述处理器用于:将接收到的待去噪视频分割成多个去噪视频的GOP,并根据所述去噪视频的GOP的第一质量值确定所述待去噪视频的第二质量值;
根据所述待去噪视频的第二质量值确定稀疏表示阈值;
将所述稀疏表示阈值和所述待去噪视频输入训练联合字典,以对所述待去噪视频进行稀疏表示去噪;
其中,所述训练联合字典为视频空域训练集和视频时域训练集采用KSVD方法训练的联合字典。
第三方面,本发明实施例提供另一种视频去噪的设备,该设备包括:处理单元和存储单元;该存储单元用于存储计算机执行指令,当该设备运行时,该处理单元执行该存储单元存储的该计算机执行指令,以使该设备执行如上述方面中任一所述的视频去噪的方案。
第四方面,本申请还提供一种计算机可读存储介质,所述计算机可读存储介质中包括程序代码,当其在计算机上运行时,使得计算机执行上述各方面所述的方法。
第五方面,本申请还提供一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述各方面所述的方法。
另外,第二方面至第五方面中任一种实现方式所带来的技术效果可参见第一方面中不同实现方式所带来的技术效果,此处不再赘述。
本申请的这些方面或其他方面在以下实施例的描述中会更加简明易懂。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简要介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域的普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种视频去噪的方法流程图;
图2为本发明实施例提供的一种确定第二质量值与稀疏表示阈值的对应关系的方法流程图;
图3为本发明实施例提供的一种在视频帧图像中选取重叠块的示意图;
图4为本发明实施例提供的一种确定训练联合字典的方法流程图;
图5A为本发明实施例提供的一种选取相匹配的块对应的前一帧视频图像;
图5B为本发明实施例提供的一种选取相匹配的块对应的后一帧视频图像;
图6为本发明实施例提供的一种视频去噪的整体方法流程图;
图7为本发明实施例提供的一种视频去噪的设备的结构图;
图8为本发明实施例提供的另一种视频去噪的设备的结构图。
具体实施方式
本申请实施例描述的架构以及业务场景是为了更加清楚的说明本申请实施例的技术方案,并不构成对于本申请实施例提供的技术方案的限定,本领域普通技术人员可知,随着新业务场景的出现,本申请实施例提供的技术方案对于类似的技术问题,同样适用。
随着网络通信技术的发展,现已出现视频通信、多媒体通信;但是采用视频通信时,视频的数据量比较大,要对视频进行传输和存储的话,需要对视频进行编码操作,进行编码后的视频会产生块效应等噪声,影响视频的视觉感知,因此需要对编码后的视频进行去噪处理,来提高视频的视觉感知。
目前,去噪处理有后处理去噪算法,在后处理去噪算法中主要有滤波方法、居于凸集投影方法;
在采用滤波方法对编码后的视频进行去噪处理时,可以滤除噪声,但是在滤除造成的同时也会滤除部分视频图像的高频图像信息,无法有效的保存边缘,导致视频图像整体比较模糊;
在采用基于凸集投影方法对编码后的视频进行去噪处理时,主要将编码后的视频数据经过凸函数约束得到去噪之后的视频图像,该方法会出现约束集的数据较少是去噪效果差的问题。
以上后处理去噪算法都只是针对视频的空域噪声进行处理,且经过处理后的视频仍然存在噪声或视频图像模糊,且经过去噪处理后的视频还存在时域噪声,使去噪后的视频出现抖动和闪烁的现象,使视频的整体感知质量差。
从上述内容可以看出,现有的对编码后的视频进行去噪处理时,都只针对视频的空域噪声进行去噪处理,并没有在对空域噪声进行去噪的同时对时域噪声进行去噪处理,且经过去噪处理后的视频的感知质量差,因此本发明提供一致针对视频同时进行空域噪声和时域噪声的去噪处理,提高视频的感知质量。
为了使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明作进一步地详细描述,显然,所描述的实施例仅是本发明一部份实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
如图1所示,为本发明实施例提供的一种视频去噪的方法流程图,具体包括如下步骤:
步骤100,将接收到的待去噪视频分割成多个去噪视频的GOP,并根据所述去噪视频的GOP的第一质量值确定所述待去噪视频的第二质量值;
步骤110,根据所述待去噪视频的第二质量值确定稀疏表示阈值;
步骤120,将所述稀疏表示阈值和所述待去噪视频的像素值输入训练联合字典,以对所述待去噪视频进行稀疏表示去噪;
其中,所述训练联合字典为视频空域训练集和视频时域训练集采用K值奇异分解KSVD方法训练的联合字典。
在本发明实施例中,对接收到的待去噪视频进行去噪处理时,先将接收到的待去噪视频分割成多个去噪视频的GOP,并计算每个去噪视频的GOP的第一质量值,根据计算的第一质量值确定待去噪视频的第二质量值,进而根据第二质量值确定待去噪视频的稀疏表示阈值,将所述待去噪视频的稀疏表示阈值和待去噪视频的像素值输入训练联合字典,对待去噪视频进行稀疏表示去噪,其中训练联合字典是采用KSVD方法对字典空域训练集和字典时域训练集进行训练得到的训练联合字典;
由于本发明中在对待去噪视频进行处理时,不仅对视频的空域噪声进行了去噪处理,同时对视频的时域噪声进行了去噪处理,因此在保证待去噪视频中每帧图像质量的同时,还保证视频不会产生抖动和闪烁等问题,提升视频的整体感知质量。
在对待去噪视频进行去噪操作时,采用后处理去噪算法中基于稀疏表示的去噪方法对待处理视频进行去噪处理,需要将所述训练联合字典、所述稀疏表示阈值及所述待去噪视频的像素值输入稀疏表示中;进而在执行稀疏表示去噪过程中,将所述稀疏表示阈值及所述待去噪视频的像素值输入训练联合字典,以使所述训练联合字典根据输入的所述稀疏表示阈值及所述待去噪视频的像素值输出对应的待去噪视频进行去噪处理后的视频的像素值,并根据所述输出的像素值确定去噪处理后的视频,实现对待去噪视频的去噪过程。
在本发明实施例中,输入到所述训练联合字典中的稀疏表示阈值是根据待去噪视频的第二质量值确定的,所述待去噪视频的第二质量值是根据待去噪视频中每个去噪视频的GOP的第一质量值确定的,因此需要将待去噪视频分割成多个去噪视频的GOP进行处理。
可选的,在针对所述待去噪视频分割去噪视频的GOP时,以设定帧数为一组将接收到的待去噪视频分割为多组,分割后的每一组视频段作为一个去噪视频的GOP,因此将接收到的待去噪视频分割成多个去噪视频的GOP;
比如,接收到的待去噪视频为由64帧图像形成的视频,设定8帧为一组对接收到的待去噪视频进行分割,因此将64帧图像以8帧为一组进行顺序分割成8个去噪视频的GOP。
因此,以去噪视频的GOP的方式对待去噪视频进行后续处理时,根据所述去噪视频的GOP的第一质量值确定所述待去噪视频的第二质量值,先采用无参考质量评估方法确定待去噪视频中每个去噪视频的GOP的第一质量值,在确定每个去噪视频的GOP的第一质量值后,将确定的所有去噪视频的GOP的第一质量值相加再求平均,将求得的平均值作为待去噪视频的第二质量值。
比如,将待去噪视频分成8个去噪视频的GOP后,采用无参考质量评估的方法确定每个去噪视频的GOP的第一质量值分别为8、10、7、9、10、12、9、7;将确定的8个第一质量值相加求平均为[(8+10+7+9+10+12+9+7)/8=9],确定待去噪视频的第二质量值为9。
在实施中,采用无参考质量评估方法准确的确定出每个去噪视频的GOP的第一质量值,将确定的多个去噪视频的GOP的第一质量值求平均得到待去噪视频的第二质量值,根据计算第二质量值的方式可以准确的计算出第二质量值。
在确定所述待去噪视频的第二质量值后,根据所述第二质量值确定所述待去噪视频的稀疏表示阈值时,主要根据所述第二质量值与稀疏表示阈值的对应关系确定所述待去噪视频的第二质量值。
实施例一:确定所述第二质量值与稀疏表示阈值的对应关系。
可选的,根据下列方式确定所述第二质量值与稀疏表示阈值的对应关系;
如图2所示,为本发明实施例提供的一种确定第二质量值与稀疏表示阈值的对应关系的方法流程图,具体包括如下步骤:
步骤200,确定第一视频训练集中每个第一视频片段的第二质量值;
选取场景丰富的K个视频片段作为第一视频训练集中的第一视频片段,因此第一视频训练集中有K个第一视频片段,其中K为正整数;针对第一视频训练集中的每个第一视频片段,按照设定的帧数将第一视频片段分割成多个视频子段,采用无参考质量评估方法依次确定每个视频子段的第一质量值,并将确定的每个视频子段的第一质量值相加求平均,求得的平均值为第一视频片段的第二质量值。
以K=8进行举例,即选取了8个视频片段作为第一视频训练集中的第一视频片段,若第一视频训练集中的8个第一视频片段分别为A、B、C、D、E、F、Y、X;
选取A视频片段,根据设定的帧数将A视频片段分割成多个视频子段A1、A2、A3……Am,对多个视频子段采用无参考质量评估方法确定A视频片段中m个视频子段中各个视频子段的第一质量值,将计算的m个第一质量值相加求平均确定A视频片段的第二质量值;
同理,对B、C、D、E、F、Y、X视频片段采用相同的方式确定第二质量值。
步骤210,将每个第一视频片段的像素值及所述第一视频片段对应的多个稀疏表示阈值输入所述训练联合字典,确定所述训练联合字典输出的每个稀疏表示阈值对应的去噪处理后的第一视频片段;
将所述A视频片段的像素值输入所述训练联合字典,同时还需要输入A视频片段的稀疏表示阈值,由于不能准确的确定A视频片段对应的稀疏表示阈值,因此需要在设定的稀疏表示阈值区间中选取多个数值分别输入所述训练联合字典;
将所述A视频片段的像素值及一个稀疏表示阈值输入到所述训练联合字典后,所述训练联合字典根据输入的A视频片段的像素值及输入的稀疏表示阈值确定输出的像素值,并根据输出的像素值确定去噪处理后的A视频片段;将选取的多个稀疏表示阈值依次输入到所述训练联合字典中,最终会得到每个稀疏表示阈值对应的去噪处理后的A视频片段;
比如,确定A视频片段的像素值为Aa,给出的稀疏表示阈值区间为(3,7),因此在3~7之间选取多个数值,假设选取8个数,分别为3、3.5、4、4.7、5、5.5、6、7;先将Aa和3输入所述训练联合字典,所述训练联合字典处理后,输出一个去噪处理后的A视频片段Aa1,然后分别将Aa和3.5、Aa和4、Aa和4.7、Aa和5、Aa和5.5、Aa和6、Aa和7输入所述训练联合字典,分别得到去噪处理后的A视频片段为Aa2、Aa3……Aa8;
同理,确定B视频片段对应的多个去噪处理后的视频片段;确定C视频片段对应的多个去噪处理后的视频片段;确定D视频片段对应的多个去噪处理后的视频片段;确定E视频片段对应的多个去噪处理后的视频片段;确定F视频片段对应的多个去噪处理后的视频片段;确定Y视频片段对应的多个去噪处理后的视频片段;确定X视频片段对应的多个去噪处理后的视频片段。
本发明实施例中,所述训练联合字典在根据所述第一视频片段的像素值及所述第一视频片段对应的多个稀疏表示阈值,确定所述训练联合字典输出的每个稀疏表示阈值对应的去噪处理后的第一视频片段时,可以不选取需要输入的全部稀疏表示阈值,而是将第一视频片段的像素值输入训练联合字典,然后在确定的稀疏表示阈值区间中选取一个值输入训练联合字典,训练联合字典输出去噪处理后的第一视频片段;然后按照设定的阈值调整输入到训练联合字典中的稀疏表示阈值,得到输入训练联合字典中的每个稀疏表示阈值对应的去噪处理后的第一视频片段;
比如,将所述第一视频片段的像素值输入到训练字典后,输入的稀疏表示阈值为3,得到一个去噪处理后的第一视频片段;若设定的阈值为0.5,则第二次输入的稀疏表示阈值为3.5,再次得到一个去噪处理后的第一视频片段;
其中,在调整输入到训练联合字典的稀疏表示阈值时,可以进行随意调整,不需要进行阈值设定,比如第一次输入的稀疏表示阈值为3,第二次输入的稀疏表示阈值可能为7。
可选的,通过下列方式确定输入到训练联合字典中的第一视频片段的像素值:
针对所述第一视频片段的视频帧,选取多个视频块,且选取的视频块之间必须是重叠的视频块。
在本发明实施例中,重叠的视频块的选取是按照视频图像中的像素值依次进行选取的,以图像的边界为边界,在图像的边界去选取第一个视频块,之后按照水平、竖直、图像斜线方向一次选取视频块,但要保证选取的前一个视频块与后面选取的一部分视频块之间有重叠区域,以此方式选取视频块进行去噪处理。
具体的如图3所示,为选取重叠的块的示意图,首先在图像的左上角选取一个视频块,然后沿着水平方向选取第二个视频块,选取的第二个视频块与选取的第一个视频块的大小一致,且两个视频块之间有重叠的区域;沿着水平方向选取第三个视频块,选取的第三个视频块与第一个视频块的大小一致,且与第二视频块和第一视频块之间与重叠的区域,沿斜线方向选取第四视频块,第四视频块的大小与第一视频块的大小一致,且与第一视频块。第二视频块及第三视频块之间有重叠区域,按照上述方式在图像中依次选取视频块。
需要说明的是,选取第一个视频块还可以在图像的其他边界处,之后可以沿水平、竖直、斜线方向随意选取重叠的块,只需保证选取的视频块与前一次选取的视频块有重叠区域即可。
在对选取的视频块进行去噪处理时,需要根据选取的视频块重建图像,在后续重建图像时,图像的位置像素值即为此像素值所有重叠像素值的和除以重叠次数得到的像素值。
步骤220,确定所述去噪处理后的每个第一视频片段对应的第三质量值;
在将第一视频片段的像素值及稀疏表示阈值输入所述训练联合字典后,所述训练联合字典输出去噪处理后的第一视频片段对应的像素值,根据输出的去噪处理后的第一视频片段对应的像素值确定去噪处理后的第一视频片段;
将去噪处理后的第一视频片段分割成多个视频子段,采用无参考质量评估方法确定每个视频子段的第一质量值;并根据确定的多个视频子段的第一质量值求平均,将得到的平均值作为去噪处理后的第一视频片段的第三质量值。
采用上述方法,确定去噪处理后的每个第一视频片段的第三质量值。
步骤230,确定同一个所述去噪处理后的第一视频片段对应的所述第三质量值与所述第二质量值的质量差值;
在根据上述方式确定去噪处理后的第一视频片段的第三质量之后,确定第三质量值与所述去噪处理后的第一视频片段未去噪处理之前的第二质量值之间的质量差值;
在本发明实施例中,确定第三质量值与第二质量值之间的质量差值时,将第三质量值减去第二质量值确定的值作为所述质量差值;
比如,A视频片段的第二质量值7,将Aa和3输入所述训练联合字典后,训练联合字典输出的去噪处理后的A视频片段Aa1的第三质量值为9,因此在确定所述去噪处理后的第一视频片段对应的所述第三质量值与所述第二质量值的质量差值时,第三质量值减去第二质量值为9-7=2,此时质量差值为2。
由于,对同一个第一视频片段而言,当输入到训练联合字典中的稀疏表示阈值不同时,训练联合字典输出的去噪处理后的第一视频片段不同,因此不同稀疏表示阈值对应的去噪处理后的第一视频片段的第三质量值不同,因此同一个第一视频片段对应有多个所述质量差值。
步骤240,将计算得到的不同所述去噪处理后的第一视频片段的质量差值进行对比,确定所述质量差值最大的所述去噪处理后的第一视频片段对应的第三质量值,并根据第三质量值确定稀疏表示阈值;
由于训练联合字典根据输入的稀疏表示阈值及第一视频片段的像素值,输出去噪处理后的第一视频片段的像素值,并根据输出的去噪处理后的第一视频片段的像素值确定去噪处理后的第一视频片段,因此当输入的稀疏表示阈值和/或输入的第一视频片段的像素值不同时会得到不同的去噪处理后的第一视频片段。
基于上述内容,当针对同一个第一视频片段,输入到训练联合字典的稀疏表示阈值不同时,可以得到每个稀疏表示阈值对应的去噪处理后的第一视频片段,每个去噪处理后的第一视频片段都对应有一个第三质量值,因此同一个第一视频片段对应有多个第三质量值与第二质量值之间的质量差值,同一个第一视频片段对应的多个所述质量差值进行对比,确定质量差值最大对应的所述去噪处理后的第一视频片段对应的第三质量值,并确定所述质量差值最大时第三质量值对应的输入到训练联合字典中的稀疏表示阈值,并记录根据质量差值最大时对应的第三质量值确定的稀疏表示阈值,及所述第一视频片段的第二质量值;
以A视频片段进行举例,A视频片段的第二质量值为7;
将Aa和3输入所述训练联合字典后,去噪处理后的A视频片段Aa1的第三质量值为9,确定质量差值为2;
将Aa和3.5输入所述训练联合字典后,去噪处理后的A视频片段Aa2的第三质量值为8,确定质量差值为1;
将Aa和4输入所述训练联合字典后,去噪处理后的A视频片段Aa3的第三质量值为10,确定质量差值为3;
将Aa和4.7输入所述训练联合字典后,去噪处理后的A视频片段Aa4的第三质量值为11,确定质量差值为4;
将Aa和5输入所述训练联合字典后,去噪处理后的A视频片段Aa5的第三质量值为12,确定质量差值为5;
将Aa和5.5输入所述训练联合字典后,去噪处理后的A视频片段Aa6的第三质量值为10,确定质量差值为3;
将Aa和6输入所述训练联合字典后,去噪处理后的A视频片段Aa7的第三质量值为11,确定质量差值为4;
将Aa和7输入所述训练联合字典后,去噪处理后的A视频片段Aa4的第三质量值为8,确定质量差值为1;
将上述得到的8个质量差值进行对比,确定质量差值为5时是最大的,此时的去噪处理后的A视频片段的第三质量值为12,确定输入到训练联合字典中的稀疏表示阈值为5输出的去噪处理后的A视频片段的第三质量值为12,记录质量差值最大时,去噪处理后的A视频片段的第三质量值对应的稀疏表示阈值为5,及A视频片段的第二质量值为7。
同理,分别确定B、C、D、E、F、Y、X视频片段所述质量差值最大时,去噪处理后的视频片段的第三质量值对应的稀疏表示阈值,及第二质量值;
步骤250,根据确定的所述稀疏表示阈值及所述去噪处理后的第一视频片段对应的第二质量值,确定第二质量值与稀疏表示阈值的对应关系。
第一视频训练集中每个第一视频片段都会确定出一组数据,每组数据中包含的数据为:当所述质量差值最大时,去噪处理后的第一视频片段对应的第三质量值对应的稀疏表示阈值,及对应的第二质量值,因此确定出多组数据,将多组数据进行拟合,确定出第二质量值与稀疏表示阈值的对应关系。
第二视频片段中有8个视频片段,因此确定出8组数据,将8组数据进行拟合,确定出第二质量值与稀疏表示阈值的对应关系。
需要说明的是,在实施例一中使用的数据只是进行举例说明,具体的根据实际情况确定。
经过图2的流程对第一视频训练集中的第一视频片段进行处理后,确定出第二质量值与第三质量值存在下列对应关系:
T=C*f(q)=C*(c1+c2q+c3q2+c4q3)
其中,T为稀疏表示阈值,C为常数,q为第二质量值,c1、c2、c3、c4为确定的拟合值。
其中,确定的所述第二质量值与第三质量值之间对应关系的不唯一;但是根据第二质量值与第三质量值之间满足三阶多项式的对应关系确定的稀疏表示阈值使去噪处理后的视频效果较好;即将根据三阶多项式确定的稀疏表示阈值输入到训练联合字典中,训练联合字典输出的去噪处理后的视频对应的质量效果相对于根据其他对应关系确定的稀疏表示阈值对应的去噪处理后的视频的质量效果较好。
在实施中,对视频训练集中的每个第一视频片段都确定出一组包含去噪处理后的第一视频片段的第三质量值与第二质量值之间的差值最大时对应的稀疏表示阈值,及第一视频片段的第二质量值的数据,因此确定出多组数据,根据确定的多组包含所述稀疏表示阈值及所述去噪处理后的第一视频片段对应的第二质量值的数据,确定第二质量值与稀疏表示阈值的对应关系,使确定出的第二质量值与稀疏表示阈值的对应关系更加的准确,进而可以根据所述对应关系在确定第二质量值的情况下,准确的求得需要输入到训练联合字典中的稀疏表示阈值。
在本发明实施例中,对待去噪视频片段进行去噪处理时使用的训练联合字典是采用KSVD方法对训练模型进行训练确定的。
实施例二:确定训练联合字典。
如图4所示,为本发明实施例提供的一种确定训练联合字典的方法流程图,具体包括如下步骤:
步骤400,将第二视频训练集中每个第二视频片段分割成M个训练视频的GOP;
选取场景丰富的多个视频片段作为第二视频训练集中的第二视频片段,将第二视频训练集中的每个第二视频片段以设定的帧数分割成M个训练视频的GOP;
比如,选取了6个视频片段,A2、B2、C2、D2、E2、F2;每个视频片段都是由64帧组成的视频,因此第二视频训练集中包括6个64帧的第二视频片段;以8帧为一组,对每个第二视频片段进行分割,分割成8个训练视频的GOP;
需要说明的是,第二视频训练集中的第二视频片段与所述第一视频训练集中的第一视频片段可以全部相同或部分相同。
步骤410,针对任意一个所述第二视频片段,从所述第二视频片段分割得到的M个所述训练视频的GOP中选取N个所述训练视频的GOP;
其中,M和N为正整数,且N小于等于M;
针对每个第二视频片段,从分割后的M个训练视频的GOP中随意选取N个训练视频的GOP,也可以选取前后帧纹理较大的N个训练视频的GOP;
比如,针对A2视频片段,分割成8个训练视频的GOPAm1、Am2、Am3、Am4、Am5、Am6、Am7、Am8,从8个训练视频的GOP中选取5个所述训练视频的GOPAm2、Am3、Am5、Am6、Am7
同理,分别在B2、C2、D2、E2、F2第二视频片段分割后的8个第二视频子中选取5个所述训练视频的GOP。
步骤420,根据选取的所述训练视频的GOP确定所述字典空域训练集和所述字典时域训练集;
具体的,在根据所述训练视频的GOP确定字典空域训练集合字典时域训练集时,是根据所述第二视频子集分别进行确定的,下面分别介绍;
可选的,所述根据选取的所述训练视频的GOP确定所述字典空域训练集时,针对任意一个所述训练视频的GOP,根据训练视频的GOP中的视频帧选取第一视频块;
将选取的所述第一视频块中像素点的数量作为行数,及将选取的所述第一视频块的数量作为列数,生成第一数据矩阵,其中所述第一数据矩阵的数据为选取的所述第一视频块的像素值;
将生成的第一数据矩阵作为所述字典空域训练集。
具体的,由于对A2视频片段以8帧为一组划分视频子段,将A2视频段划分成8个训练视频的GOP,又在8个训练视频的GOP中选取5个训练视频的GOPAm2、Am3、Am5、Am6、Am7;且每个训练视频的GOP中都有8帧图像;因此在选取第一视频块的时候,对A2视频片段中选取的5个训练视频的GOP中的每个训练视频的GOP都要根据所述训练视频的GOP中的视频帧选取第一视频块;且对B2、C2、D2、E2、F2视频片段中选取的5个训练视频的GOP中的每个训练视频的GOP也都要根据所述训练视频的GOP中的视频帧选取第一视频块。
以在训练视频的GOPAm2中选取第一视频块进行举例说明:
训练视频的GOPAm2中有8帧图像,需要在训练视频的GOPAm2中选取4000个第一视频块,其中视频块的大小为16*16;
在选取过程中需要将4000个视频块平均分配到每一帧图像中,此时需要在同一帧图像中选取500个块,在同一帧图像中选取500个第一视频块的时候,需要选取500个不完全重叠的第一视频块;或
在8帧图像中随意选取4000个大小为16*16的不完全重叠的第一视频块,此时不要求每一帧图像选取的数量一致,可以随意选取。
采用上述方式对A2视频片段中选取的Am3、Am5、Am6、Am7训练视频的GOP根据所述训练视频的GOP中的视频帧选取第一视频块,并对B2、C2、D2、E2、F2视频片段中选取的5个训练视频的GOP中的训练视频的GOP根据所述训练视频的GOP中的视频帧选取第一视频块;
因此将得到4000*5*6个第一视频块,且第一视频块的大小为16*16,此时将第一视频块的大小即第一视频块中像素点的数量作为行数,即行数为16*16=256行;将选取的第一视频块的数量作为列数,即列数为4000*5*6=12000列,生成一个256行、12000列的第一数据矩阵,其中所述第一数据的数据为选取的所述第一视频块的像素值,如下所示,第一数据矩阵为:
Figure BDA0001876054710000191
其中,a(1,1)……a(256,12000)表示选取的第一视频块中的像素值;
将生成的第一数据矩阵作为所述字典空域训练集。
需要说明的是,在选取过程中,每个训练视频的GOP中选取第一视频块的数量及所述第一视频块的大小是人工设定的,在使用过程中可以进行修改;但要求每个训练视频的GOP中选取的第一视频块的数量,及第一视频块的大小一致。
在实施中,在选取的每个训练视频的GOP中选取第一视频块,将第一视频块中像素点的数量作为行数,将选取的第一视频块的数量作为列数,生成第一矩阵,将生成的第一矩阵作为字典空域训练集,其中第一数据矩阵中的数据为选取的第一视频块的像素值,根据上述方式可以准确的确定出第一数据矩阵,将确定的第一数据矩阵作为字典空域训练集,进而可以准确的确定出字典空域训练集。
可选的,所述根据选取的所述训练视频的GOP确定所述字典时域训练集时,针对任意一个所述训练视频的GOP,根据运动估计算法确定所述训练视频的GOP中前后两帧相匹配的第二视频块;
将选取的所述第二视频块中像素点的数量作为行数,及将选取的所述第二视频块的数量作为列数生成第二数据矩阵,其中所述第二数据矩阵的数据为前帧对应的第二视频块的像素值,及前帧对应的第二视频块与后帧对应的第二视频块之间的像素质量差值;
将生成的第二数据矩阵作为所述字典时域训练集。
具体的,由于视频是不断运动的,因此同一事物在不同图片中所处的位置不同,因此将针对所述事物在前一帧图片中的位置对应的视频块,与所述事物在后一帧图片中的位置对应的视频块成为相匹配的匹配快;
如图5A所示,图5A为第一帧图像,字母A在图5A中的位置为左下方;由于运动的原因,在下一帧图像中如图5B所示,图5B为第二帧图像,字母A运动到右下方;此时在第一帧中字母A所在位置对应的视频块与第二帧中字母A所在位置对应的视频块为相匹配的匹配块。
在确定字典时域训练集时,针对任意一个所述训练视频的GOP采用帧差的方式得到时域视频信息,并根据运动估计算法确定所述训练视频的GOP中前后两帧相匹配的第二视频块;
具体的,由于将A2视频片段以8帧为一组划分视频子段,将A2视频段划分成8个训练视频的GOP,又在8个训练视频的GOP中选取5个训练视频的GOPAm2、Am3、Am5、Am6、Am7;且每个训练视频的GOP中都有8帧图像;因此在选取第二视频块的时候,对A2视频片段中选取的5个训练视频的GOP中的每个训练视频的GOP都要先以帧差的方法确定视频时域信息及分成前后两帧的形式,可以将8帧图像分成4组前两帧的形式,针对分好后的每一组前后帧采用运动估计算法确定前后两帧相匹配的第二视频块;且对B2、C2、D2、E2、F2视频片段中选取的5个训练视频的GOP中的每个训练视频的GOP也都先采用帧差的方式得到时域视频信息,进而根据运动估计算法确定所述训练视频的GOP中前后两帧相匹配的第二视频块。
以在训练视频的GOPAm2中选取第二视频块进行举例说明:
训练视频的GOPAm2中有8帧图像,需要在训练视频的GOPAm2中选取4000个第二视频块,其中视频块的大小为16*16;
在选取过程中需要将4000个视频块平均分配到每组前后帧中,此时需要在一组前后帧图像中选取1000个第二视频块,即需要在前后两帧中选取500对相匹配的第二视频块,此时需要在前一帧图像中选取500个不完全重叠的第二视频块,在后一帧图像中选取与前一帧图像选取的500个第二视频块相匹配的第二视频块;或
采用上述方式对A2视频片段中选取的Am3、Am5、Am6、Am7训练视频的GOP都先采用帧差的方式得到时域视频信息,进而根据运动估计算法确定所述训练视频的GOP中前后两帧相匹配的第二视频块。并对B2、C2、D2、E2、F2视频片段中选取的5个训练视频的GOP中的训练视频的GOP都先采用帧差的方式得到时域视频信息,进而根据运动估计算法确定所述训练视频的GOP中前后两帧相匹配的第二视频块。
因此将得到4000*5*6个第二视频块,且第二视频块的大小为16*16,此时将第二视频块的大小即第二视频块中像素点的数量作为行数,即行数为16*16=256行;将选取的第二视频块的数量作为列数,即列数为4000*5*6=12000列,生成一个256行、12000列的第二数据矩阵,其中所述第二数据的数据为选取的所述第二视频块的像素值,如下所示,第二数据矩阵为:
Figure BDA0001876054710000211
其中,b(1,1)……b(256,12000)表示选取的第二视频块中的像素值;
将生成的第二数据矩阵作为所述字典时域训练集。
需要说明的是,在选取过程中,每个训练视频的GOP中选取第二视频块的数量及所述第二视频块的大小是人工设定的,在使用过程中可以进行修改;但要求每个训练视频的GOP中选取的第二视频块的数量,及第二视频块的大小一致且都与选取第一视频块的大小及数量相同。
在实施中,在选取的每个训练视频的GOP中选取第二视频块,将第二视频块中像素点的数量作为行数,将选取的第二视频块的数量作为列数,生成第二矩阵,将生成的第二矩阵作为字典时域训练集,其中第二数据矩阵中的数据为选取的第二视频块的像素值,根据上述方式可以准确的确定出第二数据矩阵,将确定的第二数据矩阵作为字典时域训练集,进而可以准确的确定出字典时域训练集。
步骤430,将所述字典空域训练集及所述字典时域训练集进行联合处理,确定字典训练数据集;
将所述字典空域训练集及所述字典时域训练集进行联合处理时,及将第一数据矩阵与第二数据矩阵进行合并处理,在合并处理的过程中要求行数不变,列数相加,在合并过程中,可以将字典空域训练集对应的数据放在字典时域训练集对应的数据之前,也可以将字典时域悬链及对应的数据放在字典空域训练集对应的数据之前,具体的不作特别限定。
以将字典空域训练集对应的第一数据矩阵中的数据放在字典时域训练集对应的第二数据矩阵中的数据之前,对所述字典空域训练集及所述字典时域训练集进行联合处理,确定的字典训练数据集如下所示:
Figure BDA0001876054710000221
步骤440,将所述字典训练数据集采用KSVD方法进行训练,确定所述训练联合字典。
将根据上述方法确定的字典训练数据集采用KSVD的方法进行训练,即字典训练数据集中的视频空域训练集和视频时域训练集采用KSVD方法进行训练,最终确定训练联合字典。
在实施中,训练联合字典是字典训练数据集采用KSVD方法进行训练得到的,其中字典训练数据集是由字典空域训练集及所述字典时域训练集进行联合处理得到的,因此采用KSVD方法对模型进行训练时即对空域进行训练,又对时域进行训练,输出的训练联合字典是字典空域训练集及字典时域训练集采用KSVD方法训练确定的,因此在后续使用训练联合字典对待去噪视频进行去噪处理时,既可以对空域噪声进行去噪处理,又可以对时域噪声进行去噪处理,将经过训练联合字典进行空域去噪后视频中每帧图像的质量提高,将经过训练联合字典进行时域去噪后减少视频的抖动和闪烁使视频更加的连贯,因此训练联合字典处理后的视频的整体感知质量提高。
在本发明实施例中,输入到训练联合字典中的待去噪视频的像素值是根据待去噪视频中每帧图像中的视频块确定的,且以矩阵的形式输入到训练联合字典中;其中,矩阵的行为选取的视频块中像素点的数量,矩阵的列为选取的视频块的数量,矩阵中的数据为选取的视频块的像素值;
需要说明的是,在待去噪视频的每帧图像中选取视频块时,与实施例一中在第一视频片段的每帧图像中选取视频块的方式一致,如图3所示;在此不再重复赘述。
如图6所示,为本发明实施例提供的一种视频去噪的整体方法流程图,具体包括如下步骤:
步骤600,获取场景丰富的多个视频片段作为第二视频训练集;
步骤601,将第二视频训练集中的每个第二视频片段分割成多个训练视频的GOP;
步骤602,根据每个视频片段的多个训练视频的GOP确定视频空域帧;
步骤603,根据确定的视频空域帧选取第一视频块;
步骤604,根据选取的第一视频块确定字典空域训练集;
步骤605,根据每个视频片段的多个训练视频的GOP确定视频时域信息;
步骤606,根据确定的视频时域信息采用运动估计算法选取前后帧相匹配的第二视频块;
步骤607,根据选取的前后帧相匹配的第二视频块确定字典时域训练集;
步骤608,将确定的字典空域训练集和字典时域训练集进行联合处理,确定字典训练数据集;
步骤609,将字典训练数据集采用KSVD方法进行训练,确定训练联合字典;
其中,确定的训练联合字典需要输入到稀疏表示模块;
步骤610,将获取的待去噪视频分割成多个去噪视频的GOP;
步骤611,采用无参考质量评估方法确定每个去噪视频的GOP的第一质量值;
步骤612,根据分割的多个去噪视频的GOP的第一质量值确定待去噪视频的第二质量值;
步骤613,根据所述待去噪视频的第二质量值确定稀疏表示阈值;
步骤614,将稀疏表示阈值、待去噪视频的像素值及训练联合字典输入稀疏表示模块,对所述待去噪视频进行稀疏表示去噪;
具体的,将稀疏表示阈值和待去噪视频的像素值输入步骤610中的训练联合字典中,以对所述待去噪视频进行稀疏表示去噪。
其中,执行步骤602~604及执行步骤605~607时可以同时进行,也可以先执行步骤605~607;且确定训练联合字典的过程可以跟确定稀疏表示阈值和确定待去噪视频的像素值的过程同时进行,最终同时输入稀疏表示模块,也可以分别进行,最终将确定的训练联合字典、稀疏表示阈值、待去噪视频的像素值依次输入稀疏表示模块,具体根据实际情况而定,不在重复赘述。
在一些可能的实施方式中,本发明实施例提供的视频去噪的各个方面还可以实现为一种程序产品的形式,其包括程序代码,当程序代码在计算机设备上运行时,程序代码用于使计算机设备执行本说明书中描述的根据本发明各种示例性实施方式的视频去噪的方法中的步骤。
程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
根据本发明的实施方式的用于数据转发控制的程序产品,其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码,并可以在服务器设备上运行。然而,本发明的程序产品不限于此,在本文件中,可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被信息传输、装置或者器件使用或者与其结合使用。
可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了可读程序代码。这种传播的数据信号可以采用多种形式,包括——但不限于——电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质,该可读介质可以发送、传播或者传输用于由周期网络动作系统、装置或者器件使用或者与其结合使用的程序。
可读介质上包含的程序代码可以用任何适当的介质传输,包括——但不限于——无线、有线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码,程序设计语言包括面向对象的程序设计语言—诸如Java、C++等,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中,远程计算设备可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算设备,或者,可以连接到外部计算设备。
本发明实施例针对视频去噪的方法还提供一种计算设备可读存储介质,即断电后内容不丢失。该存储介质中存储软件程序,包括程序代码,当程序代码在计算设备上运行时,该软件程序在被一个或多个处理器读取并执行时可实现本发明实施例上面任何一种进行视频去噪时的方案。
基于同一发明构思,本发明实施例中还提供了一种视频去噪的设备,由于该设备对应的是本发明实施例视频去噪的方法对应的设备,并且该设备解决问题的原理与该方法相似,因此该设备的实施可以参见方法的实施,重复之处不再赘述。
如图7所示,本发明实施例一种视频去噪的设备,包括:处理器700以及收发机710:
所述处理器700用于:将接收到的待去噪视频分割成多个去噪视频的GOP,并根据所述去噪视频的GOP的第一质量值确定所述待去噪视频的第二质量值;
根据所述待去噪视频的第二质量值确定稀疏表示阈值;
将所述稀疏表示阈值和所述待去噪视频的像素值输入训练联合字典,以对所述待去噪视频进行稀疏表示去噪;
其中,所述训练联合字典为视频空域训练集和视频时域训练集采用K值奇异分解KSVD方法训练的联合字典。
可选的,所述处理器700具体用于:
采用无参考质量评估方法确定所述待去噪视频中的每个所述去噪视频的GOP的第一质量值;
根据确定的多个所述去噪视频的GOP的第一质量值求平均,并将得到的平均值作为待去噪视频的第二质量值。
所述处理器700具体用于:
根据第二质量值与稀疏表示阈值的对应关系,确定所述待去噪视频的第二质量值对应的稀疏表示阈值。
可选的,所述处理器700根据下列方式确定第二质量值与稀疏表示阈值的对应关系:
确定第一视频训练集中每个第一视频片段的第二质量值;
将每个第一视频片段及所述第一视频片段对应的多个稀疏表示阈值输入所述训练联合字典,确定所述训练联合字典输出的每个稀疏表示阈值对应的去噪处理后的第一视频片段;
确定所述去噪处理后的每个第一视频片段对应的第三质量值;
确定同一个所述去噪处理后的第一视频片段对应的所述第三质量值与所述第二质量值的质量差值;
将计算得到的不同所述去噪处理后的第一视频片段的质量差值进行对比,确定所述质量差值最大的所述去噪处理后的第一视频片段对应的第三质量值,并根据第三质量值确定稀疏表示阈值;
根据确定的所述稀疏表示阈值及所述去噪处理后的第一视频片段对应的第二质量值,确定第二质量值与稀疏表示阈值的对应关系。
可选的,所述处理器700根据下列方式确定所述训练联合字典:
将第二视频训练集中每个第二视频片段分割成M个训练视频的GOP;
针对任意一个所述第二视频片段,从所述第二视频片段分割得到的M个训练视频的GOP中选取N个所述训练视频的GOP;
根据选取的所述训练视频的GOP确定所述字典空域训练集和所述字典时域训练集;
将所述字典空域训练集及所述字典时域训练集进行联合处理,确定字典训练数据集;
将所述字典训练数据集采用KSVD方法进行训练,确定所述训练联合字典;
其中,M和N为正整数,且N小于等于M。
可选的,所述处理器700具体用于:
针对任意一个所述训练视频的GOP,根据训练视频的GOP中的视频帧选取第一视频块;
将选取的所述第一视频块中像素点的数量作为行数,及将选取的所述第一视频块的数量作为列数,生成第一数据矩阵,其中所述第一数据矩阵的数据为选取的所述第一视频块的像素值;
将生成的第一数据矩阵作为所述字典空域训练集。
可选的,所述处理器700具体用于:
针对任意一个所述训练视频的GOP,根据运动估计算法确定所述训练视频的GOP中前后两帧相匹配的第二视频块;
将选取的所述第二视频块中像素点的数量作为行数,及将选取的所述第二视频块的数量作为列数生成第二数据矩阵,其中所述第二数据矩阵的数据为前帧对应的第二视频块的像素值,及前帧对应的第二视频块与后帧对应的第二视频块之间的像素质量差值;
将生成的第二数据矩阵作为所述字典时域训练集。
如图8所示,本发明实施例另一种视频去噪的设备,该设备包括:至少一个处理单元800以及至少一个存储单元810,其中,所述存储单元810存储有程序代码,当所述程序代码被所述处理单元800执行时,使得所述处理单元800执行所述视频去噪过程中的任一方法的步骤。
以上参照示出根据本申请实施例的方法、装置(系统)和/或计算机程序产品的框图和/或流程图描述本申请。应理解,可以通过计算机程序指令来实现框图和/或流程图示图的一个块以及框图和/或流程图示图的块的组合。可以将这些计算机程序指令提供给通用计算机、专用计算机的处理器和/或其它可编程数据处理装置,以产生机器,使得经由计算机处理器和/或其它可编程数据处理装置执行的指令创建用于实现框图和/或流程图块中所指定的功能/动作的方法。
相应地,还可以用硬件和/或软件(包括固件、驻留软件、微码等)来实施本申请。更进一步地,本申请可以采取计算机可使用或计算机可读存储介质上的计算机程序产品的形式,其具有在介质中实现的计算机可使用或计算机可读程序代码,以由指令执行系统来使用或结合指令执行系统而使用。在本申请上下文中,计算机可使用或计算机可读介质可以是任意介质,其可以包含、存储、通信、传输、或传送程序,以由指令执行系统、装置或设备使用,或结合指令执行系统、装置或设备使用。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。

Claims (16)

1.一种视频去噪的方法,其特征在于,该方法包括:
将接收到的待去噪视频分割成多个去噪视频的画面组GOP,并根据所述去噪视频的GOP的第一质量值确定所述待去噪视频的第二质量值;
根据所述待去噪视频的第二质量值确定稀疏表示阈值;
将所述稀疏表示阈值和所述待去噪视频的像素值输入训练联合字典,以对所述待去噪视频进行稀疏表示去噪;
其中,所述训练联合字典为视频空域训练集和视频时域训练集采用K值奇异分解KSVD方法训练的联合字典。
2.如权利要求1所述的方法,其特征在于,所述根据所述去噪视频的GOP的第一质量值确定所述待去噪视频的第二质量值,包括:
采用无参考质量评估方法确定所述待去噪视频中的每个所述去噪视频的GOP的第一质量值;
根据确定的多个所述去噪视频的GOP的第一质量值求平均,并将得到的平均值作为待去噪视频的第二质量值。
3.如权利要求1所述的方法,其特征在于,所述根据所述待去噪视频的第二质量值确定稀疏表示阈值,包括:
根据第二质量值与稀疏表示阈值的对应关系,确定所述待去噪视频的第二质量值对应的稀疏表示阈值。
4.如权利要求3所述的方法,其特征在于,根据下列方式确定第二质量值与稀疏表示阈值的对应关系:
确定第一视频训练集中每个第一视频片段的第二质量值;
将每个第一视频片段的像素值及所述第一视频片段对应的多个稀疏表示阈值输入所述训练联合字典,确定所述训练联合字典输出的每个稀疏表示阈值对应的去噪处理后的第一视频片段;
确定所述去噪处理后的每个第一视频片段对应的第三质量值;
确定同一个所述去噪处理后的第一视频片段对应的所述第三质量值与所述第二质量值的质量差值;
将计算得到的不同所述去噪处理后的第一视频片段的质量差值进行对比,确定所述质量差值最大的所述去噪处理后的第一视频片段对应的第三质量值,并根据第三质量值确定稀疏表示阈值;
根据确定的所述稀疏表示阈值及所述去噪处理后的第一视频片段对应的第二质量值,确定第二质量值与稀疏表示阈值的对应关系。
5.如权利要求1所述的方法,其特征在于,根据下列方式确定所述训练联合字典:
将第二视频训练集中每个第二视频片段分割成M个训练视频的GOP;
针对任意一个所述第二视频片段,从所述第二视频片段分割得到的M个所述训练视频的GOP中选取N个所述训练视频的GOP;
根据选取的所述训练视频的GOP确定所述字典空域训练集和所述字典时域训练集;
将所述字典空域训练集及所述字典时域训练集进行联合处理,确定字典训练数据集;
将所述字典训练数据集采用KSVD方法进行训练,确定所述训练联合字典;
其中,M和N为正整数,且N小于等于M。
6.如权利要求5所述的方法,其特征在于,所述根据选取的所述训练视频的GOP确定所述字典空域训练集,包括:
针对任意一个所述训练视频的GOP,根据训练视频的GOP中的视频帧选取第一视频块;
将选取的所述第一视频块中像素点的数量作为行数,及将选取的所述第一视频块的数量作为列数,生成第一数据矩阵,其中所述第一数据矩阵的数据为选取的所述第一视频块的像素值;
将生成的第一数据矩阵作为所述字典空域训练集。
7.如权利要求5所述的方法,其特征在于,所述根据选取的所述训练视频的GOP确定所述字典时域训练集,包括:
针对任意一个所述训练视频的GOP,根据运动估计算法确定所述训练视频的GOP中前后两帧相匹配的第二视频块;
将选取的所述第二视频块中像素点的数量作为行数,及将选取的所述第二视频块的数量作为列数生成第二数据矩阵,其中所述第二数据矩阵的数据为前帧对应的第二视频块的像素值,及前帧对应的第二视频块与后帧对应的第二视频块之间的像素质量差值;
将生成的第二数据矩阵作为所述字典时域训练集。
8.一种视频去噪的设备,其特征在于,该设备包括:处理器以及收发机:
所述处理器用于:将接收到的待去噪视频分割成多个去噪视频的GOP,并根据所述去噪视频的GOP的第一质量值确定所述待去噪视频的第二质量值;
根据所述待去噪视频的第二质量值确定稀疏表示阈值;
将所述稀疏表示阈值和所述待去噪视频的像素值输入训练联合字典,以对所述待去噪视频进行稀疏表示去噪;
其中,所述训练联合字典为视频空域训练集和视频时域训练集采用K值奇异分解KSVD方法训练的联合字典。
9.如权利要求8所述的设备,其特征在于,所述处理器具体用于:
采用无参考质量评估方法确定所述待去噪视频中的每个所述去噪视频的GOP的第一质量值;
根据确定的多个所述去噪视频的GOP的第一质量值求平均,并将得到的平均值作为待去噪视频的第二质量值。
10.如权利要求8所述的设备,其特征在于,所述处理器具体用于:
根据第二质量值与稀疏表示阈值的对应关系,确定所述待去噪视频的第二质量值对应的稀疏表示阈值。
11.如权利要求10所述的设备,其特征在于,所述处理器根据下列方式确定第二质量值与稀疏表示阈值的对应关系:
确定第一视频训练集中每个第一视频片段的第二质量值;
将每个第一视频片段的像素值及所述第一视频片段对应的多个稀疏表示阈值输入所述训练联合字典,确定所述训练联合字典输出的每个稀疏表示阈值对应的去噪处理后的第一视频片段;
确定所述去噪处理后的每个第一视频片段对应的第三质量值;
确定同一个所述去噪处理后的第一视频片段对应的所述第三质量值与所述第二质量值的质量差值;
将计算得到的不同所述去噪处理后的第一视频片段的质量差值进行对比,确定所述质量差值最大的所述去噪处理后的第一视频片段对应的第三质量值,并根据第三质量值确定稀疏表示阈值;
根据确定的所述稀疏表示阈值及所述去噪处理后的第一视频片段对应的第二质量值,确定第二质量值与稀疏表示阈值的对应关系。
12.如权利要求8所述的设备,其特征在于,所述处理器根据下列方式确定所述训练联合字典:
将第二视频训练集中每个第二视频片段分割成M个训练视频的GOP;
针对任意一个所述第二视频片段,从所述第二视频片段分割得到的M个所述训练视频的GOP中选取N个所述训练视频的GOP;
根据选取的所述训练视频的GOP确定所述字典空域训练集和所述字典时域训练集;
将所述字典空域训练集及所述字典时域训练集进行联合处理,确定字典训练数据集;
将所述字典训练数据集采用KSVD方法进行训练,确定所述训练联合字典;
其中,M和N为正整数,且N小于等于M。
13.如权利要求12所述的设备,其特征在于,所述处理器具体用于:
针对任意一个所述训练视频的GOP,根据训练视频的GOP中的视频帧选取第一视频块;
将选取的所述第一视频块中像素点的数量作为行数,及将选取的所述第一视频块的数量作为列数,生成第一数据矩阵,其中所述第一数据矩阵的数据为选取的所述第一视频块的像素值;
将生成的第一数据矩阵作为所述字典空域训练集。
14.如权利要求12所述的设备,其特征在于,所述处理器具体用于:
针对任意一个所述训练视频的GOP,根据运动估计算法确定所述训练视频的GOP中前后两帧相匹配的第二视频块;
将选取的所述第二视频块中像素点的数量作为行数,及将选取的所述第二视频块的数量作为列数生成第二数据矩阵,其中所述第二数据矩阵的数据为前帧对应的第二视频块的像素值,及前帧对应的第二视频块与后帧对应的第二视频块之间的像素质量差值;
将生成的第二数据矩阵作为所述字典时域训练集。
15.一种视频去噪的设备,其特征在于,该设备包括:至少一个处理单元以及至少一个存储单元,其中,所述存储单元存储有程序代码,当所述程序代码被所述处理单元执行时,使得所述处理单元执行权利要求1~7任一所述方法的步骤。
16.一种计算设备可读存储介质,其特征在于,包括程序代码,当所述程序代码在计算设备上运行时,所述程序代码用于使所述计算设备执行权利要求1~7任一所述方法的步骤。
CN201811399755.8A 2018-11-22 2018-11-22 一种视频去噪的方法和设备 Active CN111212198B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811399755.8A CN111212198B (zh) 2018-11-22 2018-11-22 一种视频去噪的方法和设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811399755.8A CN111212198B (zh) 2018-11-22 2018-11-22 一种视频去噪的方法和设备

Publications (2)

Publication Number Publication Date
CN111212198A true CN111212198A (zh) 2020-05-29
CN111212198B CN111212198B (zh) 2022-04-08

Family

ID=70786018

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811399755.8A Active CN111212198B (zh) 2018-11-22 2018-11-22 一种视频去噪的方法和设备

Country Status (1)

Country Link
CN (1) CN111212198B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113521683A (zh) * 2021-08-27 2021-10-22 吉林师范大学 一种智能体育体能综合训练控制系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102088606A (zh) * 2011-02-28 2011-06-08 西安电子科技大学 基于稀疏表示的去块效应方法
CN102523454A (zh) * 2012-01-02 2012-06-27 西安电子科技大学 利用3d字典消除3d播放系统中块效应的方法
US20160012314A1 (en) * 2013-03-15 2016-01-14 Karthikeyan Ramamurthy Ensemble sparse models for image analysis and restoration
CN106097278A (zh) * 2016-06-24 2016-11-09 北京工业大学 一种多维信号的稀疏模型、重建方法和字典训练方法
CN106447632A (zh) * 2016-09-23 2017-02-22 西北工业大学 一种基于稀疏表示的raw图像去噪方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102088606A (zh) * 2011-02-28 2011-06-08 西安电子科技大学 基于稀疏表示的去块效应方法
CN102523454A (zh) * 2012-01-02 2012-06-27 西安电子科技大学 利用3d字典消除3d播放系统中块效应的方法
US20160012314A1 (en) * 2013-03-15 2016-01-14 Karthikeyan Ramamurthy Ensemble sparse models for image analysis and restoration
CN106097278A (zh) * 2016-06-24 2016-11-09 北京工业大学 一种多维信号的稀疏模型、重建方法和字典训练方法
CN106447632A (zh) * 2016-09-23 2017-02-22 西北工业大学 一种基于稀疏表示的raw图像去噪方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113521683A (zh) * 2021-08-27 2021-10-22 吉林师范大学 一种智能体育体能综合训练控制系统
CN113521683B (zh) * 2021-08-27 2022-08-05 吉林师范大学 一种智能体育体能综合训练控制系统

Also Published As

Publication number Publication date
CN111212198B (zh) 2022-04-08

Similar Documents

Publication Publication Date Title
Ki et al. Learning-based just-noticeable-quantization-distortion modeling for perceptual video coding
Zhang et al. Low-rank decomposition-based restoration of compressed images via adaptive noise estimation
TWI519136B (zh) 一種用以移除編碼視頻數據中的編碼瑕疵之自適應過濾機構的方法、資料處理裝置及系統
Rongfu et al. Content-adaptive spatial error concealment for video communication
US20190180454A1 (en) Detecting motion dragging artifacts for dynamic adjustment of frame rate conversion settings
US9729870B2 (en) Video coding efficiency with camera metadata
US8320700B2 (en) Apparatus and method of estimating scale ratio and noise strength of encoded image
US8594449B2 (en) MPEG noise reduction
CN110620924B (zh) 编码数据的处理方法、装置、计算机设备及存储介质
US8885969B2 (en) Method and apparatus for detecting coding artifacts in an image
JP2008504750A5 (zh)
Zhang et al. Video compression artifact reduction via spatio-temporal multi-hypothesis prediction
US10869042B2 (en) Template based adaptive weighted bi-prediction for video coding
US20200380290A1 (en) Machine learning-based prediction of precise perceptual video quality
US8780987B1 (en) Method and apparatus for encoding video by determining block resolution
US10911785B2 (en) Intelligent compression of grainy video content
US9294676B2 (en) Choosing optimal correction in video stabilization
US20130235931A1 (en) Masking video artifacts with comfort noise
Gandam et al. An efficient post-processing adaptive filtering technique to rectifying the flickering effects
US9432694B2 (en) Signal shaping techniques for video data that is susceptible to banding artifacts
CN111212198B (zh) 一种视频去噪的方法和设备
EP3907991A1 (en) Method for image processing and apparatus for implementing the same
CN110944211B (zh) 用于帧内预测的插值滤波方法、装置、介质及电子设备
KR20060109448A (ko) 비디오 신호 인코딩 방법
EP3907992A1 (en) Method for image processing and apparatus for implementing the same

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant