CN111127376B - 一种数字视频文件修复方法及装置 - Google Patents

Abstract

本发明提供了数字视频文件修复方法及装置，该方法包括S1、获取待修复的数字视频文件，并将数字视频文件分解为连续图像帧；S2、对分解得到的连续图像帧采用四级分块匹配运动估计计算，得到相邻图像帧中所包含的运动向量；S3、自步骤S1中选取连续三个图像帧，根据图像帧所包含的缺陷所具有非连续特征计算出候选缺陷区域，并对其所包含的像素及与候选缺陷区域相邻的像素建模；S4、基于步骤S2中得到的相邻图像帧中所包含的运动向量对候选缺陷区域所包含的像素进行插值运算，利用改进的GMM算法将候选缺陷区域的边缘灰度值及纹理信息进行迭代运算，以填充候选缺陷区域。本发明实现了对数字视频文件中斑点等缺陷的快速修复，有效地防止了过修复现象。

Description

一种数字视频文件修复方法及装置

技术领域

本发明涉及视频数字处理技术领域，尤其涉及一种数字视频文件修复方法以及一种数字视频文件修复装置。

背景技术

数字修复技术通过适当的算法估计并填充图像指定区域内的缺损数据，被广泛应用于图像传输、图像压缩、修复有划痕和裂痕的照片、修复旧电影胶片等方面。随着计算机技术的发展，如何实现半自动或自动地完成图像或视频的修复工作，成为数字图像处理领域研究的重要课题。

对数字视频文件进行修复特指对视频损坏区域进行自动填充的技术。经过修复，原来损坏、缺失的区域得到了很好的填充，得到了人类视觉可以接受的一致性结果。数字视频修复对老旧电影的复原有着十分重要的应用意义，根据美国国会图书馆的一个调查，美国80％的无声电影已经丢失或者无法修复；另一个报告指出90％的1930年以前拍摄的无声电影和50％的1950年以前拍摄的无声电影已经丢失。而我国关于电影胶片的保存手段相比国外更加落后，已经有非常多的旧影片已经丢失或者正在丢失。如何保存电影资料已经成了迫在眉睫的任务。

随着近年来计算机技术的迅猛发展，各种数字信号处理技术特别是图像处理技术的完善，使得将数字技术应用到旧电影的保存和修复中成为了可能。虽然数字视频修复技术已经逐渐成熟并开始走向市场，然而用于对例如老旧电影等视频资料中出现的大量大块斑点的去除方法仍很匮乏。

申请人经过检索后发现，公开号为CN109426589A的中国发明专利公开了一种文件修复方法及装置。该现有技术首先获取音视频文件的至少两份备份数据，然后从该至少两份备份数据中确定出目标备份数据，最后直接根据该目标备份数据备份的音视频数据的码流信息的大小和时域与空域信息对受损音视频文件进行修复，得到修复后的音视频文件。申请人指出类似上述的现有技术都是基于前后帧信息和时间不连续性特点，对受损区域进行检测，再利用插值或者纹理的方法对受损区域进行修复。此类现有技术对由胶片保存的视频文件中的所呈现的噪声严重、画面背景复杂、破损区域较大，斑点大量的缺陷的修复效果依然不佳，并导致传统数字修复技术不能正确复原破损区域结构信息，修复结果边缘模糊或视觉上不连续；同时现有的视频文件修复技术在修复视频文件时也存在处理速度非常缓慢，出现修复遗漏、修复错误等情况。

有鉴于此，有必要对现有技术中对数字视频文件的修复技术的对予以改进，以解决上述问题。

发明内容

本发明的目的在于揭示一种数字视频文件修复方法以及基于该数字视频文件修复方法的一种数字视频文件修复装置，用以解决现有技术中对基于老旧电影数字化处理所形成的噪声严重、破损区域较大、斑点大量出现的数字视频文件进行缺陷修复中所存在的修复时间漫长，修复效果不理想甚至修复失败的技术缺陷，尤其是为了提高对斑点区域的修复效果，以提高对受损数字视频文件的修复效率。

为实现上述第一个发明目的，本发明提供了一种数字视频文件修复方法，包括以下步骤：

S1、获取待修复的数字视频文件，并将数字视频文件分解为连续图像帧；

S2、对分解得到的连续图像帧采用四级分块匹配运动估计计算，得到相邻图像帧中所包含的运动向量；

S3、自步骤S1中选取连续三个图像帧，根据图像帧所包含的缺陷所具有非连续特征获取候选缺陷区域，并对所述候选缺陷区域所包含的像素及与候选缺陷区域相邻的像素建模；

S4、基于步骤S2中得到的相邻图像帧中所包含的运动向量对候选缺陷区域所包含的像素进行插值运算，并利用改进的GMM算法将候选缺陷区域的边缘灰度值及纹理信息进行迭代运算，以填充候选缺陷区域。

作为本发明的进一步改进，所述步骤S1中还包括对连续图像帧是否为空帧的判断步骤；

若是空帧，则删除该图像帧；

若不是空帧，则对下一图像帧是否为空帧进行判断，以将连续图像帧中所包含的空帧全部删除，以得到连续图像帧。

作为本发明的进一步改进，所述步骤S2中的四级分块匹配运动估计计算包括以下子步骤：

S21、在设定的扫描窗口中构造搜索模型进行块匹配操作；

S22、将搜索模型的中心向最小块形变点处以四级搜索模式移动。

作为本发明的进一步改进，所述步骤S3包括以下子步骤：

S31、自步骤S1中选取连续三个图像帧并将中间帧作为检测帧，将符合下述公式的像素点

作为候选缺陷区域中的像素点，

其中，

参数e_f为检测帧与相邻图像帧之间的灰度值阈值；参数e_b为前图像帧与检测帧之间的灰度值补偿差，参数e_f为后图像帧与检测帧之间的灰度值补偿差，参数

为第n帧像素点/>

的像素灰度值，参数/>

为像素点/>

相邻帧的运动向量；

S32、使用八邻域像素进行正扫描邻域像素获得第一灰度值g_n，进行逆扫描邻域获得第二灰度值i_n，以获取可疑缺陷像素Ed，

对候选缺陷区域中包含的像素点使用下述公式执行边缘像素的判断；

|i_n-g_n|＞τ₁

其中，参数n的取值范围[0,3]，参数τ₁为相对像素点之间的灰度值阈值，参数τ₁的取值范围为[0,255]；

S33、对所述候选缺陷区域所包含的像素及与候选缺陷区域相邻的像素建模，以区分候选缺陷区域中所包含的运动边缘像素和缺陷边缘像素，并剔除运动边缘像素。

作为本发明的进一步改进，所述步骤S33中剔除运动边缘像素具体为：

其中，参数i的取值范围[0,7]，参数

表示基于可疑缺陷像素Ed构建的前后帧八邻域像素所得到的运动向量，参数/>

与参数/>

为邻域像素点对应的运动向量，参数τ₂为可疑缺陷像素Ed与相邻像素点之间所形成的灰度值阈值，参数n为检测帧的序列编号，参数τ₂的取值范围为[0,255]，若可疑缺陷像素Ed的邻域像素点中有不少于6个像素点同时满足上述公式，则将可疑缺陷像素Ed判定为运动边缘像素，以剔除所述被判定为运动边缘像素的可疑缺陷像素Ed。

作为本发明的进一步改进，所述扫描窗口的尺寸为5×5，所述扫描窗口中构造的搜索模型的尺寸为3×3。

作为本发明的进一步改进，所述步骤S4中的利用改进的GMM算法将候选缺陷区域的边缘灰度值及纹理信息进行迭代运算具体为：

S41、采用下述公式计算将候选缺陷区域所有像素点到达边界像素点的到达时间T；

其中，到达时间T_ij表示在图像中的坐标位置为(i,j)像素到边界像素点的时间，到达时间T₁＝min(T_i-1,j,T_i+1,j)，到达时间T₂＝min(T_i,j-1,T_i,j+1)，参数η_ij是像素点(i,j)邻域梯度方向因子和等照度线方向因子的加权乘积形成的边界；

S42、将候选缺陷区域标记出窄带区与未知区；

S43、统计出标记为窄带区中具有最小到达时间T_min所对应的像素点；

S44、计算具有最小到达时间T_min所对应的像素点最近邻域内像素点的平均值，以更新所述具有最小到达时间T_min所对应的像素点的像素值；

S45、查找具有最小到达时间T_min所对应的像素点最近邻域内被标记为窄带区与未知区的像素点，并对候选缺陷区域所包含的边界像素点的到达时间T_ij作更新操作，以填充候选缺陷区域。

作为本发明的进一步改进，所述图像帧所包含的缺陷包括：

斑点缺陷、噪声缺陷、破损缺陷或者纹理缺陷中的一种或者几种的组合。

基于相同发明思想，本发明还揭示了一种数字视频文件修复装置，包括：

视频数据获取模块、运动估计计算模块、缺陷检测模块以及缺陷修复模块；

所述视频数据获取模块用以获取待修复的数字视频文件，并将数字视频文件分解为连续图像帧，

所述运动估计计算模块用以对分解得到的连续图像帧采用四级分块匹配运动估计计算，得到相邻图像帧中所包含的运动向量；

所述缺陷检测模块用以对自视频数据获取模块所传入的连续图像帧中选取连续三个图像帧，根据图像帧所包含的缺陷所具有非连续特征获取候选缺陷区域，并对所述候选缺陷区域所包含的像素及与候选缺陷区域相邻的像素建模；

所述缺陷修复模块用以对通过运动估计计算模块得到的相邻图像帧中所包含的运动向量对候选缺陷区域所包含的像素进行插值运算，并利用改进的GMM算法将候选缺陷区域的边缘灰度值及纹理信息进行迭代运算，以填充候选缺陷区域。

作为本发明的进一步改进，所述图像帧所包含的缺陷包括：

斑点缺陷、噪声缺陷、破损缺陷或者纹理缺陷中的一种或者几种的组合。

与现有技术相比，本发明的有益效果是：

通过本发明所揭示的一种数据视频文件修复方法及装置，能够克服现有技术中对数字视频文件进行修复过程中所存在的诸多缺陷，尤其能够实现对数字化后的老旧视频文件中所存在噪声严重、破损区域较大、斑点大量的缺陷修复，并有效防止出现过修复的现象，显著地提高了对数字视频文件的修复效果与修复效率。

附图说明

图1为本发明一种数字视频文件修复方法的整体流程图；

图2为步骤S2中的四级分块匹配运动估计计算的流程图；

图3为八像素邻域示意图；

图4为斑点边缘示意图；

图5为运动边缘示意图；

图6为本发明一种数字视频文件修复装置的模块图。

具体实施方式

下面结合附图所示的各实施方式对本发明进行详细说明，但应当说明的是，这些实施方式并非对本发明的限制，本领域普通技术人员根据这些实施方式所作的功能、方法、或者结构上的等效变换或替代，均属于本发明的保护范围之内。

在详细阐述本发明各个实施例之前，对本发明之核心要义予以概述。

本发明所揭示的一种数据视频文件修复方法及其一种数据视频文件修复方法装置，在待修复的数字视频文件，尤其是对数字化修复的老旧电影中所存在的噪声严重、画面背景复杂(纹理丰富)、破损区域较大、斑点大量(以下统称“图像帧所包含的缺陷”)出现的情况下，充分利用缺陷在时间上不连续性和空间一致性的特点，将时空信息充分有机结合，在提升对缺陷正确检测率，降低对缺陷的漏检率的同时，通过基于改进的分组步进法(Group Marching Method,GMM)的图像修复算法，对斑点区域进行修复，修复后的图像边缘在视觉上不模糊，纹理一致性高，并且算法时间复杂度低，显著地提升受损的数字视频文件的修复效率，并有效地遏制过修复的现象。本申请所指图像帧所包含的缺陷包括：斑点缺陷、噪声缺陷、破损缺陷或者纹理缺陷中的一种或者几种的组合。

在本申请中，申请人以缺陷为斑点缺陷为例，作示范性说明。同时，在申请中，所谓的“斑点”是指数字视频文件(包含非连续的照片)中所存在的与周边区域的像素存在明显差异的缺陷区域。该斑点可为黑色斑点，也可为白色斑点，还可为与背景区域中的像素存在明显区别的彩色的像素灰度值和/或饱和度存在明显差异的若干缺陷像素(或者缺陷像素点)的集合。

实施例一：

请参图1至图5所揭示的本发明一种数据视频文件修复方法的一种具体实施方式。该数字视频文件修复方法，包括以下步骤：

首先，执行步骤S1、获取待修复的数字视频文件，并将数字视频文件分解为连续图像帧。该步骤S1中在并将数字视频文件分解为连续图像帧之后，还包括对连续图像帧是否为空帧的判断步骤；

若是空帧，则删除该图像帧；

若不是空帧，则对下一图像帧是否为空帧进行判断，以将连续图像帧中所包含的空帧全部删除，以得到连续图像帧。

基于对连续的图像帧中所包含的空帧的删除操作，降低了后续的计算开销，并使得最终修补后的数字视频文件中图像帧形成一个完整的视频流图像。

然后，执行步骤S2、对分解得到的连续图像帧采用四级分块匹配运动估计计算，得到相邻图像帧中所包含的运动向量。

结合图2所示，在本实施例中，该步骤S2中的四级分块匹配运动估计计算包括以下子步骤：

子步骤S21、在设定的扫描窗口中构造搜索模型进行块匹配操作；

子步骤S22、将搜索模型的中心向最小块形变点处以四级搜索模式移动。

具体的，子步骤S21中所选用的扫描窗口的尺寸为5×5(单位：像素点)，所述扫描窗口中构造的搜索模型的尺寸为3×3(单位：像素点)。

出于平衡估算精度和估算时间的考虑，在本申请中，采用基于四级分块匹配的运动估计方法，在保证运动估计精度的同时，保证运动估计计算的效率。运动估计的结果为后续斑点检测和斑点修复提供先验信息。

四级分块匹配基于视频序列图像的运动矢量的中心偏置特征，以原点为中心。每一步将搜索模型的中心向最小块形变(以下简称MBD,Minimum Block Distortion)点处移动，且最后两级搜索模式取决于之前两级MBD点的位置。四级分块技术在考虑块的中心匹配的特性的同时，可兼顾物体的大范围运动，使得图像帧中同时出现小范围和大范围物体运动时，能有较好的平衡性能。采用基于四级分块匹配的运动估计方法，通过将查询块与相邻的图像块进行匹配，从这些相邻块中找出距离查询块距离最近的K个块。所谓的相邻也并不是绝对的位置上的相邻，也由此可以引出局部搜索(local)和全局搜索(non-local)。

接下来，执行步骤S3、自步骤S1中选取连续三个图像帧，根据图像帧所包含的缺陷所具有非连续特征获取候选缺陷区域，并对所述候选缺陷区域所包含的像素及与候选缺陷区域相邻的像素建模。

在本实施例中，该步骤S3包括以下子步骤：

子步骤S31、自步骤S1中选取连续三个图像帧并将中间帧作为检测帧，将符合下述式(一)的像素点

作为候选缺陷区域中的像素点，

式(一)

其中，

参数e_f为检测帧与相邻图像帧之间的灰度值阈值；参数e_b为前图像帧与检测帧之间的灰度值补偿差，参数e_f为后图像帧与检测帧之间的灰度值补偿差，参数

为第n帧像素点/>

的像素灰度值，参数/>

为像素点/>

相邻帧的运动向量。相邻图像帧以时间轴为顺序，位于检测帧的前一帧与后一帧。同时，子步骤S31中，参数/>

为第n帧像素点/>

的像素灰度值中的“第n帧”是指当前检测帧，并随着子步骤S31的顺序执行，将当前帧的后一帧作为当前帧，同时将当前帧作为前一帧并将当前帧的后两帧作为后一帧，并依次类推，以遍历执行上述子步骤S31。

子步骤S32、使用八邻域像素进行正扫描邻域像素获得第一灰度值g_n，进行逆扫描邻域获得第二灰度值i_n，以获取可疑缺陷像素Ed，结合图3所示，在本实施例中，对候选缺陷区域中包含的像素点使用下述公式(二)执行边缘像素的判断；

|i_n-g_n|＞τ₁

式(二)

其中，参数n的取值范围[0,3]，参数τ₁为相对像素点之间的灰度值阈值，参数τ₁的取值范围为[0,255]。同时，参数n与参数τ₁均取整数，并且该子步骤S32中的参数n与子步骤S31中的参数n具等同含义。

利用斑点缺陷在空间上一致性的特征进行候选斑点的进一步处理。对于候选斑点中包含的像素点

选取其八邻域像素；如图3所示，图3中的黑方块表示候选斑点中包含的像素点/>

白方框表示其相邻的八邻域像素。由此，检测当前像素是否是边缘像素。若像素点/>

的八邻域像素中至少有一个像素对满足该计算式(二)则我们可以假定像素点/>

为一可能的边缘像素，进一步判断如果其八邻域像素中最多只有一个像素也被标记为可能的边缘像素，则可以认定像素点/>

为边缘像素点。同时，子步骤S32中的正扫描是指沿图3中黑方块顺时针扫描，以形成白方框i₀～i₃；逆扫描是指沿图3中黑方块逆时针扫描，以形成白方框g₀～g₃。

然后，候选斑点的边缘像素中区分运动边缘和斑点边缘，并将运动边缘从候选斑点像素中剔除，以最终得到包含斑点像素的集合，以完成对斑点区域的检测工作，并为最终的步骤S4予以准备，并具体通过下述子步骤S33完成。

子步骤S33、对所述候选缺陷区域所包含的像素及与候选缺陷区域相邻的像素建模，以区分候选缺陷区域中所包含的运动边缘像素和缺陷边缘像素，并剔除运动边缘像素。结合图4与图5所示，在本实施例中，步骤S33中剔除运动边缘像素的过程具体通过下述公式(三)与公式(四)予以实现：

其中，参数i的取值范围[0,7]，参数i取整数，参数

表示基于可疑缺陷像素Ed构建的前后帧八邻域像素所得到的运动向量，参数/>

与参数/>

为邻域像素点对应的运动向量，参数τ₂为可疑缺陷像素Ed与相邻像素点之间所形成的灰度值阈值，参数n为检测帧的序列编号，参数τ₂的取值范围为[0,255]，若可疑缺陷像素Ed的邻域像素点中有不少于6个像素点同时满足上述公式(一)与公式(二)时，则将可疑缺陷像素Ed判定为运动边缘像素，以剔除所述被判定为运动边缘像素的可疑缺陷像素Ed。同时，参数n与前述式(二)中的参数n具等同技术含义。

最后，执行步骤S4、基于步骤S2中得到的相邻图像帧中所包含的运动向量对候选缺陷区域所包含的像素进行插值运算，并利用改进的GMM算法将候选缺陷区域的边缘灰度值及纹理信息进行迭代运算，以填充候选缺陷区域。具体的，该步骤S4中的利用改进的GMM算法将候选缺陷区域的边缘灰度值及纹理信息进行迭代运算具体包括以下子步骤：

子步骤S41、采用下述公式(五)计算将候选缺陷区域所有像素点到达边界像素点的到达时间T；

其中，到达时间T_ij表示在图像中的坐标位置为(i,j)像素到边界像素点的时间，到达时间T₁＝min(T_i-1,j,T_i+1,j)，到达时间T₂＝min(T_i,j-1,T_i,j+1)，参数η_ij是像素点(i,j)邻域梯度方向因子和等照度线方向因子的加权乘积形成的边界。

子步骤S42、将候选缺陷区域标记出窄带区与未知区。其中，窄带区(narrow band)中内的像素点对应的到达时间T不断更新。

子步骤S43、统计出标记为窄带区中具有最小到达时间T_min所对应的像素点。

子步骤S44、计算具有最小到达时间T_min所对应的像素点最近邻域内像素点的平均值，以更新所述具有最小到达时间T_min所对应的像素点的像素值。

子步骤S45、查找具有最小到达时间T_min所对应的像素点最近邻域内被标记为窄带区与未知区的像素点，并对候选缺陷区域所包含的边界像素点的到达时间T_ij作更新操作，以填充候选缺陷区域。

其中，在本实施例中，修复操作为填充缺陷区域，并具体如下所述。

i)找到所有被标记为窄带narrow band的像素点中，具有最小到达时间T的那个点，将这个点的标记更细为已知known；

ii)通过计算该点最近领域内的点的像素平均值来更新该点的像素值(One-PassAssignment)；

iii)找到该像素点最近领域内被标记为far或者narrow band的像素点；

ix)通过上面的式(五)，更新这些像素点的到达时间T，然后将原本标记为far的点都更新为narrow band；

x)重复步骤i)，直到窄带区narrow band为空，即像待修复区域Ω内所没有被标记为narrow band的像素点。

在本实施例中，改进的GMM算法的视频帧中的缺陷修复技术，利用对待修复区域边界像素一次性指派(One-Pass Assignment)最近邻已修复像素平均值的方法，避免了修复过程中由于重复迭代传递修复信息带来的计算时间损耗，在保证修复边缘质量的同时，加速了整个修复进程，使得本发明提出的方法的计算法复杂度由原有方法的O(p)降低为O(klogk)；其中，参数p为具有斑点的图像帧中所有像素点的数量，参数k为待修复的所有像素数量，k<<p。需要说明的是，在本实施例中，“像素点”与“像素”具等同技术含义。

实施例二：

结合图6所示，本实施例揭示了一种数据视频文件修复装置100的一种具体实施方式。本实施例所揭示的一种数据视频文件修复装置100基于实施例一所揭示的一种数字视频文件修复方法中相同的发明思想，并以计算机程序的形式运行于计算机装置中。该计算机装置包括但不限于数据中心、个人电脑、云计算平台等。

具体的，该数字视频文件修复装置100，包括：视频数据获取模块110、运动估计计算模块120、缺陷检测模块130以及缺陷修复模块140。

视频数据获取模块110用以获取待修复的数字视频文件，并将数字视频文件分解为连续图像帧，运动估计计算模块120用以对分解得到的连续图像帧采用四级分块匹配运动估计计算，得到相邻图像帧中所包含的运动向量。缺陷检测模块130用以对自视频数据获取模块110所传入的连续图像帧中选取连续三个图像帧，根据图像帧所包含的缺陷所具有非连续特征获取候选缺陷区域，并对所述候选缺陷区域所包含的像素及与候选缺陷区域相邻的像素建模。缺陷修复模块140用以对通过运动估计计算模块120得到的相邻图像帧中所包含的运动向量对候选缺陷区域所包含的像素进行插值运算，并利用改进的GMM算法将候选缺陷区域的边缘灰度值及纹理信息进行迭代运算，以填充候选缺陷区域。图像帧所包含的缺陷包括：斑点缺陷、噪声缺陷、破损缺陷或者纹理缺陷中的一种或者几种的组合。

本实施例所揭示的数据视频文件修复装置与实施例一中相同部分的技术方案，请参实施例一所述，在此不再赘述。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

上文所列出的一系列的详细说明仅仅是针对本发明的可行性实施方式的具体说明，它们并非用以限制本发明的保护范围，凡未脱离本发明技艺精神所作的等效实施方式或变更均应包含在本发明的保护范围之内。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims (7)

1.一种数字视频文件修复方法，其特征在于，包括以下步骤：

S1、获取待修复的数字视频文件，并将数字视频文件分解为连续图像帧；

S2、对分解得到的连续图像帧采用四级分块匹配运动估计计算，得到相邻图像帧中所包含的运动向量；

S3、自步骤S1中选取连续三个图像帧，根据图像帧所包含的缺陷所具有非连续特征获取候选缺陷区域，并对所述候选缺陷区域所包含的像素及与候选缺陷区域相邻的像素建模；

S4、基于步骤S2中得到的相邻图像帧中所包含的运动向量对候选缺陷区域所包含的像素进行插值运算，并利用改进的GMM算法将候选缺陷区域的边缘灰度值及纹理信息进行迭代运算，以填充候选缺陷区域；

所述步骤S3包括以下子步骤：

S31、自步骤S1中选取连续三个图像帧并将中间帧作为检测帧，将符合下述公式的像素点

作为候选缺陷区域中的像素点，

其中，

参数e_f为检测帧与相邻图像帧之间的灰度值阈值；参数e_b为前图像帧与检测帧之间的灰度值补偿差，参数e_f为后图像帧与检测帧之间的灰度值补偿差，参数

为第n帧像素点/>

的像素灰度值，参数/>

为像素点/>

相邻帧的运动向量；

S32、使用八邻域像素进行正扫描邻域像素获得第一灰度值g_n，进行逆扫描邻域获得第二灰度值i_n，以获取可疑缺陷像素Ed，

对候选缺陷区域中包含的像素点使用下述公式执行边缘像素的判断；

|i_n-g_n|＞τ₁

其中，参数n的取值范围[0,3]，参数τ₁为相对像素点之间的灰度值阈值，参数τ₁的取值范围为[0,255]；

S33、对所述候选缺陷区域所包含的像素及与候选缺陷区域相邻的像素建模，以区分候选缺陷区域中所包含的运动边缘像素和缺陷边缘像素，并剔除运动边缘像素，其中，

所述步骤S33中剔除运动边缘像素具体为：

其中，参数i的取值范围[0,7]，参数

表示基于可疑缺陷像素Ed构建的前后帧八邻域像素所得到的运动向量，参数/>

与参数/>

为邻域像素点对应的运动向量，参数τ₂为可疑缺陷像素Ed与相邻像素点之间所形成的灰度值阈值，参数n为检测帧的序列编号，参数τ₂的取值范围为[0,255]，若可疑缺陷像素Ed的邻域像素点中有不少于6个像素点同时满足上述公式，则将可疑缺陷像素Ed判定为运动边缘像素，以剔除所述被判定为运动边缘像素的可疑缺陷像素Ed；

所述步骤S4中的利用改进的GMM算法将候选缺陷区域的边缘灰度值及纹理信息进行迭代运算具体为：

S41、采用下述公式计算将候选缺陷区域所有像素点到达边界像素点的到达时间T；

其中，到达时间T_ij表示在图像中的坐标位置为(i,j)像素到边界像素点的时间，到达时间T₁＝min(T_i-1,j,T_i+1,j)，到达时间T₂＝min(T_i,j-1,T_i,j+1)，参数η_ij是像素点(i,j)邻域梯度方向因子和等照度线方向因子的加权乘积形成的边界；

S42、将候选缺陷区域标记出窄带区与未知区；

S43、统计出标记为窄带区中具有最小到达时间T_min所对应的像素点；

S44、计算具有最小到达时间T_min所对应的像素点最近邻域内像素点的平均值，以更新所述具有最小到达时间T_min所对应的像素点的像素值；

S45、查找具有最小到达时间T_min所对应的像素点最近邻域内被标记为窄带区与未知区的像素点，并对候选缺陷区域所包含的边界像素点的到达时间T_ij作更新操作，以填充候选缺陷区域。

2.根据权利要求1所述的数字视频文件修复方法，其特征在于，所述步骤S1中还包括对连续图像帧是否为空帧的判断步骤；

若是空帧，则删除该图像帧；

若不是空帧，则对下一图像帧是否为空帧进行判断，以将连续图像帧中所包含的空帧全部删除，以得到连续图像帧。

3.根据权利要求1所述的数字视频文件修复方法，其特征在于，所述步骤S2中的四级分块匹配运动估计计算包括以下子步骤：

S21、在设定的扫描窗口中构造搜索模型进行块匹配操作；

S22、将搜索模型的中心向最小块形变点处以四级搜索模式移动。

4.根据权利要求3所述的数字视频文件修复方法，其特征在于，所述扫描窗口的尺寸为5×5，所述扫描窗口中构造的搜索模型的尺寸为3×3。

5.根据权利要求1至4中任一项所述的数字视频文件修复方法，其特征在于，所述图像帧所包含的缺陷包括：

斑点缺陷、噪声缺陷、破损缺陷或者纹理缺陷中的一种或者几种的组合。

6.一种数字视频文件修复装置(100)，其特征在于，包括：

视频数据获取模块(110)、运动估计计算模块(120)、缺陷检测模块(130)以及缺陷修复模块(140)；

所述视频数据获取模块(110)用以获取待修复的数字视频文件，并将数字视频文件分解为连续图像帧，

所述运动估计计算模块(120)用以对分解得到的连续图像帧采用四级分块匹配运动估计计算，得到相邻图像帧中所包含的运动向量；

所述缺陷检测模块(130)用以对自视频数据获取模块(110)所传入的连续图像帧中选取连续三个图像帧，根据图像帧所包含的缺陷所具有非连续特征获取候选缺陷区域，并对所述候选缺陷区域所包含的像素及与候选缺陷区域相邻的像素建模，并包括以下子步骤：

S31、选取连续三个图像帧并将中间帧作为检测帧，将符合下述公式的像素点

作为候选缺陷区域中的像素点，

其中，

参数e_f为检测帧与相邻图像帧之间的灰度值阈值；参数e_b为前图像帧与检测帧之间的灰度值补偿差，参数e_f为后图像帧与检测帧之间的灰度值补偿差，参数

为第n帧像素点/>

的像素灰度值，参数/>

为像素点/>

相邻帧的运动向量；

S32、使用八邻域像素进行正扫描邻域像素获得第一灰度值g_n，进行逆扫描邻域获得第二灰度值i_n，以获取可疑缺陷像素Ed，

对候选缺陷区域中包含的像素点使用下述公式执行边缘像素的判断；

|i_n-g_n|＞τ₁

其中，参数n的取值范围[0,3]，参数τ₁为相对像素点之间的灰度值阈值，参数τ₁的取值范围为[0,255]；

S33、对所述候选缺陷区域所包含的像素及与候选缺陷区域相邻的像素建模，以区分候选缺陷区域中所包含的运动边缘像素和缺陷边缘像素，并剔除运动边缘像素，其中，

所述步骤S33中剔除运动边缘像素具体为：

其中，参数i的取值范围[0,7]，参数

表示基于可疑缺陷像素Ed构建的前后帧八邻域像素所得到的运动向量，参数/>

与参数/>

为邻域像素点对应的运动向量，参数τ₂为可疑缺陷像素Ed与相邻像素点之间所形成的灰度值阈值，参数n为检测帧的序列编号，参数τ₂的取值范围为[0,255]，若可疑缺陷像素Ed的邻域像素点中有不少于6个像素点同时满足上述公式，则将可疑缺陷像素Ed判定为运动边缘像素，以剔除所述被判定为运动边缘像素的可疑缺陷像素Ed；

所述缺陷修复模块(140)用以对通过运动估计计算模块(120)得到的相邻图像帧中所包含的运动向量对候选缺陷区域所包含的像素进行插值运算，并利用改进的GMM算法将候选缺陷区域的边缘灰度值及纹理信息进行迭代运算，以填充候选缺陷区域，其中，利用改进的GMM算法将候选缺陷区域的边缘灰度值及纹理信息进行迭代运算具体为：

S41、采用下述公式计算将候选缺陷区域所有像素点到达边界像素点的到达时间T；

其中，到达时间T_ij表示在图像中的坐标位置为(i,j)像素到边界像素点的时间，到达时间T₁＝min(T_i-1,j,T_i+1,j)，到达时间T₂＝min(T_i,j-1,T_i,j+1)，参数η_ij是像素点(i,j)邻域梯度方向因子和等照度线方向因子的加权乘积形成的边界；

S42、将候选缺陷区域标记出窄带区与未知区；

S43、统计出标记为窄带区中具有最小到达时间T_min所对应的像素点；

S44、计算具有最小到达时间T_min所对应的像素点最近邻域内像素点的平均值，以更新所述具有最小到达时间T_min所对应的像素点的像素值；

S45、查找具有最小到达时间T_min所对应的像素点最近邻域内被标记为窄带区与未知区的像素点，并对候选缺陷区域所包含的边界像素点的到达时间T_ij作更新操作，以填充候选缺陷区域。

7.根据权利要求6所述的数字视频文件修复装置，其特征在于，所述图像帧所包含的缺陷包括：

斑点缺陷、噪声缺陷、破损缺陷或者纹理缺陷中的一种或者几种的组合。

Images