CN107426577B - 运动估计运动补偿算法中重复性结构的检测方法及系统 - Google Patents

Abstract

本发明提供了一种运动估计运动补偿算法中重复性结构的检测方法及系统，包括：选择步骤：按照匹配度选择待计算块的若干个候选运动矢量；计算步骤：计算选择出的若干个候选运动矢量的差异性以及所述若干个候选运动矢量所指向的原始帧位置处的块纹理的复杂性；重复性判别步骤：根据选择步骤和计算步骤中的结果判断运动估计的所述计算块的内容是否为重复性内容。本发明中的方法在现有的运动估计运动补偿算法系统中，可以以极小的额外代价检测重复性结构，为整个装置系统提供重复性结构的信息，改善运动估计运动补偿的效果，并且步骤简单，易实现，检测率也比较高。

Description

运动估计运动补偿算法中重复性结构的检测方法及系统

技术领域

本发明涉及视频图像处理技术领域，具体地，涉及运动估计运动补偿算法中重复性结构的检测方法及系统。

背景技术

运动估计是指图像信号内的估计运动向量。为了提高估计运动向量的准确性，为信号的图像中至少一个像素建立至少两个候选运动向量；对每个所述候选运动向量，计算至少两个误差准则；以及选择使误差准则的非线性函数最小化的候选运动向量，作为所述至少一个像素的估计运动向量。

只利用围绕某一目标相位点的一个时间选通窗口内的投影数据可能导致运动伪像,比如模糊的图像。通过利用对应于三个相对于彼此略微移位但是至少部分重叠的时间选通窗口的投影数据,可以估计该选通窗口内的运动,可被用于改善图像质量。

基于运动估计运动补偿的帧率转换算法是通过预测连续运动图像中物体的运动轨迹，根据计算的运动矢量插值出中间图像，使物体的运动连续流畅，可以改善视频播放时的抖动拖尾等问题。然而由于运动内容的多样性和复杂性，在很多场景下有时候会计算出错误的运动矢量。其中重复性结构内容就是运动估计中的一个难点，由于内容的重复性，很容易导致错误匹配。

经检索

申请号为：201310662168.4，名称为“一种帧率转换控制方法及装置”，所述方法首先接收并判断当前数据帧的场景类型；然后，根据预设规则，确定与所述数据帧的场景类型相对应的运动估算与运动补偿的效果级别；根据所述运动估算与运动补偿的效果级别进行帧率转换。

申请号：201310115703.4，名称为“多级双向运动估计方法及设备”，该方法包括以待插帧的M1×M1块为镜像中心分别在当前帧和前一帧中进行匹配块搜索，所述搜索算法包括三维递推搜索算法或六边形搜索算法；确定第一待定匹配块对，所述第一待定匹配块对为在所述当前帧和前一帧中的所述搜索的各对匹配块中双边绝对误差和SBAD值最小的一对匹配块；如果确定所述第一待定匹配块对的SBAD值大于或等于SBAD阈值，则将所述待插帧的M1×M1块拆分成M2×M2块，以所述待插帧的M2×M2块为镜像中心分别在所述当前帧和所述前一帧中重新进行匹配块搜索且所述重新进行匹配块搜索的SBAD阈值为前一次匹配块搜索的SBAD阈值的1/4。

上述文献中的技术方案采用多级运动估计，即用不同的分块大小或者多尺度图像进行多次运动搜索，从上至下传递运动矢量，但是多级运动估计会导致运行成本增加，且其改善的结果并不显著。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种运动估计运动补偿算法中重复性结构的检测方法及系统。

根据本发明提供的运动估计运动补偿算法中重复性结构的检测方法，包括如下步骤：

运动矢量选择步骤：按照匹配度选择待计算块的若干个候选运动矢量；

运动矢量的差异性和块纹理的复杂性计算步骤：计算选择出的若干个候选运动矢量的差异性以及所述若干个候选运动矢量所指向的原始帧位置处的块纹理的复杂性；

重复性内容判别步骤：根据运动矢量的差异性和块纹理的复杂性计算步骤中的结果判断运动估计的所述计算块的内容是否为重复性内容。

优选地，运动矢量选择步骤包括：

步骤A1：用SAD，即Sum of absolute differences图像匹配算法来选择待计算块的候选运动矢量，具体地，将SAD<th的运动矢量选出，或者SAD按照从小到大排序的前N个运动矢量；th为用户设定的上限阈值，N为正整数，表示候选运动矢量的总数；

步骤A2：将选出的候选运动矢量分别记为：Cand1，Cand2，...，CandN；Cand1表示第一个候选运动矢量，CandN表示第N个候选运动矢量。

优选地，所述运动矢量的差异性和块纹理的复杂性计算步骤包括：

步骤B1：计算选择出的若干个候选运动矢量的差异性，具体计算公式如下：

diff_IJ＝abs(CandI.vx-CandJ.vx)+abs(CandI.vy-CandJ.vy)；

式中：diff_IJ表示第I个候选运动矢量与第J个候选运动矢量的差异性值，其中I的值不等于J，I、J的取值为1,2，…，N；abs表示绝对值计算，CandI.vx表示第I个候选运动矢量的水平分量，CandJ.vx表示第J个候选运动矢量的水平分量，CandI.vy表示第I个候选运动矢量的垂直分量，CandJ.vy表示第J个候选运动矢量的垂直分量；

步骤B2：计算若干个候选运动矢量所指向的原始帧位置处的块纹理的复杂性dtl；具体计算公式如下：

dtl＝sum(abs(pixelJ-pixelAvg))

式中：sum表示求和，abs表示绝对值计算，pixelJ取值为遍历块中所有的像素点的像素，pixelAvg表示该块中像素的平均值；其中：

pixelAvg＝sum(pixelJ)/cnt,

式中：cnt表示该块像素点个数。

优选地，所述重复性内容判别步骤包括：将SAD小于设定阈值d的候选运动矢量中至少有两个矢量的差异性大于设定阈值M，且两个矢量对应的块纹理复杂性大于设定阈值P的内容认为是重复性内容，进行标记。

根据本发明提供的运动估计运动补偿算法中重复性结构的检测系统，包括如下模块：

运动矢量选择模块：按照匹配度选择待计算块的若干个候选运动矢量；

运动矢量的差异性和块纹理的复杂性计算模块：计算选择出的若干个候选运动矢量的差异性以及所述若干个候选运动矢量所指向的原始帧位置处的块纹理的复杂性；

重复性内容判别模块：通过运动矢量的差异性和块纹理的复杂性判断运动估计的计算块的内容是否为重复性内容。

与现有技术相比，本发明具有如下的有益效果：

1、本发明中的方法在现有的运动估计运动补偿算法系统中，可以以极小的额外代价检测重复性结构，为整个装置系统提供重复性结构的信息，改善运动估计运动补偿的效果。

2、本发明提供的运动估计运动补偿算法中重复性结构的检测方法步骤简单，易实现，检测率也比较高。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为本发明提供的方法流程示意图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。

根据本发明提供的运动估计运动补偿算法中重复性结构的检测方法，包括如下步骤：

步骤1：按照匹配度选择待计算块的若干个候选运动矢量；

步骤2：计算选择出的若干个候选运动矢量的差异性以及所述若干个候选运动矢量所指向的原始帧位置处的块纹理的复杂性；

步骤3：根据步骤1和步骤2中的结果判断运动估计的所述计算块的内容是否为重复性内容。

所述步骤1包括：

步骤1.1：用SAD(Sum of absolute differences)图像匹配算法来选择待计算块的候选运动矢量，具体地，将SAD<th的运动矢量选出，或者SAD按照从小到大排序的前N个运动矢量；th为用户设定的上限阈值，N为正整数，表示候选运动矢量的总数；

步骤1.2：将选出的候选运动矢量分别记为：Cand1，Cand2，...，CandN；Cand1表示第一个候选运动矢量，CandN表示第N个候选运动矢量。

所述步骤2包括：

步骤2.1：计算选择出的若干个候选运动矢量的差异性，具体计算公式如下：

diff_IJ＝abs(CandI.vx-CandJ.vx)+abs(CandI.vy-CandJ.vy)；

式中：diff_IJ表示第I个候选运动矢量与第J个候选运动矢量的差异性值，其中I的值不等于J，I、J的取值为1,2，…，N；abs表示绝对值计算，CandI.vx表示第I个候选运动矢量的水平分量，CandJ.vx表示第J个候选运动矢量的水平分量，CandI.vy表示第I个候选运动矢量的垂直分量，CandJ.vy表示第J个候选运动矢量的垂直分量；

或者，通过将SAD值最小的候选运动矢量与其余的候选运动矢量进行差异性计算，得到相应数量的差异性值；

步骤2.2：计算若干个候选运动矢量所指向的原始帧位置处的块纹理的复杂性；具体计算公式如下：

dtl＝sum(abs(pixelJ-pixelAvg))

式中：sum表示求和，abs表示绝对值计算，pixelJ取值为遍历块中所有的像素点的像素，pixelAvg表示该块中像素的平均值；其中：

pixelAvg＝sum(pixelJ)/cnt,

式中：cnt表示该块像素点个数。

具体地，例如计算图像的块像素与均值差和，记为sum(abs(pixel in blk-avg))，其中avg为块的平均像素值。

所述步骤3包括：将候选运动矢量的SAD小于设定阈值d，且至少与两个其他候选运动矢量的差异性值大于设定阈值M，且该候选运动矢量的原始帧位置处的块纹理的复杂性大于设定阈值P的候选运动矢量认为是重复性内容，进行标记。

根据本发明提供的运动估计运动补偿算法中重复性结构的检测系统，包括如下模块：

运动矢量选择模块：按照匹配度选择待计算块的若干个候选运动矢量；

运动矢量的差异性和块纹理的复杂性计算模块：计算选择出的若干个候选运动矢量的差异性以及所述若干个候选运动矢量所指向的原始帧位置处的块纹理的复杂性；

重复性内容判别模块：通过运动矢量的差异性和块纹理的复杂性判断运动估计的计算块的内容是否为重复性内容。

下面结合具体实施例对本发明中的技术方案做更加详细的说明。

应用本发明中方方法的实施例包括如下步骤：

步骤S1：选出SAD<th的若干个运动候选矢量；

步骤S2：计算SAD最小的运动矢量和其他候选运动矢量的矢量差异diff；

步骤S3：计算这些矢量每个矢量对应的块纹理复杂度；

步骤S4：若满足可以找到某个矢量与SAD最小矢量的diff>th1，它们对应的块纹理复杂度dtl>th2，则标记该块为重复性结构；

步骤S5：在运动估计模块中对标记为重复性结构的块进行特殊处理，在选取运动矢量时倾向于和周围矢量一致，可有效改善运动估计结果。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

Claims (3)

1.一种运动估计运动补偿算法中重复性结构的检测方法，其特征在于，包括如下步骤：运动矢量选择步骤：按照匹配度选择待计算块的若干个候选运动矢量；

运动矢量的差异性和块纹理的复杂性计算步骤：计算选择出的若干个候选运动矢量的差异性以及所述若干个候选运动矢量所指向的原始帧位置处的块纹理的复杂性；

重复性内容判别步骤：根据运动矢量的差异性和块纹理的复杂性计算步骤中的结果判断运动估计的所述计算块的内容是否为重复性内容，

所述运动矢量的差异性和块纹理的复杂性计算步骤包括：

步骤B1：计算选择出的若干个候选运动矢量的差异性，具体计算公式如下：diffIJ＝abs(CandI.vx-CandJ.vx)+abs(CandI.vy-CandJ.vy)；

式中：diffIJ表示第I个候选运动矢量与第J个候选运动矢量的差异性值，其中I的值不等于J，I、J的取值为1,2，…，N；abs表示绝对值计算，CandI.vx表示第I个候选运动矢量的水平分量，CandJ.vx表示第J个候选运动矢量的水平分量，CandI.vy表示第I个候选运动矢量的垂直分量，CandJ.vy表示第J个候选运动矢量的垂直分量；

步骤B2：计算若干个候选运动矢量所指向的原始帧位置处的块纹理的复杂性dtl；具体计算公式如下：dtl＝sum(abs(pixelJ-pixelAvg))

式中：sum表示求和，abs表示绝对值计算，pixelJ取值为遍历块中所有的像素点的像素，pixelAvg表示该块中像素的平均值；其中：

pixelAvg＝sum(pixelJ)/cnt,

式中：cnt表示该块像素点个数；

所述重复性内容判别步骤包括：将SAD小于设定阈值d的候选运动矢量中至少有两个矢量的差异性大于设定阈值M，且两个矢量对应的块纹理复杂性大于设定阈值P的内容认为是重复性内容，进行标记。

2.根据权利要求1所述的运动估计运动补偿算法中重复性结构的检测方法，其特征在于，运动矢量选择步骤包括：

步骤A1：用SAD，即Sum of absolute differences图像匹配算法来选择待计算块的候选运动矢量，具体地，将SAD<th的运动矢量选出，或者sad按照从小到大排序的前N个运动矢量；th为用户设定的上限阈值，N为正整数，表示候选运动矢量的总数；

步骤A2：将选出的候选运动矢量分别记为：Cand1，Cand2，...，CandN；Cand1表示第一个候选运动矢量，CandN表示第N个候选运动矢量。

3.一种运动估计运动补偿算法中重复性结构的检测系统，其特征在于，采用权利要求1-2任一所述的运动估计运动补偿算法中重复性结构的检测方法，包括如下模块：

运动矢量选择模块：按照匹配度选择待计算块的若干个候选运动矢量；

运动矢量的差异性和块纹理的复杂性计算模块：计算选择出的若干个候选运动矢量的差异性以及所述若干个候选运动矢量所指向的原始帧位置处的块纹理的复杂性；

重复性内容判别模块：通过运动矢量的差异性和块纹理的复杂性判断运动估计的计算块的内容是否为重复性内容。

Images