CN103313059A

CN103313059A - 一种帧率提升中闭塞区域的判定方法

Info

Publication number: CN103313059A
Application number: CN2013102376700A
Authority: CN
Inventors: 黄丽鸿
Original assignee: Allwinner Technology Co Ltd
Current assignee: Allwinner Technology Co Ltd
Priority date: 2013-06-14
Filing date: 2013-06-14
Publication date: 2013-09-18
Anticipated expiration: 2033-06-14
Also published as: CN103313059B

Abstract

本发明公开了一种帧率提升中闭塞区域的判定方法，包括步骤：设定在第一原始帧和第二原始帧中插入一帧，将待插入帧划分为块；按照一定规则选取候选运动矢量；根据待插入帧的每一块的坐标和每一候选运动矢量的系数值在第一原始帧中确定一个A块的坐标，在第二原始帧中确定一个B块的坐标，计算A块像素和B块像素的SAD值；将计算所得的最小的SAD值与设定的阈值进行比较，如果该SAD值大于阈值，则对应的待插入帧的块为闭塞区域。本发明帧率提升中闭塞区域的判定方法不但对待插入帧的闭塞区域进行判定而且还进一步判定该闭塞区域是遮挡区域还是显露区域，对于遮挡区域和显露区域分别按不同的方式进行运动补偿，补偿后的图像效果更佳，边缘瑕疵明显减少。

Description

一种帧率提升中闭塞区域的判定方法

技术领域

本发明涉及图像处理技术领域，具体涉及一种帧率提升中闭塞区域的判定方法。

背景技术

随着数字电视技术的发展，帧速率变换存在广泛的应用前景。在高端多媒体系统中，提高帧率可以提供更好的视觉质量；低码率视频系统中，通过帧速率变换可以恢复在编码端为了降低码率而跳过的视频帧，减小视觉上的跳跃感。目前，帧率提升算法可以简单地分为两类：第一类称为非运动补偿内插，直接利用前后帧的各种组合内插出中间帧而不考虑对象的运动，比如帧复制和帧平均等插帧法。帧复制法的插入帧中每一个像素都来自于上一帧相同位置的像素，相当于输入的图像帧被重复了两次。虽然这类算法简单，容易实现，但是不适合场景运动较大的场合，容易产生运动突变现象。帧平均法的插入帧中每一个像素点都是该帧前、后两原始帧相同位置像素点的加权平均值。由于该算法没有考虑空间的变化情况，所以对于静态图像部分，如文字等，结果比较完美，但是对于运动物体则会在运动物体边缘产生明显的模糊。第二类算法称为运动补偿内插（ME/MC），基于在极短的时间内，物体的运动轨迹可以视为直线方向线性移动的核心概念，使用运动信息进行补偿插值。首先估算出两帧之间的运动矢量，然后根据运动矢量重构出插入帧的图像，这里内插图像质量的好坏取决于运动估计的准确性。可是部分图像中存在一种区域——闭塞区域（occlusion），即只存在于前一帧或后一帧图像中，于是该区域在两帧图像之间是找不到适当的匹配，那么得到的运动矢量是不可靠的。图1揭示了图像中闭塞区域的概念，竖直的两根直线代表连续的两帧图像，竖直虚线则为待插入图像，椭圆区域代表运动的物体，假设物体向上移动，在待插入帧中会出现闭塞区域。如果忽略闭塞区域，运动补偿内插图像的边缘会产生光晕（halo）现象。因此，帧率提升算法中处理闭塞区域越来越受到重视。

发明内容

本发明的特征和优点在下文的描述中部分地陈述，或者可从该描述显而易见，或者可通过实践本发明而学习。

本发明提供一种帧率提升中闭塞区域的判定方法，本发明不但对待插入帧的闭塞区域进行判定而且还进一步判定该闭塞区域是遮挡区域还是显露区域，对于遮挡区域和显露区域分别按不同的方式进行运动补偿；本发明还采用“块腐蚀”的方法将已划分的块进一步划分为更小的细块，并进行闭塞区域的判定，因此增加了判定的准确性，补偿后的图像效果更佳，边缘瑕疵明显减少。

本发明为解决上述技术问题所采用的技术方案为：

本发明提供一种帧率提升中闭塞区域的判定方法，包括步骤：

A1、设定在第一原始帧和第二原始帧中插入一帧，将待插入帧划分为块；

A2、按照一定的规则选取候选运动矢量；

A3、根据所述待插入帧的每一块的坐标和每一所述候选运动矢量的系数值在第一原始帧中确定一个A块的坐标，在第二原始帧中确定一个B块的坐标，计算A块像素和B块像素的SAD值；

A4、将计算所得的最小的所述SAD值与设定的阈值进行比较，如果该SAD值大于所述阈值，则对应的所述待插入帧的块为闭塞区域。

根据本发明的实施例，所述的帧率提升中闭塞区域的判定方法，还包括步骤：

A5、计算第一原始帧前面相邻的原始帧与所述闭塞区域相同位置的块以及第一原始帧与所述闭塞区域相同位置的块的第一SAD值，计算第二原始帧后面相邻的原始帧与所述闭塞区域相同位置的块以及第二原始帧与所述闭塞区域相同位置的块的第二SAD值；

A6、如果第一SAD值小于所述阈值且第二SAD值大于所述阈值，则所述闭塞区域为遮挡区域；如果第一SAD值大于所述阈值且第二SAD值小于所述阈值，则所述闭塞区域为显露区域。

根据本发明的实施例，所述步骤A4还包括步骤：

A41、将所述待插入帧的块划分给更小的细块，取所述细块以及与其相邻的两个所述待插入帧的块的运动矢量的相应系数排序后的中值作为所述细块的系数，确定所述细块的运动矢量；

A42、以所述细块为中心，选取其左右一定区域内数量最多的同一非零运动矢量的水平方向系数的绝对值，以该绝对值确定相对于所述细块的左右两个细块的坐标，并计算左右两个细块的矢量差绝对值；

A43、如果所述矢量差绝对值大于所述绝对值的一半，则所述细块为闭塞区域。

根据本发明的实施例，所述步骤A4还包括步骤：

A44、以所述细块为中心，选取其上下一定区域内数量最多的同一非零运动矢量的竖直方向系数的绝对值，以该绝对值确定相对于所述细块的上下两个细块的坐标，并计算上下两个细块的矢量差绝对值；

A45、如果所述矢量差绝对值大于所述绝对值的一半，则所述细块为闭塞区域。

根据本发明的实施例，如果当前块为遮挡区域，则选择第一原始帧的相应块进行运动补偿。

根据本发明的实施例，如果当前块为显露区域，则选择第二原始帧的相应块进行运动补偿。

根据本发明的实施例，所述块设为互不重叠的等分块。

根据本发明的实施例，所述步骤A2包括步骤：

A21、在当前块的同一帧的周围区域选定两个块的运动矢量作为候选运动矢量；

A22、在第一原始帧与其前面相邻的原始帧之间已插入的帧上选定两个块的运动矢量作为候选运动矢量。

根据本发明的实施例，所述阈值设为一个块的像素数。

根据本发明的实施例，可以重复执行步骤A41将所述细块划分为更小的块。

发明的有益效果：本发明帧率提升中闭塞区域的判定方法不但对待插入帧的闭塞区域进行判定而且还进一步判定该闭塞区域是遮挡区域还是显露区域，对于遮挡区域和显露区域分别按不同的方式进行运动补偿；本发明还采用“块腐蚀”的方法将已划分的块进一步划分为更小的细块，并进行闭塞区域的判定，因此增加了判定的准确性，补偿后的图像效果更佳，边缘瑕疵明显减少。

附图说明

下面通过参考附图并结合实例具体地描述本发明，本发明的优点和实现方式将会更加明显，其中附图所示内容仅用于对本发明的解释说明，而不构成对本发明的任何意义上的限制，在附图中：

图1为现有技术闭塞区域示意图；

图2为本发明实施例待插入帧和原始帧的位置关系示意图；

图3为本发明实施例候选运动矢量的选取示意图；

图4为本发明实施例根据候选运动矢量计算SAD值的示意图；

图5为本发明实施例闭塞区域判定的流程图；

图6为本发明实施例块腐蚀的示意图；

图7为本发明实施例块腐蚀后再次闭塞区域判定的流程图。

具体实施方式

如图5所示，本发明帧率提升中闭塞区域的判定方法，包括步骤：

A2、按照一定的规则选取候选运动矢量；

如图6和图7所示，所述步骤A4还包括步骤：

如图7所示，所述步骤A4还包括步骤：

根据本发明的实施例，如果当前块为遮挡区域，则选择第一原始帧的相应块进行运动补偿。如果当前块为显露区域，则选择第二原始帧的相应块进行运动补偿。所述块设为互不重叠的等分块。

根据本发明的实施例，所述步骤A2包括步骤：

根据本发明的实施例，所述阈值设为一个块的像素数。可以重复执行步骤A41将所述细块划分为更小的块。

如图2所示，输入4帧连续的图像序列原始帧，即第n-2原始帧、第n-1原始帧、第n原始帧和第n+1原始帧，待插入视频帧分别位于第n-2原始帧和第n-1原始帧，第n-1原始帧和第n原始帧，第n原始帧和第n+1原始帧之间，如虚线所示。以计算第n-1原始帧和第n原始帧之间的插入帧n-1/2为例进行说明。（该4帧原始图像的顺序是n-2、n-1、n、n+1，对n-1原始帧来说n-2原始帧是前面相邻的原始帧，n原始帧是后面相邻的原始帧，对n-1/2帧进行闭塞区域判定时，n-2原始帧和n-1原始帧之间的插入帧已经计算出来。）

令n-1/2帧为当前待插入视频帧，将该帧划分成大小为8*8的像素块。分别求每一个块的运动矢量，以及对该块进行闭塞区域初步判定。（待插入帧进行运动补偿前，待插入帧中每个点的灰度值为0），计算方法如下：

第一阶段求运动矢量，以及对该块进行闭塞区域初步判定：

（1）如图3所示，将待插入帧划分为8*8像素的互不重叠的等分块，对于每一个块，在待插入帧上选定两个S块，在n-2原始帧与n-1原始帧之间已插入的帧上选定两个T块，得到候选矢量集{Sa，Sb，Ta，Tb}。这里的Sa取的是S块的矢量值，不是像素值；S块运动矢量值的计算方法与当前块的运动矢量值计算方法相同，计算当前块的运动矢量值时S块的运动矢量值已经计算出来了。

（2）如图4所示，分别求（1）中候选矢量集{Sa、Sb、Ta、Tb}内每个候选矢量的绝对误差和SAD值，过程如下：候选矢量Sa为（x1，y1），当前块是左上角坐标为（x，y），大小为8*8的块，首先从n-1原始帧上找到左上角坐标为（x-x1，y-y1），大小为8*8的块A，再从n原始帧上找到左上角坐标为（x+x1，y+y1），大小为8*8的块B，求A和B的SAD值。SAD值：A块和B块上每个对应的像素点的差的绝对值的和。

为使得运动矢量的确定更加准确，可以在候选矢量集中增加更新矢量，更新矢量可以从更新矢量集合US中任意选取。目前最常用的US集合为

US = {(\begin{matrix} 0 \\ 0 \end{matrix}), (\begin{matrix} 0 \\ 1 \end{matrix}), (\begin{matrix} 0 \\ - 1 \end{matrix}), (\begin{matrix} 0 \\ 2 \end{matrix}), (\begin{matrix} 0 \\ - 2 \end{matrix}), (\begin{matrix} 1 \\ 0 \end{matrix}), (\begin{matrix} - 1 \\ 0 \end{matrix}), (\begin{matrix} 3 \\ 0 \end{matrix}), (\begin{matrix} - 3 \\ 0 \end{matrix})}

（3）选出步骤（2）中SAD值最小的赋给SAD_min，并令SAD值为SAD_min的候选矢量作为当前块的运动矢量。设定阈值a为64，如果当前块的SAD_min>a，初步判定该区域为闭塞区域。如果该块初步判定为闭塞区域，则执行步骤（4）和步骤（5），进行闭塞类型判定。否则重复步骤（1）至（3），直到当前待插入视频帧中的8*8像素块全部找到运动矢量和进行闭塞区域初步判定。

（4）步骤（3）中当前块的SAD_min大于设定的阈值a时，分别计算n-2原始帧和n-1原始帧上与当前块坐标位置相同的块的绝对误差和SAD(n-2，n-1)，以及n原始帧和n+1原始帧上与当前块坐标位置相同的块的绝对误差和SAD(n，n+1)。

（5）如果（4）中的SAD(n-2，n-1)<a，SAD(n，n+1)>a，判定该块为遮挡区域；如果 SAD(n-2，n-1)>a，SAD(n，n+1)<a，初步判定该块为显露区域。

待插入帧中8*8的像素块重复步骤（1）至步骤（5）操作，得到各自的运动矢量，（每一个块得到一个运动矢量，该矢量由两个值组成，分别将这两个值各自存在x矩阵内（该块坐标对应的位置）和y矩阵中)，组成待插入帧的运动矢量场。待插入帧中8*8的像素块全部求出运动矢量和进行闭塞区域判定后再进行步骤（6）操作。

第二阶段块腐蚀：

（6）如图6所示，连续两次块腐蚀来进行矢量场预处理。

块腐蚀的作用：考虑到运动对象的边界和块的边界不同，防止运动补偿的时候产生块斑，以及图像边缘被错误的判定为闭塞区域。

块腐蚀方法：

经过步骤（1）至步骤（3）操作以后，得到当前块的运动矢量，该矢量值实际上为该块每一个像素点的运动矢量，他们是相等的。

（6-1）将8*8像素的块划分为4个4*4像素的块；

（6-2）以其中画有斜线的块为列，该4*4像素块中每个点都有相同的矢量值（x1，y1），将这个矢量值同该4*4像素的块相邻的两个块（8*8的斜线块）的矢量值(x2，y2)，(x3，y3)进行比较，分别取（x1，x2，x3）的中值，（y1，y2，y3）的中值作为该4*4的块的新的矢量值，其他3个4*4 的块进行相同的运算。所有的块都需要进行块腐蚀。2次块腐蚀后原本8*8的块对应的矢量值大小相同，块腐蚀后变成2*2的块对应的矢量值大小相同。

第三阶段再次判定闭塞区域类型：

（7）以待插入帧中2*2像素的块作为当前块B(x，y)，再次进行闭塞区域判定（因为经过步骤（1）至步骤（6）处理后，待插入帧中划分好的8*8像素块经过块腐蚀处理，划分为16个2*2的像素块，每个2*2的像素块对应同一个矢量值，并且这16个2*2像素块的闭塞区域初步判定结果是同一个）。

当前块B(x，y)，初步判定为闭塞区域的，进行闭塞区域再次判定。

以当前块（2*2的块）为中心块，对块腐蚀后的水平x矢量场，取一个5*5的窗口（也就是25个2*2的块），找到该窗口内非0并且数量最多的运动矢量，取该矢量的绝对值赋给n。

（8）判定当前块B(x，y)左右块B(x+n，y)，B(x-n，y)的矢量差绝对值是否大于等于设定阈值S，阈值S=n/2，对于初步判定为闭塞区域的块，如果|B(x+n，y)－B(x-n，y)|>S，再次确认当前块为闭塞区域，否则初步判定无效。

竖直方向y矢量场重复步骤（7）至步骤（8），区别是计算当前块B(x，y-n)，B(x，y+n)的矢量差绝对值。

第四阶段运动补偿：

（9）非闭塞区域通过运动估计得到的运动矢量，分别在n原始，或n-1原始帧中找到匹配块进行运动补偿。

（10）当前块判定为遮挡区域，选择n-1原始帧中与当前块位置相同的区域进行补偿，当前块判定为显露区域则选择n原始帧中与当前块位置相同的区域进行补偿。

本领域技术人员不脱离本发明的实质和精神，可以有多种变形方案实现本发明，以上所述仅为本发明较佳可行的实施例而已，并非因此局限本发明的权利范围，凡运用本发明说明书及附图内容所作的等效结构变化，均包含于本发明的权利范围之内。

Claims

1.一种帧率提升中闭塞区域的判定方法，其特征在于，包括步骤：

A2、按照一定的规则选取候选运动矢量；

2.根据权利要求1所述的帧率提升中闭塞区域的判定方法，其特征在于，还包括步骤：

3.根据权利要求2所述的帧率提升中闭塞区域的判定方法，其特征在于，所述步骤A4还包括步骤：

A41、将所述待插入帧的块划分给更小的细块，取所述细块以及与其相邻的两个所述待插入帧的块的运动矢量相应系数排序后的中值作为所述细块的系数，确定所述细块的运动矢量；

4.根据权利要求3所述的帧率提升中闭塞区域的判定方法，其特征在于，所述步骤A4还包括步骤：

5.根据权利要求2、3、4任一所述的帧率提升中闭塞区域的判定方法，其特征在于：如果当前块为遮挡区域，则选择第一原始帧的相应块进行运动补偿。

6.根据权利要求2、3、4任一所述的帧率提升中闭塞区域的判定方法，其特征在于：如果当前块为显露区域，则选择第二原始帧的相应块进行运动补偿。

7.根据权利要求1所述的帧率提升中闭塞区域的判定方法，其特征在于：所述块设为互不重叠的等分块。

8.根据权利要求1所述的帧率提升中闭塞区域的判定方法，其特征在于，所述步骤A2包括步骤：

9.根据权利要求1所述的帧率提升中闭塞区域的判定方法，其特征在于：所述阈值设为一个块的像素数。

10.根据权利要求3所述的帧率提升中闭塞区域的判定方法，其特征在于：可以重复执行步骤A41将所述细块划分为更小的块。