CN101902609B - 一种处理游飞字幕的运动补偿帧频提升方法 - Google Patents

Abstract

本发明公开了一种处理游飞字幕的运动补偿帧频提升方法，包括下述步骤：对当前帧图像使用经改进的Sobel算子进行边缘检测，判断当前帧是否具有游飞字幕，如判断为具有游飞字幕的图像帧，求出游飞字幕所在的具体行区间，并对游飞字幕区域进行运动估计，求得游飞字幕区域所对应的全局运动矢量；根据字幕区域的运动估计矢量进行补偿插值，生成待插帧中的游飞字幕；同时提取字幕区域内的字幕，对被提取字幕后的整帧图像，进行运动补偿帧频提升处理，求得提取游飞字幕后的待插帧图像；将求得待插帧中的游飞字幕叠加提取游飞字幕后的待插帧中，得到完整的待插帧图像。

Description

一种处理游飞字幕的运动补偿帧频提升方法

技术领域

本发明涉及计算视频、数字电视后处理中的针对游飞字幕帧频提升的方法，具体涉及一种旨在解决传统运动补偿帧频提升中游飞字幕失真问题的帧频提升方法。

背景技术

随着LCD(液晶显示器)电视屏幕尺寸的增大和高清电视信号的播出，消费者对LCD电视的画质提出了更高的要求。LCD电视由于响应速度慢，会造成运动图像的模糊现象。运动补偿帧频提升技术能够显著改善LCD显示的运动图像模糊现象。但是，运动补偿帧频提升技术并不能够很好得处理显示图像中的游飞字幕。

因为在传统的块匹配运动中，游飞字幕会被包含在不同的运动估计块中，而不同的运动估计块可能会与不同的运动估计矢量相匹配，但是游飞字幕通常是在显示图像中的特定区域内(主要是图像的下方)，以恒定速度沿同一个方向水平运动。这就造成了块匹配运动估计所得到的运动矢量无法正确的代表游飞字幕的运动轨迹问题，形成了明显的块效应。这种传统的运动补偿插值方法造成显示图像中游飞字幕区域的失真，是人眼能够清楚分辨的，是不可接受的失真，因而会严重影响图像质量。

发明内容

针对传统运动补偿帧频提升技术中游飞字幕区域失真的问题，本发明的目的在于，提供一种运算成本低，却能有效解决游飞字幕区域失真的运动补偿帧频提升方法，可在主观视觉效果上解决游飞字幕失真，提高显示图像质量，且能有效的降低运算复杂度，从而广泛应用于需要实时处理的消费类电子领域。

为达到以上目的，本发明是采取如下技术方案予以实现的：

一种处理游飞字幕的运动补偿帧频提升方法，其特征在于，包括下述步骤：

步骤1，对当前帧图像使用经改进的Sobel(索贝尔)算子进行边缘检测，判断当前帧是否具有游飞字幕，如果判定具有游飞字幕，转至步骤2，否则转至步骤8；

步骤2，对由步骤1判断为具有游飞字幕的图像帧，求出游飞字幕所在的具体行区间，具体是通过求得游飞字幕行的最高位置和最低位置，得到游飞字幕区域的位置；

步骤3，对游飞字幕区域进行运动估计，求得游飞字幕区域所对应的全局运动矢量；

步骤4，根据步骤3中得到的字幕区域的运动估计矢量进行补偿插值，生成待插帧中的游飞字幕；

步骤5，提取字幕区域内的字幕，留下“黑洞”，采用加权平均滤波的方法，将该“黑洞”进行填充；

步骤6，对步骤5被提取字幕后的整帧图像，进行基于块匹配运动估计的运动补偿帧频提升处理，求得提取游飞字幕后的待插帧图像；

步骤7，将步骤4中求得待插帧中的游飞字幕叠加到步骤6中得到提取游飞字幕后的待插帧中，得到完整的待插帧图像；

步骤8，对于由步骤1中判定的不含有游飞字幕的帧图像，直接进行传统的运动补偿帧频提升处理，得到待插帧图像。

上述方法中，所述的经改进的Sobel算子包括增加了检测斜45度边缘的Sobel算子，即使用八个方向的Sobel算子进行边缘检测，如式(1)所示：

$\mathrm{sobel}\_1=\left(\begin{array}{ccc}1& 2& 1\\ 0& 0& 0\\ -1& -2& -1\end{array}\right);$ $\mathrm{sobel}\_2=\left(\begin{array}{ccc}-1& -2& -1\\ 0& 0& 0\\ 1& 2& 1\end{array}\right);$

$\mathrm{sobel}\_3=\left(\begin{array}{ccc}1& 0& -1\\ 2& 0& -2\\ 1& 0& -1\end{array}\right);$ $\mathrm{sobel}\_4=\left(\begin{array}{ccc}-1& 0& 1\\ -2& 0& 2\\ -1& 0& 1\end{array}\right);$

(1)。

$\mathrm{sobel}\_5=\left(\begin{array}{ccc}2& 1& 0\\ 1& 0& -1\\ 0& -1& -2\end{array}\right);$ $\mathrm{sobel}\_6=\left(\begin{array}{ccc}-2& -1& 0\\ -1& 0& 1\\ 0& 1& 2\end{array}\right);$

$\mathrm{sobel}\_7=\left(\begin{array}{ccc}0& -1& -2\\ 1& 0& -1\\ 2& 1& 0\end{array}\right);$ $\mathrm{sobel}\_8=\left(\begin{array}{ccc}0& 1& 2\\ -1& 0& 1\\ -2& -1& 0\end{array}\right);$

本发明针对含有游飞字幕的帧图像进行字幕提取及叠加处理，使用Sobel算子有效的检测出游飞字幕区域，并对游飞字幕区域进行基于全局运动估计的运动补偿处理，有效得解决了传统运动补偿帧频提升处理中游飞字幕的失真问题，显著的提高图像的质量。

附图说明

图1为本发明的处理游飞字幕的运动补偿帧频提升方法的流程图。

具体实施方式

以下结合附图及具体实施例对本发明作进一步的详细说明。

如图1所示，本发明的一种处理游飞字幕的运动补偿帧频提升方法的具体实施步骤为：

步骤1，检测当前帧f_n中是否具有游飞字幕，如果有游飞字幕，则进行下一步，确定游飞字幕区域的位置，否则转至步骤8。

步骤1.1：使用Sobel算子对整帧图像下方30％的区域进行边缘检测。为了将边缘检测进行的更加全面彻底，本发明对传统的Sobel算子进行了改进，增加了检测斜45度边缘的Sobel算子，即使用八个方向的Sobel算子进行边缘检测，如式(1)所示。

$\mathrm{sobel}\_1=\left(\begin{array}{ccc}1& 2& 1\\ 0& 0& 0\\ -1& -2& -1\end{array}\right);$ $\mathrm{sobel}\_2=\left(\begin{array}{ccc}-1& -2& -1\\ 0& 0& 0\\ 1& 2& 1\end{array}\right);$

$\mathrm{sobel}\_3=\left(\begin{array}{ccc}1& 0& -1\\ 2& 0& -2\\ 1& 0& -1\end{array}\right);$ $\mathrm{sobel}\_4=\left(\begin{array}{ccc}-1& 0& 1\\ -2& 0& 2\\ -1& 0& 1\end{array}\right);$

(1)。

$\mathrm{sobel}\_5=\left(\begin{array}{ccc}2& 1& 0\\ 1& 0& -1\\ 0& -1& -2\end{array}\right);$ $\mathrm{sobel}\_6=\left(\begin{array}{ccc}-2& -1& 0\\ -1& 0& 1\\ 0& 1& 2\end{array}\right);$

$\mathrm{sobel}\_7=\left(\begin{array}{ccc}0& -1& -2\\ 1& 0& -1\\ 2& 1& 0\end{array}\right);$ $\mathrm{sobel}\_8=\left(\begin{array}{ccc}0& 1& 2\\ -1& 0& 1\\ -2& -1& 0\end{array}\right);$

由于游飞字幕通常是出现在整帧图像的下半部分，即整个帧下方的30％区域就可以完全包含所有的游飞字幕，因此仅需对整个帧下方的30％区域进行边缘像素点的统计，从而可有效降低计算量。

步骤1.2：对经步骤1.1中Sobel算子处理过的区域中的每一行进行统计，统计每行有多少个像素点是边缘像素点，即caption_h_count(i)，其中i代表的是第i行。同时设定行边缘阈值

Threshold_caption_h_count＝αN                        (2)

式(2)中：

α——小于1的常数；

N——每行的点数。

步骤1.3：对每行统计的边缘点数caption_h_count(i)与Threshold_caption_h_count进行比较，若满足式(3)

caption_h_count(i)＞Threshold_caption_h_count                (3)

则判定该行为字幕行，设定标志位flag_caption(i)＝1，否则，设定标志位flag_caption(i)＝0。

步骤1.4：统计标志位flag_caption(i)＝1的个数总和Sum_flag_caption，即

$\mathrm{Sum}\_\mathrm{flag}\_\mathrm{caption}=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\mathrm{flag}\_\mathrm{caption}\left(i\right)---\left(4\right)$

式(4)中n为选定的进行Sobel算子边缘检测的总行数。

如果Sum_flag_caption＝0，则判定当前帧图像不含游飞字幕，转至步骤8；否则进行步骤2。

步骤2，求出游飞字幕的具体行区间。为了避免字幕区域中可能出现某一行字幕因为边缘较少而被误判为非字幕区域的情况，本发明提出确定游飞字幕的具体行区间的方法，即通过求得字幕行的最高位置up_position和最低位置down_position，得到[down_position，up_position]这个范围就是游飞字幕区域的位置。如式(5)所示：

caption_zone＝{i|i＞down_position，并且i＜up_position}                (5)

在caption_zone之内，即使被检测为非字幕行的行区域，也被认为是字幕区域，这样就得到了连续的游飞字幕区域。

步骤3，对游飞字幕区域内的游飞字幕进行运动估计，求得游飞字幕区域对应的全局运动矢量。因为游飞字幕都是仅有水平运动，而且字幕的各部分的运动速度是一样的，因而只需求得游飞字幕的全局运动矢量。通过运动估计器可以得到了游飞字幕区域各个块对应的运动估计矢量，通过对每个矢量的水平分量进行统计并比较，即可得到游飞字幕区域的全局运动矢量MV_Caption。由于在游飞字幕区域中，字幕占据字幕区域的主导地位，因此该运动矢量可以代表字幕的真实运动轨迹。

步骤4，对游飞字幕像素点，即被标记为flag_caption(i)＝1的像素点，根据步骤3得到的字幕区域的运动估计矢量MV_Caption进行运动补偿的插值。如式(6)所示，得到待插帧中的游飞字幕。

$f\_{\mathrm{caption}}_{n-\frac{1}{2}}(x,y)=f_{n-1}(x+\frac{{\mathrm{MV}}_{\mathrm{capton}\_x}}{2},y+\frac{{\mathrm{MV}}_{\mathrm{caption}\_y}}{2})---\left(6\right)$

步骤5，对游飞字幕区域中的游飞字幕进行提取，针对原游飞字幕区域内的字幕像素点被挖去后留下的“黑洞”区域，采用加权平均滤波的方法，利用字幕周围的背景像素对“黑洞”进行填充，抹平“黑洞”，使得字幕的“黑洞”与背景像素融为一体。

步骤6，对提取游飞字幕后的整帧图像，进行基于块匹配运动估计的运动补偿帧频提升处理。根据运动估计器得到的运动矢量，利用式(7)求得不含游飞字幕的待插帧图像。

$f_{n-\frac{1}{2}}(x,y)=\frac{1}{2}(f_{n-1}(x+\frac{{\mathrm{MV}}_x}{2},y+\frac{{\mathrm{MV}}_y}{2})+f_n(x-\frac{{\mathrm{MV}}_x}{2},y-\frac{{\mathrm{MV}}_y}{2}))---\left(7\right)$

步骤7，将步骤4中求得的待插帧中的字幕叠加到步骤6中求得的被抹平黑洞的待插帧中，即可得到本发明提出的针对游飞字幕帧频提升处理的结果，如式(8)所示。

步骤8，对由步骤1中判定为不含有游飞字幕的帧图像，进行传统的运动补偿帧频提升处理，即根据运动估计得到的运动矢量，并进行运动补偿插值，生成待插帧图像。

本发明提出的处理游飞字幕的运动补偿帧频提升方法，有效得利用Sobel边缘检测算子，对当前帧下方的区域进行游飞字幕检测，有效得降低了计算量，从而实现以较小的计算量检测出游飞字幕区域。同时，本发明提出的针对游飞字幕区域的全局运动补偿插值方法，能有效得抑制传统的块运动估计的插值导致的游飞字幕失真，有效得提高显示图像的质量。

Claims (1)

1.一种处理游飞字幕的运动补偿帧频提升方法，其特征在于，包括下述步骤：

步骤1，对当前帧图像使用经改进的Sobel算子进行边缘检测，判断当前帧是否具有游飞字幕，如果判定具有游飞字幕，转至步骤2，否则转至步骤8；

步骤2，对由步骤1判断为具有游飞字幕的图像帧，求出游飞字幕所在的具体行区间，具体是通过求得游飞字幕行的最高位置和最低位置，得到游飞字幕区域的位置；

步骤3，对游飞字幕区域进行运动估计，求得游飞字幕区域所对应的全局运动矢量；

步骤4，根据步骤3中得到的字幕区域的运动估计矢量进行补偿插值，生成待插帧中的游飞字幕；

步骤5，提取字幕区域内的字幕，留下“黑洞”，采用加权平均滤波的方法，将该“黑洞”进行填充；

步骤6，对步骤5被提取字幕后的整帧图像，进行基于块匹配运动估计的运动补偿帧频提升处理，求得提取游飞字幕后的待插帧图像；

步骤7，将步骤4中求得待插帧中的游飞字幕叠加到步骤6中得到提取游飞字幕后的待插帧中，得到完整的待插帧图像；

步骤8，对于由步骤1中判定的不含有游飞字幕的帧图像，直接进行传统的运动补偿帧频提升处理，得到待插帧图像；

步骤1中，所述经改进的Sobel算子包括增加了检测斜45度边缘的Sobel算子，即使用八个方向的Sobel算子进行边缘检测，如式(1)所示：

$\mathrm{sobel}\_1=\left(\begin{array}{ccc}1& 2& 1\\ 0& 0& 0\\ -1& -2& -1\end{array}\right);\mathrm{sobel}\_2=\left(\begin{array}{ccc}-1& -2& -1\\ 0& 0& 0\\ 1& 2& 1\end{array}\right);$

$\mathrm{sobel}\_3=\left(\begin{array}{ccc}1& 0& -1\\ 2& 0& -2\\ 1& 0& -1\end{array}\right);\mathrm{sobel}\_4=\left(\begin{array}{ccc}-1& 0& 1\\ -2& 0& 2\\ -1& 0& 1\end{array}\right);$ (1)。

$\mathrm{sobel}\_5=\left(\begin{array}{ccc}2& 1& 0\\ 1& 0& -1\\ 0& -1& -2\end{array}\right);\mathrm{sobel}\_6=\left(\begin{array}{ccc}-2& -1& 0\\ -1& 0& 1\\ 0& 1& 2\end{array}\right);$

$\mathrm{sobel}\_7=\left(\begin{array}{ccc}0& -1& -2\\ 1& 0& -1\\ 2& 1& 0\end{array}\right);\mathrm{sobel}\_8=\left(\begin{array}{ccc}0& 1& 2\\ -1& 0& 1\\ -2& -1& 0\end{array}\right);$

Images