CN100542299C - 视讯图像错误的掩盖方法 - Google Patents

Abstract

本发明提供一种视讯图像错误的掩盖方法，是指接收数据包，检测是否丢失宏块，并根据丢失宏块周边的相应块的运动矢量的情况来判断图像的运动程度；进而根据所确定的图像的运动程度是小运动帧、中运动帧或者是大运动帧，当发生丢宏块时采用相应的错误掩盖方式进行掩盖。本发明得到的图像效果好，质量高，可较好应用于图像的不同运动程度。

Description

一种视讯图像错误的掩盖方法

技术领域

本发明涉及图像信息传输与处理领域，尤其涉及一种视讯图像错误的掩盖方法。

背景技术

由于信道的误码或网络的阻塞会造成接收端图像内宏块的丢失或视频质量的下降，所以有必要采用必要的方法来实现掩盖。

现有的视讯图像差错掩盖分为两种：一种是空间方向上的，在基于JPEG压缩的图像和视频压缩的I帧(I-Frame)只能采用这种方法，因为它没有时间方向上的信息可以利用；另外一种是时间方向上的，在这种方法中它不仅有空间方向的信息，还有时间方向的信息可以利用。

空间方向的错误掩盖技术：现有的方法很多，例如：(1)最大平滑恢复方法，在这种方法中，通过使丢失宏块和周围相邻块边界的最大平滑约束条件来恢复丢失宏块内的像素；(2)采用周边块的均方误差最小和线性内插的方法来恢复丢失宏块；(3)使用只恢复离散余弦变换(Discrete Cosine Transform，DCT)域的低频系数，并且把高频系数置零的方法来恢复丢失的块。

时间方向的错误掩盖方法：当码流中的宏块丢失后，一般情况下，运动矢量(Motion Vector，MV)信息也会相应的丢失，这就需要对MV进行恢复，现有的方法有很多，例如：(1)线性内插方法，在这种方法中，丢失宏块的每个像素都是用周围相邻块MV的双线性内插来得到；(2)边界匹配方法，在这种方法中，它用前一帧中和当前块的周围边界像素的平均绝对差(Mean of Absolute Difference，MAD)最小的块的MV作为当前丢失宏块的MV。还有一些其他采用时间上的相关性来得到丢失宏块的MV信息的方法。

一般地，在有场景变换的区域和有快速运动、旋转和变形对象时，时间方向上的掩盖方法效果不好，所以也出现了一种基于边界匹配和基于网格变形(BMA-MBW)的方法，这种方法也有它局限性，不仅运算量大，而且只能用于运动激烈的视频中。

发明内容

本发明的目的在于克服上述现有技术的缺点和不足，提供一种图像效果好，质量高的视讯图像错误的掩盖方法，该方法通过判断图像的运动程度，从而对图像进行分级，根据不同的级而采用相应的“错误掩盖”方法。

本发明的目的通过下述技术方案实现：本视讯图像错误的掩盖方法，包括以下步骤：

步骤一、接收数据包，检测是否丢失宏块，并根据丢失宏块周边的相应块的运动矢量的情况来判断图像的运动程度：

(1-1)根据周围相邻块运动矢量的绝对值，计算平均值v：

$\stackrel{\‾}{v}=\frac{1}{n}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\left|v_i\right|$

其中，n是丢失宏块周围相邻块的个数，v_i是第i块的运动矢量；

(1-2)计算每个块运动矢量的绝对值与平均值v差值的绝对值，从而得到T_a：

$T_a=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\left|\right|v_i|-\stackrel{\‾}{v}|$

(1-3)根据T_a与门限值的比较结果，确定图像帧的运动程度：

当T_a大于给定的门限值T_v ^h，该图像帧为大运动帧；

当T_a小于给定的门限值T_v ^l，该图像帧为小运动帧；

当 $T_v^l\≤T_a\≤T_v^h,$ 该图像帧为中运动帧；

其中门限值T_v ^h的取值范围是10～20，门限值T_v ^l的取值范围是0～8；门限值T_v ^h最佳取值15，门限值T_v ^l最佳取值6。

步骤二、根据以上所确定的图像的运动程度，当发生丢失宏块时采用相应的错误掩盖方式：

(2-1)若图像的运动程度为小运动帧，则利用丢失宏块周围相邻块的运动矢量加权平均值来预测该丢失宏块的运动矢量，根据运动矢量对应前一帧的宏块来掩盖丢失宏块；

所述丢失宏块周围相邻块的数量为八块；所述加权系数之和为1；

(2-2)若图像的运动程度为中运动帧，则根据以上所述步骤(2-1)在前一帧找到的掩盖宏块，以该掩盖宏块块为中心，确定一个搜索窗体，再采用边界匹配(Boundary Matching Algorithm，BMA)方法，对搜索窗体进行搜索，从而确定与丢失宏块周围边界像素的MAD最小的块来掩盖丢失宏块；

所述搜索窗体的大小设置在16～20像素之间；

对其窗体进行搜索方法为整像素搜索或者1/4像素搜索；

所述整像素搜索或者1/4像素搜索的具体方法为菱形搜索；

所述菱形搜索上下左右平移1～4像素，对角平移1～2像素；

(2-3)若图像的运动程度为大运动帧，则在进行以上所述步骤(2-2)的基础上，再利用网格变形(Mesh Warping)方法来降低图像激烈运动(旋转、缩放和变形等)造成的块效应。

所述网格变形(Mesh Warping)方法具体步骤为：

(a)确定控制网格：在用边界匹配(Boundary MatchingAlgorithm，BMA)方法恢复丢失宏块后，用一个的控制网格掩盖该丢失宏块，它在周围边界上多个个控制点，在内部有多个内插点，相邻两个控制点之间的水平或者垂直距离设为多个像素点，以任一控制点为参考点，从而确定各控制点和内插点与参考点的相对坐标；

所述控制网格的大小为16×16像素；

(b)控制网格确定后，对恢复后的丢失宏块进行网格变形，以适应当前恢复丢失周围的信息：

(b-1)确定每个控制点的运动矢量信息，即通过在控制点处选择多个像素点(以3、4个为佳)作为其像素矢量，然后与周围相邻块的内边界上的像素矢量进行匹配，根据均方差(Mean Square Error，MSE)的最小值来确定控制点的匹配点，从而得出其位移矢量dx_i ^C：

${{\mathrm{dx}}_i}^C:D\left({{\mathrm{dx}}_i}^C\right)=\underset{\left|d_s\right|\≤w_s}{\min }D\left(d_s\right)$

其中， $D\left(d_s\right)=\underset{K=-L_v}{\overset{L_v}{\mathrm{\Σ}}}{(f_{x_i+k,y_i}-f_{x_i+k+d_s,y_i-1})}^2;$

f_x，y为位于(x，y)点的像素值；(x_i，y_i)为控制点C_i的坐标；如果 $D\left({\mathrm{dx}}_i^c\right)<D\left(0\right)+T_m$ 时，该点就不移动，否则，它就移动距离为(dx_i ^c，0)；T_m为一门限值(0.01～0.09)，用来屏蔽噪声；L_v(3～6)最佳取值4和W_s(-5～+5)最佳取值(-3～+3)分别为匹配矢量的长度和搜索范围，如果其值大，会提高匹配精度，但会增加计算量，在这取值分别为4和3。

(b-2)得到控制点的位移矢量后，再进行仿射变换，即先把一个不规则的三角形变换成一个规则三角形，然后再变换到不规则的三角形，从而实现掩盖块的自动旋转功能。

附图说明

图1是本发明视讯的分级差错掩盖方法所述的丢失宏块和其周围的宏块的示意图；

图2是图1所示丢失宏块根据预测运动矢量对应的掩盖块(16×16)及边界匹配搜索窗体的示意图；

图3是图1所示丢失宏块的控制网格的控制点和内插点的示意图；

图4是控制点的运动搜索过程的示意图；

图5是仿射变换的示意图。

具体实施方式

由于信道的误码或网络的阻塞会造成接收端图像内块的丢失或视频质量的下降，所以有必要采用必要的措施来实现掩盖。

本发明采用分级的错误掩盖方法对接收端的差错或丢失包图像质量进行改善。

当宏块丢失时，一般也会造成宏块的运动矢量丢失。所以首先得从丢失宏块的时空周边预测丢失宏块的运动矢量，从而找出相似丢失宏块来掩盖当前丢失宏块。但是这样简单的掩盖不利于细节部分的恢复，比如当丢失宏块运动为非平移运动如：旋转、缩放和变形等。结合这几个特性，本发明视讯的分级差错掩盖方法按以下步骤对视迅的分级差错进行掩盖，从而实现图像的具体细节的凸现。

(1)判断图像的运动激烈程度，采用丢失宏块周边的相应块的运动矢量的情况来自适应地判断该区域是否为平滑区域。具体为：先根据周围相邻块运动矢量的绝对值，计算平均值v：

$\stackrel{\&OverBar;}{v}=\frac{1}{n}\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}\left|v_i\right|$

其中n是丢失宏块周围相邻块的个数；v_i是第i个块的运动矢量。

然后计算每个块运动矢量的绝对值与平均值v差值的绝对值，从而得到T_a，公式如下：

$T_a=\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}\left|\right|v_i|-\stackrel{\&OverBar;}{v}|$

当T_a大于给定的门限值T_v ^h时，就跳到步骤(4)；

当T_a小于给定的门限值T_v ^l时，就跳到步骤(2)；

当 $T_v^l\&le;T_a\&le;T_v^h$ 时，就跳到步骤(3)。

(2)周围八块的运动矢量加权平均来预测丢失宏块的运动矢量。这也是最简单的预测方法，只有在图像变化非常不激烈时，才可以这样做，再根据运动矢量来掩盖丢失宏块。如图1所示，黑色表示丢失宏块，白色表示其周围8块宏块，丢失宏块与周围的宏块对应的运动矢量为：

MV_lost，MV₁，MV₂，MV₃，MV₄，MV₅，MV₆，MV₇，MV₈

丢失宏块的运动矢量的预测公式如下：

MV_lost＝x1*MV₁+x2*MV₂+x3*MV₃+x4*MV₄+x5*MV₅+x6*MV₆+x7*MV₇+x8*MV₈

其加权系数X＝{x1，x2，x3，x4，x5，x6，x7，x8}，其中X的取值可以自动调控，考虑到1、2、3、4、5、6、7、8块中也有可能是丢失宏块，所以这时其相对应的加权系数必须要小，同时两对角方向1、3、5、7也应该比2、4、6、8的系数小。其参数还需满足：

x1+x2+x3+x4+x5+x6+x7+x8＝1

(3)请参考图2，在步骤(2)的预测基础上，确定丢失宏块运动矢量，从而在前一帧找到的掩盖宏块，但是有时这样直接覆盖会造成丢失宏块与周边块的不平滑，因此以这个掩盖宏块为中心来确定一个搜索窗体，窗体的大小一般设置在16～20像素之间，如图2所示，灰色部分表示预测运动矢量对应的相似块(16×16)，整个图形是它对应的搜索窗体，搜索窗体为20像素，再采用边界匹配(BoundaryMatching Algorithm，BMA)的方法，对其搜索窗体做整像素搜索或者1/4像素搜索来找到与丢失宏块周边边界象素的MAD最小的块来覆盖丢失宏块。这种方法会弥补采用BMA搜索带来的边界匹配，但是掩盖后的块内和相邻接的块内不是连续的缺点。

考虑到图形大部分都是进行上下左右移动，所述整像素搜索或者1/4像素搜索为菱形搜索，其步骤为，上下左右平移(1～4)像素，对角平移(1～2)像素。

(4)在步骤(3)的基础上，当图像运动激烈，在丢失宏块区域中，并非简单的平移运动如旋转、缩放和变形等一些运动方式时，基于匹配块运动的补偿方法将产生块效应，这种效应可以采用多种方式来降低，如各种滤波的方法，但是这些方法主要是对块的边界进行滤波，会使得边界模糊，所以在这里使用一种基于网格变形的仿射变换(affine transforms)方法来降低非平移运动造成的块效应。

请参考图3，在用匹配方法恢复丢失的块后，用一个控制网格覆盖到该宏块(16x16)，它在周围边界上共有12个控制点，在内部有4个控制点，相邻两个控制点之间的水平或者垂直距离为5个像素点，即假设一个宏块左上角的坐标为(0，0)，则12个控制点的坐标分别为：(0，0)，(0，5)，(0，10)，(0，15)，(15，5)，(15，10)，(15，15)，(15，10)，(15，5)，(15，0)，(10，0)，(5，0)如图3中C_i所示；四个内插点为：(5，5)，(10，5)，(5，10)，(10，10)如图3中P_i所示。

控制网格确定后，对恢复后的块进行网格变形，以适应当前恢复块周围的信息。

1)请参考图4，首先确定每个控制节点的运动信息，其运动信息是通过在控制节点处选择几个像素点作为其像素矢量与周围相邻块的内边界上的像素矢量进行匹配，最后根据MSE的最小值来确定控制点的匹配点，最后得出其位移矢量。匹配函数公式如下：

${{\mathrm{dx}}_i}^C:D\left({{\mathrm{dx}}_i}^C\right)=\underset{\left|d_s\right|\&le;w_s}{\min }D\left(d_s\right)$

其中， $D\left(d_s\right)=\underset{K=-L_v}{\overset{L_v}{\mathrm{\&Sigma;}}}{(f_{x_i+k,y_i}-f_{x_i+k+d_s,y_i-1})}^2;$

f_x，y为位于(x，y)点的像素值；(x_i，y_i)为控制点C_i的坐标；如果 $D\left({\mathrm{dx}}_i^c\right)<D\left(0\right)+T_m$ 时，该点就不移动，否则，它就移动距离为(dx_i ^c，0)，T_m为一门限值，用来屏蔽噪声；L_v和W_s分别为匹配矢量的长度和搜索范围，如果其值大，会提高匹配精度，但会增加计算量，在这取值分别为4和3。

2)得到控制点的位移后，再对每个三角形进行仿射变换，如图5所示，即先把一个不规则的三角形变换成一个规则三角形，然后变换到不规则的三角形。从而实现掩盖块的自动旋转功能，实现图像的更加匹配。

如上所述，便可较好地实现本发明，上述实施例仅为本发明的较佳实施例，并非用来限定本发明的实施范围；即凡依本发明内容所作的均等变化与修饰，都为本发明权利要求所要求保护的范围所涵盖。

Claims (10)

1、视讯图像错误的掩盖方法，其特征在于包括以下步骤：

步骤一、接收数据包，检测是否丢失宏块，并根据丢失宏块周围相邻块的运动矢量来判断图像的运动程度：

(1-1)根据周围相邻块运动矢量的绝对值，计算平均值v：

$\stackrel{\&OverBar;}{v}=\frac{1}{n}\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}\left|v_i\right|$

其中，n是丢失宏块周围相邻块的个数，v_i是第i块的运动矢量；

(1-2)计算每个块运动矢量的绝对值与平均值v差值的绝对值，从而得到T_a；

$T_a=\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}\left|\right|v_i|-\stackrel{\&OverBar;}{v}|$

(1-3)根据T_a与门限值的比较结果，确定图像帧的运动程度：

当T_a大于给定的门限值T_v ^h，该图像帧为大运动帧；

当T_a小于给定的门限值T_v ^l，该图像帧为小运动帧；

当 $T_v^l\&le;T_a\&le;T_v^h,$ 该图像帧为中运动帧；

其中门限值T_v ^h的取值范围是10～20，门限值T_v ^l的取值范围是0～8；

步骤二、根据以上所确定的图像的运动程度，当发生丢宏块时，则采用相应的错误掩盖方式：

(2-1)若图像的运动程度为小运动帧，则利用丢失宏块周围相邻块的运动矢量加权平均值来预测该丢失宏块的运动矢量，再根据运动矢量所对应前一帧的宏块来掩盖丢失宏块；

(2-2)若图像的运动程度为中运动帧，则根据以上所述步骤(2-1)在前一帧找到的掩盖宏块，以该掩盖宏块块为中心，确定一个搜索窗体，再采用边界匹配方法，对搜索窗体进行搜索，从而确定与丢失宏块周围边界像素的MAD最小的块来掩盖丢失宏块；

(2-3)若图像的运动程度为大运动帧，则在进行以上所述步骤(2-2)的基础上，再利用网格变形方法来降低图像激烈运动造成的块效应。

2、根据权利要求1所述视讯图像错误的掩盖方法，其特征在于：所述步骤(1-3)中，门限值T_v ^h取值为15，门限值T_v ^l取值为6。

3、根据权利要求1所述视讯图像错误的掩盖方法，其特征在于：所述图像激烈运动为旋转、缩放或变形之一。

4、根据权利要求1所述视讯图像错误的掩盖方法，其特征在于：所述步骤(2-1)中，所述丢失宏块周围相邻块的数量为8块；所述加权系数之和为1。

5、根据权利要求1所述视讯图像错误的掩盖方法，其特征在于：所述步骤(2-2)中，所述搜索窗体的大小范围为16～20像素。

6、根据权利要求1所述视讯图像错误的掩盖方法，其特征在于：对所述步骤(2-2)的搜索窗体进行搜索方法为整像素搜索或者1/4像素搜索。

7、根据权利要求6所述视讯图像错误的掩盖方法，其特征在于：所述整像素搜索或者1/4像素搜索为菱形搜索。

8、根据权利要求1所述视讯图像错误的掩盖方法，其特征在于：所述步骤(2-2)中，所述网格变形方法具体步骤为：

(a)确定控制网格：用边界匹配方法恢复丢失宏块后，用一个控制网格掩盖该丢失宏块，它在周围边界上有多个控制点，在内部有多个内插点，相邻两个控制点之间的水平或者垂直距离设为多个像素点，以任一控制点为参考点，从而确定各控制点和内插点与参考点的相对坐标；

(b)控制网格确定后，对恢复后的丢失宏块进行网格变形，以适应当前恢复丢失周围的信息：

(b-1)确定每个控制点的运动矢量信息，即通过在控制点处选择多个像素点作为其像素矢量，然后与周围相邻块的内边界上的像素矢量进行匹配，根据均方差的最小值来确定控制点的匹配点，从而得出其位移矢量dx_i ^C：

${{\mathrm{dx}}_i}^C:D\left({{\mathrm{dx}}_i}^C\right)=\underset{\left|d_s\right|\&le;w_s}{\min }D\left(d_s\right)$

其中， $D\left(d_s\right)=\underset{K={-L}_v}{\overset{L_v}{\mathrm{\&Sigma;}}}{(f_{x_i+k,y_i}-f_{x_i+k+d_s,y_i-1})}^2;$

f_x，y为位于(x，y)点的像素值；(x_i，y_i)为控制点C_i的坐标；如果D(dx_i ^c)＜D(0)+T_m时，该点就不移动，否则，它就移动距离为(dx_i ^c，0)；T_m为用来屏蔽噪声的门限值，其取值范围为0.01～0.09；L_v为匹配矢量的长度，取值范围为3～6；W_s为匹配矢量的搜索范围，取值范围为-5～+5；

(b-2)得到控制点的位移矢量后，再进行仿射变换，即先把一个不规则的三角形变换成一个规则三角形，然后再变换到不规则的三角形，从而实现掩盖块的自动旋转功能。

9、根据权利要求8所述视讯图像错误的掩盖方法，其特征在于：所述步骤(a)中控制网格的大小为16×16像素。

10、根据权利要求8所述视讯图像错误的掩盖方法，其特征在于：所述步骤(b-1)中，L_v取值为4，W_s取值范围为-3～+3。

Images