CN101557530A - 时域差错掩盖中受损宏块的运动矢量的求取方法 - Google Patents

Abstract

本发明涉及一种时域差错掩盖中受损宏块的运动矢量的求取方法，该方法通过重新计算出错宏块上方或下方接邻宏块的运动矢量来替代当前受损宏块的运动矢量来进行时域的差错掩盖，而运动矢量的计算采用了模板卷积的方法，选定当前宏块的区域作为匹配的模板，对前一帧对于宏块进行滑动卷积，求取卷积的最大值，以此在前一帧中选定模板的最佳匹配区域。与现有技术相比，本发明的优点在于：运动矢量的计算精确，对运动较为激烈的图像掩盖效果比较理想。

Description

时域差错掩盖中受损宏块的运动矢量的求取方法

技术领域

本发明涉及一种时域差错掩盖中受损宏块的运动矢量的求取方法。

背景技术

高分辨率的MPEG-4视频信号在无线信道中传输时，由于视频信号本身就具有海量的信号特征，再加上无线信道易错、时变和带限的特点，以及因多径现象导致的慢衰落和快衰落现象，使MPEG-4视频信号在无线信道中传输的误码率要比有线环境大得多。MPEG-4视频流允许有一定数量的包丢失，但这会影响接收端的接收质量。尽管MPEG-4视频编码本身对错误复原提供支持，其中重同步、数据分割和可逆变字长编码等错误复原方法已经集成到MPEG-4编码标准当中。但在无线传输过程中，仍有部分发生差错的数据包被丢弃，从而导致视频质量恶化。因此，传输系统必须要有一定的差错控制机制。一种简单的差错控制机制就是在解码端采用差错掩盖技术来减小差错对重建图像质量的影响。

差错掩盖技术本身并不能恢复原始数据，它只是利用视频图像在时间和空间上的相关性，寻找另外一些相关的数据来代替出错的数据，设法改善最终的视觉效果，也就是通过某种方法来改善人的主观感觉质量，从而达到差错掩盖的目的。

目前差错掩盖方法主要可以分为时域掩盖和空域掩盖两种。

当视频图像受损区域为帧内编码时，可用其周围的时域信息或频域信息进行插值掩盖，但这类技术容易产生明显的“块状”现象，不易恢复图像的细节。

当视频图像受损区域为帧间编码时，则主要采用时域掩盖，即根据周围正确运动矢量信息来估算并恢复差错丢失的图像信息。由于MPEG-4视频使用了运动估计的技术，因此，时域差错掩盖通常能获得更好的效果。

时域掩盖处理过程分为“运动矢量估算”和“补偿替代”两个阶段，时域掩盖的关键是错误块的运动矢量的求取，通常估计受损块的运动矢量的方法包括使用同一帧中与受损宏块相邻的无错误宏块的运动矢量平均值或中值等来代替受损宏块的运动矢量。上述方法对于图像的静止或运动较小的部分具有较好的效果，但是对于快速运动的区域，以及当场景切换时，该方法会导致明显的方块效应，造成图像的不连续。

发明内容

本发明所要解决的技术问题是针对上述现有技术提供一种时域差错掩盖中受损宏块的运动矢量的求取方法，利用该方法，在对快速运动的区域或者场景切换时发生出错宏块进行时域差错掩盖时，能明显改善图像质量。

本发明解决上述技术问题所采用的技术方案为：该时域差错掩盖中受损宏块的运动矢量的求取方法，其特征在于：包括以下步骤：

步骤一：定位当前接收帧内出错宏块的位置，将出错宏块记为T，设帧内宏块的宽度为N；

步骤二：找出出错宏块T上方或下方与出错宏块T最接近的正确宏块，记为第一参考宏块A，找出第一参考宏块A在前一帧中对应位置的宏块，记为第二参考宏块A’，将第二参考宏块A’里的数据记为X₁，将第1列的数据记为X₁(1)，将第2列的数据记为X₂(2)……，第N列的数据记为X₂(N)；

步骤三：提取第一参考宏块A中从第a列开始的b列数据，将这些数据组成的区域记为X₂，将第a列的数据记为X₂(1)，将第a+1列的数据记为X₂(2)……，第a+b列的数据记为X₂(b)，其中0＜a＜N，0＜b＜N；

步骤四：在第二参考宏块A’中选取从第一列开始的b列数据，并将这b列数据与步骤三中在第一参考宏块A中提取的b列数据分别进行卷积，然后将各卷积求和，记为第一卷积和Y(0)，用公式表达为：

$Y\left(0\right)=\underset{a=1}{\overset{b}{\mathrm{\Σ}}}{X}_2\left(a\right)*X_1(0+a);$

步骤五：在第二参考宏块A’中选取的b列图像向右滑动一列，即在第二参考宏块A’中选取从第二列开始的b列数据，采用与步骤四相同的方法，分别计算出第二参考宏块A’中从第二列开始到第b+1列的数据与步骤三中在第一参考宏块A中提取的b列数据分别进行卷积，然后将各卷积求和，记为第二卷积和Y(1)，用公式表达为：

$Y\left(1\right)=\underset{a=1}{\overset{b}{\mathrm{\Σ}}}{X}_2\left(a\right)X_1(1+a);$

步骤六：用同样与步骤五相同的方法，分别计算第三卷积和 $Y\left(2\right)=\underset{a=1}{\overset{b}{\mathrm{\Σ}}}{X}_2\left(a\right)X_1(2+a),$ 第四卷积和 $Y\left(3\right)=\underset{a=1}{\overset{b}{\mathrm{\Σ}}}{X}_2\left(a\right)X_1(3+a)$ ……第N-b+1卷积和 $Y(N-b)=\underset{a=1}{\overset{b}{\mathrm{\Σ}}}{X}_2\left(a\right)X_1(N-b+a);$

步骤六：取Y(0)、Y(1)……Y(16-N)的最大值Y(m)；

步骤七：第一参考宏块A在前一帧的最佳匹配位置第二参考宏块A’从第m列开始到第m+b列的数据所在的位置，m值即为第一参考宏块A的运动矢量；

步骤八：出错宏块T取第一参考宏块A的运动矢量。

本发明基于以下考虑：将两个序列的乘积求和，当序列平移到重合部分最多的时候，乘积最大。由于一列数据可以看成一个向量，作为序列的一个元素。这就表明在对两幅有重叠区域的图像进行估计时，可以将图像看成是一个序列，并可以运用卷积序列的乘积来识别重合区域，求得运动矢量。本发明即采用了这种模板卷积的方法，精确的计算受损宏块的相邻宏块的运动矢量，来代替该宏块的运动矢量。

一般来说，宏块信息受损时，其水平方向相邻宏块的信息也会受损，所以运动矢量计算主要是从上面和下面正确的接邻宏块的运动矢量来进行。本发明取出错宏块T上方或下方与出错宏块T最接近的正确宏块作为参考宏块，用该参考宏块与前一帧对应位置的宏块进行逐列比较，计算各位置的卷积值，取卷积最大的点为最佳匹配点，求得图像运动距离，即运动矢量。

较为常见的是，一个宏块的宽度为为16，即N值为16，这时，a值取7，b值取4较好。

与现有技术相比，本发明的优点在于：运动矢量的计算精确，对运动较为激烈的图像掩盖效果比较理想。

附图说明

图1是本发明实施例的流程框图；

图2是求模板卷积和的过程。

具体实施方式

以下结合附图实施例对本发明作进一步详细描述。

本实施例采用了JADE公司提供的Z228芯片中自带的全硬件MPEG-4编码器，视频传输采用WiFi技术，并采用RTP实时传输协议。本实施例分别对VGA格式(640*480)的实时采集视频序列进行了测试，帧率为30帧/秒。一帧图像中包含了1200个大小为16*16的宏块。

如图1所示，本发明的实施例处理步骤为：

步骤一：出错宏块定位：在RTP的包头中序列号字段和时间戳字段主要被接收者用来检测包丢失和恢复包顺序，接收端通过这两个关键字段来确定当前帧内出错的宏块的位置，将出错宏块记为T；

步骤二：找出出错宏块T上方与出错宏块T最接近的正确宏块，记为第一参考宏块A，找出第一参考宏块A在前一帧中对应位置的宏块，记为第二参考宏块A’，将第二参考宏块A’里的数据记为X₁，将第1列的数据记为X₁(1)，将第2列的数据记为X₂(2)……，第N列的数据记为X₂(N)；

步骤三：确定卷积的模板：提取第一参考宏块A中从第7列开始的4列数据，将这些数据组成的区域记为X₂，将第7列的数据记为X₂(1)，将第8列的数据记为X₂(2)，将第9列的数据记为X₂(3)，将第10列的数据记为X₂(4)，一列数据可以看成一个向量，作为序列X₂的一个元素；

步骤四：在第二参考宏块A’中选取从第一列开始的4列数据，并将这4列数据与步骤三中在第一参考宏块A中提取的4列数据分别进行卷积，然后将各卷积求和，记为第一卷积和Y(0)，用公式表达为：

$Y\left(0\right)=\underset{a=1}{\overset{4}{\mathrm{\Σ}}}{X}_2\left(a\right)*X_1(0+a);$

步骤五：在第二参考宏块A’中选取的4列图像向右滑动一列，即在第二参考宏块A’中选取从第二列开始的4列数据，采用与步骤四相同的方法，分别计算出第二参考宏块A’中从第二列开始到第5列的数据与步骤三中在第一参考宏块A中提取的b列数据分别进行卷积，然后将各卷积求和，记为第二卷积和Y(1)，用公式表达为：

$Y\left(1\right)=\underset{a=1}{\overset{4}{\mathrm{\Σ}}}{X}_2\left(a\right)X_1(1+a);$

步骤六：用与步骤五相同的方法，分别计算第三卷积和Y(2)：

$Y\left(2\right)=\underset{a=1}{\overset{4}{\mathrm{\Σ}}}{X}_2\left(a\right)X_1(2+a);$

第四卷积和Y(3)：

$Y\left(3\right)=\underset{a=1}{\overset{4}{\mathrm{\Σ}}}{X}_2\left(a\right)X_1(3+a);$

……

第13卷积和Y(12)：

$Y\left(12\right)=\underset{a=1}{\overset{4}{\mathrm{\Σ}}}{X}_2\left(a\right)X_1(12+a);$

卷积过程参考图2所示；

步骤六：取Y(0)、Y(1)……Y(12)的最大值Y(m)；

步骤七：第一参考宏块A在前一帧的最佳匹配位置第二参考宏块A’从第m列开始到第m+4列的数据所在的位置，m值即为第一参考宏块A的运动矢量；

步骤八：出错宏块T取第一参考宏块A的运动矢量。

计算出出错宏块T的运动矢量以后，通过运动补偿进行差错掩盖，对于所有丢失的宏块按照上述步骤处理，即可掩盖所有出错图像的信息。

Claims (2)

1、一种时域差错掩盖中受损宏块的运动矢量的求取方法，其特征在于：包括以下步骤：

步骤一：定位当前接收帧内出错宏块的位置，将出错宏块记为T，设帧内宏块的宽度N；

步骤二：找出出错宏块T上方或下方与出错宏块T最接近的正确宏块，记为第一参考宏块A，找出第一参考宏块A在前一帧中对应位置的宏块，记为第二参考宏块A’，将第二参考宏块A’里的数据记为X₁，将第1列的数据记为X₁(1)，将第2列的数据记为X₂(2)……，第N列的数据记为X₂(N)；

步骤三：提取第一参考宏块A中从第a列开始的b列数据，将这些数据组成的区域记为X₂，将第a列的数据记为X₂(1)，将第a+1列的数据记为X₂(2)……，第a+b列的数据记为X₂(b)，其中0＜a＜N，0＜b＜N；

步骤四：在第二参考宏块A’中选取从第一列开始的b列数据，并将这b列数据与步骤三中在第一参考宏块A中提取的b列数据分别进行卷积，然后将各卷积求和，记为第一卷积和Y(0)，用公式表达为：

$Y\left(0\right)=\underset{a=1}{\overset{b}{\mathrm{\Σ}}}{X}_2\left(a\right)*X_1(0+a);$

步骤五：在第二参考宏块A’中选取的b列图像向右滑动一列，即在第二参考宏块A’中选取从第二列开始的b列数据，采用与步骤四相同的方法，分别计算出第二参考宏块A’中从第二列开始到第b+1列的数据与步骤三中在第一参考宏块A中提取的b列数据分别进行卷积，然后将各卷积求和，记为第二卷积和Y(1)，用公式表达为：

$Y\left(1\right)=\underset{a=1}{\overset{b}{\mathrm{\Σ}}}{X}_2\left(a\right)X_1(1+a);$

步骤六：用与步骤五相同的方法，分别计算第三卷积和 $Y\left(2\right)=\underset{a=1}{\overset{b}{\mathrm{\Σ}}}{X}_2\left(a\right)X_1(2+a),$ 第四卷积和 $Y\left(3\right)=\underset{a=1}{\overset{b}{\mathrm{\Σ}}}{X}_2\left(a\right)X_1(3+a)\·\·\·\·\·\·,$ 第N-b+1卷积和

$Y(N-b)=\underset{a=1}{\overset{b}{\mathrm{\Σ}}}{X}_2\left(a\right)X_1(N-b+a);$

步骤六：取Y(0)、Y(1)……Y(16-N)的最大值Y(m)；

步骤七：第一参考宏块A在前一帧的最佳匹配位置第二参考宏块A’从第m列开始到第m+b列的数据所在的位置，m值即为第一参考宏块A的运动矢量；

步骤八：出错宏块T取第一参考宏块A的运动矢量。

2、根据权利要求1所述的时域差错掩盖中受损宏块的运动矢量的求取方法，其特征在于：所述N为16，所述a值为7，所述b值为4。

Images