CN101102512A - 一种基于自适应候选运动向量集的视频时域差错掩盖方法 - Google Patents

Abstract

本发明涉及一种基于自适应候选运动向量集的视频时域差错掩盖方法：首先分别计算外推运动向量与相邻运动向量的差值，若差值均小于阈值，则以外推和相邻运动向量构成候选运动向量集。否则，分别判断各相邻块与受损块是否同一物体，若均不是，则以外推运动向量构成候选运动向量集。否则分别计算与受损块属于同一物体的相邻块的运动向量与外推运动向量的差值，若差值均大于阈值，则以所有与受损块属于同一物体的相邻块的运动向量构成候选运动向量集，否则只选择使得差值小于阈值的运动向量构成候选运动向量集。最后利用边框匹配算法从候选运动向量集中选取最佳运动向量进行掩盖。本发明能够自适应地构造候选运动向量集，因此可获得更好的视频质量。

Description

一种基于自适应候选运动向量集的视频时域差错掩盖方法

技术领域

本发明涉及视频通信领域，特别是涉及一种基于自适应候选运动向量集的视频时域差错掩盖方法。

背景技术

视频流在无线信道传输时，由于受信道带宽及信道稳定性的影响，会发生误码或丢包，从而导致视频质量恶化。这就需要采用某种差错恢复方法来恢复错误的视频信号。一种简单的差错恢复方法是在解码端引入差错掩盖。所谓差错掩盖就是利用视频信号的时域或者空域相关性，对损坏或者丢失的视频信号进行恢复的一种技术，其包括空域差错掩盖和时域差错掩盖两种。由于视频压缩多采用帧间编码，因此时域差错掩盖对于提高无线通信的视频质量具有更为重要的意义。

在目前已有的方法中，参考文献1 Ye-Kui Wang，Miska M.Hannuksela，ViktorVarsa，Ari Hourunrante，and Moncef Gabbouj，“THE ERROR CONCEALMENTFEATURE IN THE H.26L TEST MODEL”，in Proc.IEEE International Conferenceon Image Processing(ICIP 2002)，vol.2，Rochester，New York，September 22-252002，pp.729-732.将受损块相邻运动向量作为候选运动向量集，然后结合边框匹配算法从中选取最佳运动向量。但是当相邻运动向量与受损块运动向量相关性较弱时，这种方法的掩盖效果比较差。针对这一不足，参考文献2彭强，(诸昌钤，“视频传输差错时域掩盖方法研究”，铁道学报，Vol.26，No.4，pp.55-59.)将外推运动向量和受损块相邻运动向量同时引入候选运动向量集，然后结合边框匹配算法从中选取最佳运动向量。但是采用边缘平滑性原则来进行边框匹配会导致误差，在这种情况下将外推运动向量引入候选运动向量集反而会使得掩盖效果更差。

发明内容

本发明所要解决的技术问题是：提供一种基于自适应候选运动向量集的视频时域差错掩盖方法，当视频流经过信道丢包后能在解码端更好的恢复受损块，以便最后能获得较好的视频质量。

本发明解决其技术问题采用的技术方案是：

(1)根据参考帧的运动向量进行外推，得到当前帧对应的外推运动预测块，选取与受损块覆盖面积最大的外推运动预测块的运动向量作为受损块的外推运动向量。

(2)分别计算外推运动向量与各相邻运动向量之间的差值，若差值均小于设定的阈值，则以外推运动向量和相邻运动向量构成候选运动向量集，然后转入步骤(5)，否则转入步骤(3)。

(3)根据受损块的相邻块的运动向量得到其在参考帧中的对应块，计算对应块与对应块的相邻块之间的运动矢量差值，若差值大于设定阈值，则受损块与相邻块不属于同一物体，否则属于同一物体。重复上述过程直至受损块所有的相邻块都进行了是否属于同一物体的判断。若所有的相邻块与受损块均不属于同一物体，则以外推运动向量构成候选运动向量集，然后转入步骤(5)，否则转入步骤(4)。

(4)分别计算与受损块属于同一物体的相邻块的运动向量与外推运动向量的差值，若差值均大于设定阈值，则以所有与受损块属于同一物体的相邻块的运动向量构成候选运动向量集，转入步骤(5)，否则只选择使得差值小于该阈值的运动向量构成候选运动向量集，转入步骤(5)。

(5)利用边框匹配准则从候选运动向量集中找出使绝对差分值最小的运动向量作为受损块的运动向量进行掩盖。

上述外推运动预测块的坐标可根据如下方法确定：记第n帧为当前帧，第n-1帧为参考帧；第n帧中第j个块B_n ^j为第n-1帧中第i个块B_n-1 ⁱ在第n帧得到的外推运动块，若B_n-1 ⁱ的坐标为(X_n-1 ⁱ，Y_n-1 ⁱ)，运动向量为(MVX_n-1 ⁱ，MVY_n-1 ⁱ)，则B_n ^j的坐标为(X_n-1 ⁱ-MVX_n-1 ⁱ，Y_n-1 ⁱ-MVY_n-1 ⁱ)。其中i，j均表示一帧中宏块的序号，取值范围为0到一帧中的宏块数目(一帧中的宏块数目由视频格式决定，例如CIF格式视频一帧中的宏块数目为396，QCIF格式视频一帧中的宏块数目为99)。

上述外推运动块与受损块覆盖面积W_n可根据以下公式计算：

$W_n=(8-|X_{n-1}^i-\mathrm{MV}{X}_{n-1}^i-X_n^k\left|\right)\×(8-|Y_{n-1}^i-{\mathrm{MVY}}_{n-1}^i-Y_n^k\left|\right)---\left(1\right)$

其中k表示一帧中宏块的序号，取值范围为0到一帧中的宏块数目，(X_n ^k，Y_n ^k)为受损块B_n ^k的坐标。

上述步骤(3)中对应块与对应块的相邻块之间的运动矢量差值可根据如下方法计算：假设受损块B_n ^k的相邻块为B_n ^h，其运动向量为(MVX_n ^h，MVY_n ^h)，B_n-1 ^l为B_n ^h在参考帧中的对应块，其运动向量为(MVX_n-1 ^l，MVY_n-1 ^l)。假设B_n-1 ^l的相邻块为B_n-1 ^p，B_n-1 ^p的位置由当前帧中受损块B_n ^k与其相邻块B_n ^h的位置关系决定，假设B_n ^h分别在B_n ^k的上方、下方、  左方或右方，则B_n-1 ^p分别在B_n-1 ^l的下方、上方、右方或左方；记B_n-1 ^p的运动向量为(MVX_n-1 ^p，MVY_n-1 ^p)，B_n-1 ^p与B_n-1 ^l运动向量的差值(TX^m，TY^m)根据以下公式计算：

${\mathrm{TX}}^m=|{\mathrm{MVX}}_{n-1}^p-{\mathrm{MVX}}_{n-1}^l|---\left(2\right)$

${\mathrm{TY}}^m=|{\mathrm{MVY}}_{n-1}^p-{\mathrm{MVY}}_{n-1}^l|$ m＝1，2，3，4    (3)

其中h，l，p均表示一帧中宏块的序号，取值范围为0到一帧中的宏块数目，m依次表示上、下、左、右方相邻块。

上述步骤(2)中设定阈值可以任意选定，优选为5。

上述步骤(3)中设定阈值可以任意选定，优选为5。

上述步骤(4)中设定阈值可以任意选定，优选为5。

本发明与已有技术相比较，效果是积极且明显的：能够根据外推运动向量与各相邻运动向量之间的差值以及受损块与相邻块是否属于同一物体，自适应地构造候选运动向量集，因此能够获得更好的视频质量。

附图说明

图1为本发明的仿真实验结果图。

具体实施方式

下面结合实施例对本发明作进一步说明，但不限定本发明。

实施例1：本实施例采用H.264的参考软件JM12.2作为编解码器，视频传输采用3GPP/3GPP2无线IP信道，以下为本发明实施例的具体步骤：

(1)记第n帧为当前帧，第n-1帧为参考帧。第n帧中第k个块B_n ^k为受损块，其坐标为(X_n ^k，Y_n ^k)。第n帧中第j个块B_n ^j为第n-1帧中第i个块B_n-1 ⁱ在第n帧得到的外推运动块，记B_n-1 ⁱ的坐标为(X_n-1 ⁱ，Y_n-1 ⁱ)，运动向量为(MVX_n-1 ⁱ，MVY_n-1 ⁱ)，则B_n ^j的坐标为(X_n-1 ⁱ-MVX_n-1 ⁱ，Y_n-1 ⁱ-MVY_n-1 ⁱ)。选取与受损块覆盖面积W_n最大的外推运动块的运动向量作为受损块B_n ^k的外推运动向量。W_n根据以下公式计算：

$W_n=(8-|X_{n-1}^i-\mathrm{MV}{X}_{n-1}^i-X_n^k\left|\right)\×(8-|Y_{n-1}^i-{\mathrm{MVY}}_{n-1}^i-Y_n^k\left|\right)---\left(1\right)$

其中i，j，k均表示一帧中宏块的序号，取值范围为0到一帧中的宏块数目。

(2)分别求受损块B_n ^k的外推运动向量(FWMVX_n ^k，FWMVY_n ^k)与各相邻运动向量(MVX_n ^m，MVY_n ^m)的差值(FX^m，FY^m)：

$F{X}^m=|{\mathrm{FWMVX}}_n^k-{\mathrm{MVX}}_n^m|---\left(2\right)$

$F{Y}^m=|{\mathrm{FWMVY}}_n^k-{\mathrm{MVY}}_n^m|$ m＝1，2，3，4    (3)

其中m依次表示上、下、左、右方相邻块。

(3)若其中所有FX^m＜Threshold1且FY^m＜Threshold1，则以外推运动向量和相邻运动向量构成候选运动向量集，转入步骤(9)，否则转入步骤(4)。其中Threshold1为阈值，在本实施例中设置为5。

(4)假设受损块B_n ^k的相邻块为B_n ^h，其运动向量为(MVX_n ^h，MVY_n ^h)，B_n-1 ^l为B_n ^h在参考帧中的对应块，其运动向量为(MVX_n-1 ^l，MVY_n-1 ^l)。假设B_n-1 ^l的相邻块为B_n-1 ^p，B_n-1 ^p的位置由当前帧中受损块B_n ^k与其相邻块B_n ^h的位置关系决定，假设B_n ^h分别在B_n ^k的上方、下方、左方或右方，则B_n-1 ^p分别在B_n-1 ^l的下方、上方、右方或左方。令B_n-1 ^p的运动向量为(MVX_n-1 ^p，MVY_n-1 ^p)，求B_n-1 ^p与B_n-1 ^l运动向量的绝对差值(TX^m，TY^m)：

${\mathrm{TX}}^m=|{\mathrm{MVX}}_{n-1}^p-{\mathrm{MVX}}_{n-1}^l|---\left(4\right)$

${\mathrm{TY}}^m=|{\mathrm{MVY}}_{n-1}^p-{\mathrm{MVY}}_{n-1}^l|$ m＝1，2，3，4    (5)

其中h，l，p均表示一帧中宏块的序号，取值范围为0到一帧中的宏块数目，m依次表示上、下、左、右方相邻块。

(5)若TX^m＞Threshold2或TY^m＞Threshold2，则受损块与相邻块不属于同一物体，否则属于同一物体。重复执行步骤(4)直至所有相邻块执行完毕，如果所有受损块与相邻块都不是同一物体，则以外推运动向量构成候选运动向量集，转入步骤(9)，否则转入步骤(6)。其中Threshold2为阈值，在本实施例中设置为5。

(6)选取其中满足TX^m＜Threshold2且TY^m＜Threshold2的运动向量(MVX_n ^m，MVY_n ^m)，与外推运动向量(FWMVX_n ^k，FWMVY_n ^k)求差值(HX^m，HY^m)，

${\mathrm{HX}}^m=|{\mathrm{FWMVX}}_n^k-{\mathrm{MVX}}_n^m|---\left(6\right)$

${\mathrm{HY}}^m=|{\mathrm{FWMVY}}_n^k-{\mathrm{MVY}}_n^m|$ m＝1，2，3，4    (7)

若所有HX^m＞Threshold3且HY^m＞Threshold3，则转入步骤(7)，否则转入步骤(8)。其中Threshold3为阈值，在本实施例中设置为5。

(7)将所有满足TX^m＜Threshold2且TY^m＜Threshold2的运动向量构成候选运动向量集，转入步骤(9)。

(8)将满足HX^m＞Threshold3或HY^m＞Threshold3的运动向量构成候选运动向量集，转入步骤(9)。

(9)利用边框匹配在候选运动向量集中选择使得边框匹配误差和最小的运动向量MV作为受损块的运动向量，具体公式如下：

${\mathrm{MV}}^{*}=\underset{\mathrm{MV}\∈C}{\arg }\min (D_U+D_L+D_D+D_R)---\left(8\right)$

$D_U=\underset{i=0}{\overset{7}{\mathrm{\Σ}}}|F_n(x+i,y)-f_n(x+i,y-1)|---\left(9\right)$

$D_L=\underset{i=0}{\overset{7}{\mathrm{\Σ}}}|F_n(x,y+i)-f_n(x-1,y+i)|---\left(10\right)$

$D_D=\underset{i=0}{\overset{7}{\mathrm{\Σ}}}|F_n(x+i,y+7)-f_n(x+i,y+8)|---\left(11\right)$

$D_R=\underset{i=0}{\overset{7}{\mathrm{\Σ}}}|F_n(x+7,y+i)-f_n(x+8,y+i)|---\left(12\right)$

F_n(x，y)＝f_n-1(x+MVX，y+MVY)    (13)

其中n表示当前帧，n-1表示参考帧，(x，y)表示受损块B_n ^k左上角坐标，C为受损块的候选运动向量集，MV是从C中选取的用来进行边框匹配的运动向量，f_n(x，y)表示相邻块边界象素值，F_n(x，y)则表示受损块象素的运动补偿值，i表示边界的8个象素，D_U，D_L，D_D，D_R分别表示上、左、下、右象素与运动补偿值的绝对差分和，MVX表示横向运动向量值，MVY表示纵向运动向量值。

实现效果：本实施例对CIF格式的Bus序列进行了测试。编码码率固定为128Kbps，编码帧数为100帧，顺序为IPPPPPP。解码端分别用参考文献1、2中提出的方法以及本发明所提出的方法进行掩盖，掩盖后的信躁比结果如图1所示。由图1可以看出本发明获得的视频信噪比始终高于参考文献的方法。

实施例2：本实施例采用H.264的参考软件JM12.2作为编解码器，视频传输采用3GPP/3GPP2无线IP信道。除步骤(1)(3)(5)(6)外，其它步骤同实施例1。步骤(1)(3)(5)(6)具体如下所示：

(1)本步骤同实施例1中步骤(1)，但覆盖面积W_n根据以下公式计算：

$W_n=\underset{p}{\mathrm{\Σ}}{f}_n^k\left(p\right)---\left(14\right)$

$f_n^k\left(p\right)=\left\{\begin{array}{cc}1& p\∈B_n^j\\ 0& p\∉B_n^j\end{array}\right.$

其中P表示受损块B_n ^k中的象素。

(3)本步骤同实施例1中步骤(3)，但其中阈值Threshold1在本实施例中设置为10。

(5)本步骤同实施例1中步骤(5)，但其中阈值Threshold2在本实施例中设置为10。

(6)本步骤同实施例1中步骤(6)，但其中阈值Threshold3在本实施例中设置为10。

Claims (7)

1.一种基于自适应候选运动向量集的视频时域差错掩盖方法，其特征在于包括以下步骤：

(1)根据参考帧的运动向量进行外推，得到当前帧对应的外推运动预测块，选取与受损块覆盖面积最大的外推运动预测块的运动向量作为受损块的外推运动向量；

(2)分别计算外推运动向量与各相邻运动向量之间的差值，若差值均小于设定阈值，，则以外推运动向量和相邻运动向量构成候选运动向量集，然后转入步骤(5)，否则转入步骤(3)；

(3)根据受损块的相邻块的运动向量得到其在参考帧中的对应块，计算对应块与对应块的相邻块之间的运动矢量差值，若差值大于设定阈值，则受损块与相邻块不属于同一物体，否则属于同一物体；重复上述过程直至受损块所有的相邻块都进行了是否属于同一物体的判断；若所有的相邻块与受损块均不属于同一物体，则以外推运动向量构成候选运动向量集，然后转入步骤(5)，否则转入步骤(4)；

(4)分别计算与受损块属于同一物体的相邻块的运动向量与外推运动向量的差值，若差值均大于设定阈值，则以所有与受损块属于同一物体的相邻块的运动向量构成候选运动向量集，转入步骤(5)，否则只选择使得差值小于该阈值的运动向量构成候选运动向量集，转入步骤(5)；

(5)利用边框匹配准则从候选运动向量集中找出使绝对差分值最小的运动向量作为受损块的运动向量进行掩盖。

2.根据权利要求1所述的方法，其特征在于步骤(1)中外推运动预测块的坐标根据如下方法确定：记第n帧为当前帧，第n-1帧为参考帧；第n帧中第j个块B_n ^j为第n-1帧中第i个块B_n-1 ⁱ在第n帧得到的外推运动块，若B_n-1 ⁱ的坐标为(X_n-1 ⁱ，Y_n-1 ⁱ)，运动向量为(MVX_n-1 ⁱ，MVY_n-1 ⁱ)，则B_n ^j的坐标为(X_n-1 ⁱ-MVX_n-1 ⁱ，Y_n-1 ⁱ，-MVY_n-1 ⁱ)；其中i，j均表示一帧中宏块的序号，取值范围为0到一帧中的宏块数目。

3.根据权利要求1或2所述的方法，其特征在于步骤(1)中外推运动块与受损块覆盖面积W_n根据以下公式计算：

$W_n=(8-|X_{n-1}^i-{\mathrm{MVX}}_{n-1}^i-X_n^k\left|\right)\×(8-|Y_{n-1}^i-{\mathrm{MVY}}_{n-1}^i-Y_n^k\left|\right)---\left(1\right)$

其中k表示一帧中宏块的序号，(X_n ^k，Y_n ^k)为受损块B_n ^k的坐标。

4.根据权利要求1或2所述的方法，其特征在于步骤(3)中对应块与对应块的相邻块之间的运动矢量差值根据如下方法计算：假设受损块B_n ^k的相邻块为B_n ^h，其运动向量为(MVX_n ^h，MVY_n ^h)，B_n-1 ^l为B_n ^h在参考帧中的对应块，其运动向量为(MVX_n-1 ^l，MVY_n-1 ^l)；假设B_n-1 ^l的相邻块为B_n-1 ^p，B_n-1 ^p的位置由当前帧中受损块B_n ^k与其相邻块B_n ^k的位置关系决定，假设B_n ^h分别在B_n ^k的上方、下方、左方或右方，则B_n-1 ^p分别在B_n-1 ^l的下方、上方、右方或左方；记B_n-1 ^p的运动向量为(MVX_n-1 ^p，MVY_n-1 ^p)，B_n-1 ^p与B_n-1 ^l运动向量的差值(TX^m，TY^m)根据以下公式计算：

${\mathrm{TX}}^m=|{\mathrm{MVX}}_{n-1}^p-{\mathrm{MVX}}_{n-1}^l|---\left(2\right)$

${\mathrm{TY}}^m=|{\mathrm{MVY}}_{n-1}^p-{\mathrm{MVY}}_{n-1}^l|\begin{array}{c}m=\mathrm{1,2,3,4}\end{array},---\left(3\right)$

其中h，l，p均表示一帧中宏块的序号，取值范围为0到一帧中的宏块数目，m依次表示上、下、左、右方相邻块。

5.根据权利要求1或2所述的方法，其特征在于步骤(2)中设定阈值为5。

6.根据权利要求1或2所述的方法，其特征在于步骤(3)中设定阈值为5。

7.根据权利要求1或2所述的方法，其特征在于步骤(4)中设定阈值为5。

Images