CN1253452A - 发送和恢复视频信号的方法和装置 - Google Patents

Abstract

一种发送和恢复视频信号的方法和装置。所述方法用于发送视频信号,在接收和恢复具有分层结构帧、GOB和宏块的视频信号前,发送器将多个再同步标记插入每个GOB,防止发送通道中产生的差错传播,再同步标记的插入包括:分配再同步标记数目给各GOB;和将分配标记插入相应GOB的预定位置,确定该位置是为了按照是否跳过位于要插入的再同步标记之间的各宏块来减小平均差错传播值。当在易错移动网或无线网上发送视频信号时,能够防止差错传播。

Description

发送和恢复视频信号的方法和装置

本发明涉及发送和恢复视频信号的方法和装置，特别涉及发送和恢复易错通道(error-prone channel)中的差错回弹(error-resilient)视频信号的方法和装置。

在使用H.261、H.263版本1、2和3、或MPEG-4编码器编码图像位流的情况下，使用可变长度编码(variable length coding，VLC)，以获得高压缩率，当位流中某些位出错时，在解码器中不能对出错位之后的位流解码。这就叫做差错传播。在这种情况下，在产生差错的位之后出现了再同步标记之后，才有可能进行正确的解码。

在用于减小这种差错传播的当前标准方法中，将比如片(slice)起始代码和块组(GOB)起始代码(GBSC)之类的再同步标记插入编码位流的预定位置，例如，各帧的起始部分、在使用分片结构情况下的片起始部分、和在使用GOB结构情况下的GOB起始部分。

然而，应当将更多的再同步标记插入于在频繁产生差错的无线通道上发送的位流中。当要插入的再同步标记数目预定时，再同步标记要插进位流中的位置也应被确定。

在传统技术中，为隐藏在恢复接收的视频信号期间产生差错的GOB，该产生差错的GOB的GBSC和之后解码的下一GOB的GBSC之间的所有宏块被采用先前GOB的运动矢量MB恢复。图1示出上述差错隐藏方法的数据结构。按照图1，在接收的位流中检测GBSC，并在各GOB 100、102、104和106中对各GBSC进行解码。值gn用来表示GOB号码。在帧116的每个相应位置恢复解码的GOB 108、110、112和114。这里，当根据检验第三个GOB 104的GBSC的结果确定出第二个GOB 102有错时，删除解码的第二个GOB 110。然后，通过采用第一个GOB 100中的运动矢量进行运动补偿来恢复第二个GOB 110。

然而，由于在这种方法中再同步标记仅被定义为GOB首标中的GBSC，其中GOB首标为GOB起始点，因而可以看到差错至少通过一个GOB传播。

此外，在接收端，使用发送的MB的多个运动矢量来恢复视频信号。这里，当在正被恢复的MB的运动矢量中产生差错时，从先前GOB的MB的运动矢量中预测出该错误运动矢量。该预测是通过获得在当前MB的周围块中恢复的MB的运动矢量中间值而进行的。然而，当先前GOB丢失时，很难恢复当前MB，因为当前MB的运动矢量预测值变为0。

此外，当在GOB首标或片首标中的表示MB位置的字段中产生差错时，由于该差错，不能从相应MB中恢复块画面的正确位置。因此，需要一种判断是否在字段中产生差错的方法。

为解决上述问题，本发明的一个目的是提供一种发送视频信号的方法和装置，其中，比GOB短的再同步标记附加插入到位流的预定位置，而不是帧和GOB的起始部分，以防止差错传播。

本发明的另一个目的提供一种恢复视频信号的方法，其中，产生差错的MB被隐藏。

因此，为实现第一个目的，提供了一种用于发送视频信号的方法，其中，在接收和恢复具有分层结构帧、块组(GOB)和宏块的视频信号之前，一发送器将多个再同步标记插入每个GOB，以防止在发送通道中产生的差错的传播，其中，再同步标记的插入包括步骤：将再同步标记数目分配给各GOB；和，将分配的再同步标记插入相应GOB的预定位置，其中确定所述位置是为了按照是否跳过位于要插入的再同步标记之间的各宏块来减小平均差错传播值(mean error propagation cost)。

为实现所述第一个目的，还提供了一种视频信号发送装置，用于在接收和恢复具有分层结构帧、块组(GOB)和宏块的视频信号之前，将多个再同步标记插入GOB，以防止产生于发送通道中的差错的传播，所述装置包括：一编码器，用于对图像数据编码；一帧代码存储部分，用于存储由所述编码器确定的各编码(CODed)宏块指示(COD)值；一帧位流存储部分，用于存储由所述编码器产生的位流；一再同步标记产生器，用于按照存储在所述帧代码存储部分中的COD值确定要插入位流中的再同步标记的数目和位置，并产生再同步标记；和一再同步标记插入部分，用于将产生的再同步标记插入到存储位流的相应位置，并发送产生的再同步标记。

为实现所述第二个目的，提供了一种用于通过将多个再同步标记插入块组(GOB)，以防止产生于发送通道中的差错的传播，从而恢复接收的具有分层结构帧、GOB和宏块的视频信号的方法，该方法包括步骤：从插入的再同步标记之间的宏块中检测差错；删除检测到差错的恢复数据部分；和，通过用紧挨删除数据部分之前的数据部分替代所述删除数据部分来隐藏差错部分。

为实现所述第二个目的，还提供了一种视频信号恢复方法，用于从具有帧、块组(GOB)和宏块结构的视频信号的各宏块的接收的运动矢量中恢复图像，其中，对出错宏块的运动矢量的预测是通过用紧挨其前面所恢复的运动矢量替代该出错宏块运动矢量来进行的。

为实现所述第二个目的，还提供了一种视频信号恢复方法，用于通过读取具有帧、GOB和宏块的视频信号中的块组首标中表示宏块位置的字段，来恢复某一位置中的宏块，其中，通过对于来自接收视频信号的宏块执行奇偶校验来判断在表示该宏块位置的字段中是否产生差错，所述接收视频信号包含插入到表示宏块位置的字段中的奇偶校验位。

通过参照附图详细描述本发明的优选实施例，本发明的上述目的和优点将变得更加明显。

图1说明了传统的差错隐藏方法的数据结构；

图2是说明按照本发明的视频信号发送方法的流程图；

图3是说明按照本发明的视频信号发送装置的方框图；和

图4说明其中插入了图2的再同步标记的数据结构例子。

下面，将参照附图更详细地描述本发明的一个实施例。图2是说明按照本发明的视频信号发送方法的流程图。

对第k帧的所有MB进行编码(步骤200)。该编码是通过可变长度编码(VLC)方法来进行的。产生并存储相对于第k帧中所有编码的MB的位流(步骤202)。确定要插入存储位流的预定位置的再同步标记的数目和位置(步骤204)。将再同步标记插入位流的确定位置并对其进行发送(步骤206)。对所有帧重复执行上述处理过程(步骤208)。

步骤204中描述的确定要插入的再同步标记的数目和位置的过程如下。首先，确定要插入各GOB中的再同步标记的数目。分配给第j个GOB的再同步标记的数目r_j由下列表达式确定。 $r_j=\mathrm{nint}(R_F\×\frac{N_j}{N_F})--\left(1\right)$ 其中N_j和N_F分别表示第j个GOB中没有被跳过的MB数目和一帧中没有被跳过的MB数目。R_F是分配给一帧的再同步标记的数目，并且由网络的差错产生频率确定。表达式 $\mathrm{nint}(R_F\×\frac{N_j}{N_F})$ 是最接近的整数舍位算子(truncation operator)。例如，nint(5.2)＝5，而nint(5.6)＝6。

分配给第j个GOB的再同步标记r_j的数目是由表达式r_j＝max{min(r_j，N_j-1)，0}来确定的。这是因为在r_j＞N_j的GOB情况下，由于再同步标记之间存在至少一个被跳过的标记，r_j必须被校正。

分配给第j个GOB的再同步标记被插入的位置是如下确定的。例如，当在第j个GOB的第k个MB中有一位错误时，从第k个MB到下一个再同步标记的所有MB都出于VLC解码同步的丢失而不能被正确解码。然后，正确的解码是在下一个再同步标记之后进行的。由于上述错误，差错传播值E_j可由第j个GOB中的丢失MB的数目表示。 $E_j=\underset{i=1}{\overset{m}{\mathrm{\Σ}}}c(i,j)--\left(2\right)$ 其中，

m是GOB中MB的数目。

c(i，j)是H.263语法中编码宏块指示(COD)的二进制补码(complement)。COD在第i个MB为跳过的MB时值为1，而在第i个MB为非跳过MB时值为0。值m为GOB中MB的数目。当c(i，j)为0时，其意味着第i个MB被跳过，并且，该MB可通过被用先前帧中相同位置的MB值替代而被解码，不受通道错误的影响。

为统计表达差错传播值，当假定各MB的差错产生率相同时，若差错产生概率为P_e，可得到下列平均差错传播值 E_0，j。 ${\stackrel{-}{E}}_{0,j}=P_e\underset{i=1}{\overset{m}{\mathrm{\Σ}}}{E}_0(i,j)$ $=P_e\underset{i=1}{\overset{m}{\mathrm{\Σ}}}\underset{k=i}{\overset{m}{\mathrm{\Σ}}}{c}_n(k,j)--\left(3\right)$

按照表达式3，每个GOB的差错传播值取决于GOB中非跳过MB的数目。例如，当GOB中所有MB被跳过时，插入再同步标记不是很有效。当一个GOB中的非跳过MB数目大于另一个GOB中的非跳过MB数目时，应当将更多的再同步标记分配给具有更多非跳过MB的GOB，以使两个GOB具有大致相同的平均差错传播值。

下面将比较在每个GOB中使用一个再同步标记的情况和其中使用两个再同步标记的情况。假定所有MB都不跳过，以简化说明。当将一个再同步标记插入每个GOB中时，平均差错传播值由表达式4如下得到： ${\stackrel{-}{E}}_{0,j}=P_e\underset{i=1}{\overset{m}{\mathrm{\Σ}}}(m-i+1)$ $=\frac{m+(m+1)}{2}{P}_e----\left(4\right)$

如果在第k个MB之后将一个再同步标记插入GOB，平均差错传播值如下： ${\stackrel{-}{E}}_{i,j}\left(k\right)=P_e\underset{l=1}{\overset{k}{\mathrm{\Σ}}}(k-i+1)P_e\underset{i=k+1}{\overset{m}{\mathrm{\Σ}}}(m-i+1)$ $=\frac{P_e}{2}({2k}^2-2\mathrm{mk}+m^2+m)--\left(5\right)$

按照表达式5，平均差错传播值根据附加插入的再同步标记的位置而变化。由表达式6可得到按照附加插入的再同步标记使平均差错传播值减到最小的再同步标记的位置k^*：

k^*＝m/2

                                                  …(6)这里，平均差错传播值如下得到： ${\stackrel{-}{E}}_{1,j}\left(k^{*}\right)=\frac{m(m+1)}{2}{P}_e-\frac{m^2}{4}{P}_e--\left(7\right)$

按照表达式7，可注意到，当在GOB中使用多于一个的再同步标记时，可减小平均差错传播值。此外，按照表达式6，可注意到，使平均差错传播值最小的再同步标记位置为GOB的中间。

假定附加插入的再同步标记的数目为r，该r个再同步标记分配给第j个GOB，并且各标记的位置为k₁，k₂，…，k_r，如果第j个GOB的所有MB都没有跳过，则各MB具有相同的错误概率P_e。这里，平均差错传播值如下： ${\stackrel{-}{E}}_{r,j}(k1,\·\·\·,k_r)=\underset{i=1}{\overset{k_1}{\mathrm{\Σ}}}(k_i-i+1)P_e+\underset{i=k_1+1}{\overset{k_2}{\mathrm{\Σ}}}(k_2-i+1)P_e+\·\·\·$ $+\underset{i=k_{r-1}+1}{\overset{k_r}{\mathrm{\Σ}}}(k_r-i+1)P_e+\underset{i=k_r+1}{\overset{m}{\mathrm{\Σ}}}(m-i+1)P_e$ $=(2\underset{i=1}{\overset{r}{\mathrm{\Σ}}}{k}_i^2-2\underset{i=1}{\overset{r-1}{\mathrm{\Σ}}}{k}_i{k}_{i-1}-2{\mathrm{mk}}_r+m^2+m)P_e---\left(8\right)$

当通过微分k_i(i＝1，2，…，r)而得到一结果时，再同步标记的位置k_i ^*确定如下： ${k_i}^{*}=\frac{m}{r+1}i,i\∈[\mathrm{1,2},\·\·\·,r]---\left(9\right)$

按照跳过MB的特性，m为第j个GOB中没跳过的MB的数目N_j，并且r为r_j。

图3是表示按照本发明的视频信号发送装置的方框图。按照图3的视频信号发送装置包括编码器300、帧COD存储单元302、再同步标记产生器304、帧位流存储单元306和再同步标记插入单元308。这里，编码器为H.263编码器。

其操作如下。编码器300对接收的视频帧进行编码。帧COD存储单元302存储在编码器300中确定的各MB的COD。再同步标记产生器304按照图2流程图中的每个步骤，相对于存储在帧COD存储单元302中的各MB的COD，确定分配给各GOB的再同步标记的数目和插入位置，并产生再同步标记。

这里，可以在图4所示的数据结构插入再同步标记。再同步标记字段400由17位组成，即，16个连接的“0”和一个“1”。由5位组成的GN字段402表示GOB的号码。由1位组成的标志404为“1”。由5位组成的MBA字段406表示从GOB起始点计数的MB数目。由5位组成的PQUANT字段408表示先前MB的量化步长。

帧位流存储单元306存储由编码器300产生的位流。再同步标记插入单元308将由再同步标记产生器304产生的标记插入帧位流存储单元306的相应位流位置，并发送插入的标记。

一种恢复被接收有产生的差错的GOB的方法，其中，如上所述，发送的视频信号带有插入帧位流中的再同步标记。在本发明中，其中产生差错的部分是通过检验插入GOB中的再同步标记之间的MB来搜索的。然后，搜索到的差错部分的数据被删除。通过将出错部分用前面刚恢复的无错部分替代来隐藏所述差错。

从发送的每个宏块的运动矢量中解码和恢复接收的视频信号。这里，当在要恢复的宏块的运动矢量中产生差错时，运动矢量的预测是通过用紧挨当前宏块之前所恢复的运动矢量替代产生差错的当前宏块的运动矢量来进行的。

此外，当在GOB首标或片首标中表示宏块位置的字段中产生差错时，在本发明中插入并发送一奇偶校验位，该奇偶校验位可用来检验相应字段的奇偶性，以确定在表示宏块位置的字段中是否产生了差错。上述奇偶校验位插入GOB或片首标中并被发送，一接收器通过执行奇偶校验来判断在表示宏块位置的字段中是否有错。

按照本发明，当采用易错移动网或无线网发送视频信号时，通过按照在各GOB中宏块是否被跳过而在预定位置插入再同步标记，能够防止差错传播。

此外，当恢复出错宏块时，通过隐藏再同步标记之间的宏块，能够防止GOB中的差错传播。

此外，通过将奇偶校验位插入GOB首标或片首标中，能够判断在表示宏块位置的字段中是否产生了差错。

Claims (9)

1.一种用于发送视频信号的方法，其中，在接收和恢复具有分层结构帧、块组(GOB)和宏块的视频信号之前，一发送器将多个再同步标记插入每个GOB，以防止在发送通道中产生的差错的传播，其中，再同步标记的插入包括下列步骤：

(a)将再同步标记数目分配给各GOB；和，

(b)将分配的再同步标记插入相应GOB的预定位置，其中确定所述位置是为了按照是否跳过位于要插入的再同步标记之间的各宏块来减小平均差错传播值。

2.如权利要求1所述的方法，其中所述步骤(a)的再同步标记的数目由下列表达式确定： $r_j=\mathrm{nint}(R_F\×\frac{N_j}{N_F})$

其中，nint(R_F×N_j/N_F)、R_F、N_i、和N_F和分别表示整数舍位操作、分配给一帧的再同步标记数目、在第j个GOB中没有跳过的宏块数目、和在所述帧中没有跳过的宏块数目。

3.如权利要求2所述的方法，其中分配的再同步标记数目被控制为r_j＝max{min(r_j，N_j-1)，0}。

4.如权利要求1所述的方法，其中在所述步骤(b)中第j个GOB的差错传播值是由下列表达式确定的： ${\stackrel{-}{E}}_{r,j}(k_1,\·\·\·,k_r)=\underset{l=1}{\overset{k_1}{\mathrm{\Σ}}}(k_1-i+1)P_e+\underset{i=k_1+1}{\overset{k_2}{\mathrm{\Σ}}}(k_2-i+1)P_e+\·\·\·$ $+\underset{i=k_{r-1}+1}{\overset{k_r}{\mathrm{\Σ}}}(k_r-i+1)P_e+\underset{i=k_r+1}{\overset{m}{\mathrm{\Σ}}}(m-i+1)P_e$ $=(2\underset{i=1}{\overset{r}{\mathrm{\Σ}}}{k}_i^2-2\underset{i=1}{\overset{r-1}{\mathrm{\Σ}}}{k}_i{k}_{i-1}-2m{k}_r+m^2+m)P_e$

其中，r、k_j(i∈{1，2，…，r})、P_e和m分别表示要附加插入的再同步标记数目、要插入的再同步标记位置、在每个宏块中产生差错的概率、和在第j个GOB中没有跳过的宏块数目。

5.如权利要求4所述的方法，其中，第i个标记的位置k_i由下列表达式确定： $k_i^{*}=\frac{m}{r+1}i,i\∈[\mathrm{1,2},\·\·\·,r]$

以使平均差错传播值减到最小，其中r_j为分配给第j个GOB的再同步标记数目。

6.一种视频信号发送装置，用于在接收和恢复具有分层结构帧、块组(GOB)和宏块的视频信号之前，将多个再同步标记插入GOB，以防止产生于发送通道中的差错的传播，所述装置包括：

一编码器，用于对图像数据编码；

一帧代码存储部分，用于存储由所述编码器确定的各编码(CODed)宏块指示(COD)值；

一帧位流存储部分，用于存储由所述编码器产生的位流；

一再同步标记产生器，用于按照存储在所述帧代码存储部分中的COD值确定要插入位流中的再同步标记的数目和位置，并产生再同步标记；和

一再同步标记插入部分，用于将产生的再同步标记插入到存储位流的相应位置，并发送产生的再同步标记。

7.一种用于通过将多个再同步标记插入块组(GOB)，以防止产生于发送通道中的差错的传播，从而恢复接收的具有分层结构帧、GOB和宏块的视频信号的方法，该方法包括步骤：

从插入的再同步标记之间的宏块中检测差错；

删除检测到差错的恢复数据部分；和

通过用紧挨删除数据部分之前的数据部分替代所述删除数据部分来隐藏差错部分。

8.一种视频信号恢复方法，用于从具有帧、块组(GOB)和宏块结构的视频信号的各宏块的接收的运动矢量中恢复图像，其中，对出错宏块的运动矢量的预测是通过用紧挨其前面所恢复的运动矢量替代该出错宏块运动矢量来进行的。

9.一种视频信号恢复方法，用于通过读取具有帧、GOB和宏块的视频信号中的块组首标中表示宏块位置的字段，来恢复某一位置中的宏块，

其中，通过对于来自接收视频信号的宏块执行奇偶校验来判断在表示该宏块位置的字段中是否产生差错，所述接收视频信号包含插入到表示宏块位置的字段中的奇偶校验位。

Images