CN100385958C - 用于容错视频编码的循环再同步标记 - Google Patents

Abstract

公开了一种方法，其中使用视频传输应用的再同步标记提供编码的视频分组的先进设计。再同步标记在每个视频目标平面或视频帧内具有固定范围的比特长度，并且逐个视频帧循环更新。这个编码的视频分组结构允许解码器自动寻找视频目标平面边界，而不用花费附加的比特流开销。这在传输期间视频目标平面标题丢失时特别有益。

Description

用于容错视频编码的循环再同步标记

技术领域

本发明涉及视频编码系统，具体来说，本发明涉及使用改进的循环再同步标记的先进的数据分割方案，所说的循环再同步标记能够实现容错视频解码。本发明在可变带宽网络和能够适应不同比特率的并且因此能够适应不同质量的图像的计算机系统当中具有特殊的实用性。

背景技术

可伸缩的视频编码在一般情况下指的是能够提供每个视频帧数据的不同水平或数量的编码技术。目前，是通过视频编码标准利用这样一些技术的，如MPEG-1、MPEG-2、和MPEG-4(即，运动图像专家组)，从而在输出编码的视频数据时可提供灵活性。虽然MPEG-1和MPEG-2视频压缩技术限于来自于自然视频的矩形图像，但MPEG-4视频技术的范围要宽的多。MPEG-4视频技术能够编码自然视频和合成视频这两者，并且可以在景物中向各个目标提供基于内容的访问。

在图1中表示出MPEG-4差错弹性模式中的一个典型的视频分组结构。要说明的是，视频分组(VP)包含几个宏模块的信息，可选择的分组大小确定了在单个分组中包括的宏模块的数目。如图1所示，MPEG-4视频分组结构包括：再同步(RESYNC)标记、量化参数(QP)、标题扩充码(HEC)、宏模块(MB)数、运动和标题信息、运动标记(MM)、和纹理信息。宏模块数提供给必要的空间再同步，量化参数允许再同步不同的解码过程。

运动和标题信息字段包括运动矢量(MV)的直流(DC)DCT系数的信息，以及例如宏模块类型之类的其它的标题信息。其余的交流(AC)DCT系数在纹理信息字段中编码。运动标记将直流的和交流的DCT系数分开。

MPEG-4视频标准提供差错耐受性和弹性，以便允许在一个很宽范围的存储和传输介质上都能访问图像或视频信息。可以将为MPEG-4视频标准开发的差错弹性工具分为3个主要的区域：再同步、数据恢复、和差错隐蔽(error concealment)。

再同步工具试图在已经检测到剩余误差(一个或多个)后允许在解码器和比特流之间实现再同步。在一般情况下，要丢弃差错之前的同步点和同步再次建立后的第一点之间的数据。如果这种再同步处理方法在定位由解码器丢弃的数据数量方面是有效的，那么，将极大地提高用于恢复数据和/或隐蔽差错效果的其它类型工具的能力。

当前由MPEG-4使用的视频分组处理方法的根据是在整个比特流中提供周期性的再同步标记。对于这些再同步标记进行设计，以使它们能够很容易地从所有其它的码字以及这些代码字的较小扰动中区分出来。标题信息(关于空间的和时间的位置或者其它的与随后的比特有关的图像中(in-picture)的预测信息)紧跟在再同步信息之后。以此方式，解码器在检测到再同步标记时可能会恢复正确的解码操作。然而，要说明的是，插入再同步标记将要减小编码效率。即，这样的标记越长和越多，为它们使用的比特就越多，这就增加了编码开销。但是，较长的和经常插入的标记使解码器能够更迅速地重新获得同步，因此，在重构的帧中传输差错影响的区域较小。

如以前讨论过的，在MPEG-4中，使用再同步(RESYNC)标记来区分一个新的视频分组的开始。这个标记可以与所有可能的VLC码字以及VOP起始代码区分开来。在MPEG-4视频分组结构中，将再同步标记定义为具有16-22个“0”后边跟着一个“1”的二进制数。要说明的是，在视频分组的起始点还提供标题信息。在标题信息中包含重新开始解码过程所必需的数据。

在重新建立同步以后，数据恢复工具试图恢复在一般情况下可能丢失的数据。这些工具不是简单的差错校正码，而是以差错弹性方式编码数据的技术。例如，一个特殊的工具是“可逆的可变长度码字”(RVLC)。在这种处理方法中，对于可变长度代码字进行设计，以便在前进方向和后退方向都能读出这些可变长度码字。

然而，还需要一种视频编码技术，其中加入了改进的数据分割，以便更加有效地进行容错解码。

发明内容

本发明通过提供用于编码的视频分组的再同步标记以促进容错视频编码和解码来满足了上述的需要。

本发明涉及使用视频传输应用的再同步标记提供编码的视频分组的先进设计方法。再同步标记在每个视频目标平面或视频帧内具有固定范围的比特长度，再同步标记逐个视频帧循环更新。这个编码的视频分组结构允许解码器自动地寻找视频目标平面的边界，不需要额外的比特流开销。这在视频目标平面标题在传输期间丢失时具有特殊的优点。

本发明，提供编码的视频分组结构。编码的视频分组结构包括再同步标记和运动/纹理信息，再同步标记表示编码的视频分组结构的起始，预测编码信息；运动/纹理信息包括直流DCT系数和交流DCT系数。再同步标记可以由具有计算得到的多个0的数目后边再加上一个1的二进制数表示。0的数目由一个公式确定，以保证与另外的编码的视频分组的再同步标记相比，这个再同步标记具有一个唯一的数值。

本发明的一个实施例涉及编码视频数据的方法。所说的方法包括如下步骤：接收输入的视频数据、按照预定的编码过程编码输入的视频数据、将编码的输入视频数据格式化成一个视频分组。编码的视频分组包括：起始标记、包括预测编码信息的至少一个子部分、和编码数据部分。起始标记可由具有经过计算得到的数目的多个0再加上后边的一个1的二进制数表示。所说的0的数目是通过向在编码步骤期间确定的一个数值的模除以预定的数再加上一个常数值而确定的。

提供这个简短的总结是为了迅速理解本发明的本质。参照下面结合附图详细描述的优选实施例，可以更加全面的理解本发明。

附图说明

图1描述了常规的MPEG-4视频分组结构；

图2描述视频分组的擦除方案；

图3描述按照本发明的一个方面的视频编码系统；

图4描述可以实施本发明的一个计算机系统；

图5描述在图4中表示的计算机系统中的一个个人计算机的体系结构；

图6是描述本发明的一个实施例的流程图。

具体实施方式

再一次参照附图1，在MPEG-4视频分组结构中，再同步标记定义为具有16-22个“0”再加上一个“1”二进制数。零运行长度由VOP类型(如I、P、B-VOP)和运动矢量f-code信息确定。产生常规的MPEG-4再同步标记的具体细节对于理解本发明不是必要的，因此在这里不作详细描述。

如果使用图1的MPEG-4数据分割视频分组(VP)结构，可将所有所需的预期编码信息如量化标度、交流/直流的预期和运动矢量编码都限制在每个视频分组之内。这样，如果丢失一个视频分组，则这个分组丢失不会传播到随后的视频分组。因此，视频分组结构是可在损耗的通道上实现稳健的视频传输的一个独立的编码单元。

然而，下面结合附图2描述图1的再同步标记和VD结构的一个明显的缺点。在图2中，所示的最后两个视频分组(VP-(k-1))和(VP-k)由第n个视频目标平面(VOP-n)示出和头两个视频分组(VP-1)和(VP-2)由第n+1个视频目标平面(VOP-(n+1))示出。图中表示出一个可能的视频分组擦除问题，其中VOP-n的最后一个视频分组(VP-k)和VOP-(n+1)的第一个视频分组(VP-1)已经丢失。在此例中，假定VOP-n和VOP-(n+1)的再同步标记长度相同，这是使用MPEG-4标准经常发生的情况。在这种情况下，为了确定第二视频分组(VP-2)来自于哪一个视频目标平面(VOP)，接收这些视频分组的解码器需要检查宏模块(MB)数字段(例如参见图1)。

更加具体地说，如果来自VOP-(n+1)的(VP-2)的宏模块小于在VOP-n的VP-(k-1)之后的期望的MP数，则解码器可以确定：VP-2属于VOP-(n+1)。这是因为，一个视频分组的宏模块字段表示起始的宏模块数，因此帧内的随后来的视频分组的宏模块字段的数值应该增加。然而，如果VOP-(n+1)的VP-2的宏模块数大于期望的宏模块数，则解码器就不可能确定哪一个视频目标平面的VP-2应该属于使解码器丢失同步的视频分组。

为了克服常规的MPEG-4视频分组结构的缺点，一种可能性是对于每个视频分组提供一个附加的视频目标平面数字段。然而，这种处理方法导致编码开销，并且需要先行操作。这将使视觉系统的性能下降，这是不期望的。

本发明通过改变循环再同步标记的长度克服了上述的缺点，不使用附加的视频目标平面数字段和先行操作。

在本发明的一个实施例中，使用下面的公式来确定一个视频目标平面的再同步标记的零运行长度：

零运行长度＝16+(VOP_seq_num％7)比特

在上述的公式中，“％”代表模数分割运算，VOP_seq_num是视频目标平面的顺序数，是在编码器和解码器这两者中随着MPEG-4解码的进展自动计算出来的。如果使用这个公式，在由7个连续的视频目标平面组成的一个组中的每一个视频目标平面都具有一个唯一的再同步标记。在MPEG-4标准中，将再同步标记的零运行长度设置在16-22比特之间，因此，上述公式可以保证再同步标记的最终长度也在16-22比特之间，并且还可以保证在视频目标平面之间的最大的分开距离。然而，如果不对再同步标记大小设置长度限制，则对于上述公式可以允许不同的常数值。

现在参照附图2，如果使用上述的公式确定VOP-n和VOP-(n+1)的再同步标记，就可以克服以上讨论的缺点。VOP-n的VP-(k-1)和VOP-(n+1)的VP-2的再同步标记是不同的。当解码器检测不同的再同步标记时，解码器就能自动地确定：这个视频分组来自不同的视频目标平面。还有，如果解码器不能读出VOP-(n+1)的VP-2的再同步标记，就可产生一个差错消息，即一个不期望的符号，因为解码器期望能够利用这个差错消息得到这个再同步标记，并且解码器可能自动地知道这两个视频目标平面的边界。

在另一个实施例中，再同步标记的零运行长度可以用以下的公式确定：

零运行长度＝16+(距前一个I帧的帧距离％7)比特

在上述的公式中，通过比较最后的I帧和当前帧之间的帧号，并且假定后边不存在任何两个连续的I帧，帧距离就可以很容易地形成最后一个I帧(帧内编码)。因此，上述公式可以保证再同步标记的最终长度在16-23比特之间，并且还可以保证在视频目标平面之间的最大的分开距离。然而，如果不对再同步标记大小设置长度限制，则对于上述公式可以允许不同的常数值。图3表示的是一个视频系统100，其中利用了分层编码和传输优先化。分层源编码器110编码输入的视频数据。多个通道120携带编码的数据。分层源解码器130解码编码的数据。

实施分层编码的方式有不同的种类。例如，在时域分层编码中，基层包含具有较低帧速率的比特流，加强层包含以较高帧速率获得输出的增强信息。在空域分层编码中，基层编码原始视频序列的子采样版本，加强层包含在解码器中获得较高空间分辨率的附加信息。

在一般情况下，不同的层使用不同的数据流，并且对于通道差错具有截然不同的容差。为了消除通道差错，分层编码通常要与传输优先化结合起来，以便可以利用较高程度的差错保护来传输基层。如果基层丢失，包含在加强层内的数据可能就是无用的。

图4表示可以实施本发明的计算机系统9的一个具有代表性的实施例。如图4所示，个人计算机(PC)10包括网络连接11和传真/调制解调器连接12，网络连接11用于连接网络，如可变带宽网络或因特网，传真/调制解调器连接12用于与其它的远程源如视频照相机(未示出)连接。个人计算机10还包括：显示屏幕14，用于向用户显示信息(包括视频数据)；键盘15，用于输入文本和用户命令；鼠标13，用于在显示屏幕14上定位光标并且用于输入用户命令；盘驱动器16，用于从安装在其中的软盘上读出和向所说的软盘上写入；和CD-ROM驱动器17，用于访问存储在CD-ROM中的信息。个人计算机10还可以有一个或多个安装在一起的外围设备，例如扫描仪(未示出)，用于输入文件文本图像、图示影像、或类似图像，个人计算机10还可以有打印机19，用于输出图像、文本、或类似物。

图5表示个人计算机10的内部结构。如图7所示，个人计算机10包括存储器20，存储器20包括计算机可读介质，如计算机硬盘。存储器20存储数据23、应用程序25、打印驱动器24、和操作系统26。在本发明的优选实施例中，操作系统26是一个窗口操作系统，如Microsoft Windows 95；当然，本发明还可以与其它操作系统一起使用。在存储在存储器20的应用程序当中，有可伸缩的视频编码器21和可伸缩的视频解码器22。可伸缩的视频编码器21按照下面详细描述的方式进行可伸缩的视频数据编码，可伸缩的视频解码器22解码由可伸缩的视频编码器21规定的方式已经编码的视频数据。下面将详细描述这些应用程序的操作。

在个人计算机10中还包括显示接口29、键盘接口30、鼠标接口31、盘驱动器接口32、CD-ROM驱动器接口34、计算机总线36、RAM37、处理器38、和打印机接口40。处理器38最好包括微处理器或类似物，用于执行如以上所述的从RAM调出的应用程序。这样的应用程序，其中包括可伸缩的视频编码器21和可伸缩的视频解码器22，都可以存储在存储器20中(如以上所述)，或者，按照另一种方式，存储在盘驱动器16的软盘上，或者存储在CD-ROM驱动器17的CD-ROM上。处理器38经过盘驱动器接口32访问存储在软盘上的应用程序(或者其它数据)，并且经过CD-ROM驱动器接口34访问存储在CD-ROM上的应用程序(或者其它数据)。

使用键盘15和鼠标13可以启动个人计算机4的应用程序的执行和其它任务，来自键盘15和鼠标13的命令是分别经过键盘接口30和鼠标接口31传送到处理器38的。来自在个人计算机10上运行的应用程序的输出结果可由显示接口29处理，然后在显示器14上向用户显示，或者，按照另一种方式，经过网络连接11输出。例如，已经由可伸缩的视频编码器21编码的输入视频数据通常经过网络连接11输出。另一方面，例如从可变带宽网络已经接收的编码的视频数据由可伸缩的视频解码器22解码，然后在显示器14上显示。为此，显示接口29最好包括一个显示处理器，以便根据处理器38在计算机总线36提供的解码的视频数据形成视频图像，并将这些图像输出给显示器14。可以经过打印机接口40向打印机19提供来自在个人计算机上运行的其它应用程序(如文字处理程序)的输出结果。处理器38执行打印驱动器24，以实现这样的打印操作在传输到打印机19之前的适当格式化。

图6是说明如图3所示的视频系统100的功能的一个流程图。在步骤S101开始，将原始的未编码的视频数据输入到视频系统100内。这个视频数据可以经过网络连接11、传真/调制解调器连接12、或经过视频源进行输入。为了本发明的目的，这个视频源可以包括任何类型的视频俘获设备，它的一个例子是数字视频照相机。

接下去，步骤S202使用标准技术编码原始视频数据。步骤S202可以通过分层的源编码器111执行。在本发明的优选实施例中，分层的源编码器111是一个MPEG-4编码器。在步骤S303，按照以上所述的公式确定唯一的再同步标记。在编码步骤S202使用这个再同步标记。最终的视频分组具有如图1所示的通用结构。

通过一个解码器，如分层的源解码器130，接收这些视频分组并且在步骤S404进行解码。使用本发明的新的再同步标记可提供一个更加有效的容错解码过程。

虽然这里描述的本发明的实施例最好实施为计算机代码，然而，使用分立的硬件元件和/或逻辑电路也可实现如图6所示的所有步骤或某些步骤。还有，虽然在个人计算机环境中已经描述了本发明的编码和解码技术，然而这些技术还可以用在任何类型视频设备中，其中包括(但不限于)数字电视/机顶盒、视频会议设备、等等。

至此，已经参照特定的说明性实施例描述了本发明。应该理解，本发明不限于上述的实施例及其改进，在不偏离所附的权利要求书的构思和范围的情况下本领域的普通技术人员还可以进行许多变化和改进。

Claims (6)

1.一种编码视频数据的方法，包括如下步骤：

接收输入的视频数据；

按照预定的编码过程编码输入的视频数据；

将编码的输入视频数据格式化成视频分组，编码的视频分组包括：起始标记、包括预测编码信息的至少一个子部分、和一个编码的数据部分，

其中：起始标记可以由具有经过计算得到的多个0的数目后边再加上一个1的二进制数表示，所说的0的数目是通过向在编码步骤期间确定的一个值的模除以预定的数再加上一个常数值确定的。

2.根据权利要求1所述的方法，其中：编码步骤期间确定的值是视频目标平面序列号。

3.根据权利要求1所述的方法，其中：编码步骤期间确定的值是距前一个I帧的帧距离。

4.根据权利要求1所述的方法，其中的预定的编码过程是MPEG-4编码过程。

5.根据权利要求1所述的方法，其中：预定的数是7，常数值是16，因而起始标记的0的数目在16和23之间。

6.根据权利要求1所述的方法，其中：对于预定的数和常数值进行选择，以保证在两个视频分组之间的最大的分开距离。

Images