CN101194516B - 视频编码 - Google Patents

Abstract

本发明涉及视频编码。通过在发送器处产生差分信号(2)来对视频信号进行编码，该差分信号表示要发送的图像和基于存储的本地解码图像的预测图像之间的差别。该视频信号被解码(5，6)以生成新的本地解码图像。发送器还生成诸如CRC的校验信号，该校验信号是本地解码图像的函数。接收器对差分信号进行解码以生成解码图像。接收器对解码图像与校验信号进行比较，并且如果二者不一致，则生成差错信号。

Description

视频编码

技术领域

本发明涉及具体但不排他地针对利用帧间差分编码的视频编码器的视频编码。本发明涉及监测系统差错。

背景技术

例如根据Martini，M.G.& Chiani，M.，“Joint source-channel errordetection with standard compatibility for wireless video transmission”，Wireless Communications and Networking Conference，2002.WCNC2002.2002 IEEE，Volume 1，17-21 March 2002 Page(s)：215-219，已知的是，根据编码信号生成诸如循环冗余校验(CRC)的校验信号，该校验信号可以与在解码器处接收到的信号进行比较。然而，这种方法只能检测到在传输路径上发生的那些差错。另一方面，Rane，S.et al，“Systematic LossyForward Error Protection for error-Resilient Digital Video Broadcasting”，Proceedings of the SPIE，vol.5308，no.1(20^th January 2004)pp.588-595中描述了一种系统，在该系统中发送器利用第一编码器来对视频信号进行编码并产生本地解码视频信号，接着利用使用粗量化(quantisation)的第二视频编码器对该本地解码视频信号进行重新编码，接着进行里德-所罗门(Reed-Solomon)编码。将里德-所罗门奇偶校验符号发送给接收器。在出现差错的情况，接收器对接收到的第一编码信号进行解码，利用粗量化对经解码的信号进行重新编码，应用里德-所罗门纠错并对该纠错结果进行解码。该系统没有以明示方式产生差错告警，更重要的是，许多差错被粗量化所掩蔽从而无法被检测到，这点是无法令人满意的。

发明内容

根据本发明的一个方面，提供了用于对视频信号进行编码的装置，该装置包括视频编码单元、用于产生本地解码图像的本地解码单元和校验信号产生单元，该校验信号产生单元用于产生作为所述本地解码图像的所有位的函数的校验信号，使得在存在任何单个差错的情况下获得的校验信号始终与从无差错图像中获得的校验信号不同。

在另一方面，本发明提供了发送视频信号的方法，该方法包括以下步骤：在发送器处，产生编码视频信号，对所述编码视频信号进行解码以产生本地解码图像，产生作为所述本地解码图像的所有位的函数的校验信号，使得在存在任何单个差错的情况下获得的校验信号始终与从无差错图像中获得的校验信号不同，以及向接收器发送该差分信号(difference signal)和校验信号。

在从属权利要求中对本发明的其他方面进行阐述。

附图说明

现在将参照附图通过举例来对本发明的一些实施方式进行说明，其中：

图1是根据本发明的编码器的框图；以及

图2是对应的解码器的框图。

具体实施方式

图1示出了视频编码器。在输入1处接收到视频信号(通常为数字形式)。减法器2形成该输入和来自帧存储器3的预测信号之间的差值，接着在框4处对该差值进行编码。这里进行的编码并非本发明的要点，该编码例如可以包括阈值处理(以抑制零差或微差发送)量化、变换编码和/或可变长度编码。帧存储器的输入是在加法器5中形成的预测信号与在本地解码器6中解码的经编码的差分信号的和(从而使得在编码和解码处理中的信息损失包括在预测环路中)。

差分编码实质上是在帧间编码，可是偶尔也可以(针对整个帧或针对该帧的多个选定块)使用帧内编码，以限制发送差错的传播。所述预测可以仅由帧存储器3提供的一帧延迟构成；然而，如图所示，还包括有运动估计器7。运动估计器7对正被编码的图像的帧与位于帧存储器3中的前一帧进行比较。针对(认为图像被划分成的)当前帧的每个块，识别前一帧中与该块最相似的区域。识别出的区域和受关注块之间在位置上的矢量差被称为运动矢量(因为运动矢量通常表示在电视画面所呈现的场景中的物体的运动)，并将该矢量差施加给运动补偿单元8，该运动补偿单元8用于将前一帧的识别出的区域移动到当前帧中的相关块的位置，从而产生更好的预测。这使得由减法器2形成的差值的平均值更小，并且允许编码器4使用与其他情况下相比更低的比特率来对图像进行编码。

图2示出了解码器。首先，在框6′(与图1中的框6相同)中逆向执行在框4中进行的任何编码操作以产生帧间差分信号。接着，在从编码器中接收运动矢量的运动补偿单元8′中进行运动补偿后，将帧间差分信号与来自帧存储器3′的预测信号相加。加法器5′的输出形成解码器输出，并且还被提供给帧存储器3′的输入。

尽管未示出，但和常规方式一样，可以在编码器输出和解码器输入处提供缓冲，以允许通过恒定比特率信道进行传输。

如到目前为止所述，这些设置均为常规设置。然而，编码器另外包括校验位发生器9，该校验位发生器9又从加法器5接收各本地解码帧并生成一个或更多个校验位，该生成的一个或更多个校验位连同编码数据与运动矢量一起被发送给解码器。

解码器具有校验单元9′，该校验单元9′接收校验位和来自加法器5′的各本地解码帧，并验证它们是否一致。该过程可以简单地包括以下步骤：使用和编码器相同的方法来生成本地校验位；以及将该结果与从编码器接收到的校验位进行比较。如果它们不匹配，则产生告警信号。

可以使用任意形式的校验位：所需要的是这样的信号，该信号是存储在帧存储器3(或3′)中的位的函数，并且如果产生该信号的帧含有差错则该信号是不同的。单个的奇偶校验位可执行该功能，但是因为单个的奇偶校验无法在同一帧中出现两个差错时登记差错，所以只有在差错率很低时这种奇偶校验才有价值。

另一个选择是使用散列函数。优选地是，使用循环冗余校验(CRC)。这里用M位来表示帧存储器中的帧，并且认为该M位是M位二进制数，通过发生器多项式G对该M位二进制数进行以2为模的除法运算。该除法运算后的余数为所需的校验位串。一个合适的CRC示例为在MPEG-2标准ISO/IEC 13818-1：1996的附件A(第81页)中所述的32位CRC。

本发明将与广泛的视频编码器一起工作。然而，应注意的是，对于使用没有被限定为位准确(bit-exact)处理的变换编码的系统可能出现问题。其中一个示例是根据MPEG-2标准工作的系统。如果在单元6和6′中的解码相同，则不存在困难，但是通常这种情况仅出现在例如由同一制造商或使用同一芯片组来实现单元6和6′时。

通常，同时符合所述标准的编码器和解码器可以使用在两端产生略微不同的舍入误差的不同的定点运算或浮点运算，来自加法器5和5′的两个经解码的帧将会略有不同。尽管这对于图像的观众来说并非显而易见的，但是它会导致CRC校验产生差错信号。指定位准确运算的系统(例如，H.264)则不会经受这种问题。注意，H.264标准包括“补充增强信息”(SEI)消息的规范，其用于例如保持图像质量。尽管这些消息没有具体地包括图像校验和的信息，但是它们允许用户定义的消息(可选地可以经由ITU定义的处理来登记这些消息)。SEI消息还提供用于将附加信息与相关图像相关联的机制。因此，该SEI机制可用于发送并使用图像校验和的信息。

如果需要的话，还可以对发送和接收的比特流进行奇偶校验、CRC校验或其他校验。然而，因为尽管对比特流的校验在差错发生时可识别到差错，但是它未指出在帧存储器3′中是否存在差错，所以这并未消除对在9′处进行校验的需求。这种差错一旦存在，当然会一直持续到接收到内部编码帧(或块)的时刻。

实际上，如果需要的话，可以将差错信号发送回发送器端。通过使用校验和可以实现针对图像正确性的高置信度。典型的方案为：

·编码器系统使用图像中的各Y、U和V像素的值来计算关于每个重构图像的(例如)32位校验和，

·将校验和连同比特流一起发送给机顶盒，并利用充分的信息使校验和能够与相关图像相关联，

·机顶盒中的解码器对图像进行解码。机顶盒计算解码图像的校验和，并将该校验和与编码器产生的校验和进行比较，

·如果所述值匹配，则机顶盒使计数器递增诸如正确的解码图像的数量，

·如果校验和不匹配，则已经出现差错。机顶盒向中央管理功能发布差错通知，中央管理功能对这种信息进行比对并且在认为必要时采取纠错动作。

注意在某些系统中，并不是将所有的帧都用作对其他帧进行编码的预测因子：例如，在MPEG-2标准中，B-帧尽管使用帧间差分编码技术进行编码，但其本身从未被用作为用于对另一帧进行编码的参考帧。因此，因为常规的MPEG-2编码器不需要该结果，所以该常规的MPEG-2编码器不必对B-帧进行编码。在这种情况下，实质上存在两种选择。一种选择是仅针对为了预测目的而在任何情况下都被解码的那些帧在编码器处生成校验位(以及在解码器处进行校验)。这意味着并非针对正确性而对所有图像进行校验，非参考图像对于图像质量来说当然不太重要，因为它们含有的差错不会持续。另一种选择是即使校验位对于任何其他目的来说是不必要的，但仍然对并非进行预测所需的那些帧进行解码，并且对它们产生校验位。

具体地说，可以设想一系统，在该系统中，针对帧间编码不使用帧间预测帧(inter-predicated frame)作为参考帧(例如，交替发送帧内编码帧和帧间编码帧的系统)，在这种情况下，为了生成校验位而仅在编码器端处进行本地编码。

实际上，可以在根本不使用预测编码的系统中使用本发明。从而对于任意形式的视频编码，可以在编码器处对编码后的视频信号进行本地解码，并且使用经本地解码的图像来生成CRC或其他校验信号以发送给接收器作为验证之用。因为可以标记由于在编码处理或解码处理时的问题引起的差错以及由发送差错引起的差错，所以这与仅对发送的比特流进行校验相比提供了更高的安全度。

诸如H.263和H.264的一些标准允许使用环路滤波器。这是在编码环路的内部进行操作的滤波器。其设置在加法器5(或5′)的输出和帧存储器3(或3′)的输入之间。通常从滤波器的输出获得向观众显示的图像。尽管实际上可以选择经滤波的信号或未经滤波的信号(只要在编码器处和解码器处进行同样的操作即可)，但是优选的是，对经滤波的信号执行CRC操作。

还应注意的是，可以从帧存储器3或3′的输出(或实际上从运动补偿单元8、8′的输出)中获取针对CRC处理的输入，尽管自然地这不适合非参考帧，因为不存储非参考帧。

根据以上描述，按每帧一次的方式生成CRC或其他校验信号。然而，这并非必需的：可以按更低的频度(或许按每对帧或每组帧一次的方式)来生成CRC或其他校验信号。与此相反，可以按更高频度(例如，按每个宏块一次的方式)或者通过针对每个帧提供用于运动矢量和差分数据的单独CRC，来生成所述CRC或其他校验信号。

这里所述的校验适于端对端系统验证。即，用于检测发送问题和包括存在一些缺陷(或不能一直保持充分处理能力)的解码器的接收端问题。CRC技术例如可以允许含有解码器的机顶盒将统计数据反馈给服务器(ACK类型和NACK类型)，因此服务器可以保持接收器已向观众呈现内容的质量记录。如果用户对质量提出意见，则该系统将使服务供应商可以区分发送问题和解码问题，这些与包括在服务器上对内容不良编码在内的所有其他问题或接收端处的其他设备的问题截然不同。

Claims (13)

1.一种用于对视频信号进行编码的装置，该装置包括视频编码单元(2，4，7)、用于产生本地解码图像的本地解码单元(3，5，6，8)和校验信号产生单元(9)，该校验信号产生单元用于产生作为所述本地解码图像的所有位的函数的校验信号，而使得在存在任何单个差错的情况下获得的校验信号始终与从无差错图像中获得的校验信号不同。

2.根据权利要求1所述的装置，其中，所述校验信号为循环冗余校验信号。

3.根据权利要求1或2所述的装置，其中，所述视频编码单元被设置为使用预测编码。

4.根据权利要求1所述的装置，其中，所述视频编码单元包括用于存储本地解码图像的帧存储器(3)以及用于产生差分信号的帧间编码单元(2，4，7，8)，该差分信号表示要发送的图像和基于存储的本地解码图像的预测图像之间的差别。

5.根据权利要求4所述的装置，其中，仅针对要被用作对另一帧的预测编码的基础的图像产生所述校验信号。

6.根据权利要求4所述的装置，其中，所述帧间编码单元用于对未被用作对另一帧进行预测编码的基础的图像执行预测编码，所述本地解码单元被设置为对这种非参考图像进行解码，以使得所述校验信号产生单元产生针对所述非参考图像的校验信号。

7.一种发送视频信号的方法，该方法包括以下步骤：

在发送器处，产生编码视频信号，对所述编码视频信号进行解码以产生本地解码图像，并产生作为所述本地解码图像的所有位的函数的校验信号，而使得在存在任何单个差错的情况下获得的所述校验信号始终与从无差错图像中获得的校验信号不同，并且向接收器发送所述校验信号。

8.根据权利要求7所述的方法，该方法还包括以下步骤：在接收器处，对接收到的信号进行解码以产生解码图像，将该解码图像与所述校验信号进行比较，并且如果所述解码图像和校验信号不一致，则产生差错信号。

9.根据权利要求7或8所述的方法，其中，所述校验信号为循环冗余校验信号。

10.根据权利要求7或8所述的方法，其中，所述视频编码使用预测编码。

11.根据权利要求7或8所述的方法，其中，所述编码视频信号包括差分信号，该差分信号表示要发送的图像和基于存储的本地解码图像的预测图像之间的差别。

12.根据权利要求11所述的方法，其中，仅针对要被用作对另一帧的预测编码的基础的图像产生所述校验信号。

13.根据权利要求11所述的方法，该方法还包括对未被用作对另一帧的预测编码的基础的图像执行预测编码的步骤，并且包括对这种非参考图像进行本地解码以及产生针对所述非参考图像的校验信号的步骤。