CN101647286A - 视频信号的多描述编码和传送 - Google Patents

Abstract

本申请涉及用于对视频序列进行编码传送和解码的方法和设备。结合视频序列的编码/传送解码，希望在不必过多地增加已编码视频的比特率的情况下增加视频质量，从而仍旧提供视频的比特有效表现。如果使用视频序列的多描述，则本发明改善了视频质量，而没有比特率的任何增加。根据本发明，通过使用两个或更多编码单元来编码同一视频序列，来实现这一点，其中编码单元执行他们的在时间上彼此相关地移位的编码操作。对应地，使用两个或更多解码单元来解码同一视频序列，其中解码单元执行他们的在时间上彼此相关地移位的解码操作。

Description

视频信号的多描述编码和传送

技术领域

本发明涉及一种用于对视频序列进行编码的方法和设备。

背景技术

视频序列包括多个被称为帧的静止图像。通过尽可能比特有效地(bit-efficiently)描述所述帧来进行视频序列的编码(视频编码)。为此，开发视频序列中的冗余。存在三种类型的可开发冗余，即时间冗余、空间冗余和谱冗余。时间冗余是两个帧之间的冗余，而空间冗余是帧内的冗余。谱冗余是视频中不同颜色分量之间的冗余。接下来，我们将不考虑谱冗余。

视频编码标准定义了许多帧类型，其中I帧和P帧是大多数标准所共有的。通过单独开发空间冗余来编码I帧，这产生了独立于所有其它帧的表现(representation)。另一方面，通过开发时间冗余和空间冗余二者来编码P帧。这导致了帧的更紧凑的表现，而同时使得这个表现依赖于另一帧(大多数情况下为前一帧)。

为了比特有效的视频编码的目的，已从大约1995年起发展了视频编码标准，例如H.263和后来的MPEG-2，并且所述视频编码标准使用I帧/P帧设置(setup)。所述应用已主要包括了电路交换网络上的视频会议和视频电话，但是也包括了存储视频资料以便以后恢复，例如DVD。更新的标准(例如，MPEG-4和H.264)具有与它们的前任标准相比得到显著改善的性能，并实现了用于给定视频质量的低比特率。已经保留了使用不同帧类型的主要思想，并且所述性能改善是改进在较老的标准中使用的方法的结果。一个这样的改进是可以将帧分段为被称为切片(slice)的较小区域，并且可以将使用I帧和P帧的方法应用在各个切片上。

随着其中更大的处理功率和分组交换网络(WLAN和因特网)已经具有了主导作用的新技术的到来，新应用已经得到了关注。这些应用包括IP网络上的流式(streaming)视频和现场视频通信。现场视频通信应用对下层技术提出的要求完全不同于存储应用甚至流式应用的那些要求。除了在存储和流式应用中存在的要求之外，现场视频通信对发送和显示视频之间的延迟提出了严格的要求。这个严格要求使得传送中的误差总数增加，这是因为延迟的分组被等同地处置为丢失的分组。

使用具有不同帧类型的已提及设置的现有视频编码技术由于严格的延迟约束而不适合于现场视频通信。在帧之间引入高依赖性(dependency)以实现信号的比特有效表现导致了在其中传送误差的概率很大的环境中显示错误视频。不仅不可能渲染(render)未及时接收到的帧，而且帧依赖性使得误差贯穿于视频序列而传播，这是令观看者讨厌的。在当前标准中，通过发送独立于其它帧的帧(I帧)，而以或多或少的有效方式，来处置该问题。以这个方式，将传播的误差重置到零。然而，选择应该以多高频率来发送I帧并不是无关紧要的。当存在传送误差的可能性时，增加I帧频率导致更好的视频质量，而同时增加了比特率。因此，在视频的视频质量和比特有效表现之间存在权衡。

因此，希望能够在不必过多地增加比特率的情况下增加视频质量，从而仍旧提供视频的比特有效表现。

发明内容

本发明的目的在于提供视频序列的编码和解码，其改善了可察觉的视频质量，而仅适度增加了传输已编码视频序列的比特率。

在所附独立权利要求中限定了一种根据本发明的用于编码视频序列的方法和设备、以及用于解码视频序列的方法和设备。

本发明基于使用两个或更多编码单元来编码同一视频序列的两个或更多描述的思想，其中编码单元执行他们的在时间上彼此相关地移位(displace)的编码操作。本发明还包括使用两个或更多解码单元来解码同一视频序列的两个或更多描述，其中解码单元执行他们的在时间上彼此相关地移位的解码操作。

使用多于一个编码器来编码同一视频序列具有如下优点：当在网络上从传送端向接收端传输已编码视频序列时，即使同一帧的一个或多个已编码描述由于误差或延迟而不存在，也增加了没有误差地接收视频序列帧的一个或多个已编码描述的可能性。通过在时间上移位编码器的编码操作，将减少所接收的已编码序列包括同一时间的传播误差的概率。这是因为不同的编码序列将具有在不同的时间点处发生的某种零状态。从用于已编码序列的最后零状态开始，随着时间增加，已编码序列的传播误差的概率更高。通过移位不同已编码序列的零状态，与其它(各种)情况相比，将总是存在用于一个或多个序列的传播误差的较低概率。相比较而言，在不移位用于已编码序列的零状态的情况下，所有已编码序列将同时增加它们的如下概率，即包括上至当同时对所有序列发生新的已编码的零状态时的点的传播误差的概率。

在用于传输所有已编码视频序列并同时影响所有序列的网络的中断的情况下，实现在时间上移位编码器的编码操作的另一优点。在这个情况下，在中断之后、视频序列之一包括零状态之前的时间与没有移位零状态的情况相比，在大多数情况下将较小。在后面的情况下，由于用于多个已编码序列的零状态同时发生，所以对于所有的多个已编码序列、到下一零状态的时间将与其中仅使用一个单一已编码序列来传输视频的情况相同。

将理解，由于针对不同描述而变化网络抖动，在网络上传输两个或更多描述可导致没有同步地接收不同描述。如本领域技术人员所已知的，接收端的抖动缓冲器用于应对网络抖动。这样，在多描述的情况下，需要多个抖动缓冲器。然后，不同描述的帧可同步地从相应抖动缓冲器输出。有利地，本发明具有在接收端安排的抖动缓冲器，优选地一个抖动缓冲器用于所接收的每个描述，并因此用于每个解码器。这样，使用抖动缓冲器，将从相应的抖动缓冲器向解码器提供要解码的数据。根据本发明，然后针对一个解码器的解码操作来在时间上移位另一解码器的解码操作。

典型地，如上所述的零状态对应于帧内编码(intra-encoding)操作，即仅用于开发空间冗余的编码操作，并且同一已编码视频序列的两个零状态之间的编码操作对应于帧间编码(inter-encoding)操作，即用于开发连续的编码时间点之间的时间冗余的编码操作。此外，帧内编码和帧间编码可在视频序列的逐帧基础上使用或者在逐切片基础上使用，其中切片对应于帧的片段。

根据本发明的实施例，帧内编码和帧间编码分别对应于I类型编码和P类型编码。这样，本发明可应用于其中编码使用I/P帧的视频编码标准和使用I/P切片的视频编码标准二者。结果，由于本发明不依赖于使用I/P概念来编码连续的全帧还是连续的帧切片，所以接下来的描述将使用术语I/P帧作为I/P帧和I/P切片二者的总标记。这样，每当讨论和描述I帧和P帧时，同一描述适用于I切片和P切片。此外，将理解，本发明的帧间编码的帧/切片可利用不同种类的预测帧/切片(例如，B类型(双向预测编码))来实现，并且P类型编码的参考仅公开了示范实施例。

这样，将理解，本发明提供了使用两个或更多编码器的视频序列编码，使得平均来说提供了更短的误差传播，这导致了在对视频序列进行解码之后在接收端的所显示视频的可察觉改善质量。另外，将理解，与在没有编码操作的任何移位的情况下来传输相同数目的已编码视频序列相比，在时间上移位不同编码器的编码操作没有增加用于传输不同编码视频序列的比特率。因此，本发明通过确保对传送误差的鲁棒性而改善了视频质量。

还将理解，根据本发明的编码操作的以上论述和接下来的描述对应地应用于由本发明限定的解码操作。

根据本发明的几个示范实施例的以下详细描述，本发明的其它特征以及其优点将变得更容易明显。如所理解的，当研读这里陈述的一般示教和接下来的详细描述时，对于本领域的技术人员而言，落入由所附权利要求限定的本发明的范围内的特征的各种修改、替换和不同组合将变得明显。

附图说明

现在，将参考附图来描述本发明的示范实施例，其中：

图1示意性示出了其中可包括本发明的各种实施例并安排其进行操作的示范总体系统环境；

图2示意性示出了如何获得视频帧(或视频帧的切片)的几个不同描述以便由单独编码器来对每个描述进行编码；

图3示出了本发明的实施例，其中与三个已编码视频序列之中的其它已编码视频序列的帧内编码操作相关地移位每个已编码视频序列的帧内编码操作；以及

图4示出了本发明的实施例，其中与一个已编码视频序列的帧内编码操作相关地移位另一已编码视频序列的帧内编码操作。

具体实施方式

图1示意性示出了其中可包括本发明的不同实施例并安排其进行操作的示范总体系统环境。

在图1中，输入了被划分为帧的数字化视频信号101，每个帧表现了时间上的静止图像。

通常，为了获得对传送误差的鲁棒性，可以将视频信号划分为多个描述。然后，在作为现有标准编码器的实现的单独编码单元中对每个描述进行编码。这意味着对于每个描述存在I帧和P帧。如果在接收机端接收到所有描述，则获得最佳的视频质量。如果在传送中存在误差，则影响了许多描述，这些描述被忽略，直到已经通过I帧来更新了它们为止。当然，这具有暂时地降低视频质量的影响。

多描述视频编码设置中的描述可以以许多方式而彼此相关。首先，它们可以是等同的或不等同的，即每个描述与另一描述相比，导致相同的质量或不同的质量。不管这些描述是否等同，它们可以(i)是完全冗余的，即几个描述是彼此的复制；(ii)具有零冗余，即所述描述不具有交互信息；和(iii)在某种程度上是冗余的，即在所述描述之间存在一些交互信息。所述描述如何相关可以影响不同网络上的总体性能。

使得可能改善性能的使用多描述编码设置的编码器的一个重要属性如下。当发送视频信号的多个描述时(其中在单独的编码单元中对所述描述进行编码)，存在利用如下事实的可能性，即每个描述的编码单元是独立的。也就是说，描述一的编码过程不依赖于描述二的编码过程。本发明提供了简单、可是有效的技术来利用编码设置的这个属性。

参考图1，传送端包括三个编码器121、122和123。这三个编码器优选地是根据H.263、MPEG-2、H.264、或MPEG-4视频编码标准而进行操作的标准编码器。向每个编码器121、122、和123输入视频信号的相应描述111、112、和113。三个编码器都以类似的方式来处置它们的相应描述，即根据所使用的视频编码标准，来对使用I帧和P帧(或者当可应用时，I切片和P切片)的已接收描述进行编码。三个编码器自身之间的差别是它们执行帧内编码操作的时间。这样，所输出的I帧和P帧的序列在三个编码器之间不同。接收端包括三个解码器151、152和153，所述解码器优选地是根据H.263、MPEG-2、H.264、或MPEG-4视频编码标准而进行操作的标准编码器。每个解码器151、152、和153对视频信号的相应描述111、112、113进行解码。三个解码器都以类似的方式来处置它们的相应描述，即根据所使用的视频编码标准，来对包括I帧和P帧(或者当可应用时，I切片和P切片)的已接收的已编码描述进行解码。三个解码器自身之间的差别是它们执行帧内解码操作的时间。这样，已解码I帧和P帧的序列在三个编码器之间不同。

根据一个实施例，将视频信号101输入到子采样单元110。子采样单元将输入视频序列信号101子采样(在时间或空间上子采样，即执行时间或空间子采样)为视频信号101的多个不同描述111、112和113。接收端包括上采样单元170，该上采样单元170执行子采样过程的逆过程，即将由解码器151、152和153解码的已解码描述重新安排为一组连续视频帧。

根据替换实施例，描述111、112和113是相同的，在这个情况下，被标注为110的单元是将输入视频信号101复制为三个相同描述111、112和113的复制单元。结果，在这个替换实施例中，上采样单元170可简单地是负责丢弃冗余的已解码描述(或者如果这些描述不是完全冗余的，则负责合并已解码描述)的单元。也就是说，如果由相应解码器151、152和153在接收端没有误差地对两个或更多描述161、162和163进行解码，并且如果所述描述是完全冗余的，则单元170可简单地丢弃除了已解码描述之一以外的所有已解码描述。

参考图2来描述示范子采样过程。这个示范子采样过程将来自输入视频静止图像的像素分配到三个描述符111、112和113。

这里，输入视频图像(或帧)201为五个像素高和九个像素宽。按照列方向来将所述像素分配到描述：列一、四和七被分配到描述一，用202表示；列二、五和八被分配到描述二，用203表示；并且列三、六和九被分配到描述三，用204表示。在图中命名每个像素，并且可将其定位在它的描述中。

图2的子采样过程不是唯一可用的子采样过程。还存在其它可能的子采样过程，其也可合并于本发明。取决于多描述编码设置中的描述数目，可以使用所谓的五点形(quincunx)子采样、时间子采样和多相(poly-phase)子采样。在五点形子采样中，以棋盘(checker board)方式来向两个描述分配像素，(奇数行、奇数列)像素和(偶数行、偶数列)像素被分配到一个描述，而(奇数行、偶数列)像素和(偶数行、奇数列)像素被分配到另一描述。在时间子采样中，描述的数目是任意的。例如，向描述一分配从帧一开始的每个第三帧，向描述二分配从帧二开始的每个第三帧，并且向描述三分配从帧三开始的每个第三帧，这产生了三个描述。通过(利用因子R)沿着行对初始帧进行子采样来执行多相子采样，这产生了R个临时描述。然后(利用因子C)对这些R个临时描述进行子采样，其每一个产生了C个描述并且总共R×C个描述。

再次参考图1，不管三个描述111、112和113是相同的(等同的)还是不同的(不等同的)，利用每个描述的相应编码器121、122和123来独立地对其进行编码。典型地，每个编码器对它的输入描述进行编码，从而将已编码的视频描述输出为一系列的I帧和P帧。

在图3的实施例中，与向三个不同视频序列描述之中的其它视频序列描述应用的帧内编码操作相关地移位向每个视频序列描述应用的帧内编码操作。通过移位要在时间上交织的I帧、使得(不同已编码描述中的)两个随后的I帧之间的时间距离总是相等，来开发对应的三个编码单元的独立性。用于每个已编码描述的画面组(GOP)长度是6个帧，而两个I帧之间的距离是两个帧。然而，必须做出对于图3中的设置的一个例外，即每个描述的第一帧被编码为I帧。这么作以取得用于所有已编码描述中的预测的良好参考。对应地，在接收机端，与向三个不同视频序列描述之中的其它视频序列描述应用的帧内解码操作相关地移位向每个已接收视频序列描述应用的帧内解码操作。两个解码器的帧内解码操作的移位对应于要解码的相应已编码描述的两个I帧之间的时间距离。

参考图1，在网络140上发送每个已编码描述131-133。所述网络使得可能有误差地传输或延迟一些已编码描述帧，这在分组交换网络中导致遗失正在讨论的帧的视频数据。这个行为是分组交换网络的特点。在相应的解码器151-153中解码到达接收端的已编码描述141-143。在解码之后，通过在上采样单元170中进行已解码描述161-163的上采样来获得最终结果。如上所述，上采样过程是子采样过程的逆过程，即将像素从三个描述重新安排为一个最终帧。最终结果171是在接收端输入了的视频的数字表现，并且被发送以用于进一步的处理，例如在显示器上进行显示。

当前帧的一些描述可能被丢失、延迟或破坏，这导致了被看作不存在。这将导致所述描述的已解码表现中的传播的误差。所述传播的误差是由于帧的依赖性所导致的，所述帧的依赖性促使错误帧之后的所有帧间编码帧成为错误的帧。

在一个可能实施例中，不存在或已破坏的描述被上采样单元170忽略，并且它的像素替代地从其它描述的像素中进行估计。这可以以内插方式来进行，例如将图2中的像素b₁估计为a₁和c₁的均值。只要描述被破坏，就忽略它。因此，仅仅当该描述的I帧到达接收机端时，将使用该描述。得以使用尽可能多的未破坏的描述导致最佳的质量，这是一个人总是想要最大化未破坏描述的数目的原因。通过如图3所图示地放置I帧，在任何时间处可用的描述的期望数目将大于假如已将同一帧编码为用于每一描述的I帧的情况。这是从如下事实得出的，即I帧之间的间隔更小并且对于三个不同的描述来说传播的误差的概率在任何时间处都将不同。

为了使上采样单元170能够决定如何将所接收的描述(即，解码器的输出)安排为一组连续的视频帧，它需要保持跟踪所接收的描述的有效性。这优选地通过在上采样单元中包括输出有效性标志来完成，一个输出有效性标志用于与上采样单元连接的每个解码器。解码器的输出有效性标志指明来自所述解码器的描述是被破坏还是未被破坏，并因此，指明当将所接收的描述安排为一组连续视频帧时是否应使用所述描述。当解码器确定描述被丢失、延迟或破坏时，它用信号通知上采样单元应该将对应的输出有效性标志设置为已破坏。当解码器解码I帧时，它用信号通知上采样单元应该将对应的输出有效性标志设置为未破坏。这样，上采样单元170将能够在每个时间场合(instance)处保持跟踪从解码器接收的每一个描述的有效性。上面的对于每个解码器来单独地用信号通知关于将输出有效性设置为未破坏的设计归因于在时间上移位不同描述的I帧的事实。相比较而言，在其中没有在时间上移位不同描述的I帧的设计中，当解码I帧时，对于所有描述利用单个信令就足够了。

通过最大化在任何给定时间场合处可用的描述的数目，改善了视频的可察觉质量。此外，在所有描述都被破坏的情况下，最小化在接收到更新(零状态或者用于任何描述的I帧)之前的时间。将理解，参考图1-3进行的上述结构和操作可应用于任何数目的视频序列的描述。这样，即使图1-3涉及三个描述，但是对应的公开也可应用于两个、或四个、或更大数目的已利用描述。

参考图4来描述本发明的另一实施例。在这个实施例中，通过放置多描述中的I帧、使得最小化在接收机端的期望失真，来开发编码单元的独立性。基于利用已知传送误差概率(即，已知网络特性)的计算来放置不同描述的I帧。图4示出了具有两个描述的示例，其中假设或已知(图4中的)上部描述的传送误差的概率低于(图4中的)下部描述的传送误差概率。以这个方式来交织I帧，使得最小化在接收机端的期望失真。发送方可选择对于两个所传输的已编码描述来使用关于不同传送误差概率的信息，从而不仅与对于全部两个描述在同一时间处进行I帧的放置相比、而且与在前一实施例中描述的I帧的放置相比都改善性能。在接收端的解码操作的移位对应于图4中所示的I帧的放置。

上面假设了上部描述的误差概率低于下部描述的误差概率，那么根据图4中所示的内容来移动已编码描述的I帧的相对放置是有利的。利用这样的I帧的放置，识别了上部已编码描述中的较低误差概率。下部描述可认为是补充性的，即它用于降低当上部描述不再可靠时的误差概率。由于上部描述具有较低的误差概率，所以下部描述的I帧可向右移动(以在时间上稍后发生)，并且在下部描述用于降低总的误差概率之前，向上部描述委托更大数目的P帧。例如，随着图4中时间从左向右，与上部描述的第五P帧同时地出现在下部描述的I帧之后的第一P帧，从而提供了降低的总误差概率。下部描述的情形相反。

在给定误差概率和期望失真的情况下，可以在最小化问题中计算用于描述一和描述二的I帧的最佳放置。相对于I帧的相对放置来最小化期望的总失真值。简言之，期望失真的表达被示出为周期地发生，这是仅对于任一描述中的两个I帧之间的间隔来求解最小化问题就足够了的原因。接下来，相对于I帧移位的长度而对这个间隔中的期望失真的表达进行微分，这给出了极值。因为现在问题在于间隔，所以通过评估极值处和间隔边界处的期望失真来发现所述最小值。这将在下面进一步描述。

让我们假设用两个独立的吉尔伯特(Gilbert)信道模型A和B来对网络进行建模，其中状态0表示无误差传送，并且状态1表示错误的传送。接下来的表格定义了关于两个吉尔伯特信道的被假设为已知的属性。此外，定义了不同信道实现的期望的平均失真。

变量	含义
		pX	如果信道X先前处于状态0则它处于状态1的概率
qX	如果信道X先前处于状态1则它处于状态0的概率
		D0	如果接收到全部两个描述则输出视频的失真

DX	如果仅接收到一个描述则输出视频的失真
		DT	如果没有接收到描述则输出视频的失真

让我们定义接下来的变量来简化符号表示。

${\mathrm{\π}}_A=\frac{q_A}{p_A+q_A}$

${\mathrm{\π}}_B=\frac{q_B}{p_B+q_B}$

r_A＝1-p_A

r_B＝1-p_B

最优化问题是对于离散移位变量Δ∈{0，K-1}来在所有帧k∈{-k，k}上最小化失真D的期望，其中K表示I帧周期长度。

$\underset{\mathrm{\Δ}\∈\{0,K-1\}}{\min }E\left[D\right]=\underset{\mathrm{\Δ}\∈[0,K)}{\min }\frac{1}{2\mathrm{\κ}}\underset{k=-\mathrm{\κ}}{\overset{\mathrm{\κ}}{\mathrm{\Σ}}}(D_0{\mathrm{\π}}_A{r}_A^{\mathrm{mod}\frac{k}{K}}{\mathrm{\π}}_B{r}_B^{\mathrm{mod}\frac{k-\mathrm{\Δ}}{K}}$

$+D_A{\mathrm{\π}}_A{r}_A^{\mathrm{mod}\frac{k}{K}}(1-{\mathrm{\π}}_B{r}_B^{\mathrm{mod}\frac{k-\mathrm{\Δ}}{K}})$

$+D_B{\mathrm{\π}}_B{r}_B^{\mathrm{mod}\frac{k-\mathrm{\Δ}}{K}}(1-{\mathrm{\π}}_A{r}_A^{\mathrm{mod}\frac{k}{K}})$

$+D_T(1-{\mathrm{\π}}_A{r}_A^{\mathrm{mod}\frac{k}{K}})\left(1-{\mathrm{\π}}_B{r}_B^{\mathrm{mod}\frac{k-\mathrm{\Δ}}{K}}\right)),$

其中，

表示对b除a取模。

让我们近似，用接下来的积分来表现失真求和，其中帧数目k∈{-k，k}，并且移位变量Δ∈[0，K)是连续的。

$\underset{\mathrm{\Δ}\∈[0,K)}{\min }D=$

$\underset{\mathrm{\Δ}\∈[0,K)}{\min }\frac{1}{2\mathrm{\κ}}{\∫}_{-\mathrm{\κ}}^{\mathrm{\κ}}(D_0{\mathrm{\π}}_A{r}_A^{\mathrm{mod}\frac{k}{K}}{\mathrm{\π}}_B{r}_B^{\mathrm{mod}\frac{k-\mathrm{\Δ}}{K}}+D_A{\mathrm{\π}}_A{r}_A^{\mathrm{mod}\frac{k}{K}}(1-{\mathrm{\π}}_B{r}_B^{\mathrm{mod}\frac{k-\mathrm{\Δ}}{K}})$

$+D_B{\mathrm{\π}}_B{r}_B^{\mathrm{mod}\frac{k-\mathrm{\Δ}}{K}}\left({1-\mathrm{\π}}_A{r}_A^{\mathrm{mod}\frac{k}{K}}\right){+D}_T\left(1-{\mathrm{\π}}_A{r}_A^{\mathrm{mod}\frac{k}{K}}\right)(1-{\mathrm{\π}}_B{r}_B^{\mathrm{mod}\frac{k-\mathrm{\Δ}}{K}}))\mathrm{dk}$

$=\underset{\mathrm{\Δ}\∈[0,K)}{\min }{\∫}_0^{\mathrm{\Δ}}(D_0{\mathrm{\π}}_A{r}_A^k{\mathrm{\π}}_B{r}_B^{K+k-\mathrm{\Δ}}+D_A{\mathrm{\π}}_A{r}_A^k(1-{\mathrm{\π}}_B{r}_B^{K+k-\mathrm{\Δ}})$

$+D_B{\mathrm{\π}}_B{r}_B^{K+k-\mathrm{\Δ}}(1-{\mathrm{\π}}_A{r}_A^k)+D_T(1-{\mathrm{\π}}_A{r}_A^k)(1-{\mathrm{\π}}_B{r}_B^{K+k-\mathrm{\Δ}}))\mathrm{dk}$

$+{\∫}_{\mathrm{\Δ}}^K(D_0{\mathrm{\π}}_A{r}_A^k{\mathrm{\π}}_B{r}_B^{k-\mathrm{\Δ}}+D_A{\mathrm{\π}}_A{r}_A^k(1-{\mathrm{\π}}_B{r}_B^{k-\mathrm{\Δ}})$

${+D}_B{\mathrm{\π}}_B{r}_B^{k-\mathrm{\Δ}}(1-{\mathrm{\π}}_A{r}_A^k)+D_T(1-{\mathrm{\π}}_A{r}_A^k)(1-{\mathrm{\π}}_B{r}_B^{k-\mathrm{\Δ}}))\mathrm{dk}$

$=\underset{\mathrm{\Δ}\∈[0,K)}{\min }{\∫}_0^K({\mathrm{\π}}_A{r}_A^k(D_A-D_T)+D_T)\mathrm{dk}$

$+{\mathrm{\π}}_B{r}_B^{K-\mathrm{\Δ}}{\∫}_0^{\mathrm{\Δ}}({\mathrm{\π}}_A(D_0-D_A-D_B+D_T)r_A^k{r}_B^k+(D_B-D_T)r_B^k)\mathrm{dk}$

$+{\mathrm{\π}}_B{r}_B^{-\mathrm{\Δ}}{\∫}_{\mathrm{\Δ}}^K({\mathrm{\π}}_A(D_0-D_A-D_B+D_T)r_A^k{r}_B^k+(D_B-D_T)r_B^k)\mathrm{dk}$

$=\underset{\mathrm{\Δ}\∈[0,K)}{\min }{\∫}_0^K({\mathrm{\π}}_A{r}_A^k(D_A-D_T)+D_T)\mathrm{dk}$

$+{\mathrm{\π}}_B{r}_B^{K-\mathrm{\Δ}}{\∫}_0^{\mathrm{\Δ}}({\mathrm{\π}}_A{D}_1{r}_A^k{r}_B^k+D_2{r}_B^k)\mathrm{dk}$

$+{\mathrm{\π}}_B{r}_B^{-\mathrm{\Δ}}{\∫}_{\mathrm{\Δ}}^K({\mathrm{\π}}_A{D}_1{r}_A^k{r}_B^k+D_2{r}_B^k)\mathrm{dk}$

其中，D₁＝D₀-D_A-D_B+D_T和D₂＝D_B-D_T。

相对于Δ来对D进行微分，并且设置为等于零以得出极值。

$\frac{\∂D}{\∂\mathrm{\Δ}}=\frac{\∂}{\∂\mathrm{\Δ}}\left\{{\mathrm{\π}}_B{r}_B^{K-\mathrm{\Δ}}{\∫}_0^{\mathrm{\Δ}}({\mathrm{\π}}_A{D}_1{r}_A^k{r}_B^k+{D_{2}r}_B^k)\mathrm{dk}\right\}$

$+\frac{\∂}{\∂\mathrm{\Δ}}\left\{{\mathrm{\π}}_B{r}_B^{-\mathrm{\Δ}}{\∫}_{\mathrm{\Δ}}^K({\mathrm{\π}}_A{D}_1{r}_A^k{r}_B^k+D_2{r}_B^k)\mathrm{dk}\right\}=$

$-{\mathrm{\π}}_B{r}_B^{K-\mathrm{\Δ}}\ln \left(r_B\right){\∫}_0^{\mathrm{\Δ}}({\mathrm{\π}}_A{D}_1{r}_A^k{r}_B^k+{D_{2}r}_B^k)\mathrm{dk}+{\mathrm{\π}}_B{r}_B^{K-\mathrm{\Δ}}({\mathrm{\π}}_A{D}_1{r}_A^{\mathrm{\Δ}}{r}_B^{\mathrm{\Δ}}+D_2{r}_B^{\mathrm{\Δ}})$

$-{\mathrm{\π}}_B{r}_B^{-\mathrm{\Δ}}\ln \left(r_B\right){\∫}_{\mathrm{\Δ}}^K({\mathrm{\π}}_A{D}_1{r}_A^k{r}_B^k+{D_{2}r}_B^k)\mathrm{dk}-{\mathrm{\π}}_B{r}_B^{-\mathrm{\Δ}}({\mathrm{\π}}_A{D}_1{r}_A^{\mathrm{\Δ}}{r}_B^{\mathrm{\Δ}}+D_2{r}_B^{\mathrm{\Δ}})$

$={\mathrm{\π}}_B{r}_B^{-\mathrm{\Δ}}(({\mathrm{\π}}_A{D}_1{r}_A^{\mathrm{\Δ}}{r}_B^{\mathrm{\Δ}}+D_2{r}_B^{\mathrm{\Δ}})(r_B^K-1)$

$-\ln \left(r_B\right)(r_B^K{\∫}_0^{\mathrm{\Δ}}({\mathrm{\π}}_A{D}_1{r}_A^k{r}_B^k+D_2{r}_B^k)\mathrm{dk}+{\∫}_{\mathrm{\Δ}}^K({\mathrm{\π}}_A{D}_1{r}_A^k{r}_B^k+D_2{r}_B^k)\mathrm{dk}))=0$

使用∫a^xdx＝a^xln^-1(a)+C和符号表示在接下来的等式中得出极值。

$0=r_A^{\mathrm{\Δ}}{r}_B^{\mathrm{\Δ}}\left\{{\mathrm{\π}}_A{D}_1(r_B^K-1-R{r}_B^K+R)\right\}+D_1{\mathrm{\π}}_{A}R(1-r_A^K)r_B^K$

$=r_A^{\mathrm{\Δ}}{r}_B^{\mathrm{\Δ}}\{r_B^K-1-R{r}_B^K+R\}+R(1-r_A^K)r_B^K$

$=\mathrm{\γ}{r}_A^{\mathrm{\Δ}}{r}_B^{\mathrm{\Δ}}+\mathrm{\α},$

其中

和

因此，移位用下式给出

$\mathrm{\Δ}=\frac{\ln (-\mathrm{\α}/\mathrm{\γ})}{\ln \left(r_A\right)+\ln \left(r_B\right)},$

并且仅依赖于r_A和r_B，即，如果前一传送没有误差则信道中的传送将保持没有误差的概率。

由于Δ的范围被界定，所以对于Δ∈[0，K)，用D(Δ＝0)和中的最小值给出D的最小值。

我们据以开始的离散问题的求解是给出D(Δ＝0)、

和D(Δ＝K-1)的最小值的移位Δ。方括弧

和

分别表示下方值(floor)运算和上方值(ceil)运算。

应注意，仅已经以说明性方式而给出了本发明的不同实施例的以上详细描述，并且因此这些描述不是意欲限制本发明的范围，因为本发明的范围由所附权利要求来限定。此外，将理解，当研读了权利要求和详细描述时，落入所附权利要求的范围的各种变化和修改对于本领域技术人员而言将变得明显。

Claims (38)

1.一种对视频序列的连续帧进行编码的方法，包括如下步骤：

通过执行第一编码器的编码操作来对连续帧进行编码；和

通过执行第二编码器的编码操作来对连续帧进行编码，其中与第一编码器的编码操作相关地在时间上移位第二编码器的编码操作。

2.根据权利要求1的方法，其中利用与两个或更多连续帧之间的时间对应的量来在时间上移位第二编码器的编码操作。

3.根据权利要求1或2的方法，其中针对帧内编码操作来进行在时间上所述移位编码操作的步骤。

4.根据权利要求1-3中任一项的方法，其中第一编码器和第二编码器对所述帧进行编码，以产生作为I帧的帧内帧和作为P帧的预测帧，其中与第一编码器所产生的I帧相关地在时间上移位由第二编码器产生的I帧。

5.根据权利要求4的方法，其中每个连续帧被分段为作为切片的较小的区域，并被编码为仅包括作为P切片的预测切片，或者包括P切片和一个或多个作为I切片的帧内切片的混合，其中由第一编码器和第二编码器产生的所述I帧和P帧分别构成I切片和P切片。

6.根据权利要求1-5中任一项的方法，其中使用视频序列的第一描述来将视频序列的连续帧提供到第一编码器，并且使用视频序列的第二描述来将视频序列的连续帧提供到第二编码器。

7.根据权利要求1-5中任一项的方法，其中使用视频序列的同一描述来将视频序列的连续帧提供到第一编码器和第二编码器。

8.根据权利要求1-7中任一项的方法，其中第一编码器和第二编码器根据相同的视频编码标准来进行操作。

9.根据权利要求1-7中任一项的方法，其中第一编码器和第二编码器根据不同的视频编码标准来进行操作。

10.一种用于对视频序列的连续帧进行编码的设备，包括：

第一编码器，通过执行编码操作来对连续帧进行编码；和

第二编码器，通过执行编码操作来对连续帧进行编码，其中第二编码器被配置为与第一编码器的编码操作相关地在时间上移位它的编码操作。

11.根据权利要求10的设备，其中第二编码器被配置为利用与两个或更多连续帧之间的时间对应的量来在时间上移位它的编码操作。

12.根据权利要求10或11的设备，其中第二编码器在时间上移位的编码操作是与第一编码器的帧内编码操作相关地在时间上移位的帧内编码操作。

13.根据权利要求10-12中任一项的设备，其中第一编码器和第二编码器适于对所述帧进行编码，以产生作为I帧的帧内帧和作为P帧的预测帧，其中第二编码器还适于对I帧进行编码，使得与第一编码器所编码的I帧相关地在时间上移位这些I帧。

14.根据权利要求13的设备，其中第一编码器和第二编码器适于将每个连续帧分段为作为切片的较小的区域，并将所述帧编码为仅包括作为P切片的预测切片，或者包括P切片和一个或多个作为I切片的帧内切片的混合，其中由第一编码器和第二编码器编码的所述I帧和P帧分别构成I切片和P切片。

15.根据权利要求10-14中任一项的设备，其中由第一编码器编码的视频序列的连续帧表现视频序列的第一描述，并且由第二编码器编码的视频序列的连续帧表现视频序列的第二描述。

16.根据权利要求10-14中任一项的设备，其中由第一编码器编码的视频序列的连续帧和由第二编码器编码的视频序列的连续帧表现视频序列的同一描述。

17.根据权利要求10-16中任一项的设备，其中第一编码器和第二编码器适于根据相同的视频编码标准来进行操作。

18.根据权利要求10-16中任一项的设备，其中第一编码器和第二编码器适于根据不同的视频编码标准来进行操作。

19.一种用于对视频序列的连续帧进行解码的方法，包括如下步骤：

通过执行第一解码器的解码操作来对第一视频描述的连续帧进行解码；

通过执行第二解码器的解码操作来对第二视频描述的连续帧进行解码，其中与第一解码器的解码操作相关地在时间上移位第二解码器的解码操作；以及

将第一视频描述的已解码帧和第二视频描述的已解码帧安排为视频序列的一组连续帧。

20.根据权利要求19的方法，其中利用与两个或更多连续帧之间的时间对应的量来在时间上移位第二解码器的解码操作。

21.根据权利要求19或20的方法，其中针对帧内解码操作来进行在时间上所述移位解码操作的步骤。

22.根据权利要求19-21中任一项的方法，其中第一解码器和第二解码器对作为I帧的帧内帧和作为P帧的预测帧进行解码，其中与第一解码器对I帧的解码相关地在时间上移位由第二解码器对I帧的解码。

23.根据权利要求22的方法，其中每个连续帧被分段为作为切片的较小的区域，并仅包括作为P切片的预测切片，或者包括P切片和一个或多个作为I切片的帧内切片的混合，其中I帧和P帧的解码分别构成I切片和P切片的解码。

24.根据权利要求19-21中任一项的方法，其中所述安排步骤包括：

如果第一视频描述和第二视频描述是完全冗余的，则丢弃第一描述的已解码帧或者第二描述的已解码帧；

如果第一视频描述被破坏，则丢弃第一描述的已解码帧；或者

如果第二视频描述被破坏，则丢弃第二描述的已解码帧。

25.根据权利要求24的方法，其中因为被破坏而丢弃帧的步骤基于输出有效性标志的状态，其中每个输出有效性标志与对应的描述相关联，并指明该描述被破坏还是未被破坏。

26.根据权利要求25的方法，其中第一解码器和第二解码器解码作为I帧的帧内帧和作为P帧的预测帧，其中与第一解码器对I帧的解码相关地在时间上移位由第二解码器对I帧的解码，并且其中响应于用于描述的I帧的解码，来将该描述的输出有效性标志设置为未被破坏。

27.根据权利要求19-26中任一项的方法，其中第一解码器和第二解码器根据相同的视频编码标准来进行操作。

28.根据权利要求19-26中任一项的方法，其中第一解码器和第二解码器根据不同的视频编码标准来进行操作。

29.一种用于对视频序列的连续帧进行解码的设备，包括如下步骤：

第一解码器，用于通过执行解码操作来对第一视频描述的连续帧进行解码；

第二解码器，用于通过执行解码操作来对第二视频描述的连续帧进行解码，其中第二解码器被配置为与第一解码器的解码操作相关地在时间上移位它的解码操作；以及

上采样单元，用于将第一视频描述的已解码帧和第二视频描述的已解码帧安排为视频序列的一组连续帧。

30.根据权利要求29的设备，其中第二解码器被配置为利用与两个或更多连续帧之间的时间对应的量来在时间上移位它的解码操作。

31.根据权利要求29或30的设备，其中第二解码器在时间上移位的解码操作是与第一解码器的帧内解码操作相关地在时间上移位的帧内解码操作。

32.根据权利要求29-31中任一项的设备，其中第一解码器和第二解码器适于对作为I帧的帧内帧和作为P帧的预测帧进行解码，其中第二解码器还适于对I帧进行解码，使得与第一解码器所解码的I帧相关地在时间上移位这些I帧。

33.根据权利要求32的设备，其中每个连续帧被分段为作为切片的较小的区域，并仅包括作为P切片的预测切片，或者包括P切片和一个或多个作为I切片的帧内切片的混合，其中用于解码I帧和P帧的第一解码器和第二解码器的适应构成用于解码I切片和P切片的适应。

34.根据权利要求29-31中任一项的设备，其中所述上采样单元适于：

如果第一视频描述和第二视频描述是完全冗余的，则丢弃第一描述的已解码帧或者第二描述的已解码帧；

如果第一视频描述被破坏，则丢弃第一描述的已解码帧；或者

如果第二视频描述被破坏，则丢弃第二描述的已解码帧。

35.根据权利要求34的设备，其中上采样单元包括输出有效性标志，其中每个输出有效性标志与对应的描述相关联，并指明该描述被破坏还是未被破坏。

36.根据权利要求35的设备，其中第一解码器和第二解码器适于解码作为I帧的帧内帧和作为P帧的预测帧，其中第二解码器还适于对I帧进行解码，使得与第一解码器所解码的I帧相关地在时间上移位这些I帧，并且其中上采样单元适于响应于对应解码器指明用于描述的I帧的解码，来将该描述的输出有效性标志设置为未被破坏。

37.根据权利要求29-36中任一项的设备，其中第一解码器和第二解码器适于根据相同的视频编码标准来进行操作。

38.根据权利要求29-36中任一项的设备，其中第一解码器和第二解码器适于根据不同的视频编码标准来进行操作。

Images