CN101374240A - 用于隐藏被解码的媒体单元中的差错的设备和相关方法 - Google Patents

Abstract

本发明涉及用于解码流媒体中的多个被编码的媒体单元的设备(101)。所述设备(101)包括：解码装置(104)，用于解码一个或多个所述被编码的媒体单元，从而生成一个或多个被解码的媒体单元，以及第一隐藏装置(105)，用于隐藏被解码的媒体单元中的至少一个差错，从而生成第一隐藏媒体单元。所述设备(101)还包括第二隐藏装置(106)，用于基于一个或多个第一隐藏媒体单元和/或一个或多个在先生成的第二隐藏媒体单元，生成第二隐藏媒体单元，以及用于选择(110)用于显示的所述第一隐藏媒体单元或所述第二隐藏媒体单元的装置。

Description

用于隐藏被解码的媒体单元中的差错的设备和相关方法

技术领域

本发明主要涉及隐藏媒体流中的差错，例如，隐藏视频或音频流中的差错。流媒体典型地由一些编码的媒体单元或帧组成，其被解码为例如可以被显示给用户的图像或者由用户收听的音频片段。本发明处理这样的媒体单元或帧中的差错，并隐藏当前媒体中的差错。

背景技术

通常任何类型的数据传输都会产生差错，例如，糟糕的传输媒介环境可能会影响数据传输。这种糟糕的环境可能损坏传送的数据，使数据无法送达或影响媒介的比特率。串扰或脉冲噪声经常被认为是数据传输期间的差错的起因。

存在着多种处理这种差错的解决方案。例如，TCP协议中使用的重发方案确保了所有的数据分组都在特定的时间帧内被传送至他们的目的地。如果数据分组在该时间帧内未被送达，发送方将自动地重发该数据分组。因此，如果数据分组无法送达，则该时间帧将届满并且数据分组将被重发。其他的重发的变形是基于明确的重发请求，通过接收方能够追踪接收到的分组并确定哪些分组是丢失的。然后，当这些分组需要被进一步处理时，或者在定时器届满之后，接收方可以请求重发任何丢失的分组。通常，使数据无法送达的数据通信系统能够处理差错。

不同类型的问题是传输的或流数据的损坏。这样的数据可能已经被及时地传送至接收方，但是可能超出了修复的范围。使用差错纠正技术，接收方可以尝试纠正所接收的损坏数据中的任何差错。这种差错纠正技术典型地包括对所传送的数据的冗余比特的附加，所述冗余比特能够用来在接收侧纠正差错。然而，这种技术局限于能被纠正的差错的数量。超过能够被纠正的差错的数量的额外差错，可以被检测到但是不能被纠正。在这种情况下，接收方可以请求损坏的数据分组的重发，以便收到能够被处理的正确的副本。

上文描述的两个解决方案都能处理无法送达或损坏的数据。然而，不是所有类型的数据传输都能够处理丢失的分组，或者由等待纠正或损坏的数据的重发而引入的延迟。一个特定的示例是至重放设备的流动的音频或视频信息。诸如音频或视频的流媒体基于由发送方对部分媒体的传送，以及由接收方接收并对所接收的部分的重放。例如，IP电视(IPTV)网络中的媒体点播服务器可以是所述发送方，机顶盒可以是所述接收方，其接收媒体流并将其传送至电视机用来重放。如果该媒体流的一部分是损坏的，并且需要额外的处理或重传，则其中包含的媒体只有在经过用于重放该部分的规定的时间之后，对于重放才是可用的。例如，如果电影的一部分是损坏的并且需要重传，则在该部分是可用的之前，将花费一些时间。因此，重放设备必须为用户隐藏该丢失的部分。

第一种隐藏一段丢失的或损坏的媒体流的方式是，保持先前的部分直到新的部分或正确的部分是可用的。设想其中由一系列帧组成电影，并且每个帧都构成单独的图像的视频流。如果第一、第二和第四帧被正确地接收，而第三个被丢失，则重放设备可以显示第一帧、随后是第二帧、随后再次显示第二帧、随后是第四帧。由于电影中不存在间隔，例如黑屏，这样便对用户隐藏了丢失的帧。

第二种隐藏一段丢失的或损坏的媒体流的方式是，通过从一个或多个先前部分来计算该丢失的部分。设想与上述具有三个正确的帧和一个丢失的帧相同的情况，重放设备可以显示第一帧、第二帧、由第二帧计算出的第三帧、随后是第四帧。这样，电影中不存在间隔从而对用户隐藏了差错。

作为示例，可以设想运动图像专家组(MPEG，Moving Pictures Experts Group)帧流。MPEG标准规范提供了用于流的视频压缩，以及描述了三种类型的帧:关键帧(I-帧)，前向预测帧(P-帧)和双向预测帧(B-帧)的规范。关键帧包括最多的与图像相关的信息，并且其不依赖于其他帧的信息。MPEG解码器能够没有额外的需求地解码I-帧并显示给用户。P-帧由增加的与先前I-帧的不同组成。MPEG解码器需要与该I-帧和P-帧相关的信息来解码并显示图像。最后，B-帧由与先前的I-帧和随后的P-帧的不同组成。B-帧可以由MPEG解码器用与先前的I-帧或P-帧相关的信息来解码，因此依赖于在解码之前这样的帧的存在。MPEG帧通常存储在起始于I-帧，随后是一个或多个B-帧以及最后是P-帧的组中。这表明每个组能够被单独地解码，并作为多个连续的图像呈现给用户。这样的组被称为“图像组”(GOP，Group Of Pictures)。

对于本领域技术人员来说，显然MPEG编码增加了隐藏差错的复杂性。例如，如果I-帧丢失或损坏，则依赖于该I-帧的一些帧不能被解码或者被不正确地解码。不正确的解码可能导致显示给用户的图像中的可视的失真或伪影(artefact)。上文描述的隐藏方法也可适用于MPEG流。例如，如果帧丢失了，可以通过定格(freezing)或内插(interpolation)来隐藏。然而，取决于丢失或损坏的帧的类型，定格可能花费过长的时间，并且内插可能是不可能的或者可能需要大量的计算。如果I-帧丢失了，解码器不能像I-帧那样解码该同一GOP中的P-帧和B-帧。这可以通过在可能达到一秒或更久的GOP持续期间定格图像来克服。可选地，如果I-帧损坏，则基于纠正的(内插的)I-帧来解码该GOP中的其他帧是可行的。然而，这表明依赖于该纠正的I-帧的任何后续帧，都可能包括与该纠正的I-帧相同或更多的显示差错或伪影。

相同的问题对P-帧和B-帧的作用程度较小。典型地，B-帧仅用于解码单独的图像，这表明定格单独的B-帧或内插B-帧对于用户是不明显或不太明显的。典型地，P-帧用来依赖其中的帧来解码一些帧，但帧数少于整个GOP的帧。这样，在P-帧和对其依赖的B-帧的持续期间的定格可能比定格B-帧明显，但是没有定格I-帧明显。

通常，丢失的帧至少影响该单独的帧的解码，并且可能影响依赖于该丢失帧的后续帧的解码。如果通过定格图像直到新的图像被解码来隐藏丢失的帧，则定格的时间长度取决于丢失的帧的类型，从而对于用户的烦扰也取决于此。如果接收到损坏的帧，则该帧的解码受到影响，并且对该帧进行的任何纠错可能延续到依赖于该损坏的帧的其他帧。这可能导致后续图像中的更多的差错，或显示给用户的图像上的明显的伪影。

本发明的目的是克服上述现有技术中用于基于定格或内插隐藏差错的解决方案的缺陷。本发明的另一个目的是提供一种改进的用于隐藏媒体解码中的差错的方法。本发明的另一个目的是减少流媒体中对用户明显的差错的数量。

发明内容

根据本发明，上述目的通过用于解码流媒体中的多个被编码的媒体单元的设备来实现，所述设备包括解码装置，用于解码一个或多个所述被编码的媒体，从而生成一个或多个被解码的媒体单元，第一隐藏装置，用于隐藏被解码的媒体单元中的至少一个差错，从而生成第一隐藏媒体单元，第二隐藏装置，用于基于一个或多个在先生成的第一隐藏媒体单元和/或一个或多个在先生成的第二隐藏媒体单元，生成第二隐藏媒体单元，以及用于选择所述第一隐藏媒体单元或所述第二隐藏媒体单元的装置，用于显示。

确实，通过隐藏被解码的媒体单元中的差错，以及增加另一个差错隐藏的步骤，呈现给用户的媒体单元在质量上可以被改进。所述选择器具有在用于显示的两个媒体单元的源之间的选择权，而现有技术的解决方案只拥有一个用于显示的媒体单元的源。所述选择其被提供两个不同的媒体单元，并且能够选择最高质量的用于显示的媒体单元。由于可以应用不同的纠正和隐藏方法，或者一个媒体单元可以是另一个的改进的版本，因此上述媒体单元两者可以是不同的质量的。这样的特定的示例是媒体流中的定格在长度上被减少的情况。与将被呈现一秒的单独的媒体单元相比，这种更短的定格将显得更加流畅。对选择器的可用的选择的进一步的优点是，由内插纠正的可能持续通过多个媒体单元甚至可能增加的差错，现在可以被减少了。通过增加隐藏差错的第二步骤，对用户可以隐藏这样的差错或者在数量上减少这样的差错。

根据本发明，被编码的媒体单元被视为一段与封装在被发送给解码设备的数据单元中的媒体流相关的信息。例如，被传送至CPE、机顶盒(STB)或视频重放设备的视频流的各部分组成了被编码的媒体单元。被解码的媒体单元是解码被编码的媒体单元的结果。被编码的媒体单元和/或被解码的媒体单元中的任何缺失(deficiencies)都由传送第一隐藏媒体单元的第一隐藏装置来隐藏。因此，第一隐藏媒体单元由被解码的媒体单元组成，其中差错被纠正或者被隐藏。典型地，被解码的媒体单元可以被呈现给用户，而被编码的媒体单元是其压缩的和/或编码的版本，适合传输但未必是可显示的。所述第一和第二隐藏媒体单元也可以呈现给用户，并且通常不是压缩的和/或编码的。所述被编码的媒体单元还可以包括媒体片段的显示信息和额外的与差错纠正相关的信息。

可选地，根据本发明，在所述设备中，所述第一隐藏装置和/或所述第二隐藏装置可以包括下述中的一个或多个:

-用于定格媒体单元的装置；以及

-用于内插的装置。

定格媒体单元或保持被解码的媒体单元一定的时间长度是一种可行的隐藏差错的方式。定格由保持先前被解码的媒体单元一定的时间长度，来替代解码一个或多个后续被编码的媒体单元组成。定格的结果是音频或视频流看来像是暂停了一定的时间周期。定格的效果可以通过多于一次地解码同一被编码的媒体片段，或者一旦已经被解码就存储该解码的媒体片段并多于一次地使用他用于显示来实现。内插是更加复杂的隐藏方法，通过基于一个或多个在先被解码的媒体单元或被隐藏的媒体单元，来生成隐藏媒体单元。内插可以考虑被解码的媒体单元的图像或音频中的运动(motion)、颜色和位置等部分的改变，并且使用这些来生成与下一个将被解码的图像或音频样本(sample)类似的图像或音频样本。定格对用户可能是明显的，特别是被解码的媒体单元或隐藏的媒体单元被保持较长的时间帧的情况。由于例如视频流的图像被保持以看上去自然的方式移动，特别是在缓慢移动的媒体中，因而内插被认为是较不易被觉察的。

设想下面的示例，如果被编码的媒体单元的解码是不可能的或者不正确的，则所述第一隐藏被配置为定格先前被解码的媒体单元，并且所述第二隐藏被配置为基于在先呈现的媒体单元来内插媒体单元。所述第一隐藏传送可以被显示一次的第一隐藏媒体单元至所述选择器。然后，该第一隐藏媒体单元可由所述第二隐藏功能使用，基于在先呈现的媒体单元，计算第二隐藏媒体单元。这使得与仅通过使用所述第一隐藏来定格的情况相比，媒体流具有更短的带有静态媒体片段的时间帧。

可选地，根据本发明的用于选择的装置可以适于基于质量评估，选择所述第一隐藏媒体单元或所述第二隐藏媒体单元。

而且可选地，根据本发明的用于解码流媒体中的多个被编码的媒体单元的设备，其特征是所述质量评估基于下述中的一个或多个:

-被解码的编码媒体单元的类型；

-所述流媒体中的被解码的编码媒体单元的数量，所述流媒体中至少一个差错被隐藏；以及

-被解码的媒体单元中伪影的数量。

选择器需要标准，基于所述标准作出显示所述第一隐藏媒体单元或所述第二隐藏媒体单元的决定。由于目的是改进所显示的媒体流的质量，因此优选地可以使用质量评估用于所述选择。所述质量评估可以是基于所显示的媒体单元的质量、被编码的媒体单元的质量、被解码的媒体单元的质量或所述第一和/或第二隐藏媒体单元的质量。另外，所述质量评估可以同时考虑几个参数，例如，收到的损坏的编码媒体单元的数量，与损坏的编码媒体单元的类型和到目前为止做出的纠正的数量一起。

另一个可选的根据本发明的用于解码流媒体中的多个被编码的媒体单元的设备是，所述多个被编码的媒体单元可以是相互依存的媒体单元。

而且可选地，所述相互依存的媒体单元可以是媒体图像专家组(MPEG，MediaPicture Experts Group)帧。

通常，相互依存的媒体单元或彼此相关的媒体单元以组的形式被接收。基于特定的媒体单元在该组中的位置，而不是个别的多个媒体单元的质量来考虑每个组的质量是有益的。例如，如果被编码的媒体单元被用作解码一些其他被编码的媒体单元的基础，则当差错被隐藏时，该组中所有的媒体单元的质量可能会被影响。特定的示例是MPEG，其中的帧通过他们的相依性而互相连接。因此，所述质量评估可以基于整个图像组(GOP)。在GOP中，通过对在先的帧定格该丢失的B-帧的持续时间，丢失的B-帧容易被克服，而下一帧可以像正常的那样被解码和使用。然而，丢失的P-帧或I-帧会影响后续帧，这不太容易通过定格单独的帧来克服。

如果媒体项(item)在组中没有合成整体，较少或者在组内独立，或者当处理时间被减少时，使用较不复杂的质量评估用于所述选择是可行的。例如，可以使用简单的计数器来跟踪选择中最后的改变以来到目前为止已经被纠正的差错的数量。这样，用一系列短的定格来隐藏差错是可行的，即，每个媒体单元被保持一个或两个连续的时隙，然后新的媒体被呈现少许时隙。这样，长的定格被切分成不易被用户觉察的短的定格，并且所述选择基于定格的媒体单元被使用的次数。

当然，其他的质量评估也是可行的，例如，在显示的媒体单元中可以存在伪影检测的情形。在这种情况中，可以使用用于伪影的阈值，如果超出该阈值，则可以使用先前解码的媒体单元，第一或第二隐藏媒体单元。

可选地，根据本发明的用于解码多个被编码的媒体单元的设备，其特征在于，所述用于选择的装置包括接口，用以接收来自所述第一隐藏装置的信号。

所述选择器能够执行自己的质量评估以作出选择，或者被以特定的方式编程来选择用于显示的媒体单元。

然而，由于已经存在解码步骤，以及检测和纠正或隐藏差错(所述第一隐藏)的方式，因而使用来自该隐藏的信息作为所述选择器的输入是有益的。这样，作为用于显示的媒体单元的所述选择的基础，所述选择可以基于已经是可用的信息，从而在所述选择器需要较少的时间和工作。除此之外，所述信息也可以使用其他的来自例如所述第二隐藏、解码器自身或者甚至外部源的信息。

本发明还涉及一种用于解码流媒体中的多个被编码的媒体单元的方法，所述方法包括步骤:解码一个或多个所述被编码的媒体单元，从而生成一个或多个被解码的媒体单元，以及隐藏被解码的媒体单元中的至少一个差错，从而生成第一隐藏媒体单元，基于一个或多个在先生成的第一隐藏媒体单元和/或一个或多个在先生成的第二隐藏媒体单元，生成第二隐藏媒体单元，以及选择用于显示的所述第一隐藏媒体单元或所述第二隐藏媒体单元。

附图说明

图1示例性示出根据本发明实施例的一种用户终端设备(CPE)；

图2示例性示出根据本发明的一系列媒体单元和纠正媒体单元。

具体实施方式

图1示例性示出了根据本发明的实施例的CPE 101。该CPE 101是启用视频的CPE，例如用于数字电视的机顶盒，或者用于数字电视的计算机硬件模块或计算机软件应用。图示的显示模块102可以是物理显示器，例如CPE 101连接到的电视机，计算机系统中的显示硬件或者运行在计算机系统上的显示进程。通常，显示装置102用来显示解码的并且可能是被纠正的帧给一个或多个用户。通过用户线103，CPE 101被进一步连接至宽带接入网络。用户线将来自诸如数字电视服务提供商的视频库的视频源的视频信息传送至CPE 101。

CPE 101由解码器104、第一隐藏或与解码器耦合的隐藏模块105、第二隐藏或与显示模块耦合的隐藏模块106组成。解码器104用于解码在用户线103上接收到的帧。此外，解码器104接收来自解码器耦合的隐藏模块105的输入112。解码器耦合的隐藏模块105包括差错检测功能模块/装置107，其像解码器104那样接收来自用户线103的相同的帧，并检测收到的帧中的差错。然后，检测到的差错可以由解码器耦合的隐藏装置105中的差错隐藏功能模块/装置108来纠正。在该特定的示例中，差错隐藏功能模块108被配置为定格帧，以便纠正下一帧中的任何差错。解码器104接收来自与解码器耦合的隐藏模块105的纠正，并考虑该纠正。然后，解码器104将被解码的并且被纠正的帧传送至与显示模块耦合的隐藏模块106。该模块106包括显示隐藏功能模块/装置109。而且，图1示出了选择器110。隐藏功能模块109能够输出图像至选择器110，并接收来自选择器110的输入。来自选择器110的输入可以是，例如，转发至显示模块102的最后的图像。这样，该显示隐藏功能模块109能够明了先前的图像，以便隐藏对显示模块102的输出中的差错。选择器110，在该特定的实施例中由来自与解码器耦合的隐藏模块105的链路111控制，选择哪个图像被发送至显示模块102。其可以从解码器104选择被纠正的或没有被纠正的图像113，也可以从显示隐藏功能模块109选择图像114，图像114可以是先前显示的图像或基于一个或多个先前显示的图像而计算的图像。

图2示例性示出根据本发明的一系列帧。按照一个特定的实施例，该示例使用MPEG帧来描述至显示模块102的输出。对于直至I₂的所有后续的B和P帧，I₁帧是参考帧，对于直至下一个P帧的所有后续的B帧，P帧是参考帧，从而P₁是B₅至B₇的参考。帧201示例性示出能够被正确解码并且不需要纠正或隐藏的普通的帧序列。在帧202中，I₁′是I₁的纠正版本，其用作所有后续帧的参考。以“*”表示的帧是基于被纠正的帧，例如I₁′，而被解码的帧。帧202可能包含伪影，所述伪影在I₂被接收和解码之前可能会增长。然而，帧203示例性示出本发明的装置的效果，通过与显示模块耦合的隐藏模块使用先前显示的图像来隐藏差错。因此，如202中示出的，解码器像通常那样对接收到的帧解码和纠正，然后，与显示模块耦合的隐藏以规则的间隔用先前的图像替换图像。其效果示例性地在203中示出，其中B1属于先前图像组中并被正确解码的帧，I₁′是第一个被纠正的帧。替代使用基于I₁′而被纠正的B2版本，与显示模块耦合的隐藏再次使用I₁′用来显示，然后B3^*被使用两次等等。这显示较少的纠正帧被显示给用户。这样，可见的伪影变少，这提高了视频流的质量。作为参考，普通的定格视频流在204中示出，其中，所有具有差错的或者被重建的帧均以最后正确的帧替代，在这种情况中是B₁。显然，根据本发明的差错隐藏将定格的时间长度从204所示的整个GOP减少为203所示的几个帧的时间长度。这样，视频中的静止图像在时间长度上被显著地减少。

虽然已通过参考特定的实施例示例性说明了本发明，但是对于本领域技术人员来说，显然本发明不局限于前述示例性说明的实施例的细节，并且本发明可以以各种改变和修改来实施而不背离其精神和范围。因此，前述实施例从所有方面均应被视为示例性的而非限制性的，本发明的保护范围由所附的权利要求来说明，而不是前面的描述，落在与所述权利要求等价的含义和范围内的所有的改变均被视为包括在所述范围内。换句话说，预期覆盖了落在基本原则的精神和范围内的任何和所有的修改、变形或等价方式，所述基本原则的本质特征在本专利申请中被请求保护。而且，本专利申请的读者可以理解用语“组成”或“包括”并不排除其他的元件或步骤，用语“一个”并不排除多数的情况，单独的元件，例如计算机系统、处理器或另一个集成单元可以实现权利要求中所述的几个装置的功能。权利要求中的任何参考标记均不构成对各自权利要求的限制。当在说明书或权利要求中使用“第一”、“第二”、“第三”等用语时，其被引入以便在相似的原件或步骤之间加以区分，未必是描述连续的或时间上的顺序。

Claims (8)

1.一种用于解码流媒体中的多个被编码的媒体单元的设备(101)，所述设备包括:

-解码装置(104)，用于解码一个或多个所述被编码的媒体单元，从而生成一个或多个被解码的媒体单元；以及

-第一隐藏装置(105)，用于隐藏被解码的媒体单元中的至少一个差错，从而生成第一隐藏媒体单元；

其特征在于，所述设备还包括:

-第二隐藏装置(106)，用于基于一个或多个在先生成的第一隐藏媒体单元和/或一个或多个在先生成的第二隐藏媒体单元，生成第二隐藏媒体单元；以及

-用于选择(110)用于显示的所述第一隐藏媒体单元或所述第二隐藏媒体单元的装置。

2.根据权利要求1所述的用于解码流媒体中的多个被编码的媒体单元的设备(101)，其特征在于，所述第一隐藏装置(105)和/或所述第二隐藏装置(106)包括下述中的一个或多个:

-用于定格媒体单元的装置；以及

-用于内插的装置。

3.根据权利要求1所述的用于解码流媒体中的多个被编码的媒体单元的设备(101)，其特征在于，所述用于选择(110)的装置适合基于质量评估来选择所述第一隐藏媒体单元或所述第二隐藏媒体单元。

4.根据权利要求3所述的用于解码流媒体中的多个被编码的媒体单元的设备(101)，其特征在于，所述质量评估基于下述中的一个或多个:

-被解码的编码媒体单元的类型；以及

-所述流媒体中的被解码的编码媒体单元的数量，其中至少一个差错被隐藏；

-被解码的媒体单元中伪影的数量。

5.根据权利要求1所述的用于解码流媒体中的多个被编码的媒体单元的设备(101)，其特征在于，所述用于选择(110)的装置包括接口(111)，用以接收来自所述第一隐藏装置(105)的信号。

6.根据权利要求1所述的用于解码流媒体中的多个被编码的媒体单元的设备(101)，其特征在于，所述多个被编码的媒体单元是互相依存的媒体单元。

7.根据权利要求6所述的用于解码流媒体中的多个被编码的媒体单元的设备(101)，其特征在于，所述相互依存的媒体单元是媒体图像专家组(MPEG)帧。

8.一种用于解码流媒体中的多个被编码的媒体单元的方法，所述方法包括步骤:

-解码一个或多个所述被编码的媒体单元，从而生成一个或多个被解码的媒体单元；以及

-隐藏被解码的媒体单元中的至少一个差错，从而生成第一隐藏媒体单元；

其特征在于，所述方法还包括步骤:

-基于一个或多个在先生成的第一隐藏媒体单元和/或一个或多个在先生成的第二隐藏媒体单元，生成第二隐藏媒体单元；以及

-选择用于显示的所述第一隐藏媒体单元或所述第二隐藏媒体单元。

Images