CN103262543A - 用于视频解码的数据丢失隐蔽 - Google Patents

Abstract

一种系统包括：接收器，其用于通过损耗介质接收视频信号；解码器，其被耦合至接收器并且被布置成解码视频信号用以输出至显示器，该解码器包括隐蔽模块，其用于通过以下方式来再生从所述介质上的视频信号中丢失的图像数据部分：根据通过所述介质接收的视频信号的其他图像数据进行内插或外插。该解码器包括控制器，其被配置成基于针对所述图像数据部分估计的丢失效应度量选择是否（i）应用隐蔽模块以再生所述图像数据部分，或可替代地（ii）冻结视频信号的先前图像数据以代替所述图像数据部分。

Description

用于视频解码的数据丢失隐蔽

技术领域

本发明涉及当解码通过诸如分组交换网络之类的损耗介质接收的视频信号时数据丢失的隐蔽。

背景技术

通过不可靠信道的视频传输自然会导致某些帧丢失，或者一帧内的某些数据丢失（例如某些块或宏块）。举例而言，该丢失可能是在信道横穿分组交换网络的情况下因分组丢失而导致，或者可能是因由噪声或干扰引起的数据损坏而导致。

经编码的视频流典型地包括两种类型的视频帧：关键帧和间帧。关键帧（有时也被称作内帧）基于来自仅当前的视频帧本身内部的信息而被压缩（即，使用帧内预测，类似静态图像编码）。另一方面，间帧使用流内的前一帧的知识而被压缩，并且允许当情景具有相对小变化时高效得多的压缩，因为仅帧间差值需要被编码和传输。帧间编码对于诸如静态背景下讲话的头像（典型地在视频会议中）之类的情况而言尤其高效。取决于分辨率、帧速率、比特率和情景，内帧可以高达间帧的20-100倍。另一方面，间帧对先前的帧施加依赖关系。如果那些帧中的任何帧丢失，那么所有后续间帧将不会被正确地解码。

由于这些原因，如图1a中示意性图示的那样，典型的视频流包括周期性地交织于较大数量的间帧（p）之间的较小数量的关键帧（K）。在分组丢失的情况下，关键帧K允许丢失的编码状态恢复。关键帧允许接收器周期性地用“绝对”数据更新它的解码状态，而不依赖相对于先前帧的解码，因此避免因分组丢失导致的可能另外传播的错误。

用于恢复解码状态的其他技术也可以被使用，例如，由解码器或接收器请求从编码器或传输器重传丢失的数据。

然而，在解码器等待丢失状态被恢复的同时，期望的是解码器能够继续解码并且基于当前解码状态的近似值播放一些视频。

一种简单的方法是冻结最后被成功解码的帧，直到恢复是可能的。然而，现代的视频解码器通过应用隐蔽算法而采用了更加复杂的方法。当图像数据的一部分从视频信号中丢失时，典型的隐蔽算法通过使用图像数据的先前的和/或邻近的部分来外插或内插丢失的部分而工作。这里的内插意指在接收到的数据点之间生成新的替代数据；而外插意指生成延伸至接收到的数据点之外的新的替代数据。无论哪一种方式，隐蔽算法因此能够根据一个或多个其他接收到的图像数据部分对丢失的图像数据的估计进行再生。

隐蔽算法可以基于时间和/或空间操作。在图1b中示意性地图示了时间隐蔽算法。如图所示，该隐蔽算法可以估计出：图像数据的一部分可以根据一个或多个先前的数据部分的参数来进行外插，例如通过估计出丢失的帧F(t)将以根据一个或多个先前帧F(t-1)的运动矢量来进行外插的方式继续移动。在图1c中示意性地图示了空间隐蔽算法。在此情况下，可以估计出从一帧内的某个位置(x,y)丢失的图像数据的一部分可以根据一个或多个邻近或靠近的部分的参数来进行内插，例如通过估计出丢失的宏块将以根据邻近宏块的运动矢量来进行内插的方式移动。更一般地，所丢失的图像数据可以根据任何一个或多个在空间或时间上适当靠近的图像部分的参数来进行内插或外插。也存在将两种原理组合的空间-时间算法。隐蔽算法的各种示例将被本领域技术人员所熟知。

发明内容

现有的隐蔽算法的问题在于，所感知的隐蔽功效取决于视频内容而大有不同。然而，不管所感知的功效如何，就执行所需的处理循环的数目而言，该算法仍然招致显著的处理负担。事实上，发明人认识到在一些情境下，可能优选的是简单地冻结先前帧或图像部分，而非招致试图隐蔽的处理成本。

本发明通过估计在发生一个或多个特定帧或图像数据部分丢失时的隐蔽过程的功效来解决这个问题。在（一个或多个）丢失事件之后，该估计于是被用于就如下情况做出决定：是否应当利用隐蔽来解码特定帧或图像部分，或反之是否应当冻结解码过程例如直到恢复是可能的。

根据本发明的一个方面，提供了一种系统，该系统包括：接收器，其用于通过损耗介质接收视频信号；解码器，其被耦合至接收器并且被布置成解码视频信号用以输出至显示器，该解码器包括隐蔽模块，其用于通过以下方式来再生从所述介质的视频信号中丢失的图像数据部分：根据通过所述介质接收的视频信号的其他图像数据进行内插或外插；并且其中该解码器包括控制器，其被配置成基于针对所述图像数据部分估计的丢失效应的度量选择是否（i）应用隐蔽模块以再生所述图像数据部分，或可替代地（ii）冻结视频信号的先前的图像数据以代替所述图像数据部分。

在实施例中，所述系统可以包括编码器，其被布置成编码视频信号；传输器，其被布置成通过所述介质将视频信号传输至接收器；以及编码器侧（encoder-side）估计模块，其被配置成基于在通过所述介质传输与丢失之前的所述图像数据部分的知识来估计所述丢失效应度量。

编码器可以被配置成将该丢失效应用信号告知解码器以供控制器在做出所述选择时使用。

编码器可以被配置成基于丢失效应度量确定关于是否应用隐蔽模块的隐蔽决定，以及将该隐蔽决定用信号告知解码器以供控制器在做出所述选择时使用。

编码器侧估计模块可以被配置成基于所述图像数据部分的未编码版本来估计丢失效应度量。

编码器侧估计模块可以包括解码器的并行实例，并且可以被配置成通过比较所述图像数据部分的未编码版本与通过隐蔽模块的实例对所述图像数据部分的模拟再生来估计所述丢失效应度量。

编码器侧估计模块可以包括解码器的被布置用于在处理器的不同的相应并行执行单元上执行的多个并行实例，每一个实例被配置成通过比较图像数据的相应未编码部分与通过隐蔽模块的相应实例对该部分的模拟再生来估计所述丢失效应度量。

编码器侧估计模块可以被配置成基于所述图像数据部分的未编码版本与视频信号的先前的未编码图像数据之间的差值来估计所述丢失效应度量。

编码器侧估计模块可以被配置成基于用来编码所述图像数据部分的编码参数来估计所述丢失效应度量。

编码参数可以包括所述图像数据部分的运动矢量。

编码器侧估计模块可以被配置成在编码之后但在传输之前基于所述图像数据部分的编码版本估计所述丢失效应度量。

编码器侧估计模块可以被配置成基于以下之一来估计所述丢失效应度量：图像数据部分的大小、图像数据部分的Q参数、运动估计数据量与图像数据部分中剩余数据量的比值、图像数据部分中运动矢量的位置以及图像数据部分中运动矢量的大小。

在实施例中，系统可以包括解码器侧（decoder-side）估计模块，其可以被配置成在由接收器接收之后基于视频信号估计所述丢失效应度量。

解码器侧估计模块可以被配置成在由解码器解码之前基于视频信号确定所述丢失效应度量。

解码器侧估计模块可以被配置成基于通过所述介质丢失的图像数据部分的大小来估计所述丢失效应度量。

所述图像数据部分可以包括视频信号的一帧内引用（reference）另一丢失帧的若干个区域，并且解码器侧估计模块可以被配置成基于所述若干个区域来确定所述丢失效应度量。

在实施例中，解码器可以被配置成发动恢复操作并且被配置成在恢复期间应用隐蔽或冻结中的所选择的一个。

在本发明的一个应用中，所述损耗介质可以包括分组交换网络。

根据本发明的又一个方面，可以提供一种系统，该系统包括：编码器，其被布置成编码视频信号以便传输；传输器，其用于通过损耗介质将视频信号传输至解码器，该解码器具有隐蔽模块以用于通过根据所述介质上接收的视频信号的其他图像数据进行内插或外插来再生从所述介质上的视频信号中丢失的图像数据部分；以及编码器侧估计模块，其被配置成基于在通过所述介质传输及丢失之前所述图像数据部分的知识来估计针对所述图像数据部分的丢失效应度量；其中传输器被布置成将与所述丢失效应有关的信息用信号告知解码器，从而使得解码器能够选择是否（i）应用隐蔽模块以再生所述图像数据部分，或可替代地（ii）冻结视频信号的先前的图像数据以代替所述图像数据部分。

根据本发明的另一个方面，可以提供一种方法，该方法包括：通过损耗介质接收视频信号；以及使用解码器解码视频信号用以输出至显示器，该解码器包括隐蔽模块，其用于通过根据所述介质上接收的视频信号的其他图像数据进行内插或外插来再生从通过所述介质的视频信号中丢失的图像数据部分；其中所述解码包括基于针对所述图像数据部分估计的丢失效应度量选择是否（i）应用隐蔽模块以再生所述图像数据部分，或可替代地（ii）冻结视频信号的先前的图像数据以代替所述图像数据部分。

根据本发明的另一个方面，可以提供一种方法，该方法包括：操作编码器以编码视频信号以便传输；通过损耗介质将视频信号传输至解码器，该解码器具有隐蔽模块，其用于通过根据在所述介质上接收的视频信号的其他图像数据进行内插或外插来再生从通过所述介质的视频信号中丢失的图像数据部分；操作编码器侧估计模块以基于在通过所述介质传输及丢失之前所述图像数据部分的知识来估计针对所述图像数据部分的丢失效应度量；以及将与所述丢失效应有关的信息用信号告知解码器，从而使得解码器能够选择是否（i）应用隐蔽模块以再生所述图像数据部分，或可替代地（ii）冻结视频信号的先前的图像数据以代替所述图像数据部分。

根据本发明的另一个方面，可以提供一种计算机程序产品，其包括体现在非瞬态计算机可读介质上的代码并且该代码被配置成当在处理设备上执行时执行根据上述系统或方法特征中的任意一个的操作。

附图说明

为了更好地理解本发明并展示其可以如何被付诸实施，以示例的方式参考附图，其中：

图1a是编码视频流的示意性图示，

图1b是时间隐蔽算法的示意性图示，

图1c是空间隐蔽算法的示意性图示，

图2a是解码器侧装置的示意性框图，

图2b是编码器侧装置的示意性框图，以及。

图2c是编码器的示意性框图。

具体实施方式

如所讨论的那样，当前系统可以采用两种技术之一：

（i）解码所有帧，包括通过在发生丢失时使用隐蔽算法。在丢失之后，初始化恢复并在恢复时间期间依靠隐蔽。

（ii）在丢失事件之后不解码。相反，在丢失事件之后启动恢复并冻结屏幕上最后的良好帧。

（恢复可以例如包括接收器从传输器请求丢失的分组或帧, 或者仅仅等待下一个关键帧）。

第一技术（i）可以在某些情况下提高视频的感知质量，但也会招致高的处理负担且不总是有效。第二技术（ii）招致相对小的处理成本但不大可能不被观看者注意到。另一方面，在第一技术（i）无效的情况下，第二技术（ii）在观看者角度看来可能似乎不会更坏，或甚至可能似乎更好。

在下面的实施例中，本发明通过以下方式实现了两种技术的益处：估计在数据的一部分丢失且通过隐蔽再生的情况下将经受的丢失效应，然后使用该估计以在隐蔽与简单的冻结之间切换。这有利地在可能的情况下使用隐蔽向观看者呈现流体运动，但会在估计出在屏幕上解码错误程度将被实际感知为比仅仅冻结最后的良好帧更坏时冻结该视频。

对图像数据特定部分的丢失效应估计是当通过采用隐蔽算法的解码器解码视频信号的情况下那部分的丢失将对观看者的感知产生的效应度量。如将在下文中更详细地论述，发明人已开发出可以用于估计丢失效应的多种不同的选项，它们或在系统的编码器侧或在系统的解码器侧。这些将马上得以描述，但首先参考图2a和2b描述用于解码器侧装置和编码器侧装置的示例性架构。

如在图2a中所示，解码器侧装置包括接收器104，其被布置成通过诸如分组交换网络之类的、容易发生诸如分组丢失或数据损坏（到无法通过纠错码纠正的程度或类似情况）之类丢失的损耗传输介质102接收编码的视频信号（e）。例如，接收器104可以包括有线或无线调制解调器。编码的视频信号包括压缩的视频数据和环境协议，该环境协议包含元信息，比如定时、成帧和使得丢失能够被标识的信息。一个示例是实时传输协议（RTP），然而其他适当的协议也将为本领域技术人员所熟悉。

接收器104的输出端被耦合到接收缓冲器106（有时被称作抖动缓冲器）的输入端，该接收缓冲器用于缓冲视频信号的一个或多个帧的块或宏块。然后，该接收缓冲器106的输出端被耦合到解码器108的输入端，该解码器被布置成解码视频信号。解码器例如可以根据ISO标准H.264或其他标准实现。解码器108包括解码算法形式的解码模块，其被布置成在如上所述的解码过程期间再生丢失的数据。解码器108的输出端转而被耦合到播放缓冲器110的输入端以缓冲用于播放的帧。最终，播放缓冲器110的输出端被耦合到显示屏幕112的输入端，用于显示解码的视频。

编码器侧装置被示出在图2b中。这里，诸如网络摄像机之类的视频相机208的输出端被耦合到编码器206的输入端，该编码器编码从相机208接收的视频信号。作为示例，编码器可以按照ISO标准H.264实现。解码器206的输出端被耦合到诸如有线或无线调制解调器之类的传输器204的输入端，以便通过分组交换网络102将编码的视频信号（e）传输到接收器104。

回到图2a，接收侧（receive-side）装置还包括耦合到接收缓冲器106和解码器108的控制器107，其被如此布置以访问关于接收缓冲器106的内容的信息，并由此确定是否数据在传输中已丢失以及如果情况如此，在适当的时候应用隐蔽算法。例如，诸如RTP之类的协议可以包括分组序列号以允许检测丢失的分组，和/或允许检测错误的冗余数据。当检测到分组丢失或不可纠正的错误时，控制器106可以应用隐蔽算法。

根据本发明的实施例，控制器107也被配置成基于丢失效应度量选择是否（i）在第一模式下操作，其中它应用隐蔽算法以便设法再生丢失的数据，或改为是否（ii）在可替代的第二模式下操作，其中它简单地冻结先前帧直到恢复是可能的。也就是说，本发明不仅检测是否存在丢失，还确定关于该丢失将被感知的程度的某些信息，并且，基于该确定，控制器107选择减轻所述丢失的最好的方式。

在传输和/或接收器链中存在若干可以实现用于估计丢失效应的模块的位置，这些位置在图2a和2b中由部件105、109、111、205和/或207表示。

设置估计模块的最有效的位置是在编码器206处（在图2b中由部件207示出），因为编码器206有权访问来自相机208的原始视频以及解码器的所有内部状态。可以独立地或组合地使用几种技术如下。

一种这样的技术通过在编码器206（包括隐蔽算法的并行实例）内运行解码器的并行实例来实现。该并行实例可以被用来模拟特定的一个或多个帧或帧切片的丢失。编码器侧估计模块207于是通过将模拟的结果与原始未编码的数据进行比较来计算丢失效应，从而以差值的方式测量该丢失效应（例如基于MSE、PSNR或其他错误度量）。差值越大，该帧或切片丢失时的隐蔽将越低效。编码器206可以将该差值用信号告知接收侧的控制器107（例如以侧信息形式在视频流中传输），这可以被认为是编码视频的元信息的附加部分。要注意，编码器206可以被配置成确保指示丢失效应的侧信息在与所涉及的帧、块或视频数据部分不同的网络层协议分组中传输，以使得如果在网络上遇到分组丢失，那么关于所估计的丢失效应的所需指示本身未丢失且因此而变得无意义。然而，在意图仅是处理分组内一些数据的损坏的实施例中，或实际上在不基于分组的介质的情况下，这不是绝对所需的。

在发生丢失时已接收到相关的侧信息后，控制器107则可以在差值低于一定阈值的条件下选择应用隐蔽算法。可替代地（且从根据信令开销的观点更优选地），编码器侧估计模块207可以决定差值是否高于或低于阈值并且仅将该决定作为侧信息用信号告知控制器107。图2a中示出了在接收的视频流与控制器107之间的线105，以示出侧信息的信号传输。

该技术给出了对丢失效应的最精确的估计。丢失历史可以从1帧到N帧，并且任何可能的丢失模式都能被评估。这里仅有的限制将是可用的计算功率以及内存量。

在特别优选的实施例中，解码器的多个实例可以并行地在编码侧运行，以使得能够并行地计算不同或多个丢失的效应的估计，例如，其中多个处理器或单个处理器内核可用。

在图2c中示意性地图示了该构想，其中编码器206包括编码块220和解码器的两个或更多个复制实例224。编码块220具有被布置成接收未编码的视频流的输入端并且被配置成使用诸如帧间或帧内预测编码之类的常规技术来压缩视频。编码块220的输出端然后被耦合到丢失模拟器226的输入端，丢失模拟器226具有连接到多个解码器实例224 中的每一个的相应输入端的多个输出端。丢失模拟器226被配置成利用编码块220的输出来驱动这些解码器实例224，但是对于不同的实例应用不同的丢失情境，例如，利用在发生特定分组丢失或不可纠正的数据损坏错误时将丢失的缺失块或帧。编码器206中的每个解码器实例224 也被布置成接收未编码视频的相应部分，并且被配置成比较未编码视频与已应用了模拟丢失的解码视频，以及由此以上述方式确定丢失效应或隐蔽决定的指示并且输出该指示用于作为侧信息传输。编码块220的输出端和多个解码器实例224的多个输出端被耦合到复用器222的多个输入端，该复用器222被配置成将由于解码器实例224执行的比较而产生的侧信息进行交织。

在优选的实施方案中，当其中编码器206被布置用于在具有支持并行执行的架构的处理器上执行时，解码器实例224中的每一个可以在该处理器的单独相应的并行执行单元上实现。

还要注意，为了模拟丢失效应目的而在编码器206中实现的解码器的一个或多个实例224不一定需要是解码器侧的实际解码器108的精确拷贝。在可替代的实施例中，可以在复制的（多个）实例224中使用解码器108的较低的复杂度近似值，以便减少由编码器206招致的处理负担。更进一步地，要注意，也可以涉及有另一种无损编码级，比如熵编码器（图2c中未示出）。例如，熵编码器可以被放置在第一编码模块220和复用器222之间，或者在复用器222之后。然而，当提及为了估计丢失效应目的编码和解码时，这优选地不包括熵编码和解码等等。解码器实例224优选地不包括熵解码等等。

回到图2b的总图，可以替换地或附加地由编码器侧估计模块207使用的另一种技术是推导出成就可能的隐蔽功效的矩阵链接的编码参数。可以由编码器侧估计模块207测量的这种参数的一些示例如下。

a）运动矢量：在当前帧中正在发生的运动越多，则未来帧将对该当前帧已丢失越敏感，并且因此隐蔽算法的有效性将越低。

b）当帧被分割成多个子分支（比如宏块）时，可能的是计算当前宏块与前一个相应宏块（或甚至前推的更多）的一个或多个参数之间的差值（即，残差）。这将给出如下思想：先前的图像数据如何不同于当前的数据，以及因此通过尝试没有它而继续解码将有多少信息丢失。该差值越大，则隐蔽算法的有效性将越低。

c）当前的和在前的图像数据之间的任何广义差值。再次，这给出了对当前图像数据重要性的估计（差值越大，意味着重要性越大并且因此隐蔽的有效性越低）。

d）不同帧的宏块之间的差异度量，但是仅考虑在运动估计中使用的宏块。它们从一帧到另一帧的改变越多，则那些帧越重要并且隐蔽有效的可能性越小。

在选项（a）的情况下，帧内运动量的度量（例如，就一个或多个运动矢量的大小、位置和/或数量而言）可以被用作丢失效应的度量并且被与阈值比较以确定是否隐蔽算法将是值得做的。在选项（b）到（d）的情况下，使用差值。运动越多或差值越大，则隐蔽算法的有效性相比于简单地冻结先前帧而言可能越低。再次，编码器206可以将这些编码参数或差值用信号告知控制器107以与阈值比较，或者更优选地，编码器侧估计模块207可以在编码端做出阈值决定并且将该决定用信号告知接收侧控制器107。

设置估计模块的下一个最有效的位置是恰好在编码器206之后（在图2b中由部件205示出）。例如，考虑诸如纳入了硬件编码器的相机之类的平台，其中仅有编码的信号可用。关于潜在丢失效应的一些线索仍然可以被推导出。可以在不需要熵解码的情况下在编码器侧估计模块205中测量到的这种线索的一些示例如下。

e）帧的相对大小（就位数或字节数等而言的数据量）。编码该帧（相对于编码流中的其他帧）所需要的数据越多，则它可能更重要，并且因此隐蔽算法将会有效的可能性越小。

f）Q参数。如果该参数对于帧而言正好减小，则这可能意味着该帧正好是在改善质量并且正在发生的运动不多。然而，如果它增加了，则发生了显著的事情，使得特定的帧更重要（并且因此隐蔽的有效性更低）。

g）如果特定的平台具有足够的CPU功率和内存用以部分地解码该编码的视频，则编码器侧估计模块207可以产生关于运动/残差比率的更智能的估计，例如甚至确定运动矢量的位置和大小。再次，将有一个选项是例如在多个内核上并行地运行多个解码器实例。

再次，编码器206可以将这些参数或差值用信号告知控制器107以与阈值比较，或者更优选地，编码器侧估计模块205可以在编码端做出阈值决定并且将该决定用信号告知接收侧控制器107。

选项（a）到（g）中的任一项或所有项可以一起使用以给出丢失效应的总体度量。

设置估计模块的一个可替代位置是恰好在解码侧的解码器108之前（在图2a中由部件109作为控制器209的一部分示出）。这里的问题在于帧或分组已经丢失，因此无法进一步深入内部查明。然而，丢失数据的总大小（即，就位数或字节数等而言的所丢失的数据量）和/或丢失帧的数量仍然可以根据传输协议中的信息获知或仍然可以被估计出。因此，解码器侧估计模块109仍然能够基于丢失数据量确定丢失效应的估计，以及基于此能够决定继续解码后续帧是否可能会给出有效的隐蔽。丢失的数据越多，则隐蔽将会有效的可能性越小。

估计模块的另一个可能的位置是在解码器208本身的内部（在图2a中由部件111示出）。在一个这样的示例中，解码器侧估计模块111可以查明特定宏块正在引用哪些帧，即，它相对于哪个帧被编码（在正变得日益普及的多参考情境中）。因此，可能的是在当前帧中仅有少数宏块是相对于丢失的参考帧编码的，并且之后将仍然可能在对当前帧产生相对较小的影响之下解码当前帧。

应当领会以上实施例是仅以示例的方式加以描述的。

例如，上文所描述的用于测量丢失效应的选项中没有一项是相互排他的，并且这些选项中的任一项或所有项可以一起使用以给出丢失效应的总体度量。而且，本发明不限于这些选项并且可以使用其他丢失效应度量，只要它们反映所感知的隐蔽功效。用来选择是否进行隐蔽或冻结的阈值或其他条件不是固定的并且可以依据特定的系统设计或应用变化。而且，如上所述，丢失效应的估计可以在传输侧和/或接收侧执行，并且隐蔽决定本身可以在传输侧和/或接收侧执行。

接收缓冲器106和播放缓冲器110中的每一个都可以被实现为通用存储单元的区域或被实现为专用寄存器。解码器108（包括隐蔽模块）、控制器107、编码器206以及估计模块109、111、205和207中的每一个都优选地以存储在诸如闪存或硬盘驱动器之类的存储介质上并且被布置用于在处理器上执行的软件来实现。然而，不排除将这些部件中的一个或多个的选项全部或部分地以专用硬件方式实现。

编码器206和解码器108可以根据ISO标准H.264实现，但不限于这些实现方式并且其他合适的解码器将被本领域技术人员所知。类似地，本发明不限于任何特定的隐蔽算法，并且各种适合的示例将被本领域技术人员所知。

尽管以上已经关于帧或帧的宏块进行描述，但是这些术语不旨在限制本发明的适用性。更一般地，正在讨论的所述图像数据部分可以是帧或帧内的子分支，并且该子分支可以是切片、宏块或块、或视频信号的任何其他的分支或子分支。

术语“内插”和“外插”不旨在限于任何特定的数学运算，而是总体而言可以指任何用于通过根据其他空间和/或时间上靠近的图像数据进行近似而再生丢失数据的技术（与仅冻结过往数据相反）。

而且，“丢失”不一定需要指完全不存在，而是相反可以意指仅帧、宏块、块或其他图像部分的一些数据丢失；和/或意指正在讨论的所述图像数据被损坏，而非不存在。

给定本文中的公开内容，其他变形对本领域技术人员而言可以是清楚明白的。本发明不由所描述的实施例限定，而是仅由所附权利要求限定。

权利要求书(按照条约第19条的修改)

1.一种系统，包括：

编码器，其被布置成编码视频信号以便传输；

传输器，其用于通过损耗介质将视频信号传输至解码器，该解码器具有隐蔽模块，其用于通过以下方式来再生从通过所述介质的视频信号中丢失的图像数据部分：根据通过所述介质接收的视频信号的其他图像数据进行内插或外插；以及

编码器侧估计模块，其被配置成基于在通过所述介质传输及丢失之前所述图像数据部分的知识来估计针对所述图像数据部分的丢失效应度量；

其中所述传输器被布置成将关于所述丢失效应的信息用信号告知所述解码器，从而使所述解码器能够选择是否（i）应用隐蔽模块以再生所述图像数据部分，或可替代地（ii）冻结视频信号的先前的图像数据以代替所述图像数据部分。

2.一种方法，包括：

操作编码器以编码用于传输的视频信号；

通过损耗介质将视频信号传输至解码器，该解码器具有隐蔽模块，其用于通过以下方式来再生从通过所述介质的视频信号中丢失的图像数据部分：根据通过所述介质接收的视频信号的其他图像数据进行内插或外插；

操作编码器侧估计模块用以基于在通过所述介质传输及丢失之前所述图像数据部分的知识来估计针对所述图像数据部分的丢失效应度量；以及

将关于所述丢失效应的信息用信号告知所述解码器，从而使所述解码器能够选择是否（i）应用隐蔽模块以再生所述图像数据部分，或可替代地（ii）冻结视频信号的先前的图像数据以代替所述图像数据部分。

3.根据权利要求1的系统或权利要求2的方法，其中所述编码器被配置成将该丢失效应用信号告知所述解码器以供在做出所述选择时使用。

4.根据权利要求1的系统或权利要求2的方法，其中所述编码器被配置成基于所述丢失效应度量来确定关于是否应用隐蔽模块的隐蔽决定，以及被配置成将该隐蔽决定用信号告知所述解码器以供在做出所述选择时使用。

5.根据权利要求1、2、3或4的系统或方法，其中所述编码器侧估计模块被配置成基于所述图像数据部分的未编码版本来估计所述丢失效应度量。

6.根据权利要求5的系统或方法，其中所述编码器侧估计模块包括所述解码器的并行实例，并且被配置成通过比较所述图像数据部分的未编码版本与由所述隐蔽模块的实例对所述图像数据部分的模拟再生来估计所述丢失效应度量。

7.根据权利要求6的系统或方法，其中所述编码器侧估计模块包括所述解码器的被布置用于在处理器的不同的相应并行执行单元上执行的多个并行实例，每一个被配置成通过比较图像数据的相应未编码部分与由所述隐蔽模块的相应实例对该部分的模拟再生来估计所述丢失效应度量。

8.根据权利要求5的系统或方法，其中所述编码器侧估计模块被配置成基于所述图像数据部分的未编码版本与视频信号的先前的未编码图像数据之间的差值来估计所述丢失效应度量。

9.根据权利要求1、2、3或4的系统或方法，其中所述编码器侧估计模块被配置成基于用来编码所述图像数据部分的编码参数来估计所述丢失效应度量，其中所述编码参数包括所述图像数据部分的运动矢量。

10.根据权利要求1、2、3或4的系统或方法，其中所述编码器侧估计模块被配置成在编码之后但传输之前基于所述图像数据部分的编码版本来估计所述丢失效应度量，其中所述编码器侧估计模块被配置成基于以下之一来估计所述丢失效应度量：所述图像数据部分的大小、所述图像数据部分的Q参数、运动估计数据量与所述图像数据部分中残余数据量的比值、所述图像数据部分中运动矢量的位置，以及所述图像数据部分中运动矢量的大小。

Claims (59)

1. 一种系统，包括：

接收器，其用于通过损耗介质接收视频信号；以及

解码器，其被耦合至所述接收器并且被布置成解码视频信号用以输出至显示器，该解码器包括隐蔽模块，其用于通过以下方式来再生从通过所述介质的视频信号中丢失的图像数据部分：根据通过所述介质接收的视频信号的其他图像数据进行内插或外插；

其中该解码器包括控制器，其被配置成基于针对所述图像数据部分估计的丢失效应度量选择是否（i）应用隐蔽模块以再生所述图像数据部分，或可替代地（ii）冻结视频信号的先前的图像数据以代替所述图像数据部分。

2. 根据权利要求1的系统，包括：编码器，其被布置成编码视频信号；传输器，其被布置成通过所述介质将视频信号传输至接收器；以及编码器侧估计模块，其被配置成基于在通过所述介质传输及丢失之前所述图像数据部分的知识来估计所述丢失效应度量。

3. 根据权利要求2的系统，其中所述编码器被配置成将该丢失效应用信号告知所述解码器以供所述控制器在做出所述选择时使用。

4. 根据权利要求2的系统，其中所述编码器被配置成基于所述丢失效应度量确定关于是否应用隐蔽模块的隐蔽决定，以及被配置成将该隐蔽决定用信号告知所述解码器以供所述控制器在做出所述选择时使用。

5. 根据权利要求2、3或4的系统，其中所述编码器侧估计模块被配置成基于所述图像数据部分的未编码版本来估计所述丢失效应度量。

6. 根据权利要求5的系统，其中所述编码器侧估计模块包括所述解码器的并行实例，并且被配置成通过比较所述图像数据部分的未编码版本与通过所述隐蔽模块的实例对所述图像数据部分的模拟再生来估计所述丢失效应度量。

7. 根据权利要求6的系统，其中所述编码器侧估计模块包括所述解码器的被布置用于在处理器的不同的相应并行执行单元上执行的多个并行实例，每一个被配置成通过比较图像数据的相应未编码部分与通过所述隐蔽模块的相应实例对该部分的模拟再生来估计所述丢失效应度量。

8. 根据权利要求5的系统，其中所述编码器侧估计模块被配置成基于所述图像数据部分的未编码版本与视频信号的先前的未编码图像数据之间的差值来估计所述丢失效应度量。

9. 根据权利要求2、3或4的系统，其中所述编码器侧估计模块被配置成基于用来编码所述图像数据部分的编码参数来估计所述丢失效应度量。

10. 根据权利要求9的系统，其中所述编码参数包括所述图像数据部分的运动矢量。

11. 根据权利要求2、3或4的系统，其中所述编码器侧估计模块被配置成在编码之后但在传输之前基于所述图像数据部分的编码版本估计所述丢失效应度量。

12. 根据权利要求11的系统，其中所述编码器侧估计模块被配置成基于以下之一来估计所述丢失效应度量：所述图像数据部分的大小、所述图像数据部分的Q参数、运动估计数据量与所述图像数据部分中剩余数据量的比值、所述图像数据部分中运动矢量的位置以及所述图像数据部分中运动矢量的大小。

13. 根据权利要求1的系统，包括解码器侧估计模块，其被配置成在由接收器接收之后基于视频信号估计所述丢失效应度量。

14. 根据权利要求13的系统，其中所述解码器侧估计模块被配置成在由解码器解码之前基于视频信号确定所述丢失效应度量。

15. 根据权利要求14的系统，其中所述解码器侧估计模块被配置成基于通过所述介质丢失的图像数据部分的大小来估计所述丢失效应度量。

16. 根据权利要求13的系统，其中所述图像数据部分包括在视频信号的一帧内的参照另一丢失的帧的若干个区域，并且所述解码器侧估计模块被配置成基于所述若干个区域来确定所述丢失效应度量。

17. 根据任一在前权利要求的系统，其中所述解码器被配置成发动恢复操作并且被配置成在恢复期间应用隐蔽或冻结中选择的一个。

18. 根据任一在前权利要求的系统，其中所述损耗介质包括分组交换网络。

19. 一种系统，包括：

编码器，其被布置成编码用于传输的视频信号；

传输器，其用于通过损耗介质将视频信号传输至解码器，该解码器具有隐蔽模块，其用于通过以下方式来再生从通过所述介质的视频信号中丢失的图像数据部分：根据通过所述介质接收的视频信号的其他图像数据进行内插或外插；以及

编码器侧估计模块，其被配置成基于在通过所述介质传输及丢失之前所述图像数据部分的知识来估计针对所述图像数据部分的丢失效应度量；

其中所述传输器被布置成将关于所述丢失效应的信息用信号告知所述解码器，从而使所述解码器能够选择是否（i）应用隐蔽模块以再生所述图像数据部分，或可替代地（ii）冻结视频信号的先前的图像数据以代替所述图像数据部分。

20. 根据权利要求19的系统，其中所述编码器被配置成将该丢失效应用信号告知所述解码器以供在做出所述选择时使用。

21. 根据权利要求19的系统，其中所述编码器被配置成基于所述丢失效应度量确定关于是否应用隐蔽模块的隐蔽决定，以及被配置成将该隐蔽决定用信号告知所述解码器以供在做出所述选择时使用。

22. 根据权利要求19、20或21的系统，其中所述编码器侧估计模块被配置成基于所述图像数据部分的未编码版本来估计所述丢失效应度量。

23. 根据权利要求22的系统，其中所述编码器侧估计模块包括所述解码器的并行实例，并且被配置成通过比较所述图像数据部分的未编码版本与通过所述隐蔽模块的实例对所述图像数据部分的模拟再生来估计所述丢失效应度量。

24. 根据权利要求23的系统，其中所述编码器侧估计模块包括所述解码器的被布置用于在处理器的不同的相应并行执行单元上执行的多个并行实例，每一个被配置成通过比较图像数据的相应未编码部分与通过所述隐蔽模块的相应实例对该部分的模拟再生来估计所述丢失效应度量。

25. 根据权利要求22的系统，其中所述编码器侧估计模块被配置成基于所述图像数据部分的未编码版本与视频信号的先前的未编码图像数据之间的差值来估计所述丢失效应度量。

26. 根据权利要求19、20或21的系统，其中所述编码器侧估计模块被配置成基于用来编码所述图像数据部分的编码参数来估计所述丢失效应度量。

27. 根据权利要求26的系统，其中所述编码参数包括所述图像数据部分的运动矢量。

28. 根据权利要求19、20或21的系统，其中所述编码器侧估计模块被配置成在编码之后但在传输之前基于所述图像数据部分的编码版本估计所述丢失效应度量。

29. 根据权利要求28的系统，其中所述编码器侧估计模块被配置成基于以下之一来估计所述丢失效应度量：所述图像数据部分的大小、所述图像数据部分的Q参数、运动估计数据量与所述图像数据部分中残余数据量的比值、所述图像数据部分中运动矢量的位置，以及所述图像数据部分中运动矢量的大小。

30. 一种方法，包括：

通过损耗介质接收视频信号；以及

使用解码器解码视频信号用以输出至显示器，该解码器包括隐蔽模块，其用于通过以下方式来再生从通过所述介质的视频信号中丢失的图像数据部分：根据通过所述介质接收的视频信号的其他图像数据进行内插或外插；

其中所述解码包括：基于针对所述图像数据部分估计的丢失效应度量选择是否（i）应用隐蔽模块以再生所述图像数据部分，或可替代地（ii）冻结视频信号的先前的图像数据以代替所述图像数据部分。

31. 根据权利要求30的方法，包括：使用编码器编码视频信号；通过所述介质将视频信号传输至接收器；以及操作编码器侧估计模块以基于在通过所述介质传输及丢失之前所述图像数据部分的知识来估计所述丢失效应度量。

32. 根据权利要求31的方法，包括操作所述编码器以将该丢失效应用信号告知所述解码器以供在做出所述选择时使用。

33. 根据权利要求31的方法，包括操作所述编码器以基于所述丢失效应度量确定关于是否应用隐蔽模块的隐蔽决定，以及将该隐蔽决定用信号告知所述解码器以供在做出所述选择时使用。

34. 根据权利要求31、32、33或34的方法，其中所述编码器侧估计模块被操作用以基于所述图像数据部分的未编码版本来估计所述丢失效应度量。

35. 根据权利要求34的方法，其中所述编码器侧估计模块包括所述解码器的并行实例，并且被操作用以通过比较所述图像数据部分的未编码版本与通过所述隐蔽模块的实例对所述图像数据部分的模拟再生来估计所述丢失效应度量。

36. 根据权利要求35的方法，其中所述编码器侧估计模块包括所述解码器的被布置用于在处理器的不同的相应并行执行单元上执行的多个并行实例，每一个被操作用以通过比较图像数据的相应未编码部分与通过所述隐蔽模块的相应实例对该部分的模拟再生来估计所述丢失效应度量。

37. 根据权利要求34的方法，其中所述编码器侧估计模块被操作用以基于所述图像数据部分的未编码版本与视频信号的先前的未编码图像数据之间的差值来估计所述丢失效应度量。

38. 根据权利要求31、32、33或34的方法，其中所述编码器侧估计模块被操作用以基于用来编码所述图像数据部分的编码参数来估计所述丢失效应度量。

39. 根据权利要求38的方法，其中所述编码参数包括所述图像数据部分的运动矢量。

40. 根据权利要求31、32、33或34的方法，其中所述编码器侧估计模块被配置成在编码之后但传输之前基于所述图像数据部分的编码版本估计所述丢失效应度量。

41. 根据权利要求40的方法，其中所述编码器侧估计模块被操作用以基于以下之一来估计所述丢失效应度量：所述图像数据部分的大小、所述图像数据部分的Q参数、运动估计数据量与所述图像数据部分中残余数据量的比值、所述图像数据部分中运动矢量的位置，以及所述图像数据部分中运动矢量的大小。

42. 根据权利要求30的方法，包括操作解码器侧估计模块以在由接收器接收之后基于视频信号估计所述丢失效应度量。

43. 根据权利要求42的方法，其中所述解码器侧估计模块被操作用以在由解码器解码之前基于视频信号确定所述丢失效应度量。

44. 根据权利要求43的方法，其中所述解码器侧估计模块被操作用以基于通过所述介质丢失的图像数据部分的大小来估计所述丢失效应度量。

45. 根据权利要求42的方法，其中所述图像数据部分包括在视频信号的一帧内的参照另一丢失的帧的若干个区域，并且所述解码器侧估计模块被操作用以基于所述若干个区域来确定所述丢失效应度量。

46. 根据权利要求30至45中的任意一个的方法，其中所述解码器被操作用以发动恢复操作并且在恢复期间应用隐蔽或冻结中所选择的一个。

47. 根据权利要求30至46中的任意一个的方法，其中所述损耗介质包括分组交换网络。

48. 一种方法，包括：

操作编码器以编码视频信号以便传输；

通过损耗介质将视频信号传输至解码器，该解码器具有隐蔽模块，其用于通过以下方式来再生从通过所述介质的视频信号中丢失的图像数据部分：根据通过所述介质接收的视频信号的其他图像数据进行内插或外插；

操作编码器侧估计模块用以基于在通过所述介质传输及丢失之前所述图像数据部分的知识来估计针对所述图像数据部分的丢失效应度量；以及

将关于所述丢失效应的信息用信号告知所述解码器，从而使所述解码器能够选择是否（i）应用隐蔽模块以再生所述图像数据部分，或可替代地（ii）冻结视频信号的先前的图像数据以代替所述图像数据部分。

49. 根据权利要求48的方法，其中所述编码器被操作用以将该丢失效应用信号告知所述解码器以供在做出所述选择时使用。

50. 根据权利要求19的方法，其中所述编码器被操作用以基于所述丢失效应度量确定关于是否应用隐蔽模块的隐蔽决定，以及将该隐蔽决定用信号告知所述解码器以供在做出所述选择时使用。

51. 根据权利要求48、49或50的方法，其中所述编码器侧估计模块被操作用以基于所述图像数据部分的未编码版本来估计所述丢失效应度量。

52. 根据权利要求51的方法，其中所述编码器侧估计模块包括所述解码器的并行实例，并且被操作用以通过比较所述图像数据部分的未编码版本与通过所述隐蔽模块的实例对所述图像数据部分的模拟再生来估计所述丢失效应度量。

53. 根据权利要求52的方法，其中所述编码器侧估计模块包括所述解码器的被布置用于在处理器的不同的相应并行执行单元上执行的多个并行实例，每一个被操作用以通过比较图像数据的相应未编码部分与通过所述隐蔽模块的相应实例对该部分的模拟再生来估计所述丢失效应度量。

54. 根据权利要求51的方法，其中所述编码器侧估计模块被操作用以基于所述图像数据部分的未编码版本与视频信号的先前的未编码图像数据之间的差值来估计所述丢失效应度量。

55. 根据权利要求48、49或50的方法，其中所述编码器侧估计模块被操作用以基于用来编码所述图像数据部分的编码参数来估计所述丢失效应度量。

56. 根据权利要求55的方法，其中所述编码参数包括所述图像数据部分的运动矢量。

57. 根据权利要求48、49或50的方法，其中所述编码器侧估计模块被操作用以在编码之后但在传输之前基于所述图像数据部分的编码版本估计所述丢失效应度量。

58. 根据权利要求56的方法，其中所述编码器侧估计模块被操作用以基于以下之一来估计所述丢失效应度量：所述图像数据部分的大小、所述图像数据部分的Q参数、运动估计数据量与所述图像数据部分中残余数据量的比值、所述图像数据部分中运动矢量的位置，以及所述图像数据部分中运动矢量的大小。

59. 一种计算机程序产品，其包括体现在非瞬态计算机可读介质上的代码并且被配置成当在处理设备上执行时、执行根据权利要求30至58中的任意一个的方法的操作。

Images