CN1893665A - 错误隐藏方法及设备 - Google Patents

Abstract

本发明提供一种错误隐藏方法和设备。所述错误隐藏方法包括以下步骤：通过基于丢失帧确定帧之间是否发生场景改变来确定丢失帧的参考方向；根据确定的参考方向，通过使用除了所述丢失帧之外的至少一帧来提取所述丢失帧的像素的隐藏参考点；通过将权值赋予提取的隐藏参考点来获得所述丢失帧的像素的隐藏像素值；和通过使用所述隐藏像素值执行像素的隐藏来恢复所述丢失帧。根据所述错误隐藏方法和设备，当在接收/输出压缩的运动图像的装置中发生帧丢失时，可有效地执行以帧为单位的错误隐藏，并且可最小化由于错误传播而导致的画面质量的恶化。

Description

错误隐藏方法及设备

本申请要求于2005年9月6日提交到韩国知识产权局的第10-2005-0082858号韩国专利申请以及2005年6月30日提交到美国专利商标局第60/694,998号美国临时专利申请的优先权，其公开完整地包含于此，以资参考。

                        技术领域

与本发明一致的方法和设备涉及错误隐藏，更具体地讲，涉及可通过隐藏帧丢失并减少错误传播来改善视频数据的画面质量的错误隐藏。

                        背景技术

随着无线电网络环境中运动图像的传输的增加，无线电网络技术的开发也已经取得了快速的进展。目前，压缩这样的运动图像帧的技术已经得到了广泛的研究和开发。诸如H.263、H.263+、MPEG-1、MPEG-2、MPEG-4的帧压缩技术已经被国际标准化组织确定为国际标准。因为使用这些压缩技术生成的数据具有高压缩率，所以即使在信道带宽有限的系统中也可容易地发送所述数据。

然而，在数据压缩率较高的情况下，由于发送数据中错误的发生可能会严重地损坏被存储的数据。也就是说，由于障碍物引起的无线电波干扰导致频繁发生包丢失，并且这引起了发生视频数据的丢失。为了提高被发送的视频数据的压缩效率，先前帧的数据被参考。因此，在由于视频数据的丢失导致错误发生之后，错误传播现象继续存在。特别地，与条带错误和宏块错误相比，帧丢失引起严重的错误和错误传播现象。

为了克服上述缺点，在许多领域进行了对运动图像(下文中称为“视频”)数据编码以便使其具有容错弹性的许多尝试。作为一种实现这种弹性的方法，帧错误隐藏技术已被提出。帧错误隐藏方法是一种减少当接收其中存在错误的视频帧并通过视频解码器对其解码时的错误的影响的方法。这种错误隐藏不同于作为纠正错误数据的方法的纠错。

在错误隐藏技术中，时间预测错误隐藏根据视频信息通过使用连续的帧之间的冗余信息来隐藏错误，而空间预测错误隐藏通过使用空间冗余来隐藏包括丢失信息的同一帧中的错误。空间预测错误隐藏通过使用当前帧中未损坏的宏块的信息，而不是使用时间冗余来补偿损坏的宏块。为此，已经提出了使用相邻宏块替换丢失块或者使用各种插值方法的错误隐藏技术。时间预测错误隐藏是这样一种技术，其参考在时间上存在于不同的位置上的帧以便通过使用连续的帧之间的时间相关性在当前帧中恢复丢失的宏块的信息。时间预测错误隐藏可分为在恢复视频帧期间参考一帧的单帧错误隐藏和参考两帧或更多帧的多帧错误隐藏。

已经根据获得丢失的宏块的运动矢量的方法提出了几种帧错误隐藏技术。一种方法使用一个先前接收的帧，而另一种方法使用两个或更多个先前接收的帧。使用一个先前接收的帧的方法还可根据使用该先前接收的帧(下文中称为“先前帧”)的方法而分为如下三种方法。

第一种方法使用先前帧中相同位置中的宏块。第二种方法通过使用与当前接收的帧的丢失的宏块相邻的运动矢量的中间值或平均值来恢复丢失的运动矢量。第三种方法通过从先前帧估计丢失的宏块的相邻像素值来使用与当前帧最相似的宏块。

多帧错误隐藏技术通过使用用于单帧隐藏技术的方法来恢复运动矢量。然而，为了找到丢失的宏块，多帧错误隐藏技术不是搜索一个先前帧，而是搜索至少两个先前帧。

在解释现有技术的帧错误隐藏技术的问题之前，下面将简要地解释通用的视频解码器的结构。通常，视频解码器通过执行压缩的视频流的可变长度解码和逆量化来恢复原始的视频信号。图1是示出现有技术的视频解码器的结构的方框图。

参照图1，缓冲器11存储输入的比特流，可变长度解码单元12对存储在缓冲器11中的比特流执行可变长度解码并将作为可变长度解码的结果产生的视频信息输出到逆量化单元13和运动补偿单元15。逆量化单元13接收从可变长度解码单元12输出的量化信息，并且执行可变长度解码的数据的逆量化。离散余弦逆变换(IDCT)单元14执行从逆量化单元13输出的逆量化的数据的IDCT。运动补偿单元15通过使用从可变长度解码单元12输出的运动信息和视频数据来产生运动补偿的视频数据。加法单元16将通过运动补偿单元15运动补偿的视频数据和通过IDCT单元14进行逆DCT变换的视频数据相加。存储单元17存储从加法单元16输出的视频数据。

如上所述，如图1所示的视频解码器在将输入的比特流存储在缓冲器11中后根据视频解码器的解码能力通过读取该视频数据来执行可变长度解码。然而，如果在视频数据的传输期间发生错误并且在输入的视频数据中包括不能被可变长度解码的丢失的数据，则丢失的错误数据积累从而影响随后的图像。

图2a是解释当现有技术的视频解码器中发生帧丢失时错误传播的示图。如果如图2a中标号21所示的整个帧被丢失，则这影响到参考前向帧的宏块，从而引起严重的画面质量恶化。也就是说，丢失帧影响到所有后面的帧22、23和24，从而引起画面质量恶化。为了克服由于如上所述发生的错误而导致的缺点，已经提出一种帧错误隐藏方法作为一种实现容错弹性的方法。在本发明的全部描述中，帧错误隐藏指的是这样一种方法，即，如果在解码器中发生错误并且整个帧没有被接收到，则在对随后的数据解码中减少了错误的影响。

图2b是解释在现有技术的帧单元错误隐藏方法中参考先前帧的宏块的方法的示图。该方法通过将零点运动矢量35应用到先前帧30来获得与丢失帧40的宏块40-1对应的先前帧30的宏块30-1，以便恢复丢失帧40的宏块40-1。

然而，如图2b所示的方法参考先前帧30的数据，因此，如果在帧之间场景改变或者存在巨大的变化，则发生大的预测错误，从而降低了画面质量。

图2c是解释在现有技术的帧单元错误隐藏方法中通过双向外插来预测丢失帧的像素的方法的示图。

图2c的方法执行双向隐藏参考(concealment reference)，即，前向隐藏参考和后向隐藏参考。前向隐藏参考如下操作。

前向隐藏参考相对于先前帧以宏块为单位执行运动矢量的外插，以便先前帧对应于丢失帧。在图2c中，标号55是帧60的宏块60-1的运动矢量。对运动矢量55之后的帧70执行外插，并且获得对应于像素70-0-1的运动矢量65。因此，帧60中的像素60-0-1被选择为帧70中的像素70-0-1的隐藏参考点。通过这一处理，像素70-0-1相对于先前帧60可具有多于零个的隐藏参考点。如果不存在隐藏参考点，则先前帧60中的相同位置中的像素被确定为隐藏参考点。相反，如果存在多个隐藏参考点，则所述多个隐藏参考点的平均点被确定为前向隐藏参考点。

后向隐藏参考如下操作。

如图2c所示，通过使用后向帧80的各个宏块的运动矢量75、76和77搜索到与丢失帧的像素70-0-1对应的隐藏参考点80-0-1、80-0-2和80-0-3。以下处理与如上所述的前向隐藏参考相同。

通过以上处理获得的前向隐藏值和后向隐藏值的平均值成为丢失帧70的像素70-0-1的隐藏值。丢失帧70可通过对各个像素执行双向参考来恢复。

然而，如图2c所述的方法具有以下问题。

第一，在场景改变期间由于双向参考而导致预测准确度降低。如果在丢失帧的后向帧中场景改变，则丢失帧和后向帧之间不相关，而如果在丢失帧的前向帧中场景改变，则丢失帧和前向帧之间不相关。因为如图2c所示的方法在如上所述的情况下执行双向参考，所以丢失帧的各个像素的预测准确度降低。

第二、因为当执行前向参考时仅使用一个前向帧来隐藏错误，所以当执行图像的边缘部分的隐藏时或者当图像中的对象消失并随后再次出现时，预测准确的像素的可能性降低。

第三，因为预测是通过简单地获得关于隐藏丢失帧的参考点的平均值来执行的，所以在执行预测中参考点的不准确的信息具有相同的权值，这降低了预测准确度。

                        发明内容

本发明示例性实施例克服了上述缺点以及未在以上提及的其他缺点。此外，本发明不必要克服上述缺点，并且本发明实施例可不克服上述任何问题。

本发明提供一种错误隐藏方法和设备，通过根据帧之间的场景改变确定参考方向来提取隐藏参考点，将权值赋予提取的隐藏参考点，并且通过根据所述权值的丢失帧的像素的隐藏来执行丢失帧的恢复，所述方法和设备可最小化由于丢失帧单元而导致的画面质量的恶化。

根据本发明的一方面，提供了一种错误隐藏方法，该方法包括以下步骤：通过基于丢失帧确定帧之间是否发生场景改变来确定丢失帧的参考方向；根据确定的参考方向，通过使用除了所述丢失帧之外的至少一帧来提取组成所述丢失帧的像素的隐藏参考点；通过将权值赋予提取的隐藏参考点来获得组成所述丢失帧的像素的隐藏像素值；和通过使用所述隐藏像素值执行像素的隐藏来恢复所述丢失帧。

根据本发明的另一方面，提供了一种错误隐藏设备，该设备包括：参考方向确定单元，通过基于丢失帧确定帧之间是否发生场景改变来确定丢失帧的参考方向；隐藏参考点提取单元，根据确定的参考方向，通过使用除了所述丢失帧之外的至少一帧来提取组成所述丢失帧的像素的隐藏参考点；权值计算单元，通过将权值赋予提取的隐藏参考点来获得组成所述丢失帧的像素的隐藏像素值；和帧恢复单元，通过使用所述隐藏像素值执行像素的隐藏来恢复所述丢失帧。

                        附图说明

通过下面结合附图对示例性实施例进行的详细描述，本发明的以上和其他方面将会变得更加清楚，其中：

图1是示出现有技术的视频解码器的结构的方框图；

图2a是解释当现有技术的视频解码器中发生帧丢失时错误传播的示图；

图2b是解释在现有技术的帧单元错误隐藏方法中参考先前帧的宏块的方法的示图；

图2c是解释在现有技术的帧单元错误隐藏方法中通过双向外插来预测丢失帧的像素的方法的示图；

图3是示出根据本发明示例性实施例的包括错误隐藏设备的视频解码器的结构的方框图；

图4是示出根据本发明示例性实施例的错误隐藏方法的流程图；

图5是解释在根据本发明示例性实施例的错误隐藏方法中确定丢失帧的参考方向的示图；和

图6是解释在根据本发明示例性实施例的错误隐藏方法中提取组成丢失帧的像素的隐藏参考点的示图。

                        具体实施方式

在下文中，将参照附图详细地描述本发明的示例性实施例。通过参照参考附图而被详细描述的示例性实施例，本发明的多个方面和特征以及实现所述多个方面和特征的方法将是清楚的。然而，本发明不限于在此公开的示例性实施例，而是将以不同的形式被实现。在描述中限定的诸如详细结构和元件的内容只是被提供以帮助本领域普通技术人员全面理解本发明的特定细节，并且本发明仅被限定在权利要求的范围内。在本发明的全部描述中，在各个附图中相同的标号用于相同的元件。

在下文中，将参照附图描述本发明示例性实施例，所述附图示出了解释根据本发明示例性实施例的错误隐藏方法和设备的方框图和流程图。应该理解，流程图的每一个方框和在流程图中的多个方框的组合可由计算机程序指令实现。这些计算机程序指令可被提供给通用计算机、专用计算机或者其他可编程数据处理设备的处理器以产生设备，从而经计算机或者其他可编程数据处理设备的处理器执行的指令创建用于实现在一个流程图方框或多个流程图方框中描述的功能的手段。这些计算机程序指令也可被存储在可指导计算机或者其他可编程数据处理设备以特定方式工作的计算机可用或计算机可读存储器中，以便存储在计算机可用或计算机可读存储器中的指令生产包括执行在一个流程图方框或多个流程图方框中描述的功能的指令手段的产品。计算机程序指令也可被载入计算机或其他可编程数据处理设备以使得一系列操作步骤在计算机或其他可编程设备上被执行以产生计算机执行的过程，从而在计算机或其他可编程设备上执行的指令提供用于实现在一个流程图方框或多个流程图方框中描述的功能的步骤。

图3是示出根据本发明示例性实施例的包括错误隐藏设备的视频解码器的结构的方框图。参照图3，除了包括缓冲器110、可变长度解码单元120、逆量化单元130、离散余弦逆变换(IDCT)单元140、加法单元150、存储单元160和运动补偿单元170的现有技术的结构之外，所述视频解码器还包括根据本发明示例性实施例的错误隐藏设备200。错误隐藏设备200包括参考方向确定单元210、隐藏参考点提取单元220、权值计算单元230和帧恢复单元240。

与现有技术的解码器相似，缓冲器110存储输入的比特流，可变长度解码单元120对存储在缓冲器110中的比特流执行可变长度解码并将作为可变长度解码的结果产生的视频信息输出到逆量化单元130和运动补偿单元170。逆量化单元130接收从可变长度解码单元120输出的量化信息，并且执行可变长度解码的数据的逆量化。IDCT单元140执行从逆量化单元130输出的逆量化的数据的IDCT。运动补偿单元170通过使用从可变长度解码单元120输出的运动信息和视频数据来产生运动补偿的视频数据。加法单元150将通过运动补偿单元170运动补偿的视频数据和通过IDCT单元140的逆DCT变换的视频数据相加。存储单元160存储从加法单元150输出的视频数据。

如果当可变长度解码单元120对存储在缓冲器110中的比特流执行可变长度解码时产生的视频信息包括异常错误，则相应的视频信息被输出到错误隐藏设备200以进行错误隐藏处理。

参考方向确定单元210接收从可变长度解码单元120输出的丢失帧，并且确定丢失帧的参考方向。也就是说，参考方向确定单元210通过以丢失帧为基础确定帧之间是否发生场景改变来确定丢失帧的参考方向。参考方向确定单元210包括场景改变确定单元215，其通过分析丢失帧之前的先前帧和丢失帧之后的帧的视频数据，以丢失帧为基础来确定帧之间是否发生场景改变。图5是解释在根据本发明示例性实施例的错误隐藏方法中确定丢失帧的参考方向的示图。在图5中，示出了通过确定帧之间的场景改变来确定参考方向的处理。当丢失帧之前的帧和丢失帧之后的帧之间的差超过预定值时，确定已经发生场景改变。另外，为了减少计算量，可使用DC系数或运动矢量分布之间的差来确定场景改变。

图5的左部示出的帧511至515指的是没有发生场景改变的情况。在这种情况下，执行用于从丢失帧514的先前帧511至513和后面的帧515提取隐藏参考点的双向参考。也就是说，因为场景改变确定单元215确定没有发生场景改变，所以确定执行双向参考。

在图5的中部中，示出了在五帧521至525之中丢失帧524之后的帧525中已发生场景改变的情况。在这种情况下，丢失帧524与帧525不相关，并且执行用于从丢失帧524的先前帧521至523提取隐藏参考点的前向参考。也就是说，因为场景改变确定单元215确定已发生场景改变并且确定丢失帧与该丢失帧之前的先前帧相同，所以确定执行前向参考。

在图5的右部中，示出了在五帧531至535之中丢失帧534中已发生场景改变的情况。在这种情况下，丢失帧534与先前帧533不相关，并且执行用于从丢失帧534之后的帧535提取隐藏参考点的后向参考。也就是说，因为丢失帧与该丢失帧之后的帧相同，所以确定执行后向参考。

隐藏参考点提取单元220通过使用除了丢失帧之外的至少一帧来执行组成丢失帧的像素的隐藏参考点的提取。也就是说，如果场景改变确定单元215确定执行前向参考，则隐藏参考点提取单元220使用多个先前帧来提取隐藏参考点。另一方面，如果场景改变确定单元215确定执行后向参考，则隐藏参考点提取单元220使用一个或多个后面的帧来提取隐藏参考点。此外，如果场景改变确定单元215确定执行双向参考，则隐藏参考点提取单元220使用多个先前帧和一个或多个后面的帧来提取隐藏参考点。

在图6中，示出了上述处理。图6是解释在根据本发明示例性实施例的错误隐藏方法中提取组成丢失帧的像素的隐藏参考点的示图。在图6中，五帧610至650被顺序地排列，并且在帧640中已发生错误。

首先，将解释提取前向隐藏参考点的处理。为了获得前向隐藏参考点，应该获得丢失帧640的先前帧的运动矢量的平均值。通过丢失帧640的像素640a的外插，找到从像素640a指向像素630a的运动矢量645，并且获得从像素630a指向像素620a的运动矢量635和从运动矢量635涉及的像素620a指向像素610a的运动矢量625的平均值。因此，提取从像素640a指向像素630b的运动矢量646涉及的像素630b作为隐藏参考点。通过上述处理，提取丢失帧640的像素640a的前向隐藏参考点。

其次，提取后向隐藏参考点的处理如下所述。通过使得丢失帧640的后面的帧650的各个点650a、650b和650c通过运动矢量对应于丢失帧640，涉及丢失帧640的像素640a的点被提取作为隐藏参考点。在这种情况下，因为各个像素650a、650b和650c具有与丢失帧的像素640a对应的运动矢量655、656和657，所以在后面的帧650中存在的像素650a、650b和650c可被提取作为后向隐藏参考点。

权值计算单元230通过将权值赋予提取的隐藏参考点获得丢失帧的隐藏像素值。具体地讲，如果场景改变确定单元215确定执行前向参考，则权值计算单元230通过将前向权值赋予提取的隐藏参考点获得组成丢失帧的像素的隐藏像素值，而如果场景改变确定单元215确定执行后向参考，则权值计算单元230通过将后向权值赋予提取的隐藏参考点获得组成丢失帧的像素的隐藏像素值。此外，如果确定执行双向参考，则权值计算单元230通过给出前向权值和后向权值并随后根据参考方向将方向权值(directional weight value)赋予提取的隐藏参考点来获得隐藏像素值。

这里，当运动矢量的绝对值变小时给出更高的前向权值或后向权值，而当运动矢量的绝对值变大时给出更低的前向权值或后向权值。这是因为当运动矢量的大小变大时，像素之间的误差变大。通过等式(1)确定每个像素的前向权值，通过等式(2)确定每个像素的后向权值。

$w_{\mathrm{fi}}=\frac{1}{1+\left|{\mathrm{MV}}_i\right|}\×\frac{1}{\underset{k=1}{\overset{N}{\mathrm{\Σ}}}\left(\frac{1}{1+\left|{\mathrm{MV}}_k\right|}\right)},[\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{w}_{\mathrm{fi}}=1]---\left(1\right)$

$w_{\mathrm{bi}}=\frac{1}{1+\left|{\mathrm{MV}}_i\right|}\×\frac{1}{\underset{k=1}{\overset{M}{\mathrm{\Σ}}}\left(\frac{1}{1+\left|{\mathrm{MV}}_k\right|}\right)},[\underset{i=1}{\overset{M}{\mathrm{\Σ}}}{w}_{\mathrm{bi}}=1]---\left(2\right)$

这里，w_fi是与先前帧的像素之中的第i前向参考点的像素值相乘的每个像素的前向权值，w_bi是与后面的帧的像素之中的第i后向参考点的像素值相乘的每个像素的后向权值。|MV_i|是第i参考点的运动矢量的大小，|MV_k|是第k参考点的运动矢量的大小，N是前向参考点的数量，M是后向参考点的数量。如等式(1)和等式(2)所示，权值与1+|MV_i|成反比。这是因为等式(1)右侧的项是使得权值的和为1的系数，因此权值的和成为 $1(\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{w}_{\mathrm{fi}}=1).$ 如上所述的相同的解释可适用于等式(2)。因此，每个像素的前向权值和后向权值二者都和运动矢量的大小成反比。

方向权值可由等式(3)确定。

$\begin{array}{c}{\mathrm{dw}}_f=\frac{{\mathrm{ibn}}_b}{{\mathrm{ibn}}_f+{\mathrm{ibn}}_b},\\ {\mathrm{dw}}_b=\frac{{\mathrm{ibn}}_f}{{\mathrm{ibn}}_f+{\mathrm{ibn}}_b}\end{array}---\left(3\right)$

这里，dw_f是前向方向权值，dw_b是后向方向权值，ibn_f是先前帧的帧内宏块(intra macroblock)的数量，ibn_b是后面的帧的帧内宏块的数量。等式(3)使用丢失帧和先前帧以及丢失帧和后面的帧之间的相关性，并且直接应用于双向参考。当后面的帧而不是先前帧中存在的帧内宏块的数量ibn_b变大时，前向方向权值dw_f变大，这是因为，当后面的帧而不是先前帧中存在的帧内宏块的数量变大时，参考后面的帧可能性变小而参考先前帧的可能性变大。因为后向方向权值dw_b具有与前向方向权值相同的特性，所以省略其详细描述。

在通过上述等式计算方向权值之后，通过等式(4)确定组成丢失帧的像素的隐藏像素值。

$p(x,y)={\mathrm{dw}}_f\·\underset{k=1}{\overset{N}{\mathrm{\Σ}}}{w}_{\mathrm{fk}}\·p(x_{\mathrm{fk}},y_{\mathrm{fk}})+{\mathrm{dw}}_b\·\underset{k=1}{\overset{M}{\mathrm{\Σ}}}{w}_{\mathrm{bk}}\·p(x_{\mathrm{bk}},y_{\mathrm{bk}})---\left(4\right)$

这里，p(x，y)是丢失帧中的像素的隐藏像素值，dw_f是前向方向权值，dw_b是后向方向权值，w_fk·p(x_fk，y_fk)是通过将第k前向参考点的像素值和前向权值相乘获得的值，w_bk·p(x_bk，y_bk)是通过将第k后向参考点的像素值和后向权值相乘获得的值。当将等式(4)应用于双向参考时等式(4)有用。然而，以将方向权值1赋予相应的参考方向以及将方向权值0赋予未参考的参考方向的方式，等式(4)可适用于执行前向参考或执行后向参考的情况。

帧恢复单元240通过使用根据上述等式获得的隐藏像素值执行隐藏来恢复丢失帧。通过帧恢复单元240恢复的帧被发送到缓冲器110或者被存储在存储单元160中。

以下将参照图4解释使用根据本发明示例性实施例的错误隐藏设备的错误隐藏方法。

如果在根据本发明示例性实施例的视频解码器中接收到比特流(S402)，则应该通过几个处理来确定接收的比特流是否对应于正常的视频帧(S404)。如果无错误地接收到正常的视频帧，则所述视频帧被直接处理以输出相应的视频(S406)。然而，如果在接收的视频帧中发生错误，则通过根据本发明示例性实施例的错误隐藏设备200来执行错误隐藏。

首先，通过以丢失帧为基础确定帧之间是否发生场景改变来确定丢失帧的参考方向(S408)。通过分析丢失帧之前的先前帧和丢失帧之后的帧的视频数据，执行是否发生场景改变的确定。如果确定已发生场景改变，则随后确定丢失帧是与先前帧相同还是与后面的帧相同。如果丢失帧与先前帧相同，则执行前向参考，而如果丢失帧与后面的帧相同，则执行后向参考。如果确定没有发生场景改变，则执行双向参考。

然后，根据确定的参考方向，执行使用除了丢失帧之外的至少一个帧来提取组成丢失帧的像素的隐藏参考点的处理。

也就是说，在前向参考的情况下，使用多个先前帧来提取隐藏参考点(S410)，而在后向参考的情况下，使用一个或多个后面的帧来提取隐藏参考点(S414)。此外，在双向参考的情况下，使用多个先前帧和一个或多个后面的帧来提取隐藏参考点(S412)。

然后，通过将权值赋予提取的隐藏参考点来获得组成丢失帧的像素的隐藏像素值。

具体地讲，在前向参考的情况下，通过将前向权值赋予提取的隐藏参考点来获得组成丢失帧的像素的隐藏像素值(S411)，在后向参考的情况下，通过将后向权值赋予提取的隐藏参考点来获得组成丢失帧的像素的隐藏像素值(S415)。此外，在双向参考的情况下，通过给出前向权值和后向权值并随后根据参考方向将方向权值赋予提取的隐藏参考点来获得组成丢失帧的像素的隐藏像素值(S413)。这里，当运动矢量的绝对值变小时给出更高的前向权值或后向权值，而当运动矢量的绝对值变大时给出更低的前向权值或后向权值。因为已解释了相应的等式，所以将省略其详细描述。

最后，通过使用隐藏像素值执行隐藏来恢复帧(S416)，从而输出相应的视频(S418)。

记录有在计算机上运行根据本发明示例性实施例的方法的程序的计算机可读记录介质包括在本发明的范围之内。

如上所述，根据本发明，当在诸如数字TV接收器、便携式电话和多媒体终端的接收/输出压缩的运动图像的装置中发生帧丢失时，可有效地执行以帧为单位的错误隐藏，并且可最小化由于错误传播而导致的画面质量的恶化。

另外，根据本发明，可显著地减小错误隐藏预测中的错误，所述错误可能发生在具有频繁的场景改变的视频中，并且通过使用执行先前帧的多参考而获得的多个预测参考点，可增加预测的准确度。

另外，根据本发明，通过将根据帧之间的相关性的权值赋予隐藏参考点，可有效地调节各个预测值的反映。

虽然为了说明性的目的，已经描述了本发明的示例性实施例，但是本领域技术人员应该理解，在不脱离由权利要求公开的本发明的范围和精神的情况下，可进行各种修改、增加和替换。

Claims (22)

1、一种错误隐藏方法，该方法包括以下步骤：

通过基于丢失帧确定帧之间是否发生场景改变来确定所述丢失帧的参考方向；

根据确定的参考方向，通过使用除了所述丢失帧之外的至少一帧来提取所述丢失帧的像素的隐藏参考点；

通过将权值赋予提取的隐藏参考点来获得所述丢失帧的像素的隐藏像素值；和

通过使用所述隐藏像素值隐藏像素来恢复所述丢失帧。

2、如权利要求1所述的错误隐藏方法，其中，所述确定丢失帧的参考方向的步骤包括：通过分析所述丢失帧之前的先前帧的视频数据和所述丢失帧之后的后面的帧的视频数据，基于所述丢失帧来确定帧之间是否发生场景改变。

3、如权利要求2所述的错误隐藏方法，其中，所述确定丢失帧的参考方向的步骤还包括：

如果确定场景已改变并且确定所述丢失帧与先前帧相同，则确定参考方向是前向的；

如果确定场景已改变并且确定所述丢失帧与后面的帧相同，则确定参考方向是后向的；和

如果确定没有发生场景改变，则确定参考方向是双向的。

4、如权利要求3所述的错误隐藏方法，其中，所述提取隐藏参考点的步骤包括：

如果确定参考方向是前向的，则通过使用多个先前帧来提取隐藏参考点；

如果确定参考方向是后向的，则通过使用一个或多个后面的帧来提取隐藏参考点；和

如果确定参考方向是双向的，则通过使用多个先前帧和至少一个后面的帧来提取隐藏参考点。

5、如权利要求4所述的错误隐藏方法，其中，所述获得隐藏像素值的步骤包括：

如果确定参考方向是前向的，则通过将前向权值赋予提取的隐藏参考点来获得所述丢失帧的像素的隐藏像素值；

如果确定参考方向是后向的，则通过将后向权值赋予提取的隐藏参考点来获得所述丢失帧的像素的隐藏像素值；和

如果确定参考方向是双向的，则通过给出前向权值和后向权值并随后根据参考方向将方向权值赋予提取的隐藏参考点，来获得所述丢失帧的像素的隐藏像素值。

6、如权利要求5所述的错误隐藏方法，其中，当运动矢量的绝对值变小时给出更大的前向权值或后向权值，而当运动矢量的绝对值变大时给出更小的前向权值或后向权值。

7、如权利要求6所述的错误隐藏方法，其中，通过下式确定前向权值：

$w_{\mathrm{fi}}=\frac{1}{1+\left|{\mathrm{MV}}_i\right|}\×\frac{1}{\underset{k=1}{\overset{N}{\mathrm{\Σ}}}\left(\frac{1}{1+\left|{\mathrm{MV}}_k\right|}\right)},[\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{w}_{\mathrm{fi}}=1],$

其中，w_fi是与第i前向参考点的像素值相乘的前向权值，|MV_i|是第i前向参考点的运动矢量的大小，|MV_k|是第k前向参考点的运动矢量的大小，N是前向参考点的数量，i和k是整数。

8、如权利要求6所述的错误隐藏方法，其中，通过下式确定后向权值：

$w_{\mathrm{bi}}=\frac{1}{1+\left|{\mathrm{MV}}_i\right|}\×\frac{1}{\underset{k=1}{\overset{M}{\mathrm{\Σ}}}\left(\frac{1}{1+\left|{\mathrm{MV}}_k\right|}\right)},[\underset{i=1}{\overset{M}{\mathrm{\Σ}}}{w}_{\mathrm{bi}}=1],$

其中，w_bi是与第i后向参考点的像素值相乘的后向权值，|MV_i|是第i后向参考点的运动矢量的大小，|MV_k|是第k后向参考点的运动矢量的大小，M是后向参考点的数量。

9、如权利要求5所述的错误隐藏方法，其中，通过下式确定方向权值：

${\mathrm{dw}}_f=\frac{{\mathrm{ibn}}_b}{{\mathrm{ibn}}_f+{\mathrm{ibn}}_b},$

${\mathrm{dw}}_b=\frac{{\mathrm{ibn}}_f}{{\mathrm{ibn}}_f+{\mathrm{ibn}}_b},$

其中，dw_f是前向方向权值，dw_b是后向方向权值，ibn_f是先前帧的帧内宏块的数量，ibn_b是后面的帧的帧内宏块的数量。

10、如权利要求5所述的错误隐藏方法，其中，通过下式确定所述丢失帧的像素的隐藏像素值：

$p(x,y)={\mathrm{dw}}_f\·\underset{k=1}{\overset{N}{\mathrm{\Σ}}}{w}_{\mathrm{fk}}\·p(x_{\mathrm{fk}},y_{\mathrm{fk}})+{\mathrm{dw}}_b\·\underset{k=1}{\overset{M}{\mathrm{\Σ}}}{w}_{\mathrm{bk}}\·p(x_{\mathrm{bk}},y_{\mathrm{bk}})$

其中，p(x，y)是所述丢失帧的像素的隐藏像素值，dw_f是前向方向权值，dw_b是后向方向权值，w_fk·p(x_fk，y_fk)是通过将第k前向参考点的像素值和前向权值相乘获得的值，N是前向参考点的数量，M是后向参考点的数量，w_bk·p(x_bk，y_bk)是通过将第k后向参考点的像素值和后向权值相乘获得的值。

11、一种错误隐藏设备，该设备包括：

参考方向确定单元，通过基于丢失帧确定帧之间是否发生场景改变来确定所述丢失帧的参考方向；

隐藏参考点提取单元，根据确定的参考方向，通过使用除了所述丢失帧之外的至少一帧来提取所述丢失帧的像素的隐藏参考点；

权值计算单元，通过将权值赋予提取的隐藏参考点来获得所述丢失帧的像素的隐藏像素值；和

帧恢复单元，通过使用所述隐藏像素值隐藏像素来恢复所述丢失帧。

12、如权利要求11所述的错误隐藏设备，其中，所述参考方向确定单元包括：场景改变确定单元，通过分析所述丢失帧之前的先前帧和所述丢失帧之后的帧的视频数据，基于所述丢失帧来确定帧之间是否发生场景改变。

13、如权利要求12所述的错误隐藏设备，其中，如果所述场景改变确定单元确定场景已改变并且确定所述丢失帧与先前帧相同，则所述参考方向确定单元确定参考方向是前向的；如果所述场景改变确定单元确定场景已改变并且确定所述丢失帧与后面的帧相同，则所述参考方向确定单元确定参考方向是后向的。

14、如权利要求13所述的错误隐藏设备，其中，如果所述场景改变确定单元确定没有发生场景改变，则所述参考方向确定单元确定参考方向是双向的。

15、如权利要求14所述的错误隐藏设备，其中，如果所述参考方向确定单元确定参考方向是前向的，则所述隐藏参考点提取单元通过使用多个先前帧来提取隐藏参考点；如果所述参考方向确定单元确定参考方向是后向的，则所述隐藏参考点提取单元通过使用至少一个后面的帧来提取隐藏参考点；如果所述参考方向确定单元确定参考方向是双向的，则所述隐藏参考点提取单元通过使用多个先前帧和至少一个后面的帧来提取隐藏参考点。

16、如权利要求15所述的错误隐藏设备，其中，如果所述参考方向确定单元确定参考方向是前向的，则所述权值计算单元通过将前向权值赋予提取的隐藏参考点来获得所述丢失帧的像素的隐藏像素值；如果所述参考方向确定单元确定参考方向是后向的，则所述权值计算单元通过将后向权值赋予提取的隐藏参考点来获得所述丢失帧的像素的隐藏像素值；如果所述参考方向确定单元确定参考方向是双向的，则所述权值计算单元通过给出前向权值和后向权值并随后根据参考方向将方向权值赋予提取的隐藏参考点，来获得所述丢失帧的像素的隐藏像素值。

17、如权利要求16所述的错误隐藏设备，其中，当运动矢量的绝对值变小时给出更大的前向权值或后向权值，而当运动矢量的绝对值变大时给出更小的前向权值或后向权值。

18、如权利要求17所述的错误隐藏设备，其中，通过下式确定前向权值：

$w_{\mathrm{fi}}=\frac{1}{1+\left|{\mathrm{MV}}_i\right|}\×\frac{1}{\underset{k=1}{\overset{N}{\mathrm{\Σ}}}\left(\frac{1}{1+\left|{\mathrm{MV}}_k\right|}\right)},[\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{w}_{\mathrm{fi}}=1],$

其中，w_fi是与第i前向参考点的像素值相乘的前向权值，|MV_i|是第i前向参考点的运动矢量的大小，|MV_k|是第k前向参考点的运动矢量的大小，N是前向参考点的数量。

19、如权利要求17所述的错误隐藏设备，其中，通过下式确定后向权值：

$w_{\mathrm{bi}}=\frac{1}{1+\left|{\mathrm{MV}}_i\right|}\×\frac{1}{\underset{k=1}{\overset{N}{\mathrm{\Σ}}}\left(\frac{1}{1+\left|{\mathrm{MV}}_k\right|}\right)},[\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{w}_{\mathrm{bi}}=1],$

其中，w_bi是与第i后向参考点的像素值相乘的后向权值，|MV_i|是第i后向参考点的运动矢量的大小，|MV_k|是第k后向参考点的运动矢量的大小，M是后向参考点的数量。

20、如权利要求16所述的错误隐藏设备，其中，通过下式确定方向权值：

${\mathrm{dw}}_f=\frac{{\mathrm{ibn}}_b}{{\mathrm{ibn}}_f+{\mathrm{ibn}}_b},$

${\mathrm{dw}}_b=\frac{{\mathrm{ibn}}_f}{{\mathrm{ibn}}_f+{\mathrm{ibn}}_b}$

其中，dw_f是前向方向权值，dw_b是后向方向权值，ibn_f是先前帧的帧内宏块的数量，ibn_b是后面的帧的帧内宏块的数量。

21、如权利要求16所述的错误隐藏设备，其中，通过下式确定所述丢失帧的像素的隐藏像素值：

$p(x,y)={\mathrm{dw}}_f\·\underset{k=1}{\overset{N}{\mathrm{\Σ}}}{w}_{\mathrm{fk}}\·p(x_{\mathrm{fk}},y_{\mathrm{fk}})+{\mathrm{dw}}_b\·\underset{k=1}{\overset{M}{\mathrm{\Σ}}}{w}_{\mathrm{bk}}\·p(x_{\mathrm{bk}},y_{\mathrm{bk}})$

其中，p(x，y)是所述丢失帧的像素的隐藏像素值，dw_f是前向方向权值，dw_b是后向方向权值，w_fk·p(x_fk，y_fk)是通过将第k前向参考点的像素值和前向权值相乘获得的值，N是前向参考点的数量，M是后向参考点的数量，w_bk·p(x_bk，y_bk)是通过将第k后向参考点的像素值和后向权值相乘获得的值。

22、一种在其上记录有实现错误隐藏方法的程序的计算机可读记录介质，该方法包括以下步骤：

通过基于丢失帧确定帧之间是否发生场景改变来确定丢失帧的参考方向；

根据确定的参考方向，通过使用除了所述丢失帧之外的至少一帧来提取所述丢失帧的像素的隐藏参考点；

通过将权值赋予提取的隐藏参考点来获得所述丢失帧的像素的隐藏像素值；和

通过使用所述隐藏像素值隐藏像素来恢复所述丢失帧。

Images