CN102131095B - 移动预测方法及视频编码方法 - Google Patents

Abstract

本发明提供一种移动预测方法及视频编码方法，其中移动预测方法包括：首先，取得多个移动向量预测值以供包含于候选单元集之中，以供目前帧的目前单元之移动预测。接着，决定是否该目前帧为非参考帧，即不供其他帧参考以用于移动预测。接着，当该目前帧不是该非参考帧，将所有对应于先前已编码帧的移动向量预测值自该候选单元集中移除。最后，依据该候选单元集的该多个移动向量预测值预测该目前单元的移动向量。通过本发明可防止译码过程中剖析错误传递的问题。

Description

移动预测方法及视频编码方法

相关申请的交叉引用

本申请的权利要求内容要求如下申请的优先权：2010年1月18日递交的美国临时申请案No.61/295,810以及2010年4月22日递交的美国临时申请案No.61/326,731，且在此将这两个申请合并参考。

技术领域

本发明有关于视频处理，特别是有关于视频数据的编码与移动预测(motion prediction)。

背景技术

相较于过去的压缩标准，视频处理之新的H.264压缩标准可以通过采取诸如次像素(sub-pixel)精确度和多重参考的特性以在较低的数据比特率下提供良好的视频质量。视频压缩过程一般可被分为5个次级步骤：帧间移动预测(inter-prediction)及帧内移动预测(intra-prediction)、转换(transform)及反转换(inverse transform)、量化(quantization)及反量化(inverse-quantization)、回路滤波(loop filter)、以及熵编码(entropy coding)。H.264标准广泛用于诸如蓝光光盘(Blu-ray disc)、数字电视广播服务、直播卫星电视服务、电缆电视(cable TV)服务、以及实时视频通话等应用中。

一视频数据流包括一系列的帧(frame)。每一帧被分割为多个编码单元(例如宏区块(macro block)或延伸宏区块(extended macro block))以供视频编码。每一编码单元可再被切割为多个分割，其中每一分割被称为一预测单元。每一预测单元可再被分割为多个子分割，其中每一子分割有一移动参数。由于邻近的区块有相似的移动向量，为了减少移动参数的数据传输量所导致的传输成本，通常会借着参考邻近的已编码区块而计算出一移动向量预测值(Motion Vector Predictor，MVP)，藉此以增进编码效率。

图1为目前单元112及多个相邻单元A、B、C、D的示意图。目前帧102包括目前单元112及多个候选单元A、B、C、D，而候选单元A、B、C、D邻接于目前单元112。候选单元A位于目前单元112的左侧，候选单元B位于目前单元112的上方，候选单元C位于目前单元112的右上角，候选单元D位于目前单元112的左上角。一般而言，目前单元112的移动向量预测值是依据比较候选单元A、B、C的移动向量并从中选择一中间移动向量而得。当候选单元C存在时，候选单元A、B、C、D的移动向量被比较以从中选取一中间移动向量作为目前单元112的移动向量预测值。当候选单元C不存在，候选单元A、B、D的移动向量被比较并从中选取一中间移动向量作为目前单元112的移动向量预测值。

上述的移动向量预测方法经过稍微修改，可产生移动向量竞争法(Motion Vector Competition，MVC)以供进行移动预测。依据移动向量竞争法，较多个向量被包含于候选单元集以供目前单元的移动预测，以增进移动预测的准确度。举例来说，候选单元集即可包含目前单元112相邻单元的移动向量、以及位于参考帧104中与目前单元112同样位置的同位单元114(参考单元)的移动向量。比特率失真度优化(rate-distortion optimization)被用来自候选单元集选择最终移动向量预测值以供目前单元的移动预测。目前单元的移动向量依据最终移动向量预测值而预测。从候选单元集中选择的最终移动向量预测值的索引被作为预测信息送至视频译码器。

图2为移动预测方法200的流程图。首先，取得对应于目前单元的多个候选单元的多个移动向量以供包含于候选单元集之中(步骤202)。接着，包含于候选单元集的移动向量被互相比较。当候选单元集中的该多个移动向量不相等时(步骤204)，自候选单元集中选取一移动向量预测值(步骤206)，且依据该移动向量预测值预测目前单元的移动向量(步骤208)。最后，产生关于所选择的移动向量预测值的预测信息并在比特流中传送(步骤210)。当候选单元集中的该多个移动向量皆相等时(步骤204)，依据候选单元集中任意的移动向量以预测目前单元的移动向量(步骤212)，且不产生关于该移动向量预测值的预测信息并在比特流中传送。

由于译码比特流过程中的不正确译码可能导致剖析错误(parsing error)的产生。当视频译码时若在语法剖析(syntax parsing)中发生剖析错误，所有后续的视频处理都会连带发生错误直到系统侦测到下一个同步符元(synchronize symbol)为止。若帧间熵编码(inter-frame entropy coding)被运用，则视频剖析错误会影响到后续的帧的处理。例如，帧间熵编码会运用之前帧的移动向量作为目前帧的移动向量预测值，以达到编码增益的提升。同步符元，例如用来启动帧的重新处理的帧开始码，有时并不会停止剖析错误的传递。上述的移动向量竞争法亦可能发生剖析错误的传递。依据图2的移动向量竞争法200，当候选向量集的移动向量彼此相等时，关于该移动向量的预测信息不在比特流中传送。当视频数据流中缺乏移动向量的预测信息时，被送至视频译码器的编码视频数据流的数据量减少了。若译码器没侦测到编码视频数据流中省略的数据而将编码视频数据流中后续数据误当作移动向量的预测信息进行译码处理，则编码视频数据流中后续数据的译码工作会发生错误，且此剖析错误会继续传递于译码过程。

先前帧译码过程的剖析错误可能导致后续帧译码过程的剖析错误。此称之为剖析错误的传递。当第一后续帧运用该先前帧为参考帧时，第一后续帧的编码过程运用该先前帧的编码信息。若先前帧的译码过程发生错误，由于对第一后续帧的译码过程需要该先前帧的译码信息，先前帧的剖析错误会传递至后续帧的译码过程。当第二后续帧运用该第一后续帧为参考帧时，同样地先前帧的剖析错误亦会传递至第二后续帧的解码过程。因此，剖析错误的传递会严重地影响视频数据流的译码。

发明内容

有鉴于此，本发明的目的在于提供一种移动预测(motion prediction)方法，以解决习知技术存在的问题。首先，取得多个移动向量预测值(motionvector predictor)以供包含于候选单元集之中，以供目前帧(current frame)的目前单元的移动预测。接着，决定是否该目前帧为不被其他帧参考以供移动预测的非参考帧(non-reference frame)。接着，当该目前帧不是该非参考帧，将对应于先前已编码帧的所有移动向量预测值自该候选单元集中移除。最后，依据该候选单元集的该多个移动向量预测值预测该目前单元的移动向量。

通过本发明防止了译码过程中剖析错误传递的问题。

为了让本发明的上述和其他目的、特征、和优点能更明显易懂，下文特举数较佳实施例，并配合所附图示，作详细说明如下。

附图说明

图1为目前单元及多个相邻单元的示意图；

图2为移动预测方法的流程图；

图3为依据本发明的视频编码器的区块图；

图4为依据本发明之可避免剖析错误传递的移动预测方法的流程图；

图5为依据本发明之可避免译码错误传递的移动预测方法的另一实施例的流程图；

图6为依据本发明之可防止剖析错误传递的视频译码方法的流程图；

图7为依据本发明之可防止剖析错误传递的视频译码方法的另一实施例的流程图；

图8为依据本发明之可防止剖析错误传递的移动预测方法的流程图；

图9为依据本发明之可防止剖析错误传递的移动预测方法的另一实施例的流程图。

具体实施方式

图3为依据本发明的视频编码器300的区块图。于一实施例中，视频编码器300包括移动预测模块302、减除模块304、转换模块306、量化模块308、以及熵编码模块(entropy coding module)310。视频编码器300接收视频输入并产生数据流作为输出。移动预测模块302对视频输入进行移动预测以产生预测样本及预测信息。减除模块304接着将预测样本自视频输入减除以得到余数，以将视频输入的数据量减少为余数的数据量。余数接着被送至转换模块306及量化模块308。转换模块306对余数进行离散余弦转换(DiscreteCosine Transformation，DCT)以得到转换余数。量化模块308接着量化(quantize)转换余数以得到量化余数。熵编码模块310接着对量化余数及预测信息进行熵编码以得到数据流作为视频输出。

图4为依据本发明之可避免剖析错误传递的移动预测方法400的流程图。假设移动预测模块302接收视频输入数据流之目前帧(current frame)的目前单元。首先，决定供目前单元之移动预测的移动向量预测值(motion vectorpredictor)(步骤402)。移动向量预测值可来自位于目前帧的单元或先前已编码帧的单元(时间方向(temporal direction))。移动向量预测值可依固定规则决定或依动态规则决定。举例来说，移动向量竞争法依据比特率失真度优化(rate-distortion optimization，RDO)法自预定候选单元集中选取最终移动向量预测值。移动预测模块302决定是否目前帧为非参考帧(none referenceframe)(步骤404)，其中该非参考帧不被其他帧的移动预测所参考。于一实施例中，移动预测模块302决定该目前帧的帧型态。当该帧型态为非参考B型帧(B frame)，移动预测模块302决定该目前帧为该非参考帧，当该帧型态为I型帧或P型帧，则决定该目前帧不为该非参考帧。

当移动预测模块302决定该目前帧不是非参考帧，因为目前帧可能变成后续帧的参考帧，故目前帧于译码过程的剖析错误可能会导致后续帧的剖析错误。为了防止剖析错误传递，目前单元的移动向量预测值不可由先前已编码帧导出(步骤406)。于一实施例中，将对应于不在目前帧的同位单元(collocated unit)的所有移动向量预测值皆自该候选单元集中移除。换句话说，最终移动向量预测值将会自仅包含目前帧之移动向量预测值的候选单元集中选出。候选单元集中的移动向量预测值可为相邻单元的移动向量或由相邻单元的移动向量中的一个或多个向量产生。因此，当移动预测模块302依据候选单元集中的移动向量预测值预测目前单元的移动向量时，参考帧的剖析错误将不会导致目前帧的目前单元的剖析错误。

移动预测模块302接着依据候选单元集中的移动向量预测值预测目前单元的之移动向量。帧间熵编码(inter-frame entropy coding)仅用来编码非参考帧中的单元。以剖析错误动态控制为例，帧层次之前置码(syntax)用来控制是否启动帧间熵编码。当处理非参考帧时，帧间熵编码可用来编码或译码。反之，帧间熵编码被关闭以防止剖析错误的传递。

于其他实施例中，剖析错误动态控制方法可依据序列(sequence)层次之前置码(syntax)启动或关闭帧间熵编码。举例来说，当在无错误环境对视频数据进行编码时，编码器允许帧间熵编码。然而，当在有错误环境对视频数据进行编码时，编码器关闭帧间熵编码。译码器亦可依据序列层次之前置码而动态地启动或关闭帧间熵编码。此外，剖析错误动态控制方法亦可依据帧(frame)层次之前置码启动或关闭帧间熵编码。在处理非参考帧时允许帧间熵编码的上述实施例仅是基于序列层次之前置码的剖析错误动态控制方法的一个举例。

于一实施例中，候选单元集的移动向量预测值已获得。接着，比较该候选单元集中的该多个移动向量预测值(步骤408)。当候选单元集中的该多个移动向量预测值不相等时(步骤410)，自候选单元集中选取最终移动向量预测值(步骤412)，且依据该最终移动向量预测值预测目前单元的移动向量(步骤414)。最后，产生关于该最终移动向量预测值的预测信息并插入比特流以发送至对应的视频译码器(步骤416)。当候选单元集中的该多个移动向量预测值皆相等时(步骤410)，依据候选单元集中任意的移动向量预测值以预测目前单元的移动向量(步骤418)，而不产生关于移动向量预测值的预测信息以送至视频译码器。

图5为依据本发明之可避免剖析错误传递的移动预测方法500的另一实施例的流程图。假设移动预测模块302接收视频数据流之目前帧(current frame的目前单元，且目前目前帧的目前单元的移动向量由移动向量竞争所决定的最终移动向量预测值所预测。于一实施例中，于视频输入数据流的序列(sequence)层次决定一规则以供选择候选单元集，且最终移动向量预测值由该候选单元集中依据比特率失真度优化(rate-distortion optimization)法选取。此外，决定规则用来选取供目前单元之移动预测的一至数个候选移动向量预测值。首先，移动预测模块302在候选单元集中获得与目前单元对应的移动向量预测值(步骤502)。移动预测模块302接着比较候选单元集中的该多个移动向量预测值以决定是否候选单元集中的该多个移动向量预测值皆相等(步骤504)。

若候选单元集中的移动向量预测值皆相等，可于候选单元集中加入更多的移动向量预测值，以增加候选单元集中的移动向量预测值的数目，从而为移动预测模块302提供更多候选以用于当前单元的移动预测。因此，移动预测模块302选取至少一候补移动向量预测值以供增加至该候选单元集(步骤506)，并自候选单元集中选取一最终移动向量预测值(步骤508)。移动预测模块302可同时增添超过一个候补移动向量预测值至该候选单元集，或是一次仅增添一个候补移动向量预测值至该候选单元集。于一实施例中，移动预测模块302依据固定顺序选取候补移动向量预测值。于一实施例中，移动预测模块302依据动态决定的顺序选取候补移动向量预测值。举例来说，若候选单元集中的移动向量预测值皆相等，移动预测模块302选取第一候补移动向量预测值以增加至该候选单元集，并比较第一候补移动向量预测值以及该候选单元集中的其他移动向量预测值。若第一候补移动向量预测值仍旧等于该候选单元集中的其他移动向量预测值，则移动预测模块302选取第二候补移动向量预测值以增加至该候选单元集。当候选单元集中包括至少两个不同的移动向量预测值时，移动预测模块302停止增加候补移动向量预测值至该候选单元集。接着，编码器产生关于该最终移动向量预测值的索引作为目前单元的预测信息，其中所述最终移动向量预测值选自候选单元集。因此，当候选单元集中所有的移动向量预测值相等时，有时不发送索引所引起的剖析错误传递可得以避免。

移动预测模块302接着依据该最终移动向量预测值预测目前单元的移动向量(步骤510)。最后，移动预测模块302产生预测信息，并接着由熵编码模块310对预测信息进行编码(步骤512)，其中预测信息表明选择的是候选单元集中的哪个移动向量预测值。与图2用于实现移动向量竞争的习知移动向量预测方法200相比，无论候选单元集中的原本移动向量预测值是否相等，根据方法500，移动预测模块302最后皆会产生预测信息，因此可降低因省略预测信息所导致的视频译码器中剖析错误的传递的发生率。

为了避免帧间熵编码(inter-frame entropy coding)中的剖析错误传递，本发明提供可动态控制剖析错误传递的视频编码方法。图6为依据本发明之可防止剖析错误传递的视频译码方法600的流程图。首先，决定是否允许于视频数据流的一段落(segment)发生剖析错误，并产生控制旗标(control flag)(步骤602)。于一实施例中，该段落为视频序列(video sequence)，且该旗标适用于整个视频序列。于另一实施例中，该段落为一帧(frame)，且该旗标适用于整个帧。于一实施例中，该段落的错误率(error rate)被估计。当错误率高于界限值，控制旗标便产生以表示该段落不允许帧间熵编码，以防止剖析错误传递。当错误率低于界限值，控制旗标便产生以表示该段落允许帧间熵编码，以允许剖析错误传递。当控制旗标表示允许帧间熵编码时(步骤604)，便启动帧间熵编码(步骤608)，而熵编码模块310可运用帧间熵编码对段落进行编码，以增进编码效率。当控制旗标表示不允许帧间熵编码时(步骤604)，便关闭帧间熵编码(步骤606)，而熵编码模块310可运用帧内熵编码(intra-frameentropy coding)对段落进行编码，以防止剖析错误传递。

图7为依据本发明之可防止剖析错误传递的视频译码方法700的另一实施例的流程图。首先，决定是否允许于视频数据流之段落(segment)发生剖析错误，并产生控制旗标(control flag)(步骤702)。于一实施例中，该段落为视频序列(video sequence)，且该旗标适用于整个视频序列。于另一实施例中，该段落为一帧(frame)，且该旗标适用于整个帧。于一实施例中，该段落的错误率(error rate)被估计。当错误率高于界限值，控制旗标便产生以表示该段落不允许帧间熵编码，以防止剖析错误传递。当错误率低于界限值，控制旗标便产生以表示该段落允许帧间熵编码。当控制旗标表示允许帧间熵编码时(步骤704)，便启动帧间熵编码(步骤708)，而熵编码模块310可运用帧间熵编码对段落进行编码。当控制旗标表示不允许帧间熵编码时(步骤704)，便于该段落的一系列的帧之间插入一系列的目标帧(步骤706)，其中该多个目标帧并非依据帧间熵编码进行编码。于一实施例中，该多个目标帧为实时译码更新(Instant Decoder Refresh，IDR)帧。实时译码更新帧可停止后续帧参考编码顺序早于实时译码更新帧的任何较早帧。于另一实施例中，该多个目标帧为开放图片群集(open group of pictures)帧。于另一实施例中，该多个目标帧为不使用帧间熵编码进行编码的一般帧，因此该多个目标帧不参考先前已编码的帧作为移动向量预测值。举例来说，该多个目标帧可为P型帧或B型帧，而该多个P型帧或B型帧不参考先前帧作为移动向量预测值，例如同位单元。目标帧可被周期性地插入段落的帧间以避免剖析错误的传递。于另一实施例中，目标帧插入该段落的该多个帧的周期为于一系列(sequence)层次或图片群集(group of pictures)层次决定。由于目标帧不依据帧间熵编码进行编码，且目标帧的后续帧不参考先于目标帧的任何帧，因此段落帧中产生的剖析错误不会传递至目标帧及后续帧的译码过程，由此可防止剖析错误的传递。

用来控制是否允许于视频数据流的一段落发生剖析错误的控制旗标可与图4的移动预测方法400相结合。图8为依据本发明的可防止剖析错误传递的移动预测方法800的流程图。图8的方法800的步骤802、804、806、808、810、812、814、816、及818与图4的方法400的对应步骤402、404、406、408、410、412、414、416、及418相同。假设移动预测模块302接收到视频输入数据流的一段落。于步骤801，首先依据该段落是否允许帧间熵编码以产生该段落的控制旗标。当该控制旗标表示帧内熵编码可运用于该段落(步骤803)，移动预测模块302实施步骤810～818以预测该段落的多个编码单元的移动向量，其中步骤810～818类似于习知方法200的步骤204～212。当该控制旗标表示帧内熵编码不可运用于该段落(步骤803)，移动预测模块302实施步骤802～818以预测该段落之多个编码单元的移动向量，以防止剖析错误的传递，其中步骤802～818类似于图4的方法400的步骤402～418。

同样地，用来控制是否允许于视频数据流之一段落发生剖析错误的控制旗标可与图5的移动预测方法500相结合。图9为依据本发明的可防止剖析错误传递的移动预测方法900的流程图。图8的方法800的步骤902、904、906、908、910及912与图5的方法500的对应步骤502、504、506、508、510及512相同。假设移动预测模块302接收到视频输入数据流之一段落。于步骤901，首先依据该段落是否允许帧间熵编码以产生该段落的控制旗标。当该控制旗标表示帧内熵编码可运用于该段落(步骤903)，移动预测模块302实施步骤905、907、909及908～912以预测该段落之多个编码单元的移动向量，其中步骤905、907、909及908～912类似于习知方法200的步骤202～212。当该控制旗标表示帧内熵编码不可运用于该段落(步骤903)，移动预测模块302实施步骤902～912以预测该段落之多个编码单元的移动向量，以防止剖析错误的传递，其中步骤902～912类似于图5的方法500的步骤502～512。

虽然本发明已就较佳实施例揭露如上，然其并非用以限定本发明。本发明所属技术领域中普通技术人员，在不脱离本发明的精神和范围内，当可作各种的变更和润饰。因此，本发明的保护范围当视之前的权利要求书所界定为准。

Claims (7)

1.一种移动预测方法，其特征在于，该方法包括下列步骤：

(a)取得多个移动向量预测值以供包含于候选单元集之中，以供目前帧的目前单元的移动预测；

(b)决定是否该目前帧为不被其他帧参考以供移动预测的非参考帧；

(c)当该目前帧不是该非参考帧，将对应于先前已编码帧的所有移动向量预测值自该候选单元集中移除；以及

(d)依据该候选单元集的该多个移动向量预测值预测该目前单元的移动向量。

2.如权利要求1所述的移动预测方法，其特征在于，该决定是否该目前帧为该非参考帧的步骤包括：

决定该目前帧的帧型态；

当该帧型态为I型帧或P型帧，决定该目前帧不为该非参考帧；以及

当该帧型态为B型帧，决定该目前帧为该非参考帧。

3.如权利要求1所述的移动预测方法，其特征在于，该决定是否该目前帧为该非参考帧的步骤包括：

决定该目前帧的帧型态；以及

当该帧型态为非参考B型帧，决定该目前帧为该非参考帧。

4.如权利要求1所述的移动预测方法，其特征在于，自该候选单元集移除移动向量预测值的步骤包括：

决定是否该候选单元集包含对应于一单元的至少一移动向量预测值，其中该单元不在该目前帧中；以及

当该至少一移动向量预测值存在于该候选单元集中时，自该候选单元集中移除该至少一移动向量预测值。

5.如权利要求1所述的移动预测方法，其特征在于，取得该多个移动向量预测值的步骤包括：

自位于该目前帧或之前已编码帧内的一系列单元中决定多个单元；

自该多个单元选取多个候选单元；以及

取得该多个候选单元的移动向量以作为该候选单元集的该多个移动向量预测值。

6.如权利要求5所述的移动预测方法，其特征在于，该多个候选单元的选取是依据固定选取规则或动态选取规则。

7.如权利要求1所述的移动预测方法，其特征在于，该方法更包括：

产生控制旗标以表示是否帧间熵编码运用于视频数据流之段落；

当该控制旗标表示该帧间熵编码不被运用时，执行该多个步骤(a)、(b)、(c)、(d)以进行移动预测；以及

当该控制旗标表示该帧间熵编码被运用时，无论该目前帧是否为该非参考帧，皆不自该候选单元集中移除移动向量预测值，以进行该目前帧的移动向量的预测。

Images