CN101001377A - 一种基于多参考帧的h.264快速运动估计的方法 - Google Patents

Abstract

本发明公开了一种基于多参考帧的H.264快速运动估计的方法。多参考帧是H.264中新引入的技术，该技术可以显著的提高编码效率，但同时也使得编码复杂度线性增长。传统的快速方法一般只利用了运动矢量的时间相关性，而本方法同时利用时间相关性和空间相关性。在使用了多参考帧技术的H.264编码中，采用该快速运动估计方法，可以在保持视频压缩质量基本不变的情况下，有效的降低编码的运算复杂度。

Description

一种基于多参考帧的H.264快速运动估计的方法

技术领域

本发明涉及多媒体技术领域中的视频编码，特别是涉及需要快速编码的移动多媒体领域。

背景技术

H.264是ITU-T和MPEG组联合专家组JVT制定的目前最新的视频编码标准，这一编码标准可以获得很高的编码效率，尤其是在低码率方面比MPEG-4有明显的提高，非常适合低宽带、高质量网络视频应用的需要。但是，H.264为了提高编码效率，采用了许多高计算复杂度的算法，基于多参考帧的运动估计正是其中一种，并占了大约70％的编码时间，因此对其进行速度优化势在必行。

相比于传统视频解码中只是在最临近的参考帧中搜索匹配块，H.264中基于多参考帧的运动估计将在1～16帧中搜索可能的匹配块，因此具有好得多的匹配结果，编码效率大为提高。然而H.264中的参考实现对每个帧进行全搜索，这使得其运算复杂度成倍提高。目前有些报道指出，利用相邻参考帧之间的相似性，可以用前一参考帧的结果来预测下一参考帧，将可以避免全搜索，极大的加快运动估计的过程。

这一方法利用了时间上的相似性。而事实上，同一参考帧内，不同模式之间的层次结构导致它们的运动矢量之间具有更强关联性，这就是空间相关性。利用空间相关性得到的预测运动矢量通常比利用时间相关性得到的更加准确，对预测运动矢量作小范围搜索，后者的搜索范围只是前者的一半就可以达到相似的结果。但是利用空间相关性作预测只能局限在当前参考帧范围内，因此同时利用时间相关性和空间相关性，将可以得到更加准确的预测效果，减少H.264编码的复杂度。

发明内容

本发明的目的在于提供一种基于多参考帧的H.264快速运动估计的方法。

本发明解决其技术问题采用的技术方案如下：

1)在采用多参考帧技术的H.264中，在编码P帧时，利用H.264标准实现中的全搜索方法得到模式1与模式4在最临近参考帧上的运动矢量；

2)利用权利要求1步骤1)中所得到的模式1与模式4在最临近参考帧的运动矢量，计算模式1与模式4在除最临近参考帧外所有参考帧上的运动矢量，方法如下：

对任一宏块采用公式(1)所述的前向主运动矢量选择算法得到在任一参考帧上的预测运动矢量；

PMV(mi，k+1)＝参考帧k中与MV(mi，k)所指向的块

              有最大面积交集的宏块的运动矢量+MV(mi，k)

MV(mi，k)＝Refine(PMV(mi，k))

PMV(mi，0)＝MY(mi，0)                   (1)

i＝1或4；

k＝0，1，2....，N-1

其中i表示模式，N表示参考帧的数目；PMV(mi，k)表示模式i在参考帧上的预测运动矢量，MV(mi，k)为模式i在参考帧k上的运动矢量；特别的，MV(mi，0)表示模式i在最临近参考帧上的运动矢量，可由权利要求1步骤1)中得到；Refine(PMV)表示对PMV作小范围全搜索得到准确的运动矢量，搜索范围由公式(2)给出；

SR_FDVS(j)＝Distance(j)，

Distance(j)＝j+1                       (2)

j＝0，1，2，...，N-1

其中SR_FDVS(j)表示参考帧j上所采用的搜索范围，Distance(j)表示参考帧j与当前帧在帧数上的间隔；N为参考帧数目；

3)利用权利要求1步骤1)、2)中所得到的模式1与模式4在所有参考帧上的运动矢量，计算模式2、3、5、6、7在所有参考帧上的运动矢量，计算方法是采用上层预测算法：在任一参考帧上的任一宏块，模式1的运动矢量作为模式2、3的预测运动矢量，模式4作为模式5，6的预测运动矢量，模式5、6的运动矢量平均值作为模式7的预测运动矢量，计算公式如公式(3)；

               MV(m1，k)                 ，  当i＝2或3

PMV(mi，k)＝   MV(m4，k)                 ，  当i＝5或6    (3)

              (MV(m5，k)+MV(m6，k))/2    ，  当i＝7

MV(mi，k)＝Refine(PMV(mi，k))

i＝1，2，3..7；k＝0，1，2...N-1；

其中MV(mi，k)、PMV(mi，k)分别表示模式i在参考帧k上的运动矢量、预测运动矢量；Refine(PMV)表示对PMV作小范围全搜索得到准确的运动矢量，搜索范围由公式(4)给出；N为参考帧数目；

SR_UL(j)＝Ceil(Distance(j)/2)，

Distance(j)＝j+1                                   (4)

j＝0，1，2...，N-1

其中SR_UL(j)表示参考帧j上所采用的搜索范围，Distance(j)表示参考帧j与当前帧在帧数上的间隔，Ceil(x)为取顶操作，表示取不小于x的最小整数；N为参考帧数目；

至此，所有模式在任一参考帧上的运动矢量均已得到。

本发明与背景技术相比，具有的有益的效果是：

本发明是一种全新的基于多帧参考的快速H.264运动估计算法。本发明同时利用时间相关性和空间相关性。在使用了多参考帧技术的H.264编码中，采用该快速运动估计方法，可以在保持视频压缩质量基本不变的情况下，有效的降低编码的运算复杂度。

附图说明

图1是前向主运动矢量选择算法示意图；

图2是上层预测算法示意图；

图3是本发明整体示意图。

具体实施方式

如图3所示，在H.264的编码过程对任一宏块利用H.264标准的参考实现软件JM中定义的全搜索方法，取得其在参考帧0上模式1(P16×16)和模式4(P8x8)的运动矢量，即MV(ml，0)和MV(m4，0)。

然后分别利用图1所示前向主运动矢量选择算法得到模式1以及模式4在参考帧1上的运动矢量。在图1中，由于当前正在求取MV(mi，1)，所以k＝0。大方块A是采用模式1的块，而小方块B为模式4的块，它们指向参考帧k的运动矢量MV(mi，k)所指向的块C(采用模式1时，即i＝1)或者D(采用模式2，即i＝4时)有最大面积交集的块分别为E和F，而E和F指向参考帧k+1的运动矢量已经在编码该视频帧时得到。将E的运动矢量与MV(m1，0)求和；F的运动矢量与MV(m4，0)求和，可以分别得到PMV(m1，1)以及PMV(m4，1)；随后，利用小范围的全搜索方法得到其准确运动矢量MV(m1，1)以及MV(m4，1)，搜索范围由公式(2)给出。类似的，采用同样的方法得到在参考帧2，3，4，…，N-1上的运动矢量MV(mi，j)，其中N为参考帧的数目；i＝1或者4，j＝0，1，2，…，N-1。在本发明的图1中，N＝5。

计算公式如下所示：

PMV(mi，k+1)＝参考帧k中与MV(mi，k)所指向的块

              有最大面积交集的宏块的运动矢量+MV(mi，k)

MV(mi，k)＝Refine(PMV(mi，k))

PMV(mi，0)＝MV(mi，0)                        (1)

i＝1或4；

k＝0，1，2，...，N-1

其中i表示模式，N表示参考帧的数目；PMV(mi，k)表示模式i在参考帧上的预测运动矢量，MV(mi，k)为模式i在参考帧k上的运动矢量；特别的，MV(mi，0)表示模式i在最临近参考帧上的运动矢量，可由权利要求1步骤1)中得到；Refine(PMV)表示对PMV作小范围全搜索得到准确的运动矢量，搜索范围由公式(2)给出；

SR_FDVS(j)＝Distance(j)，

Distance(j)＝j+1                              (2)

j＝0，1，2，...，N-1

其中SR_FDVS(j)表示参考帧j上所采用的搜索范围，Distance(j)表示参考帧j与当前帧在帧数上的间隔；N为参考帧数目；

其后，利用如图2所示上层预测算法，在任一参考帧j上，令PMV(m2，j)＝PMV(m3，j)＝MV(m1，j)；PMV(m5，j)＝PMV(m6，j)＝MV(m4，j)；得到模式2、3、5、6、的预测运动矢量，然后用公式(4)给出的搜索范围，采用小范围全搜索得到准确的运动矢量MV(mi，j)，其中i＝2，3，5，6；随后利用模式5，6的运动矢量来预测模式7，即PMV(m7，j)＝(MV(m5，j)+MV(m6，j))/2，也利用小范围全搜索得到准确运动矢量，即MV(m7，j)，其中j＝0，1，2，…，N-1。在本发明的图1中，N＝5。计算公式如下所示：

                MV(m1，k)                ，  当i＝2或3

PMV(mi，k)＝    MV(m4，k)                ，  当i＝5或6    (3)

                (MV(m5，k)+MV(m6，k))/2  ，  当i＝7

MV(mi，k)＝Refine(PMV(mi，k))

i＝1，2，3..7；k＝0，1，2...N-1；

其中MV(mi，k)、PMV(mi，k)分别表示模式i在参考帧k上的运动矢量、预测运动矢量；Refine(PMV)表示对PMV作小范围全搜索得到准确的运动矢量，搜索范围由公式(4)给出；N为参考帧数目；

SR_UL(j)＝Ceil(Distance(j)/2)，

Distance(j)＝j+1                                            (4)

j＝0，1，2，...，N-1

其中SR_UL(j)表示参考帧j上所采用的搜索范围，Distance(j)表示参考帧j与当前帧在帧数上的间隔，Ceil(x)为取顶操作，表示取不小于x的最小整数；N为参考帧数目；

至此，所有模式在任一参考帧上的运动矢量均已得到。

Claims (1)

1.一种基于多参考帧的H.264快速运动估计的方法，其特征在于：

1)在采用多参考帧技术的H.264中，在编码P帧时，利用H.264标准实现中的全搜索方法得到模式1与模式4在最临近参考帧上的运动矢量；

2)利用权利要求1步骤1)中所得到的模式1与模式4在最临近参考帧的运动矢量，计算模式1与模式4在除最临近参考帧外所有参考帧上的运动矢量，方法如下：

对任一宏块采用公式(1)所述的前向主运动矢量选择算法得到在任一参考帧上的预测运动矢量；

PMV(mi，k+1)＝参考帧k中与MV(mi，k)所指向的块

有最大面积交集的宏块的运动矢量+MV(mi，k)

MV(mi，k)＝Refine(PMV(mi，k))

PMV(mi，0)＝MV(mi，0)    (1)

i＝1或4；

k＝0，1，2，...，N-1

其中i表示模式，N表示参考帧的数目；PMV(mi，k)表示模式i在参考帧上的预测运动矢量，MV(mi，k)为模式i在参考帧k上的运动矢量；特别的，MV(mi，0)表示模式i在最临近参考帧上的运动矢量，可由权利要求1步骤1)中得到；Refine(PMV)表示对PMV作小范围全搜索得到准确的运动矢量，搜索范围由公式(2)给出；

SR_FDVS(j)＝Distance(j)，

Distance(j)＝j+1    (2)

j＝0，1，2，...，N-1

其中SR_FDVS(j)表示参考帧j上所采用的搜索范围，Distance(j)表示参考帧j与当前帧在帧数上的间隔；N为参考帧数目；

3)利用权利要求1步骤1)、2)中所得到的模式1与模式4在所有参考帧上的运动矢量，计算模式2、3、5、6、7在所有参考帧上的运动矢量，计算方法是采用上层预测算法：在任一参考帧上的任一宏块，模式1的运动矢量作为模式2、3的预测运动矢量，模式4作为模式5，6的预测运动矢量，模式5、6的运动矢量平均值作为模式7的预测运动矢量，计算公式如公式(3)；

                   MV(m1，k)              ，当i＝2或3

PMV(mi，k)＝       MV(m4，k)              ，当i＝5或6    (3)

                  (MV(m5，k)+MV(m6，k))/2 ，当i＝7

MV(mi，k)＝Refine(PMV(mi，k))

i＝1，2，3..7；k＝0，1，2...N-1；

其中MV(mi，k)、PMV(mi，k)分别表示模式i在参考帧k上的运动矢量、预测运动矢量；Refine(PMV)表示对PMV作小范围全搜索得到准确的运动矢量，搜索范围由公式(4)给出；N为参考帧数目；

SR_UL(j)＝Ceil(Distance(j)/2)，

Distance(j)＝j+1    (4)

j＝0，1，2，...，N-1

其中SR_UL(j)表示参考帧j上所采用的搜索范围，Distance(j)表示参考帧j与当前帧在帧数上的间隔，Ceil(x)为取顶操作，表示取不小于x的最小整数；N为参考帧数目；

至此，所有模式在任一参考帧上的运动矢量均已得到。

Images