CN1581978A

CN1581978A - 一种树形块结构及多帧参考的运动估计方法和装置

Info

Publication number: CN1581978A
Application number: CN 200410043274
Authority: CN
Inventors: 彭聪; 黄晁; 李锦涛
Original assignee: Institute of Computing Technology of CAS
Current assignee: Honor Device Co Ltd
Priority date: 2004-05-17
Filing date: 2004-05-17
Publication date: 2005-02-16
Anticipated expiration: 2024-05-17
Also published as: CN1287600C

Abstract

本发明涉及视频编码技术领域，提出一种树形块结构及多帧参考的运动估计方法和装置。包括：1)对H.264树形块结构及多帧参考的特征，将16×16的宏块划分为16个4×4样本块；2)计算每一个4×4样本块对应于某一运动矢量的失真值；3)使用4×4块的失真值通过树形结构来计算4×4以上(8×4、4×8、8×8、16×8、8×16和16×16)形状样本块对应运动矢量的失真值；4)通过比较选择最佳匹配的块形状及对应的运动矢量；5)通过可伸缩特性支持并行多帧参考运动估计；6)运动矢量在搜索范围内以光栅扫描或“之”字型扫描依次计算；7)与全搜索相比不损失预测精度。包括：树形结构计算单元和最佳匹配选择单元。

Description

一种树形块结构及多帧参考的运动估计方法和装置

技术领域

本发明涉及视频编码技术领域，特别是一种树形块结构及多帧参考的运动估计方法和装置。

背景技术

随着多媒体技术的飞速发展和广泛应用，各种视频数据得到越来越广泛的应用。由于原始视频数据所需带宽极大，同时又具有很大的冗余性，因此通常通过编码压缩后再存储或传输。视频编码计算复杂度庞大，要求对编码过程采用加速算法。

视频编码从80年代末开始，从MPEG-1、H.261到现在的MPEG-4、H.264已经有很长的研究历史，提出了很多国际标准，但是基本思想仍然是分块压缩和运动估计。由于软件编码速度慢的劣势，在实时性要求高的环境下多采用硬件编码，针对视频编码的特点已提出了很多硬件的优化加速算法。但是H.264树形块结构及多帧参考的运动估计的提出，在提高编码效率的同时，也增大了计算复杂度，在大画面情况下传统的硬件加速算法已不能满足实时性的要求，因此需要提出新的硬件优化加速算法，降低计算复杂度，提高视频编码速度。

发明内容

本发明的目的在于提供一种树形块结构及多帧参考的运动估计方法和装置。

一种H.264树形块结构及多帧参考的运动估计方法和装置，它能通过计算每一个4×4样本块对应于某一运动矢量(MV：Motion Vector)的失真值(Distortion)，然后采用树形结构计算出4×4以上(8×4、4×8、8×8、16×8、8×16和16×16)形状样本块对应于该运动矢量的失真值，通过比较选择最佳匹配的块形状及对应的运动矢量，在不损失精度的前提下减少H.264树形块形状运动估计的计算量，提高运动估计速度，从而提高视频编码速度，并且通过可伸缩特性支持并行多帧参考运动估计。

本发明包括以下特征步骤：

1.对H.264树形块结构及多帧参考的特征，将16×16的宏块划分+为16个4×4样本块；如图2所示；

2.计算每一个4×4块对应于某一运动矢量的失真值；

3.使用4×4块的失真值通过树形结构来计算4×4以上(8×4、4×8、8×8、16×8、8×16和16×16)形状样本块对应于该运动矢量的失真值，由4×4块失真值计算8×4、4×8和8×8形状样本块失真值的树状结构如图6所示，包括锁存Latch0、Latch1、Latch2，4×4块失真值计算单元Block4×4-0、Block4×4-1、Block4×4-2、Block4×4-3，8×4块失真值计算单元Block8×4-0、Block8×4-1，4×8块失真值计算单元Block4×8-0、Block4×8-1，8×8块失真值计算单元Block8×8，Latch0、Latch1、Latch2依次相连传递运动矢量MV，Block4×4-0、Block4×4-1输出的失真值输入至Block8×4-0，Block4×4-2、Block4×4-3输出的失真值输入至Block8×4-1，Block4×4-0、Block4×4-2输出的失真值输入至Block4×8-0，Block4×4-1、Block4×4-3输出的失真值输入至Block4×8-1，Block8×4-0、Block8×4-1(或Block4×8-0、Block4×8-1，虚线表示)输出的失真值输入至Block8×8，由8×8块失真值计算16×8、8×16和16×16形状样本块失真值的树状结构如图8所示，与图6类似；

4.通过比较选择最佳匹配的块形状及对应的运动矢量；

5.通过可伸缩特性支持并行多帧参考运动估计；

6.运动矢量在搜索范围内以光栅扫描或“之”字型扫描依次计算；

7.与全搜索相比不损失预测精度。

该装置包括：计算4×4样本块失真值的单元；计算4×4以上形状样本块失真值的树形结构单元；比较各种块形状选择最佳匹配的单元；扩展支持并行多帧参考的单元。在计算样本块失真的单元中同时比较选择本样本块的最佳匹配。

附图说明

图1是运动估计示意图。

图2是H.264中宏块树形结构示意图。

图3是多帧参考示意图。

图4是宏块划分层次示意图。

图5是4×4形状样本块运算单元示意图。

图6是8×8形状样本块树状计算结构示意图。

图7是8×8形状样本块最佳匹配单元示意图。

图8是16×16宏块树状计算结构示意图。

图9是16×16宏块最佳匹配选择单元示意图。

图10是多帧参考运动估计示意图。

图11是运动矢量扫描方式示意图。(a)光栅扫描方式(b)“之”字型方式。

具体实施方式

图1为运动估计示意图。当对大小为N×N的当前样本块做运动估计，搜索范围为R时，以当前样本块左上角的样本坐标为原点，水平向左为X坐标正方向，垂直向下为Y坐标正方向，从(-R，-R)至(N+R，N+R)的范围内选择一个N×N的参考样本最佳匹配块，使得当前样本块与参考样本块之间的失真最小，或者在进行率失真优化的情况下选择编码效率最高的参考样本块。图1中两个粗黑线方块分别为对应运动矢量为(R，R)和(-R，-R)的参考样本块。

图2为H.264中宏块树形结构示意图。如(a)所示，一个16×16的宏块可以采用16×16、16×8、8×16和8×8四种运动估计模式。在16×8、8×16两种模式下每一子块单独进行运动估计。在8×8模式下，如(b)所示，每一子块又可分别采用8×8、8×4、4×8和4×4四种运动估计模式。

图3为多帧参考示意图。n为当前帧，n-1、n-2、n-3、n-4为参考帧。每一16×16的宏块可使用不同的参考帧进行运动估计，并且在一个16×16的宏块中，每一子块也可使用不同的参考帧进行运动估计，但在8×8模式下每一个8×8子块内必须采用相同的参考帧。

由以上说明可以看出，H.264标准中的运动估计十分复杂，若在硬件编码中采用传统的全搜索算法，在只使用单帧参考的情况下，每种块形状搜索一次，需要经过7次循环才能得到最优匹配，也就是计算时间要增加7倍。若使用多帧参考，则计算时间更加成倍增加。但是实际上，4×4以上样本块的失真值可以通过该块包含的4×4样本块的失真值累加得到，在循环中做了大量的重复计算。本发明提出了一种基于树状计算结构的运动估计方法和装置，可以消除重复计算，从而提高编码速度。

本发明的计算过程可分为以下几个步骤：

1.如图4所示，将一个16×16宏块划分为4个8×8样本块，再将每一个8×8样本块分为4个4×4子样本块，从而将一个16×16宏块划分为16个4×4子样本块。

2.如图5所示，对应4×4子样本块的运算单元输入为4×4子块的16个当前样本值Current Pixel、运动矢量MV及对应的16个参考样本值Reference Pixel，输出为当前样本和参考样本间的失真值，以及开始计算以来与对应4×4形状样本块最佳匹配的运动矢量和对应的失真值。

3.如图6所示，使用4个步骤2中描述的运算单元分别对应4个4×4子块，计算得出各4×4子块对应于运动矢量MV的失真值。Block4×4-0、Block4×4-1、Block4×4-2、Block4×4-3分别表示一个图5中的4×4形状样本块运算单元，MV输入至锁存Latch0。

4.如图6所示，根据4×4形状样本块的失真值分别计算得出8×4、4×8形状样本块的失真值，Block4×8-0的失真值为Block4×4-00和Block4×4-01失真值之和，其余类似。Latch0中保存的MV输入至锁存Latch1，使其与4×4块运算单元输出的失真值保持同步。在计算8×4、4×8形状样本块的失真值的同时，比较得出开始计算以来与对应样本块最佳匹配的运动矢量和对应的失真值。

5.如图6所示，根据4×8形状样本块(或8×4形状样本块)的失真值计算得出8×8形状样本块的失真值，Latch1中保存的MV输入至锁存Latch2，使其与4×8块运算单元输出的失真值保持同步。在计算8×8形状样本块的失真值的同时，比较得出开始计算以来与对应样本块最佳匹配的运动矢量和对应的失真值。树形结构计算单元由锁存器Latch和块失真值计算单元Block组成，锁存器Latch和块失真值计算单元Block采用流水线分级传递，当前帧图像和参考帧图像信号分别输入到第一级块失真值计算单元Block，MV信号输入到第一级锁存器Latch，每一级块失真值计算单元Block的输出相互组合输入到下一级块失真值计算单元Block，同时MV信号传递到下一级Latch。

6.如图7所示，选择8×8块的最佳匹配。最佳匹配选择单元的输入为图6中4个4×4形状块运算单元输出的最佳匹配、2个4×8形状块输出的最佳匹配、2个8×4形状块输出的最佳匹配和8×8形状块输出的最佳匹配，输出为该8×8块最佳匹配的块形状(4×4、4×8、8×4或8×8)，对应的运动矢量及失真值。

7.如图8所示，在计算8×8形状样本块失真值的基础上，通过与8×8形状样本块树状计算结构类似的计算结构，与步骤4、5类似的计算步骤，计算出8×16、16×8和16×16形状样本块的失真值。Block8×8-0、Block8×8-1、Block8×8-2、Block8×8-3分别表示一组图6中的8×8形状样本块树状计算结构和图7中的8×8形状样本块最佳匹配选择单元。

8.如图9所示，选择16×16宏块的最佳匹配。最佳匹配选择单元的输入为图8中4个8×8最佳匹配选择单元输出的最佳匹配、2个8×16形状块输出的最佳匹配、2个16×8形状块输出的最佳匹配和16×16形状块输出的最佳匹配，输出为该16×16宏块最佳匹配的运动估计模式(8×8、8×16、16×8或16×16)，对应的运动矢量及失真值，以及最佳匹配模式为8×8模式时各8×8子块的块形状及对应运动矢量。

9.如图10所示，以图8中的16×16宏块树状计算结构为基本模块，每一模块对应一个参考帧，对图9中的最佳匹配选择单元进行修改，输入中增加参考帧号，输出增加最佳匹配对应的参考帧号，则得到在多帧参考的情况下宏块的运动估计结果。树形块结构及多帧参考的运动估计装置，由多个树形结构计算单元和最佳匹配选择单元组成，树形结构计算单元连接于最佳匹配选择单元，当前帧和多个参考帧图像信号输入到树形结构计算单元，经过计算处理后输出到最佳匹配选择单元。

选择单元装置是输入块形状、运动矢量和对应的失真值，根据最小失真或率失真优化原则选择最佳运动估计，输出最佳运动估计的块形状、运动矢量和对应失真值的单元装置。

10.如图11所示，为减少对存储带宽的要求，增加数据复用率，运动矢量以光栅扫描方式或“之”字型方式在搜索范围内依次计算。图9(a)为光栅扫描方式，在每一行内从一个运动矢量变化到下一个运动矢量只需更新一列16个参考样本点，但在从一行变换到下一行时需要更新全部256个参考样本点。图9(b)为“之”字型方式，在每一行内与光栅扫描方式相同，在从一行变换到下一行时只需要更新一行16个参考样本点，比光栅扫描方式下的数据复用率高，相应的控制也更加复杂。

本发明适用于H.264及其它采用树形块结构及多帧参考运动估计的视频编码设计。

Claims

1.一种H.264树形块结构及多帧参考的运动估计方法，它能通过计算每一个4×4样本块对应于某一运动矢量的失真值，然后采用树形结构计算出4×4以上(8×4、4×8、8×8、16×8、8×16和16×16)形状样本块对应于该运动矢量的失真值，在不损失精度的前提下减少H.264树形块形状运动估计的计算量，提高运动估计速度，从而提高视频编码速度，并且通过可伸缩特性支持并行多帧参考运动估计，包括以下特征步骤：

1)针对H.264树形块结构及多帧参考的特征，将16×16的宏块划分为16个4×4样本块；

2)计算每一个4×4样本块对应于某一运动矢量的失真值；

3)使用4×4块的失真值通过树形结构来计算4×4以上(8×4、4×8、8×8、16×8、8×16和16×16)形状样本块对应于该运动矢量的失真值；

4)通过比较选择最佳匹配的块形状及对应的运动矢量；

5)通过可伸缩特性支持并行多帧参考运动估计；

6)运动矢量在搜索范围内以光栅扫描或“之”字型扫描依次计算；

7)与全搜索相比不损失预测精度。

2.根据权利要求1所述的运动估计方法，其特征在于：将16×16的宏块划分为16个4×4样本块。

3.根据权利要求1所述的运动估计方法，其特征在于：计算每一个4×4样本块对应于某一运动矢量的失真值。

4.根据权利要求1所述的运动估计方法，其特征在于：使用4×4样本块的失真值通过树形结构来计算4×4以上(8×4、4×8、8×8、16×8、8×16和16×16)形状样本块对应于该运动矢量的失真值。

5.根据权利要求1所述的运动估计方法，其特征在于：通过比较选择最佳匹配的块形状及对应的运动矢量。

6.根据权利要求1所述的运动估计方法，其特征在于：通过可伸缩特性支持并行多帧参考运动估计。

7.根据权利要求1所述的运动估计方法，其特征在于：运动矢量在搜索范围内以光栅扫描或“之”字型扫描依次计算。

8.根据权利要求1所述的运动估计方法，其特征在于：与全搜索相比不损失预测精度。

9.根据权利要求1所述的运动估计方法设计的树形块结构及多帧参考的运动估计装置，包括：计算4×4样本块失真值的单元；计算4×4以上形状样本块失真值的树形结构单元；比较各种块形状选择最佳匹配的单元；扩展支持并行多帧参考的单元。

10.一种树形块结构及多帧参考的运动估计装置，其特征在于，由多个树形结构计算单元和最佳匹配选择单元组成，树形结构计算单元连接于最佳匹配选择单元，当前帧和多个参考帧图像信号信号输入到树形结构计算单元，经过计算处理后输出到最佳匹配选择单元。

11.根据权利要求10的树形块结构及多帧参考的运动估计装置，其特征在于，计算装置是：树形结构计算单元由锁存Latch和块失真值计算单元Block组成，锁存器Latch和块失真值计算单元Block采用流水线分级传递，当前帧和参考帧信号分别输入到第一级块失真值计算单元Block，MV信号输入到第一级锁存器Latch，每一级块失真值计算单元Block的输出相互组合输入到下一级块失真值计算单元Block，同时MV信号传递到下一级Latch。

12.根据权利要求10的树形块结构及多帧参考的运动估计装置，其特征在于，选择单元装置是输入块形状、运动矢量和对应的失真值，根据最小失真或率失真优化原则选择最佳运动估计，输出最佳运动估计的块形状、运动矢量和对应失真值的单元装置。