CN104469381B - 一种h.264运动估计搜索窗口自适应调整算法的vlsi实现系统 - Google Patents

Abstract

本发明公开了一种H.264运动估计搜索窗口自适应调整算法的VLSI实现系统，其特征在于：包括运动矢量预搜索模块、搜索尺寸选择模块和自适应搜索窗口实现模块；运动矢量预搜索模块是根据视频序列相邻帧对应宏块的运动矢量信息对当前帧的当前宏块的运动矢量信息进行预测，获得当前宏块的最佳匹配运动矢量信息；搜索尺寸选择模块从备选搜索窗口的尺寸中选择当前宏块的搜索窗口的尺寸；自适应搜索窗口实现模块在搜索窗口内对当前宏块进行像素匹配搜索，获得当前宏块的运动矢量信息。本发明使得搜索窗口的尺寸可以根据视频序列的运动矢量信息动态调整大小，减少像素的搜索次数，降低运动估计运算量，节约压缩时间。

Description

一种H.264运动估计搜索窗口自适应调整算法的VLSI实现 系统

技术领域

本发明公开了一种H.264运动估计搜索窗口自适应调整算法的超大规模集成电路(VLSI)实现系统，属于视频编解码领域。

背景技术

随着多媒体技术得到越来越广泛的应用，数字视频压缩已经形成一系列的标准。目前，被广泛使用的H.264/AVC标准比以往的视频压缩标准提升约50％的压缩率，但这一性能的提高是以远高于其他的编码标准的运算复杂度为代价的，其中运动估计占整个编码运算量的60％-80％，所以减少运动估计(ME)的计算量可有效提高编码速度。在运动估计模块中，最为重要的模块是整像素搜索和分像素搜索，其中整像素搜索中要反复读取当前帧的宏块数据与搜索窗口中的宏块数据进行比较获得当前宏块在搜索窗口中匹配的整像素的位置，分像素搜索时在整像素搜索的基础上进行像素插值，在插值像素中找到匹配当前宏块的位置，像素插值可分为1/2像素插值和1/4像素插值，整像素搜索和分像素搜索来共同获取当前宏块的运动矢量。当前宏块在搜索窗口中找到匹配的宏块，匹配块相对于当前宏块的位移量即运动矢量MV(motion vector)。在一些视频传输的应用中，既要求实时性，又要求高的视频质量。这就需要在确保压缩率的前提下，适当减少运动估计中像素搜索的次数，达到减少运动估计时间，提升H.264编码速率的目标。

对于像素搜索的实现方法，研究者们已经提出各式各样的搜索方法，但是它们的搜索窗口都是固定尺寸，无论对于视频序列是快速变化的还是缓慢变化的，一旦编码运行起来，就无法改变搜索窗口的尺寸。有效的控制搜索窗口的尺寸可以使压缩码流和编解码时间能够得到一个很好的平衡。常见的运动估计算法大体可分为全搜索法、快速搜索法和低复杂度的匹配技术三类。全搜索法精度是最高的，但是计算量大，硬件开销大。快速搜索法减小了计算量但是控制复杂，不利于硬件实现。基于全搜索法的低复杂度的匹配技术，精度没有全搜法高，但是计算量大幅度降低而且易于硬件实现，所以在基于H.264的硬件编解码器中得到普遍地使用。但是，传统基于块匹配的运动估计，对于最佳匹配块的搜索窗口通常是固定值，这会导致搜索次数不能够根据视频矢量信息动态的调整，从而造成时间的浪费影响运动估计的效率。

发明内容

本发明为避免上述技术存在的不足之处，综合考虑运动估计算法的速度、效率和像素存储访问灵活性，提出一种H.264运动估计搜索窗口自适应调整算法的VLSI实现系统，以期望可以达到速度和资源之间的均衡。

本发明解决技术问题，采用如下技术方案：

本发明H.264运动估计搜索窗口自适应调整算法的VLSI实现系统，其特点在于：所述系统包括运动矢量预搜索模块、搜索尺寸选择模块和自适应搜索窗口实现模块；

所述运动矢量预搜索模块是根据视频序列相邻帧对应宏块的运动矢量信息对当前帧的当前宏块的运动矢量信息进行预测，获得当前宏块的最佳匹配运动矢量信息；所述当前宏块的最佳匹配运动矢量信息包括最佳匹配横向运动矢量预测信息PMVx和最佳匹配纵向运动矢量预测信息PMVy；所述横向运动矢量预测信息PMVx反映当前宏块在水平方向的运动矢量信息特性，所述纵向运动矢量预测信息PMVy反映当前宏块在垂直方向的运动矢量信息特性；

所述搜索尺寸选择模块是根据由运动矢量预搜索模块获得的当前宏块的最佳匹配运动矢量信息从备选搜索窗口的尺寸中选择当前宏块的搜索窗口的尺寸，所述备选搜索窗口的尺寸包括80×48、80×32、48×48、48×32、32×48和32×32；故最大能存储搜索窗口的尺寸范围为x：±32；y：±16，x为±32是指宏块在横向向两边延伸32个像素点，由于宏块的大小是16×16，所以横向的范围为32+32+16＝80；同理纵向的范围为16+16+16＝48，所以最大的搜索范围为80×48，考虑到像素搜索是以块匹配基础上进行像素搜索，所以把最大搜索窗口划分为六种不同的尺寸，从而减少像素的搜索点数，降低系统的复杂度，六种备选择尺寸分别为：80×48、80×32、48×48、48×32、32×48和32×32。

所述自适应搜索窗口实现模块根据所述搜索尺寸选择模块所选择的当前宏块的搜索窗口的尺寸获得当前宏块在相邻帧中的搜索窗口，并在所述搜索窗口内对当前宏块进行像素匹配搜索，获得当前宏块的运动矢量信息。

VLSI实现系统是采用当前帧的前N帧作为相邻帧，根据其相应宏块的运动矢量信息来预测当前帧的当前宏块的运动矢量信息，在系统刚开始运行的时候，采用默认的搜索窗口即80×48，在系统运行到一定帧数后运动矢量预搜索模块开始根据视频序列相邻帧对应宏块的运动矢量信息对当前帧的当前宏块的运动矢量信息进行预测，获得当前宏块的最佳匹配运动矢量信息，然后再通过搜索尺寸选择模块选择出当前宏块的搜索窗口的尺寸，最后通过自适应搜索窗口实现模块进行像素匹配搜索，获得当前宏块的运动矢量信息。

本发明H.264运动估计搜索窗口自适应调整算法的VLSI实现系统，其特点也在于：所述自适应搜索窗口实现模块包括当前宏块像素数据存储单元、参考像素数据存储单元、控制器、像素比较单元和SAD比较器；

所述当前宏块像素数据存储单元用于存储当前宏块的像素数据；当前宏块像素数据存储模块采用4个64×32bit的片上数据存储器，可以同时存储当前宏块像素数据及与当前宏块相邻的3个宏块的像素数据。在对当前宏块完成运动矢量信息的计算后，可直接将下一宏块作为当前宏块进行运动估计，依次类推；这种方式可以减少对片外数据存储器的访问次数，节约时间，提高工作效率。

所述参考像素数据存储单元用于存储搜索窗口内的像素数据；所述参考像素数据存储模块采用4个64×48bit的片上存储器；

所述控制器用于控制所述自适应搜索窗口实现模块各单元的运作；

所述像素比较单元用于把当前宏块的像素数据与搜索窗口内的像素数据以宏块为单位逐一进行比较，采用减法操作，在每次比较后获得搜索窗口内相应宏块的像素数据与当前宏块的对应像素数据的差值，并将差值累加获得相应宏块的差值之和，送入SAD比较器；本设计中采用16个PE阵列进行像素比较，每个PE阵列可以同时比较8个像素，16个PE阵列并行处理一次可以完成128个像素点的比较，对于16×16大小的宏块，两个时钟周期比较完宏块中的一行16个像素数据，经过32个时钟周期后能够比较出23×17范围内的所有宏块。

所述SAD比较器比较搜索窗口内所有宏块的差值之和，获得差值之和的最小值，以所述差值之和的最小值所对应的搜索窗口内的宏块作为当前宏块的最佳匹配宏块；所述最佳匹配宏块的位置相对于当前宏块的位置的位移偏量即为当前宏块的运动矢量信息。

本发明的运动矢量预搜索模块采用n个视频序列相邻帧的对应宏块的运动矢量信息对当前帧的当前宏块的运动矢量信息进行预测，分别获得相应的横向运动矢量预测信息MV_1x、MV_2x、……、MV_nx，及相应的纵向运动矢量预测信息MV_1y、MV_2y、……、MV_ny，并根据式(1)获得最佳匹配横向运动矢量预测信息PMVx和最佳匹配纵向运动矢量预测信息PMVy；

PMV_i＝(MV_1i ²+MV_2i ²+MV_3i ²+MV_4i ²+……+MV_ni ²)/n (1)

式中，i为x或y。

所述搜索尺寸选择模块根据运动矢量预搜索模块得到的最佳匹配横向运动矢量预测信息PMVx和最佳匹配纵向运动矢量预测信息PMVy按照式(2)和式(3)来选择搜索窗口的尺寸，其中：搜索窗口的尺寸＝(16+2×|SR_x|)×(16+2×|SR_y|)；式中T0和T1为PMVx的阈值，L0为PMVy的阈值；

利用视频序列的时间相关性，前n帧的运动特性与当前帧都有很大的相关性，因此采用多相邻帧的预测方法对当前帧的当前宏块的运动矢量信息进行预测，可以提高预测的准确性。

与现有的运动估计搜索算法相比，本发明的H.264运动估计搜索窗口自适应调整算法增加了两个模块：运动矢量预搜索模块和搜索尺寸选择模块，运动矢量预搜索模块是根据视频序列相邻帧对应宏块的运动矢量信息对当前帧的当前宏块的运动矢量信息进行预测，获得当前宏块的最佳匹配运动矢量信息；搜索尺寸选择模块是根据由运动矢量预搜索模块获得的当前宏块的最佳匹配运动矢量信息从备选搜索窗口的尺寸中选择当前宏块的搜索窗口的尺寸。减少了运动估计所需的搜索点数从而降低减运动估计搜索所消耗的时间。

与已有的技术相比，本发明的有益效果体现在：

1、本发明利用视频序列的时间相关性，采用多相邻帧宏块的运动矢量信息预测当前帧宏块所对应搜索窗口的尺寸，提高了运动矢量预测的准确性；

2、本发明设计出一种运动矢量(MV)预搜索硬件模块，利用多参考帧宏块运动矢量的二阶矩对当前帧宏块的运动矢量信息进行预测；横向矢量信息预测值PMVx反映图像在水平方向的运动矢量信息，纵向矢量信息预测值PMVy反映图像在垂直方向的运动矢量信息，二者结合反映图像的整体信息。

3、本发明设计出搜索尺寸选择模块，它可以根据预搜索模块的得到的参数选择不同的搜索尺寸，对于变化快的视频序列采用大的搜索窗口尺寸，对于变化缓慢的视频序列采用较小的搜索窗口尺寸，从而减少像素的搜索次数，降低运动估计运算量，节约压缩时间。

附图说明

图1为运动矢量预搜索模块采用n个视频序列相邻帧的对应宏块的运动矢量信息对当前帧的当前宏块的运动矢量信息进行预测进行预测的示意图；

图2为运动矢量预搜索模块(PreSearch)的硬件结构图；

图3为宏块与搜索窗口对应示意图；

图4为搜索尺寸选择模块(ModelSel)的硬件结构图；

图5为像素比较单元(PE)的硬件设计图；

图6为H.264运动估计搜索窗口自适应系统结构图。

具体实施例

本实施例H.264运动估计搜索窗口自适应调整算法的VLSI实现系统包括运动矢量预搜索模块、搜索尺寸选择模块和自适应搜索窗口实现模块；

如图1所示，运动矢量预搜索模块是根据视频序列相邻帧对应宏块的运动矢量信息对当前帧的当前宏块的运动矢量信息进行预测，获得当前宏块的最佳匹配运动矢量信息；当前宏块的最佳匹配运动矢量信息包括最佳匹配横向运动矢量预测信息PMVx和最佳匹配纵向运动矢量预测信息PMVy；横向运动矢量预测信息PMVx反映当前宏块在水平方向的运动矢量信息特性，纵向运动矢量预测信息PMVy反映当前宏块在垂直方向的运动矢量信息特性；

运动矢量预搜索模块(PreSearch)采用n个视频序列相邻帧的对应宏块的运动矢量信息对当前帧的当前宏块的运动矢量信息进行预测，分别获得相应的横向运动矢量预测信息MV_1x、MV_2x、……、MV_nx，及相应的纵向运动矢量预测信息MV_1y、MV_2y、……、MV_ny，并根据式(1)获得最佳匹配横向运动矢量预测信息PMVx和最佳匹配纵向运动矢量预测信息PMVy；

PMV_i＝(MV_1i ²+MV_2i ²+MV_3i ²+MV_4i ²+……+MV_ni ²)/n (1)

式中，i为x或y。

如图2所示，为运动矢量预搜索模块(PreSearch)的硬件结构图，其首先通过FIFO进行MV_i临时数据存储，然后经过乘法器MUL求平方，再对各个平方值通过加法器ADD求和，最后通过移位寄存器Shift进行除法计算，即获得PMV_i。

搜索尺寸选择模块是根据由运动矢量预搜索模块获得的当前宏块的最佳匹配运动矢量信息从备选搜索窗口的尺寸中选择当前宏块的搜索窗口的尺寸，如图3所示，备选搜索窗口的尺寸包括80×48、80×32、48×48、48×32、32×48和32×32；

搜索尺寸选择模块根据运动矢量预搜索模块得到的最佳匹配横向运动矢量预测信息PMVx和最佳匹配纵向运动矢量预测信息PMVy按照式(2)和式(3)来选择搜索窗口的尺寸，其中：搜索窗口的尺寸＝(16+2×|SR_x|)×(16+2×|SR_y|)；式中T0和T1为PMVx的阈值，L0为PMVy的阈值；

如图4所示为搜索尺寸选择模块(ModelSel)的硬件结构图，首先在sel中将PMVx和PMVy与相应的阈值进行比较，然后通过多路选择器mux进行尺寸选择，最后将横向尺寸与纵向尺寸关联，获得搜索窗口的尺寸。

自适应搜索窗口实现模块根据所述搜索尺寸选择模块所选择的当前宏块的搜索窗口的尺寸获得当前宏块在相邻帧中的搜索窗口，并在搜索窗口内对当前宏块进行像素匹配搜索，获得当前宏块的运动矢量信息。

自适应搜索窗口实现模块包括当前宏块像素数据存储单元(RB_MEM)、参考像素数据存储单元(SW_MEM)、控制器(FPS_CTRL)、像素比较单元(PE)和SAD比较器(SAD_MUX)；当前宏块像素数据存储单元用于存储当前宏块的像素数据；

参考像素数据存储单元用于存储搜索窗口内的像素数据；

控制器用于控制所述自适应搜索窗口实现模块各单元的运作；

像素比较单元用于把当前宏块的像素数据与搜索窗口内的像素数据以宏块为单位逐一进行比较，在每次比较后获得搜索窗口内相应宏块的像素数据与当前宏块的对应像素数据的差值，并将差值累加获得相应宏块的差值之和，送入SAD比较器；

SAD比较器比较搜索窗口内所有宏块的差值之和，获得差值之和的最小值，以差值之和的最小值所对应的搜索窗口内的宏块作为当前宏块的最佳匹配宏块；最佳匹配宏块的位置相对于当前宏块的位置的位移偏量即为当前宏块的运动矢量信息。

如图5为本实施例选用的PE单元的硬件电路图，输入为rb[63:0]和sw[63:0]。一个PE可以同时比较8个当前宏块和8个参考宏块的差值。

如图6所示，本实施例的H.264运动估计搜索窗口自适应调整算法的VLSI实现系统，首先以运动矢量预搜索模块(PreSearch)获得PMV_i，然后通过搜索尺寸选择模块(ModelSel)获得搜索窗口的尺寸，将当前宏块像素数据存储在当前宏块像素数据存储单元(RB_MEM)、将存储搜索窗口内的像素数据存储在参考像素数据存储单元(SW_MEM)，并分别通过RB_BUF和SW_BUF缓存，通过像素比较单元(PE)进行像素比较，所得差值之和送入SAD比较器(SAD_MUX)，获得差值之和的最小值，进而获得当前宏块的运动矢量信息。

设计中采用16个PE阵列进行像素比较，每个PE可同时比较8个像素，16个PE并行处理一次可以比较128个像素点，对于16×16大小的宏块，两个时钟周期比较完每个宏块中的一行16个像素数据，所以经过32个时钟周期后能够比较出23×17矩阵范围的所有宏块，将这些宏块的SAD和最小SAD的值再进行比较，找到最小的SAD和其对应的位移量，然后再经过32个时钟周期比较出23×19矩阵范围的数据，依次类推。

设计中采用当前帧的前N帧的运动矢量信息来预测当前帧的运动矢量信息，在系统刚开始运行的时候，编码采用默认的搜索窗口即80×48，只有系统编码到一定帧数以后才启用本系统，之后的每一帧都是根据相邻帧的运动矢量信息预测出当前帧的运动矢量信息。

在启动本系统之后，运动矢量预搜索模块根据相邻N帧的运动矢量信息预测出最适合当前帧的横向和纵向运动矢量信息，然后搜索尺寸选择模块根据运动矢量预搜索模块预测出的运动矢量信息来选择适合当前帧搜索窗口的尺寸，然后进行当前帧编码。

本设计的H.264运动估计搜索窗口自适应调整算法的超大规模集成电路(VLSI)实现已经在Altera FPGA开发板Stratix III(EP3SL340F1760C4)上，通过Verilog HDL语言实现。测试视频序列选用CT、FM和FB三种视频流的前50帧。表1给出得到的压缩结果，表2给出了系统的硬件资源消耗。从表中可以看出在具有较高压缩比的前提下，有较低的硬件资源消耗。

表1

视频源	压缩码流	压缩比
			CT(14850Kbits)	864Kbits	17.2：1
FM(14850Kbits)	840Kbits	17.7：1
			FB(14850Kbits)	1928Kbits	7.7：1

表2

Claims (3)

1.一种H.264运动估计搜索窗口自适应调整算法的VLSI实现系统，其特征在于：所述系统包括运动矢量预搜索模块、搜索尺寸选择模块和自适应搜索窗口实现模块；

所述运动矢量预搜索模块是根据视频序列相邻帧对应宏块的运动矢量信息对当前帧的当前宏块的运动矢量信息进行预测，获得当前宏块的最佳匹配运动矢量信息；所述当前宏块的最佳匹配运动矢量信息包括最佳匹配横向运动矢量预测信息PMVx和最佳匹配纵向运动矢量预测信息PMVy；所述最佳匹配横向运动矢量预测信息PMVx反映当前宏块在水平方向的运动矢量信息特性，所述最佳匹配纵向运动矢量预测信息PMVy反映当前宏块在垂直方向的运动矢量信息特性；

所述搜索尺寸选择模块是根据由运动矢量预搜索模块获得的当前宏块的最佳匹配运动矢量信息从备选搜索窗口的尺寸中选择当前宏块的搜索窗口的尺寸，所述备选搜索窗口的尺寸包括80×48、80×32、48×48、48×32、32×48和32×32；

所述自适应搜索窗口实现模块根据所述搜索尺寸选择模块所选择的当前宏块的搜索窗口的尺寸获得当前宏块在相邻帧中的搜索窗口，并在所述搜索窗口内对当前宏块进行像素匹配搜索，获得当前宏块的运动矢量信息；

所述搜索尺寸选择模块根据运动矢量预搜索模块得到的最佳匹配横向运动矢量预测信息PMVx和最佳匹配纵向运动矢量预测信息PMVy按照式(2)和式(3)来选择搜索窗口的尺寸，其中：搜索窗口的尺寸＝(16+2×|SR_x|)×(16+2×|SR_y|)；式中T0和T1为PMVx的阈值，L0为PMVy的阈值；

${\mathrm{SR}}_x=\left\{\begin{array}{cc}\±8,& {\mathrm{PMV}}_x\≤T0\\ \±16,& T0\≤{\mathrm{PMV}}_x\≤T1\\ \±32,& {\mathrm{PMV}}_x\≥T1\end{array}\right.---\left(2\right);$

${\mathrm{SR}}_y=\left\{\begin{array}{cc}\±8,& {\mathrm{PMV}}_y\≤L0\\ \±16,& {\mathrm{PMV}}_y\≥L0\end{array}\right.---\left(3\right).$

2.根据权利要求1所述的H.264运动估计搜索窗口自适应调整算法的VLSI实现系统，其特征在于：所述自适应搜索窗口实现模块包括当前宏块像素数据存储单元、参考像素数据存储单元、控制器、像素比较单元和SAD比较器；

所述当前宏块像素数据存储单元用于存储当前宏块的像素数据；

所述参考像素数据存储单元用于存储搜索窗口内的像素数据；

所述控制器用于控制所述自适应搜索窗口实现模块各单元的运作；

所述像素比较单元用于把当前宏块的像素数据与搜索窗口内的像素数据以宏块为单位逐一进行比较，在每次比较后获得搜索窗口内相应宏块的像素数据与当前宏块的对应像素数据的差值，并将差值累加获得相应宏块的差值之和，送入SAD比较器；

所述SAD比较器比较搜索窗口内所有宏块的差值之和，获得差值之和的最小值，以所述差值之和的最小值所对应的搜索窗口内的宏块作为当前宏块的最佳匹配宏块；所述最佳匹配宏块的位置相对于当前宏块的位置的位移偏量即为当前宏块的运动矢量信息。

3.根据权利要求1或2所述的H.264运动估计搜索窗口自适应调整算法的VLSI实现系统，其特征在于：

所述运动矢量预搜索模块采用n个视频序列相邻帧的对应宏块的运动矢量信息对当前帧的当前宏块的运动矢量信息进行预测，分别获得相应的横向运动矢量预测信息MV_1x、MV_2x、……、MV_nx，及相应的纵向运动矢量预测信息MV_1y、MV_2y、……、MV_ny，并根据式(1)获得最佳匹配横向运动矢量预测信息PMVx和最佳匹配纵向运动矢量预测信息PMVy；

PMV_i＝(MV_1i ²+MV_2i ²+MV_3i ²+MV_4i ²+……+MV_ni ²)/n (1)

式中，i为x或y。