CN101227616A - H.263/avc整象素向量搜索算法 - Google Patents

Abstract

本发明提供一种H.263/AVC整象素向量搜索算法，通过比较几种常用的整象素向量搜索算法，引入一种适合硬件实现的H.263整象素向量搜索算法。该算法通过向量的预测及带状搜索实现快速的整象素向量搜索，目前已经在IP音、视频编解码芯片上成功实现。实验结果表明本发明可以大幅缓解内存访问的压力、减小运算量，同时保证视频的峰值信噪比及码流大小。

Description

H.263/AVC整象素向量搜索算法

技术领域

本发明涉及一种视频信号压缩的技术。

背景技术

视频图像的压缩目前在移动通信、视频会议、数字电视等领域均有广泛的应用。随着摄像头技术的发展以及对图像压缩比、图像信噪比的要求日益提高，目前H.263作为一种新的压缩标准得以推广。

H.263由MPEG工作组及ITU工作组联合推出，是一种基于块的混合编码，主要的工作原理是利用视频图像的时间相关性及空间相关性，通过帧内/帧间预测及变换编码压缩图像信息。

帧间预测在进行搜索点匹配时需要进行大量的加法运算，所以实质上算法的设计就是设法减少搜索点的过程。在衡量一个搜索算法的优劣时，通常须要综合考虑算法的复杂度、匹配精度、硬件实现难易度等因素，下面分析几种常用的向量搜索算法：

全区域搜索算法(Full Search)[3]是效果最好的算法，它能确保获得最佳的匹配点。从硬件的实现上看，七种模式可以共用一套处理引擎(PE)[3]，非常易于硬件实现。但是其明显的缺点就是计算量太大，处理时必须将搜索区域内的所有点遍历一次，这对硬件资源的消耗是难以接受的，所以通常只作为测试使用。

三步法(Three-Step Search)、两维对数搜索法(LogarithmicSearch)等算法结构简单，运算量小，算法的运算时间非常固定。但是这类算法从原理上看比较粗糙，非常容易落入局部最小值的陷阱，所以通常造成的图像损失很大。三步法另外一个缺点是由于搜索区域比较分散，很难进行硬件的复用。

而预测性的运动向量场适应搜索技术(PMVFAST)及增强的预测性带状搜索(EPZS)[6]充分进行了时域和空域的预测，既减小了运算量又能将图像损失控制在可接受范围内，所以这类的算法在实际应用中得以广泛使用，并且已被标准接受(见JM10.0)。其优势体现在以下三个方面：首先，算法在时域及空域上选择几个和当前处理块关系最密切的相邻块的向量作为向量预测点(predictors)，这能够相当程度地预测当前模块的运动趋势。其次，为了获取区域内的极值，算法对第一步获得的最佳预测点选用一定的模板沿带状路径进行提取(zonal search)，直到最佳向量落到模板中心。最后，此类算法具有自适应性，算法先对可能性较大预测点进行搜索，如果该预测点满足域值要求则提前结束搜索，这不但能减少运算量而且也能提高图像的质量。

发明内容

本发明将采用第三类算法的思路，对其预测点的选择及搜索模板的选择进行优化，进一步地减小算法的运算量以达到硬件设计的要求。

本发明提供一种H.263/AVC整象素向量搜索算法，该方法包括以下步骤：

(1)帧间预测；在参考帧上寻找与当前图像块最匹配的参考图像，比较当前图像与参考图像的率失真RDO，获取运动向量，其中，RDO中的绝对值差；

$\mathrm{SAD}=\underset{i=x}{\overset{x+M-1}{\mathrm{\Σ}}}\underset{j=y}{\overset{y+N-1}{\mathrm{\Σ}}}|I_k(i,j)-I_{k-1}(i+\mathrm{dx},j+\mathrm{dy})|$

式中，I_k(i，j)为原始图像的象素灰度，I_k-1(i+dx，j+dy)为参考图像在当前向量(dx，dy)下的象素灰度，(M，N)为当前块的大小；

(2)选择搜索模板；选择4×4为7种模式的基本单位，模板大小为±2时，选择并行内存为8×8素，进行模板搜索时预测点在空间上相邻，内存可以得到相当程度的重复使用；

(3)选择预测点：a，标准中的预测向量；b，(0，0)向量：c，A，B，C(D)三个向量；d，参考帧中与当前帧当前块同一位置的块向量；e，上述各向量(±1，±1)范围内的八个邻近向量。

该算法的流程是：

(1)参考帧图像与当前帧图像存储在两个单元中；

(2)搜索开始后，经过非线性重排后的参考帧图像与当前图像做SAD运算；

(3)然后该SAD与前面累积的SAD再进行累加，直到完成该模式下的一次模板搜索；

(4)当完成一次模板搜索点后，先在模板里的九个搜索点中选出最佳的一个；

(5)然后将它与之前搜索点的最佳SAD比较，假如该最佳点的SAD优于临时最佳SAD，则更新临时最佳SAD和临时最佳向量；

(6)最后将最佳向量输入地址产生器生成下一个搜索地址。

本发明的优点是，可以大幅缓解内存访问的压力、减小运算量，同时保证视频的峰值信噪比及码流大小。

附图说明

附图1是本发明的工作流程图。

附图2是搜索模板(图a，b，c，d)示意图。

附图3是大方形模板搜索内存复用情况示意图。

具体实施方式

本发明相对于前代算法，H.263由于采用了细化帧间预测宏块、引入帧内预测、引入1/4亚象素、整数化DCT变换等手段，在相同的视觉效果下，码流大约只为MPEG4的50％左右。而帧间预测作为其关键技术，对压缩比的提升具有决定性的作用。H.263支持7种不同尺寸的宏块分割：分别为16×16，16×8，8×16，8×8，8×4，4×8，4×4。从计算量上来说，帧间压缩的运算量要达到整个压缩运算量的50％左右，如果采用多参考帧这个比例甚至高达70％。

具体来说帧间预测就是通过在参考帧上寻找与当前图像块最匹配的参考图像，再在此基础上进行运动补偿。运动向量的获取通常通过比较当前图像与参考图像的率失真(RDO)来实现，绝对值差(SAD)是RDO中重要组成部分：

$\mathrm{SAD}=\underset{i=x}{\overset{x+M-1}{\mathrm{\Σ}}}\underset{j=y}{\overset{y+N-1}{\mathrm{\Σ}}}|I_k(i,j)-I_{k-1}(i+\mathrm{dx},j+\mathrm{dy})|$

式中，I_k(i，j)为原始图像的象素灰度，I_k-1(i+dx，j+dy)为参考图像在当前向量(dx，dy)下的象素灰度，(M，N)为当前块的大小；

由上式可以看到，在7种模式中任一模式下进行一个参考点的向量搜索，需要进行256次的减法和255次的加法，而算法中通常需要几十到上百的参考点。这对处理器的能力是一个考验。为了减小运算量，向量搜索通常分割成整象素搜索(IME)及亚象素提取(FME)两部分，这样做就是将向量的搜索限定在整数象素，而亚象素向量只在最终的整数向量±1象素范围内提取。

帧间预测中，有几个比较特殊的向量，协议中将其称为：A，B，C，D向量。即当前块的左块向量，上块向量，右上块向量，左上块向量。这几个向量的特殊性在于：首先A-D向量所在的块与当前块毗邻，这些向量能够在一定程度上代表当前块的运动趋势；其次在进行当前块向量搜索时，A-D向量已经预先计算完成，可以直接使用。而标准中规定当前块的预测向量取A，B，C(D)向量的中值。

在H.263中4×4为7种模式的基本单位，同时搜索模板中所涉及的参考象素点非常集中，这种情况下，考虑并行完成4×4象素块的一次模板搜索。在硬件实现中，搜索模板的大小决定了并行内存的访问模式，从而也就决定了算法的硬件资源。进行4×4象素的并行搜索时，如果搜索模板大小为±1，则要求的内存访问模式最小为6×6，而如果模板大小为±2，则内存最小为8×8……以此类推。考虑硬件的实现难易程度，最终选择的并行内存为8×8象素。所以EPZS、PMVFAST中大于±2的模板将被剔除，这些内存利用率不高的模板并不适合硬件实现。这样剩下的模板为小钻石、大钻石、小方形、大方形四种(如图2，图2a为小钻石搜索模板，图2b为小方形搜索模板，图2c为大钻石搜索模板，图2d为小方形搜索模板)。其中除小钻石模板具有5个搜索点外，其余三个模板均具有9个搜索点，并行处理分别需要5条和9条SAD流水线。

在H.263的实现中，内存的访问是一个非常重要的环节，从模板的选择上可以看到，由于进行模板搜索时预测点在空间上相邻，内存可以得到相当程度的重复使用，进行9个点搜索时需要的内存只是8×8＝64，而非4×4×9＝144。内存的复用在一定程度上缓解了内存访问中极高的带宽要求。

预测点的选择直接决定了算法的优劣，本发明选取以下很有代表性的预测点：

1，标准中的预测向量；2，(0，0)向量；3，A，B，C(D)三个向量；4，参考帧中与当前帧当前块同一位置的块的向量；5，上述各向量(±1，±1)范围内的八个邻近向量。

以上预测点按与当前向量的相关度排序。首先预测向量作为标准中对当前向量的预测，无疑具有最高的相关性。其次通常视频中存在大量局部静止或是大片的均匀背景的情形，所以选择(0，0)向量作为第二预测点。再次从空间相邻的角度考虑，选择A，B，C(D)三个个向量作为第三预测点。最后从时间相邻的角度考虑，选取参考帧中与当前帧当前块同一空间位置块的向量作为最后的预测点。

另外，由于本发明硬件系统具有9点并行处理的能力，本算法可以使用小方形搜索模板对各预测点进行提取，既处理了原预测点±1范围内的9个预测点。该步骤提高了预测的准确度。

后面的实验结果将表明，本发明采用的算法并未造成图像质量的明显下降，这证明选取的预测点非常具有代表性。

3本发明的硬件结构，采用单参考帧搜索，搜索范围设定为X：[-32，31]、Y：[-24，23]。算法要求内存能够一次读出任意位置8×8×8bit的参考区域。这需要进行512bit的数据总线宽度并行内存读取[7]。并行内存读取其实是整个设计的关键，因为它直接决定了外部总线带宽及片内内存的大小等关键参数。具体实现如下：

首先，因为参考图像读取时起始点可能位于任何位置，所以不能采用以提高数据宽度来减少内存数目的方法，必须将内存分割成8行乘8列的格式。XC2V3000中有96片的片上BlockRam，能够满足算法的需求。

其次，为了实现帧间搜索的流水线不间断，在单参考帧时片上内存至少要存储(32×2+16+16)×(24×2+16)＝6144bytet的数据，对应每块ram的大小为96byte。VirtexII系列中BlockRam的大小为2kbyte，满足设计要求。

再次，并行内存读取需要进行内存映射，具体来说象素的存储顺序为第1，9，17等模8为1的行的象素存到相应列的第1行，而模8为1的列的象素则存到相应行的第1列。地址映射和内存的片选公式为分别为：a(i，j)＝round(i/8)+round(j/8)×12，s(i，j)＝imod8+8×(jmod8)，

最后，XC2V3000中BlockRam为双口结构，这为算法的流水线处理[8]提供了便利，可将A端口用于从外部存储器读入数据，而将B端口用于向SAD模块提供并行数据。这种结构中A端口其实占用率并不高，将来可以方便地进行亚象素搜索的扩展。

使用了片上存储器后，对于使用单参考帧处理30fps的D1视频，片外存储器的带宽要求仅为63.18MB/s。这样一块32bit的SDRAM便很容易达到该要求。

参考帧图像与当前帧图像存储在两个单元中。搜索开始后，经过非线性重排后的参考帧图像与当前图像做SAD运算；然后该SAD与前面累积的SAD再进行累加，直到完成该模式下的一次模板搜索；当完成一次模板搜索点后，先在模板里的九个搜索点中选出最佳的一个，然后将它与之前搜索点的最佳SAD比较，假如该最佳点的SAD优于临时最佳SAD，则更新临时最佳SAD和临时最佳向量；最后将最佳向量输入地址产生器生成下一个搜索地址。

在使用带状搜索算法时，硬件上最大的瓶颈在于必须计算出当前最佳预测点，才能确定搜索窗口的移动方向。而在100MHz高速处理时，为了保证时序要求，最佳预测点的计算需要多级触发器缓存，这使得从地址产生、内存读出……到最终的新的参考图像地址的产生整个流程产生很大的流水线延迟。本设计中这个延迟为12个时钟周期。为了解决延迟造成的等待问题，本发明采取的是7种模式轮换的方式，既以单个时钟周期为单位进行1-＞2-＞3……-＞7-＞1……的轮转切换计算，七种模式相互填补其余各模式的等待时间。从硬件损耗上看，算法进行7种模式搜索在内存、SAD计算、SAD比较等主要单元上是完全复用的，区别仅在于增加了中间结果的存储。

为了防止搜索步骤过长，本发明规定只进行12步的搜索。如果进行完12步的搜索后仍旧无法得出区域最佳向量，则把当前预测点作为最佳。所以最坏情形下本算法一个宏块的处理时间为12×16×7＝1344时钟周期。而D1(30fps，720×572pixels)视频包含1620个宏块，所以一帧图像的处理时间为1344×1620＝2177280时钟周期，对应100MHz的时钟则为0.022s，相对0.033s的帧频要求具有0.011s的冗余，完全满足视频的实时处理要求。

本发明已在XC2V3000(300万门的FPGA)平台实现，包含时钟模块，视频输入模块，SDRAM控制模块，SRAM控制模块，ME模块，结果输出模块等。FPGA内部消耗如下：芯片中SLICE使用量为6553(寄存器使用量为7355，4输入的查找表为10500)，BlockRam使用率为68/96。外部存储器为：64Mbit的SDRAM两片，256Kbit的SRAM两片。

通过PCI总线传输测试仿真图像及回传运算结果。然后将算法结果与H.263中的全区域搜索算法结果进行比较，算法参数及比较结果如下：

表1算法关键参数比较

表2算法率失真及码流比较(100frames Qp＝28)表1列出了主要的硬件消耗。算法的复杂程度实质上取决于搜索点的数目，本发明算法的搜索点虽然3倍于三步法的搜索点，但是也只是相当于全搜算法的23％，处于一个合理的尺度。其次由于进行模板搜索时实现了内存很大程度的复用，本发明所需的片上内存带宽要求小于三步法。

而从表2的运行结果来看，三步法和本发明的算法在PSNR上相差无几，甚至三步法还要略高于本发明算法。但是从码流的分析来看，本发明算法明显地优于三步法。从表中可以明显看出，本发明算法与全搜算法码流相当，而三步法的码流要明显大于另外两种算法，这在高分辨率的D1序列中表现尤为明显。在D1格式的Mobile视频测试中，三步法的码流甚至超过本发明算法15％。造成上述现象的原因是本发明算法采用了向量的预测，所以最终的匹配点更接近于最佳向量；而三步法通常可以获得较小的SAD值，但是它无法客观地表现当前图像的运动趋势，相邻向量的相关性不强，从而产生很大的码流。

本发明引入了一种完整的7种模式完全搜索的硬件运动向量评估算法。算法根据硬件计算的特点，对EPZS和PMVFAST中的搜索模板和预测向量进行了优化。通过引入并行内存、并行SAD流水线，算法具有30fps D1视频实时处理的能力。本算法的运算量仅为全搜算法的23％左右，且硬件消耗远低于参考文献[3]中提供的全搜索算法。实验结果表明相对全区域搜索，本发明算法PSNR的降低在0.07dB以内，而码流差别在1％以内。

Claims (2)

1.一种H.263/AVC整象素向量搜索算法，其特征在于：该方法包括以下步骤：

(1)帧间预测；在参考帧上寻找与当前图像块最匹配的参考图像，比较当前图像与参考图像的率失真RDO，获取运动向量，其中，RDO中的绝对值差；

$\mathrm{SAD}=\underset{i=x}{\overset{x+M-1}{\mathrm{\Σ}}}\underset{j=y}{\overset{y+N-1}{\mathrm{\Σ}}}|I_k(i,j)-I_{k-1}(i+\mathrm{dx},j+\mathrm{dy})|$

式中，I_k(i，j)为原始图像的象素灰度，I_k-1(i+dx，j+dy)为参考图像在当前向量(dx，dy)下的象素灰度，(M，N)为当前块的大小；

(2)选择搜索模板；选取择4×4为7种模式的基本单位，模板大小为±2时，选择并行内存为8×8素；

(3)选择预测点：a，标准中的预测向量；b，(0，0)向量：c，A，B，C(D)三个向量；d，参考帧中与当前帧当前块同一位置的块向量；e，上述各向量(±1，±1)范围内的八个邻近向量。

2.按权利要求1所述的H.263/AVC整象素向量搜索算法，其特征在于：该算法的流程是：

(1)参考帧图像与当前帧图像存储在两个单元中；

(2)搜索开始后，经过非线性重排后的参考帧图像与当前图像做SAD运算；

(3)然后该SAD与前面累积的SAD再进行累加，直到完成该模式下的一次模板搜索；

(4)当完成一次模板搜索点后，先在模板里的九个搜索点中选出最佳的一个；

(5)然后将它与之前搜索点的最佳SAD比较，假如该最佳点的SAD优于临时最佳SAD，则更新临时最佳SAD和临时最佳向量；

(6)最后将最佳向量输入地址产生器生成下一个搜索地址。

Images