CN101296380A - 运动补偿系统中的插值方法及插值器 - Google Patents

Abstract

本发明涉及视频压缩技术。本发明所要解决的技术问题是，提供一种在运动补偿系统中利用插值计算的中间结果，去除计算冗余的插值方法及插值器，将插值运算中插值滤波器系数与待输入像素值的乘法操作分解为左移位运算与加法运算；在每次像素插值运算完成后，保存下一次像素插值运算中的可重用中间结果供下一次像素插值运算使用。本发明的有益效果是，在基于块编码的视频编解码系统实现中，充分利用前一次插值计算的中间结果，最大程度的去除计算冗余，从而有效的提高插值计算实现的性能。

Description

运动补偿系统中的插值方法及插值器

技术领域

本发明涉及视频压缩技术。

背景技术

很多计算系统，多媒体设备，成像系统等等均使用视频压缩技术来减少视频数据传输的体积。通过压缩掉视频流中冗余或不需要的信息，传输视频数据所需要的带宽被大幅度的减少了。

一个普遍使用的视频压缩标准是MPEG4-AVC/H.264技术。这份应用范围越来越广泛的视频压缩标准采用了大量工具，以增加它的实现复杂度为代价进一步的提高了压缩率。本领域普通技术人员都知道，众多主流视频压缩技术都采用运动补偿技术，运动补偿系统能非常高效的去除视频帧间时间维度上的冗余信息。

MPEG4-AVC/H.264同样也使用了运动补偿技术。为了提高运动补偿的压缩性能，运动补偿的最小匹配块为4×4亮度像素子块，2×2色度像素子块；指示在参考帧匹配位置的运动矢量的精度是1/4亮度像素，1/8色度像素；在做参考帧匹配块同当前补偿块的差分残差时，1/2亮度像素位置值将通过一个六抽头插值滤波器计算得到。

如图1所示一个待插值进行运动补偿的宏块亮度像素排列，因为宏块模式划分最小为4×4的亮度像素子块，所以图1左上角4×4的黑色块表示运动补偿插值计算的最小单位，它也是大多数视频压缩技术插值计算实现的最小单位。因为4×4的亮度像素子块拥有唯一一个指示在参考帧匹配位置的运动矢量数据，如果这个运动矢量数据是1/2或1/4亮度像素精度时，需要对运动矢量整数像素部分所指示的参考帧匹配4×4像素块做1/2或1/4精度插值计算。

如图2所示，一个4×4像素子块仅需要水平1/2亮度像素插值所需要的像素。标识有大写字母A～P的16个像素是在参考帧上匹配于当前划分块的整数位置像素，而标识有阿拉伯数字1～20的20个像素是为了插值计算所需要的辅助像素。本领域普通技术人员容易明白，对A，B，C，D偏右四个1/2插值计算仅需要1，2，3，4，5等5个辅助像素。其余E～P偏右1/2像素插值均分别只需要同行位置的像素作为输入。另外，做垂直方向1/2插值计算，和1/4插值计算类似于图2所示意。

图3示意了现有技术执行一次1/2像素插值计算(软硬件实现均可)，需要输入6个像素值，随后六个输入像素值同预存的六个插值系数1，-5，20，20，-5，1依次相乘，这个6个乘法计算结果求和在加上修正值16，对这个最后的和右移5位得到本次插值运算的最终插值结果。当对A像素偏右1/2插值计算时，1，2，A，B，C，D六个像素依次作为像素1-6的输入，随后它们和预存的六个插值系数相乘。完成计算后，当对以下次插值(B像素偏右1/2插值)计算时，要重新把2，A，B，C，D，3等六个像素依次作为像素1-6的输入，它们又同预存的六个插值系数相乘。对于C～P像素偏右1/2插值是类似的操作。

在编解码器的任何一种实现中，运动补偿系统里像素位置的插值计算都是占据着整个编解码系统相当大一部分计算量。对于解码器或者按需进行插值完成运动搜索任务的编码器来说，像素插值计算往往是整个系统的速度瓶颈。特别是对于图3所示意的当前主流视频压缩技术以六阶插值滤波器进行一次1/2水平像素插值计算的执行，需要输入6个数据，执行6次普通乘法，6次加法，1次移位。如果是水平和垂直均为1/2像素位置时，其插值计算需要42次普通乘法，35次加法，7次移位操作。

可以看到，当完成前一个像素插值后，后一个像素插值计算需要完全重新计算，虽然它们的输入数据仅有一个不同，而插值系数完全相同。现有技术的一个根本缺陷是，在这紧邻位置的两次插值计算中，没有重用前一次的插值计算中间结果，导致有大量计算冗余，所以插值计算复杂度很高。

发明内容

本发明所要解决的技术问题是，提供一种在运动补偿系统中利用插值计算的中间结果，去除计算冗余的插值方法及插值器。

本发明为解决上述技术问题所采用的技术方案是，运动补偿系统中的插值方法，其特征在于，将插值运算中插值滤波器系数与待输入像素值的乘法操作分解为左移位运算与加法运算；在每次像素插值运算完成后，保存下一次像素插值运算中的可重用中间结果供下一次像素插值运算使用。

所述可重用中间结果为下一次像素插值运算中插值滤波器系数与像素值的乘法操作中所需的左移位运算结果。具体包括以下步骤：

a、输入首次像素插值运算所需的各像素点的像素值至插值滤波器做插值运算，得到首次插值结果；保存下一次像素插值运算中所需的像素值以及可重用中间结果，进入步骤b；

b、仅输入除已保留的像素值之外本次像素插值运算所需的像素值；调用保存的可重用中间结果用于本次像素插值运算中，得到本次像素插值后判断本条插值线的插值运算是否结束，若是，则结束本条插值线的插值运算；若否，保存下一次像素插值运算中所需的像素值以及可重用中间结果，回到步骤b。

运动补偿系统中的插值器，包括输入像素值寄存器、中间结果寄存器、运算器、控制器；输入像素值寄存器与运算器相连；运算器与中间结果寄存器相连；所述控制器分别与输入像素值寄存器、中间结果寄存器相连；

控制器，用于控制更新输入像素值寄存器及中间结果寄存器中的值；首次像素插值运算后的每次像素插值运算，控制器控制仅输入除已保留的像素值之外本次像素插值运算所需像素值至输入像素值寄存器；在像素插值完成后，控制器控制在中间结果寄存器中保存下一次像素插值运算中所需的可重用中间结果供下一次像素插值运算使用；

输入像素值寄存器，用于寄存每一次插值运算所需要的所有像素值；

运算器，通过移位，加、减法计算需更新的中间结果，将计算出的插值结果输出；

中间结果寄存器，寄存有可重用中间结果、需更新中间结果。

所述中间结果寄存器为左移位运算结果寄存器，用于寄存插值运算中插值滤波器系数与各像素值的乘法操作中所需的左移位运算结果；可重用中间结果为本次像素插值运算中保存下来用于下一次像素插值运算中插值滤波器系数与各像素值的乘法操作中所需的左移位运算结果；需更新中间结果为由运算器计算输入的本次像素插值运算中插值滤波器系数与各像素值的乘法操作所需的左移位运算结果。

本发明的有益效果是，在基于块编码的视频编解码系统实现中，充分利用前一次插值计算的中间结果，最大程度的去除计算冗余，从而有效的提高插值计算实现的性能。

附图说明

图1为宏块中运动补偿插值计算的最小单位示意图；

图2为4×4像素子块在水平1/2像素插值时所需要的像素；

图3为现有技术执行一次1/2像素位插值计算时的一般方法；

图4为4×4亮度像素子块的水平插值线；

图5为4×4亮度像素子块的垂直插值线；

图6为插值器结构示意图；

图7为插值器中输入像素值寄存器与左移位运算结果寄存器的数据更新示意图。

具体实施方式

为实现重用插值计算中间结果的目标，本发明的基本原理是把插值系数同输入像素数据的乘法操作分解为多个移位和加法运算，再根据所实现的视频压缩技术所要求的插值滤波器具体系数，存储起部分可重用中间的计算结果，在下一个像素插值计算时可以节省这些中间结果的计算成本。

结合图2来说明这种中间结果重用关系，在一个4×4的像素块实现1/2水平像素位置的六阶插值。在第一次对A偏右1/2像素插值计算，将计算输入像素1，2，A，B，C，D和滤波系数的乘积(当然这里的乘积被分解为多个移位和加法操作)，随后存储部分经事先分析有用的可重用中间结果。在第二次对B偏右1/2像素插值计算时，输入像素3更新了上次输入种的像素1，利用前次存储的可重用中间结果，仅需要比原来少得多的计算就将完成本次插值计算操作。

为达到本发明的目标，实现本发明的核心思想，本发明主要内容的一个方面是提供把输入像素值和插值系数之乘积分解为多个移位和加法运算的方法。根据基础数论知识可以知道，任何一个自然数都可以分解为多个2的幂之和。典型的如H.264所需要的六阶插值器，像素和它插值系数1，5，20的乘法可以分解为：

a×5＝a+(a＜＜2)                      (1)

a×20＝(a＜＜2)+(a＜＜4)              (2)

此处的a就是插值滤波器的输入像素值。

又如MPEG4-Part2里所要求的八阶插值器，它的插值系数为-8，24，-48，160可以分解为：

a×8＝a＜＜3                          (3)

a×24＝((a＜＜1)+a))＜＜3             (4)

a×48＝((a＜＜2)+(a＜＜1))＜＜3       (5)

a×160＝((a＜＜2)+(a＜＜4))＜＜3      (6)

本领域普通技术人员运用这样的方法可以很容易的把其它视频压缩技术所要求的插值系数做如同式(1)到式(6)的分解。虽然本发明的这个利用前次插值计算中间值的插值计算器的具体实现形式将根据视频编解码系统所指定的多阶像素插值器不同而有细节上的变化，但本领域普通技术人员将不难根据本专利文书所披露的重用中间值的插值计算器的方法原理，结合以下对MPEG4-AVC/H.264里指定的六阶1/2亮度像素插值器的实现实例而设计出适合其它视频压缩技术所指定的像素多阶插值器的可重用插值计算中间值的像素多阶插值器的软件实现或集成电路实现，从而获得插值计算复杂度的大幅度降低。

在MPEG4-AVC/H.264里指定的1/2亮度像素插值器是一个六阶的FIR滤波器，其滤波系数分别为1，-5，20，20，-5，1。插值器可以用软件方式实现，也可以以集成电路方式实现，如图6所示，包括输入像素值寄存器、中间结果寄存器、运算器、控制器；输入像素值寄存器与运算器相连；运算器与中间结果寄存器相连；所述控制器分别与输入像素值寄存器、中间结果寄存器相连；

控制器，用于控制更新输入像素值寄存器及中间结果寄存器中的值；

输入像素值寄存器，用于寄存每一次插值运算所需要的所有像素值；

运算器，通过移位，加、减法计算需更新的中间结果，将计算出的插值结果输出；

中间结果寄存器，寄存有可重用中间结果、需更新中间结果。

输入像素值寄存器由6个寄存器组成，分别为像素1-6；中间结果寄存器由10个左移寄存器组冲，分别为Re1-10，如图7所示，像素1和像素6应该与系数1相乘，像素2和像素5应该与系数5相乘，像素3和像素4应该与系数20相乘。依据本发明对这种乘法的分解，具体到本示例，就是式子(1)和式子(2)的分解方法，则像素1与像素6中寄存器的像素值不经左移运算直接存入寄存器Re1、Re10；像素1与像素6中寄存器的像素值分别对应寄存器Re2、Re3和寄存器Re8、Re9，寄存器Re2、寄存器Re8分别存储像素1、像素6的原始值；寄存器Re3、寄存器Re9分别存储像素1、像素6经运算器左移2位后的值；像素3与像素4中寄存器的像素值分别对应寄存器Re4、Re5和寄存器Re6、Re7，寄存器Re4、寄存器Re6分别存储像素3、像素4经运算器左移2位后的值；寄存器Re5、寄存器Re7分别存储像素1、像素6经运算器左移4位后的值。

由式(1)、(2)可知，左移位运算结果寄存器中，在一次插值运算结束后，下一下插值运算开始前，寄存器Re2、Re4、Re6、Re7、Re9、Re10中的值需保存下来，并搬运，以备下一次插值所使用。寄存器Re2中的值存入寄存器Re1，寄存器Re4中的值存入寄存器Re3，寄存器Re6中的值存入寄存器Re4，寄存器Re7中的值存入寄存器Re5，寄存器Re9中的值存入寄存器Re6，寄存器Re10中的值存入寄存器Re8。即，下一次插值运算时，寄存器Re1、Re3、Re4、Re5、Re6、Re8中的值不需要运算器计算，直接通过上一次插值运算得到。寄存器Re2、Re7、Re9、Re10为需更新中间结果寄存器，即，寄存器中的值需运算器重新计算得到。

为了实现图2所示意4×4像素子块像素A～B偏右1/2水平亮度像素插值计算，依据本发明在同条插值线上应用本发明的重用前次插值中间结果的方法需要如下几步过程：

(1)进行首次插值计算：具体来讲就是要对A像素水平偏右1/2插值。把图2中1，2，A，B，C，D等六个像素依次输入图7的“像素1”、“像素2”、“像素3”、“像素4”、“像素5”和“像素6”这6个寄存器。将寄存器R1，Re4，Re5，Re6，Re7，Re10里值的和减去寄存器Re2，Re3，Re8，Re9里值的和，这个差加上16的和，再右移五位就得到本次插值运算的插值结果。需要注意的是，此时寄存器Re1～Re10的中间计算结果并没有被改变；

(2)插值器更新数据：在进行下一次插值前需要执行本步骤。本步骤中控制器对插值器中寄存器ReX(X表示1～10)的值以及输入像素寄存器位置里的值进行恰当传输和搬运，为下次插值运算重用插值计算中间结果作准备。具体到本示例来说，即如图7所示意，寄存器“像素3”里值移到“像素2”位置，“像素5”里值移到“像素4”位置，“像素6”里值移到“像素5”位置，本次插值新增加像素输入到“像素6”位置。控制器同时也要对左移位运算结果寄存器中的值进行搬运，具体到本示例的搬运过程是，从寄存器Re2到寄存器Re1，从寄存器Re4到寄存器Re3，从寄存器Re6到寄存器Re4，从寄存器Re7到寄存器Re5，从寄存器Re9到寄存器Re6，从寄存器Re10到寄存器Re8；

(3)后继插值计算：对于图2的4×4子块插值任务来说，A，E，I，M水平偏右1/2像素插值均需要首次插值计算，而B，C，D水平偏右1/2像素插值是A偏右1/2像素插值的后继插值计算。类推，而F，G，H水平偏右1/2像素插值是E偏右1/2像素插值的后继插值计算；J，K，L水平偏右1/2像素插值是I偏右1/2像素插值的后继插值计算；N，O，P水平偏右1/2像素插值是M偏右1/2像素插值的后继插值计算。本领域普通技术人员很容易将这种方法类推到垂直1/2像素位置，水平和垂直都有1/2偏移的插值计算的实现设计中去。如图7所示，经过前一步骤插值器数据更新后，此刻仅需要对阴影部分4个寄存器Re2，Re7，Re9，Re10里值进行计算更新。具体过程是，“像素2”中的值直接存入寄存器Re2，“像素4”中的值左移位四位存入寄存器Re7，“像素5”的值左移位两位存入寄存器Re9，“像素6”的值直接存入寄存器Re10。寄存器R1，Re4，Re5，Re6，Re7，Re10里值的和减去寄存器Re2，Re3，Re8，Re9里值的和，这个差加上16，再右移五位就得到本次插值的最终插值结果输出；

(4)判断本条插值线是否结束：如果是则结束本条插值线循环，如果没有结束则转入步骤(2)开始新的循环。

首次插值加上它的后继插值，构成一条插值线，图4和图5分别示意了4×4亮度像素子块的水平插值线和垂直插值线。对于4×8，8×4，8×8，8×16，16×8，16×16等运动补偿宏块分割，本领域普通技术人员很容易将此方法类推从而构造出它们所需要的插值线。容易得知，这条插值线构造得越长，那么本发明方法的对插值计算中间值的重用率越高，性能提升越多。

本发明的第一个优点是，不限定于某种具体视频压缩技术所指定的插值滤波器，其插值系数和输入像素的乘法分解，以及具体的可重用中间结果的插值器装置设计可以依据本发明的方法和精神灵活设计。也就是说，本发明方法不限定插值滤波器的具体系数，所以也不会有插值结果拟合性能降低的风险。本发明的最大优点是，最大限度的减少了在运动补偿所要求的像素插值计算中的冗余。最坏的情况下，本发明也将比普通插值计算方法降低约50％左右的计算操作。最好的情况下，也即宏块补偿块大小是16×16亮度像素时，其冗余计算去除将达到70％左右。

本文为了清楚顺畅的描述本发明的实施方案，对本领域普通技术人员熟知的结构、材料和操作没有进行详细的说明。通过以上描述，本领域普通技术人员能认识到，在没有这些具体细节中的一个或多个的情况下，仍能实施本发明，或者采用其它方法和材料也能实施本发明的思想和方法。

Claims (5)

1.运动补偿系统中的插值方法，其特征在于，将插值运算中插值滤波器系数与待输入像素值的乘法操作分解为左移位运算与加法运算；在每次像素插值运算完成后，保存下一次像素插值运算中的可重用中间结果供下一次像素插值运算使用。

2.如权利要求1所述运动补偿系统中的插值方法，其特征在于，所述可重用中间结果为下一次像素插值运算中插值滤波器系数与像素值的乘法操作中所需的左移位运算结果。

3.如权利要求2所述运动补偿系统中的插值方法，其特征在于，具体包括以下步骤：

a、输入首次像素插值运算所需的各像素点的像素值至插值滤波器做插值运算，得到首次插值结果；保存下一次像素插值运算中所需的像素值以及可重用中间结果，进入步骤b；

b、仅输入除已保留的像素值之外本次像素插值运算所需的像素值；调用保存的可重用中间结果用于本次像素插值运算中，得到本次像素插值后判断本条插值线的插值运算是否结束，若是，则结束本条插值线的插值运算；若否，保存下一次像素插值运算中所需的像素值以及可重用中间结果，回到步骤b。

4.运动补偿系统中的插值器，其特征在于，包括输入像素值寄存器、中间结果寄存器、运算器、控制器；输入像素值寄存器与运算器相连；运算器与中间结果寄存器相连；所述控制器分别与输入像素值寄存器、中间结果寄存器相连；

控制器，用于控制更新输入像素值寄存器及中间结果寄存器中的值；首次像素插值运算后的每次像素插值运算，控制器控制仅输入除已保留的像素值之外本次像素插值运算所需像素值至输入像素值寄存器；在像素插值完成后，控制器控制在中间结果寄存器中保存下一次像素插值运算中所需的可重用中间结果供下一次像素插值运算使用；

输入像素值寄存器，用于寄存每一次插值运算所需要的所有像素值；

运算器，通过移位，加、减法计算需更新的中间结果，将计算出的插值结果输出；中间结果寄存器，寄存有可重用中间结果、需更新中间结果。

5.如权利要求4所述运动补偿系统中的插值器，其特征在于，所述中间结果寄存器为左移位运算结果寄存器，用于寄存插值运算中插值滤波器系数与各像素值的乘法操作中所需的左移位运算结果；可重用中间结果为本次像素插值运算中保存下来用于下一次像素插值运算中插值滤波器系数与各像素值的乘法操作中所需的左移位运算结果；需更新中间结果为由运算器计算输入的本次像素插值运算中插值滤波器系数与各像素值的乘法操作所需的左移位运算结果。

Images