CN101345872A - 视频编解码中实现双线性插值的方法 - Google Patents

Abstract

本发明涉及视频编解码中实现双线性插值的方法，属于信号处理中的视频编解码领域。该方法通过双线性插值计算得到m×n的参考图像块中的一个象素S的值；包括：计算ac的值，其值为ac＝((Dy－dy)×A+dy×C)/Dy；计算bd的值，其值为bd＝((Dy－dy)×B+dy×D)/Dy，计算s的值，其值为s＝((Dx－dx)×ac+dx×bd)/Dx；计算S＝floor(s+0.5)；本发明在实现双线性插值的过程中，避免乘法和乘法器的使用，同时减少加法和加法器的使用，大大减小实现代价，提高插值效率。

Description

视频编解码中实现双线性插值的方法

技术领域

本发明属于信号处理中的视频编解码领域，特别涉及视频编解码中双线性插值方法。

背景技术

视频是指由一系列时间上相关的图像组成的系列，其中的每幅图像称为一个“帧”(本申请中对帧模式和场模式的图像都统一适用，所以不再区分帧和场，统一称为帧)，每个帧又可以划分为若干个“块”，通常块为正方形或矩形，视频编码以块为基本单位进行编码，视频编码中常用的块有16x16，8x16，16x8，8x8，4x4等，都是以象素为单位；“象素”则是指构成图像的点，是构成图像的最小单元。

对视频进行编码的目的是对视频的数据进行压缩，以方便存储和传输，而视频编码方法就是实现上述功能的方法。一个好的视频编码方法，可以在保持视频尽量好的视觉质量的同时，把数据量压缩到尽可能低。而视频解码方法则是把压缩后的数据恢复到可直接观看的视频的方法，从压缩数据得到解码后的图像的过程称为图像重建。

视频编解码方法由很多功能模块组成，其中“运动补偿(motion compensation，MC)模块”是视频编解码中的一个重要模块。运动补偿模块的功能是，针对当前需要重建的块，根据已经重建的图像计算出用于参考的图像块，把解码所得是残差图像块和该参考图像块相加，得到重建的图像块。由于重建图像不只在解码过程中需要，在编码过程中也需要，因此运动补偿模块在编码方法和解码方法中都存在。

运动补偿模块所实现的功能，如图1所示，该图包括了：一个m×n的残差图像块(在图像处理中，一个图像是x×y，是指“宽(水平方向)×高(垂直方向)”，单位为象素(和有时所用的“行数(垂直方向)×列数(水平方向)有所区别)，该块在编码或解码过程中经过一系列反量化反变换等操作得到；一个W×H的已重建帧，该重建帧在后续编辑码过程中作为参考用，也称为参考帧，该参考帧中，有一个a×b的区域，该区域是参考范围，对这个参考范围内的象素插值，可以得到m×n的块作为参考图像块；用于和残差图像块相加，得到一个m×n的重建图像块。

上述提及的插值过程，有多种插值方法，其中一种插值方法是双线性插值方法。如图2所示，图中，即通过双线性插值方法计算得到m×n的参考图像块中的一个象素S的值；A、B、C、D是已重建帧中a×b的参考范围内的4个相邻的象素值；dx、dy分别是水平方向和垂直方向的位置参数，其中dx表示了S对于A所在位置在水平方向的偏移量，dy表示了S对于A所在位置在垂直方向的偏移量，上述两个参数在编解码过程中由其他阶段的功能模块计算得到；Dx和Dy是两个固定不变的常数，值是2的指数次方(例如2³(8)或2²(4)等)，分别表示了A、B、C、D这四个象素在水平方向和垂直方向的距离。dx和dy的值满足关系0≤dx＜Dx，0≤dy＜Dy。在双线性插值方法中，S的值通过以下算法计算得到：

s＝((Dx-dx)×(Dy-dy)×A+dx×(Dy-dy)×B+(Dx-dx)×dy×C+dx×dy×D)/(Dx×Dy)；

S＝floor(s+0.5)；

其中，floor(s+0.5)表示取(s+0.5)的整数部分，丢弃小数部分。

在传统的视频编解码方法中，该双线性插值方法都直接实现。用直接实现的方法，每个象素需要共8个乘法，3个加法。对于视频编解码过程中一次需要处理的m×n的参考图像块，共需要8×m×n的乘法，3×m×n的加法。由于在硬件平台(如FPGA，ASIC等)的实现中，乘法需要用到的乘法器比加法需要用到的加法器需要消耗更多的资源，同时速度性能也更差，传统的直接实现方法具有资源消耗大，工作速度低等缺点。以一个传统方法实现的解码器为例，用于实现双线性插值的计算资源约为整个解码器计算资源的19％左右，是整个解码器中较大的一个功能模块。

发明内容

本发明的目的是为克服已有的方法的不足之处，提出一种新的视频编解码中实现双线性插值的方法，具有垂直和水平分离、等分逼近和数据复用的特点，这种方法在硬件平台(如FPGA，ASIC等)上实现时，具有资源占用少，工作速度快等优点。

本发明提出的视频编解码中实现双线性插值的方法，该方法通过双线性插值计算得到m×n的参考图像块中的一个象素S的值；其特征在于，包括以下步骤：

第一步：如ac的值未取得，计算ac的值，其值为ac＝((Dy-dy)×A+dy×C)/Dy；

第二步：如bd的值未取得，计算bd的值，其值为bd＝((Dy-dy)×B+dy×D)/Dy；

第三步：计算s的值，其值为s＝((Dx-dx)×ac+dx×bd)/Dx；

第四步：计算S＝floor(s+0.5)；

其中，A、B、C、D是该参考图像块中a×b的参考范围内的4个相邻的象素值；dx、dy分别是S对于A所在位置的水平方向和垂直方向的偏移量；Dx和Dy是两个固定不变的常数，取值是2的指数次方，分别表示了A、B、C、D四个象素在水平方向和垂直方向的距离；dx和dy的值满足关系0≤dx＜Dx，0≤dy＜Dy；ac是在象素A和C连线上，处于象素S同一垂直位置的象素；bd是在象素B和D连线上，处于象素S统一垂直位置的象素。

本发明的特点及技术效果：

如上所述计算S的方法中，计算ac和bd的过程为垂直方向过程，而计算s过程为水平方向过程，相比于已有方法，本发明提出的方法分离了垂直方向过程和水平方向过程，具有垂直方向和水平方向分离的特点。该特点，使得原来各出现两次的“(Dx-dx)×”和“dx×”都减少为各出现一次，减少了两次乘法。对于视频编解码中一次需要处理m×n的块，垂直方向和水平方向分离的方法，共能减少2×m×n次乘法。

如上所述计算ac、bd、s的步骤中，不使用乘法，而使用等分逼近的方法，只通过两个数的加法就能实现，消除了乘法。

在视频编辑码中，上述的双线性插值都是按块进行的，所以S有相邻的象素也进行同样的双线性插值过程，在同一个块内它们的参数dx和dy都相同。视频编解码的这种特点，使得本发明提出的方法有数据复用的特点。对于编解码时处理m×n的块，本方法数据复用的特点使得计算量能减少为原来的 $\frac{2\×m+1}{3\×m}\×100\%.$

附图说明

图1为运动补偿模块的功能示意图，其中高度和宽度的单位都是象素。

图2为双线性插值方法的示意图。

图3为本发明所提出的实现双线性插值的方法的示意图。

图4为本发明计算象素ac，bd和s的步骤的示意图。

图5为本发明所提出的实现双线性插值的方法中所用到的等分逼近子方法的示意图。

图6为本发明所提出的实现双线性插值的方法中复用数据的示意图。

图7为本发明所提出的实现双线性插值的方法在硬件平台的解码器中实现的示意图。

具体实施方式

下面结合附图及实施例对本发明作进一步详细说明。

本发明提出的一种视频编解码中实现双线性插值的方法，如图3所示，图中，即通过双线性插值方法计算得到m×n的参考图像块中的一个象素S的值；A、B、C、D是已重建帧中a×b的参考范围内的4个相邻的象素值；dx、dy分别是水平方向和垂直方向的位置参数，其中dx表示了S对于A所在位置在水平方向的偏移量，dy表示了S对于A所在位置在垂直方向的偏移量(这两个参数在编解码过程中由其他阶段的功能模块计算得到)；Dx和Dy是两个固定不变的常数，值是2的指数次方(例如2³(8)或2²(4)等)，分别表示了A、B、C、D这四个象素在水平方向和垂直方向的距离。dx和dy的值满足关系0≤dx＜Dx，0≤dy＜Dy。ac是在A和C连线上，处于S同一垂直位置的象素；bd是在B和D连线上，处于S统一垂直位置的象素。按本发明提出的方法，计算S按如下步骤进行：

第一步：如ac的值未取得，计算ac的值，其值为ac＝((Dy-dy)×A+dy×C)/Dy；

第二步：如bd的值未取得，计算bd的值，其值为bd＝((Dy-dy)×B+dy×D)/Dy；

第三步：计算s的值，其值为s＝((Dx-dx)×ac+dx×bd)/Dx；

第四步：计算S＝floor(s+0.5)；

其中计算象素ac，bd和s的步骤，不使用乘法，而使用以下方法实现，如图4所示，以ac为例，图中A、C是参考范围内两个相邻的象素，ac是在A和C连线上的一个待求的象素，如图4(a)：

第1步：计算A和C中点的值M＝(A+C)/2，如图4(b)；

第2步：判断A和C的中点M是否是目标点ac所在位置，：

如不是：判断A和C中点M是否在目标点ac上方：

如在上方：更改A的值，令A＝M；返回执行第1步，如图4(c)；

如在下方：更改C的值，令C＝M；返回执行第1步，如图4(d)。

如果是：令ac＝M，计算结束，如图4(e)；

计算bd和s的步骤类似，计算bd的步骤描述如下：

第1步：计算B和D中点的值M＝(B+D)/2；

第2步：判断B和D的中点M是否是目标点bd所在位置，：

如不是：判断B和D中点M是否在目标点bd上方：

如在上方：更改B的值，令B＝M；返回执行第1步；

如在下方：更改D的值，令D＝M；返回执行第1步。

如果是：令bd＝M，计算结束；

计算s的步骤描述如下：

第1步：计算ac和bd中点的值M＝(ac+bd)/2；

第2步：判断ac和bd的中点M是否是目标点s所在位置，：

如不是：判断ac和bd中点M是否在目标点s左方：

如在左方：更改ac的值，令ac＝M；返回执行第1步；

如在右方：更改bd的值，令bd＝M；返回执行第1步。

如果是：令s＝M，计算结束。

本发明提出的方法的实施例，说明如下：

本实施例中m×n的块大小为3×1，即m＝3，n＝1时，且Dx＝8，Dy＝8，dx＝4，dy＝4时的具体实现步骤，如图5、6所示，图中，I₁₁，I₁₂，I₁₃，I₁₄，I₂₁，I₂₂，I₂₃，I₂₄是已重建帧中a×b的参考范围内的8个相邻的象素；H₁，H₂，H₃，H₄是4个垂直方向的中间结果；S₁，S₂，S₃是通过双线性插值计算得到3×1的参考图像块中的所需要求的三个象素值。在本实施例中，I₁₁，I₁₂，I₁₃，I₁₄，I₂₁，I₂₂，I₂₃，I₂₄的值分别为：

I₁₁＝8，I₁₂＝8，I₁₃＝32，I₁₄＝32，I₂₁＝16，I₂₂＝16，I₂₃＝64，I₂₄＝64；

本实施例的具体步骤为：

第一步：计算H₁、H₂、H₃的值(分别等同于求S₁的ac、S₂的ac、S₃的ac)，其子步骤为：

第1步：计算I₁₁和I₂₁的中点M₁的值，M₁＝(I₁₁+I₂₁)/2＝12；

计算I₁₂和I₂₂的中点M₂的值，M₂＝(I₁₂+I₂₂)/2＝12；

计算I₁₃和I₂₃的中点M₃的值，M₃＝(I₁₃+I₂₃)/2＝48；

第2步：判断中点M₁、M₂、M₃点是否分别在目标点H₁、H₂、H₃的位置，

判断结果是，令H₁＝M₁＝12，

令H₂＝M₂＝12，

令H₃＝M₃＝48，

计算结束。

第二步：计算H₂、H₃、H₄的值(分别等同于求S₁的bd、S₂的bd、S₃的bd)，H₂、H₃在上一步骤已经求得(数据复用)，所以只计算H₄的值，其子步骤为：

第1步：计算I₁₄和I₂₄的中点M₄的值，M₄＝(I₁₄+I₂₄)/2＝48；

第2步：判断中点M₄点是否分别在目标点H₄的位置，

判断结果是，令H₄＝M₄＝48，

计算结束。

第三步：计算s₁、s₂、s₃的值，其子步骤为：

第1步：计算H₁和H₂的中点M₁的值，M₁＝(H₁+H₂)/2＝12；

计算H₂和H₃的中点M₂的值，M₂＝(H₂+H₃)/2＝30；

计算H₃和H₄的中点M₃的值，M₃＝(H₃+H₄)/2＝48；

第2步：判断中点M₁、M₂、M₃点是否分别在目标点S₁、S₂、S₃的位置，

判断结果是，令s₁＝M₁＝12，

令s₂＝M₂＝30，

令s₃＝M₃＝48，

计算结束。

第四步：

计算S1＝floor(s1+0.5)＝12；

计算S2＝floor(s2+0.5)＝30；

计算S3＝floor(s3+0.5)48；

如上所述计算S的方法，在插值多个相邻数据时，可以复用中间结果，如图6所示，图中，I₁₁，I₁₂，I₁₃，I₁₄，I₂₁，I₂₂，I₂₃，I₂₄是已重建帧中a×b的参考范围内的8个相邻的象素，和上述A，B，C，D同性质；H₁，H₂，H₃，H₄是4个垂直方向的中间结果，和上述ac，bd同性质；S₁，S₂，S₃是三个所需要求的结果，和上述S同性质，并且他们对应的dx，dy相同。在这样同时计算多个相邻S的情况下，中间结果H₂在用于计算S₁的同时，也能用于计算S₂，这样计算S₂的垂直过程可用通过复用H₂减少一半的计算量。类似的S₃可以复用H₃。

实现上述方法的一个硬件平台的解码器结构如图7所示，该解码器包括了双线性插值模块和其他功能模块；其中本实施例方法实现的双线性功能模块由参考范围内象素数据存储器、插值所得参考块数据存储器和插值计算单元三大部分组成，其中参考范围内象素数据存储器用于存储参考范围内的象素的值，I₁₁等均从中读取；插值所得参考块数据存储器用于存储插值所得结果，S₁等计算得到后均存储在其中；插值计算单元用于具体实现本发明的方法，主要由加法器组成，输入为I₁₁，I₁₂，I₁₃，I₁₄，I₂₁，I₂₂，I₂₃，I₂₄等，经过一组加法器和“＞＞1”可得到H₁，H₂，H₃，H₄；H₁，H₂，H₃，H₄再经过一组加法器和“＞＞1”可得到S₁，S₂，S₃；其中“＞＞1”代表了硬件中的移位，实现了除2的效果，在硬件中由导线的连接关系实现，并不消耗硬件资源。在该具体实施示例中，用六个加法器可以实现传统方法需要多个乘法器的实现的效果，所用资源比传统方法能减少约50％左右。

Claims (2)

1、一种视频编解码中实现双线性插值的方法，该方法通过双线性插值计算得到m×n的参考图像块中的一个象素S的值；其特征在于，包括以下步骤：

第一步：如ac的值未取得，计算ac的值，其值为ac＝((Dy-dy)×A+dy×C)/Dy；

第二步：如bd的值未取得，计算bd的值，其值为bd＝((Dy-dy)×B+dy×D)/Dy；

第三步：计算s的值，其值为s＝((Dx-dx)×ac+dx×bd)/Dx；

第四步：计算S＝floor(s+0.5)；

其中，A、B、C、D是该参考图像块中a×b的参考范围内的4个相邻的象素值；dx、dy分别是S对于A所在位置的水平方向和垂直方向的偏移量；Dx和Dy是两个固定不变的常数，取值是2的指数次方，分别表示了A、B、C、D四个象素在水平方向和垂直方向的距离；dx和dy的值满足关系0≤dx＜Dx，0≤dy＜Dy；ac是在象素A和C连线上，处于象素S同一垂直位置的象素；bd是在象素B和D连线上，处于象素S统一垂直位置的象素。

2、如权利要求1所述方法，其特征在于，其中计算象素值ac，具体包括：

第1步：计算象素A和C中点的值M＝(A+C)/2；

第2步：判断象素A和C的中点M是否是目标点ac所在位置：

如果是：令ac＝M，计算结束；

如不是：判断A和C中点M是否在目标点ac上方：

如在上方：更改A的值，令A＝M；返回执行第1步；

如在下方：更改C的值，令C＝M；返回执行第1步。

Images