CN1216495C - 视频图像亚像素插值的方法和装置 - Google Patents

Abstract

本发明公开了一种视频图像亚像素插值的方法和装置。它采用对于不同位置的亚像素点分类插值的方法，整个插值过程两步完成，减少了存取数次数和存取数的个数。插值过程中用到不同抽头数和抽头系数的插值滤波器。用较少抽头系数的滤波器对亚像素位置实现内插处理，减少了每次取入的整像素位置像素点的个数，较高程度减缓了每次数据总线的传输量；用两步插值内插出全部1/4精度的亚像素位置像素值，减少了取数次数，降低了数据总线的传输数据压力，并且减少了数据暂存装置的容量；本发明使用的方法插值结果在性能上比原有背景技术有所提升。较优的插值结果减小了运动补偿残差的大小，降低了码率，提高了视频压缩编码效率。

Description

视频图像亚像素插值的方法和装置

所属技术领域

本发明涉及电数字数据处理技术领域，特别是涉及一种视频图像亚像素插值的方法与装置。

背景技术

传统的视频编码标准如ITU制定的H.261，H.263，H.26L，H.264标准以及ISO的MPEG组织制定的MEPG-1，MPEG-2，MPEG-4等都是基于混合编码，即Hybrid Coding框架之上的。所谓混合编码框架是综合考虑预测，变换以及熵编码的方法的编码框架，有以下主要特点：

1、利用预测去除时间域的冗余度；

2、利用变换去除空间域的冗余度；

3、利用熵编码去除统计上的冗余度；

上述视频编码标准都具有帧内编码帧，即I帧，和帧间编码帧，即P帧，I帧和P帧采用不同的编码方法。I帧的编码过程如下：对原始图像数据或帧内预测得到的残差块进行二维变换；然后在变换域中对变换系数进行量化；最后进行熵编码，即Huffman编码或者算术编码等。P帧的编码过程如下：采用运动估计得到运动矢量，然后采用基于运动补偿的帧间预测，接着对帧间预测得到的残差块进行二维变换，再对变换域系数进行量化，最后进行熵编码。

由于视频数据在空间上具有极大的相关性，在采用运动估计得到运动矢量的过程中，可以利用像素间的相关性进行亚像素位置像素值的内插，以提高运动矢量的准确性。并且在运动补偿的过程中得到较小的残差数据，从而大大提高压缩效率。亚像素内插是运动补偿环节中提高编码增益的重要因素。因此，亚像素插值是视频编解码中的重要组成部分。

发明内容

本发明的目的是提供一种视频图像亚像素插值的方法和装置，能利用已知像素之间的相关性内插出半像素和1/4像素值，使得运动补偿中运动矢量可以精确到1/4像素级，从而提高预测精度，提高编码效率。

为了达到上述目的，本发明采用的技术方案如下：

一、视频图像亚像素插值的方法

1、一种视频图像亚像素插值的方法：

1)根据亚像素点所处的不同位置分两步插值完成，5类亚像素点位置如下：

●一类半像素点：与整像素点在同一行或同一列的半像素点；

●二类半像素点：除了一类半像素点外的其他半像素点；

●一类1/4像素点：与整像素点在同一行或同一列的1/4像素点；

●二类1/4像素点：同时与一类半像素点和二类半像素点在同一行或同时与一类半像素点和二类半像素点在同一列的1/4像素点；

●三类1/4像素点：除了一类1/4像素点和二类1/4像素点之外的1/4像素点；

2)根据亚像素点所处的不同位置用不同滤波器插值。

2、所有的亚像素点分两步插值得到，第一步利用整像素点插值得到一类半像素点和一类1/4像素点；第二步利用已插值得到的一类半像素点插值得到二类半像素点、二类1/4像素点和三类1/4像素点。

3、对一类半像素用同一行中与其距离最近的4个整像素点做参考像素点或同一列中与其距离最近的4个整像素点做参考像素点由四抽头对称滤波器插值得到。

4、对一类1/4像素用同一行中与其距离最近的4个整像素点做参考像素点或同一列中与其距离最近的4个整像素点做参考像素点由四抽头不对称滤波器插值得到，其中对位于相邻一类半像素点左侧或上方的一类1/4像素点插值的滤波器和对位于相邻一类半像素点右侧或下方的一类1/4像素点插值的滤波器为镜像滤波器。

5、对二类半像素用同一行中与其距离最近的4个一类半像素点做参考像素点或同一列中与其距离最近的4个一类半像素点做参考像素点由四抽头对称滤波器插值得到。

6、对二类1/4像素用同一行中其距离最近的4个一类半像素点做参考像素点或同一列中与其距离最近的4个一类半像素点做参考像素点由四抽头不对称滤波器插值得到，其中对位于相邻二类半像素点左侧或上方的二类1/4像素点插值的滤波器和对位于相邻二类半像素点右侧或下方的二类1/4像素点插值的滤波器为镜像滤波器。

7、对三类1/4像素用位于其左下和右上方的一类半像素点做参考像素点由二抽对称线性滤波器插值或者用位于其右下和左上方一类半像素点做参考像素点由二抽对称线性滤波器插值得到。

8、四抽头对称滤波器，滤波器形式为：{Co₁，Co₂，Co₂，Co₁}/[2×(Co₁+Co₂)]，Co_ii＝1，2，为滤波器抽头系数，具体抽头系数为{-3，19，19，-3}/32，用于对一类半像素和二类半像素插值，滤波公式为：x＝(Co₁×X₁+Co₂×X₂+Co₂×X₃+Co₁×X₄)/[(Co₁+Co₂)×2]，其中X_i，i＝1...4，为参考像素点。

9、四抽头不对称滤波器，滤波器形式为：{Co₁，Co₂ Co₃，Co₄}/(Co₁+Co₂+Co₃+Co₄)，Co_i，i＝1...4，为滤波器抽头系数，具体抽头系数为{-5，59，13，-3}/64或{-3，29，7，1}/32，滤波公式为：x＝(Co₁×X₁+Co₂×X₂+Co₃×X₃+Co₄×X₄)/(Co₁+Co₂+Co₃+Co₄)，其中X_i，i＝1...4，为参考像素点；该滤波器用于一类1/4像素点的插值和二类1/4像素点的插值。

二、视频图像亚像素插值的装置，它包括：

·根据其所处位置，将亚像素点分成5类：

一类半像素点：与整像素点在同一行或同一列的半像素点；

二类半像素点：除了一类半像素点外的其他半像素点；

一类1/4像素点：与整像素点在同一行或同一列的1/4像素点；

二类1/4像素点：同时与一类半像素点和二类半像素点在同一行或同时与一类半像素点和二类半像素点在同一列的1/4像素点；

三类1/4像素点：除了一类1/4像素点和二类1/4像素点之外的1/4像素点；

·用于从原始帧中读取整像素点像素值的输入装置；

·用于对一类半像素点和一类1/4像素点插值的第一步插值装置；

·用于暂存第一步插值结果的暂存装置；

·用于对二类半像素点、二类1/4像素点和三类1/4像素点插值的第二步插值装置；

·用于输出全部亚像素点像素值的输出装置。

输入装置和第一步插值装置之间用数据总线连接，用于传输整像素点像素值；第一步插值装置与暂存装置之间用数据总线连接，用于传输第一步插值得到的一类半像素点像素值；第一步插值装置与输出装置之间用数据总线连接，用于传输第一步插值得到的亚像素点像素值；暂存装置和第二步插值装置之间用数据总线连接，用于传输用于第二步插值的一类半像素点像素值；第二步插值装置和输出装置之间用数据总线连接，用于传输第二步插值得到的亚像素点像素值。

本发明与背景技术相比，具有的有益的效果是：

本发明在视频编解码环的运动补偿预测部分提供了较好的亚像素内插方法。第一、用较少抽头系数的滤波器对亚像素位置实现内插处理，减少了每次取入的参考像素点的个数，较高程度减缓了每次数据总线的传输量。第二、用两步插值内插出全部1/4精度的亚像素位置像素值，比背景技术减少了一步，即减少了取数次数，降低了数据总线的传输数据压力，并且减少了数据暂存装置的容量。第三、本发明使用的方法插值结果在性能上比原有背景技术有所提升。较优的插值结果减小了运动补偿残差的大小，降低了码率，提高了视频压缩编码效率。本发明中的视频图像亚像素插值装置完全实现本发明中的插值方法。

附图说明

图1是大写字母表示的整像素点和小写字母表示的亚像素点的位置分布示意图；

图2是第一步插值中利用水平整像素点内插得到用小写字母表示亚像素点的分布示意图；

图3是第一步插值完成后内插得到用小写字母表示亚像素点的分布示意图；

图4是第二步插值中利用水平半像素点内插得到用小写字母表示亚像素点的分布示意图；

图5是第二步插值完成后内插得到用小写字母表示全部亚像素点的分布示意图；

图6是视频图像亚像素插值装置的示意图；

图7是四抽头对称插值滤波器组成示意图；

图8是四抽头不对称插值滤波器组成示意图。

具体实施方式

在本方法中先把原始图像中的像素位置称为整像素点，例如图1中用大写字母A标出的点。需要插值得到的像素位置称为亚像素点，例如图1中其余用小写字母标出的点。亚像素点分为两类，即半像素点和1/4像素点。半像素点又分为两类，分别称为一类半像素点和二类半像素点。1/4像素点分为三类，分别称为一类1/4像素点，二类1/4像素点和三类1/4像素点。各类亚像素点分别定义如下：

一类半像素点：与整像素点在同一行的半像素点或与整像素点在同一列的半像素点。例如图1中的b¹和b²。

二类半像素点：除了一类半像素点外的其他半像素点，例如图1中的。例如图1中的c。

一类1/4像素点：与整像素点在同一行的1/4像素点或与整像素点在同一列的1/4像素点。例如图1中的d¹、d²、d³、d⁴。

二类1/4像素点：同时与一类半像素点和二类半像素点在同一行的1/4像素点或与同时与一类半像素点和二类半像素点在同一列的1/4像素点。例如图1中的e¹、e²、e³、e⁴。

三类1/4像素点：除了一类和二类1/4像素点以外的其他1/4像素点。例如图1中的f¹、f²、f³、f⁴。

本发明根据半像素点和1/4像素点的位置分类不同，在不同时间使用不同的滤波器内插出该位置的像素值。内插方法如下：

当当前需要内插得到的亚像素点为一类半像素点b^x时，使用对称四抽头滤波器F₁内插出该类半像素点。可以得到一类半像素点b^x的像素值为b^x＝((-3)×A₁+19×A₂+19×A₃+(-3)×A₄)/32，其中当x＝1时A₁，A₂，A₃和A₄为与b^x同一行中左右距离最近的整像素点，它们从左至右的位置顺序为A₁，A₂，b^x，A₃，A₄，如图2中所示。当x＝2时A₁，A₂，A₃和A₄为与b^x同一列中上下距离最近的整像素点。它们从上到下的位置顺序为A₁，A₂，b^x，A₃，A₄，如图3中所示。

当当前需要内插得到的亚像素点为二类半像素点c时，使用对称四抽头滤波器F₁内插出该类半像素点。二类半像素点c的像素值可以通过两种方法得到。第一种方法为 $c=((-3)\×b_1^2+19\×b_2^2+19\×b_3^2+(-3)\×b_4^2)/32,$ 其中b₁ ²，b₂ ²，b₃ ²和b₄ ²为与c同一行中左右距离最近的已内插得到的一类半像素点，如图4中所示。它们从左至右的位置顺序为b₁ ²，b₂ ²，c，b₃ ²，b₄ ²。第二种方法为 $c=((-3)\×b_1^1+19\×b_2^1+19\×b_3^1+(-3)\×b_4^1)/32,$ 其中b₁ ¹，b₂ ¹，b₃ ¹和b₄ ¹为与c同一列中上下距离最近的已内插得到的一类半像素点，如图5中所示。它们从上到下的位置顺序为b₁ ¹，b₂ ¹，c，b₃ ¹，b₄ ¹。两种方法在实现中可以任选其中一种。

当当前需要内插得到的亚像素点为一类1/4像素点d^x时，使用不对称四抽头滤波器内插出该一类1/4像素点。该类1/4像素点内插时分两种情况。

●当该类1/4像素点位于相邻的一类半像素点左侧时，即图1中的d¹时，使用滤波器F₂插值。可以得到该位置的一类1/4像素点d¹的像素值为d¹＝(m₁×A₁+m₂×A₂+m₃×A₃+m₄×A₄)/(m₁+m₂+m₃+m₄)，其中A₁，A₂，A₃和A₄为与d¹同一行中左右距离最近的整像素点，如图2所示。它们从左至右的位置顺序为A₁，A₂，d¹，A₃，A₄。当该类1/4像素点位于相邻的一类半像素点上方时，即图1中的d³时，使用滤波器F₂插值。可以得到该位置的一类1/4像素点d³的像素值为d³＝(m₁×A₁+m₁×A₂+m₃×A₃+m₄×A₄)/(m₁+m₂+m₃+m₄)，其中A₁，A₂，A₃和A₄为与d³同一列中上下距离最近的整像素点，如图3所示。它们从上到下的位置顺序为A₁，A₂，d³，A₃，A₄。

当该类1/4像素点位于相邻的一类半像素点右侧时，即图1中的d²时，使用滤波器F₃插值。可以得到该位置的一类1/4像素点d²的像素值为d²＝(m₄×A₁+m₃×A₂+m₂×A₃+m₁×A₄)/(m₁+m₂+m₃+m₄)，其中A₁，A₂，A₃和A₄为与d²同一行中左右距离最近的整像素点，如图2所示。它们从左至右的位置顺序为A₁，A₂，d²，A₃，A₄。当该类1/4像素点位于相邻的一类半像素点下方时，即图1中的d⁴时，使用滤波器F₃插值。可以得到该位置的一类1/4像素点d⁴的像素值为d⁴＝(m₄×A₁+m₃×A₂+m₂×A₃+m₁×A₄)/(m₁+m₂+m₃+m₄)，其中A₁，A₂，A₃和A₄为与d⁴同一列中上下距离最近的整像素点，如图3所示。它们从上到下的位置顺序为A₁，A₂，d⁴，A₃，A₄。

当当前需要内插得到的亚像素点为二类1/4像素点e^x时，使用不对称四抽头滤波器内插出该二类1/4像素点。该类1/4像素点内插如下：

●当该类1/4像素点位于最近的二类半像素点左侧时，即图1中的e¹，使用滤波器F₂插值。可以得到该类像素点的像素值为 $e^1=(m_1\×b_1^2+m_2\×b_2^2+m_3\×b_3^2+m_4\×b_4^2)/(m_1+m_2{+m}_3+m_4),$ 其中b₁ ²，b₂ ²，b₃ ²和b₄ ²为与e¹同一行中距离最近的4个已内插得到的一类半像素点。它们从左至右的位置顺序为b₁ ²，b₂ ²，e¹，b₃ ²，b₄ ²，如图4所示。

●当该类1/4像素点位于最近的二类半像素点上方时，即图1中的e³，使用滤波器F₂插值。可以得到该类像素点的像素值为 $e^3=(m_1\×b_1^1+m_2\×b_2^1+m_3\×b_3^1+m_4\×b_4^1)/(m_1+m_2+m_3+m_4),$ 其中b₁ ¹，b₂ ¹，b₃ ¹和b₄ ¹为与e³同一列中距离最近的4个已内插得到的一类半像素点。它们从上到下的位置顺序为b₁ ¹，b₂ ¹，e³，b₃ ¹，b₄ ¹，如图5所示。

●当该类1/4像素点位于最近的二类半像素点右侧时，即图1中的e²，使用滤波器F₃插值。可以得到该类像素点的像素值为 $e^2=(m_4\×b_1^2+m_3\×b_2^2+m_2\×b_3^2+m_1\×b_4^2)/(m_1+m_2+m_3+m_4),$ 其中b₁ ²，b₂ ¹，b₃ ²和b₄ ²为与e²同一行中距离最近的4个已内插得到的一类半像素点。它们从左至右的位置顺序为b₁ ²，b₂ ²，e¹，b₃ ²，b₄ ²，如图4所示。

●当该类1/4像素点位于最近的二类半像素点下方时，即图1中的e⁴，使用滤波器F₃插值。可以得到该类像素点的像素值为 $e^4=(m_4\×b_1^1+m_3\×b_2^1+m_2\×b_3^1+m_1\×b_4^1)/(m_1+m_2+m_3+m_4),$ 其中b₁ ¹，b₂ ¹，b₃ ¹和b₄ ¹为与e⁴同一列中距离最近的4个已内插得到的一类半像素点。它们从上到下的位置顺序为b₁ ¹，b₂ ¹，e³，b₃ ¹，b₄ ¹，如图5所示。

当当前需要内插得到的亚像素点为三类1/4像素点f^x时，使用线性滤波器F₄内插出该三类1/4像素点。该类1/4像素点内插时分两种情况。

●当该类1/4像素点位于最近的二类半像素点的左上方时，即图1中的f¹。可以得到该位置三类1/4像素点f¹的像素值 $f^1=(b_2^1+b_1^2)/2,$ 其中b₂ ¹为位于f¹右上方的一类半像素点，b₁ ²为位于f¹左下方的一类半像素点，如图5中所示。当该类1/4像素点位于最近的二类半像素点的右下方时，即图1中的f²。可以得到该位置三类1/4像素点f²的像素值为 $f^2=(b_3^1+b_2^2)/2,$ 其中b₂ ²为位于f²右上方的一类半像素点，b₃ ¹为位于f²左下方的一类半像素点，如图5中所示。

●当该类1/4像素点位于最近的二类半像素点的左下方时，即图1中的f³。可以得到该位置三类1/4像素点f³的像素值为 $f^3=(b_3^1+b_1^2)/2,$ 其中b₃ ¹为位于f²右下方的一类半像素点，b₁ ²为位于f²左上方的一类半像素点，如图5中所示。当该类1/4像素点位于最近的二类半像素点的右上方时，即图1中的f⁴。可以得到该位置三类1/4像素点f⁴的像素值为 $f^4=(b_2^2+b_2^2)/2,$ 其中b₂ ²为位于f⁴右下方的一类半像素点，b₂ ¹为位于f⁴左上方的一类半像素点，如图5中所示。

插值过程中使用4种不同系数和抽头数的数字滤波器F_x：{Co1，Co2，Co3，Co4}/(Co1+Co2+Co3+Co4)。其抽头系数和抽头数具体如下：F₁为抽头系数对称的四抽头滤波器，其抽头系数为：{-3，19，19，-3}/32。

F₂为抽头系数不对称的四抽头滤波器，其抽头系数为：{m₁，m₂，m₃，m₄}/(m₁+m₂+m₃，+m₄)，具体系数可以选择{-5，59，13，-3}/64或{-3，29，7，-1}/32其中的一组。

F₃为抽头系数不对称的四抽头滤波器，其抽头系数为F₂镜像，即为：{m₄，m₃，m₂，m₁}/(m₁+m₂+m₃，+m₄)，具体的系数由F₂的系数镜像后得到。

F₄为抽头系数对称的二抽头线性插值滤波器，其抽头系数为：{1，1}/2。

一种用于视频图像亚像素插值的装置包括：输入装置210、第一步插值装置220、数据暂存装置230、第二步插值装置240和输出装置250，如图6所示。

输入装置210用于从原始帧中取出插值用到的参考像素点。

第一步插值装置220利用整像素对一类半像素点、一类1/4像素点插值。用到滤波器F₁、F₂、F₃。其中的算术逻辑单元用乘法器、加法器和移位器实现插值过程。

第二步插值装240置利用一类半像素点插值得到二类半像素点、二类1/4像素点和三类1/4像素点。用到滤波器F₁、F₂、F₃和F₄。其中的算术逻辑单元用乘法器、加法器和移位器实现插值过程。

其中四抽头对称滤波器的结构如图7所示。Co1’和Co2’为归一化后的滤波器系数，即

                    Co1’＝Co1/[(Co1+Co2)×2]

                    Co2’＝Co2/[(Co1+Co2)×2]

其中四抽头不对称滤波器的结构如图8所示。Co1’、Co2’、Co3’和Co4’为归一化后的滤波器系数，即

                    Co1’＝Co1/(Co1+Co2+Co3+Co4)

                    Co2’＝Co2/(Co1+Co2+Co3+Co4)

                    Co3’＝Co3/(Co1+Co2+Co3+Co4)

                    Co4’＝Co4/(Co1+Co2+Co3+Co4)

第一步插值装置220和第二步插值装置240之间的数据暂存装置230用于存储第一次产生的一类半像素点像素值，这些值用于第二步插值过程。

输出装置250用于输出内插得到的所有亚像素位置的像素值。

输入装置210和第一步插值装置220之间用数据总线连接，用于传输各整像素位置的像素值；第一步插值装置220和数据暂存装置230用数据总线相连，用于传输第二步插值需要的一类半像素点像素值；第一步插值装置220和输出装置用250数据总线相连，用于传输第一步插值得到的亚像素点像素值；数据暂存装置230和第二步插值装置240之间用数据总线连接，用于传输各一类半像素点位置的像素值；第二步插值装置240和输出装置250之间用数据总线连接，用于传输第二步插值得到的亚像素位置的像素值。

实施实例：

在对亚像素插值时，第一步对一类半像素点和一类1/4像素点的位置进行插值。这些像素点的插值用到的都是整像素点。第二步对二类半像素点、二类1/4像素点和三类1/4像素点的位置进行插值。这些像素点的插值用到的都是一类半像素点和一类1/4像素点，即第一步产生的结果。两步就可以把所有的亚像素位置都插值完成。具体过程如下：

1、标记为b¹的一类半像素点的像素值由如下方法得到：

将水平方向距离最近的四个整数像素点利用4抽头滤波器F₁进行滤波，如图2所示，得到插值结果b¹。其中滤波器抽头系数为{-3，19，19，-3}/32。

             b¹＝((-3)×A₁+19×A₂+19×A₃+(-3)×A₄)/32

2、标记为b²的一类半像素点的像素值由如下方法得到：

将垂直方向距离最近的四个整数像素点利用4抽头滤波器F₁进行滤波，如图3所示，得到插值结果b²。其中滤波器抽头系数为{-3，19，19，-3}/32。

             b²＝((-3)×A₁+19×A₂+19×A₃+(-3)×A₄)/32

3、标记为d¹的一类1/4像素点的像素值由如下方法得到：

将水平方向距离最近的四个整数像素点利用4抽头滤波器F₂进行滤波，如图2所示，得到插值结果d¹。其中滤波器抽头系数选{-5，59，13，-3}/64。

              d¹＝((-5)×A₁+59×A₂+13×A₃+(-3)×A₄)/64

4、标记为d²的一类1/4像素点的像素值由如下方法得到：

将水平方向距离最近的四个整数像素点利用4抽头滤波器F₃进行滤波，如图2所示，得到插值结果d²。其中滤波器抽头系数选{-3，13，59，-5}/64。

              d²＝((-3)×A₁+13×A₂+59×A₃+(-5)×A₄)/64

5、标记为d³的一类1/4像素点的像素值由如下方法得到：

将垂直方向距离最近的四个整数像素点利用4抽头滤波器F₂进行滤波，如图3所示，得到插值结果d³。其中滤波器抽头系数选{-5，59，13，-3}/64。

              d³＝((-5)×A₁+59×A₂+13×A₃+(-3)×A₄)/64

6、标记为d⁴的一类1/4像素点的像素值由如下方法得到：

将垂直方向距离最近的四个整数像素点利用4抽头滤波器F₃进行滤波，如图3所示，得到插值结果d⁴。其中滤波器抽头系数选{-3，13，59，-5}/64。

              d⁴＝((-3)×A₁+13×A₂+59×A₃+(-5)×A₄)/64

7、标记为c的二类半像素点的像素值由如下方法得到：

将水平或垂直方向距离最近的四个一类半像素点利用4抽头滤波器F₁进行滤波，如图4所示，得到插值结果c。其中滤波器抽头系数为{-3，19，19，-3}/32。

$c=((-3)\×b_1^2+19\×b_2^2+19\×b_3^2+(-3)\×b_4^2)/32$

或者

$c=((-3)\×b_1^1+19\×b_2^1+19\×b_3^1+(-3)\×b_4^1)/32$

8、标记为e¹的二类1/4像素点的像素值由如下方法得到：

将水平方向距离最近的四个一类半像素点利用4抽头滤波器F₂进行滤波，如图4所示，得到插值结果e¹。其中滤波器抽头系数选{-5，59，13，-3}/64。

$e^1=((-5)\×b_1^2+59\×b_2^2+13\×b_3^2+(-5)\×b_4^2)/64$

9、标记为e²的二类1/4像素点的像素值由如下方法得到：

将水平方向距离最近的四个一类半像素点利用4抽头滤波器F₃进行滤波，如图4所示，得到插值结果e²。其中滤波器抽头系数选{-3，13，59，-5}/64。

$e^2=((-3)\×b_1^2+13\×b_2^2+59\×b_3^2+(-5)\×b_4^2)/64$

10、标记为e³的二类1/4像素点的像素值由如下方法得到：

将垂直方向距离最近的四个一类半像素点利用4抽头滤波器F₂进行滤波，

如图5所示，得到插值结果e³。其中滤波器抽头系数选{-5，59，13，-3}/64。

$e^3=((-5)\×b_1^1+59\×b_2^1+13\×b_3^1+(-5)\×b_4^1)/64$

11、标记为e⁴的二类1/4像素点的像素值由如下方法得到：

将垂直方向距离最近的四个一类半像素点利用4抽头滤波器F₃进行滤波，如图5所示，得到插值结果e⁴。其中滤波器抽头系数选{-3，13，59，-5}/64。

$e^4=((-3)\×b_1^1+13\×b_2^1+59\×b_3^1+(-5)\×b_4^1)/64$

12、标记为f¹或f²的三类1/4像素点的像素值由如下方法得到：

将f¹或f²位置右上方和左下方两个一类半像素点利用线性插值方法，如图5所示，得到插值结果f¹或f²。

$f^1=(b_2^1+b_1^2)/2$ 或 $f^2=(b_3^1+b_2^2)/2$

13、标记为f³或f⁴的三类1/4像素点的像素值由如下方法得到：

将f³或f⁴位置右下方和左上方两个一类半像素点利用线性插值方法，如图5所示，得到插值结果f³或f⁴。

$f^3=(b_3^1+b_1^2)/2$ 或 $f^4=(b_2^1+b_2^2)/2$

以上各亚像素的插值过程中，1-6为第一次取数插值完成的部分，7-13为第二次取数插值完成的部分。至此，两步完成所有的亚像素位置的插值。

一种用于视频图像亚像素插值的装置包括：输入装置210、第一步插值装置220、数据暂存装置230、第二步插值装置240和输出装置250，如图6所示：

输入装置210用于从原始帧中取出插值用到的参考像素点；

第一步插值装置220利用整像素对一类半像素点、一类1/4像素点插值。用到滤波器F1、F2、F3。其中的算术逻辑单元用乘法器、加法器和移位器实现插值过程；

第二步插值装置240利用一类半像素点插值得到二类半像素点、二类1/4像素点和三类1/4像素点。用到滤波器F1、F2、F3和F4。其中的算术逻辑单元用乘法器、加法器和移位器实现插值过程；

其中算术逻辑单元中四抽头对称滤波器的结构如图7所示。Co1’和Co2’为归一化后的滤波器系数，即

                    Co1’＝Co1/[(Co1+Co2)×2]

                    Co2’＝Co2/[(Co1+Co2)×2]

其中算术逻辑单元中四抽头不对称滤波器的结构如图8所示。Co1’、Co2’、Co3’和Co4’为归一化后的滤波器系数，即

                  Co1’＝Co1/(Co1+Co2+Co3+Co4)

                  Co2’＝Co2/(Co1+Co2+Co3+Co4)

                  Co3’＝Co3/(Co1+Co2+Co3+Co4)

                  Co4’＝Co4/(Co1+Co2+Co3+Co4)

第一步插值装置220和第二步插值装置240之间的数据暂存装置230用于存储第一次产生的一类半像素点像素值，这些值用于第二步插值过程；

输出装置250用于输出内插的到的所有亚像素位置的像素值。

输入装置210和第一步插值装置220之间用数据总线连接，用于传输各整像素位置的像素值；第一步插值装置220和数据暂存装置230之间用数据总线连接，用于传输一类半像素点位置的像素值；第一步插值装置220和输出装置250之间用数据总线连接，用于传输第一次内插得到的亚像素位置的像素值。数据暂存装置230和第二此插值装置240之间用数据总线连接，用于传输各一类半像素点位置的像素值；第二步插值装置240和输出装置250之间用数据总线连接，用于传输第二次内插得到的亚像素位置的像素值。

上述的视频图像亚像素插值装置可以用处理器系统，微控制器，可编程逻辑器件或微处理器等实现部分或全部的操作。上述的一些操作可以用软件实现，同时另一些操作可以用硬件实现。

为了方便起见，这些操作被描述为不同的互连的功能单元或不同的软件模块。但是，这不是必要的。在一些应用中，这些功能单元或模块可以被集成到单一的逻辑器件、程序或操作中，而没有明显的界限。在任何情况中，功能单元和软件模块或描述的特征可以独立实现，或与其他操作一起用硬件或软件实现。

Claims (10)

1、一种视频图像亚像素插值的方法，其特征在于：

1)根据亚像素点所处的不同位置分两步插值完成，5类亚像素点位置如下：

·一类半像素点：与整像素点在同一行或同一列的半像素点；

·二类半像素点：除了一类半像素点外的其他半像素点；

·一类1/4像素点：与整像素点在同一行或同一列的1/4像素点；

·二类1/4像素点：同时与一类半像素点和二类半像素点在同一行或同时与一类半像素点和二类半像素点在同一列的1/4像素点；

·三类1/4像素点：除了一类1/4像素点和二类1/4像素点之外的1/4像素点；

2)根据亚像素点所处的不同位置用不同滤波器插值。

2、根据权利要求1所述的一种视频图像亚像素插值的方法，其特征在于：所有的亚像素点分两步插值得到，第一步利用整像素点插值得到一类半像素点和一类1/4像素点；第二步利用已插值得到的一类半像素点插值得到二类半像素点、二类1/4像素点和三类1/4像素点。

3、根据权利要求1所述的一种视频图像亚像素插值的方法，其特征在于：对一类半像素用同一行中与其距离最近的4个整像素点做参考像素点或同一列中与其距离最近的4个整像素点做参考像素点由四抽头对称滤波器插值得到。

4、根据权利要求1所述的一种视频图像亚像素插值的方法，其特征在于：对一类1/4像素用同一行中与其距离最近的4个整像素点做参考像素点或同一列中与其距离最近的4个整像素点做参考像素点由四抽头不对称滤波器插值得到，其中对位于相邻一类半像素点左侧或上方的一类1/4像素点插值的滤波器和对位于相邻一类半像素点右侧或下方的一类1/4像素点插值的滤波器为镜像滤波器。

5、根据权利要求1所述的一种视频图像亚像素插值的方法，其特征在于：对二类半像素用同一行中与其距离最近的4个一类半像素点做参考像素点或同一列中与其距离最近的4个一类半像素点做参考像素点由四抽头对称滤波器插值得到。

6、根据权利要求1所述的一种视频图像亚像素插值的方法，其特征在于：对二类1/4像素用同一行中其距离最近的4个一类半像素点做参考像素点或同一列中与其距离最近的4个一类半像素点做参考像素点由四抽头不对称滤波器插值得到，其中对位于相邻二类半像素点左侧或上方的二类1/4像素点插值的滤波器和对位于相邻二类半像素点右侧或下方的二类1/4像素点插值的滤波器为镜像滤波器。

7、根据权利要求1所述的一种视频图像亚像素插值的方法，其特征在于：对三类1/4像素用位于其左下和右上方的一类半像素点做参考像素点由二抽对称线性滤波器插值或者用位于其右下和左上方一类半像素点做参考像素点由二抽对称线性滤波器插值得到。

8、根据权利要求1所述的一种视频图像亚像素插值的方法，其特征在于：四抽头对称滤波器，滤波器形式为：{Co₁，Co₂，Co₂，Co₁}/[2×(Co₁+Co₂)]，Co_i，i＝1，2，为滤波器抽头系数，具体抽头系数为{-3，19，19，-3}/32，用于对一类半像素和二类半像素插值，滤波公式为：x＝(Co₁×X₁+Co₂×X₂+Co₂×X₃+Co₁×X₄)/[(Co₁+Co₂)×2]，其中X_i i＝1…4为参考像素点。

9、根据权利要求1所述的一种视频图像亚像素插值的方法，其特征在于：四抽头不对称滤波器，滤波器形式为：{Co₁，Co₂，Co₃，Co₄}/(Co₁+Co₂+Co₃+Co₄)，Co_i，i＝1…4，为滤波器抽头系数，具体抽头系数为{-5，59，13，-3}/64或{-3，29，7，1}/32，滤波公式为：x＝(Co₁×X₁+Co₂×X₂+Co₃×X₃+Co₄×X₄)/(Co₁+Co₂+Co₃+Co₄)，其中X_i，i＝1…4，为参考像素点；该滤波器用于一类1/4像素点的插值和二类1/4像素点的插值。

10、用于权利要求1所述一种视频图像亚像素插值的方法的装置，其特征在于它包括：

·根据其所处位置，将亚像素点分成5类：

一类半像素点：与整像素点在同一行或同一列的半像素点；

二类半像素点：除了一类半像素点外的其他半像素点；

一类1/4像素点：与整像素点在同一行或同一列的1/4像素点；

二类1/4像素点：同时与一类半像素点和二类半像素点在同一行或同时与一类半像素点和二类半像素点在同一列的1/4像素点；

三类1/4像素点：除了一类1/4像素点和二类1/4像素点之外的1/4像素点；

·用于从原始帧中读取整像素点像素值的输入装置(210)；

·用于对一类半像素点和一类1/4像素点插值的第一步插值装置(220)；

·用于暂存第一步插值结果的暂存装置(230)；

·用于对二类半像素点、二类1/4像素点和三类1/4像素点插值的第二步插值装置(240)；

用于输出全部亚像素点像素值的输出装置(250)；

输入装置(210)和第一步插值装置(220)之间用数据总线连接，用于传输整像素点像素值；第一步插值装置(220)与暂存装置(230)之间用数据总线连接，用于传输第一步插值得到的一类半像素点像素值；第一步插值装置(220)与输出装置(250)之间用数据总线连接，用于传输第一步插值得到的亚像素点像素值；暂存装置(230)和第二步插值装置(240)之间用数据总线连接，用于传输用于第二步插值的一类半像素点像素值；第二步插值装置(240)和输出装置(250)之间用数据总线连接，用于传输第二步插值得到的亚像素点像素值。

Images