CN104574277A - 图像插值方法和图像插值装置 - Google Patents

Abstract

公开了一种图像插值方法及图像插值装置。其中，所述图像插值方法包括：对源图像像素进行插值补零，形成上采样图像；利用上采样图像获取基准插值核；将源图像像素、基准插值核与方向位移系数矩阵进行卷积而对源图像进行基于方向位移的基准核插值。根据本发明实施例提出的图像插值方法和图像插值装置，在斜向双三次插值的基础上，引入方向位移矩阵，从而保持基准插值核不变，而根据方向卷积方向位移矩阵，有利于在各个方向上对插值图像进行优化，从而考虑到图像内容的连续性，在图像边缘等高频细节部分避免了失真。

Description

图像插值方法和图像插值装置

技术领域

本公开涉及图像处理领域，具体地涉及一种图像插值方法和图像插值装置。

背景技术

在图像处理领域，图像插值是一种常见的图像处理方式。简单地说，图像插值就是利用已知邻近像素的灰度值来产生未知像素的灰度值，以便由源图像产生出具有更高分辨率的图像。传统的图像插值方法侧重于图像的平滑，以取得更好的视觉效果，但这类方法在保持图像平滑的同时，常常导致图像的边缘模糊，而图像的边缘信息是影响视觉效果的重要因素。

例如，作为最简单的一种插值方法，最邻近方法，其在待插值像素的四个相邻像素中，将距离待插值像素最近的相邻像素的灰度值赋给待插值像素。如图1A所示，设(i+u,j+v)为待插值像素的坐标，其中i,j为正整数,u,v为大于零小于1的小数，则待插值像素的灰度值f(i+u,j+v)可以如下计算：如果(i+u,j+v)落在A区，即u<0.5,v<0.5，则将左上角像素的灰度值赋给待插值像素，同理，落在B区则赋予右上角的像素灰度值，落在C区则赋予左下角像素的灰度值，落在D区则赋予右下角像素的灰度值。最邻近方法简单，计算量小，容易实现，但该方法可能会造成通过插值生成的图像在灰度上的不连续，在灰度变化的地方可能出现明显的锯齿状。

作为另一种图像插值方法，双线性插值方法是利用待插值像素周围四个相邻像素的灰度值在两个方向上作线性插值，如图1B所示：对于像素(i,j+v)，将灰度值f(i,j)到f(i,j+1)的变化视为线性关系，则有：f(i,j+v)＝[f(i,j+1)-f(i,j)]*v+f(i,j)；同理对于像素(i+1,j+v)，则有：f(i+1,j+v)＝[f(i+1,j+1)-f(i+1,j)]*v+f(i+1,j)；从f(i,j+v)到f(i+1,j+v)的灰度变化也被视为线性关系，由此可推导出待插值像素灰度的计算式如下：f(i+u,j+v)＝(1-u)*(1-v)*f(i,j)+(1-u)*v*f(i,j+1)+u*(1-v)*f(i+1,j)+u*v*f(i+1,j+1)。双线性插值方法比最邻近方法复杂，但具有平滑功能，能够有效地克服最邻近方法的不足，但具有低通滤波性质，会使得图像的高频部分退化，使得图像的细节变得模糊。

在放大倍数比较高时，高阶插值，诸如传统的双三次插值方法，比低阶插值的效果好，其不仅考虑到周围四个直接相邻像素的灰度值的影响，还考虑到它们灰度值变化率的影响。此方法利用待插值像素周围16个像素的灰度值作三次插值进行计算。具体地，该方法利用三次多项式S(w)逼近理论上最佳插值函数sin(x)/x,其数学表达式为：

$s\left(w\right)=\left\{\begin{array}{cc}1-2{\left|w\right|}^2+{\left|w\right|}^3& 0\&le;\left|w\right|<1\\ 4-8\left|w\right|+5{\left|w\right|}^2-{\left|w\right|}^3& 1\&le;\left|w\right|<2\\ 0& \left|w\right|\&GreaterEqual;2\end{array}\right.---\left(1\right)$

其中，w为待插值像素与邻域内源图像像素之间的距离，被称为偏移量。像素(x,y)的灰度值由其周围16个像素的灰度值加权插值得到，如图1C所示：

待插值像素的灰度值计算如下：

f(x,y)＝f(i+u,j+v)＝A*B*C (2)

其中:

$A={\left(\begin{array}{c}S(1+v)\\ S\left(v\right)\\ S(1-v)\\ S(2-v)\end{array}\right)}^T$

$B=\left(\begin{array}{cccc}f(i-1,j-1)& f(i-1,j)& f(i-1,j+1)& f(i-1,j+2)\\ f(i,j-1)& f(i,j)& f(i,j+1)& f(i,j+2)\\ f(i+1,j-1)& f(i+1,j)& f(i+1,j+1)& f(i+1,j+2)\\ f(i+2,j-1)& f(i+2,j)& f(i+2,j+1)& f(i+2,j+2)\end{array}\right)$

$C=\left(\begin{array}{c}S(1+u)\\ S\left(u\right)\\ S(1-u)\\ S(2-u)\end{array}\right)$

传统的双三次插值方法计算量较大，但插值后的图像效果较好，它可以使放大后的图像变化自然平滑，但是在图像中的某些像素与相邻像素间存在灰度值不连续性时，即，源图像中存在对象的轮廓或纹理图像的边缘时，会使得放大后的图像的轮廓和纹理模糊，降低图像质量。主要原因在于，传统的双三次插值方法在对图像进行插值卷积运算时，整幅图像采用一个固定的卷积核，即上面的三次多项式插值函数S(w)，而没有根据图像内容进行自适应插值。

发明内容

针对现有技术存在的上述问题，发明人提出了一种图像插值方法以及图像插值装置，可以减少甚至消除传统的图像插值方法在图像中对象边缘或者细节部分等高频区域易于产生的失真现象，并且在确保图像质量的情况下，减小了计算复杂度以及可能占用的软硬件资源。

根据本公开的一个方面，提供了一种图像插值方法，包括：对源图像像素进行插值补零，形成上采样图像；利用上采样图像获取基准插值核；将源图像像素、基准插值核与方向位移系数矩阵进行卷积而对源图像进行基于方向位移的基准核插值。

根据本公开的一个方面，提供了另一种图像插值方法，其只对源图像像素的亮度分量Y进行基于方向位移的基准核插值，而对色度分量U,V进行常规插值。根据本发明的一实施例，上述图像插值方法包括：提取源图像像素的第一分量；对源图像像素的第一分量进行插值补零，形成上采样图像；利用0/1矩阵与上采样图像进行卷积，得到基准插值核；将源图像像素的第一分量、基准插值核以及所述方向位移系数矩阵中的任意两个进行卷积而获得中间结果；将得到的中间结果与三者中剩下的那一个进行卷积而得到目标图像像素的第一分量；以及将目标图像像素的第一分量与进行常规插值后的其它分量合成为最终图像。

可选地，其中第一分量是亮度分量Y，其它分量为色度分量UV。

可选地，以上图像插值方法还包括：对源图像进行YUV空间转换，以将源图像像素的亮度分量Y和色度分量UV分离，从而得到源图像像素的亮度分量。

可选地，以上图像插值方法还包括：对源图像中存在的边缘进行方向判定，并在沿所判定的方向进行插值。

可选地，在以上图像插值方法中，在进行边缘方向判定前，对源图像像素进行高斯滤波，去除源图像中的白噪声。

可选地，以上图像插值方法方法还包括：通过改变方向，变换方向位移系数矩阵，并且比较所得到的最终图像，以优化显示效果。

可选地，以上图像插值方法还包括：对基准插值核进行一维化，获得一维的水平插值核和垂直插值核。

可选地，所述图像插值方法还包括：分别利用水平插值核和垂直插值核对待插值像素周围相邻的源图像像素的第一分量进行卷积，然后沿待插值像素所在方向进行角度旋转。

可选地，所述图像插值方法还包括：将水平插值核和垂直插值核沿待插值像素所在方向进行角度旋转，然后分别与待插值像素周围相邻的源图像像素的第一分量进行卷积。

可选地，以上图像插值方法：在水平方向和垂直方向上选取不同数量的相邻像素参与插值，从而实现在水平方向和垂直方向上采用不同的滤波强度。

可选地，以上图像插值方法：对分离后的UV分量进行常规插值，所述常规插值包括但不限于最邻近插值法、双线性插值法，或双三次插值法。

根据本公开的另一方面，还提出了一种图像插值装置。具体地，图像插值装置可以包括：上采样部件，对源图像像素进行插值补零，形成上采样图像；基准插值核获取部件，利用上采样图像获取基准插值核；插值部件，将源图像像素、基准插值核与方向位移系数矩阵进行卷积而对源图像进行基于方向位移的基准核插值。

如上所述，考虑到人眼对亮度比对色度的感知更敏感，根据本发明的另一实施例，只对源图像像素的亮度分量Y进行基于方向位移的基准核插值，而对色度分量U,V进行常规插值。由此，提出了一种图像插值装置，其还可以包括亮度分量提取部件，提取源图像像素的第一分量；其中，上采样部件被配置为对源图像像素的第一分量进行插值补零，形成所述上采样图像；基准插值核获取部件被配置为利用0/1矩阵与所述上采样图像进行卷积，得到所述基准插值核；插值部件被配置将所述源图像像素的第一分量、所述基准插值核以及所述方向位移系数矩阵中的任意两个进行卷积而获得中间结果，并且将得到的中间结果与三者中剩下的那一个进行卷积而得到目标图像像素的第一分量；其中，所述图像插值装置，还包括合成部件，将目标图像的第一分量与进行常规插值后的其它分量合成最终图像。

可选地，上述图像插值装置还包括：色彩空间转换部件，对源图像进行YUV色彩空间转换，以分离出源图像像素的亮度分量Y和色度分量U、V。

可选地，上述图像插值装置还包括：边缘方向判定部件，对源图像中存在的边缘进行方向判定，并在沿所判定的方向进行插值。

可选地，上述图像插值装置还包括：滤波部件，在进行边缘方向判定前，对源图像像素进行高斯滤波，去除拍摄源图像时引入的白噪声。

可选地，上述图像插值装置还包括：维度变换部件，对基准插值核进行一维化，获得一维的水平插值核和垂直插值核。

可选地，上述图像插值装置还包括：角度旋转部件，将分别利用水平插值核和垂直插值核对待插值像素周围相邻的源图像像素的第一分量进行卷积后的结果沿待插值像素所在方向进行角度旋转。

可选地，上述图像插值装置还包括：角度旋转部件，将水平插值核和垂直插值核沿待插值像素所在方向进行角度旋转，以分别与待插值像素周围相邻的源图像像素的第一分量进行卷积。

可选地，上述图像插值装置还包括：选择部件，在水平方向和垂直方向上选取不同数量的相邻源图像像素参与插值，从而在水平方向和垂直方向上采用不同的滤波强度。

可选地，上述图像插值装置还包括：方向调整部件，通过改变方向来变换方向位移系数，以便得到最优插值图像。

根据本发明实施例提出的图像插值方法和图像插值装置，在斜向双三次插值的基础上，引入方向位移矩阵，从而保持基准插值核不变，而根据方向变换位移卷积矩阵，有利于在各个方向上对插值图像进行优化，从而考虑到图像内容的连续性，在图像边缘等高频细节部分避免了失真。此外，考虑到人眼对亮度比对色度的感知更敏感，根据本发明另一实施例提出的图像插值方法和图像插值装置，可以仅仅针对源图像像素的亮度分量进行基于方向位移的基准核插值，而对色度分量进行常规插值，降低了计算复杂度，减少了对图像处理系统软硬件资源的需求。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例的附图作简单地介绍，显而易见地，下面描述中的附图仅仅涉及本发明的一些实施例，而非对本发明的限制。

图1A-1C为常见的图像插值方法的示意性原理图；

图2是根据本发明一实施例的图像插值方法的整体框图；

图3是根据本发明一实施例的分别对源图像亮度分量Y和色度分量UV进行不同插值算法的框图；

图4是根据本发明一实施例的对源图像Y分量进行基于方向位移的基准核插值的具体框图；

图5是根据本发明一实施例对源图像进行插值补零上采样的示意图；

图6A-6C是图示双三次插值各种具体实施例的原理示意图；

图7是根据本发明一实施例的进行方向插值的总体示意图；

图8是根据本发明一实施例的一种图像插值方法的流程图；

图9是根据本发明一实施例的另一种图像插值方法的流程图；

图10是根据本发明一实施例的一种图像插值装置的框图；以及

图11是根据本发明一实施例的另一种图像插值装置的框图。

具体实施方式

下面将结合附图对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，也属于本发明保护的范围。

根据本发明一实施例，提出了一种图像插值方法。图2示出了该图像插值方法的整体框图。如图2所示，首先，提取源图像的像素的灰度值；然后，对源图像像素进行基于方向位移的基准核插值算法；具体地，对源图像像素灰度值进行插值补零，形成上采样图像，以获取基准插值核；将源图像像素灰度值与基准插值核进行卷积，获得经过基准核插值的中间图像；最后将中间图像的灰度值沿插值方向进行方向位移，得到最终图像。

为了简化计算，可以提取源图像像素的第一分量；对源图像像素的第一分量进行插值补零，形成所述上采样图像；又考虑到人眼对亮度比对色度的感知更敏感，根据本发明的另一实施例，上述的第一分量可以是亮度分量，可以将源图像的像素的亮度分量Y与色度分量U,V进行分离，仅仅对亮度分量Y进行基于方向位移的基准核插值算法，从而使得可以对亮度分量进行自适应插值，减少甚至消除采用常规插值算法对图像中的对象边缘或者细节部分等高频区域进行插值时可能出现的失真现象，增强了画面质量；而对色度分量U,V进行常规的插值算法，使得减少了计算复杂度，提高了图像处理的速度，优化了用于图像处理的软硬件资源。

具体地，如图3所示，该方法包括：对源图像进行YUV空间转换，从而将亮度分量Y与色度分量U,V分离；对亮度分量Y进行基于方向位移的基准核插值算法，以保留图像中的对象边缘等高频部分的细节，而对色度分量U,V进行常规插值算法，例如，最邻近插值法，双线性插值法，或者双三次插值法；最后，将插值后的Y分量和U,V分量进行从YUV空间到RGB空间的转换，并合成最终图像。

当然，根据具体的应用环境，如果系统的软硬件资源足够，也可以对亮度分量Y，色度分量U,V均进行基于方向位移的基准核插值算法，以使得插值放大后得到的最终图像的画质更优。

同样地，根据本发明实施例的构思，还可以在其它色彩空间中，例如RGB空间，进行基于方向位移的基准核插值算法，不同之处在于，可以针对各个分量RGB分别进行，最后合成为最终图像，具体细节不在此赘述。

图4示出了根据本发明一实施例的对亮度分量Y进行基于方向位移的基准核插值算法的框图。如图4所示，首先，对分离出来的源图像像素的亮度分量进行插值补零，形成上采样图像；例如，如图5左侧所示，可以对源图像N*N像素进行均匀插值补零从而得到图5右侧所示的插值补零后的2N*2N上采样图像，在图5左侧中，是以源图像中的4*4像素作为示例进行说明的；在得到上采样图像后，利用0/1矩阵与之进行卷积，以图5右侧所示的2N*2N上采样图像为例，针对其第4行第4列的像素，可以利用0/1矩阵

$M=\left[\begin{array}{cccccccc}0& 0& 0& 0& 0& 0& 0& 0\\ 0& 0& 0& 0& 0& 0& 0& 0\\ 0& 0& 0& 0& 0& 0& 0& 0\\ 0& 0& 0& 1& 0& 0& 0& 0\\ 0& 0& 0& 0& 0& 0& 0& 0\\ 0& 0& 0& 0& 0& 0& 0& 0\\ 0& 0& 0& 0& 0& 0& 0& 0\\ 0& 0& 0& 0& 0& 0& 0& 0\end{array}\right]---\left(3\right)$

与之进行卷积，而得到基准插值核

$F=\left[\begin{array}{cccccccc}0.0005& 0.0016& -0.0053& -0.0203& -0.0203& -0.0053& 0.0016& 0.0005\\ 0.0016& 0.0049& -0.0159& -0.0610& 0.0610& -0.0159& 0.0049& 0.0016\\ -0.0053& -0.0159& 0.0513& 0.1965& 0.1965& 0.0513& -0.0159& -0.0053\\ -0.0203& -0.0610& 0.1965& 0.7520& 0.7520& 0.1965& -0.0610& -0.0203\\ -0.0203& -0.0610& 0.1965& 0.7520& 0.7520& 0.1965& -0.0610& -0.0203\\ -0.0053& -0.0159& 0.0513& 0.1965& 0.1965& 0.0513& -0.0159& -0.0053\\ 0.0016& 0.0049& -0.0159& -0.0610& -0.0610& -0.0159& 0.0049& 0.0016\\ 0.0005& 0.0016& -0.0053& -0.0203& -0.0203& -0.0053& 0.0016& 0.0005\end{array}\right]---\left(4\right)$

其中，基准插值核F中的每个元素表示如图5右侧所示的上采样图像中第4行第4列像素的亮度值与图像中各个像素的亮度值的相关性。

然后，将源图像像素的亮度值与基准插值核F进行卷积，得到经过基准核插值的中间图像；再将得到的中间图像与方向位移系数矩阵进行卷积，得到目标图像的亮度分量。

在本发明的实施例中，考虑到待插值源图像的内容特性和空间连续性，在进行图像插值时引入了方向位移系数，从而可以更好地保留图像中对象的边缘，减少甚至消除在进行常规插值时对图像边缘等高频区域易于导致的失真现象。

尽管在本发明的以上实施例中，是先将源图像像素与基准插值核进行卷积，然后再将二者的卷积结果与方向位移系数矩阵进行卷积，然而，本发明对于这三者之间进行卷积的顺序不作限制；实际上，根据卷积的交换律，完全可以先将基准插值核与方向位移系数矩阵进行卷积，然后再将二者的卷积结果与源图像像素进行卷积。

根据本发明的一实施例，其中，将二维的三次插值卷积分解为两个一维三次插值卷积，即，将二维矩阵一维化，从而得到水平方向的基准插值核和垂直方向的基准插值核，使得可以更加自由地选择组合，来满足特定的插值效果和硬件缓存及计算复杂度的需求。如下公式(5)所示，以水平方向的基准插值核参与卷积为例， $P=\left[\begin{array}{c}{h}_A\\ h_B\\ h_C\\ h_D\end{array}\right]\&CenterDot;\left[\begin{array}{cccc}A& B& C& D\end{array}\right]---\left(5\right)$

其中，P为待插值的像素，A、B、C、D为待插值邻域内的四个源图像像素，h_A、h_B、h_C、h_D为依据S(w)公式求出的偏离量w的三次多项式：

$\left\{\begin{array}{c}{h}_A=({-\mathrm{\&Delta;x}}^3+{2\mathrm{\&Delta;x}}^2-\mathrm{\&Delta;x})/2\\ h_B=({3\mathrm{\&Delta;x}}^3-{5\mathrm{\&Delta;x}}^2+2)/2\\ h_C=({-3\mathrm{\&Delta;x}}^3+{4\mathrm{\&Delta;x}}^2+\mathrm{\&Delta;x})/2\\ h_D=({\mathrm{\&Delta;x}}^3-{\mathrm{\&Delta;x}}^2)/2\end{array}\right.---\left(6\right)$

基于类似的原理，还可以得到垂直方向上的基准插值核 $\left[\begin{array}{c}{v}_A\\ v_B\\ v_C\\ v_D\end{array}\right],$ 具体细节在此省略。

在采用常规的双三次插值的情况下，由于在对源图像进行插值卷积运算时，整幅图像采用固定的卷积核，即，上述的三次多项式插值函数s(w)，而没有根据图像内容进行自适应插值，例如，没有考虑图像中对象边缘等高频区域的细节，导致在图像边缘等处产生失真。

针对以上问题，在本发明实施例中，可以根据图像边缘方向而采用斜向双三次插值。如图6B所示，其将图6A示出的常规的沿水平和垂直方向进行的双三次插值修改为沿某个方向进行斜向双三次插值；其中，如图6B所示，考虑到偏移量Δh'和偏移量Δv'随方向角度θ的变化而变化，使得基准插值核也随之变化，导致计算复杂，不利于对图像插值进行优化，因此，发明人提出了保持基准插值核不变，而引入方向位移系数，例如，

D_coe＝e^{-μ(xcosθ-ysinθ)2}，x＝i-d_x-0.5，y＝j-d_y-0.5 (7)

其中，μ是调节因子，范围是0-1之间，为经验值，当需要图像看上去更平滑一些，可以增加μ，反之，可以减小μ；θ为当前待插值像素所在的方向角度。i,j为邻域内源图像像素的坐标位置，0.5为二倍插值标准偏移量。d_x和d_x是对应θ方向的偏移量。

针对每个待插值点，可以得到与其邻域内源图像各像素的方向位移系数，例如，与其周围16个像素的方向位移系数，从而构成方向位移系数矩阵。由于在方向位移系数矩阵中，已经体现了在进行斜向双三次插值时偏移量Δh'和偏移量Δv'随方向角度θ的变化，因此，可以保持基准核F不变，而将源图像亮度分量与基准核F进行卷积而得到经过基准核插值的中间图像，然后将该中间图像与上述方向位移系数矩阵进行卷积，从而得到沿某个方向进行斜向双三次插值后的最终图像的亮度分量。

在图6B所示的示例中，在水平方向和与水平方向呈角度θ的斜向方向上，均采用待插值像素周围邻域内4个源图像像素进行双三次插值。实际上，由于对沿边缘方向相关像素的精确度要求较高，滤波强度选择过大(即，参与插值的像素过多)，易于带来边缘像素插值点误判；滤波强度选择过小(即，参与插值的像素太少)，又会造成明显的锯齿现象。因此，根据本发明的一实施例，可以在水平方向和垂直方向上采用不同数量的像素参与插值，以满足沿边缘方向上进行插值更高的精确度。例如，如图6C所示，当需要在沿与水平方向呈45°方向进行插值时，在水平方向上采用小插值核，在垂直方向上采用大的插值核，例如，在水平方向上采用4个像素，垂直方向上采用6个像素，从而更好地进行保留边缘的插值。

可选地，为了在对图像进行插值放大时尽可能地保留源图像中存在的边缘等细节，需要确定边缘方向，以便进行保留边缘的处理。例如，如图7所示，可以首先进行方向判定，然后进行方向插值。例如可以利用梯度算子，例如Sobel算子、Roberts算子、Canny算子、Laplacian算子等，检出源图像中存在的边缘；对边缘方向进行判定以便确定边缘的方向；最后，根据所确定的边缘方向，进行方向插值。例如，可以将得到的二维基准插值核进行一维化，从而得到水平插值核和垂直插值核，并且将水平插值核和垂直插值核沿待插值像素所在方向进行角度旋转，即，将基准插值核与方向位移系数矩阵进行卷积，然后再与待插值像素周围相邻源图像像素进行卷积，从而得到最终图像。

可选地，边缘检测的预处理通常是必要的，换句话说，在进行方向判定前进行高斯滤波是必要的。根据本发明的一实施例，在边缘检出之前，进行高斯滤波，以去除相机带来的白噪声，抑制对边缘判定的干扰。而在进行插值时，还是利用原像素进行，所以整个过程不会带来模糊问题。

可选地，在对边缘方向进行判定时，通过各个方向相关度的判定，得到待插值像素应该插值的方向，在此方向上利用方向角度θ，位移，即待插值像素与周围像素的偏移量，以及周围像素的亮度值，得到上述方向位移系数矩阵，方向位移系数矩阵可以随方向进行实时变换，以确定更好的图像插值效果。

根据本发明的一实施例，可以考虑尽量多添加一些方向的判定，提高图像插值的准确率。为此，可以设计一查找表以简化计算，提高图像插值处理速度。由此，在沿边缘方向插值时，只需对照相应的查找表，来获得方向位移系数矩阵D_coe中的各个元素。例如，可以根据画质需求，自行设置查找表中的数据，例如，列向表示各方向，行向表示对应的偏移量，例如，将方向1设为45°，对应的偏移量是(d_x1,d_y1)；方向2设为90°，对应的偏移量是(d_x2,d_y2)，等等，由此获得方向位移系数矩阵D_coe，减少了计算量，提高了运算速度。

由此，根据本发明一实施例，提供了一种图像插值方法。如图8所示，所述图像插值方法包括：S801，源图像像素进行插值补零，形成上采样图像；S805，利用上采样图像获取基准插值核；S810，将源图像像素与基准插值核进行卷积，获得经过基准核插值的中间图像；以及，S815，将中间图像像素与方向位移系数矩阵进行卷积而获得最终图像。

如上所述，尽管图8中示出了先将源图像像素与基准插值核进行卷积，然后再将二者的卷积结果与方向位移系数矩阵进行卷积而获得最终图像，然而，本发明对于这三者之间进行卷积的顺序不作限制；实际上，根据卷积的交换律，完全可以先将基准插值核与方向位移系数矩阵进行卷积，然后再将二者的卷积结果与源图像像素进行卷积，而不影响本发明构思的实施。

如上所述，考虑到人眼对亮度比对色度的感知更敏感，根据本发明的另一实施例，只对源图像像素的亮度分量Y进行基于方向位移的基准核插值，而对色度分量U,V进行常规插值。具体地，根据该实施例，如图9所示，所述图像插值方法包括：步骤S901，提取源图像各像素的亮度分量；步骤S905，对源图像像素亮度分量进行插值补零，形成上采样图像；步骤S910，利用0/1矩阵与上采样图像进行卷积，得到基准插值核；步骤S915，将源图像亮度分量与基准插值核进行卷积，得到经过基准核插值的中间图像；步骤S920，将中间图像与方向位移系数矩阵进行卷积，得到目标图像的亮度分量；步骤S925，将目标图像的亮度分量与进行常规插值后的其它分量合成最终图像。

作为示例，在图9中示出了先将源图像像素亮度分量与基准插值核进行卷积，然后再将二者的卷积结果与方向位移系数矩阵进行卷积而获得最终图像，然而，本发明对于这三者之间进行卷积的顺序不作限制；实际上，根据卷积的交换律，完全可以先将基准插值核与方向位移系数矩阵进行卷积，然后再将二者的卷积结果与源图像像素亮度分量进行卷积，而不影响本发明构思的实施。

可选地，上述步骤S901包括：对源图像进行YUV空间转换，以将源图像像素的亮度分量Y和色度分量UV分离，从而得到源图像像素的亮度分量。

可选地，所述方法还包括：对源图像中存在的边缘进行方向判定，以便沿所判定的方向进行插值。

可选地，在上述方法中，在进行边缘方向判定前，对源图像像素进行高斯滤波，去除拍摄源图像时引入的白噪声。

可选地，所述方法还包括：通过改变方向，变换方向位移系数矩阵，并且比较所得到的最终图像，以优化显示效果。

可选地，所述方法还包括：对基准插值核进行一维化，获得一维的水平插值核和垂直插值核；以及分别利用水平插值核和垂直插值核对源图像像素亮度分量进行卷积。

可选地，所述方法还包括：将水平插值核和垂直插值核沿待插值像素所在方向进行角度旋转，并且分别与待插值像素周围相邻的源图像像素的亮度分量进行卷积插值。

可选地，所述方法还包括：在水平方向和垂直方向上选取不同数量的相邻像素进行参与插值，从而实现在水平方向和垂直方向上采用不同的滤波强度。

可选地，上述方法还包括：对分离后的UV分量进行常规插值，所述常规插值包括但不限于最邻近插值法、双线性插值法，或双三次插值法。

根据本发明的另一实施例，还提出了一种图像插值装置。如图10所示，所述图像插值装置可以包括：上采样部件1005，对源图像像素进行插值补零，形成上采样图像；基准插值核获取部件1010，利用上采样图像获取基准插值核；插值部件1015，将源图像像素、基准插值核与方向位移系数矩阵进行卷积而对源图像进行基于方向位移的基准核插值。

如上所述，考虑到人眼对亮度比对色度的感知更敏感，根据本发明的另一实施例，只对源图像像素的亮度分量Y进行基于方向位移的基准核插值，而对色度分量U,V进行常规插值。由此，根据本发明的一实施例，提出了一种图像插值装置，如图11所示，所述图像插值装置可以包括：亮度分量提取部件1105，提取源图像像素的第一分量；上采样部件1110，被配置为对源图像像素的第一分量进行插值补零，形成上采样图像；基准插值核获取部件1115，利用0/1矩阵与上采样图像进行卷积，得到基准插值核；插值部件1120被配置将源图像像素的第一分量、基准插值核以及方向位移系数矩阵中的任意两个进行卷积而获得中间结果，并且将得到的中间结果与三者中剩下的那一个进行卷积而得到目标图像像素的第一分量；合成部件1125，将目标图像的第一分量与进行常规插值后的其它分量合成最终图像。

可选地，上述图像插值装置还包括：色彩空间转换部件，对源图像进行YUV色彩空间转换，以分离出源图像像素的亮度分量Y和色度分量U、V。

可选地，上述图像插值装置还包括：边缘方向判定部件，对源图像中存在的边缘进行方向判定，以便沿所判定的方向进行插值。

可选地，上述图像插值装置还包括：滤波部件，在进行边缘方向判定前，对源图像像素进行高斯滤波，去除拍摄源图像时引入的白噪声。

可选地，上述图像插值装置还包括：维度变换部件，对基准插值核进行一维化，获得一维的水平插值核和垂直插值核以便分别利用水平插值核和垂直插值核对源图像像素亮度分量进行卷积。

可选地，上述图像插值装置还包括：角度旋转部件，将水平插值核和垂直插值核沿待插值像素所在方向进行角度旋转，以分别与待插值像素周围相邻的源图像像素的亮度分量进行卷积插值。

可选地，上述图像插值装置还包括：角度旋转部件，将分别利用水平插值核和垂直插值核对待插值像素周围相邻的源图像像素的亮度分量进行卷积后的结果沿待插值像素所在方向进行角度旋转。

可选地，上述图像插值装置还包括：方向调整部件，通过改变方向来变换方向位移系数，以便得到最优插值图像。

根据本发明实施例提出的图像插值方法和图像插值装置，在斜向双三次插值的基础上，引入方向位移矩阵，从而保持基准插值核不变，而根据方向变换位移卷积矩阵，有利于在各个方向上对插值图像进行优化，从而考虑到图像内容的连续性，在图像边缘等高频细节部分避免了失真。此外，考虑到人眼对亮度比对色度的感知更敏感，根据本发明另一实施例提出的图像插值方法和图像插值装置，可以仅仅针对源图像像素的亮度分量进行基于方向位移的基准核插值，而对色度分量进行常规插值，降低了计算复杂度，减少了对图像处理系统软硬件资源的需求。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明实施例公开的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (20)

1.一种图像插值方法，包括：

对源图像像素进行插值补零，形成上采样图像；

利用上采样图像获取基准插值核；

将源图像像素、基准插值核与方向位移系数矩阵进行卷积而对源图像进行基于方向位移的基准核插值。

2.根据权利要求1所述的图像插值方法，包括：

提取源图像像素的第一分量；

对源图像像素的第一分量进行插值补零，形成所述上采样图像；

利用0/1矩阵与所述上采样图像进行卷积，得到所述基准插值核；

将所述源图像像素的第一分量、所述基准插值核以及所述方向位移系数矩阵中的任意两个进行卷积而获得中间结果；

将得到的中间结果与三者中剩下的那一个进行卷积而得到目标图像像素的第一分量；以及

将目标图像像素的第一分量与进行常规插值后的其它分量合成为最终图像。

3.根据权利要求2所述的方法，还包括：

对源图像进行YUV空间转换，所述第一分量是亮度分量Y，其它分量为色度分量UV；以将源图像像素的亮度分量Y和色度分量UV分离，从而得到源图像像素的亮度分量。

4.根据权利要求1-3任一项所述的方法，还包括：

对源图像中存在的边缘进行方向判定，以便沿所判定的方向进行插值。

5.根据权利要求4所述的方法，还包括：

在进行边缘方向判定前，对源图像像素进行高斯滤波，去除源图像中的白噪声。

6.根据权利要求1-3任一项所述的方法，还包括：

通过改变方向，变换所述方向位移系数矩阵，并且比较所得到的最终图像，以优化显示效果。

7.根据权利要求1-3任一项所述的方法，还包括：

对基准插值核进行一维化，获得一维的水平插值核和垂直插值核。

8.根据权利要求7所述的方法，还包括

分别利用水平插值核和垂直插值核对待插值像素周围相邻的源图像像素的第一分量进行卷积，然后沿待插值像素所在方向进行角度旋转。

9.根据权利要求7所述的方法，还包括：

将水平插值核和垂直插值核沿待插值像素所在方向进行角度旋转，然后分别与待插值像素周围相邻的源图像像素的第一分量进行卷积。

10.根据权利要求1所述的方法，还包括：

在水平方向和垂直方向上选取不同数量的相邻源图像像素参与插值，从而在水平方向和垂直方向上采用不同的滤波强度。

11.一种图像插值装置，包括：

上采样部件，对源图像像素进行插值补零，形成上采样图像；

基准插值核获取部件，利用上采样图像获取基准插值核；

插值部件，将源图像像素、基准插值核与方向位移系数矩阵进行卷积而对源图像进行基于方向位移的基准核插值。

12.如权利要求11所述的图像插值装置，还包括亮度分量提取部件，提取源图像像素的第一分量；

其中，上采样部件被配置为对源图像像素的第一分量进行插值补零，形成所述上采样图像；基准插值核获取部件被配置为利用0/1矩阵与所述上采样图像进行卷积，得到所述基准插值核；插值部件被配置将所述源图像像素的第一分量、所述基准插值核以及所述方向位移系数矩阵中的任意两个进行卷积而获得中间结果，并且将得到的中间结果与三者中剩下的那一个进行卷积而得到目标图像像素的第一分量；

其中，所述图像插值装置，还包括合成部件，将目标图像的第一分量与进行常规插值后的其它分量合成最终图像。

13.根据权利要求12所述的图像插值装置，还包括：

色彩空间转换部件，对源图像进行YUV色彩空间转换，所述第一分量是亮度分量Y，其它分量为色度分量UV；以分离出源图像像素的亮度分量Y和色度分量UV。

14.根据权利要求11-13任一项所述的图像插值装置，还包括：

边缘方向判定部件，对源图像中存在的边缘进行方向判定，以便沿所判定的方向进行插值。

15.根据权利要求14所述的图像插值装置，还包括：

滤波部件，在进行边缘方向判定前，对源图像像素进行高斯滤波，去除源图像中的白噪声。

16.根据权利要求11-13任一项所述的图像插值装置，还包括：

方向调整部件，通过改变方向，变换所述方向位移系数矩阵，并且比较所得到的最终图像，以优化显示效果。

17.根据权利要求11-13任一项所述的图像插值装置，还包括：

维度变换部件，对基准插值核进行一维化，获得一维的水平插值核和垂直插值核。

18.根据权利要求17所述的图像插值装置，还包括

角度旋转部件，将分别利用水平插值核和垂直插值核对待插值像素周围相邻的源图像像素的第一分量进行卷积后的结果沿待插值像素所在方向进行角度旋转。

19.根据权利要求17所述的图像插值装置，还包括：

角度旋转部件，将水平插值核和垂直插值核沿待插值像素所在方向进行角度旋转，以分别与待插值像素周围相邻的源图像像素的第一分量进行卷积。

20.根据权利要求11所述的图像插值装置，还包括：

选择部件，在水平方向和垂直方向上选取不同数量的相邻源图像像素参与插值，从而在水平方向和垂直方向上采用不同的滤波强度。