CN102750668A - 结合局部方向特征的数字图像三倍插值放大方法 - Google Patents

Abstract

本发明公开了一种结合局部方向特征的数字图像三倍插值放大方法。该方法首先提取低分辨率图像的四个方向特征，然后将插值点按位置关系分成三类分别进行插值。对非同行非同列类插值点，首先利用已知点与待插值点之间的距离和相应的方向特征作为权重系数进行插值，然后利用邻域已知点的方向特征判断子块是否为45°和135°强纹理区域，如果是则沿纹理方向对相应插值点按线性插值方法进行更新；估计同行、同列类待插值点时，对0°和90°强纹理区域的插值点沿相应方向进行插值，对其他点则按照传统的线性插值方法进行重构。该方法能够在有效抑制插值图像边缘模糊和锯齿现象的同时缩短运算时间，使得重构出的图像边缘更清晰，视觉效果更锐利。

Description

结合局部方向特征的数字图像三倍插值放大方法

技术领域

本发明属于图像超分辨率(Super Resolution)重建技术领域。

背景技术

图像超分辨率重建技术是指利用一幅或多幅低分辨率图像，通过估计低分辨率图像丢失的高频信息来重建出一幅高分辨率图像。图像超分辨率重建技术广泛应用于遥感卫星图像、军事侦察、医学成像、安全监控以及交通管理等领域，具有广泛的应用前景和重要的研究价值。

插值放大作为图像超分辨率(Super Resolution，SR)重建的一个重要分支，具有实现简单，运算速度快的特点。传统的插值方法包括最近邻，双线性和双三次插值等，这些方法利用邻域已知点到待插值点的距离因素构造权重进行插值，虽然可以实现对低分辨率图像的任意整数倍的插值放大；不过，由于忽略了低分辨率图像的局部纹理特征，导致插值放大图像的边缘部分出现失真、模糊等效应。图像的局部纹理特征尤其是方向特征描述了图像在该区域的方向信息，如果能够利用图像的局部方向特征对图像进行插值，就可以使插值点更好的符合原始图像的纹理方向特征，从而使插值放大的图像更准确。

2001年Li等人首次利用局部纹理特征对图像进行插值，提出一种基于边缘指导(NEDI)的图像插值方法(X.Li，M.T.Orchard.New edge-directed interpolation[J].IEEE Transactions on Imageprocessing，2001，10(10)：1521-1527)，其基本思想是利用低分辨率图像和高分辨图像之间局部协方差的对偶关系估计权重系数进行插值。该方法对单一结构图像的插值效果较好，而对纹理丰富的图像进行插值时边缘部分会出现混叠模糊现象。

近几年，研究学者利用局部方向特征提出很多图像插值方法：(1)Liu等人提出了一种基于插值细分(简称为IEIS)的方法(C.Liu，X.Luo.Image enlargement via interpolatory subdivision[J].IET Image Processing，2011，5(6)：567-571)。该方法根据插值点邻域内水平或垂直方向的局部特征，将插值点所处的区域分成四种情况，通过分别赋予不同的权重系数进行加权完成高分辨图像的插值重建。(2)Andrea Giachetti等人提出了基于时域的人工图像放大算法(文献中简称为ICBI，Iteractive Curvature Based Interpolation)(Giachetti A，Asuni N.Real time artifact-freeimage upscaling[J].IEEE Transactions on image processing，2011，20(10)：2760-2768)，该方法首先沿局部纹理方向对待插值点进行初始估计，然后不断迭代通过最小化局部曲率来完成插值点的计算。(3)同时，申请人也提出了一种基于曲波纹理方向自适应(简称为TIBC)的图像插值算法(赵亮，和红杰，尹忠科.基于曲波的纹理方向自适应图像插值[J].光电子·激光.2012，23(4)：798-804.)。该方法首先利用双线性插值得到初始化高分辨图像，然后利用曲波变换估计出插值点的方向特征，根据方向特征来修正待插值点的像素值。

上述三种方法结合低分辨图像的局部方向特征对插值点进行估计，不仅提高了插值图像纹理区域的清晰度，而且边缘模糊现象也得到了有效的抑制。然而，现有结合方向特征的插值放大方法都是针对图像放大2ⁿ(n＞0的整数)倍设计的。如果要实现低分辨率图像的3倍插值放大，则需先对低分辨率图像进行4倍放大，然后3/4下采样得到3倍高分辨率图像；不仅计算过程冗余而且插值图像的误差也较大。由于曲波估计出的方向特征能较好地描述图像的纹理方向特征，因此，基于曲波的TIBC方法得到的高分辨率图像边缘效果相对较好。不过，由于该方法在计算方向特征时，需要先对低分辨率图像进行双线性插值，不仅降低了运算速度，而且由于双线性插值的低通平滑效果，使插值后的图像不可避免的引入了误差，从而导致局部纹理特征的估计不准确，影响了后序插值重构的准确性。因此，如何快速且准确地估计出插值点的方向特征，是提高低分辨率图像重建质量和重建效率必须解决的关键问题之一。

发明内容

本发明的目的在于提供一种结合局部方向特征的数字图像三倍插值放大方法，该方法能够有效抑制插值图像边缘模糊和锯齿现象，重构出的图像边缘更清晰，视觉效果更锐利；且计算复杂度低，运算时间短。

本发明解决其技术问题，所采用的技术方案为：一种结合局部方向特征的数字图像三倍插值放大方法，其步骤如下：

1)方向特征提取

利用梯度、方向滤波或超小波方法提取出低分辨率图像X＝{x_i，j|i＝1，2，……，m；j＝1，2，……，n}在0°、45°、90°和135°四个方向上的方向特征D_k(k＝1，2，3，4)：

$D_k=\left\{d_{i,j}^k\right|k=\mathrm{1,2,3,4}\}$

其中，k代表方向，k＝1，2，3，4分别对应0°、45°、90°和135°的方向；m，n为低分辨图像X的尺寸，方向特征D_k与X的大小相同；

代表低分辨率图像X相应像素点x_i，j的第k个方向的方向特征；

2)三倍插值点的估计

2.1分类

低分辨率图像的2×2子块为三倍插值的最小插值单元，每个2×2子块中的横向竖向斜向均插入两个插值点，即每个2×2子块中含有4个已知点x_i，j、x_i，j+1、x_i+1，j、x_i+1，j+1和12个插值点，12个插值点分为同行插值点(x′_i，j+1、x′_i，j+2、x′_i+3，j+1、x′_i+3，j+2)、同列插值点(x′_i+1，j、x′_i+2，j、x′_i+1，j+3、x′_i+2，j+3)和非同行非同列插值点(x′_i+1，j+1、x′_i+2，j+1、x′_i+1，j+2、x′_i+2，j+2)三类；

2.2非同行非同列插值点的值估计

任意2×2子块中已知点x_i，j+1和x_i+1，j的0°、45°、90°和135°方向特征分别为和

2.2.1初始化非同行非同列插值点的值：

令，x″₁＝x_i，j；x″₂＝x_i，j+1；x″₃＝x_i+1，j；x″₄＝x_i+1，j+1，

及a₁＝x′_i+1，j+1；a₂＝x′_i+1，j+2；a₃＝x′_i+2，j+1；a₄＝x′_i+2，j+2

则， $a_q=\underset{p=1}{\overset{4}{\mathrm{\Σ}}}{w}_{\mathrm{pq}}\·x_p^{\′\′},$ q＝1，2，3，4，

而 $w_{\mathrm{pq}}=\frac{s_{\mathrm{pq}}\·t_{\mathrm{pq}}}{\underset{p=1}{\overset{4}{\mathrm{\Σ}}}{s}_{\mathrm{pq}}\·t_{\mathrm{pq}}}$

其中，s_pq为已知点x″_p到插值点a_q的距离权重，s_pq＝(3-插值点a_q到已知点x″_p的水平距离)×(3-插值点a_q到已知点x″_p的垂直距离)/9；

t_pq是已知点x″_p到插值点a_q的方向权重，t_pq按下式进行估计：

$t_{\mathrm{pq}}=1+(h_{\mathrm{pq}}-\frac{1}{4})$

$h_{\mathrm{pq}}=g_{\mathrm{pq}}/\underset{p=1}{\overset{4}{\mathrm{\Σ}}}{g}_{\mathrm{pq}}$

其中g_pq表示已知点x″_p沿待插值点a_q方向的方向特征，由已知点x″_p四个方向中与待插值点a_q方向最接近的方向特征在x″_p沿a_q方向上的投影得到；

2.2.2更新非同行非同列插值点的值：

如果x_i，j+1和x_i+1，j的四个方向特征中都是45°方向特征最大，即则判定该子块属于45°强纹理区域，利用已知点x_i+1，j和x_i，j+1更新x_i+1，j的相邻插值点x′_i+2，j+1和x_i，j+1的相邻插值点x′_i+1，j+2的值，即：

$x_{i+2,j+1}^{\′}=\frac{2}{3}\·x_{i+1,j}+\frac{1}{3}\·x_{i,j+1};$ $x_{i+1,j+2}^{\′}=\frac{1}{3}\·x_{i+1,j}+\frac{2}{3}\·x_{i,j+1}$

如果x_i，j和x_i+1，j+1的四个方向特征中都是135°方向特征最大，即

则判定该子块属于135°强纹理区域，利用已知点x_i，j和x_i+1，j+1求出x_i，j的相邻插值点x′_i+1，j+1和x_i+1，j+1的相邻插值点x′_i+2，j+2的值，即：

$x_{i+1,j+1}^{\′}=\frac{2}{3}\·x_{i,j}+\frac{1}{3}\·x_{i+1,j+1};$ $x_{i+2,j+2}^{\′}=\frac{1}{3}\·x_{i,j}+\frac{2}{3}\·x_{i+1,j+1};$

2.3同行插值点的值估计

2.3.1上面行插值点的估计：

如果2×2子块中上面一行的两已知点x_i，j和x_i，j+1的四个方向特征中都是0°方向特征最大，即

则判定该行属于0°强纹理区域，利用已知点x_i，j和x_i，j+1求出x_i，j的相邻同行插值点x′_i，j+1和x_i，j+1的相邻同行插值点x′_i，j+2的值，即：

$x_{i,j+1}^{\′}=\frac{2}{3}\·x_{i,j}+\frac{1}{3}\·x_{i,j+1};$ $x_{i,j+2}^{\′}=\frac{1}{3}\·x_{i,j}+\frac{2}{3}\·x_{i,j+1}$

如果2×2子块中上面一行的两已知点x_i，j和x_i，j+1的四个方向特征中不满足都是0°方向特征最大的条件，则利用同一行内本子块内的两个已知点(x_i，j，x_i，j+1)和左右相邻子块中的两个最近已知点(x_i，j-1，x_i，j+2)对插值点x′_i，j+1和x′_i，j+2进行估计：

x′_i，j+1＝α₁·x_i，j-1+α₂·x_i，j+α₃·x_i，j+1+α₄·x_i，j+2

x′_i，j+2＝α₁·x_i，j+2+α₂·x_i，j+1+α₃·x_i，j+α₄·x_i，j-1

其中[α₁，α₂，α₃，α₄]＝[-2，21，9，-1]/27，是三倍插值的核函数；如果x_i，j-1或x_i，j+2不存在，则只利用子块内的两个同行已知点x_i，j和x_i，j+1对插值点x′_i，j+1和x′_i，j+2进行估计：

$x_{i,j+1}^{\′}=\frac{2}{3}\·x_{i,j}+\frac{1}{3}\·x_{i,j+1};$ $x_{i,j+2}^{\′}=\frac{1}{3}\·x_{i,j}+\frac{2}{3}\·x_{i,j+1}$

2.3.2下面行插值点的估计：

如果2×2子块中下面一行的两已知点x_i+1，j和x_i+1，j+1四个方向特征中都是0°方向特征最大，即

则判定该行属于0°强纹理区域，利用同行的两已知点x_i+1，j和x_i+1，j+1求出x_i+1，j的相邻同行插值点x′_i+3，j+1和x_i+1，j+1的相邻同行插值点x′_i+3，j+2的值，即：

$x_{i+3,j+1}^{\′}=\frac{2}{3}\·x_{i+1,j}+\frac{1}{3}\·x_{i+1,j+1};$ $x_{i+3,j+2}^{\′}=\frac{1}{3}\·x_{i+1,j}+\frac{2}{3}\·x_{i+1,j+1}$

如果2×2子块中下面一行的两已知点x_i+1，j和x_i+1，j+1的四个方向特征中不满足都是0°方向特征最大的条件，则利用同一行内本子块内的两个已知点(x_i+1，j，x_i+1，j+1)和左右相邻子块中的两个最近已知点(x_i+1，j-1，x_i+1，j+2)对插值点x′_i+3，j+1和x′_i+3，j+2进行估计：

x′_i+3，j+1＝α₁·x_i+1，j-1+α₂·x_i+1，j+α₃·x_i+1，j+1+α₄·x_i+1，j+2

x′_i+3，j+2＝α₁·x_i+1，j+2+α₂·x_i+1，j+1+α₃·x_i+1，j+α₄·x_i+1，j-1

其中[α₁，α₂，α₃，α₄]＝[-2，21，9，-1]/27，是三倍插值的核函数；如果x_i+1，j-1或x_i+1，j+2不存在，则只利用子块内的两个同行已知点x_i+1，j和x_i+1，j+1对插值点x′_i+3，j+1和x′_i+3，j+2进行估计：

$x_{i+3,j+1}^{\′}=\frac{2}{3}\·x_{i+1,j}+\frac{1}{3}\·x_{i+1,j+1};$ $x_{i+3,j+2}^{\′}=\frac{1}{3}\·x_{i+1,j}+\frac{2}{3}\·x_{i+1,j+1}$

2.4同列插值点的估计

2.4.1左面列插值点的估计：

如果2×2子块中左面一列的两已知点x_i，j和x_i+1，j的四个方向特征中都是90°方向特征最大，即

则判定该列属于90°强纹理区域，利用已知点x_i，j和x_i+1，j求出x_i，j的相邻同列插值点x′_i+1，j和x_i+1，j的相邻同列插值点x′_i+2，j的值，即：

$x_{i+1,j}^{\′}=\frac{2}{3}\·x_{i,j}+\frac{1}{3}\·x_{i+1,j};$ $x_{i+2,j}^{\′}=\frac{1}{3}\·x_{i,j}+\frac{2}{3}\·x_{i+1,j}$

如果2×2子块中左面一列的两已知点x_i，j和x_i+1，j的四个方向特征中不满足都是90°方向特征最大的条件，则利用同一列内本子块内的两个已知点x_i，j，x_i+1，j和上下相邻子块中的两个最近已知点x_i-1，j，x_i+2，j对插值点x′_i+1，j和x′_i+2，j进行估计：

x′_i+1，j＝α₁·x_i-1，j+α₂·x_i，j+α₃·x_i+1，j+α₄·x_i+2，j

x′_i+2，j＝α₁·x_i+2，j+α₂·x_i+1，j+α₃·x_i，j+α₄·x_i-1，j

其中[α₁，α₂，α₃，α₄]＝[-2，21，9，-1]/27，是三倍插值的核函数；如果x_i-1，j或x_i+2，j不存在，则只利用子块内的两个同列已知点x_i，j和x_i+1，j对插值点x′_i+1，j和x′_i+2，j进行估计：

$x_{i+1,j}^{\′}=\frac{2}{3}\·x_{i,j}+\frac{1}{3}\·x_{i+1,j};$ $x_{i+2,j}^{\′}=\frac{1}{3}\·x_{i,j}+\frac{2}{3}\·x_{i+1,j}$

2.4.2右面列插值点的估计：

如果2×2子块中右面一列的两已知点x_i，j+1和x_i+1，j+1四个方向特征中都是90°方向特征最大，即

则判定该列属于90°强纹理区域，利用同列的两已知点x_i，j+1和x_i+1，j+1求出x_i，j+1的相邻同列插值点x′_i+1，j+3和x_i+1，j+1的相邻同列插值点x′_i+2，j+3的值，即：

$x_{i+1,j+3}^{\′}=\frac{2}{3}\·x_{i,j+1}+\frac{1}{3}\·x_{i+1,j+1};$ $x_{i+2,j+3}^{\′}=\frac{1}{3}\·x_{i,j+1}+\frac{2}{3}\·x_{i+1,j+1}$

如果2×2子块中右面一列的两已知点x_i，j+1和x_i+1，j+1的四个方向特征中不满足都是90°方向特征最大的条件，则利用同一列内本子块内的两个已知点x_i，j+1，x_i+1，j+1和上下相邻子块中的两个最近已知点x_i-1，j+1，，x_i+2，j+1对插值点x′_i+1，j+3和x′_i+2，j+3进行估计：

x′_i+1，j+3＝α₁·x_i-1，j+1+α₂·x_i，j+1+α₃·x_i+1，j+1+α₄·x_i+2，j+1

x′_i+2，j+3＝α₁·x_i+2，j+1+α₂·x_i+1，j+1+α₃·x_i，j+1+α₄·x_i-1，j+1

其中[α₁，α₂，α₃，α₄]＝[-2，21，9，-1]/27，是三倍插值的核函数；如果x_i-1，j+1或x_i+2，j+1不存在，则只利用子块内的两个同列已知点x_i，j+1和x_i+1，j+1对插值点x′_i+1，j+3和x′_i+2，j+3进行估计：

$x_{i+1,j+3}^{\′}=\frac{2}{3}\·x_{i,j+1}+\frac{1}{3}\·x_{i+1,j+1};$ $x_{i+2,j+3}^{\′}=\frac{1}{3}\·x_{i,j+1}+\frac{2}{3}\·x_{i+1,j+1}$

2.5令x′_i，j＝x_i，j；x′_i，j+3＝x_i，j+1；x′_i+3，j＝x_i+1，j；x′_i+3，j+3＝x_i+1，j+1，这四个像素点和2.2-2.4步得到的同行插值点x′_i，j+1 x′_i，j+2 x′_i+3，j+1 x′_i+3，j+2、同列插值点x′_i+1，j x′_i+2，j x′_i+1，j+3 x′_i+2，j+3、非同行非同列插值点x′_i+1，j+1 x′_i+2，j+1 x′_i+1，j+2 x′_i+2，j+2一起即构成4×4的插值后子块；

3)将所有的4×4的插值后子块进行重构，组成的图像X′，X′＝{x′_i′，j′|i′＝1，2，……，3m；j′＝1，2，……，3n}即为完成三倍插值放大的高分辨率图像。

与现有技术相比，本发明的有益效果是：

一、现有方法对插值点进行估计时，仅考虑邻域已知像素对该点的距离因素，忽略了纹理方向信息，导致其计算复杂且重构的图像效果差。本发明利用提取出的图像多个方向的特征，通过将各已知点对待插值点的方向因素考虑其中，当待插点沿两个已知参考点的方向特征强时，则只考虑该方向上的已知参考点，能简单有效的计算出与原始图像接近的插入值；当插值点沿两个已知参考点方向特征不强时，则同时考虑相邻的四个已知点与待插值点的距离因素和方向特征因素，综合计算出的插值点与原始图像更逼真。从而使得本发明方法能有效抑制插值图像边缘模糊和锯齿现象，重构出的图像边缘更清晰，视觉效果更锐利，同时计算复杂度低，运算时间快。

二、用本发明方法直接获得图像三倍插值的高分辨率图像，而不需经过先4倍插值再3/4下采样的过程，避免了误差的引入。重构后的插值图像不仅边缘模糊和锯齿现象得到了有效的抑制，而且也降低了运算复杂度，运算时间得到了提升。

上述的步骤1)中用超小波方法提取低分辨率图像的四个方向特征D_k(k＝1，2，3，4)的具体做法为：

1.1对低分辨率图像X进行超小波方法中的曲波变换得到曲波系数矩阵集合M_u，v，其中u∈[1，N]为尺度参数，v∈[0°，360°]为方向参数；

1.2将曲波系数矩阵M_u，v中的第二尺度层以上的从-22.5°到157.5°的范围内的曲波系数按方向划分为0°，45°，90°和135°四个矩阵集合，分别记为E₁，E₂，E₃和E₄：

1.3分别将曲波系数矩阵M_u，v中属于E_k(k＝1，2，3，4)矩阵的系数保留而将其余系数置0，再进行曲波逆变换，得到相应的四个方向特征矩阵D_k(k＝1，2，3，4)，

$D_k=\{d_{i,j}^{k}i=\mathrm{1,2},......,m;j=\mathrm{1,2},......,n;k=\mathrm{1,2,3,4}\}$

这样，用曲波变换设计出的方向特征能够较准确的估计原始低分辨率图像的纹理方向特征；同TIBC方法相比，本发明计算方向特征时，不需要进行双线性插值，从而避免了插值过程中误差的引入，通过更准确的方向特征值构造的权重再后续一次性的计算出插值，使后续的图像插值计算既准确又快速。

下面结合附图和具体实施方式对本发明做进一步的详细说明。

附图说明

图1是本发明三倍插值时子块内已知点和待插值点的排列示意图。

图2是2×2子块中已知点与非同行非同列插值点的位置分布及左下角非同行非同列类插值点方向特征示意图。其中实心圆x_i，j、x_i，j+1、x_i+1，j、x_i+1，j+1为已知点，空心圆x′_i+1，j+1 x′_i+2，j+1 x′_i+1，j+2 x′_i+2，j+2为非同行非同列类插值点，斜线填充圆x′_i，j+1 x′_i，j+2 x′_i+3，j+1 x′_i+3，j+2为同行类插值点，灰色圆x′_i+1，j x′_i+2，j x′_i+1，j+3 x′_i+2，j+3为同列类插值点。

图3是本发明对一实际图像进行方向特征提取时使用的原始图像及提取出来的0°，45°，90°和135°方向的方向特征。其中a分图是标准的Lena图像(128×128)；b，c，d，e分图分别是对a分图进行曲波变换后提取的0°，45°，90°和135°四个方向的方向特征矩阵。

图4是本发明和现有插值方法对一实际窗户图像局部区域进行三倍插值重构的效果对比图。其中a分图是原始的窗户图像局部区域；b，c，d，e分图分别是对a分图进行3倍下采样后，再分别采用本发明，TIBC，ICBI和IEIS进行3倍插值后的结果。

图5是本发明和现有插值方法对一实际蝴蝶图像局部区域进行三倍插值重构的效果对比图。其中a分图是原始的蝴蝶图像(512×512)的局部区域；b，c，d，e分图分别是对a分图进行3倍下采样后，再分别采用本发明，TIBC，ICBI和IEIS进行3倍插值后的结果。

图6是对多种放大算法进行插值信噪比和计算时间测试用图像，a，b，c，d分图分别为天鹅图像，Lena图像，蝴蝶图像和花朵图像。

具体实施方式

实施例

图1、2示出，本发明的一种具体实施方式是，一种结合局部方向特征的数字图像三倍插值放大方法，其步骤如下：

1)方向特征提取

利用梯度、方向滤波或超小波方法提取出低分辨率图像X＝{x_i，j|i＝1，2，……，m；j＝1，2，……，n}在0°、45°、90°和135°四个方向上的方向特征D_k(k＝1，2，3，4)：

$D_k=\left\{d_{i,j}^k\right|k=\mathrm{1,2,3,4}\}$

其中，k代表方向，k＝1，2，3，4分别对应0°、45°、90°和135°的方向；m，n为低分辨图像X的尺寸，方向特征D_k与X的大小相同；

代表低分辨率图像X相应像素点x_i，j的第k个方向的方向特征；

本例中采用超小波方法提取低分辨率图像的四个方向特征D_k(k＝1，2，3，4)，其具体做法为：

1.1对低分辨率图像X进行超小波方法中的曲波变换得到曲波系数矩阵集合M_u，v，其中u∈[1，N]为尺度参数，v∈[0°，360°]为方向参数；

1.2将曲波系数矩阵M_u，v中的第二尺度层以上的从-22.5°到157.5°的范围内的曲波系数按方向划分为0°，45°，90°和135°四个矩阵集合，分别记为E₁，E₂，E₃和E₄：

1.3分别将曲波系数矩阵M_u，v中属于E_k(k＝1，2，3，4)矩阵的系数保留而将其余系数置0，再进行曲波逆变换，得到相应的四个方向特征矩阵D_k(k＝1，2，3，4)，

$D_k=\left\{d_{i,k}^k\right|i=\mathrm{1,2},......,m;j=\mathrm{1,2},......,n;k=\mathrm{1,2,3,4}\}.$

2)三倍插值点的估计

图1、图2示出：

2.1分类

低分辨率图像的2×2子块为三倍插值的最小插值单元，每个2×2子块中的横向竖向斜向均插入两个插值点，即每个2×2子块中含有4个已知点x_i，j、x_i，j+1、x_i+1，j、x_i+1，j+1和12个插值点，12个插值点分为同行插值点(x′_i，j+1、x′_i，j+2、x′_i+3，j+1、x′_i+3，j+2)、同列插值点(x′_i+1，j、x′_i+2，j、x′_i+1，j+3、x′_i+2，j+3)和非同行非同列插值点(x′_i+1，j+1、x′_i+2，j+1、x′_i+1，j+2、x′_i+2，j+2)三类；

2.2非同行非同列插值点的值估计

任意2×2子块中已知点x_i，j+1和x_i+1，j的0°、45°、90°和135°方向特征分别为和

2.2.1初始化非同行非同列插值点的值：

令，x″₁＝x_i，j；x″₂＝x_i，j+1；x″₃＝x_i+1，j；x″₄＝x_i+1，j+1，

及a₁＝x′_i+1，j+1；a₂＝x′_i+1，j+2；a₃＝x′_i+2，j+1；a₄＝x′_i+2，j+2(见图2)

则， $a_q=\underset{p=1}{\overset{4}{\mathrm{\Σ}}}{w}_{\mathrm{pq}}\·x_p^{\′\′},$ q＝1，2，3，4，

而 $w_{\mathrm{pq}}=\frac{s_{\mathrm{pq}}\·t_{\mathrm{pq}}}{\underset{p=1}{\overset{4}{\mathrm{\Σ}}}{s}_{\mathrm{pq}}\·t_{\mathrm{pq}}}$

其中，s_pq为已知点x″_p到插值点a_q的距离权重，s_pq＝(3-插值点a_q到已知点x″_p的水平距离)×(3-插值点a_q到已知点x″_p的垂直距离)/9；公式中的前一个3和后一个3分别为2×2子块内像素间的最大水平距离和最大垂直距离，9为2×2子块内像素间的最大水平距离和最大垂直距离之积。可见s_pq为已知点x″_p到插值点a_q的距离接近程度的归一化值。

如已知点x″₁＝x_i，j到插值点a₁＝x′_i+1，j+1的水平距离为(i+1)-i＝1，垂直距离为(j+1)-j＝1，则 $s_{11}=(3-1)\×(3-1)/9=\frac{4}{9},$ 同样 $s_{41}=(3-2)\×(3-2)/9=\frac{1}{9}.$

t_pq是已知点x″_p到插值点a_q的方向权重，t_pq按下式进行估计：

$t_{\mathrm{pq}}=1+(h_{\mathrm{pq}}-\frac{1}{4})$

$h_{\mathrm{pq}}=g_{\mathrm{pq}}/\underset{p=1}{\overset{4}{\mathrm{\Σ}}}{g}_{\mathrm{pq}}$

其中g_pq表示已知点x″_p沿待插值点a_q方向的方向特征，由已知点x″_p四个方向中与待插值点a_q方向最接近的方向特征在x″_p沿a_q方向上的投影得到。如已知点x″₁＝x_i，j沿插值点a₁＝x′_i+1，j+1的方向为135°，由于x″₁的135°方向特征为因此

又如x″₃沿a₁的方向为63.5°，x″₃的四个方向特征中45°方向与其最接近，所以g₃₁用x″₃的45°特征

到63.5°方向的投影得到，即

2.2.2更新非同行非同列插值点的值：

如果x_i，j+1和x_i+1，j的四个方向特征中都是45°方向特征最大，即

则判定该子块属于45°强纹理区域，利用已知点x_i+1，j和x_i，j+1更新x_i+1，j的相邻插值点x′_i+2，j+1和x_i，j+1的相邻插值点x′_i+1，j+2的值，即：

$x_{i+2,j+1}^{\′}=\frac{2}{3}\·x_{i+1,j}+\frac{1}{3}\·x_{i,j+1};$ $x_{i+1,j+2}^{\′}=\frac{1}{3}\·x_{i+1,j}+\frac{2}{3}\·x_{i,j+1}$

如果x_i，j和x_i+1，j+1的四个方向特征中都是135°方向特征最大，即

则判定该子块属于135°强纹理区域，利用已知点x_i，j和x_i+1，j+1求出x_i，j的相邻插值点x′_i+1，j+1和x_i+1，j+1的相邻插值点x′_i+2，j+2的值，即：

$x_{i+1,j+1}^{\′}=\frac{2}{3}\·x_{i,j}+\frac{1}{3}\·x_{i+1,j+1};$ $x_{i+2,j+2}^{\′}=\frac{1}{3}\·x_{i,j}+\frac{2}{3}\·x_{i+1,j+1};$

2.3同行插值点的值估计

2.3.1上面行插值点的估计：

如果2×2子块中上面一行的两已知点x_i，j和x_i，j+1的四个方向特征中都是0°方向特征最大，即则判定该行属于0°强纹理区域，利用已知点x_i，j和x_i，j+1求出x_i，j的相邻同行插值点x′_i，j+1和x_i，j+1的相邻同行插值点x′_i，j+2的值，即：

$x_{i,j+1}^{\′}=\frac{2}{3}\·x_{i,j}+\frac{1}{3}\·x_{i,j+1};$ $x_{i,j+2}^{\′}=\frac{1}{3}\·x_{i,j}+\frac{2}{3}\·x_{i,j+1}$

如果2×2子块中上面一行的两已知点x_i，j和x_i，j+1的四个方向特征中不满足都是0°方向特征最大的条件，则利用同一行内本子块内的两个已知点(x_i，j，x_i，j+1)和左右相邻子块中的两个最近已知点(x_i，j-1，x_i，j+2)对插值点x′_i，j+1和x′_i，j+2进行估计：

x′_i，j+1＝α₁·x_i，j-1+α₂·x_i，j+α₃·x_i，j+1+α₄·x_i，j+2

x′_i，j+2＝α₁·x_i，j+2+α₂·x_i，j+1+α₃·x_i，j+α₄·x_i，j-1

其中[α₁，α₂，α₃，α₄]＝[-2，21，9，-1]/27，是三倍插值的核函数；如果x_i，j-1或x_i，j+2不存在，则只利用子块内的两个同行已知点x_i，j和x_i，j+1对插值点x′_i，j+1和x′_i，j+2进行估计：

$x_{i,j+1}^{\′}=\frac{2}{3}\·x_{i,j}+\frac{1}{3}\·x_{i,j+1};$ $x_{i,j+2}^{\′}=\frac{1}{3}\·x_{i,j}+\frac{2}{3}\·x_{i,j+1}$

2.3.2下面行插值点的估计：

如果2×2子块中下面一行的两已知点x_i+1，j和x_i+1，j+1四个方向特征中都是0°方向特征最大，即

则判定该行属于0°强纹理区域，利用同行的两已知点x_i+1，j和x_i+1，j+1求出x_i+1，j的相邻同行插值点x′_i+3，j+1和x_i+1，j+1的相邻同行插值点x′_i+3，j+2的值，即：

$x_{i+3,j+1}^{\′}=\frac{2}{3}\·x_{i+1,j}+\frac{1}{3}\·x_{i+1,j+1};$ $x_{i+3,j+2}^{\′}=\frac{1}{3}\·x_{i+1,j}+\frac{2}{3}\·x_{i+1,j+1}$

如果2×2子块中下面一行的两已知点x_i+1，j和x_i+1，j+1的四个方向特征中不满足都是0°方向特征最大的条件，则利用同一行内本子块内的两个已知点(x_i+1，j，x_i+1，j+1)和左右相邻子块中的两个最近已知点(x_i+1，j-1，x_i+1，j+2)对插值点x′_i+3，j+1和x′_i+3，j+2进行估计：

x′_i+3，j+1＝α₁·x_i+1，j-1+α₂·x_i+1，j+α₃·x_i+1，j+1+α₄·x_i+1，j+2

x′_i+3，j+2＝α₁·x_i+1，j+2+α₂·x_i+1，j+1+α₃·x_i+1，j+α₄·x_i+1，j-1

其中[α₁，α₂，α₃，α₄]＝[-2，21，9，-1]/27，是三倍插值的核函数；如果x_i+1，j-1或x_i+1，j+2不存在，则只利用子块内的两个同行已知点x_i+1，j和x_i+1，j+1对插值点x′_i+3，j+1和x′_i+3，j+2进行估计：

$x_{i+3,j+1}^{\′}=\frac{2}{3}\·x_{i+1,j}+\frac{1}{3}\·x_{i+1,j+1};$ $x_{i+3,j+2}^{\′}=\frac{1}{3}\·x_{i+1,j}+\frac{2}{3}\·x_{i+1,j+1}$

2.4同列插值点的估计

2.4.1左面列插值点的估计：

如果2×2子块中左面一列的两已知点x_i，j和x_i+1，j的四个方向特征中都是90°方向特征最大，即

则判定该列属于90°强纹理区域，利用已知点x_i，j和x_i+1，j求出x_i，j的相邻同列插值点x′_i+1，j和x_i+1，j的相邻同列插值点x′_i+2，j的值，即：

$x_{i+1,j}^{\′}=\frac{2}{3}\·x_{i,j}+\frac{1}{3}\·x_{i+1,j};$ $x_{i+2,j}^{\′}=\frac{1}{3}\·x_{i,j}+\frac{2}{3}\·x_{i+1,j}$

如果2×2子块中左面一列的两已知点x_i，j和x_i+1，j的四个方向特征中不满足都是90°方向特征最大的条件，则利用同一列内本子块内的两个已知点x_i，j，x_i+1，j和上下相邻子块中的两个最近已知点x_i-1，j，x_i+2，j对插值点x′_i+1，j和x′_i+2，j进行估计：

x′_i+1，j＝α₁·x_i-1，j+α₂·x_i，j+α₃·x_i+1，j+α₄·x_i+2，j

x′_i+2，j＝α₁·x_i+2，j+α₂·x_i+1，j+α₃·x_i，j+α₄·x_i-1，j

其中[α₁，α₂，α₃，α₄]＝[-2，21，9，-1]/27，是三倍插值的核函数；如果x_i-1，j或x_i+2，j不存在，则只利用子块内的两个同列已知点x_i，j和x_i+1，j对插值点x′_i+1，j和x′_i+2，j进行估计：

$x_{i+1,j}^{\′}=\frac{2}{3}\·x_{i,j}+\frac{1}{3}\·x_{i+1,j};$ $x_{i+2,j}^{\′}=\frac{1}{3}\·x_{i,j}+\frac{2}{3}\·x_{i+1,j}$

2.4.2右面列插值点的估计：

如果2×2子块中右面一列的两已知点x_i，j+1和x_i+1，j+1四个方向特征中都是90°方向特征最大，即

则判定该列属于90°强纹理区域，利用同列的两已知点x_i，j+1和x_i+1，j+1求出x_i，j+1的相邻同列插值点x′_i+1，j+3和x_i+1，j+1的相邻同列插值点x′_i+2，j+3的值，即：

$x_{i+1,j+3}^{\′}=\frac{2}{3}\·x_{i,j+1}+\frac{1}{3}\·x_{i+1,j+1};$ $x_{i+2,j+3}^{\′}=\frac{1}{3}\·x_{i,j+1}+\frac{2}{3}\·x_{i+1,j+1}$

如果2×2子块中右面一列的两已知点x_i，j+1和x_i+1，j+1的四个方向特征中不满足都是90°方向特征最大的条件，则利用同一列内本子块内的两个已知点x_i，j+1，x_i+1，j+1和上下相邻子块中的两个最近已知点x_i-1，j+1，，x_i+2，j+1对插值点x′_i+1，j+3和x′_i+2，j+3进行估计：

x′_i+1，j+3＝α₁·x_i-1，j+1+α₂·x_i，j+1+α₃·x_i+1，j+1+α₄·x_i+2，j+1

x′_i+2，j+3＝α₁·x_i+2，j+1+α₂·x_i+1，j+1+α₃·x_i，j+1+α₄·x_i-1，j+1

其中[α₁，α₂，α₃，α₄]＝[-2，21，9，-1]/27，是三倍插值的核函数；如果x_i-1，j+1或x_i+2，j+1不存在，则只利用子块内的两个同列已知点x_i，j+1和x_i+1，j+1对插值点x′_i+1，j+3和x′_i+2，j+3进行估计：

$x_{i+1,j+3}^{\′}=\frac{2}{3}\·x_{i,j+1}+\frac{1}{3}\·x_{i+1,j+1};$ $x_{i+2,j+3}^{\′}=\frac{1}{3}\·x_{i,j+1}+\frac{2}{3}\·x_{i+1,j+1}$

2.5令x′_i，j＝x_i，j；x′_i，j+3＝x_i，j+1；x′_i+3，j＝x_i+1，j；x′_i+3，j+3＝x_i+1，j+1，这四个像素点和2.2-2.4步得到的同行插值点x′_i，j+1 x′_i，j+2 x′_i+3，j+1 x′_i+3，j+2、同列插值点x′_i+1，j x′_i+2，j x′_i+1，j+3 x′_i+2，j+3、非同行非同列插值点x′_i+1，j+1 x′_i+2，j+1 x′_i+1，j+2 x′_i+2，j+2一起即构成4×4的插值后子块；

3)将所有的4×4的插值后子块进行重构，组成的图像X′，X′＝{x′_i′，j′|i′＝1，2，……，3m；j′＝1，2，……，3n}即为完成三倍插值放大的高分辨率图像。

放大后的高分辨率图像，其水平像素数和垂直像素数均为原来的三倍，总像素数为原始图像的9倍。

本发明方法曲波变换的最大尺度参数N，可以为2以上的任意整数，一般原始图像的尺寸越大，N取值越大；通常对128×128的原始图像N取4，256×256的原始图像像N取5。

为了证实本发明的三倍插值放大重构高分辨率图像的效果进行了以下仿真实验。

仿真实验

图3是本例方法对一实际图像(Lena)进行方向特征提取时使用的原始图像及仿真实验提取出来的0°，45°，90°和135°方向的方向特征。其中a分图是标准的Lena图像(128×128)；b分图，c分图，d分图和e分图是对a分图进行曲波变换后提取的0°，45°，90°和135°四个方向的方向特征矩阵。

从图3中可以看出：b分图的水平方向特征矩阵将Lena图像中水平特征较明显的边缘刻画了出来；同样，c分图，d分图，e分图也分别将a分图中45°，垂直和135°方向纹理特征较明显的信息显现了出来，从而说明本发明的方向特征矩阵能较好的描述出图像的纹理方向特征。

图4是本发明和现有插值方法对一实际窗户图像局部区域进行三倍插值重构的仿真效果对比图。其中a分图是原始的窗户图像局部区域；b分图，c分图，d分图和e分图是对a分图进行3倍下采样后，再分别采用本发明，TIBC，ICBI和IEIS进行3倍插值后的仿真结果。

从图4中可以看出：TIBC，ICBI以及IEIS方法插值后的c分图，d分图和e分图，在边缘部分的锯齿效应十分明显，视觉效果较差。而本发明方法插值后的b分图图像，边缘处的锯齿块效应很大程度上得到了抑制，视觉效果较好。

图5是本发明和现有插值方法对一实际蝴蝶图像局部区域进行三倍插值重构的仿真效果对比图。其中a分图是原始的蝴蝶图像(512×512)的局部区域；b分图，c分图，d分图和e分图分别是对a分图进行3倍下采样后，再分别采用本发明，TIBC，ICBI和IEIS进行3倍插值后的仿真结果。

对比图5中的a分图和b-e分图，可以看出本发明方法插值后的b分图图像，边缘比较清晰并且锯齿效应较少，较其他三种方法得到的c分图、d分图、e分图的视觉效果更好。

图6是对多种放大算法进行插值信噪比和计算时间测试用图像，a，b，c，d分图分别为天鹅图像，Lena图像，蝴蝶图像和花朵图像。

以下的表1为本发明方法和现有插值方法对图6中的各分图图像3倍插值后重构图像的PSNR(峰值信噪比)以及运算时间。

表1

从表1可以看出：在对多幅图像进行3倍插值时，本发明重构图像的PSNR比现有的其他插值算法高，平均提高0.7db，并且运算时间较TIBC和ICBI插值方法平均缩短31s。同IEIS方法相比，本发明的PSNR提高0.8db以上，而运算时间在2s-3s之间，仅比IEIS方法增加1s左右。结合插值图像的PSNR以及运算时间可以看出：本发明重构图像的主观视觉效果和客观评价指标PSNR都优于其他插值算法，而运算时间也较短，能适应实际需求。

以上仿真结果证明，与现有插值方法对比，本发明能在快速实现三倍图像插值的同时，有效的抑制传统插值方法重建图像时出现的边缘模糊和锯齿现象，使重构出的图像边缘更清晰，视觉效果更锐利。

Claims (2)

1.一种结合局部方向特征的数字图像三倍插值放大方法，其步骤如下：

1)方向特征提取

利用梯度、方向滤波或超小波方法提取出低分辨率图像X＝{x_i，j|i＝1，2，……，m；j＝1，2，……，n}在0°、45°、90°和135°四个方向上的方向特征D_k(k＝1，2，3，4)：

$D_k=\left\{d_{i,j}^k\right|k=\mathrm{1,2,3,4}\}$

其中，k代表方向，k＝1，2，3，4分别对应0°、45°、90°和135°的方向；m，n为低分辨图像X的尺寸，方向特征D_k与X的大小相同；

代表低分辨率图像X相应像素点x_i，j的第k个方向的方向特征；

2)三倍插值点的估计

2.1分类

低分辨率图像的2×2子块为三倍插值的最小插值单元，每个2×2子块中的横向竖向斜向均插入两个插值点，即每个2×2子块中含有4个已知点x_i，j、x_i，j+1、x_i+1，j、x_i+1，j+1和12个插值点，12个插值点分为同行插值点(x′_i，j+1、x′_i，j+2、x′_i+3，j+1、x′_i+3，j+2)、同列插值点(x′_i+1，j、x′_i+2，j、x′_i+1，j+3、x′_i+2，j+3)和非同行非同列插值点(x′_i+1，j+1、x′_i+2，j+1、x′_i+1，j+2、x′_i+2，j+2)三类；

2.2非同行非同列插值点的值估计

任意2×2子块中已知点x_i，j+1和x_i+1，j的0°、45°、90°和135°方向特征分别为和

2.2.1初始化非同行非同列插值点的值：

令，x″₁＝x_i，j；x″₂＝x_i，j+1；x″₃＝x_i+1，j；x″₄＝x_i+1，j+1，

及a₁＝x′_i+1，j+1；a₂＝x′_i+1，j+2；a₃＝x′_i+2，j+1；a₄＝x′_i+2，j+2

则， $a_q=\underset{p=1}{\overset{4}{\mathrm{\Σ}}}{w}_{\mathrm{pq}}\·x_p^{\′\′},$ q＝1，2，3，4，

而 $w_{\mathrm{pq}}=\frac{s_{\mathrm{pq}}\·t_{\mathrm{pq}}}{\underset{p=1}{\overset{4}{\mathrm{\Σ}}}{s}_{\mathrm{pq}}\·t_{\mathrm{pq}}}$

其中，s_pq为已知点x″_p到插值点a_q的距离权重，s_pq＝(3-插值点a_q到已知点x″_p的水平距离)×(3-插值点a_q到已知点x″_p的垂直距离)/9；

t_pq是已知点x″_p到插值点a_q的方向权重，t_pq按下式进行估计：

$t_{\mathrm{pq}}=1+(h_{\mathrm{pq}}-\frac{1}{4})$

$h_{\mathrm{pq}}=g_{\mathrm{pq}}/\underset{p=1}{\overset{4}{\mathrm{\Σ}}}{g}_{\mathrm{pq}}$

其中g_pq表示已知点x″_p沿待插值点a_q方向的方向特征，由已知点x″_p四个方向中与待插值点a_q方向最接近的方向特征在x″_p沿a_q方向上的投影得到；

2.2.2更新非同行非同列插值点的值：

如果x_i，j+1和x_i+1，j的四个方向特征中都是45°方向特征最大，即

则判定该子块属于45°强纹理区域，利用已知点x_i+1，j和x_i，j+1更新x_i+1，j的相邻插值点x′_i+2，j+1和x_i，j+1的相邻插值点x′_i+1，j+2的值，即：

$x_{i+2,j+1}^{\′}=\frac{2}{3}\·x_{i+1,j}+\frac{1}{3}\·x_{i,j+1};$ $x_{i+1,j+2}^{\′}=\frac{1}{3}\·x_{i+1,j}+\frac{2}{3}\·x_{i,j+1}$

如果x_i，j和x_i+1，j+1的四个方向特征中都是135°方向特征最大，即

则判定该子块属于135°强纹理区域，利用已知点x_i，j和x_i+1，j+1求出x_i，j的相邻插值点x′_i+1，j+1和x_i+1，j+1的相邻插值点x′_i+2，j+2的值，即：

$x_{i+1,j+1}^{\′}=\frac{2}{3}\·x_{i,j}+\frac{1}{3}\·x_{i+1,j+1};$ $x_{i+2,j+2}^{\′}=\frac{1}{3}\·x_{i,j}+\frac{2}{3}\·x_{i+1,j+1};$

2.3同行插值点的值估计

2.3.1上面行插值点的估计：

如果2×2子块中上面一行的两已知点x_i，j和x_i，j+1的四个方向特征中都是0°方向特征最大，即

则判定该行属于0°强纹理区域，利用已知点x_i，j和x_i，j+1求出x_i，j的相邻同行插值点x′_i，j+1和x_i，j+1的相邻同行插值点x′_i，j+2的值，即：

$x_{i,j+1}^{\′}=\frac{2}{3}\·x_{i,j}+\frac{1}{3}\·x_{i,j+1};$ $x_{i,j+2}^{\′}=\frac{1}{3}\·x_{i,j}+\frac{2}{3}\·x_{i,j+1}$

如果2×2子块中上面一行的两已知点x_i，j和x_i，j+1的四个方向特征中不满足都是0°方向特征最大的条件，则利用同一行内本子块内的两个已知点(x_i，j，x_i，j+1)和左右相邻子块中的两个最近已知点(x_i，j-1，x_i，j+2)对插值点x′_i，j+1和x′_i，j+2进行估计：

x′_i，j+1＝α₁·x_i，j-1+α₂·x_i，j+α₃·x_i，j+1+α₄·x_i，j+2

x′_i，j+2＝α₁·x_i，j+2+α₂·x_i，j+1+α₃·x_i，j+α₄·x_i，j-1

其中[α₁，α₂，α₃，α₄]＝[-2，21，9，-1]/27，是三倍插值的核函数；如果x_i，j-1或x_i，j+2不存在，则只利用子块内的两个同行已知点x_i，j和x_i，j+1对插值点x′_i，j+1和x′_i，j+2进行估计：

$x_{i,j+1}^{\′}=\frac{2}{3}\·x_{i,j}+\frac{1}{3}\·x_{i,j+1};$ $x_{i,j+2}^{\′}=\frac{1}{3}\·x_{i,j}+\frac{2}{3}\·x_{i,j+1}$

2.3.2下面行插值点的估计：

如果2×2子块中下面一行的两已知点x_i+1，j和x_i+1，j+1四个方向特征中都是0°方向特征最大，即

则判定该行属于0°强纹理区域，利用同行的两已知点x_i+1，j和x_i+1，j+1求出x_i+1，j的相邻同行插值点x′_i+3，j+1和x_i+1，j+1的相邻同行插值点x′_i+3，j+2的值，即：

$x_{i+3,j+1}^{\′}=\frac{2}{3}\·x_{i+1,j}+\frac{1}{3}\·x_{i+1,j+1};$ $x_{i+3,j+2}^{\′}=\frac{1}{3}\·x_{i+1,j}+\frac{2}{3}\·x_{i+1,j+1}$

如果2×2子块中下面一行的两已知点x_i+1，j和x_i+1，j+1的四个方向特征中不满足都是0°方向特征最大的条件，则利用同一行内本子块内的两个已知点(x_i+1，j，x_i+1，j+1)和左右相邻子块中的两个最近已知点(x_i+1，j-1，x_i+1，j+2)对插值点x′_i+3，j+1和x′_i+3，j+2进行估计：

x′_i+3，j+1＝α₁·x_i+1，j-1+α₂·x_i+1，j+α₃·x_i+1，j+1+α₄·x_i+1，j+2

x′_i+3，j+2＝α₁·x_i+1，j+2+α₂·x_i+1，j+1+α₃·x_i+1，j+α₄·x_i+1，j-1

其中[α₁，α₂，α₃，α₄]＝[-2，21，9，-1]/27，是三倍插值的核函数；如果x_i+1，j-1或x_i+1，j+2不存在，则只利用子块内的两个同行已知点x_i+1，j和x_i+1，j+1对插值点x′_i+3，j+1和x′_i+3，j+2进行估计：

$x_{i+3,j+1}^{\′}=\frac{2}{3}\·x_{i+1,j}+\frac{1}{3}\·x_{i+1,j+1};$ $x_{i+3,j+2}^{\′}=\frac{1}{3}\·x_{i+1,j}+\frac{2}{3}\·x_{i+1,j+1}$

2.4同列插值点的估计

2.4.1左面列插值点的估计：

如果2×2子块中左面一列的两已知点x_i，j和x_i+1，j的四个方向特征中都是90°方向特征最大，即

则判定该列属于90°强纹理区域，利用已知点x_i，j和x_i+1，j求出x_i，j的相邻同列插值点x′_i+1，j和x_i+1，j的相邻同列插值点x′_i+2，j的值，即：

$x_{i+1,j}^{\′}=\frac{2}{3}\·x_{i,j}+\frac{1}{3}\·x_{i+1,j};$ $x_{i+2,j}^{\′}=\frac{1}{3}\·x_{i,j}+\frac{2}{3}\·x_{i+1,j}$

如果2×2子块中左面一列的两已知点x_i，j和x_i+1，j的四个方向特征中不满足都是90°方向特征最大的条件，则利用同一列内本子块内的两个已知点x_i，j，x_i+1，j和上下相邻子块中的两个最近已知点x_i-1，j，x_i+2，j对插值点x′_i+1，j和x′_i+2，j进行估计：

x′_i+1，j＝α₁·x_i-1，j+α₂·x_i，j+α₃·x_i+1，j+α₄·x_i+2，j

x′_i+2，j＝α₁·x_i+2，j+α₂·x_i+1，j+α₃·x_i，j+α₄·x_i-1，j

其中[α₁，α₂，α₃，α₄]＝[-2，21，9，-1]/27，是三倍插值的核函数；如果x_i-1，j或x_i+2，j不存在，则只利用子块内的两个同列已知点x_i，j和x_i+1，j对插值点x′_i+1，j和x′_i+2，j进行估计：

$x_{i+1,j}^{\′}=\frac{2}{3}\·x_{i,j}+\frac{1}{3}\·x_{i+1,j};$ $x_{i+2,j}^{\′}=\frac{1}{3}\·x_{i,j}+\frac{2}{3}\·x_{i+1,j}$

2.4.2右面列插值点的估计：

如果2×2子块中右面一列的两已知点x_i，j+1和x_i+1，j+1四个方向特征中都是90°方向特征最大，即

则判定该列属于90°强纹理区域，利用同列的两已知点x_i，j+1和x_i+1，j+1求出x_i，j+1的相邻同列插值点x′_i+1，j+3和x_i+1，j+1的相邻同列插值点x′_i+2，j+3的值，即：

$x_{i+1,j+3}^{\′}=\frac{2}{3}\·x_{i,j+1}+\frac{1}{3}\·x_{i+1,j+1};$ $x_{i+2,j+3}^{\′}=\frac{1}{3}\·x_{i,j+1}+\frac{2}{3}\·x_{i+1,j+1}$

如果2×2子块中右面一列的两已知点x_i，j+1和x_i+1，j+1的四个方向特征中不满足都是90°方向特征最大的条件，则利用同一列内本子块内的两个已知点x_i，j+1，x_i+1，j+1和上下相邻子块中的两个最近已知点x_i-1，j+1，，x_i+2，j+1对插值点x′_i+1，j+3和x′_i+2，j+3进行估计：

x′_i+1，j+3＝α₁·x_i-1，j+1+α₂·x_i，j+1+α₃·x_i+1，j+1+α₄·x_i+2，j+1

x′_i+2，j+3＝α₁·x_i+2，j+1+α₂·x_i+1，j+1+α₃·x_i，j+1+α₄·x_i-1，j+1

其中[α₁，α₂，α₃，α₄]＝[-2，21，9，-1]/27，是三倍插值的核函数；如果x_i-1，j+1或x_i+2，j+1不存在，则只利用子块内的两个同列已知点x_i，j+1和x_i+1，j+1对插值点x′_i+1，j+3和x′_i+2，j+3进行估计：

$x_{i+1,j+3}^{\′}=\frac{2}{3}\·x_{i,j+1}+\frac{1}{3}\·x_{i+1,j+1};$ $x_{i+2,j+3}^{\′}=\frac{1}{3}\·x_{i,j+1}+\frac{2}{3}\·x_{i+1,j+1}$

2.5令x′_i，j＝x_i，j；x′_i，j+3＝x_i，j+1；x′_i+3，j＝x_i+1，j；x′_i+3，j+3＝x_i+1，j+1，这四个像素点和2.2-2.4步得到的同行插值点x′_i，j+1 x′_i，j+2 x′_i+3，j+1 x′_i+3，j+2、同列插值点x′_i+1，j x′_i+2，j x′_i+1，j+3 x′_i+2，j+3、非同行非同列插值点x′_i+1，j+1 x′_i+2，j+1 x′_i+1，j+2 x′_i+2，j+2一起即构成4×4的插值后子块；

3)将所有的4×4的插值后子块进行重构，组成的图像X′，X′＝{x′_i′，j′|i′＝1，2，……，3m；j′＝1，2，……，3n}即为完成三倍插值放大的高分辨率图像。

2.根据权利要求1所述的一种结合局部方向特征的数字图像三倍插值放大方法，其特征在于，所述的步骤1)中用超小波方法提取低分辨率图像的四个方向特征D_k(k＝1，2，3，4)的具体做法为：

1.1对低分辨率图像X进行超小波方法中的曲波变换得到曲波系数矩阵集合M_u，v，其中u∈[1，N]为尺度参数，v∈[0°，360°]为方向参数；

1.2将曲波系数矩阵M_u，v中的第二尺度层以上的从-22.5°到157.5°的范围内的曲波系数按方向划分为0°，45°，90°和135°四个矩阵集合，分别记为E₁，E₂，E₃和E₄：

1.3分别将曲波系数矩阵M_u，v中属于E_k(k＝1，2，3，4)矩阵的系数保留而将其余系数置0，再进行曲波逆变换，得到相应的四个方向特征矩阵D_k(k＝1，2，3，4)，

$D_k=\{d_{i,j}^{k}i=\mathrm{1,2},......,m;j=\mathrm{1,2},......,n;k=\mathrm{1,2,3,4}\}.$

Images