CN106204454A - 基于纹理边缘自适应数据融合的高精度快速图像插值方法 - Google Patents

Abstract

本发明提供了一种基于纹理边缘自适应数据融合的高精度快速图像插值方法，首先求出待插值点在源图像中对应点的2×2邻域内的像素灰度方差，将其与设定的阈值进行对比，判定对应点所在区域类型；在灰度平坦区域采用简单快速的双线性插值算法进行插值；在边缘纹理区域计算待插值点在源图像中对应点的4×4邻域内距离最近的水平、垂直和对角四个方向上的十二个像素点沿这四个方向的估计值，然后结合方向灰度梯度和垂直插值距离两个权重因子进行数据融合，获得最终插值。本发明可以满足高精度和快速的图像插值要求。

Description

基于纹理边缘自适应数据融合的高精度快速图像插值方法

技术领域

本发明涉及一种图像插值方法，尤其是高精度快速灰度图像插值方法。

背景技术

图像插值作为数字图像处理中的一项重要技术，在图像处理领域发挥着重要作用。它被广泛应用于网络视频传输、图像修复、图像识别以及医疗辅助诊断等多种领域中。

现有图像插值方法大致分为传统线性插值方法和边缘自适应非线性插值方法两类。传统线性插值方法中较为经典的有最近邻插值、双线性插值以及双三次插值等。其中，最近邻插值方法操作最为简单方便，运行速度快，但插值效果差，应用范围有限。双线性插值方法运行速度较快，插值效果较好，但在边缘纹理区域会造成图像模糊现象。双三次插值方法插值效果良好，但运算量巨大，插值速度慢，限制了该算法的使用范围。边缘自适应非线性插值方法主要是为了解决图像插值后边缘纹理模糊等问题，部分学者对其进行了研究。相对于传统线性插值方法，这类方法插值精度较高，效果较好，在一定程度上能保护图像的边缘纹理细节，但这类算法一般较为复杂，运算量大，实时性较差。

数据融合技术通过选取合适的融合模式和处理算法，将多维数据进行关联和综合分析，能够达到提高数据质量的效果。近年来，部分学者在图像插值中引入了数据融合技术，插值精度和速度均有所提升。如西安电子科技大学孙毓敏将每个待插值点均融合两个方向上的估计值，插值效果优于双线性插值，但只能进行2n倍的插值变换，且整幅图像不区分区域类型，全部使用同一种插值算法，效率较低。重庆大学邓彩在孙毓敏的基础上进行改进研究，在图像灰度平坦区域使用双线性插值，在边缘区域使用改进的插值算法，每个待插值点均融合六个方向上的估计值，插值精度和速度都有所提高。但该方法在邻域中各个方向上的估计值公式考虑欠佳，还有一定的提升空间。综上，目前一些基于融合思想的插值方法虽然在插值速度和精度上有所突破，但在融合方法的设计上考虑得并不充分，插值的最终效果还有待改善。

发明内容

为了克服现有技术的不足，本发明提供一种基于纹理边缘自适应数据融合的高精度快速图像插值方法，根据待插值点在源图像中对应点所处的区域类型，结合数据融合技术，满足高端工业检测中对检测精度和检测时间的严格要求。

本发明解决其技术问题所采用的技术方案包括以下步骤：

步骤一、计算待插值图像上的待插值点G在源图像上的对应点S(u，v)的2×2邻域内四个像素点灰度均值和灰度方差其中，i为不大于u的最大整数，j为不大于v的最大整数；

根据设定的阈值T进行判定，若Var<T，判定点S位于灰度平坦区域，进入步骤二；否则判定点S位于边缘纹理区域，进入步骤三；

步骤二、令a＝u-i，b＝v-j，G点的灰度g(x′_g,y′_g)＝b t₁+(1-b)t₂，其中，t₁＝af(i,j+1)+(1-a)f(i+1,j+1)，t₂＝af(i+1,j)+(1-a)f(i,j)；进入步骤四；

步骤三、对位于边缘纹理区域的G点进行插值，包括以下步骤：

(1)设S_x，_y为点S距离源图像中坐标为(x，y)的像素点的欧式距离，其中，x＝i-1，i，i+1，i+2；y＝j-1，j，j+1，j+2；

计算待插值点在45°对角线方向的灰度分量估计值y₁，

$y_1=\frac{1}{2}(\frac{f(i+2,j-1){S_{i,j+1}}^2+f(i,j+1){S_{i+2,j-1}}^2}{{S_{i,j+1}}^2+{S_{i+2,j-1}}^2}+\frac{f(i+1,j){S_{i-1,j+2}}^2+f(i-1,j+2){S_{i+1,j}}^2}{{S_{i-1,j+2}}^2+{S_{i+1,j}}^2});$

计算待插值点在135°对角线方向的灰度分量估计值y₂，

$y_2=\frac{1}{2}(\frac{f(i-1,j-1){S_{i+1,j+1}}^2+f(i+1,j+1){S_{i-1,j-1}}^2}{{S_{i+1,j+1}}^2+{S_{i-1,j-1}}^2}+\frac{f(i,j){S_{i+2,j+2}}^2+f(i+2,j+2){S_{i,j}}^2}{{S_{i+2,j+2}}^2+{S_{i,j}}^2});$

计算待插值点在水平方向的灰度分量估计值y₃，

$y_3=\left\{\begin{array}{cc}\frac{1}{2}(\frac{f(i-1,j){S_{i+1,j}}^2+f(i+1,j){S_{i-1,j}}^2}{{S_{i+1,j}}^2+{S_{i-1,j}}^2}+\frac{f(i,j){S_{i+2,j}}^2+f(i+2,j){S_{i,j}}^2}{{S_{i+2,j}}^2+{S_{i,j}}^2})& 0\&le;v-j\&le;0.5\\ \frac{1}{2}(\frac{f(i-1,j+1){S_{i+1,j+1}}^2+f(i+1,j+1){S_{i-1,j+1}}^2}{{S_{i+1,j+1}}^2+{S_{i-1,j+1}}^2}+\frac{f(i,j+1){S_{i+2,j+1}}^2+f(i+2,j+1){S_{i,j+1}}^2}{{S_{i+2,j+1}}^2+{S_{i,j+1}}^2})& 0.5<v-j<1\end{array}\right.;$

计算待插值点在垂直方向的灰度分量估计值y₄，

$y_4=\{\begin{array}{cc}\frac{1}{2}(\frac{f(i,j-1){S_{i,j+1}}^2+f(i,j+1){S_{i,j-1}}^2}{{S_{i,j+1}}^2+{S_{i,j-1}}^2}+\frac{f(i,j){S_{i,j+2}}^2+f(i,j+2){S_{i,j}}^2}{{S_{i,j+2}}^2+{S_{i,j}}^2})& 0\&le;u-i\&le;0.5\\ \frac{1}{2}(\frac{f(i+1,j-1){S_{i+1,j+1}}^2+f(i+1,j+1){S_{i+1,j-1}}^2}{{S_{i+1,j+1}}^2+{S_{i+1,j-1}}^2}+\frac{f(i+1,j){S_{i+1,j+2}}^2+f(i+1,j+2){S_{i+1,j}}^2}{{S_{i+1,j+2}}^2+{S_{i+1,j}}^2})& 0.5<u-i<1\end{array};$

(2)待插值点在每一个方向上的估计值由源图像中四个像素点的信息构成，这四个像素点组成一条直线，分别称为45°对角线方向插值线、135°对角线方向插值线、水平方向插值线、垂直方向插值线；待插值点G的源图像对应点S到四条插值线的距离分别为r₁、r₂、r₃、r₄，

$r_1=\frac{u-i+v-j-1}{\sqrt{2}}$

$r_2=\frac{u-i-v+j}{\sqrt{2}}$

$r_3=\left\{\begin{array}{cc}v-j& 0\&le;v-j\&le;0.5\\ j-v+1& 0.5<v-j<1\end{array}\right.$

$r_4=\left\{\begin{array}{cc}u-i& 0\&le;u-i\&le;0.5\\ i+1-u& 0.5<u-i<1\end{array}\right.$

进一步得到r₁、r₂、r₃、r₄的归一化距离k＝1，2，3，4；

(3)计算45°对角线方向灰度梯度均值g₁，

$g_1=\frac{|f(i+2,j-1)-f(i+1,j)|+|f(i+1,j)-f(i,j+1)|+|f(i,j+1)-f(i-1,j+2)|}{3};$

计算135°对角线方向灰度梯度均值g₂，

$g_2=\frac{|f(i-1,j-1)-f(i,j)|+|f(i,j)-f(i+1,j+1)|+|f(i+1,j+1)-f(i+2,j+2)|}{3};$

计算水平方向灰度梯度均值g₃，

$g_3=\left\{\begin{array}{cc}\frac{|f(i-1,j)-f(i,j)|+|f(i,j)-f(i+1,j)|+|f(i+1,j)-f(i+2,j)|}{3}& 0\&le;v-j\&le;0.5\\ \frac{|f(i-1,j+1)-f(i,j+1)|+|f(i,j+1)-f(i+1,j+1)|+|f(i+1,j+1)-f(i+2,j+1)|}{3}& 0.5<v-j<1\end{array}\right.;$

计算垂直方向灰度梯度均值g₄，

$g_4=\{\begin{array}{cc}\frac{|f(i,j-1)-f(i,j)|+|f(i,j)-f(i,j+1)|+|f(i,j+1)-f(i,j+2)|}{3}& 0\&le;u-i\&le;0.5\\ \frac{|f(i+1,j-1)-f(i+1,j)|+|f(i+1,j)-f(i+1,j+1)||f(i+1,j+1)-f(i+1,j+2)|}{3}& 0.5<u-i<1\end{array};$

进一步得到g₁、g₂、g₃、g₄的归一化灰度梯度均值

(4)确定四个插值方向的融合系数k＝1，2，3，4，其中，λ为常数，0<λ<1；

进一步得到ψ_k的归一化融合系数

(5)融合四个插值方向的数据，得到待插值点G的灰度值g(x′_g，y′_g)，g(x′_g,y′_g)＝ω₁y₁+ω₂y₂+ω₃y₃+ω₄y₄；

步骤四、重复步骤一至步骤三，遍历待插值图像中的各个待插值点，得到完整的插值图像。

所述的步骤一中，当S位于源图像的右边界，则令f(i+1，j)＝f(i，j)，f(i+1，j+1)＝f(i，j+1)；当S位于源图像的下边界，则令f(i，j+1)＝f(i，j)，f(i+1，j+1)＝f(i+1，j)。

所述的阈值T的取值范围为[2500，15000]。

所述的步骤二中，当S位于源图像的右边界，令f(i+1，j)＝f(i，j)、f(i+1，j+1)＝f(i，j+1)；当S位于源图像的下边界，令f(i，j+1)＝f(i，j)、f(i+1，j+1)＝f(i+1，j)。

所述的步骤三中，当整幅源图像所有像素点灰度方差的平均值大于100时，λ的取值区间为(0，0.5]；当整幅源图像所有像素点灰度方差的平均值不大于100时，λ的取值区间为(0.5，1)。

所述的步骤三中，当S到源图像左边界的距离小于1个像素，令f(i-1，p₁)＝f(i，p₁)，其中，p₁＝j-1，j，j+1，j+2；

当S到源图像上边界的距离小于1个像素，令f(p₂，j-1)＝f(p₂，j)，其中，p₂＝i-1，i，i+1，i+2；

当S位于源图像的右边界，令f(i+1，p₃)＝f(i，p₃)，f(i+2，p₃)＝f(i，p₃)，其中，p₃＝j-1，j，j+1，j+2；

当S到源图像右边界的距离大于0且小于等于1个像素，令f(i+2，p₄)＝f(i+1，p₄)，其中，p₄＝j-1，j，j+1，j+2；

当S位于源图像的下边界，令f(p₅，j+1)＝f(p₅，j)、f(p₅，j+2)＝f(p₅，j)，其中，p₅＝i-1，i，i+1，i+2；

当S到源图像下边界的距离大于0且小于等于1个像素，令f(p₆，j+2)＝f(p₆，j+1)，其中，p₆＝i-1，i，i+1，i+2。

本发明的有益效果是：根据相邻像素灰度方差将待插值点在源图像中对应点所在区域类型划分为灰度平坦区域和边缘纹理区域，针对不同的区域类型，选取相应的插值方法，既能提高插值精度，又能减少计算量；在灰度平坦区域使用简单快速的双线性插值方法进行插值，保证了插值速度，以提高实时性能；在边缘纹理区域，则运用待插值点在源图像中的对应点4×4邻域内距离该对应点最近的水平、垂直和对角四个方向上的十二个像素点的灰度信息，以距离平方的倒数为系数，在45°对角线、135°对角线、水平、垂直四个方向构造四个估计值，这种融合模式和方法利用了更多的像素灰度信息，且更加符合数字灰度图像实际成像物理规律，有利于提高插值精度；在融合系数的设定时，综合方向灰度梯度和插值距离两个权重因子，并通过系数λ调整二者在融合系数中所占的权值，使各种类型的灰度图像均能很好地保持图像中的边缘纹理细节，获得良好的插值效果。本发明可以满足高精度和快速的图像插值要求。

附图说明

图1是源图像上点S的2×2邻域示意图；

图2是边缘纹理区域图像插值方法示意图；

图3是一个待插值点的插值流程图；

图中，1–45°对角线方向插值；2–135°对角线方向插值；3–当0<v-j<＝0.5时的水平方向插值；4–当0.5<v-j<1时的水平方向插值；5–当0<u-i<＝0.5时的垂直方向插值；6–当0.5<u-i<1时的垂直方向插值。

具体实施方式

下面结合附图和实施例对本发明进一步说明，本发明包括但不仅限于下述实施例。

本发明借鉴数据融合技术的融合模式和处理方法，提出一种分区域的纹理边缘自适应融合计算的图像插值方法。在灰度平坦区域，采用双线性插值方法进行插值；在边缘纹理区域，选取待插值点在源图像中对应点的4×4邻域内满足特定条件的像素点，按照更加符合数字灰度图像实际成像物理规律的数据融合方案进行插值，使图像在任意角度旋转和任意级别放大时都能满足插值精度的要求，同时达到快速运算的目的。

本发明的技术方案为：首先，求出待插值点在源图像中对应点的2×2邻域内的像素灰度方差，将其与设定的阈值进行对比，判定对应点所在区域类型为灰度平坦区域或边缘纹理区域。在灰度平坦区域，采用简单快速的双线性插值算法进行插值。在边缘纹理区域，则基于距离平方反比，计算待插值点在源图像中对应点的4×4邻域内距离最近的水平、垂直和对角四个方向上的十二个像素点沿这四个方向的估计值，然后结合方向灰度梯度和垂直插值距离两个权重因子进行数据融合，获得最终插值。主要步骤如下：

定义图像坐标系为：X轴正方向水平向右，Y轴正方向垂直向下，原点位于图像左上角。源图像为N行M列的灰度图像，待插值图像为H行W列的灰度图像，二者的灰度取值范围均为[0，255]。源图像为f(x，y)，待插值图像为g(x′，y′)，其中x、x′、y、y′为整数，且0≤x≤M-1，0≤y≤N-1，0≤x′≤W-1，0≤y′≤H-1；N≤H，M≤W。

设待插值图像上的待插值点为G(x′_g，y′_g)，其灰度值为g(x′_g，y′_g)。如图1所示，G在源图像上的对应点为S(u，v)，其灰度值为f(u，v)，u、v为浮点数。令i为不大于u的最大整数，j为不大于v的最大整数，即i＝[u]，j＝[v]，[·]表示取整运算，则点S的2×2邻域内四个相邻像素点A、B、C、D的灰度值分别为f(i，j)、f(i+1，j)、f(i，j+1)、f(i+1，j+1)。

步骤一、判定区域类型

计算待插值点G的源图像对应点S的2×2邻域内像素点灰度均值E：

$E=\frac{f(i,j)+f(i+1,j)+f(i,j+1)+f(i+1,j+1)}{4}---\left(1\right)$

灰度方差Var为：

$Var=\frac{{\left(f\right(i,j)-E)}^2+{\left(f\right(i+1,j)-E)}^2+{\left(f\right(i,j+1)-E)}^2+{\left(f\right(i+1,j+1)-E)}^2}{4}---\left(2\right)$

特别地，当S位于源图像的右边界，即u＝M-1时：i+1＝[u]+1＝M，超出源图像的范围，令公式(1)和公式(2)中的f(i+1，j)＝f(i，j)、f(i+1，j+1)＝f(i，j+1)；同理，当S位于源图像的下边界，即v＝N-1时：j+1＝[v]+1＝N，超出源图像的范围，令公式(1)和公式(2)中的f(i，j+1)＝f(i，j)、f(i+1，j+1)＝f(i+1，j)。然后，按照公式(1)和公式(2)计算灰度均值E和灰度方差Var。

根据图像特征设定阈值T，T的取值范围为[2500，15000]。若Var<T，判定点S位于灰度平坦区域，进入步骤二；否则判定点S位于边缘纹理区域，进入步骤三。

步骤二、灰度平坦区域插值

双线性插值算法运算量适中，执行速度较快，在灰度平坦区域插值能取得良好的整体视觉效果。若判定待插值点G的源图像对应点S位于灰度平坦区域，直接采用简单快速的双线性插值算法进行插值。这一操作能降低算法的整体运算量，提高执行速度。

双线性插值法利用S的2×2邻域内四个相邻像素点的灰度值进行线性内插，并假设源图像中各像素灰度值在两个像素之间线性变化。令a＝u-i，b＝v-j，G点灰度计算公式如下：

g(x′_g,y′_g)＝b t₁+(1-b)t₂ (3)

其中，t₁＝af(i,j+1)+(1-a)f(i+1,j+1)，t₂＝af(i+1,j)+(1-a)f(i,j)。

与步骤一类似，特别地，当S位于源图像的右边界，即u＝M-1时：令公式(3)中的f(i+1，j)＝f(i，j)、f(i+1，j+1)＝f(i，j+1)；当S位于源图像的下边界，即v＝N-1时，令公式(3)中的f(i，j+1)＝f(i，j)、f(i+1，j+1)＝f(i+1，j)。然后，按照公式(3)计算G点的灰度值。

进入步骤四。

步骤三、边缘纹理区域插值

若待插值点位于边缘纹理区域，则按照如下思路进行插值：

(1)求解待插值点在四个方向的估计值

目前基于数据融合技术的插值算法大多着重考虑图像像素点2×2邻域内四个像素的相关性，数据融合时，多在两个方向上进行，考虑信息量较少，会造成图像部分信息损失，插值效果欠佳。本发明提出的方法将参与计算的像素个数拓展至4×4邻域内最近的水平、垂直、45°对角线、135°对角线上的十二个像素点，并在这四个方向进行数据融合。此外，根据数字灰度图像中，每个像素点与点光源的物理性质相似，其灰度衰减与距离该像素的距离平方成反比的特性，该方法将每个像素点对待插值点的灰度影响设置为两点距离平方的反比，更加符合实际的物理规律。

如图2所示，在步骤二中已设S(u，v)为待插值点G在源图像f(x，y)中的对应点，u、v为浮点数，i＝[u]，j＝[v]，[·]表示取整运算。设S_x，_y为点S距离源图像中坐标为(x，y)的像素点的欧式距离，单位为像素。其中，x＝i-1，i，i+1，i+2；y＝j-1，j，j+1，j+2。

待插值点在45°对角线方向的灰度分量估计值y₁如下：

$y_1=\frac{1}{2}(\frac{f(i+2,j-1){S_{i,j+1}}^2+f(i,j+1){S_{i+2,j-1}}^2}{{S_{i,j+1}}^2+{S_{i+2,j-1}}^2}+\frac{f(i+1,j){S_{i-1,j+2}}^2+f(i-1,j+2){S_{i+1,j}}^2}{{S_{i-1,j+2}}^2+{S_{i+1,j}}^2})---\left(4\right)$

同理，待插值点在135°对角线方向的灰度分量估计值y₂为：

$y_2=\frac{1}{2}(\frac{f(i-1,j-1){S_{i+1,j+1}}^2+f(i+1,j+1){S_{i-1,j-1}}^2}{{S_{i+1,j+1}}^2+{S_{i-1,j-1}}^2}+\frac{f(i,j){S_{i+2,j+2}}^2+f(i+2,j+2){S_{i,j}}^2}{{S_{i+2,j+2}}^2+{S_{i,j}}^2})---\left(5\right)$

待插值点在水平方向的灰度分量估计值y₃为：

$y_3=\left\{\begin{array}{cc}\frac{1}{2}(\frac{f(i-1,j){S_{i+1,j}}^2+f(i+1,j){S_{i-1,j}}^2}{{S_{i+1,j}}^2+{S_{i-1,j}}^2}+\frac{f(i,j){S_{i+2,j}}^2+f(i+2,j){S_{i,j}}^2}{{S_{i+2,j}}^2+{S_{i,j}}^2})& 0\&le;v-j\&le;0.5\\ \frac{1}{2}(\frac{f(i-1,j+1){S_{i+1,j+1}}^2+f(i+1,j+1){S_{i-1,j+1}}^2}{{S_{i+1,j+1}}^2+{S_{i-1,j+1}}^2}+\frac{f(i,j+1){S_{i+2,j+1}}^2+f(i+2,j+1){S_{i,j+1}}^2}{{S_{i+2,j+1}}^2+{S_{i,j+1}}^2})& 0.5<v-j<1\end{array}\right.---\left(6\right)$

其中，0≤v-j<1。当0≤v-j≤0.5时，选取源图像中坐标位置分别为(i-1，j)、(i，j)、(i+1，j)和(i+2，j)的四个像素点，计算待插值点在水平方向的灰度分量估计值；当0.5<v-j<1时，选取源图像中坐标位置分别为(i-1，j+1)、(i，j+1)、(i+1，j+1)和(i+2，j+1)的四个像素点，计算待插值点在水平方向的灰度分量估计值。

待插值点在垂直方向的灰度分量估计值y₄为：

$y_4=\{\begin{array}{cc}\frac{1}{2}(\frac{f(i,j-1){S_{i,j+1}}^2+f(i,j+1){S_{i,j-1}}^2}{{S_{i,j+1}}^2+{S_{i,j-1}}^2}+\frac{f(i,j){S_{i,j+2}}^2+f(i,j+2){S_{i,j}}^2}{{S_{i,j+2}}^2+{S_{i,j}}^2})& 0\&le;u-i\&le;0.5\\ \frac{1}{2}(\frac{f(i+1,j-1){S_{i+1,j+1}}^2+f(i+1,j+1){S_{i+1,j-1}}^2}{{S_{i+1,j+1}}^2+{S_{i+1,j-1}}^2}+\frac{f(i+1,j){S_{i+1,j+2}}^2+f(i+1,j+2){S_{i+1,j}}^2}{{S_{i+1,j+2}}^2+{S_{i+1,j}}^2})& 0.5<u-i<1\end{array}---\left(7\right)$

其中，0≤u-i<1。当0≤u-i≤0.5时，选取源图像中坐标位置分别为(i，j-1)、(i，j)、(i，j+1)和(i，j+2)的四个像素点，计算待插值点在垂直方向的灰度分量估计值；当0.5<u-i<1时，选取源图像中坐标位置分别为(i+1，j-1)、(i+1，j)、(i+1，j+1)和(i+1，j+2)的四个像素点，计算待插值点在垂直方向的灰度分量估计值。

(2)求解待插值点到四个插值方向的归一化距离

待插值点在每一个方向上的估计值由源图像中四个像素点的信息构成，这四个像素点组成一条直线，分别称为45°对角线方向插值线、135°对角线方向插值线、水平方向插值线、垂直方向插值线。待插值点G的源图像对应点S到这四条插值线的距离分别为r₁、r₂、r₃、r₄，单位为像素。由点到直线距离公式可得：

$r_1=\frac{u-i+v-j-1}{\sqrt{2}}---\left(8\right)$

$r_2=\frac{u-i-v+j}{\sqrt{2}}---\left(9\right)$

$r_3=\left\{\begin{array}{cc}v-j& 0\&le;v-j\&le;0.5\\ j-v+1& 0.5<v-j<1\end{array}\right.---\left(10\right)$

$r_4=\left\{\begin{array}{cc}u-i& 0\&le;u-i\&le;0.5\\ i+1-u& 0.5<u-i<1\end{array}\right.---\left(11\right)$

进一步得到r₁、r₂、r₃、r₄的归一化距离d_k：

$d_k=\frac{r_k}{r_1+r_2+r_3+r_4},(k=1,2,3,4)---\left(12\right)$

(3)求解四个插值方向的归一化灰度梯度均值

根据数字图像原理可知，沿着图像的边缘纹理方向，各像素灰度值变化缓慢，在该方向插值较为精确，可以获得较好的视觉效果。相反，跨越边缘纹理时，各像素的灰度值变化剧烈，在该方向插值精确度低，视觉效果差。数字图像在某一像素的邻域内只有四个边缘方向，即45°对角线、135°对角线、水平和垂直，本方法在以上四个边缘方向进行插值，对四个插值方向的归一化灰度梯度均值进行操作。

45°对角线方向灰度梯度均值g₁为：

$g_1=\frac{|f(i+2,j-1)-f(i+1,j)|+|f(i+1,j)-f(i,j+1)|+|f(i,j+1)-f(i-1,j+2)|}{3}---\left(13\right)$

135°对角线方向灰度梯度均值g₂为：

$g_2=\frac{|f(i-1,j-1)-f(i,j)|+|f(i,j)-f(i+1,j+1)|+|f(i+1,j+1)-f(i+2,j+2)|}{3}---\left(14\right)$

水平方向灰度梯度均值g₃为：

$g_3=\left\{\begin{array}{cc}\frac{|f(i-1,j)-f(i,j)|+|f(i,j)-f(i+1,j)|+|f(i+1,j)-f(i+2,j)|}{3}& 0\&le;v-j\&le;0.5\\ \frac{|f(i-1,j+1)-f(i,j+1)|+|f(i,j+1)-f(i+1,j+1)|+|f(i+1,j+1)-f(i+2,j+1)|}{3}& 0.5<v-j<1\end{array}\right.---\left(15\right)$

垂直方向灰度梯度均值g₄为：

$g_4=\{\begin{array}{cc}\frac{|f(i,j-1)-f(i,j)|+|f(i,j)-f(i,j+1)|+|f(i,j+1)-f(i,j+2)|}{3}& 0\&le;u-i\&le;0.5\\ \frac{|f(i+1,j-1)-f(i+1,j)|+|f(i+1,j)-f(i+1,j+1)||f(i+1,j+1)-f(i+1,j+2)|}{3}& 0.5<u-i<1\end{array}---\left(16\right)$

进一步得到g₁、g₂、g₃、g₄的归一化灰度梯度均值t_k：

$t_k=\frac{g_k}{g_1+g_2+g_3+g_4},(k=1,2,3,4)---\left(17\right)$

(4)确定四个插值方向的融合系数

本方法融合系数的设定考虑了两个因素：待插值点G的源图像对应点S到四个插值方向的距离远近以及四个插值方向的灰度梯度大小。一方面，待插值点G的源图像对应点S到某一插值方向距离越近，受该方向估计值的影响越大，融合系数也要越大；反之，融合系数越小。另一方面，若某一插值方向灰度梯度越小，表明在该方向上图像灰度变化越缓慢，插值越准确，需要设定一个较大的融合系数；反之，设定一个较小的融合系数。

综合以上原则，确定融合系数的方法如下：

${\mathrm{\&psi;}}_k=e^{-{\mathrm{\&lambda;d}}_k}\&times;e^{-(1-\mathrm{\&lambda;})t_k},(k=1,2,3,4)---\left(18\right)$

其中，d_k(k＝1，2，3，4)为公式(12)求得的待插值点到四个插值方向的归一化距离；t_k(k＝1，2，3，4)为公式(17)求得的四个插值方向的归一化灰度梯度均值；λ为常数，0<λ<1，用于调节插值距离和灰度梯度在融合系数中所占的权重值。在具体应用中，当整幅图像所有像素点灰度方差的平均值大于100时，λ在区间(0，0.5]之间选择；当整幅图像所有像素点灰度方差的平均值不大于100时，λ在区间(0.5，1)之间选择。这样可以得到良好的插值效果。

进一步得到ψ_k的归一化融合系数ω_k：

${\mathrm{\&omega;}}_k=\frac{{\mathrm{\&psi;}}_k}{{\mathrm{\&psi;}}_1+{\mathrm{\&psi;}}_2+{\mathrm{\&psi;}}_3+{\mathrm{\&psi;}}_4},(k=1,2,3,4)---\left(19\right)$

(5)四个插值方向数据融合

融合四个插值方向的数据，得到待插值点G的灰度值g(x′_g，y′_g)：

g(x′_g,y′_g)＝ω₁y₁+ω₂y₂+ω₃y₃+ω₄y₄ (20)

其中，ω₁、ω₂、ω₃、ω₄分别为公式(19)求得的四个归一化融合系数；y₁、y₂、y₃、y₄分别为公式(4)～(7)求得的四个插值方向的灰度分量估计值。

至此，便完成了点G的插值。

特别地，当S位于源图像的边界区域，不存在完整的4×4邻域时，分以下6种情况处理：

(a)当S到源图像左边界的距离小于1个像素，即0≤u<1时：i-1<0，超出源图像的范围，令步骤三所有公式中的f(i-1，p₁)＝f(i，p₁)，其中，p₁＝j-1，j，j+1，j+2。

(b)当S到源图像上边界的距离小于1个像素，即0≤v<1时：j-1<0，超出源图像的范围，令步骤三所有公式中的f(p₂，j-1)＝f(p₂，j)，其中，p₂＝i-1，i，i+1，i+2。

(c)当S位于源图像的右边界，即u＝M-1时：i+1＝M，i+2＝M+1，二者均超出源图像的范围，令步骤三所有公式中的f(i+1，p₃)＝f(i，p₃)、f(i+2，p₃)＝f(i，p₃)，其中，p₃＝j-1，j，j+1，j+2。

(d)当S到源图像右边界的距离大于0且小于等于1个像素，即M-2≤u<M-1时：i+2＝M，超出源图像的范围，令步骤三所有公式中的f(i+2，p₄)＝f(i+1，p₄)，其中，p₄＝j-1，j，j+1，j+2。

(e)当S位于源图像的下边界，即v＝N-1时：j+1＝N，j+2＝N+1，二者均超出源图像的范围，令步骤三所有公式中的f(p₅，j+1)＝f(p₅，j)、f(p₅，j+2)＝f(p₅，j)，其中，p₅＝i-1，i，i+1，i+2。

(f)当S到源图像下边界的距离大于0且小于等于1个像素，即N-2≤v<N-1时：j+2＝N，超出源图像的范围，令步骤三所有公式中的f(p₆，j+2)＝f(p₆，j+1)其中，p₆＝i-1，i，i+1，i+2。

然后，按照相应的公式计算。

步骤四、按照从左到右、从上到下的顺序，确定待插值图像中的下一个待插值点，返回步骤一，按照步骤一至步骤三的方法计算该待插值点的灰度值，直至完成所有待插值点的灰度计算，得到完整的插值图像。

以下五个实施例均是在CPU为AMD Athlon(tm)II X2 245 Processor，主频为2.91GHz，内存为2GB的计算机上进行，相关方法编程语言为C++，实现的软件平台均为Microsoft Visual C++6.0。

实施例1：

原始Lena图像是大小为256×256像素的灰度图像，灰度取值范围为[0，255]。对其进行采样压缩，使其宽度和高度均缩小为原来的50％，即压缩图像大小为128×128像素，灰度不变。分别采用双线性插值方法、双三次插值方法、孙毓敏插值法、邓彩插值法以及本发明提出的图像插值方法对压缩图像进行插值，将其放大为与原始Lena图像同样大小，即256×256像素。其中，本发明提出的方法中，阈值T＝7500，λ＝0.4。统计每个方法的运行时间和插值结果图像的峰值信噪比，峰值信噪比越高，插值效果越好。结果如表1所示：

表1 Lena图像各算法插值结果对比

从表1可以看出，本发明提出的方法比双线性插值方法峰值信噪高1.866dB，比双三次插值方法高0.077dB，比孙毓敏插值法高1.673dB，比邓彩插值法高0.437dB。在运行速度上，本发明提出的方法与双线性插值方法速度相同，大约是双三次插值方法速度的7.333倍，大约是孙毓敏插值法速度的1.667倍，大约是邓彩插值法速度的1.533倍。以上数据表明，本发明提出的方法精度高，速度快。

实施例2：

原始花图像是大小为256×256像素的灰度图像，灰度取值范围为[0，255]。对其进行采样压缩，使其宽度和高度均缩小为原来的70％，即压缩图像大小为179×179像素，灰度不变。分别采用双线性插值方法、双三次插值方法、孙毓敏插值法、邓彩插值法以及本发明提出的图像插值方法对压缩图像进行插值，将其扩大为与原始花图像同样大小，即256×256像素。其中，本发明提出的方法中，阈值T＝5000，λ＝0.1。统计每个方法的运行时间和插值结果图像的峰值信噪比，峰值信噪比越高，插值效果越好。结果如表2所示：

表2花图像各算法插值结果对比

从表2可以看出，本发明提出的方法比双线性插值方法峰值信噪高2.692dB，比双三次插值方法高0.460dB，比孙毓敏插值法高3.056dB，比邓彩插值法高0.586dB。在运行速度上，本发明提出的方法与双线性插值方法速度相当，大约是双三次插值方法速度的7.353倍，大约是孙毓敏插值法速度的1.824倍，大约是邓彩插值法速度的1.765倍。其中，运行时间虽然仅比双线性插值方法多0.001s，但峰值信噪比高于双线性插值方法2.692dB，综合优势仍然明显。以上数据表明，本发明提出的方法精度高，速度快。

实施例3：

选取一幅包含有圆形焊盘的锡膏图像作为原始图像，该图像是大小为1292×964像素的灰度图像，灰度取值范围为[0，255]。对该图像进行采样压缩，使其宽度和高度均缩小为原来的30％，即压缩图像大小为388×289像素，灰度不变。分别采用双线性插值方法、双三次插值方法、孙毓敏插值法、邓彩插值法以及本发明提出的图像插值方法对压缩图像进行插值，使其扩大为与作为原始图像的包含有圆形焊盘的锡膏图像同样大小，即1292×964像素。其中，本发明提出的方法中，阈值T＝4000，λ＝0.5。统计每个方法的运行时间和插值结果图像的峰值信噪比，峰值信噪比越高，插值效果越好。结果如表3所示：

表3包含有圆形焊盘的锡膏图像各算法插值结果对比

从表3可以看出，本发明提出的方法比双线性插值方法峰值信噪高3.525dB，比双三次插值方法高1.192dB，比孙毓敏插值法高4.277dB，比邓彩插值法高0.535dB。在运行速度上，本发明提出的方法与双线性插值方法速度相当，大约是双三次插值方法速度的11.883倍，大约是孙毓敏插值法速度的1.862倍，大约是邓彩插值法速度的1.654倍。其中，运行时间虽然仅比双线性插值方法多0.001s，但峰值信噪比高于双线性插值方法3.525dB，综合优势仍然明显。以上数据表明，本发明提出的方法精度高，速度快。

实施例4：

原始鼠图像是大小为400×284像素的灰度图像，灰度取值范围为[0，255]。将其顺时针旋转10°，灰度不变。然后，分别采用双线性插值方法、双三次插值方法、孙毓敏插值法、邓彩插值法以及本发明提出的图像插值方法对顺时针旋转后的鼠图像进行逆时针旋转10°，使其与原始鼠图像处于同一位置状态。其中，本发明提出的方法中，阈值T＝5500，λ＝0.1。统计每个方法的运行时间和插值结果图像的峰值信噪比，峰值信噪比越高，插值效果越好。结果如表4所示：

表4鼠图像各算法插值结果对比

从表4可以看出，本发明提出的方法比双线性插值方法峰值信噪高3.342dB，比双三次插值方法高1.269dB，比孙毓敏插值法高3.496dB，比邓彩插值法高1.181dB。在运行速度上，本发明提出的方法与双线性插值方法速度相同，大约是双三次插值方法速度的12.688倍，大约是孙毓敏插值法速度的2.125倍，大约是邓彩插值法速度的2.125倍。以上数据表明，本发明提出的方法精度高，速度快。

实施例5：

选取一幅包含有条形焊盘的锡膏图像作为原始图像，该图像是大小为904×675像素的灰度图像，灰度取值范围为[0，255]。对该图像逆时针旋转30°，灰度值不变。然后，分别采用双线性插值方法、双三次插值方法、孙毓敏插值法、邓彩插值法以及本发明提出的图像插值方法将逆时针旋转后的图像再顺时针旋转30°，使其与作为原始图像的包含有条形焊盘的锡膏图像处于同一种位置状态。其中，本发明提出的方法中，阈值T＝4000，λ＝0.5。统计每个方法的运行时间和插值结果图像的峰值信噪比，峰值信噪比越高，插值效果越好。结果如表5所示：

表5包含有条形焊盘的锡膏图像各算法插值结果对比

从表5可以看出，本发明提出的方法比双线性插值方法峰值信噪高3.949dB，比双三次插值方法高0.667dB，比孙毓敏插值法高4.095dB，比邓彩插值法高1.012dB。在运行速度上，本发明提出的方法与双线性插值方法速度相当，大约是双三次插值方法速度的9.056倍，大约是孙毓敏插值法速度的2.190倍，大约是邓彩插值法速度的2.143倍。其中，运行时间虽然仅比双线性插值方法多0.001s，但峰值信噪比高于双线性插值方法3.949dB，综合优势仍然明显。以上数据表明，本发明提出的方法精度高，速度快。

Claims (6)

1.一种基于纹理边缘自适应数据融合的高精度快速图像插值方法，其特征在于包括下述步骤：

步骤一、计算待插值图像上的待插值点G在源图像上的对应点S(u，v)的2×2邻域内四个像素点灰度均值和灰度方差其中，i为不大于u的最大整数，j为不大于v的最大整数；

根据设定的阈值T进行判定，若Var<T，判定点S位于灰度平坦区域，进入步骤二；否则判定点S位于边缘纹理区域，进入步骤三；

步骤二、令a＝u-i，b＝v-j，G点的灰度g(x′_g,y′_g)＝bt₁+(1-b)t₂，其中，t₁＝af(i,j+1)+(1-a)f(i+1,j+1)，t₂＝af(i+1,j)+(1-a)f(i,j)；进入步骤四；

步骤三、对位于边缘纹理区域的G点进行插值，包括以下步骤：

(1)设S_x，y为点S距离源图像中坐标为(x，y)的像素点的欧式距离，其中，x＝i-1，i，i+1，i+2；y＝j-1，j，j+1，j+2；

计算待插值点在45°对角线方向的灰度分量估计值y₁，

$y_1=\frac{1}{2}(\frac{f(i+2,j-1){S_{i,j+1}}^2+f(i,j+1){S_{i+2,j-1}}^2}{{S_{i,j+1}}^2+{S_{i+2,j-1}}^2}+\frac{f(i+1,j){S_{i-1,j+2}}^2+f(i-1,j+2){S_{i+1,j}}^2}{{S_{i-1,j+2}}^2+{S_{i+1,j}}^2});$

计算待插值点在135°对角线方向的灰度分量估计值y₂，

$y_2=\frac{1}{2}(\frac{f(i-1,j-1){S_{i+1,j+1}}^2+f(i+1,j+1){S_{i-1,j-1}}^2}{{S_{i+1,j+1}}^2+{S_{i-1,j-1}}^2}+\frac{f(i,j){S_{i+2,j+2}}^2+f(i+2,j+2){S_{i,j}}^2}{{S_{i+2,j+2}}^2+{S_{i,j}}^2});$

计算待插值点在水平方向的灰度分量估计值y₃，

$y_3=\left\{\begin{array}{cc}\frac{1}{2}\left(\frac{f\left(i-1,j\right){S_{i+1,j}}^2+f\left(i+1,j\right){S_{i-1,j}}^2}{{S_{i+1,j}}^2+{S_{i-1,j}}^2}+\frac{f\left(i,j\right){S_{i+2,j}}^2+f\left(i+2,j\right){S_{i,j}}^2}{{S_{i+2,j}}^2+{S_{i,j}}^2}\right)& 0\&le;v-j\&le;0.5\\ \frac{1}{2}\left(\frac{f\left(i-1,j+1\right){S_{i+1,j+1}}^2+f\left(i+1,j+1\right){S_{i-1,j+1}}^2}{{S_{i+1,j+1}}^2+{S_{i-1,j+1}}^2}+\frac{f\left(i,j+1\right){S_{i+2,j+1}}^2+f\left(i+2,j+1\right){S_{i,j+1}}^2}{{S_{i+2,j+1}}^2+{S_{i,j+1}}^2}\right)& 0.5<v-j<1\end{array}\right.;$

计算待插值点在垂直方向的灰度分量估计值y₄，

$y_4=\left\{\begin{array}{cc}\frac{1}{2}\left(\frac{f\left(i,j-1\right){S_{i,j+1}}^2+f\left(i,j+1\right){S_{i,j-1}}^2}{{S_{i,j+1}}^2+{S_{i,j-1}}^2}+\frac{f\left(i,j\right){S_{i,j+2}}^2+f\left(i,j+2\right){S_{i,j}}^2}{{S_{i,j+2}}^2+{S_{i,j}}^2}\right)& 0\&le;u-i\&le;0.5\\ \frac{1}{2}\left(\frac{f\left(i+1,j-1\right){S_{i+1,j+1}}^2+f\left(i+1,j+1\right){S_{i+1,j-1}}^2}{{S_{i+1,j+1}}^2+{S_{i+1,j-1}}^2}+\frac{f\left(i+1,j\right){S_{i+1,j+2}}^2+f\left(i+1,j+2\right){S_{i+1,j}}^2}{{S_{i+1,j+2}}^2+{S_{i+1,j}}^2}\right)& 0.5<u-i<1\end{array}\right.;$

(2)待插值点在每一个方向上的估计值由源图像中四个像素点的信息构成，这四个像素点组成一条直线，分别称为45°对角线方向插值线、135°对角线方向插值线、水平方向插值线、垂直方向插值线；待插值点G的源图像对应点S到四条插值线的距离分别为r₁、r₂、r₃、r₄，

$r_1=\frac{u-i+v-j-1}{\sqrt{2}}$

$r_2=\frac{u-i-v+j}{\sqrt{2}}$

$r_3=\left\{\begin{array}{cc}v-j& 0\&le;v-j\&le;0.5\\ j-v+1& 0.5<v-j<1\end{array}\right.$

$r_4=\left\{\begin{array}{cc}u-i& 0\&le;u-i\&le;0.5\\ i+1-u& 0.5<u-i<1\end{array}\right.$

进一步得到r₁、r₂、r₃、r₄的归一化距离k＝1，2，3，4；

(3)计算45°对角线方向灰度梯度均值g₁，

$g_1=\frac{|f(i+2,j-1)-f(i+1,j)|+|f(i+1,j)-f(i,j+1)|+|f(i,j+1)-f(i-1,j+2)|}{3};$

计算135°对角线方向灰度梯度均值g₂，

$g_2=\frac{|f(i-1,j-1)-f(i,j)|+|f(i,j)-f(i+1,j+1)|+|f(i+1,j+1)-f(i+2,j+2)|}{3};$

计算水平方向灰度梯度均值g₃，

$g_3=\left\{\begin{array}{cc}\frac{|f\left(i-1,j\right)-f\left(i,j\right)|+|f\left(i,j\right)-f\left(i+1,j\right)|+|f\left(i+1,j\right)-f\left(i+2,j\right)|}{3}& 0\&le;v-j\&le;0.5\\ \frac{|f\left(i-1,j+1\right)-f\left(i,j+1\right)|+|f\left(i,j+1\right)-f\left(i+1,j+1\right)|+|f\left(i+1,j+1\right)-f\left(i+2,j+1\right)|}{3}& 0.5<v-j<1\end{array}\right.;$

计算垂直方向灰度梯度均值g₄，

$g_4=\left\{\begin{array}{cc}\frac{|f(i,j-1)-f(i,j)|+|f(i,j)-f(i,j+1)|+|f(i,j+1)-f(i,j+2)|}{3}& 0\&le;u-i\&le;0.5\\ \frac{|f(i+1,j-1)-f(i+1,j)|+|f(i+1,j)-f(i+1,j+1)+|f(i+1,j+1)-f(i+1,j+2)}{3}& 0.5<u-i<1\end{array}\right.;$

进一步得到g₁、g₂、g₃、g₄的归一化灰度梯度均值

(4)确定四个插值方向的融合系数k＝1，2，3，4，其中，λ为常数，0<λ<1；

进一步得到ψ_k的归一化融合系数

(5)融合四个插值方向的数据，得到待插值点G的灰度值g(x′_g，y′_g)，g(x′_g,y′_g)＝ω₁y₁+ω₂y₂+ω₃y₃+ω₄y₄；

步骤四、重复步骤一至步骤三，遍历待插值图像中的各个待插值点，得到完整的插值图像。

2.根据权利要求1所述的基于纹理边缘自适应数据融合的高精度快速图像插值方法，其特征在于：所述的步骤一中，当S位于源图像的右边界，则令f(i+1，j)＝f(i，j)，f(i+1，j+1)＝f(i，j+1)；当S位于源图像的下边界，则令f(i，j+1)＝f(i，j)，f(i+1，j+1)＝f(i+1，j)。

3.根据权利要求1所述的基于纹理边缘自适应数据融合的高精度快速图像插值方法，其特征在于：所述的阈值T的取值范围为[2500，15000]。

4.根据权利要求1所述的基于纹理边缘自适应数据融合的高精度快速图像插值方法，其特征在于：所述的步骤二中，当S位于源图像的右边界，令f(i+1，j)＝f(i，j)、f(i+1，j+1)＝f(i，j+1)；当S位于源图像的下边界，令f(i，j+1)＝f(i，j)、f(i+1，j+1)＝f(i+1，j)。

5.根据权利要求1所述的基于纹理边缘自适应数据融合的高精度快速图像插值方法，其特征在于：所述的步骤三中，当整幅源图像所有像素点灰度方差的平均值大于100时，λ的取值区间为(0，0.5]；当整幅源图像所有像素点灰度方差的平均值不大于100时，λ的取值区间为(0.5，1)。

6.根据权利要求1所述的基于纹理边缘自适应数据融合的高精度快速图像插值方法，其特征在于：

所述的步骤三中，当S到源图像左边界的距离小于1个像素，令f(i-1，p₁)＝f(i，p₁)，其中，p₁＝j-1，j，j+1，j+2；

当S到源图像上边界的距离小于1个像素，令f(p₂，j-1)＝f(p₂，j)，其中，p₂＝i-1，i，i+1，i+2；

当S位于源图像的右边界，令f(i+1，p₃)＝f(i，p₃)，f(i+2，p₃)＝f(i，p₃)，其中，p₃＝j-1，j，j+1，j+2；

当S到源图像右边界的距离大于0且小于等于1个像素，令f(i+2，p₄)＝f(i+1，p₄)，其中，p₄＝j-1，j，j+1，j+2；

当S位于源图像的下边界，令f(p₅，j+1)＝f(p₅，j)、f(p₅，j+2)＝f(p₅，j)，其中，p₅＝i-1，i，i+1，i+2；

当S到源图像下边界的距离大于0且小于等于1个像素，令f(p₆，j+2)＝f(p₆，j+1)，其中，p₆＝i-1，i，i+1，i+2。