CN102231203A - 基于边缘检测的图像自回归插值方法 - Google Patents

Abstract

本发明公开了一种基于边缘检测的图像自回归插值方法，主要解决现有自回归插值技术计算复杂度高的问题。其实现过程是：首先对原图像进行四分之一下采样，对下采样图像进行边缘检测，根据下采样图像的边缘检测图像近似得到待插值恢复图像的边缘检测图像；然后将待插值恢复图像的待插像素分为平滑区域待插像素和边缘区域待插像素两种，对平滑区域待插像素使用bicubic进行插值，对边缘区域待插值像素使用自回归插值法进行插值；最后得到插值后图像。本发明在保证图像视觉效果的前提下降低了计算复杂度，可用于图像放大、去噪、修补、去隔行和压缩的处理中。

Description

基于边缘检测的图像自回归插值方法

技术领域

本发明属于图像处理技术领域，涉及图像插值方法，该方法可用于图像放大、去噪、修补、去隔行和压缩等处理中。

背景技术

近年来，计算机技术的高速发展和人们对图像质量越来越高的要求促进了数字图像处理技术的发展和广泛应用，插值法作为图像处理技术的一个重要方法也得到了广泛的应用。传统的插值有最邻近插值、双线性插值bilinear和双三次插值bicubic，这些方法实现简单，但实质具有低通滤波器的性质，对插值后图像有平滑效果，丢失了图像的一些重要的高频细节信息；之后许多研究人员提出了新的插值方法以较好的保持图像边缘，其中最经典的是Li和Orchard提出的基于边缘保持的插值方法NEDI，该方法用低分辨率图像协方差来估计高分辨率图像的协方差，然后根据估计的协方差来插丢失的像素值；近年，Xiaolin Wu提出自回归插值的SAI在NEDI基础上进一步改进，该方法是通过二维自回归建模和块估计来完成的，该算法实质上是一种自适应的不可分的二维高阶滤波器，SAI在视觉效果和峰值信噪比上都有很大的提高，但是该方法计算复杂度高。

发明内容

本发明的目的在于克服已有图像插值技术的不足，提供一种基于边缘检测的图像自回归插值方法，降低自回归插值法的计算复杂度。

实现上述目的技术方案是在自回归插值中加入边缘检测操作，将待插值像素分为边缘区域像素或平滑区域像素，边缘区域像素使用自回归插值，平滑区域像素使用bicubic插值，其具体步骤包括如下：

(1)读入一副大小为512×512的raw格式的图像M，对该图像进行四分之一下采样，得到大小为256×256的下采样后图像M₁；

(2)用边缘检测算子Sobel与下采样后图像M₁相卷积，得到该图像的边缘图像M₂，其中Sobel算子有水平和垂直两个算子，如下式所示；

$\stackrel{r}{x}=\left[\begin{array}{ccc}-1& -2& -1\\ 0& 0& 0\\ 1& 2& 1\end{array}\right],$

(3)将下采样后图像M₁和边缘图像M₂分别进行512×512大小的恢复，得到下采样后图像M₁的待插值恢复图像M′₁和边缘图像M₂的待插值恢复图像M′₂，并将所述的M₁和M₂每个像素依次放置在M′₁和M′₂奇数行奇数列的位置，将M′₁和M′₂其余位置的像素作为待插像素；

(4)对所述待插值恢复图像M′₂奇数行奇数列位置处的已知像素进行平均，得到该待插值恢复图像M′₂的待插像素的值，将该待插像素的值与预设阈值T相比较，如果大于T则该待插像素属于边缘区域，否则属于平滑区域，阈值T在180到220之间；

(5)将所述待插值恢复图像M′₂近似作为所述待插值恢复图像M′₁的边缘图像，将M′₁和M′₂中对应位置处的像素一一对应，如果M′₁中的待插像素在平滑区域，则使用M′₁奇数行奇数列位置处的已知像素进行bicubic插值，得到该待插像素的值；如果M′₁中的待插像素在边缘区域，则使用M′₁奇数行奇数列位置处的已知像素进行自回归插值，得到该待插像素的值，最后得到插值后的图像M″₁。

本发明利用了边缘检测，将图像的待插像素分在平滑和边缘区域，平滑区域的待插像素使用bicubic插值，bicubic插值在平滑区域的插值效果好并且计算复杂度低，所以本发明在保证插值后图像视觉效果的前提下，降低了自回归插值的计算复杂度。

附图说明

图1是本发明的实现流程图；

图2是用本发明与现有自回归插值法对lena图像进行插值的实验仿真图；

图3是用本发明与现有自回归插值法对peppers图像进行插值的实验仿真图；

图4是用本发明与自回归插值法对boat图像进行插值的实验仿真图。

具体实施方式

参照附图1，本发明的具体实现步骤如下：

步骤1，读入一副大小为512×512的raw格式的图像M，对该图像进行四分之一下采样，得到大小为256×256的下采样后图像M₁。

步骤2，用边缘检测算子Sobel与下采样后图像M₁相卷积，得到该图像的边缘图像M₂。

Sobel算子包括水平和垂直两个算子，如(1)式：

$\stackrel{r}{x}=\left[\begin{array}{ccc}-1& -2& -1\\ 0& 0& 0\\ 1& 2& 1\end{array}\right],$

其中

为水平算子，

为垂直算子；

所述的用边缘检测算子Sobel与下采样后图像M₁相卷积通过如下步骤实现：

(2a)将边缘检测算子Sobel的水平分量

与下采样后图像M₁相卷积；

(2b)将边缘检测算子Sobel的垂直分量

与下采样后图像M₁相卷积；

(2c)对(2a)和(2b)得到的卷积结果取平方根，得到Sobel算子与下采样后图像M₁的卷积结果。

步骤3，将下采样后图像M₁和边缘图像M₂分别进行512×512大小的恢复，得到下采样后图像M₁的待插值恢复图像M′₁和边缘图像M₂的待插值恢复图像M′₂，并将所述的M₁和M₂每个像素依次放置在M′₁和M′₂奇数行奇数列的位置，将M′₁和M′₂其余位置的像素作为待插像素。

步骤4，对所述待插值恢复图像M′₂奇数行奇数列位置处的已知像素进行平均，得到该待插值恢复图像M′₂的待插像素的值，将该待插像素的值与预设阈值T相比较，如果待插像素的值大于T，则该待插像素属于边缘区域，否则属于平滑区域，阈值T设置在180到220之间。

步骤5，将所述待插值恢复图像M′₂近似作为所述待插值恢复图像M′₁的边缘图像，将M′₁和M′₂中对应位置处的像素一一对应，如果M′₁中的待插像素在平滑区域，则使用M′₁奇数行奇数列位置处的已知像素进行bicubic插值，得到该待插像素的值；如果M′₁中的待插像素在边缘区域，则使用M′₁奇数行奇数列位置处的已知像素进行自回归插值，得到该待插像素的值，最后得到插值后的图像M″₁。

所述使用M′₁奇数行奇数列位置处的已知像素进行自回归插值，通过如下步骤实现：

(5a)使用待插值恢复图像M′₁中处于边缘区域的待插像素邻域5×5个奇数行奇数列位置处的已知像素，对M′₁中该待插像素邻域4×4个奇数行奇数列位置处的已知像素进行最优估计，得到M′₁中该待插像素的权值向量：

(5b)根据权值向量利用式(2)计算待插值恢复图像M′₁中处于边缘区域待插像素y₅的值：

其中：y₅为每次要插的M′₁中处于边缘区域的待插像素，y₁，y₂，y₃，y₄，y₆，y₇，y₈，y₉是M′₁中y₅邻域8个待插像素，y_i是

中第i个待插像素，α_t是中第t个元素，x_i-t是M′₁中y_i邻域t个奇数行奇数列位置处的已知像素，x_i是M′₁中y₅邻域4个奇数行奇数列位置处的已知像素，y_i-t是M′₁中x_i邻域4个待插像素；

(5c)将计算待插值恢复图像M′₁中处于边缘区域待插像素y₅的值，作为待插值恢复图像M′₁中处于边缘区域待插像素的自回归插值。

本发明的效果可通过以下仿真实验和对比客观评价指标进一步说明：

(1)实验条件：

本发明的实验环境是Microsoft Visual Studio 2005，实验原始数据是三幅大小为512×512的raw格式的灰度图像，分别是lena，peppers，boat，图2(a)是lena的原始图像，图3(b)是peppers的原始图像，图4(c)是boat的原始图像。

(2)实验内容：

(2.1)对图2(a)所示的lena原始图像进行现有自回归插值法的实验仿真，其仿真结果如图2(b)所示；对lena原始图像进行本发明插值方法的实验仿真，其仿真结果如图2(c)所示；

(2.2)对图3(a)所示的peppers原始图像进行现有自回归插值法的实验仿真，其仿真结果如图3(b)所示；对peppers原始图像进行本发明插值方法的实验仿真，其仿真结果如图3(c)所示；

(2.3)对图4(a)所示的boat原始图像进行现有自回归插值法的实验仿真，其仿真结果如图4(b)所示；对boat原始图像进行本发明插值方法的实验仿真，其仿真结果如图4(c)所示；

(2.4)本发明插值方法与自回归插值方法在客观评价指标上的对比仿真结果：

本发明使用的客观评价指标有峰值信噪比PSNR，平均梯度T和程序运行时间，这些客观评价指标的定义如下：

峰值信噪比PSNR：假定两幅图像的大小为X×Y，令f(x，y)表示原始图像，

表示插值后的图像，客观评价指标峰值信噪比PSNR定义如(3)式：

$\mathrm{PSNR}=10\lg \left\{\frac{{255}^2}{\frac{1}{\mathrm{XY}}\underset{x=1}{\overset{X}{\mathrm{\Σ}}}\underset{y=1}{\overset{Y}{\mathrm{\Σ}}}{[f(x,y)-\hat{f}(x,y)]}^2}\right\}---\left(3\right)$

平均梯度T：假定一副图像的大小为X×Y，令f(x，y)表示插值后的图像，客观评价指标平均梯度T定义如(4)式：

$T=\frac{1}{\mathrm{XY}}\underset{x=1}{\overset{X}{\mathrm{\Σ}}}\underset{y=1}{\overset{Y}{\mathrm{\Σ}}}\sqrt{({\mathrm{\ΔI}}_x^2+\mathrm{\Δ}{I}_y^2)/2}---\left(4\right)$

其中△I_x＝f(i+1，j)-f(i，j)，△I_y＝f(i，j+1)-f(i，j)；

程序运行时间：整个程序运行完毕用的时间。

表1给出了lena，peppers，boat三幅图像用本发明插值方法和现有自回归插值方法的客观评价指标峰值信噪比PSNR，平均梯度T和时间的具体结果，其中黑体为三者中性能最佳。

表1两种方法插值后图像各评价指标比较

(3)实验结果分析：

从本发明插值方法的实验仿真结果图2(b)，图3(b)，图4(b)与现有自回归插值法的实验仿真结果图2(c)，图3(c)，图4(c)的比较可以看出，插值后图像两种插值方法的视觉效果相当。

从表1中可以看出：本发明插值方法与现有自回归插值方法得到峰值信噪比PSNR和平均梯度T基本相当，并且peppers和boat的平均梯度T本发明插值方法还要略高于现有自回归插值方法，而在程序运行时间的结果中，本发明插值方法低于自回归插值法。

以上实验表明，本发明插值方法在保证插值后图像视觉效果的前提下，降低了自回归插值的计算复杂度。

Claims (3)

1.一种基于边缘检测的图像自回归插值方法，包括如下步骤：

(1)读入一副大小为512×512的raw格式的图像M，对该图像进行四分之一下采样，得到大小为256×256的下采样后图像M₁；

(2)用边缘检测算子Sobel与下采样后图像M₁相卷积，得到该图像的边缘图像M₂，其中Sobel算子有水平和垂直两个算子，如下式所示；

$\stackrel{r}{x}=\left[\begin{array}{ccc}-1& -2& -1\\ 0& 0& 0\\ 1& 2& 1\end{array}\right],$

(3)将下采样后图像M₁和边缘图像M₂分别进行512×512大小的恢复，得到下采样后图像M₁的待插值恢复图像M′₁和边缘图像M₂的待插值恢复图像M′₂，并将所述的M₁和M₂每个像素依次放置在M′₁和M′₂奇数行奇数列的位置，将M′₁和M′₂其余位置的像素作为待插像素；

(4)对所述待插值恢复图像M′₂奇数行奇数列位置处的已知像素进行平均，得到该待插值恢复图像M′₂的待插像素的值，将该待插像素的值与预设阈值T相比较，如果大于T则该待插像素属于边缘区域，否则属于平滑区域，阈值T在180到220之间；

(5)将所述待插值恢复图像M′₂近似作为所述待插值恢复图像M′₁的边缘图像，将M′₁和M′₂中对应位置处的像素一一对应，如果M′₁中的待插像素在平滑区域，则使用M′₁奇数行奇数列位置处的已知像素进行bicubic插值，得到该待插像素的值；如果M′₁中的待插像素在边缘区域，则使用M′₁奇数行奇数列位置处的已知像素进行自回归插值，得到该待插像素的值，最后得到插值后的图像M″₁。

2.根据权利要求1所述的图像自回归插值方法，其中步骤(2)中所述用边缘检测算子Sobel与下采样后图像M₁相卷积，按如下步骤进行：

(2a)将边缘检测算子Sobel的水平分量

与下采样后图像M₁相卷积；

(2b)将边缘检测算子Sobel的垂直分量与下采样后图像M₁相卷积；

(2c)将(2a)和(2b)得到的卷积结果取平方根，得到Sobel算子与下采样后图像M₁的卷积结果。

3.根据权利要求1所述的图像自回归插值方法，其中步骤(5)中所述的使用M′₁奇数行奇数列位置处的已知像素进行自回归插值，按如下步骤进行：

(5a)使用待插值恢复图像M′₁中处于边缘区域的待插像素邻域5×5个奇数行奇数列位置处的已知像素，对M′₁中该待插像素邻域4×4个奇数行奇数列位置处的已知像素进行最优估计，得到M′₁中该待插像素的权值向量：

(5b)根据权值向量

利用下式计算待插值恢复图像M′₁中处于边缘区域待插像素y₅的值：

其中：y₅为每次要插的M′₁中处于边缘区域的待插像素，y₁，y₂，y₃，y₄，y₆，y₇，y₈，y₉是M′₁中y₅邻域8个待插像素，y_i是

中第i个待插像素，α_t是

中第t个元素，x_i-t是M′₁中y_i邻域t个奇数行奇数列位置处的已知像素，x_i是M′₁中y₅邻域4个奇数行奇数列位置处的已知像素，y_i-t是M′₁中x_i邻域4个待插像素；

(5c)将计算待插值恢复图像M′₁中处于边缘区域待插像素y₅的值，作为待插值恢复图像M′₁中处于边缘区域待插像素的自回归插值。

Images