CN102930504A - 一种保持边缘特征的数字图像放大方法 - Google Patents

Abstract

本发明具体公开了一种保持边缘特征的数字图像放大方法，包括以下步骤：步骤1确定每个待放大像素的待放大单元以及放大单元；步骤2根据像素与其待放大单元中像素的对应位置，确定其曲面拟合的区域，并重新采样放大单元最外围一圈的像素；步骤3利用空间自适应方法确定放大单元里面中间像素的系数；步骤4利用带约束的最小二乘方法确定放大单元的中间像素；步骤5在放大单元中提取高分辨率像素。本发明的有益效果：该方法不仅能够保持图像的边缘特征，而且操作比较方便。

Description

一种保持边缘特征的数字图像放大方法

技术领域

本发明属于数字图像处理的图像放缩领域，具体涉及一种保持边缘特征的数字图像放大方法。

背景技术

空间分辨率是衡量数字图像最重要的参照标准之一。尽管由数字摄像机或扫描仪等获得的原始图像分辨率稳步增长，总有新的技术需要更高的空间分辨率。比如为了计算机医学辅助诊断中观察图像中一个小的病理变化区域需要将病理区域放大；为了适应在高清电视或者显示器上的播放需要标清视频帧的向上转换。除此之外，图像放大在一些领域如计算机视觉、监视、遥感等领域起着有益甚至不可替代的作用。

图像放缩最基本的方法是像素复制，这种方法的插值精度是常数，因此放大后的图像具有比较明显的锯齿。双线性插值和双三次插值分别使用一次和三次多项式进行插值，具有较高的精度，且放大效果比像素复制好得多。此外，其它的一些内插方法最小二乘、分型、和B样条改进了传统的线性和三次插值方法，但是效果并不明显。总之，以图像数据点作为插值数据构造插值曲面的方法，图像数据本质上是区域的采样，区域上的采样是对原场景的平滑，因此，直接应用图像数据构造曲面将丢失一些图像细节。

针对传统插值方法的问题，空间自适应的插值算法被提出来。这些算法根据图像局部结构自适应调整插值系数，以更好地保持边缘特征。根据边缘信息的获取方式，自适应算法分为显示和隐式两种。显式方法的基本思想是，将图像的边缘信息显式地表达出来，并引导插值过程沿着边缘方向调整插值系数，但该方法容易受到噪声、模糊等因素的影响。隐式方法则可以较好地解决显式方法的不足，其基本思想是，通过对局部图像邻域内统计量进行估计，从而根据隐式包含有边缘特征信息的统计量对插值过程进行自适应调整。

发明内容

针对现有技术存在的缺点，本发明所提出了一种保持边缘特征的数字图像放大方法。

本发明采用的技术方案如下：

一种保持边缘特征的数字图像放大方法，包括以下步骤：

步骤1确定各待放大像素以及以该待放大像素为中心的相应的待放大单元以及放大单元；

步骤2确定放大单元最外围像素中每个像素的曲面拟合的区域，并重新采样放大单元最外围一圈的像素；

步骤3利用空间自适应方法确定放大单元里面中间像素的系数；

步骤4利用带约束的最小二乘方法确定出放大单元的中间像素；

步骤5在放大单元中提取高分辨率像素。

所述的步骤1每个待放大像素的待放大单元以及放大单元的确定方法如下：定义每一个待放大的像素及其周围的3×3邻域为待放大单元，将待放大单元放大两倍之后的6×6像素单元表示为放大单元。

所述的步骤2曲面拟合并重新采样放大单元最外围一圈的像素包括如下步骤：

（1）根据放大单元像素与其待放大单元中像素的对应位置，确定放大单元最外围一圈像素中每个像素的曲面拟合的区域：首先待放大单元里面的每一个像素对应放大单元的里面的每一个2*2像素；其次利用上述的对应关系，确定最外围一圈像素在待放大单元中的对应像素，此对应像素的3*3邻域单元即为曲面拟合的区域。

（2）利用二次多项式对拟合的区域进行曲面拟合；

首先，步骤（1）中的曲面拟合的区域看成是原场景采样得到，并假设该场景能用分片二次多项式表示；其次，利用式（1）对该拟合区域进行曲面拟合

f_i，j(x，y)=a₁u²+a₂uv+a₃v²+a₄u+a₅v+a₆

u,v∈[-1.5,1.5]    （1）

其中：u＝x-i,v＝y-j；

x,y,u,v分别表示曲面参数变量；

f_i，j(x，y)表示对以P_i-1,j-1为中心的3*3像素进行拟合的曲面函数；

系数a₁、a₂、a₃、a₄、a₅、a₆通过带约束的最小二乘求解。

（3）利用两倍采样频率的重新采样方法获得最外围一圈的像素；根据步骤（1）中放大单元与待放大单元中像素的对应关系和曲面函数f_i，j(x,y)，设定放大单元的最外围一圈的每一个像素的积分范围为待放大单元中对应像素的积分范围的四分之一，即扩大两倍的采样频率进行重采样。

所述的步骤3中中间像素系数的确定步骤如下：

（1）将自回归模型运用于待放大单元的像素：待放大单元的每一个像素分别与其相邻的水平-垂直方向及对角线方向的四个像素满足线性一阶关系；

（2）通过带约束的最小二乘法把待放大单元像素的系数求解出来：首先，将步骤（1）中的一阶线性关系设为约束条件；其次，用带约束的最小二乘法求解出待放大单元中像素的系数；

（3）通过待放大单元与放大单元的对应关系求解放大单元中间像素的系数。

所述的步骤4中的中间像素的求解过程如下：首先，放大单元的中间像素与相邻像素之间满足线性关系，即中间像素分别表示成对角方向上像素以及水平-垂直方向上像素的一阶线性形式；其次，构造一个包含上述线性关系的函数，并根据函数对所有的中间像素求微分来构建方程组；最后，求解方程组得到中间像素。

本发明的有益效果：该方法不仅能够保持图像的边缘特征，而且操作比较方便，另外该方法在曲面拟合求解的过程中，增加了像素与邻域像素之间的相关性，使得图像的边缘结构能够保持，放大图像的边缘特征保留下来；而且在曲面拟合的过程中，我们增加插值条件，使得放大像素的求解更加准确，放大图像更加清晰，而不模糊。实验证明，本方法优于已有的曲面拟合放大方法，而且计算量小，操作比较方便。

附图说明

图1本发明具体操作流程；

图2(a)待放大像素对应的待放大单元；

图2(b)放大单元；

图3放大单元中的最外围一圈像素对应的拟合区域；

图4(a)放大单元里中间像素对角线方向的系数示意图；

图4(b)放大单元里中间像素水平-垂直方向的系数示意图；

图5(a)待放大单元中像素对角线方向的系数示意图；

图5(b)待放大单元中像素水平-垂直方向的系数示意图；

图6放大单元与待放大单元的系数对应关系示意图；

图7(a)放大单元里中间像素对角线方向的相关性示意图；

图7(b)放大单元里中间像素水平-垂直方向的相关性示意图；

图8(a)待放大图像a；

图8(b)待放大图像b；

图9对应于图8(a)的高分辨率图像；

图10对应于图8(b)的高分辨率图像；

具体实施方式

下面结合附图和实施例作进一步说明：

如图1所示，基于边缘保持的图像放大，它的步骤描述为：

步骤1确定各待放大像素以及以该待放大像素为中心的相应的待放大单元以及放大单元；

步骤2确定放大单元最外围像素中每个像素的曲面拟合的区域，并重新采样放大单元最外围一圈的像素；

步骤3利用空间自适应方法确定放大单元里面中间像素的系数；

步骤4利用带约束的最小二乘方法确定出放大单元的中间像素；

步骤5在放大单元中提取高分辨率像素。

所述的步骤1中每个待放大像素的待放大单元以及放大单元的确定：

设定待放大像素为P_i,j，（i表示横坐标，j表示纵坐标）则以P_i,j为中心的3×3邻域称为对应P_i,j的待放大单元，如图2（a），图2（b）中的6×6单元为对应的放大单元，标记为X_i,其中i的取值范围0≤i≤35的整数。

所述的步骤2中曲面拟合并重采样放大单元最外围一圈的像素：

如图3所示，以图2（b）中的X₀,V₁,X₆为例说明最外围像素的求解过程：

X₀,X₁,X₆均为最外围像素，

a．确定最外围像素的拟合曲面

X₀,X₁,X₆三个像素对应待放大单元的P_i-1，j-1点。对原图像中以P_i-1，j-1为中心的3×3像素，利用一种已有的二次多项式拟合方法进行曲面拟合，方法如下：

f_i，j(x y)=a₁u²+a₂uv+a₃v²+a₄u+a₅v+a₆

u,v∈[-1.5,1.5]        (2)

其中：u＝x-i,v＝y-j；

x,y,u,v分别表示曲面参数变量；

f_i，j(x，y)表示对以P_i-1，j-1为中心的3×3像素进行拟合的曲面函数；

系数a₁、a₂、a₃、a₄、a₅、a₆通过带约束的最小二乘求解。

b．重新采样放大单元的最外围像素

在得到二次多项式拟合曲面之后，X₀,X₁,X₆的值通过二次曲面片积分求得。即：

$X_0={\∫}_{-\frac{1}{2}}^0{\∫}_{-\frac{1}{2}}^0{f}_{i,j}(u,v)\mathrm{dudv}$

$X_1={\∫}_0^{\frac{1}{2}}{\∫}_{-\frac{1}{2}}^0{f}_{i,j}(u,v)\mathrm{dudv}$

$X_6={\∫}_{-\frac{1}{2}}^0{\∫}_0^{\frac{1}{2}}{f}_{i,j}(u,v)\mathrm{dudv}$

所述的步骤3空间自适应方法确定放大单元中间像素的系数：图4（a）、图4（b）和图5（a）、图5（b）示意了放大单元以及待放大单元的像素系数形式，其中α表示对角方向上的系数，β表示水平-垂直方向上的系数。

a.待放大单元中像素系数的求解过程：以待放大单元中的P_i,j的α系数为例，说明待放大单元中像素系数的求解方法。系数 满足如下两个条件：

其中，

表示P_i,j在对角线方向的系数，即分别表示在左下方、右下方、左上方、右上方的系数；

$P_{i,j}={\mathrm{\α}}_{i,j}^1{P}_{i,j-1}+{\mathrm{\α}}_{i,j}^2{P}_{i-1,j}+{\mathrm{\α}}_{i,j}^3{P}_{i+1,j}+{\mathrm{\α}}_{i,j}^4{P}_{i,j+1}$

${\mathrm{\α}}_{i,j}^1+{\mathrm{\α}}_{i,j}^2+{\mathrm{\α}}_{i,j}^3+{\mathrm{\α}}_{i,j}^4=1$

将上述等式带入下式，之后极小化便可得到四个系数

$G={({\mathrm{\α}}_{i,j}^1-\frac{1}{4})}^2+{({\mathrm{\α}}_{i,j}^2-\frac{1}{4})}^2+{({\mathrm{\α}}_{i,j}^3-\frac{1}{4})}^2+{({\mathrm{\α}}_{i,j}^4-\frac{1}{4})}^2---\left(5\right)$

G为系数拟合函数。

b.放大单元里面中间像素系数的求解方法：

根据中间像素与待放大像素单元中的九个像素所处的位置关系，将中间像素分四组，分别为X₇X₈X₁₃X₁₄,X₉X₁₀X₁₅X₁₆,X₁₉X₂₀X₂₅X₂₆,X₂₁X₂₂X₂₇X₂₈；并且它们的系数分别对应着p_i-1,j-1p_i,j-1p_i-1,jp_i,j，p_i,j-1p_i+1,j-1p_i,jp_i+1,j，p_i-1,jp_i,jp_i-1,j+1p_i,j+1，p_i,jp_i+1,jp_i,j+1p_i+1,j+1的系数。

以X₇,X₈,X₁₃,X₁₄的α系数为例进行说明。

X₇,X₈,X₁₃,X₁₄对应3×3待放大单元的P_i-1，j-1,P_i,j-1,P_i-1,j,P_i,j点，且系数的求解如下：

${\mathrm{\α}}_7^h=\frac{9}{16}{\mathrm{\α}}_{i-1,j-1}^h+\frac{3}{16}{\mathrm{\α}}_{i,j-1}^h+\frac{3}{16}{\mathrm{\α}}_{i-1,j}^h+\frac{1}{16}{\mathrm{\α}}_{i,j}^h$

${\mathrm{\α}}_8^h=\frac{9}{16}{\mathrm{\α}}_{i,j-1}^h+\frac{3}{16}{\mathrm{\α}}_{i-1,j-1}^h+\frac{3}{16}{\mathrm{\α}}_{i,j}^h+\frac{1}{16}{\mathrm{\α}}_{i-1,j}^h$

${\mathrm{\α}}_{13}^h=\frac{9}{16}{\mathrm{\α}}_{i-1,j}^h+\frac{3}{16}{\mathrm{\α}}_{i-1,j-1}^h+\frac{3}{16}{\mathrm{\α}}_{i,j}^h+\frac{1}{16}{\mathrm{\α}}_{i,j-1}^h$

${\mathrm{\α}}_{14}^h=\frac{9}{16}{\mathrm{\α}}_{i,j}^h+\frac{3}{16}{\mathrm{\α}}_{i-1,j}^h+\frac{3}{16}{\mathrm{\α}}_{i,j-1}^h+\frac{1}{16}{\mathrm{\α}}_{i,j}^h$

其中，h＝1,2,3,4。且P_i-1,j-1,P_i,j-1,P_i-1，j,P_i,j系数的权重由P_i-1,j-1,P_i,j-1,P_i-1，j,P_i,j到X₇,X₈,X₁₃,X₁₄的距离决定，求解的结果如图6所示。

所述的步骤4带约束最小二乘确定放大单元的中间像素：

放大单元的中间像素与相邻像素的相关性通过图7（a）和图7（b）表示，即中间像素分别表示成对角方向上像素以及水平-垂直方向上像素的一阶线性形式，则中间像素通过极小化下式求解：

$F\left(X\right)={({\mathrm{\α}}_7^1{X}_0+{\mathrm{\α}}_7^2{X}_2+{\mathrm{\α}}_7^3{X}_{12}+{\mathrm{\α}}_7^4{X}_{14}-X_7)}^2$

$+{({\mathrm{\β}}_7^1{X}_1+{\mathrm{\β}}_7^2{X}_6+{\mathrm{\β}}_7^3{X}_8+{\mathrm{\β}}_7^4{X}_{13}-X_7)}^2+...$

$+{({\mathrm{\α}}_{28}^1{X}_{21}+{\mathrm{\α}}_{28}^2{X}_{23}+{\mathrm{\α\β}}_{28}^3{X}_{33}+{\mathrm{\α}}_{28}^4{X}_{35}-X_{28})}^2$

$+{({\mathrm{\β}}_{28}^1{X}_{22}+{\mathrm{\β}}_{28}^2{X}_{27}+{\mathrm{\β}}_{28}^3{X}_{29}+{\mathrm{\β}}_{28}^4{X}_{34}-X_{28})}^2$

$+{\mathrm{\λ}}_0(X_0+X_1+X_6+X_7-4P_{i-1,j-1})+...$

$+{\mathrm{\λ}}_8(X_{28}+X_{29}+X_{34}+X_{35}-4P_{i+1,j+1})$

其中λ_h(h＝0,1,2,3,4,5,6,7,8)为拉格朗日常数，α表示对角方向的系数，β表示水平-垂直方向的系数，F（X）表示极小化函数。P表示图2（a）中待放大单元的像素，X表示图2（b）中放大单元的像素。i表示横坐标，j表示纵坐标。

所述的步骤5的提取高分辨率像素放大单元中的X₁₄,X₁₅,X₂₀,X₂₁即为对应待放大像素的高分辨率像素。

下面对图像处理结果进行分析，如针对图8（a）；图8（b）给出的图片，利用上面的方法进行处理，处理结果如图9、图10所示：

a．视觉效果

分别将分辨率为256×256的原图像放大两倍，然后从视觉上判断基于边缘保持的图像放大方法生成图像的质量。

b．PSNR

我们以图像的PSNR（峰信号噪声比）作为评判标准，PSNR定义如下：

$\mathrm{PSNR}=101o{g}_{10}\left(\frac{n_1\×n_2\×255\×255}{\underset{j=1}{\overset{n_1}{\mathrm{\Σ}}}\underset{i=1}{\overset{n_2}{\mathrm{\Σ}}}{(R_{i,j}-P_{i,j})}^2}\right)---\left(8\right)$

其中，P_i,j是精确像素,R_i,j是放大像素；n₁、n₂表示图像的行数与列数

对分辨率为256×256的标准图像，基于边缘保持的图像放大方法得到的放大图像的PSNR值见表1。以PSNR衡量图像的逼近效果，其值越大说明逼近效果越好。

表1PSNR值

图像	Boat	Lenna	Peppers	Airplane	Parrot	Girlface
							PSNR	31.97	35.06	32.85	32.24	33.98	35.72

Claims (5)

1.一种保持边缘特征的数字图像放大方法，其特征在于，包括以下步骤：

步骤1确定各待放大像素以及以该待放大像素为中心的相应的待放大单元以及放大单元；

步骤2确定放大单元最外围像素中每个像素的曲面拟合的区域，并重新采样放大单元最外围一圈的像素；

步骤3利用空间自适应方法确定放大单元里面中间像素的系数；

步骤4利用带约束的最小二乘方法确定出放大单元的中间像素；

步骤5在放大单元中提取高分辨率像素。

2.如权利要求1所述的图像放大方法，其特征在于：所述的步骤1每个待放大像素的待放大单元以及放大单元的确定方法如下：定义每一个待放大的像素及其周围的3*3邻域为待放大单元，将待放大单元放大两倍之后的6*6像素单元表示为放大单元。

3.如权利要求1所述的图像放大方法，其特征在于：所述的步骤2曲面拟合并重新采样放大单元最外围一圈的像素包括如下步骤：

（1）根据放大单元像素与其待放大单元中像素的对应位置，确定放大单元最外围一圈像素中每个像素的曲面拟合的区域：首先待放大单元里面的每一个像素对应放大单元的里面的每一个2*2像素；其次利用上述的对应关系，确定最外围一圈像素在待放大单元中的对应像素，此对应像素的3*3邻域单元即为曲面拟合的区域；

（2）利用二次多项式对拟合的区域进行曲面拟合；

首先，步骤（1）中的曲面拟合的区域看成是原场景采样得到，并假设该场景能用分片二次多项式表示；其次，利用式（1）对该拟合区域进行曲面拟合

f_i，j(x，y)=a₁u²+a₂uv+a₃v²+a₄u+a₅v+a₆

u,v∈[-1.5,1.5]    （1）

其中：u＝x-i,v＝y-j；

x,y,u,v分别表示曲面参数变量；

f_i，j(x，y)表示对以P_i-1,j-1为中心的3*3像素进行拟合的曲面函数；

系数a₁、a₂、a₃、a₄、a₅、a₆通过带约束的最小二乘求解；

（3）利用两倍采样频率的重新采样方法获得最外围一圈的像素；根据步骤（1）中放大单元与待放大单元中像素的对应关系和曲面函数f_i，j(x，y)，设定放大单元的最外围一圈的每一个像素的积分范围为待放大单元中对应像素的积分范围的四分之一，即扩大两倍的采样频率进行重采样。

4.如权利要求1所述的图像放大方法，其特征在于：所述的步骤3中中间像素系数的确定步骤如下：

（1）将自回归模型运用于待放大单元的像素：待放大单元的每一个像素分别与其相邻的水平-垂直方向及对角线方向的四个像素满足线性一阶关系；

（2）通过带约束的最小二乘法把待放大单元像素的系数求解出来：首先，将步骤（1）中的一阶线性关系设为约束条件；其次，用带约束的最小二乘法求解出待放大单元中像素的系数；

（3）通过待放大单元与放大单元的对应关系求解放大单元中间像素的系数。

5.如权利要求1所述的图像放大方法，其特征在于：所述的步骤4的确定方法：首先，放大单元的中间像素与相邻像素之间满足线性关系，即中间像素分别表示成对角方向上像素以及水平-垂直方向上像素的一阶线性形式；其次，构造一个包含上述线性关系的函数，并根据函数对所有的中间像素求微分来构建方程组；最后，求解方程组得到中间像素。

Images