CN103136725A - 一种图像重采样方法及系统 - Google Patents

Abstract

本发明提出一种与内容相关的图像重采样方法及系统，涉及计算机图像处理技术领域。现有的重采样方法通常只和采样点的位置相关，缺乏对采样部位的内容考虑，因此导致结果图像存在马赛克或模糊等质量退化的问题。本发明所述的方法先由常规插值算法得到基础采样值，而后根据待采样部位的在原图中的邻域内容，加权修正基础采样值，合成最终采样结果。本发明所述的方法及系统在拥有高保真度的同时，避免了现有方法及系统存在的图像模糊问题，适用于图像旋转、平移、缩放等应用。

Description

一种图像重采样方法及系统

技术领域

本发明涉及计算机图像处理技术领域，尤其涉及一种高质量的图像重采样方法及系统。

背景技术

重采样是图像处理的一项基础任务，对图像进行旋转、平移、缩放等处理都需要对图像重采样。现有技术中，常用的重采样方法有最近邻法、双线性插值法、双三次插值法等。

上述现有方法中，最近邻法速度最快，但马赛克严重，采样结果不连续；双线性插值法结果较连续，但图像变得比较模糊，像经过了平滑一样；双三次插值法，或称三次卷积内插法，最早见于《Cubic convolution interpolationfor digital image processing》(1981)，是获得最广应用的重采样方法，它采用了离采样点最近的4*4邻域点灰度插值计算采样值，在现有算法中保真度最高。然而，在X、Y方向上与基点的相对距离确定后，邻域各点的权重也就确定了，可以说采样点的位置决定了采样结果，和采样位置的邻域内容无关。虽然双三次插值法较双线性插值法的采样结果模糊化程度要轻，但仍然没有能避免模糊化。

另外，一些基于边缘修正的重采样研究文献试图解决模糊化问题，但又引入了其他失真问题，而不具备推广价值。

现有的重采样方法通常只和采样点的位置相关，缺乏对采样部位的内容考虑，因此导致结果图像存在马赛克或模糊等质量退化的问题。在众多重采样方法中，双三次插值法因其计算快速，保真度高而得到了广泛应用，但其易导致边缘部位的模糊现象，在放大图像时尤为明显。

发明内容

针对现有技术中所存在的不足，本发明提出一种内容相关的图像重采样方法及系统，该方法及系统在拥有高保真度的同时，避免了现有方法及系统存在的图像模糊问题，适用于图像旋转、平移、缩放等应用。

本发明解决上述技术问题所采用的技术方案如下所描述：

一种图像重采样方法，包括以下步骤：

(1)计算基础采样结果；

(2)计算原图的梯度、差异度、一阶和二阶偏导信息；

(3)计算基于原图的修正掩模；

(4)对每个采样点，计算5*5邻域内各点到采样部位的预测灰度值；

(5)综合5*5邻域内各点的梯度、差异度、到采样部位的距离等因素，计算各点权重，加权累积得到采样预测值；

(6)基于插值所得采样点掩模值，合成最终采样结果。

进一步，步骤(1)中，采用高斯卷积法计算基础采样结果。

进一步，步骤(5)中，在计算邻域各点权重时，将权重W拆分为几个因子的乘积：

W＝WB·WD·WS

其中，WB为边缘权重因子；WD为距离权重因子，WS为差异量权重因子。

本发明还提供了一种图像重采样系统，包括以下装置：

基础采样结果计算装置：用于计算基础采样结果；

梯度、差异度和偏导信息计算装置：用于计算原图的梯度、差异度、一阶和二阶偏导信息的装置；

修正掩模计算装置：用于计算基于原图的修正掩模；

预测灰度值计算装置：用于对每个采样点计算5*5邻域内各点到采样部位的预测灰度值；

采样预测值计算装置：用于综合5*5邻域内各点的梯度、差异度、到采样部位的距离因素，计算各点权重，加权累积得到采样预测值；

最终采样结果合成装置：用于基于插值所得采样点掩模值，合成最终采样结果。

本发明的效果在于：采用本发明所述的方法及系统对图像重采样时，在拥有高保真度的同时，避免了现有方法带来的图像模糊问题，尤其具备良好的边缘保持性能。无论图像旋转还是放大，都良好的保持了与原图一致的边缘清晰度。在对重采样质量要求很高的应用上(如医学影像)，本发明具有重大实用价值。

附图说明

图1为本发明所述的一种重采样方法的流程图；

图2为旋转前原图；

图3为采用双三次法重采样效果图；

图4为采用本发明所述方法重采样效果图；

图5为原图；

图6为原图局部放大图；

图7为采用双三次法重采样效果图；

图8为采用本发明所述方法重采样效果图；

图9为蕾娜图；

图10为采用双三次法重采样效果图；

图11为采用本发明所述方法重采样效果图；

图12为原图；

图13为采用双三次法重采样效果图；

图14为采用本发明所述方法重采样效果图；

图15为采样点相关范围示意图；

图16为距离权重分布示意图。

具体实施方式

下面结合附图和具体实施例来对本发明进行详细描述。

本发明是一种内容相关的图像重采样方法，它对图像的边缘信息敏感，首先利用普通插值方法得到基础采样结果；而后侦测边缘信息，生成修正掩模；对掩模覆盖下的点，利用二阶导数估算其邻域窗口内各点到采样位置的变化趋势，得到各点抵达采样点处的预测值；将这些邻域预测值加权累积为采样点的预测值，修正初始采样结果。经本方法重建的采样结果边缘与采样前同样清晰。

为保障计算的精度，本实施例中，首先将重采样数据转化为浮点数表示形式，归一化在0-1区间，求得最终采样结果后，在还原为0-255区间的灰阶值。

如图1所示，一种图像重采样方法，包括以下步骤：

一、计算基础采样结果。

本实施例用高斯卷积法求得基础采样结果，实际上，基础采样结果也可以用常规插值方法求得，如采用双三次插值法，经修正后也能得到理想结果，但不宜采用最近邻法，因其得到的采样值不具备平滑连续的特征。

二、计算原图的梯度和差异度、一阶和二阶偏导等信息。

偏导数的主要用在预测当前点到采样点的变化量，一阶导数在计算梯度时也会用到。

原图各点的一阶和二阶偏导的求解公式为：

$f_x^{\′}(x,y)=\frac{(I(x+1,y)-I(x-1,y))}{2},$ $f_y^{\′}(x,y)=\frac{(I(x,y+1)-I(x,y-1))}{2}$

f″_xx(x，y)＝I(x+1，y)+I(x-1，y)-2*I(x，y)，

f″_yy(x，y)＝I(x，y+1)+I(x，y-1)-2*I(x，y)

$f_{\mathrm{xy}}^{\′\′}(x,y)=\frac{[I(x+1,y+1)-I(x-1,y+1)]-[I(x+1,y-1)-I(x-1,y-1)]}{4}$

其中，I(x，y)表示坐标点(x，y)的灰度值，f′(x，y)表示其一阶偏导，f″(x，y)表示二阶偏导，下标指示所求导的变量。

梯度G的计算方式有很多，本实施例采用的梯度公式为：

G(x，y)＝|f′_x(x，y)|+|f′_y(x，y)|

如果被处理图为彩色图，含有多个通道，则每点计算一个复合梯度。

$G(x,y)=\frac{1}{N}\underset{k=1}{\overset{N}{\mathrm{\Σ}}}{G}_k(x,y)$

其中，N为通道的个数，如彩色BMP图含有RGB三个通道，其N值为3。

差异度D是本方法中用来评估各点与其邻域灰度值相似度的度量，实施例中用7*7大小的邻域计算中心部位的差异度，计算公式为：

$S(x,y)=\underset{i=-3}{\overset{3}{\mathrm{\Σ}}}\underset{j=-3}{\overset{3}{\mathrm{\Σ}}}|I(x,y)-I(x+j,y+i)|$

$D(x,y)=\frac{200}{10*S(x,y)+1}$

求得差异度后，还需要在邻域内取最小值削去峰值，对数值进行平滑。

三、计算修正掩模。

图像的平稳区域无论采用何种插值方式，得到的结果都差异不大，无需修正；而边缘及纹理丰富区域，图像内容变化较大，插值结果易于出现偏差，采样不当就能观察到明显模糊现象，是需要重点保障的部位。

修正掩模WM的值是梯度、差异度的共同作用结果，这是因为在图像发生阶变的边缘部位，梯度衰减较快，而常规采样方法下，边缘两侧存在较宽的模糊过渡带，必须予以修正。边缘附近的差异度变化平缓，适合用来标记掩模部位，与梯度配合可从掩模中消去平稳区域，保留边缘等变化区域，得到合理的掩模范围。

计算掩模的公式如下：

WM(x，y)＝[G(x，y)·(a·D(x，y)+b)]²-c

a，b，c为常量，WM的值如落在[0，1]之外的，截断到[0，1]区间。

四、计算邻域各点预测灰度值。

把图像视为连续可导的曲面，已知采样点到其邻域点的偏移量，配合其偏导数，可以预测邻域点到达采样点的变化量，加上邻域点自身灰度值，就得到该邻域点对采样点灰度值的一个预测值。

计算公式如下：

I_b(x+Δx，y+Δy)＝I(x，y)+Δx·f′_x(x，y)+Δy·f′_y(x，y)

+λ·[(Δx)²·f″_xx(x，y)+2Δx·Δy·f″_xy(x，y)+(Δy)²·f″_yy(x，y)]

I_b(x+Δx，y+Δy)表示邻域点(x，y)对采样点(x+Δx，y+Δy)的预测值，λ是一个常量。

五、计算邻域各点权重，合成预测采样值。

如图15所示，本发明使用了采样点所在的5*5邻域，将他们对采样点的预测值加权合成为最终的评估值。计算权重是个复杂的过程，有很多因素需要考虑。

a.距离越接近采样部位的邻域点，其值越接近采样点，权重越大；

b.加大边缘两侧点的权重，抑制边缘上的点，更利于消除模糊；

c.和已有的基础采样值相比，预测值偏离越远，其可信度越低，宜

减小权重；

d.到采样点变化量越小，则过渡越平稳，可信度越高，宜增大权重。

本实施中，在计算权重时，将权重拆分为几个因子的乘积，WB为边缘权重因子；WD为距离权重因子，WS为差异量权重因子。

W＝WB·WD·WS

所述的边缘权重因子WB对边缘敏感，具备保边缘性能。平稳区域WB的值很小，而在非平稳区域，正处于边缘部位的点的权重受抑制，但边缘两侧的点，权重得到增强，本实施例中，结合梯度、差异度计算WB。

T(x，y)＝1-d.G(x，y)·D(x，y)

T(x，y)为一中间量，d为一个常量。

在8邻域构成的0度，45度，90度，135度方向上，若任一方向上T(x，y)的值同时大于两侧的值，则计算其最小差平方，各方向的最小差平方计算公式为：

$D_0=\left\{\begin{array}{cc}0,& T(x,y)<T(x-1,y)\mathrm{orT}(x,y)<T(x+1,y)\\ {\left[\min (T(x,y)-T(x-1,y),T(x,y)-T(x+1,y))\right]}^2,& \mathrm{other}\end{array}\right.$

$D_{45}=\left\{\begin{array}{cc}0,& T(x,y)<T(x+1,y+1)\mathrm{orT}(x,y)<T(x-1,y-1)\\ {\left[\min (T(x,y)-T(x+1,y+1),T(x,y)-T(x-1,y-1))\right]}^2,& \mathrm{other}\end{array}\right.$

$D_{90}=\left\{\begin{array}{cc}0,& T(x,y)<T(x,y-1)\mathrm{orT}(x,y)<T(x,y+1)\\ {\left[\min (T(x,y)-T(x,y-1),T(x,y)-T(x,y+1))\right]}^2,& \mathrm{other}\end{array}\right.$

$D_{135}=\left\{\begin{array}{cc}0,& T(x,y)<T(x+1,y-1)\mathrm{orT}(x,y)<T(x-1,y+1)\\ {\left[\min (T(x,y)-T(x+1,y-1),T(x,y)-T(x-1,y+1))\right]}^2,& \mathrm{other}\end{array}\right.$

B(x，y)＝T(x，y)-[3*(D₄₅+D₁₃₅)+2*(D₀+D₉₀)]

如求得的B(x，y)值小于0，将其赋值为一个大于0的极小值。

下式为WB的计算公式：

WN(x，y)＝[B(x，y)]^c1。

所述的距离权重因子WD强调离采样点越近权重越大，越远的点权重越小，本实施例选用下式积分表征权重。

$y\left(u\right)=\left\{\begin{array}{cc}1-u^4& u\&Element;[-\mathrm{1,1}]\\ 0,& \left|u\right|>1\end{array}\right.$

在X或是Y方向，用t表示采样点距最近邻点在该方向上距离，其5邻域的距离权值表达式如下

${\mathrm{WD}}_i=\frac{{\&Integral;}_l^{h}y\left(u\right)\mathrm{du}}{{\&Integral;}_{-1}^{1}y\left(u\right)\mathrm{du}}i=-2,-\mathrm{1,0,1,2}$

[l，h]＝[g*(t+i-0.5)，g*(t+i+0.5)]，t∈(-0.5，0.5)

式中，g是一个常量，它应保证t变化时，总积分区间大于[-1，1]，这样权重总和才能为1，但若其值过大，则权重集中于最近邻点，丧失调节性，g取(1/2，2/3)之间的值较为合理。

图16中，红线161为5邻域权重值积分区间的划分线，蓝线162为函数y(u)的曲线。由形态可见，靠近采样中心的邻域点权值最大，且在一定范围内衰减较小，但当远离采样中心时，邻域点权值会大幅度衰减，甚至为0.

WD是X和Y方向距离权重的乘积组合：

WD＝WD_i·WD_j

所述的差异量权重因子WS具有平滑作用，它增大与采样点基础采样值差异较小的邻域点的权重。

以I_a表示基础采样值，I_b表示邻域点对采样点的预估值

S(x，y)＝1-[α·|I(x，y)-I_a(x+Δx，y+Δy)|+β·|I(x，y)-I_b(x+Δx，y+Δy)|]·D(x，y)

式中α，β为常量。如果S的值落在[0，1]之外的，截断到[0，1]区间。

WS的计算公式如下：

WS(x，y)＝[3*(S(x，y))²-2*(S(x，y))³]^c2

算得邻域各点权重后，预测值合成公式如下：

$I_c(x+\mathrm{\&Delta;x},y+\mathrm{\&Delta;y})=\underset{i=-2}{\overset{2}{\mathrm{\&Sigma;}}}\underset{j=-2}{\overset{2}{\mathrm{\&Sigma;}}}{W}_{\mathrm{ij}}\&CenterDot;E(x+j,y+i)$

其中，W_ij表示邻域点(x+j，y+i)的权值，

E(x+j，y+i)表示该邻域点对采样点的预测值。

E(x+j，y+i)＝I_b(x+Δ_jx，y+Δ_iy)

Δ_jx＝Δx-j，Δ_iy＝Δy-i

六、合成最终采样值。

用I′表示最终采样值，合成公式如下：

I′＝(1-w)*I_a+w*I_c

I_a表示基础采样值，I_c表示邻域的合成预测值，w表示采样点部位的掩模值。

w基于修正掩模，采用和计算基础采样值同样的插值方法插值而得w_a。

w_b＝1.5*w_a

w＝3w_b ²-2w_b ³

如w的值落在[0，1]之外的，截断到[0，1]区间。

图2是旋转前原图，图3和图4是图2局部图像旋转45度的重采样结果对比，其中，图3是采用双三次法重采样效果图，图4是采用本发明所述的方法重采样效果图。

图5是原图，图6是原图局部放大图，图7和图8是图像平移的重采样结果对比，其中图7是采用双三次法重采样效果图，图8是采用本发明所述的方法重采样效果图。

图9是蕾娜图，图10和图11是图像放大后局部的重采样结果对比，其中，图10是采用双三次法重采样效果图，图11是采用本发明所述的方法重采样效果图。

图12原图，图13和图14是图像放大2倍的重采样结果对比(原始网格为2个像素宽)，其中，图13是采用双三次法重采样效果图，图14是采用本发明所述的方法重采样效果图。

综上，本发明提出了一种与内容相关的图像重采样方法及系统，该方法及系统有别于现有技术中只与位置相关的其他方法(如双三次插值法)，它先由常规插值算法得到基础采样值，而后根据待采样部位的在原图中的邻域内容，加权修正基础采样值。

需要注意的是，上述具体实施例仅仅是示例性的，在本发明的上述教导下，本领域技术人员可以在上述实施例的基础上进行各种改进和变形，而这些改进或者变形落在本发明的保护范围内。本领域技术人员应该明白，上面的具体描述只是为了解释本发明的目的，并非用于限制本发明。本发明的保护范围由权利要求及其等同范围限定。

Claims (12)

1.一种图像重采样方法，包括以下步骤：

(1)计算基础采样结果；

(2)计算原图的梯度、差异度、一阶和二阶偏导信息；

(3)计算基于原图的修正掩模；

(4)对每个采样点，计算5*5邻域内各点到采样部位的预测灰度值；

(5)综合5*5邻域内各点的梯度、差异度、到采样部位的距离因素，计算各点权重，加权累积得到采样预测值；

(6)基于插值所得采样点掩模值，合成最终采样结果。

2.如权利要求1所述的一种图像重采样方法，其特征在于：步骤(1)中，采用高斯卷积法计算基础采样结果。

3.如权利要求1所述的一种图像重采样方法，其特征在于，步骤(2)中，原图各点的一阶和二阶偏导的求解公式为：

$f_x^{\&prime;}(x,y)=\frac{(I(x+1,y)-I(x-1,y))}{2},$ $f_y^{\&prime;}(x,y)=\frac{(I(x,y+1)-I(x,y-1))}{2}$

$f_{\mathrm{xx}}^{\&prime;\&prime;}(x,y)=I(x+1,y)+I(x-1,y)-2*I(x,y),$

$f_{\mathrm{yy}}^{\&prime;\&prime;}(x,y)=I(x,y+1)+I(x,y-1)-2*I(x,y)$

$f_{\mathrm{xy}}^{\&prime;\&prime;}(x,y)=\frac{[I(x+1,y+1)-I(x-1,y+1)]-[I(x+1,y-1)-I(x-1,y-1)]}{4}$

梯度G的计算公式为：

G(x，y)＝|f′_x(x，y)|+|f′_y(x，y)|

如果被处理图为彩色图，含有多个通道，则每点计算一个复合梯度，计算公式如下：

$G(x,y)=\frac{1}{N}\underset{k=1}{\overset{N}{\mathrm{\&Sigma;}}}{G}_k(x,y)$

用7*7大小的邻域计算中心部位的差异度D，计算公式为：

$S(x,y)=\underset{i=-3}{\overset{3}{\mathrm{\&Sigma;}}}\underset{j=-3}{\overset{3}{\mathrm{\&Sigma;}}}|I(x,y)-I(x+j,y+i)|$

$D(x,y)=\frac{200}{10*S(x,y)+1}$

求得差异度后，还需要在邻域内取最小值削去峰值，对数值进行平滑。

4.如权利要求1所述的一种图像重采样方法，其特征在于，步骤(3)中，计算掩模的公式如下：

WM(x，y)＝[G(x，y)·(a·D(x，y)+b)]²-c

其中，a，b，c为常量，WM的值如落在[0，1]之外的，截断到[0，1]区间。

5.如权利要求1所述的一种图像重采样方法，其特征在于，步骤(4)中，所述的预测灰度值的计算公式如下：

I_b(x+Δx，y+Δy)＝I(x，y)+Δx·f′_x(x，y)+Δy·f′_y(x，y)

+λ·[(Δx)²·f″_xx(x，y)+2Δx·Δy·f″_xy(x，y)+(Δy)²·f″_yy(x，y)]

I_b(x+Δx，y+Δy)表示邻域点(x，y)对采样点的预测值，λ是一个常量。

6.如权利要求1所述的一种图像重采样方法，其特征在于，步骤(5)中，在计算邻域各点权重时，将权重W拆分为几个因子的乘积：

W＝WB·WD·WS

其中，WB为边缘权重因子；WD为距离权重因子，WS为差异量权重因子。

7.如权利要求6所述的一种图像重采样方法，其特征在于，结合梯度、差异度计算WB，方法如下：

T(x，y)＝1-d.G(x，y)·D(x，y)

在8邻域构成的0度，45度，90度，135度方向上，若任一方向上T(x，y)的值同时大于两侧的值，则计算其最小差平方，以0度方向D₀为例

$D_0=\left\{\begin{array}{cc}0,& T(x,y)<T(x-1,y)\mathrm{orT}(x,y)<T(x+1,y)\\ {\left[\min (T(x,y)-T(x-1,y),T(x,y)-T(x+1,y))\right]}^2,& \mathrm{other}\end{array}\right.$

同理计算在其他方向上的最小差平方D₄₅，D₉₀，D₁₃₅；

B(x，y)＝T(x，y)-[3*(D₄₅+D₁₃₅)+2*(D₀+D₉₀)]

如求得的B(x，y)值小于0，将其赋值为一个大于0的极小值；

下式为WB的计算公式：

WB(x，y)＝[B(x，y)]^c1。

8.如权利要求6所述的一种图像重采样方法，其特征在于，所述的距离权重因子WD强调离采样点越近权重越大，越远的点权重越小，选用下式积分表征权重：

$y\left(u\right)=\left\{\begin{array}{cc}1-u^4& u\&Element;[-\mathrm{1,1}]\\ 0,& \left|u\right|>1\end{array}\right.$

其中，在X或是Y方向，用t表示采样点距最近邻点在该方向上距离，其5邻域的距离权值表达式如下

${\mathrm{WD}}_i=\frac{{\&Integral;}_l^{h}y\left(u\right)\mathrm{du}}{{\&Integral;}_{-1}^{1}y\left(u\right)\mathrm{du}}$ i＝-2，-1，0，1，2

[l，h]＝[g*(t+i-0.5)，g*(t+i+0.5)]，t∈(-0.5，0.5)

式中，g是一个常量，它应保证t变化时，总积分区间大于[-1，1]，这样权重总和才能为1，但若其值过大，则权重集中于最近邻点，丧失调节性，g取(1/2，2/3)之间的值；

WD是X和Y方向距离权重的乘积组合：

WD＝WD_i·WD_j

9.如权利要求6所述的一种图像重采样方法，其特征在于，所述的差异量权重因子WS具有平滑作用，它增大与采样点基础采样值差异较小的邻域点的权重；

以I_a表示基础采样值，I_b表示邻域点对采样点的预估值；

S(x，y)＝1-[α·|I(x，y)-I_a(x+Δx，y+Δy)|+β·|I(x，y)-I_b(x+Δx，y+Δy)|]·D(x，y)

式中α，β为常量，如果S的值落在[0，1]之外的，截断到[0，1]区间；

WS的计算公式如下：

WS(x，y)＝[3*(S(x，y))²-2*(S(x，y))³]^c2。

10.如权利要求1所述的一种图像重采样方法，其特征在于：步骤(5)中，算得邻域各点权重后，合成预测值的公式如下：

$I_c(x+\mathrm{\&Delta;x},y+\mathrm{\&Delta;y})=\underset{i=-2}{\overset{2}{\mathrm{\&Sigma;}}}\underset{j=-2}{\overset{2}{\mathrm{\&Sigma;}}}{W}_{\mathrm{ij}}\&CenterDot;E(x+j,y+i)$

其中，W_ij表示邻域点(x+j，y+i)的权值，

E(x+j，y+i)表示该邻域点对采样点的预测值，

E(x+j，y+i)＝I_b(x+Δ_jx，y+Δ_iy)。

Δ_jx＝Δx-j，Δ_iy＝Δy-i

11.如权利要求1所述的一种图像重采样方法，其特征在于：步骤(6)中，用I′表示最终采样值，合成公式如下：

I′＝(1-w)*I_a+w*I_c

I_a表示基础采样值，I_c表示邻域的合成预测值，w表示采样点部位的掩模值；

w基于修正掩模，采用和计算基础采样值同样的插值方法插值而得w_a；

w_b＝1.5*w_a

w＝3w_b ²-2w_b ³

如w的值落在[0，1]之外的，截断到[0，1]区间。

12.一种图像重采样系统，包括以下装置：

基础采样结果计算装置：用于计算基础采样结果；

梯度、差异度和偏导信息计算装置：用于计算原图的梯度、差异度、一阶和二阶偏导信息的装置；

修正掩模计算装置：用于计算基于原图的修正掩模；

预测灰度值计算装置：用于对每个采样点计算5*5邻域内各点到采样部位的预测灰度值；

采样预测值计算装置：用于综合5*5邻域内各点的梯度、差异度、到采样部位的距离因素，计算各点权重，加权累积得到采样预测值；

最终采样结果合成装置：用于基于插值所得采样点掩模值，合成最终采样结果。

Images