CN109447904A - 基于局部双二次多项式插值的数字图像放大方法 - Google Patents

Abstract

本发明公开了一种基于局部双二次多项式插值的数字图像放大方法，该方法包括以下步骤：对输入的低分辨率图像采用最小二乘方法计算每个像素点处的一阶偏导数；对一阶偏导数进行双二次样条插值，得到每对相邻像素中点处的一阶偏导数；遍历每个像素点，在[i‑1,i+1]×[j‑1,j+1]区域上以一阶偏导数作为插值条件，分别进行二次样条插值和Hermite插值产生新的像素点；将[i‑1,i+1]×[j‑1,j+1]区域分成9个子区域，并构造每个子区域的拟合曲面片；将每四个相邻像素处的曲面片加权组合，拼合到一起形成整体拟合曲面；整体拟合曲面重采样得到初次放大的高分辨率图像；计算残差图像并将放大的残差图像投影到高分辨率图像上，重复此步骤，直到达到停止条件则停止迭代，完成图像放大。本发明的方法生成的放大图像具有较高的精度和较好的视觉效果。

Description

基于局部双二次多项式插值的数字图像放大方法

技术领域

本发明涉及图像处理技术领域，具体涉及一种基于局部双二次多项式插值的数字图像放 大方法。

背景技术

图像放大是从给定的低分辨率图像中重构出高分辨率图像的处理技术，在图像信息处理 中是非常重要的辅助方法，在视频监控、邢事侦查、遥感技术、医学图像处理等领域都有广 泛的应用。

图像放大方法的种类很多，其中，插值方法是目前应用比较广泛且成熟的技术，使用邻 域的像素来估计未知的高分辨率图像的像素。

传统的图像放大插值算法，例如双线性插值和双三次插值，操作简单，效果不错。然而， 这些方法本质上都是用预先设定的光滑函数来拟合原曲面，由于其固定性的限制，不能很好 地反映图像的结构信息，放大后的图像具有比较明显的方块和锯齿状形状。

还有一些边缘导向的插值方法对传统插值方法进行了改进，来获得图像的边缘结构信息， 使得放大后的图像边缘更清晰，提高了视觉效果。然而，这些方法仍会产生部分失真，使得 放大图像质量不高。

发明内容

为了克服上述现有技术存在的不足，本发明提供了一种基于局部双二次多项式插值的数 字图像放大方法，本发明的方法生成的放大图像具有较高的精度和较好的视觉效果。

为了实现上述目的，本发明采用如下技术方案：

采用二次样条插值和Hermite插值在相邻像素中点处和网格中心点处插值出新的像素点， 将[i-1,i+1]×[j-1,j+1]区域分成9个子区域，分别构造每个子区域的拟合曲面片，组成中心 像素点处的拟合曲面；然后由四个相邻像素处的曲面片加权组合拼合到一起形成整体拟合曲 面，重采样得到初次放大的高分辨率图像；计算残差图像并将放大的残差图像投影到得到的 高分辨率图像上，重复此步骤，直到达到停止条件则停止迭代，完成图像放大。

本发明的具体步骤为：

1)对输入的低分辨率图像采用最小二乘方法计算每个像素点处的一阶偏导数；

2)对一阶偏导数进行双二次样条插值，得到每对相邻像素中点处的一阶偏导数；

3)遍历每个像素点，在[i-1,i+1]×[j-1,j+1]区域上以一阶偏导数作为插值条件，分别 进行二次样条插值和Hermite插值；

4)将[i-1,i+1]×[j-1,j+1]区域分成9个子区域，构造每个子区域的拟合曲面片，拼合 在一起构成中心像素点处的拟合曲面；

5)每四个相邻像素处的曲面片加权组合形成整体拟合曲面；

6)整体拟合曲面重采样得到初次放大的高分辨率图像H₀；

7)计算残差图像并将放大的残差图像投影到得到的高分辨率图像上，重复此步骤，直到 达到停止条件则停止迭代，完成图像放大。

本发明的有益效果：

采用双二次样条和Hermite插值对低分辨率图像进行插值，在得到的高分辨率图像的每个 3*3子区域上以边缘为约束构造原曲面的双二次拟合曲面，减少了放大图像的锯齿形状和马 赛克效应，使放大图像的精度得到提高。

附图说明

图1是本发明的流程示意图；

图2是由原图像像素点处的一阶偏导数插值得到的每对相邻像素中点处的一阶偏导数示 意图；

图3是由9个原图像像素点插值得到25个像素点示意图；

图4是[i-1,i+1]×[j-1,j+1]区域上的3种类型的子区域示意图；

图5是曲面片加权组合时的像素分布。

具体实施方式

下面结合附图与实施例对本发明作进一步说明。

如图1所示，包括以下步骤：

1、对输入的低分辨率图像采用最小二乘方法计算每个像素点处的一阶偏导数；

像素点处的一阶偏导数计算方法如下：

令u＝x-i,v＝y-j，四次多项式曲面f_i,j(x,y)在uv平面的 [i-2.5,i+2.5]×[j-2.5,j+2.5]区域上可写成：

f_i,j(x,y)＝a₀u²v²+a₁u²v+a₂uv²+a₃u²+a₄uv+a₅v²+a₆u+a₇v+a₈ (1)

其中，a₀,a₁,…,a₈是未知的曲面片系数。

由采样原理知，像素P_i,j是原曲面单位面积上的采样值，为使四次曲面f_i,j(x,y)尽可能逼 近原曲面，假设逼近曲面由式(1)定义，则有采样公式：

则由式子(1)和(2)可得：

为了方便表示，令

g_i,j(x,y)＝b₀u²v²+b₁u²v+b₂uv²+b₃uv+b₄u²+b₅v²+b₆u+b₇v+b₈ (4)

对g_i,j(x,y)求x方向和y方向的一阶偏导数有：

将x＝i,y＝j带入式(5)可得，g_i,j(x,y)在(i,j)处x方向的一阶偏导数为b₆，y方向的一阶 偏导数为b₇。

b₆，b₇的求解方法如下：

由式子(4)可得下面的条件成立：

其中

c₁＝(P_i+1,j-P_i-1,j)/2,c₂＝(P_i,j+1-P_i,j-1)/2,

c₃＝(P_i+1,j+1-P_i-1,j-1)/2,c₄＝(P_i-1,j+1-P_i+1,j-1)/2,

c₅＝(P_i+1,j+2-P_i-1,j-2)/2,c₆＝(P_i-1,j+2-P_i+1,j-2)/2,

c₇＝(P_i+2,j+1-P_i-2,j-1)/2,c₈＝(P_i-2,j+1-P_i+2,j-1)/2

对于式子(6)中的前4个等式，利用最小二乘法求得a₆,a₇关于a₁,a₂的表达式。令

其中，w₁,w₂,w₃,w₄为权重系数。

为最小化目标函数G₁(b₁,b₂,b₆,b₇)，即令：

由式(8)可得

其中，

其中，为了方便表示，引入λ作为中间变量。

将式(9)带入式(6)中得到关于b₁,b₂的8个等式h_i(b₁,b₂)＝c_i,i＝1,2,…,8，再次利用最 小二乘法确定b₁,b₂的值，即极小化下面的式子：

其中，式子(7)和式子(10)中的权重系数w₁,w₂,…,w₈由下式定义：

其中，Δ_i表示不同方向上像素的变化程度，若变化较小，则该方向是图像边缘的可能性 较大，应该赋予较大的权重，Δ_i由下式定义：

d_i为不同方向的相邻像素之间的距离，且有：

将求得的b₁,b₂带入式子(9)得到b₆,b₇的值，即g_i,j(x,y)在像素P_i,j处x方向和y方向的 一阶偏导数。

2、对一阶偏导数进行双二次样条插值，得到每对相邻像素中点处的一阶偏导数；

以像素点处的一阶偏导数为插值点，以图像每一行或者每一列的第一个和最后一个像素 处的二阶导数为样条曲线两端点处的斜率，对图像的每一行和每一列分别进行二次样条曲线 插值，得到两相邻像素中点处的一阶偏导数。两相邻像素的中点如图2所示，其中，实心点 是原像素点，空心点是中间像素点，具体插值方法如下：

遍历图像的每一行，利用上一步求得的原像素点处的x方向的一阶偏导数作为二次样条 曲线上的函数值，令该行第一个和最后一个像素点处样条曲线的斜率为0，进行二次样条曲 线插值，得到该行中每对相邻原像素中点处的x方向的一阶偏导数；类似的，对y方向的一 阶偏导数进行插值；

同理，遍历图像的每一列，分别对x方向和y方向的一阶偏导数进行二次样条插值插值， 得到该列中每对相邻像素中点处的x和y方向的一阶偏导数。

3、遍历每个像素点，在[i-1,i+1]×[j-1,j+1]区域上以一阶偏导数作为插值条件，分别 进行二次样条插值和Hermite插值；

在[i-1,i+1]×[j-1,j+1]区域上，利用9个原图像像素点经过插值后共有25个像素点， 如图3所示，实心点是原像素点，网格交点是需要插值出的像素点。具体插值方法如下：

3-1)对于x方向像素点的插值，利用P_i-1,j,P_i,j,P_i+1,j三个原图像像素点，以(i-1,j)和 (i+1,j)处x方向的一阶偏导数作为插值曲线在(i-1,j)和(i+1,j)处的斜率，进行二次样条插 值，得到(i-0.5,j)和(i+0.5,j)处的像素值，同理，利用P_i-1,j-1,P_i,j-1,P_i+1,j-1可插值得到(i-0.5,j-1) 和(i+0.5,j-1)处的像素值，利用P_i-1,j+1,P_i,j+1,P_i+1,j+1可插值得到(i-0.5,j+1)和(i+0.5,j+1)处的像 素值，共得到6个新像素；对于y方向像素点的插值与x方向类似，以相应像素点处的y方 向上的一阶偏导数作为二次样条插值的条件，也得到6个新像素。

3-2)对于(i-0.5,j-0.5)处的像素值，先利用原像素点P_i-1,j-1,P_i,j和它们的一阶偏导数进 行Hermite插值得到中点(i-0.5,j-0.5)处的像素值，再利用原像素点P_i-1,j,P_i,j-1和它们的一阶 偏导数进行Hermite插值得到中点(i-0.5,j-0.5)处的像素值，以这两次插值的结果的加权平 均作为(i-0.5,j-0.5)处的像素值；同理可得到(i-0.5,j+0.5)、(i+0.5,j-0.5)和 (i+0.5,j+0.5)处的像素值，共插值出4个新像素。

4、将[i-1,i+1]×[j-1,j+1]区域分成9个子区域，构造每个子区域的拟合曲面片，拼合在 一起构成中心像素点处的拟合曲面；

子区域分为三种类型：中心区域(a)、边区域(b)和角区域(c)，如图4所示。假设子区域的 曲面片可写成如下形式：

l(x,y)＝a₀u²v²+a₁u²v+a₂uv²+a₃u²+a₄uv+a₅v²+a₆u+a₇v+a₈ (14)

其中，u＝x-i,v＝y-j，a₀,a₁,…,a₈是未知的曲面片系数。

与步骤1类似的，由于假设像素值是从曲面片上采样得到，逼近曲面由式子(14)定义，由 式子(2)可得：

其中，

对曲面片的一阶偏导数和二阶混合偏导数为：

每个子区域都需要求解3类曲面片系数b₀,b₁,…,b₈，因此至少需要9个已知条件。三种类 型的曲面片系数b₀,b₁,…,b₈的求解方法如下：

4-1)对于中心区域的子曲面片，根据步骤3的插值结果，已知 P_i-0.5,j-0.5,P_i,j-0.5,P_i+0.5,j-0.5,P_i-0.5,j,P_i,j,P_i+0.5,j,P_i-0.5,j+0.5,P_i,j+0.5,P_i+0.5,j+0.59个像素值，带入曲面片方程式子(15)可解得未知的中间曲面片系数；

4-2)对于边区域的子曲面片，以图4(b)中位于上方的子曲面片为例，利用P_i-1,j-0.5,P_i-1,j,P_i-1,j+0.5,P_i-0.5,j-0.5,P_i-0.5,j,P_i-0.5,j+0.56个像素值和(i-1,j-0.5),(i-0.5,j),(i-1,j+0.5) 处x方向的一阶偏导数作为9个已知条件，带入式(15)和(17)中，其中一阶偏导数是步 骤2中插值得到的。同理，得到下方、左面和右面的边区域子曲面片的系数；

4-3)对于角区域的曲面片，以图4(c)中右上角的子曲面片为例，利用 P_i-1,j+0.5,P_i-1,j+1,P_i-0.5,j+0.5,P_i-0.5,j+14个像素值，(i-1,j+0.5),(i-1,j+1)处x方向的一阶偏导数，(i-1,j+1),(i-0.5,j+1)处y方向的一阶偏导数，以及假设(i-1,j+1)处的二阶混合偏导数为0 作为已知条件，带入式(15)和(17)中，即可解得9个未知的曲面片系数。同理，得到左上角、左下角、右下角的子曲面片的系数；

将上面得到的子曲面片系数b₀,b₁,…,b₈带入式子(16)，得到a₀,a₁,…,a₈，从而得到各个 子曲面片函数。将9个子曲面片拼合到一起构成像素点(i,j)处的拟合曲面片，记为f_i,j(x,y)。

5、每四个相邻像素处的曲面片加权组合形成整体拟合曲面；

每四个相邻像素对应的四边形区域是四个曲面片重叠的部分，将其加权平均得到拟合曲 面f(x,y)在该区域的表示B_i,j(x,y)，公式如下：

B_i,j(x,y)＝(1-u)(1-v)f_i,j(x,y)+u(1-v)f_i+1,j(x,y)+(1-u)vf_i,j+1(x,y)+uvf_i+1,j+1(x,y) (18)

其中，u＝x-i,v＝y-j，f_i,j、f_i+1,j、f_i,j+1、f_i+1,j+1是四边形区域四个顶点处的曲面片，如图5 所示。

所有四边形区域上的曲面片B_i,j(x,y)拼合在一起构成整体拟合曲面f(x,y)。

6、整体拟合曲面重采样得到初次放大的高分辨率图像H₀；

在得到的拟合曲面f(x,y)的相应位置进行采样，得到高分辨率图像，采样公式如下：

其中h＝1/(2*scale),scale为放大倍数，例如，当放大两倍时h＝0.25。

7、计算残差图像并将放大的残差图像投影到得到的高分辨率图像上，重复此步骤，直到 达到停止条件则停止迭代，完成图像放大。

对步骤6得到的高分辨图像H₀降采样，计算降采样图像与输入的低分辨率图像的残差图 像，然后用步骤1至步骤6对其进行放大，得到与H₀具有相同分辨率的重构残差图像，将重 构的残差图像再投影到高分辨率图像H₀上。

当连续两次迭代的得到的高分辨率图像的PSNR值的差的绝对值小于终止条件ε或方法 超出最大迭代次数限制时迭代结束。

综上，本发明通过构造多项式拟合曲面实现图像放大，提出了一种基于数据点插值的数 字图像放大方法。本发明方法采用二次样条和Hermite插值出新的图像像素，并以这些像素 点为约束，在不同区域上分别构造三种类型的拟合曲面片，由邻域像素处的拟合曲面片加权 平均得到整体拟合曲面，最后将重构的残差图像投影到高分辨率图像上，并迭代执行直至到 达停止条件，完成图像放大，生成的放大图像具有较高的精度和较好的视觉效果。

上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限 制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付 出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (9)

1.基于局部双二次多项式插值的数字图像放大方法，其特征是，主要包含以下几个步骤：

步骤1对输入的低分辨率图像采用最小二乘方法计算每个像素点处的一阶偏导数；

步骤2对一阶偏导数进行双二次样条插值，得到每对相邻像素中点处的一阶偏导数；

步骤3遍历每个像素点，在[i-1,i+1]×[j-1,j+1]区域上以一阶偏导数作为插值条件，分别进行二次样条插值和Hermite插值；

步骤4将[i-1,i+1]×[j-1,j+1]区域分成9个子区域，构造每个子区域的拟合曲面片，拼合在一起构成中心像素点处的拟合曲面；

步骤5每四个相邻像素处的曲面片加权组合形成整体拟合曲面；

步骤6整体拟合曲面重采样得到初次放大的高分辨率图像；

步骤7计算残差图像并将放大的残差图像投影到得到的高分辨率图像上，重复此步骤，直到达到停止条件则停止迭代，完成图像放大。

2.如权利要求1所述的基于局部双二次多项式插值的数字图像放大方法，其特征是，所述步骤1包括：

像素点处一阶偏导数的计算方法如下：

令u＝x-i,v＝y-j，四次多项式曲面f_i,j(x,y)在uv平面的[i-2.5,i+2.5]×[j-2.5,j+2.5]区域上可写成：

f_i,j(x,y)＝a₀u²v²+a₁u²v+a₂uv²+a₃u²+a₄uv+a₅v²+a₆u+a₇v+a₈ (1)

其中，a₀,a₁,…,a₈是未知的曲面片系数；

由采样公式和式(1)可得：

令

g_i,j(x,y)＝b₀u²v²+b₁u²v+b₂uv²+b₃uv+b₄u²+b₅v²+b₆u+b₇v+b₈ (4)

采用最小二乘方法计算g_i,j(x,y)在(i,j)处x和y方向的一阶偏导数b₆和b₇，b₆和b₇即为像素P_i,j处的一阶偏导数。

3.如权利要求2所述的基于局部双二次多项式插值的数字图像放大方法，其特征是，所述计算g_i,j(x,y)在(i,j)处x和y方向的一阶偏导数b₆和b₇包括：

由采样公式可得下面的条件成立：

其中

c₁＝(P_i+1,j-P_i-1,j)/2,c₂＝(P_i,j+1-P_i,j-1)/2,

c₃＝(P_i+1,j+1-P_i-1,j-1)/2,c₄＝(P_i-1,j+1-P_i+1,j-1)/2,

c₅＝(P_i+1,j+2-P_i-1,j-2)/2,c₆＝(P_i-1,j+2-P_i+1,j-2)/2,

c₇＝(P_i+2,j+1-P_i-2,j-1)/2,c₈＝(P_i-2,j+1-P_i+2,j-1)/2

对于式子(6)中的前4个等式，利用加权的最小二乘法求得b₆,b₇关于b₁,b₂的表达式，带入式(6)中得到关于b₁,b₂的8个等式h_i(b₁,b₂)＝c_i,i＝1,2,…,8，再利用加权的最小二乘法确定b₁,b₂的值，将求得的b₁,b₂带入式子(9)得到b₆,b₇的值，即g_i,j(x,y)在像素P_i,j处x方向和y方向的一阶偏导数。

4.如权利要求1所述的基于局部双二次多项式插值的数字图像放大方法，其特征是，所述步骤2包括：

以像素点处的一阶偏导数为插值点，以图像每一行或者每一列的第一个和最后一个像素处的二阶导数为样条曲线两端点处的斜率，对图像的每一行和每一列分别进行二次样条曲线插值，得到两相邻像素中点处的一阶偏导数。

5.如权利要求1所述的基于局部双二次多项式插值的数字图像放大方法，其特征是，所述步骤3包括：

在[i-1,i+1]×[j-1,j+1]区域上，9个原图像像素点插值后共有25个像素点，具体插值方法如下：

3-1)在x方向和y方向，分别以行和列上的原图像像素为数据点，以一阶偏导数作为两端处的斜率进行二次样条插值，得到水平和垂直方向上12个新像素；

3-2)在四边形区域的两个对角线方向上分别进行Hermite插值，将两次插值的结果加权平均得到位于四边形区域中心处的新像素，[i-1,i+1]×[j-1,j+1]区域上9个原图像像素构成了4个四边形区域，插值出4个新像素。

6.如权利要求1所述的基于局部双二次多项式插值的数字图像放大方法，其特征是，所述步骤4包括：

子区域分为三种类型：中心区域、边区域和角区域，假设每个子区域的曲面片可写成：

l(x,y)＝a₀u²v²+a₁u²v+a₂uv²+a₃u²+a₄uv+a₅v²+a₆u+a₇v+a₈ (14)

其中，u＝x-i,v＝y-j，a₀,a₁,…,a₈是未知的曲面片系数，

由采用公式和式子(14)可得：

其中，

曲面片的一阶偏导数和二阶混合偏导数为：

利用原图像像素和步骤3插值得到的像素求解三种类型曲面片的系数b₀,b₁,…,b₈，再将其带入式子(16)得到a₀,a₁,…,a₈，从而求得各个子曲面片函数；9个子曲面片拼合到一起构成像素点(i,j)处的拟合曲面片，记为f_i,j(x,y)。

7.如权利要求6所述的基于局部双二次多项式插值的数字图像放大方法，其特征是，所述求解三种类型曲面片的系数b₀,b₁,…,b₈包括：

4-1)对于中心区域的子曲面片，根据步骤3的插值结果，已知P_i-0.5,j-0.5,P_i,j-0.5,P_i+0.5,j-0.5,P_i-0.5,j,P_i,j,P_i+0.5,j,P_i-0.5,j+0.5,P_i,j+0.5,P_i+0.5,j+0.59个像素值，带入曲面片方程式子(15)可解得未知的中间曲面片系数；

4-2)对于边区域的子曲面片，以上边的子曲面片为例，利用P_i-1,j-0.5,P_i-1,j,P_i-1,j+0.5,P_i-0.5,j-0.5,P_i-0.5,j,P_i-0.5,j+0.56个像素值和(i-1,j-0.5),(i-0.5,j),(i-1,j+0.5)处x方向的一阶偏导数作为9个已知条件，带入式(15)和式(17)中，其中一阶偏导数是步骤二中插值得到的，同理，得到下边、左边和右边的边区域子曲面片的系数；

4-3)对于角区域的子曲面片，以右上角的子曲面片为例，利用P_i-1,j+0.5,P_i-1,j+1,P_i-0.5,j+0.5,P_i-0.5,j+14个像素值，(i-1,j+0.5),(i-1,j+1)处x方向的一阶偏导数，(i-1,j+1),(i-0.5,j+1)处y方向的一阶偏导数，以及假设(i-1,j+1)处的二阶混合偏导数为0作为已知条件，带入式(15)、(17)，即可解得9个未知的曲面片系数，同理，得到左上角、左下角、右下角的子曲面片的系数。

8.如权利要求1所述的基于局部双二次多项式插值的数字图像放大方法，其特征是，所述步骤5包括：

每4个相邻像素对应的四边形区域是4个曲面片重叠的部分，将其加权平均得到拟合曲面f(x,y)在该区域的表示B_i,j(x,y)，公式如下：

B_i,j(x,y)＝(1-u)(1-v)f_i,j(x,y)+u(1-v)f_i+1,j(x,y)+(1-u)vf_i,j+1(x,y)+uvf_i+1,j+1(x,y) (18)

其中，u＝x-i,v＝y-j，f_i,j、f_i+1,j、f_i,j+1、f_i+1,j+1是四边形区域四个顶点处的曲面片，所有四边形区域上的曲面片B_i,j(x,y)拼合在一起构成整体拟合曲面f(x,y)。

9.如权利要求1所述的基于局部双二次多项式插值的数字图像放大方法，其特征是，所述步骤7包括：

对步骤6得到的高分辨图像H₀降采样，计算降采样图像与输入的低分辨率图像的残差图像，然后用步骤1至步骤6对其进行放大，得到与H₀具有相同分辨率的重构残差图像，再将重构的残差图像投影到高分辨率图像H₀上；

当连续两次迭代的得到的高分辨率图像的PSNR值的差的绝对值小于终止条件ε或方法超出最大迭代次数限制时迭代结束。