CN111507903A - 基于五曲面片加权平均拟合的图像放大方法和装置 - Google Patents

Abstract

本发明公开了一种基于五曲面片加权平均拟合的图像放大方法和装置，属于图像处理领域。本发明将图像重叠的分成4×4大小的图像块，然后将每个4×4图像块分成4个3×3大小的图像子块，在每个子块上构造一个二次多项式曲面片；再在4×4的图像块上构造一个二次多项式曲面片；为5张曲面片构造权函数；在每个正方形区域上，对5个曲面片加权平均生成双四次多项式拟合曲面片，将所有双四次多项式拟合曲面片拼接在一起组成原场景的近似曲面；对原场景的近似曲面重采样，即可得到不同倍数的放大图像。本发明的图像放大方法简单有效，在较好的保持图像细节和边缘前提下有较高的算法效率。

Description

基于五曲面片加权平均拟合的图像放大方法和装置

技术领域

本发明涉及图像处理领域，特别是指一种基于五曲面片加权平均拟合的图像放大方法和装置。

背景技术

图像放大旨在增多图像的像素点，使图像的细节和纹理信息等更加清晰。图像放大是计算机图形学、计算机视觉、图像处理、医学图像处理和遥感图像处理领域的关键问题之一，其应用非常广泛。近年来，随着互联网的应用越来越广泛和深入，图像放大技术也受到越来越多的关注。

电子传感器把光学影像转换成电子数据，并以数字图像的形式存储于相关设备中。显然，通过硬件设备提高图像分辨率的方法成本昂贵，也不易推广。而通过软件技术提高图像分辨率不仅成本很低而且非常高效便捷。提高图像的分辨率意味着对图像原场景的单位面积增加采样密度。利用已知的图像信息重构图像所对应的原场景成了图像放大的关键，且对原场景刻画的越精细，高分辨图像的质量则越高。因此，图像放大问题变成了对图像原场景的反向构造问题。

假定图像P(由W×H个像素组成)所对应的原场景能用一个曲面F(x,y)来表示，则像素点P_i,j可视为在图像P原场景中单位面积上的采样值，因此P_i,j定义如下：

其中，(i,j)表示P_i,j对应的xy平面上的坐标值。

直接求解曲面F(x,y)不仅计算复杂度较高，而且对边缘的拟合效果也较差。常见的方法是分块求解曲面F(x,y)，在以像素点P_i,j为中心的局部区域构造曲面片f_i,j(x,y)，将所有曲面片加权平均组合在一起来近似曲面F(x,y)。在以像素点P_i,j为中心的每个3×3区域上构造一个二次多项式曲面片：

f_i,j(x,y)＝a₁x²y²+a₂x²y+a₃xy²+a₄x²+a₅xy+a₆y²+a₇x+a₈y+a₉

以像素点P_i,j，P_i,j+1，P_i+1,j和P_i+1,j+1为中心的曲面片分别为f_i,j(x,y)，f_i,j+1(x,y)，f_i+1,j(x,y)和f_i+1,j+1(x,y)，四张曲面加权平均形成正方形[i,j]×[i+1,j+1]上的双三次多项式曲面片B_i,j(x,y)，所有曲面片B_i,j(x,y)拼接在一起构成了曲面F(x,y)的近似曲面B(x,y)。

上述算法中，如果3×3的区域只是原场景中的某个对象一部分，有时会对原场景过拟合，导致整体曲面上某些部分摆动较大，产生模糊图像块。如果3×3区域存在原场景中的多个对象，会使曲面片不能正确地表示边界信息，导致该区域的边缘锯齿状或模糊。

发明内容

为解决上述技术问题，本发明提供一种基于五曲面片加权平均拟合的图像放大方法和装置，本发明的图像放大简单有效，在较好的保持图像细节和边缘前提下有较高的算法效率。

本发明提供技术方案如下：

第一方面，本发明提供一种基于五曲面片加权平均拟合的图像放大方法，所述方法包括：

S1：将图像有重叠的分成4×4大小的图像块；

S2：将每个4×4大小的图像块分成4个3×3大小的图像子块，在每个图像子块上构造一个二次多项式曲面片；

S3：在每个4×4的图像块上构造一个二次多项式曲面片；

S4：为每个图像块对应的五张二次多项式曲面片构造权函数；

S5：将每个图像块对应的五张二次多项式曲面片按照权函数加权平均，得到每个图像块对应的双四次多项式拟合曲面片；

S6：将所有双四次多项式拟合曲面片拼接在一起，组成原场景的近似曲面；

S7：对原场景的近似曲面按照设定的采样密度进行重采样，得到设定倍数的放大图像。

进一步的，所述S1包括：

将图像以1为步长，有重叠的分成4×4大小的图像块，每个图像块对应的像素为P_i+k,j+l，k,l＝-1,0,1,2，i＝2,3,4,…,W-1，j＝2,3,4,…,H-1，W和H分别为图像的宽度和长度；

所述S2包括：

将每个4×4大小的图像块以1为步长，有重叠的分成4个3×3大小的图像子块，四个图像子块分别以像素P_i,j，P_i,j+1，P_i+1,j和P_i+1,j+1为中心；

在以像素P_i,j，P_i,j+1，P_i+1,j和P_i+1,j+1为中心的图像子块上分别构造二次多项式曲面片f_i,j(x,y)，f_i,j+1(x,y)，f_i+1,j(x,y)和f_i+1,j+1(x,y)：

f_i,j(x,y)＝a_i,j,1u²+a_i,j,2uv+a_i,j,3v²+a_i,j,4u+a_i,j,5v+a_i,j,6

f_i,j+1(x,y)＝a_i,j+1,1u²+a_i,j+1,2uv+a_i,j+1,3v²+a_i,j+1,4u+a_i,j+1,5v+a_i,j+1,6

f_i+1,j(x,y)＝a_i+1,j,1u²+a_i+1,j,2uv+a_i+1,j,3v²+a_i+1,j,4u+a_i+1,j,5v+a_i+1,j,6

f_i+1,j+1(x,y)＝a_i+1,j+1,1u²+a_i+1,j+1,2uv+a_i,j+1,3v²+a_i+1,j+1,4u+a_i+1,j+1,5v+a_i+1,j+1,6

其中，i＝2,3,4,…,W-1，j＝2,3,4,…,H-1，u＝x-i,v＝y-j，(x,y)为二次多项式曲面片上像素点的横纵坐标；

和a_i+m,j+n,5由带约束的最小二乘法确定，m,n＝0,1。

进一步的，所述S3包括：

在每个4×4的图像块上构造一个二次多项式曲面片f_i+c,j+c(x,y)：

f_i+c,j+c(x,y)＝b₁u²+b₂uv+b₃v²+b₄u(1-u)+b₅v(1-v)+P_i,j；

其中，b₁＝P_i,j+1-P_i,j，b₂＝P_i+1,j+1+P_i,j-P_i,j+1-P_i+1,j，b₃＝P_i+1,j-P_i,j，b₄和b₅由带约束的最小二乘法确定。

进一步的，f_i,j(x,y)，f_i,j+1(x,y)，f_i+1,j(x,y)，f_i+1,j+1(x,y)和f_i+c,j+c(x,y)的权函数分别为w_i,j(x,y),w_i+1,j(x,y),w_i+1,j+1(x,y),w_i,j+1(x,y)和w_i+c,j+c(x,y)；

w_i+c,j+c(x,y)＝4u(1-u)v(1-v)

和

分别为系数，p,q＝0,1。

进一步的，所述双四次多项式拟合曲面片为B_i,j(x,y)；

B_i,j(x,y)＝w_i,j(x,y)f_i,j(x,y)(x,y)+w_i+1,j(x,y)f_i+1,j(x,y)+w_i,j+1(x,y)f_i,j+1(x,y)+w_i+1,j+1(x,y)f_i+1,j+1(x,y)+w_i+c,j+c(x,y)f_i+c,j+c(x,y)。

第二方面，本发明提供一种基于五曲面片加权平均拟合的图像放大装置，所述装置包括：

分块模块，用于将图像有重叠的分成4×4大小的图像块；

第一曲面片构造模块，用于将每个4×4大小的图像块分成4个3×3大小的图像子块，在每个图像子块上构造一个二次多项式曲面片；

第二曲面片构造模块，用于在每个4×4的图像块上构造一个二次多项式曲面片；

权函数模块，用于为每个图像块对应的五张二次多项式曲面片构造权函数；

加权平均模块，用于将每个图像块对应的五张二次多项式曲面片按照权函数加权平均，得到每个图像块对应的双四次多项式拟合曲面片；

拼接模块，用于将所有双四次多项式拟合曲面片拼接在一起，组成原场景的近似曲面；

重采样模块，用于对原场景的近似曲面按照设定的采样密度进行重采样，得到设定倍数的放大图像。

进一步的，所述分块模块包括：

将图像以1为步长，有重叠的分成4×4大小的图像块，每个图像块对应的像素为P_i+k,j+l，k,l＝-1,0,1,2，i＝2,3,4,…,W-1，j＝2,3,4,…,H-1，W和H分别为图像的宽度和长度；

所述第一曲面片构造模块包括：

将每个4×4大小的图像块以1为步长，有重叠的分成4个3×3大小的图像子块，四个图像子块分别以像素P_i,j，P_i,j+1，P_i+1,j和P_i+1,j+1为中心；

在以像素P_i,j，P_i,j+1，P_i+1,j和P_i+1,j+1为中心的图像子块上分别构造二次多项式曲面片f_i,j(x,y)，f_i,j+1(x,y)，f_i+1,j(x,y)和f_i+1,j+1(x,y)：

f_i,j(x,y)＝a_i,j,1u²+a_i,j,2uv+a_i,j,3v²+a_i,j,4u+a_i,j,5v+a_i,j,6

f_i,j+1(x,y)＝a_i,j+1,1u²+a_i,j+1,2uv+a_i,j+1,3v²+a_i,j+1,4u+a_i,j+1,5v+a_i,j+1,6

f_i+1,j(x,y)＝a_i+1,j,1u²+a_i+1,j,2uv+a_i+1,j,3v²+a_i+1,j,4u+a_i+1,j,5v+a_i+1,j,6

f_i+1,j+1(x,y)＝a_i+1,j+1,1u²+a_i+1,j+1,2uv+a_i,j+1,3v²+a_i+1,j+1,4u+a_i+1,j+1,5v+a_i+1,j+1,6

其中，i＝2,3,4,…,W-1，j＝2,3,4,…,H-1，u＝x-i,v＝y-j，(x,y)为二次多项式曲面片上像素点的横纵坐标；

a_i+m,j+n,1，a_i+m,j+n,2，a_i+m,j+n,3，a_i+m,j+n,4和a_i+m,j+n,5由带约束的最小二乘法确定，m,n＝0,1。

进一步的，所述第二曲面片构造模块包括：

在每个4×4的图像块上构造一个二次多项式曲面片f_i+c,j+c(x,y)：

f_i+c,j+c(x,y)＝b₁u²+b₂uv+b₃v²+b₄u(1-u)+b₅v(1-v)+P_i,j；

其中，b₁＝P_i,j+1-P_i,j，b₂＝P_i+1,j+1+P_i,j-P_i,j+1-P_i+1,j，b₃＝P_i+1,j-P_i,j，b₄和b₅由带约束的最小二乘法确定。

进一步的，f_i,j(x,y)，f_i,j+1(x,y)，f_i+1,j(x,y)，f_i+1,j+1(x,y)和f_i+c,j+c(x,y)的权函数分别为w_i,j(x,y),w_i+1,j(x,y),w_i+1,j+1(x,y),w_i,j+1(x,y)和w_i+c,j+c(x,y)；

w_i+c,j+c(x,y)＝4u(1-u)v(1-v)

和

分别为系数，p,q＝0,1。

进一步的，所述双四次多项式拟合曲面片为B_i,j(x,y)；

B_i,j(x,y)＝w_i,j(x,y)f_i,j(x,y)(x,y)+w_i+1,j(x,y)f_i+1,j(x,y)+w_i,j+1(x,y)f_i,j+1(x,y)+w_i+1,j+1(x,y)f_i+1,j+1(x,y)+w_i+c,j+c(x,y)f_i+c,j+c(x,y)。

本发明具有以下有益效果：

本发明采用五张曲面片加权平均，对权函数增加了自由度，明显提高了逼近精度，有效降低过拟合产生的误差。采用五张多项式加权平均构造拟合曲面放大图像，与常用的4张曲面片加权方法比精度提高了很多，和现有的机器学习的方法相比速度快，算法效率高且可以实现任意倍数的放大。

附图说明

图1为本发明的基于五曲面片加权平均拟合的图像放大方法的流程图；

图2为3×3大小的图像子块的示意图；

图3为4×4大小的图像块的示意图；

图4为在正方形[i,j]×[i+1,j+1]上待放大的中心区域的示意图；

图5为本发明的基于五曲面片加权平均拟合的图像放大装置的示意图。

具体实施方式

为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例对本发明的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1：

本发明实施例提供了一种基于五曲面片加权平均拟合的图像放大方法，如图1所示，该方法包括：

S1：将图像有重叠的分成4×4大小的图像块。

S2：将每个4×4大小的图像块分成4个3×3大小的图像子块，在每个图像子块上构造一个二次多项式曲面片。

S3：在每个4×4的图像块上构造一个二次多项式曲面片。

S4：为每个图像块对应的五张二次多项式曲面片构造权函数。

S5：将每个图像块对应的五张二次多项式曲面片按照权函数加权平均，得到每个图像块对应的双四次多项式拟合曲面片。

S6：将所有双四次多项式拟合曲面片拼接在一起，组成原场景的近似曲面。

S7：对原场景的近似曲面按照设定的采样密度进行重采样，得到设定倍数的放大图像。

图像可视为对图像所对应场景表面的采样，数字图像以数值矩阵的形式表示，每个点的数值可视为对原场景曲面单位面积的采样值。图像放大则变成了对原场景密度更大的重采样。因此图像放大问题变成了对求解原场景表面的问题，得到的原场景表面越精确，放大后的图像细节越丰富，边缘越清晰。

本发明基于五曲面片加权平均拟合的图像放大方法的具体技术如下：把每个4×4的图像块分成4个3×3大小图像子块，在每个子块上构造一个二次多项式曲面片；在每个4×4的图像块上也构造一个二次多项式曲面片；对5个曲面片在中心1×1区域加权平均组合成一个1×1大小的双四次多项式拟合曲面片；将所有双四次曲面片拼接在一起组成原场景的拟合曲面。对原场景的拟合曲面重采样，即可得到不同倍数的放大图像。

与现有技术相比，本发明采用五张曲面片加权平均，对权函数增加了自由度，明显提高了逼近精度，有效降低过拟合产生的误差。采用五张多项式加权平均构造拟合曲面放大图像，与常用的4张曲面片加权方法比精度提高了很多，和现有的机器学习的方法相比速度快，算法效率高且可以实现任意倍数的放大。

其中，本发明的S1具体包括：

将图像以1为步长，有重叠的分成4×4大小的图像块，每个图像块对应的像素为P_i+k,j+l，k,l＝-1,0,1,2，i＝2,3,4,…,W-1，j＝2,3,4,…,H-1，W和H分别为图像的宽度和长度，4×4大小的图像块对应的像素为如图3所示的实心原点，整幅图像可分成(W-3)×(H-3)个4×4大小的图像块。

上述的S2包括：

将每个4×4大小的图像块以1为步长，有重叠的分成4个3×3大小的图像子块，四个图像子块分别以像素P_i,j，P_i,j+1，P_i+1,j和P_i+1,j+1为中心，如图3所示。图2即为以像素P_i,j为中心的3×3大小的图像子块，其中i,j为像素的位置标记，i＝2,3,4,…,W-1，j＝2,3,4,…,H-1。

在以像素P_i,j，P_i,j+1，P_i+1,j和P_i+1,j+1为中心的图像子块上分别构造二次多项式曲面片f_i,j(x,y)，f_i,j+1(x,y)，f_i+1,j(x,y)和f_i+1,j+1(x,y)：

f_i,j(x,y)＝a_i,j,1u²+a_i,j,2uv+a_i,j,3v²+a_i,j,4u+a_i,j,5v+a_i,j,6

f_i,j+1(x,y)＝a_i,j+1,1u²+a_i,j+1,2uv+a_i,j+1,3v²+a_i,j+1,4u+a_i,j+1,5v+a_i,j+1,6

f_i+1,j(x,y)＝a_i+1,j,1u²+a_i+1,j,2uv+a_i+1,j,3v²+a_i+1,j,4u+a_i+1,j,5v+a_i+1,j,6

f_i+1,j+1(x,y)＝a_i+1,j+1,1u²+a_i+1,j+1,2uv+a_i,j+1,3v²+a_i+1,j+1,4u+a_i+1,j+1,5v+a_i+1,j+1,6

其中，i＝2,3,4,…,W-1，j＝2,3,4,…,H-1，u＝x-i,v＝y-j，(x,y)为二次多项式曲面片上像素点的横纵坐标。

a_i+m,j+n,1，a_i+m,j+n,2，a_i+m,j+n,3，a_i+m,j+n,4和a_i+m,j+n,5由带约束的最小二乘法确定，m,n＝0,1。

下面以f_i,j(x,y)为例，说明其各个系数的确定方法：

f_i,j(x,y)＝a_i,j,1u²+a_i,j,2uv+a_i,j,3v²+a_i,j,4u+a_i,j,5v+a_i,j,6 (1)

对式(1)，由采样公式

可知

由式(2)可知：

结合采样公式，可得下述公式：

P_i+k,j+l＝a_i,j,1k²+a_i,j,2kl+a_i,j,3l²+a_i,j,4k+a_i,j,5l+P_i,j,k,l＝-1,0,1 (3)

因此得到下面4个等式：

a_i,j,4＝d₁,a_i,j,5＝d₂,a_i,j,4+a_i,j,5＝d₃,a_i,j,4-a_i,j,5＝d₄ (4)

其中：

d₁＝(P_i+1,j-P_i-1,j)/2，d₃＝(P_i+1,j+1-P_i-1,j-1)/2

d₂＝(P_i,j+1-P_i,j-1)/2,d₄＝(P_i+1,j-1-P_i-1,j+1)/2

采用加权最小二乘法即可确定式(4)中的a_i,j,4,a_i,j,5，具体方法如下：

G(a_i,j,4,a_i,j,5)＝w₁(a_i,j,4-d₁)²+w₂(a_i,j,5-d₂)²+w₃(a_i,j,4+a_i,j,5-d₃)²

+w₄(a_i,j,4-a_i,j,5-d₄)²

极小化得a_i,j,4,a_i,j,5，即：

其中，

且：

由式(3)，根据周围的8个像素点，同样由带约束的最小二乘法决定a_i,j,1，a_i,j,2和a_i,j,3，具体方法如下：

极小化上式，可得a_i,j,1，a_i,j,2和a_i,j,3。其中：

这样，在以像素点P_i,j为中心的3×3区域上的二次多项式曲面片f_i,j(x,y)的各项系数求解完毕。同理可得到以像素点P_i,j+1，P_i+1,j和P_i+1,j+1为中心的二次多项式曲面片f_i,j+1(x,y)，f_i+1,j(x,y)和f_i+1,j+1(x,y)的各项系数。

本发明的S3包括：

在图像中以(i,j)为中心的4×4区域上(如图3所示)，构造二次多项式拟合曲面片f_i+c,j+c(x,y)，f_i+c,j+c(x,y)对P_i,j，P_i,j+1，P_i+1,j和P_i+1,j+1插值，对其余的数据点逼近。因此，f_i+c,j+c(x,y)可写成如下形式：

f_i+c,j+c(x,y)＝b₁u²+b₂uv+b₃v²+b₄u(1-u)+b₅v(1-v)+P_i,j (5)；

其中，b₁＝P_i,j+1-P_i,j，b₂＝P_i+1,j+1+P_i,j-P_i,j+1-P_i+1,j，b₃＝P_i+1,j-P_i,j，b₄和b₅是待定的系数，由带约束的最小二乘法确定，具体方法如下：

由式(1)知，在ouv坐标系中，P_i,j对应的坐标为原点(0,0)。式(5)所表示的曲面片通过图3中间的4个像素点，周围剩余的12个像素点用于计算式(5)的b₄和b₅。记

g_i,j(x,y)＝b₁u²+b₂uv+b₃v²+P_i,j

则式(5)可写成如下形式：

f_i+c,j+c(x,y)＝g_i,j(x,y)+b₄u(1-u)+b₅v(1-v) (6)

记12个像素点的下标集合为C。结合式(5)和采样公式

可得下述公式：

P_i+k,j+l＝G_i+k,j+l+b₄k(1-k)+b₅l(1-l),(k,l)∈C (7)

其中：

由式(7)，根据周围的12个像素点，同样由带约束的最小二乘法决定a₄和a₅，其目标函数如下：

其中，

P_c＝(P_i,j+P_i,j+1+P_i+1,j+P_i+1,j+1)/4，称为约束参考点。

这样，4×4区域二次多项式系数求解完毕，得到了正方形[i,j]×[i+1,j+1]上的二次多项式曲面片f_i+c,j+c(x,y)。由于f_i+c,j+c(x,y)的系数分两步求解，并以约束参考点定义权函数对像素点的重要性进行约束，提高了f_i+c,j+c(x,y)的逼近精度。

前述的S4中，首先在正方形[i,j]×[i+1,j+1]上构造5个权函数(与图4中位于中间部分的四个点和最中间的点处的曲面片对应)。由于有五个多项式曲面片，因此权函数的次数最低应该是二次多项式。

f_i,j(x,y)，f_i,j+1(x,y)，f_i+1,j(x,y)，f_i+1,j+1(x,y)和f_i+c,j+c(x,y)的权函数分别为w_i,j(x,y),w_i+1,j(x,y),w_i+1,j+1(x,y),w_i,j+1(x,y)和w_i+c,j+c(x,y)，其中：

w_i+c,j+c(x,y)＝4u(1-u)v(1-v)

和

分别为系数，p,q＝0,1，F,L是上标，用于区分每个权函数的两个系数。

待定系数

和

p,q＝0,1的计算的原则如下：

1)提高曲面的插值精度；

2)满足权性，即：

w_i,j(x,y)+w_i,j+1(x,y)+w_i+1,j(x,y)+w_i+1,j+1(x,y)+w_i+c,j+c(x,y)＝1。

以

和

的计算过程为例：

记e_i,j＝f_i,j(i+1,j)-P_i+1,j，e_i+1,j＝f_i+1,j(i,j)-P_i+1,j，则

如果e_i,j＜e_i+1,j，说明在边x-i-1＝0上，f_i,j(x,y)比f_i+1,j(x,y)插值精度要高，因此

的值应该比

的值大，从而使w_i,j(x,y)在边x-i-1＝0上比w_i+1,j(x,y)的重要性大，进而使f_i,j(x,y)在边x-i-1＝0上比f_i+1,j(x,y)的作用大。

同理可定义

和

和

和

容易验证，待定系数

和

p,q＝0,1按式(9)的原则定义，则式(8)中5个权函数之和为1。

每个正方形[i,j]×[i+1,j+1]对应5张二次多项式拟合曲面片f_i,j(x,y)，f_i+1,j(x,y)，f_i+1,j+1(x,y)，f_i,j+1(x,y)和f_i+c,j+c(x,y)，5张曲面片加权平均组合成正方形[i,j]×[i+1,j+1]上的双四次多项式拟合曲面片B_i,j(x,y)；

B_i,j(x,y)＝w_i,j(x,y)f_i,j(x,y)(x,y)+w_i+1,j(x,y)f_i+1,j(x,y)+w_i,j+1(x,y)f_i,j+1(x,y)+w_i+1,j+1(x,y)f_i+1,j+1(x,y)+w_i+c,j+c(x,y)f_i+c,j+c(x,y)。

将所有双四次曲面片拼接在一起组成原场景的近似曲面。

对原场景的近似曲面重采样，采样密度不同即可得到不同倍数的放大图像。

综上所述，本发明通过构造多项式拟合曲面实现图像放大，提出了基于5张曲面片构造拟合曲面的数字图像放大方法。本发明方法提出了在4×4区域上以16个像素构造二次多项式曲面片的方法，该曲面片对区域内部的四个像素插值，对区域边界上的12个像素在参考点的约束下逼近；对5张曲面片加权平均构造曲面，提出了构造权函数的方法，并对权函数中的系数进行约束。

本发明具有以下有益效果：

1、以边缘为约束条件构造曲面片系数的求解函数，对边缘的拟合精度较高，放大图像具有更为清晰的边缘，提高了所构造曲面片的精度，很好的保持了图像边缘和细节。

2、采用五张曲面片加权平均，对权函数增加了自由度，明显提高了逼近精度和算法的效率，有效降低过拟合产生的误差。

3、采用五张多项式加权平均构造拟合曲面放大图像，与常用的4张曲面片加权方法比精度提高了很多，和现有的机器学习的方法相比速度快，算法效率高且可以实现任意倍数的放大。

4、采用五张曲面片加权平均在四边形网格上构造曲面，为构造拟合曲面提供了新技术。

实施例2：

本发明实施例提供了一种基于五曲面片加权平均拟合的图像放大装置，如图5所示，该装置包括：

分块模块1，用于将图像有重叠的分成4×4大小的图像块。

第一曲面片构造模块2，用于将每个4×4大小的图像块分成4个3×3大小的图像子块，在每个图像子块上构造一个二次多项式曲面片。

第二曲面片构造模块3，用于在每个4×4的图像块上构造一个二次多项式曲面片。

权函数模块4，用于为每个图像块对应的五张二次多项式曲面片构造权函数。

加权平均模块5，用于将每个图像块对应的五张二次多项式曲面片按照权函数加权平均，得到每个图像块对应的双四次多项式拟合曲面片。

拼接模块6，用于将所有双四次多项式拟合曲面片拼接在一起，组成原场景的近似曲面。

重采样模块7，用于对原场景的近似曲面按照设定的采样密度进行重采样，得到设定倍数的放大图像。

与现有技术相比，本发明采用五张曲面片加权平均，对权函数增加了自由度，明显提高了逼近精度，有效降低过拟合产生的误差。采用五张多项式加权平均构造拟合曲面放大图像，与常用的4张曲面片加权方法比精度提高了很多，和现有的机器学习的方法相比速度快，算法效率高且可以实现任意倍数的放大。

前述的分块模块包括：

将图像以1为步长，有重叠的分成4×4大小的图像块，每个图像块对应的像素为P_i+k,j+l，k,l＝-1,0,1,2，i＝2,3,4,…,W-1，j＝2,3,4,…,H-1，W和H分别为图像的宽度和长度。

第一曲面片构造模块包括：

将每个4×4大小的图像块以1为步长，有重叠的分成4个3×3大小的图像子块，四个图像子块分别以像素P_i,j，P_i,j+1，P_i+1,j和P_i+1,j+1为中心。

在以像素P_i,j，P_i,j+1，P_i+1,j和P_i+1,j+1为中心的图像子块上分别构造二次多项式曲面片f_i,j(x,y)，f_i,j+1(x,y)，f_i+1,j(x,y)和f_i+1,j+1(x,y)：

f_i,j(x,y)＝a_i,j,1u²+a_i,j,2uv+a_i,j,3v²+a_i,j,4u+a_i,j,5v+a_i,j,6

f_i,j+1(x,y)＝a_i,j+1,1u²+a_i,j+1,2uv+a_i,j+1,3v²+a_i,j+1,4u+a_i,j+1,5v+a_i,j+1,6

f_i+1,j(x,y)＝a_i+1,j,1u²+a_i+1,j,2uv+a_i+1,j,3v²+a_i+1,j,4u+a_i+1,j,5v+a_i+1,j,6

f_i+1,j+1(x,y)＝a_i+1,j+1,1u²+a_i+1,j+1,2uv+a_i,j+1,3v²+a_i+1,j+1,4u+a_i+1,j+1,5v+a_i+1,j+1,6

其中，i＝2,3,4,…,W-1，j＝2,3,4,…,H-1，u＝x-i,v＝y-j，(x,y)为二次多项式曲面片上像素点的横纵坐标。

a_i+m,j+n,1，a_i+m,j+n,2，a_i+m,j+n,3，a_i+m,j+n,4和a_i+m,j+n,5由带约束的最小二乘法确定，m,n＝0,1。

第二曲面片构造模块包括：

在每个4×4的图像块上构造一个二次多项式曲面片f_i+c,j+c(x,y)：

f_i+c,j+c(x,y)＝b₁u²+b₂uv+b₃v²+b₄u(1-u)+b₅v(1-v)+P_i,j；

其中，b₁＝P_i,j+1-P_i,j，b₂＝P_i+1,j+1+P_i,j-P_i,j+1-P_i+1,j，b₃＝P_i+1,j-P_i,j，b₄和b₅由带约束的最小二乘法确定。

f_i,j(x,y)，f_i,j+1(x,y)，f_i+1,j(x,y)，f_i+1,j+1(x,y)和f_i+c,j+c(x,y)的权函数分别为w_i,j(x,y),w_i+1,j(x,y),w_i+1,j+1(x,y),w_i,j+1(x,y)和w_i+c,j+c(x,y)；

w_i+c,j+c(x,y)＝4u(1-u)v(1-v)

和

分别为系数，p,q＝0,1。

双四次多项式拟合曲面片为B_i,j(x,y)；

B_i,j(x,y)＝w_i,j(x,y)f_i,j(x,y)(x,y)+w_i+1,j(x,y)f_i+1,j(x,y)+w_i,j+1(x,y)f_i,j+1(x,y)+w_i+1,j+1(x,y)f_i+1,j+1(x,y)+w_i+c,j+c(x,y)f_i+c,j+c(x,y)。

本发明具有以下有益效果：

1、以边缘为约束条件构造曲面片系数的求解函数，对边缘的拟合精度较高，放大图像具有更为清晰的边缘，提高了所构造曲面片的精度，很好的保持了图像边缘和细节。

2、采用五张曲面片加权平均，对权函数增加了自由度，明显提高了逼近精度和算法的效率，有效降低过拟合产生的误差。

3、采用五张多项式加权平均构造拟合曲面放大图像，与常用的4张曲面片加权方法比精度提高了很多，和现有的机器学习的方法相比速度快，算法效率高且可以实现任意倍数的放大。

4、采用五张曲面片加权平均在四边形网格上构造曲面，为构造拟合曲面提供了新技术。

本发明实施例所提供的装置，其实现原理及产生的技术效果和前述方法实施例1相同，为简要描述，该装置实施例部分未提及之处，可参考前述方法实施例1中相应内容。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，前述描述的装置和单元的具体工作过程，均可以参考上述方法实施例1中的对应过程，在此不再赘述。

以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种基于五曲面片加权平均拟合的图像放大方法，其特征在于，所述方法包括：

S1：将图像有重叠的分成4×4大小的图像块；

S2：将每个4×4大小的图像块分成4个3×3大小的图像子块，在每个图像子块上构造一个二次多项式曲面片；

S3：在每个4×4的图像块上构造一个二次多项式曲面片；

S4：为每个图像块对应的五张二次多项式曲面片构造权函数；

S5：将每个图像块对应的五张二次多项式曲面片按照权函数加权平均，得到每个图像块对应的双四次多项式拟合曲面片；

S6：将所有双四次多项式拟合曲面片拼接在一起，组成原场景的近似曲面；

S7：对原场景的近似曲面按照设定的采样密度进行重采样，得到设定倍数的放大图像。

2.根据权利要求1所述的基于五曲面片加权平均拟合的图像放大方法，其特征在于，所述S1包括：

将图像以1为步长，有重叠的分成4×4大小的图像块，每个图像块对应的像素为P_i+k,j+l，k,l＝-1,0,1,2，i＝2,3,4,…,W-1，j＝2,3,4,…,H-1，W和H分别为图像的宽度和长度；

所述S2包括：

将每个4×4大小的图像块以1为步长，有重叠的分成4个3×3大小的图像子块，四个图像子块分别以像素P_i,j，P_i,j+1，P_i+1,j和P_i+1,j+1为中心；

在以像素P_i,j，P_i,j+1，P_i+1,j和P_i+1,j+1为中心的图像子块上分别构造二次多项式曲面片f_i,j(x,y)，f_i,j+1(x,y)，f_i+1,j(x,y)和f_i+1,j+1(x,y)：

f_i,j(x,y)＝a_i,j,1u²+a_i,j,2uv+a_i,j,3v²+a_i,j,4u+a_i,j,5v+a_i,j,6

f_i,j+1(x,y)＝a_i,j+1,1u²+a_i,j+1,2uv+a_i,j+1,3v²+a_i,j+1,4u+a_i,j+1,5v+a_i,j+1,6

f_i+1,j(x,y)＝a_i+1,j,1u²+a_i+1,j,2uv+a_i+1,j,3v²+a_i+1,j,4u+a_i+1,j,5v+a_i+1,j,6

f_i+1,j+1(x,y)＝a_i+1,j+1,1u²+a_i+1,j+1,2uv+a_i,j+1,3v²+a_i+1,j+1,4u+a_i+1,j+1,5v+a_i+1,j+1,6

其中，i＝2,3,4,…,W-1，j＝2,3,4,…,H-1，u＝x-i,v＝y-j，(x,y)为二次多项式曲面片上像素点的横纵坐标；

和a_i+m,j+n,5由带约束的最小二乘法确定，m,n＝0,1。

3.根据权利要求2所述的基于五曲面片加权平均拟合的图像放大方法，其特征在于，所述S3包括：

在每个4×4的图像块上构造一个二次多项式曲面片f_i+c,j+c(x,y)：

f_i+c,j+c(x,y)＝b₁u²+b₂uv+b₃v²+b₄u(1-u)+b₅v(1-v)+P_i,j；

其中，b₁＝P_i,j+1-P_i,j，b₂＝P_i+1,j+1+P_i,j-P_i,j+1-P_i+1,j，b₃＝P_i+1,j-P_i,j，b₄和b₅由带约束的最小二乘法确定。

4.根据权利要求3所述的基于五曲面片加权平均拟合的图像放大方法，其特征在于，f_i,j(x,y)，f_i,j+1(x,y)，f_i+1,j(x,y)，f_i+1,j+1(x,y)和f_i+c,j+c(x,y)的权函数分别为w_i,j(x,y),w_i+1,j(x,y),w_i+1,j+1(x,y),w_i,j+1(x,y)和w_i+c,j+c(x,y)；

w_i+c,j+c(x,y)＝4u(1-u)v(1-v)

和

分别为系数，p,q＝0,1。

5.根据权利要求4所述的基于五曲面片加权平均拟合的图像放大方法，其特征在于，所述双四次多项式拟合曲面片为B_i,j(x,y)；

B_i,j(x,y)＝w_i,j(x,y)f_i,j(x,y)(x,y)+w_i+1,j(x,y)f_i+1,j(x,y)+w_i,j+1(x,y)f_i,j+1(x,y)+w_i+1,j+1(x,y)f_i+1,j+1(x,y)+w_i+c,j+c(x,y)f_i+c,j+c(x,y)。

6.一种基于五曲面片加权平均拟合的图像放大装置，其特征在于，所述装置包括：

分块模块，用于将图像有重叠的分成4×4大小的图像块；

第一曲面片构造模块，用于将每个4×4大小的图像块分成4个3×3大小的图像子块，在每个图像子块上构造一个二次多项式曲面片；

第二曲面片构造模块，用于在每个4×4的图像块上构造一个二次多项式曲面片；

权函数模块，用于为每个图像块对应的五张二次多项式曲面片构造权函数；

加权平均模块，用于将每个图像块对应的五张二次多项式曲面片按照权函数加权平均，得到每个图像块对应的双四次多项式拟合曲面片；

拼接模块，用于将所有双四次多项式拟合曲面片拼接在一起，组成原场景的近似曲面；

重采样模块，用于对原场景的近似曲面按照设定的采样密度进行重采样，得到设定倍数的放大图像。

7.根据权利要求6所述的基于五曲面片加权平均拟合的图像放大装置，其特征在于，所述分块模块包括：

将图像以1为步长，有重叠的分成4×4大小的图像块，每个图像块对应的像素为P_i+k,j+l，k,l＝-1,0,1,2，i＝2,3,4,…,W-1，j＝2,3,4,…,H-1，W和H分别为图像的宽度和长度；

所述第一曲面片构造模块包括：

将每个4×4大小的图像块以1为步长，有重叠的分成4个3×3大小的图像子块，四个图像子块分别以像素P_i,j，P_i,j+1，P_i+1,j和P_i+1,j+1为中心；

在以像素P_i,j，P_i,j+1，P_i+1,j和P_i+1,j+1为中心的图像子块上分别构造二次多项式曲面片f_i,j(x,y)，f_i,j+1(x,y)，f_i+1,j(x,y)和f_i+1,j+1(x,y)：

f_i,j(x,y)＝a_i,j,1u²+a_i,j,2uv+a_i,j,3v²+a_i,j,4u+a_i,j,5v+a_i,j,6

f_i,j+1(x,y)＝a_i,j+1,1u²+a_i,j+1,2uv+a_i,j+1,3v²+a_i,j+1,4u+a_i,j+1,5v+a_i,j+1,6

f_i+1,j(x,y)＝a_i+1,j,1u²+a_i+1,j,2uv+a_i+1,j,3v²+a_i+1,j,4u+a_i+1,j,5v+a_i+1,j,6

f_i+1,j+1(x,y)＝a_i+1,j+1,1u²+a_i+1,j+1,2uv+a_i,j+1,3v²+a_i+1,j+1,4u+a_i+1,j+1,5v+a_i+1,j+1,6

其中，i＝2,3,4,…,W-1，j＝2,3,4,…,H-1，u＝x-i,v＝y-j，(x,y)为二次多项式曲面片上像素点的横纵坐标；

和a_i+m,j+n,5由带约束的最小二乘法确定，m,n＝0,1。

8.根据权利要求7所述的基于五曲面片加权平均拟合的图像放大装置，其特征在于，所述第二曲面片构造模块包括：

在每个4×4的图像块上构造一个二次多项式曲面片f_i+c,j+c(x,y)：

f_i+c,j+c(x,y)＝b₁u²+b₂uv+b₃v²+b₄u(1-u)+b₅v(1-v)+P_i,j；

其中，b₁＝P_i,j+1-P_i,j，b₂＝P_i+1,j+1+P_i,j-P_i,j+1-P_i+1,j，b₃＝P_i+1,j-P_i,j，b₄和b₅由带约束的最小二乘法确定。

9.根据权利要求8所述的基于五曲面片加权平均拟合的图像放大装置，其特征在于，f_i,j(x,y)，f_i,j+1(x,y)，f_i+1,j(x,y)，f_i+1,j+1(x,y)和f_i+c,j+c(x,y)的权函数分别为w_i,j(x,y),w_i+1,j(x,y),w_i+1,j+1(x,y),w_i,j+1(x,y)和w_i+c,j+c(x,y)；

w_i+c,j+c(x,y)＝4u(1-u)v(1-v)

和

分别为系数，p,q＝0,1。

10.根据权利要求9所述的基于五曲面片加权平均拟合的图像放大装置，其特征在于，所述双四次多项式拟合曲面片为B_i,j(x,y)；

B_i,j(x,y)＝w_i,j(x,y)f_i,j(x,y)(x,y)+w_i+1,j(x,y)f_i+1,j(x,y)+w_i,j+1(x,y)f_i,j+1(x,y)+w_i+1,j+1(x,y)f_i+1,j+1(x,y)+w_i+c,j+c(x,y)f_i+c,j+c(x,y)。

Images