CN115018707B - 基于九曲面片双四次拟合的图像放大方法和装置 - Google Patents

基于九曲面片双四次拟合的图像放大方法和装置 Download PDF

Info

Publication number
CN115018707B
CN115018707B CN202210683222.2A CN202210683222A CN115018707B CN 115018707 B CN115018707 B CN 115018707B CN 202210683222 A CN202210683222 A CN 202210683222A CN 115018707 B CN115018707 B CN 115018707B
Authority
CN
China
Prior art keywords
image
curved surface
blocks
group
fitting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210683222.2A
Other languages
English (en)
Other versions
CN115018707A (zh
Inventor
刘业朋
张帆
赵峰
刘培强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Technology and Business University
Original Assignee
Shandong Technology and Business University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Technology and Business University filed Critical Shandong Technology and Business University
Priority to CN202210683222.2A priority Critical patent/CN115018707B/zh
Publication of CN115018707A publication Critical patent/CN115018707A/zh
Application granted granted Critical
Publication of CN115018707B publication Critical patent/CN115018707B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4023—Scaling of whole images or parts thereof, e.g. expanding or contracting based on decimating pixels or lines of pixels; based on inserting pixels or lines of pixels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于九曲面片双四次拟合的图像放大方法和装置，属于图像处理领域。本发明先将图像IL重叠的分成5×5大小的图像块，再将其重叠的分成9个3×3的图像子块，并在每个图像子块上构造二次多项式拟合曲面片；将9个二次多项式拟合曲面片组合成双四次多项式拟合曲面片，将其拼接在一起组合成近似曲面F(x,y)；对近似曲面重采样，得到放大图像；基于残差系数和拉普拉斯算子增强放大图像边缘，得到增强图像；对增提强图像降采样，得到降采用图像；将图像IL减去降采样图像，得到残差图像；基于残差图像构造近似曲面，并将其投影到近似曲面F(x,y)。本发明不仅具有较高的精度，同时在图像纹理细节和结构边缘处有较好的视觉效果。

Description

基于九曲面片双四次拟合的图像放大方法和装置
技术领域
本发明涉及图像处理领域，特别是指一种基于九曲面片双四次拟合的图像放大方法和装置。
背景技术
随着图像采集设备的推广和应用，在航空航天、遥感卫星、工业、农业、交通、医学影像等各个行业对电子图像的需求日益增加，图像信息已逐渐成为人们日常的生产生活中重要调味品，而图像放大则是对电子图像信息处理中关键问题之一。随着电子图像信息种类和总量的增加，对图像放大的需要也随之增加，因而引起了更多的学者的关注和深入研究。
电子图像是通过电子传感器把特定的场景信息(自然影像、医学影像、遥感图像、红外图像等)转换成电子数据，图像放大同样也是要将该场景信息转换成电子数据，不同的是图像放大的过程中对图像的数据量有着更高的要求。但遗憾的是，我们几乎没有办法重建该场景，只能通过有限的电子图像数据重建高分辨率的图像。通过已知的低分辨率图像重构出原场景所对应的近似曲面，对其重采样即可得到放大后的目标高分辨率图像。
假定待放大图像IL(由R×C个像素组成)所对应的原场景能用一个近似曲面F(x,y)来表示，则图像IL的像素点IL(i,j)可视为图像IL在原场景中单位面积上的采样值，因此IL(i,j)定义如下：
其中，R表示图像IL的行数，C表示图像IL的列数，(i,j)表示图像IL对应的xy平面上的坐标值，IL(i,j)表示图像IL第i行，第j列的像素值。
由此，上述图像放大问题转换成了对曲面F(x,y)的求解问题，求解得到F(x,y)后，对其重采样即可得到放大后的目标高分辨率图像。最直观的方法是把曲面F(x,y)视为一个整体进行求解。但这不仅是涉及参数数量O(RC)和方程个数O(RC)的复杂问题求解，而且曲面F(x,y)对离群点(即图像中的边缘)有抑制，拟合效果较差。为了降低计算复杂度的同时提高对图像边缘的拟合效果，现有技术一般采用分片求解拟合曲面F(x,y)。
例如，将图像IL以像素点IL(i,j)为中心分成4×4大小的图像块[i-1.5,i+2.5]×[j-1.5,j+2.5]，i＝2,3,…,R-2，j＝2,3,…,C-2；然后将每个4×4大小的图像块分成4个3×3大小的子图像，在每个子图像上分别以像素点IL(i,j)、IL(i,j+1)、IL(i+1,j)和IL(i+1,j+1)为中心构造一个二次多项式曲面片：
fi,j(x,y)＝a1x2y2+a2x2y+a3xy2+a4x2+a5xy+a6y2+a7x+a8y+a9
然后，在中心[i,i+1]×[j,j+1]的1×1区域上，将以像素点IL(i,j)、IL(i,j+1)、IL(i+1,j)和IL(i+1,j+1)为中心的二次多项式曲面片加权平均组合成了双三次多项式曲面片Fi,j(x,y)。最终，所有曲面片Fi,j(x,y)拼接在一起构成了近似曲面F(x,y)。对近似曲面F(x,y)重采样即可得到预设倍数的高分辨率图像。
但是，上述方法存在如下缺陷：基于曲面构造理论可知，在三维空间中将4×4的区域内相邻像素点依次连接组成的多面体如果是凸多面体，则构造的拟合曲面会在凸多面体内部，从而导致放大图像边缘模糊；如果不是凸多面体，则构造的拟合曲面会和多面体相交，导致曲面上某些区域摆动较大，从而出现锯齿和伪影等失真问题。
发明内容
为解决上述技术问题，本发明提供一种基于九曲面片双四次拟合的图像放大方法和装置，本发明不仅具有较高的精度，同时在图像纹理细节和结构边缘处有较好的视觉效果。
本发明提供技术方案如下：
第一方面，本发明提供一种基于九曲面片双四次拟合的图像放大方法，所述方法包括：
S1：将待放大图像IL有重叠的分成5×5大小的第一组图像块，将每个第一组图像块有重叠的分成9个3×3大小的第一组图像子块，并在每个第一组图像子块上分别构造一个二次多项式拟合曲面片；
S2：将每个第一组图像块对应的9个二次多项式拟合曲面片组合成一个双四次多项式拟合曲面片，并将所有第一组图像块的双四次多项式拟合曲面片拼接在一起组合成原场景的近似曲面F(x,y)；
S3：对所述近似曲面F(x,y)按照设定的放大倍数进行重采样，得到预设放大倍数的放大图像
S4：基于残差系数和拉普拉斯算子增强所述放大图像的边缘，得到增强图像/>
S5：对所述增强图像进行降采样，得到降采样图像/>
S6：判断是否满足设定的迭代终止条件，若是，则输出所述放大图像并结束，若否，则执行S7；
S7：将所述待放大图像IL减去所述降采样图像得到残差图像/>
S8：将所述残差图像有重叠的分成5×5大小的第二组图像块，将每个第二组图像块有重叠的分成9个3×3大小的第二组图像子块，并在每个第二组图像子块上分别构造一个二次多项式拟合曲面片；
S9：将每个第二组图像块对应的9个二次多项式拟合曲面片组合成一个双四次多项式拟合曲面片，并将所有第二组图像块的双四次多项式拟合曲面片拼接在一起组合成所述残差图像对应的近似曲面FR(x,y)；
S10：将所述残差图像对应的近似曲面FR(x,y)投影到所述近似曲面F(x,y)，更新所述近似曲面F(x,y)，并返回所述S3重复迭代。
进一步的，所述S1包括：
S101：将所述待放大图像IL有重叠的分成以像素点IL(i,j)为中心的5×5大小的第一组图像块[i-2.5,i+2.5]×[j-2.5,j+2.5]；其中，i＝3,4,…,R-2，j＝3,4,…,C-2，R和C分别表示所述待放大图像IL的行数和列数；
S102：将每个第一组图像块有重叠的分成9个分别以IL(i+m,j+n)为中心的3×3大小的第一组图像子块[i+m-1.5,i+m+1.5]×[j+n-1.5,j+n+1.5]；其中，i＝3,4,…,R-2，j＝3,4,…,C-2，m＝-1,0,1，n＝-1,0,1；
S103：在每个第一组图像子块上分别构造一个二次多项式拟合曲面片fi+m,j+n(x,y)；
其中，i＝3,4,…,R-2，j＝3,4,…,C-2，u＝x-(i+m)，v＝y-(j+n)； ci+m,j+n为fi+m,j+n(x,y)的未知参数，通过对fi+m,j+n(x,y)在9个像素点IL(i+m,j+n)分别采样并通过加权最小二乘法求解得到。
进一步的，所述S2包括：
S201：基于二次多项式权函数wm,n(x,y)，在所述第一组图像块中心的1×1区域上，将9个二次多项式拟合曲面片fi+m,j+n(x,y)组合成一个双四次多项式拟合曲面片Fi,j(x,y)；
其中，i＝3,4,…,R-2，j＝3,4,…,C-2，和/>分别表示距离权值和误差权值，β为用于控制所述距离权值和误差权值的平衡因子；
IL(i+m+k,j+n+l)表示待放大图像IL中位置(i+m+k,j+n+l)处的像素值，IS(i+m+k,j+n+l)表示fi+m,j+n(x,y)在位置(i+m+k,j+n+l)处的采样值，k＝-1,0,1，l＝-1,0,1；
S202：将所有第一组图像块的双四次多项式拟合曲面片Fi,j(x,y)拼接在一起组合成原场景的近似曲面F(x,y)。
进一步的，所述S3包括：
通过如下公式对所述近似曲面F(x,y)按照设定的放大倍数S进行重采样，得到预设放大倍数S的放大图像
其中，i＝1,2,…,R，j＝1,2,…,C。
进一步的，所述S4包括：
S401：在1×1邻接内对所述近似曲面F(x,y)进行积分，得到与所述待放大图像IL同样大小的采样图像
其中，i＝1,2,…,R，j＝1,2,…,C；
S402：计算残差系数r；
其中，i＝1,2,…,R，j＝1,2,…,C；
S403：计算得到所述增强图像
其中，Δf′为拉普拉斯算子；
进一步的，所述S5包括：
采用双三次降采样方法对所述增强图像降采样得到与所述待放大图像IL同样大小的降采样图像/>
其中，↓表示双三次降采样，S表示放大倍数。
进一步的，所述S6包括：
S601：判断所述残差系数r是否小于设定的阈值；以及/或者，判断迭代次数是否达到设定次数；
S602：若所述残差系数r小于设定的阈值；以及/或者，迭代次数达到设定次数，则输出所述放大图像并结束，若否，则执行所述S7。
进一步的，所述S7包括：
通过如下公式将所述待放大图像IL减去所述降采样图像得到残差图像/>
进一步的，所述S10中，通过如下公式将所述残差图像对应的近似曲面FR(x,y)投影到所述近似曲面F(x,y)，更新所述近似曲面F(x,y)；
F(x,y)＝F(x,y)+FR(x,y)。
第二方面，本发明提供一种基于九曲面片双四次拟合的图像放大装置，所述装置包括：
第一曲面片获取模块，用于将待放大图像IL有重叠的分成5×5大小的第一组图像块，将每个第一组图像块有重叠的分成9个3×3大小的第一组图像子块，并在每个第一组图像子块上分别构造一个二次多项式拟合曲面片；
第一近似曲面获取模块，用于将每个第一组图像块对应的9个二次多项式拟合曲面片组合成一个双四次多项式拟合曲面片，并将所有第一组图像块的双四次多项式拟合曲面片拼接在一起组合成原场景的近似曲面F(x,y)；
放大图像获取模块，用于对所述近似曲面F(x,y)按照设定的放大倍数进行重采样，得到预设放大倍数的放大图像
增强图像获取模块，用于基于残差系数和拉普拉斯算子增强所述放大图像的边缘，得到增强图像/>
降采样图像获取模块，用于对所述增强图像进行降采样，得到降采样图像/>
迭代判断模块，用于判断是否满足设定的迭代终止条件，若是，则输出所述放大图像并结束，若否，则执行残差图像获取模块；
残差图像获取模块，用于将所述待放大图像IL减去所述降采样图像得到残差图像/>
第二曲面片获取模块，用于将所述残差图像有重叠的分成5×5大小的第二组图像块，将每个第二组图像块有重叠的分成9个3×3大小的第二组图像子块，并在每个第二组图像子块上分别构造一个二次多项式拟合曲面片；
第二近似曲面获取模块，用于将每个第二组图像块对应的9个二次多项式拟合曲面片组合成一个双四次多项式拟合曲面片，并将所有第二组图像块的双四次多项式拟合曲面片拼接在一起组合成所述残差图像对应的近似曲面FR(x,y)；
迭代模块，用于将所述残差图像对应的近似曲面FR(x,y)投影到所述近似曲面F(x,y)，更新所述近似曲面F(x,y)，并返回所述放大图像获取模块重复迭代。
进一步的，所述第一曲面片获取模块包括：
第一分块单元，用于将所述待放大图像IL有重叠的分成以像素点IL(i,j)为中心的5×5大小的第一组图像块[i-2.5,i+2.5]×[j-2.5,j+2.5]；其中，i＝3,4,…,R-2，j＝3,4,…,C-2，R和C分别表示所述待放大图像IL的行数和列数；
第二分块单元，用于将每个第一组图像块有重叠的分成9个分别以IL(i+m,j+n)为中心的3×3大小的第一组图像子块[i+m-1.5,i+m+1.5]×[j+n-1.5,j+n+1.5]；其中，i＝3,4,…,R-2，j＝3,4,…,C-2，m＝-1,0,1，n＝-1,0,1；
第一构造单元，用于在每个第一组图像子块上分别构造一个二次多项式拟合曲面片fi+m,j+n(x,y)；
其中，i＝3,4,…,R-2，j＝3,4,…,C-2，u＝x-(i+m)，v＝y-(j+n)； 为fi+m,j+n(x,y)的未知参数，通过对fi+m,j+n(x,y)在9个像素点IL(i+m,j+n)分别采样并通过加权最小二乘法求解得到。
进一步的，所述第一近似曲面获取模块包括：
组合单元，用于基于二次多项式权函数wm,n(x,y)，在所述第一组图像块中心的1×1区域上，将9个二次多项式拟合曲面片fi+m,j+n(x,y)组合成一个双四次多项式拟合曲面片Fi,j(x,y)；
其中，i＝3,4,…,R-2，j＝3,4,…,C-2，和/>分别表示距离权值和误差权值，β为用于控制所述距离权值和误差权值的平衡因子；
IL(i+m+k,j+n+l)表示待放大图像IL中位置(i+m+k,j+n+l)处的像素值，IS(i+m+k,j+n+l)表示fi+m,j+n(x,y)在位置(i+m+k,j+n+l)处的采样值，k＝-1,0,1，l＝-1,0,1；
拼接单元，用于将所有第一组图像块的双四次多项式拟合曲面片Fi,j(x,y)拼接在一起组合成原场景的近似曲面F(x,y)。
进一步的，所述放大图像获取模块用于：
通过如下公式对所述近似曲面F(x,y)按照设定的放大倍数S进行重采样，得到预设放大倍数S的放大图像
其中，i＝1,2,…,R，j＝1,2,…,C。
进一步的，所述增强图像获取模块包括：
积分单元，用于在1×1邻接内对所述近似曲面F(x,y)进行积分，得到与所述待放大图像IL同样大小的采样图像
其中，i＝1,2,…,R，j＝1,2,…,C；
残差系数计算单元，用于计算残差系数r；
其中，i＝1,2,…,R，j＝1,2,…,C；
增强图像计算单元，用于计算得到所述增强图像
其中，Δf′为拉普拉斯算子；
进一步的，所述降采样图像获取模块用于：
采用双三次降采样方法对所述增强图像降采样得到与所述待放大图像IL同样大小的降采样图像/>
其中，↓表示双三次降采样，S表示放大倍数。
进一步的，所述迭代判断模块包括：
判断单元，用于判断所述残差系数r是否小于设定的阈值；以及/或者，判断迭代次数是否达到设定次数；
执行单元，用于若所述残差系数r小于设定的阈值；以及/或者，迭代次数达到设定次数，则输出所述放大图像并结束，若否，则执行所述残差图像获取模块。
进一步的，所述残差图像获取模块用于：
通过如下公式将所述待放大图像IL减去所述降采样图像得到残差图像/>
进一步的，所述第二近似曲面获取模块中，通过如下公式将所述残差图像对应的近似曲面FR(x,y)投影到所述近似曲面F(x,y)，更新所述近似曲面F(x,y)；
F(x,y)＝F(x,y)+FR(x,y)。
本发明具有以下有益效果：
1、以边缘和距离为约束构造的二次多项式拟合曲面片对边缘像素点的拟合精度更高，很好的保持了图像中纹理细节和结构边缘等信息。
2、在二次多项式权函数约束下，九个二次多项式曲面片加权平均构造的双四次多项式拟合曲面片进一步提高了拟合精度，在更多像素点的约束下有效地降低了过拟合，减少了锯齿和伪影等失真现象。
3、基于残差系数和拉普拉斯算子增强图像边缘，有效地弥补了曲面拟合的不足，增强了放大图像在纹理细节和结构边缘处的视觉效果。
4、充分利用了图像本身的先验信息，通过迭代优化过程提高拟合曲面片的逼近精度，提升了算法的鲁棒性，保证了放大图像的真实性和可信度。
附图说明
图1为本发明的基于九曲面片双四次拟合的图像放大方法的流程图；
图2为5×5大小的第一组图像块的示意图；
图3为3×3大小的第一组图像子块的示意图；
图4为3×3大小的第一组图像子块的四个方向示意图；
图5为5×5大小的第一组图像块构造的1×1的双四次多项式拟合曲面片的示意图；
图6为本发明的基于九曲面片双四次拟合的图像放大装置的示意图。
具体实施方式
为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例对本发明的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1：
本发明实施例提供了一种基于九曲面片双四次拟合的图像放大方法，如图1所示，该方法包括：
S1：将待放大图像IL有重叠的分成5×5大小的第一组图像块，将每个第一组图像块有重叠的分成9个3×3大小的第一组图像子块，并在每个第一组图像子块上分别构造一个二次多项式拟合曲面片。
本发明中，步骤S1的一种具体实现方式可以为：
S101：将待放大图像IL有重叠的分成以像素点IL(i,j)为中心的5×5大小的第一组图像块[i-2.5,i+2.5]×[j-2.5,j+2.5]；其中，i＝3,4,…,R-2，j＝3,4,…,C-2，R和C分别表示待放大图像IL的行数和列数。
第一组图像块的一个示例如图2所示。
S102：将每个第一组图像块有重叠的分成9个分别以IL(i+m,j+n)为中心的3×3大小的第一组图像子块[i+m-1.5,i+m+1.5]×[j+n-1.5,j+n+1.5]；其中，i＝3,4,…,R-2，j＝3,4,…,C-2，m＝-1,0,1，n＝-1,0,1。
图2中，9个白色的点为9个中心点IL(i+m,j+n)，图3中，灰色区域表示以IL(i,j)为中心的第一组图像子块。
S103：在每个第一组图像子块上分别构造一个二次多项式拟合曲面片fi+m,j+n(x,y)；
其中，i＝3,4,…,R-2，j＝3,4,…,C-2，u＝x-(i+m)，v＝y-(j+n)，(x,y)表示重采样时像素点(i,j)的中心坐标；ci+m,j+n为fi+m,j+n(x,y)的未知参数，通过对fi+m,j+n(x,y)在9个像素点IL(i+m,j+n)分别采样并通过加权最小二乘法求解得到。
具体的求解方式如下：
对曲面片fi+m,j+n(x,y)在9个像素点IL(i+m,j+n)分别采样(积分)，可知像素点IL(i+m+k,j+n+l)为：
其中，k＝-1,0,1，l＝-1,0,1。
为了便于表示，以m＝n＝0为例，给出6个未知参数的求解过程。
当k＝l＝0时，可知：
根据四个方向(四个方向分别为x方向、y方向、x+y方向和x-y方向，如图4所示)的一阶差商可知：
因此，可通过加权最小二乘法求解：
其中，x方向的权函数wx定义如下：
其中，α表示平衡因子，与图像块的方差成正相关关系，Δ定义如下：
其他三个方向(y方向、x+y方向和x-y方向)的权函数理可得。
根据四个方向的二阶差商可知：
因此，同样可通过加权最小二乘法求解：
S2：将每个第一组图像块对应的9个二次多项式拟合曲面片组合成一个双四次多项式拟合曲面片，并将所有第一组图像块的双四次多项式拟合曲面片拼接在一起组合成原场景的近似曲面F(x,y)。
本发明中，步骤S2的一种具体实现方式可以为：
S201：基于二次多项式权函数wm,n(x,y)，在第一组图像块中心的1×1区域上，将9个二次多项式拟合曲面片fi+m,j+n(x,y)组合成一个双四次多项式拟合曲面片Fi,j(x,y)；该曲面片Fi,j(x,y)以1×1的区域IL(i,j)为中心，如图5所示。
其中，i＝3,4,…,R-2，j＝3,4,…,C-2，和/>分别表示距离权值和误差权值，β为用于控制距离权值和误差权值的平衡因子；
IL(i+m+k,j+n+l)表示待放大图像IL中位置(i+m+k,j+n+l)处的像素值，IS(i+m+k,j+n+l)表示fi+m,j+n(x,y)在对应1×1位置(i+m+k,j+n+l)处的采样值，k＝-1,0,1，l＝-1,0,1。
S202：将所有第一组图像块的双四次多项式拟合曲面片Fi,j(x,y)拼接在一起组合成原场景的近似曲面F(x,y)。
S3：对近似曲面F(x,y)按照设定的放大倍数进行重采样，得到预设放大倍数的放大图像
本发明中，步骤S3的一种具体实现方式可以为：
通过如下公式对近似曲面F(x,y)按照设定的放大倍数S进行重采样，得到预设放大倍数S的放大图像
其中，i＝1,2,…,R，j＝1,2,…,C。
S4：基于残差系数和拉普拉斯算子增强放大图像的边缘，得到增强图像/>
本发明中，步骤S4的一种具体实现方式可以为：
S401：在1×1邻接内对近似曲面F(x,y)进行积分，得到与待放大图像IL同样大小的采样图像
其中，i＝1,2,…,R，j＝1,2,…,C。
S402：计算残差系数r；
其中，残差系数r即为采样误差，i＝1,2,…,R，j＝1,2,…,C。
二维空间中的拉普拉斯定义如下：
在二维图像中其离散形式表示如下：
Δf(x,y)＝I(x+1,y)+I(x-1,y)+I(x,y+1)+I(x,y-1)-4I(x,y)
考虑到相邻像素之间的位置关系，在3×3区域内定义加权的拉普拉斯算子Δf′为：
S403：计算得到增强图像
S5：对增强图像进行降采样，得到降采样图像/>
本发明中，步骤S5的一种具体实现方式可以为：
采用双三次降采样方法对增强图像降采样得到与待放大图像IL同样大小的降采样图像/>
其中，↓表示双三次降采样，S表示放大倍数。
S6：判断是否满足设定的迭代终止条件，若是，则输出放大图像并结束，若否，则执行S7。
本发明中，步骤S6的一种具体实现方式可以为：
S601：判断残差系数r是否小于设定的阈值；以及/或者，判断迭代次数是否达到设定次数。
S602：若残差系数r小于设定的阈值；以及/或者，迭代次数t达到设定次数(即最大迭代次数)，则输出放大图像并结束，输出的放大图像/>即为最终的目标高分辨率图像；若否，则执行S7。
S7：将待放大图像IL减去降采样图像得到残差图像/>
本发明中，步骤S7的一种具体实现方式可以为：
通过如下公式将待放大图像IL减去降采样图像得到低分辨率的残差图像/>
S8：将残差图像有重叠的分成5×5大小的第二组图像块，将每个第二组图像块有重叠的分成9个3×3大小的第二组图像子块，并在每个第二组图像子块上分别构造一个二次多项式拟合曲面片。
本步骤与S1的过程相同，不同的是本步骤是对低分辨率的残差图像进行操作，S1是对待放大图像IL进行操作，详细过程可参见S1的描述，此处不再赘述。
S9：将每个第二组图像块对应的9个二次多项式拟合曲面片组合成一个双四次多项式拟合曲面片，并将所有第二组图像块的双四次多项式拟合曲面片拼接在一起组合成残差图像对应的近似曲面FR(x,y)。
本步骤与S2的过程相同，不同的是本步骤是对低分辨率的残差图像进行操作，S2是对待放大图像IL进行操作，详细过程可参见S2的描述，此处不再赘述。
S10：将残差图像对应的近似曲面FR(x,y)投影到近似曲面F(x,y)，更新近似曲面F(x,y)，并返回S3重复迭代，对更新后的近似曲面F(x,y)重复执行上述步骤，直至满足S6的迭代终止条件为止。
本步骤中，可以通过如下公式将残差图像对应的近似曲面FR(x,y)投影到近似曲面F(x,y)，更新近似曲面F(x,y)；
F(x,y)＝F(x,y)+FR(x,y)。
本发明实施例具有如下有益效果：
1、以边缘和距离为约束构造的二次多项式拟合曲面片对边缘像素点的拟合精度更高，很好的保持了图像中纹理细节和结构边缘等信息。
2、在二次多项式权函数约束下，九个二次多项式曲面片加权平均构造的双四次多项式拟合曲面片进一步提高了拟合精度，在更多像素点的约束下有效地降低了过拟合，减少了锯齿和伪影等失真现象。
3、基于残差系数和拉普拉斯算子增强图像边缘，有效地弥补了曲面拟合的不足，增强了放大图像在纹理细节和结构边缘处的视觉效果。
4、充分利用了图像本身的先验信息，通过迭代优化过程提高拟合曲面片的逼近精度，提升了算法的鲁棒性，保证了放大图像的真实性和可信度。
实施例2：
本发明实施例提供了一种基于九曲面片双四次拟合的图像放大装置，如图6所示，该装置包括：
第一曲面片获取模块1，用于将待放大图像IL有重叠的分成5×5大小的第一组图像块，将每个第一组图像块有重叠的分成9个3×3大小的第一组图像子块，并在每个第一组图像子块上分别构造一个二次多项式拟合曲面片。
第一近似曲面获取模块2，用于将每个第一组图像块对应的9个二次多项式拟合曲面片组合成一个双四次多项式拟合曲面片，并将所有第一组图像块的双四次多项式拟合曲面片拼接在一起组合成原场景的近似曲面F(x,y)。
放大图像获取模块3，用于对近似曲面F(x,y)按照设定的放大倍数进行重采样，得到预设放大倍数的放大图像
增强图像获取模块4，用于基于残差系数和拉普拉斯算子增强放大图像的边缘，得到增强图像/>
降采样图像获取模块5，用于对增强图像进行降采样，得到降采样图像/>
迭代判断模块6，用于判断是否满足设定的迭代终止条件，若是，则输出放大图像并结束，若否，则执行残差图像获取模块。
残差图像获取模块7，用于将待放大图像IL减去降采样图像得到残差图像/>
第二曲面片获取模块8，用于将残差图像有重叠的分成5×5大小的第二组图像块，将每个第二组图像块有重叠的分成9个3×3大小的第二组图像子块，并在每个第二组图像子块上分别构造一个二次多项式拟合曲面片。
第二近似曲面获取模块9，用于将每个第二组图像块对应的9个二次多项式拟合曲面片组合成一个双四次多项式拟合曲面片，并将所有第二组图像块的双四次多项式拟合曲面片拼接在一起组合成残差图像对应的近似曲面FR(x,y)。
迭代模块10，用于将残差图像对应的近似曲面FR(x,y)投影到近似曲面F(x,y)，更新近似曲面F(x,y)，并返回放大图像获取模块重复迭代。
前述的第一曲面片获取模块包括：
第一分块单元，用于将待放大图像IL有重叠的分成以像素点IL(i,j)为中心的5×5大小的第一组图像块[i-2.5,i+2.5]×[j-2.5,j+2.5]；其中，i＝3,4,…,R-2，j＝3,4,…,C-2，R和C分别表示待放大图像IL的行数和列数。
第二分块单元，用于将每个第一组图像块有重叠的分成9个分别以IL(i+m,j+n)为中心的3×3大小的第一组图像子块[i+m-1.5,i+m+1.5]×[j+n-1.5,j+n+1.5]；其中，i＝3,4,…,R-2，j＝3,4,…,C-2，m＝-1,0,1，n＝-1,0,1。
第一构造单元，用于在每个第一组图像子块上分别构造一个二次多项式拟合曲面片fi+m,j+n(x,y)；
其中，i＝3,4,…,R-2，j＝3,4,…,C-2，u＝x-(i+m)，v＝y-(j+n)； ci+m,j+n为fi+m,j+n(x,y)的未知参数，通过对fi+m,j+n(x,y)在9个像素点IL(i+m,j+n)分别采样并通过加权最小二乘法求解得到。
前述的第一近似曲面获取模块包括：
组合单元，用于基于二次多项式权函数wm,n(x,y)，在第一组图像块中心的1×1区域上，将9个二次多项式拟合曲面片fi+m,j+n(x,y)组合成一个双四次多项式拟合曲面片Fi,j(x,y)；
其中，i＝3,4,…,R-2，j＝3,4,…,C-2，和/>分别表示距离权值和误差权值，β为用于控制距离权值和误差权值的平衡因子；
IL(i+m+k,j+n+l)表示待放大图像IL中位置(i+m+k,j+n+l)处的像素值，IS(i+m+k,j+n+l)表示fi+m,j+n(x,y)在位置(i+m+k,j+n+l)处的采样值，k＝-1,0,1，l＝-1,0,1。
拼接单元，用于将所有第一组图像块的双四次多项式拟合曲面片Fi,j(x,y)拼接在一起组合成原场景的近似曲面F(x,y)。
前述的放大图像获取模块用于：
通过如下公式对近似曲面F(x,y)按照设定的放大倍数S进行重采样，得到预设放大倍数S的放大图像
其中，i＝1,2,…,R，j＝1,2,…,C。
前述的增强图像获取模块包括：
积分单元，用于在1×1邻接内对近似曲面F(x,y)进行积分，得到与待放大图像IL同样大小的采样图像
其中，i＝1,2,…,R，j＝1,2,…,C。
残差系数计算单元，用于计算残差系数r；
其中，i＝1,2,…,R，j＝1,2,…,C。
增强图像计算单元，用于计算得到增强图像
其中，Δf′为拉普拉斯算子；
前述的降采样图像获取模块用于：
采用双三次降采样方法对增强图像降采样得到与待放大图像IL同样大小的降采样图像/>
其中，↓表示双三次降采样，S表示放大倍数。
前述的迭代判断模块包括：
判断单元，用于判断残差系数r是否小于设定的阈值；以及/或者，判断迭代次数是否达到设定次数。
执行单元，用于若残差系数r小于设定的阈值；以及/或者，迭代次数达到设定次数，则输出放大图像并结束，若否，则执行残差图像获取模块。
前述的残差图像获取模块用于：
通过如下公式将待放大图像IL减去降采样图像得到残差图像/>
前述的第二近似曲面获取模块中，通过如下公式将残差图像对应的近似曲面FR(x,y)投影到近似曲面F(x,y)，更新近似曲面F(x,y)；
F(x,y)＝F(x,y)+FR(x,y)。
本发明实施例具有如下有益效果：
1、以边缘和距离为约束构造的二次多项式拟合曲面片对边缘像素点的拟合精度更高，很好的保持了图像中纹理细节和结构边缘等信息。
2、在二次多项式权函数约束下，九个二次多项式曲面片加权平均构造的双四次多项式拟合曲面片进一步提高了拟合精度，在更多像素点的约束下有效地降低了过拟合，减少了锯齿和伪影等失真现象。
3、基于残差系数和拉普拉斯算子增强图像边缘，有效地弥补了曲面拟合的不足，增强了放大图像在纹理细节和结构边缘处的视觉效果。
4、充分利用了图像本身的先验信息，通过迭代优化过程提高拟合曲面片的逼近精度，提升了算法的鲁棒性，保证了放大图像的真实性和可信度。
本发明实施例所提供的装置，其实现原理及产生的技术效果和前述方法实施例1相同，为简要描述，该装置实施例部分未提及之处，可参考前述方法实施例1中相应内容。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，前述描述的装置和单元的具体工作过程，均可以参考上述方法实施例1中的对应过程，在此不再赘述。
以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种基于九曲面片双四次拟合的图像放大方法，其特征在于，所述方法包括：
S1：将待放大图像IL有重叠的分成5×5大小的第一组图像块，将每个第一组图像块有重叠的分成9个3×3大小的第一组图像子块，并在每个第一组图像子块上分别构造一个二次多项式拟合曲面片；
S2：将每个第一组图像块对应的9个二次多项式拟合曲面片组合成一个双四次多项式拟合曲面片，并将所有第一组图像块的双四次多项式拟合曲面片拼接在一起组合成原场景的近似曲面F(x,y)；
S3：对所述近似曲面F(x,y)按照设定的放大倍数进行重采样，得到预设放大倍数的放大图像
S4：基于残差系数和拉普拉斯算子增强所述放大图像的边缘，得到增强图像/>
S5：对所述增强图像进行降采样，得到降采样图像/>
S6：判断是否满足设定的迭代终止条件，若是，则输出所述放大图像并结束，若否，则执行S7；
S7：将所述待放大图像IL减去所述降采样图像得到残差图像/>
S8：将所述残差图像有重叠的分成5×5大小的第二组图像块，将每个第二组图像块有重叠的分成9个3×3大小的第二组图像子块，并在每个第二组图像子块上分别构造一个二次多项式拟合曲面片；
S9：将每个第二组图像块对应的9个二次多项式拟合曲面片组合成一个双四次多项式拟合曲面片，并将所有第二组图像块的双四次多项式拟合曲面片拼接在一起组合成所述残差图像对应的近似曲面FR(x,y)；
S10：将所述残差图像对应的近似曲面FR(x,y)投影到所述近似曲面F(x,y)，更新所述近似曲面F(x,y)，并返回所述S3重复迭代。
2.根据权利要求1所述的基于九曲面片双四次拟合的图像放大方法，其特征在于，所述S1包括：
S101：将所述待放大图像IL有重叠的分成以像素点IL(i,j)为中心的5×5大小的第一组图像块[i-2.5,i+2.5]×[j-2.5,j+2.5]；其中，i＝3,4,…,R-2，j＝3,4,…,C-2，R和C分别表示所述待放大图像IL的行数和列数；
S102：将每个第一组图像块有重叠的分成9个分别以IL(i+m,j+n)为中心的3×3大小的第一组图像子块[i+m-1.5,i+m+1.5]×[j+n-1.5,j+n+1.5]；其中，i＝3,4,…,R-2，j＝3,4,…,C-2，m＝-1,0,1，n＝-1,0,1；
S103：在每个第一组图像子块上分别构造一个二次多项式拟合曲面片fi+m,j+n(x,y)；
其中，i＝3,4,…,R-2，j＝3,4,…,C-2，u＝x-(i+m)，v＝y-(j+n)； ci+m,j+n为fi+m,j+n(x,y)的未知参数，通过对fi+m,j+n(x,y)在9个像素点IL(i+m,j+n)分别采样并通过加权最小二乘法求解得到。
3.根据权利要求2所述的基于九曲面片双四次拟合的图像放大方法，其特征在于，所述S2包括：
S201：基于二次多项式权函数wm,n(x,y)，在所述第一组图像块中心的1×1区域上，将9个二次多项式拟合曲面片fi+m,j+n(x,y)组合成一个双四次多项式拟合曲面片Fi,j(x,y)；
其中，i＝3,4,…,R-2，j＝3,4,…,C-2， 和/>分别表示距离权值和误差权值，β为用于控制所述距离权值和误差权值的平衡因子；
IL(i+m+k,j+n+l)表示待放大图像IL中位置(i+m+k,j+n+l)处的像素值，IS(i+m+k,j+n+l)表示fi+m,j+n(x,y)在位置(i+m+k,j+n+l)处的采样值，k＝-1,0,1，l＝-1,0,1；
S202：将所有第一组图像块的双四次多项式拟合曲面片Fi,j(x,y)拼接在一起组合成原场景的近似曲面F(x,y)。
4.根据权利要求3所述的基于九曲面片双四次拟合的图像放大方法，其特征在于，所述S3包括：
通过如下公式对所述近似曲面F(x,y)按照设定的放大倍数S进行重采样，得到预设放大倍数S的放大图像
其中，i＝1,2,…,R，j＝1,2,…,C。
5.根据权利要求4所述的基于九曲面片双四次拟合的图像放大方法，其特征在于，所述S4包括：
S401：在1×1邻接内对所述近似曲面F(x,y)进行积分，得到与所述待放大图像IL同样大小的采样图像
其中，i＝1,2,…,R，j＝1,2,…,C；
S402：计算残差系数r；
其中，i＝1,2,…,R，j＝1,2,…,C；
S403：计算得到所述增强图像
其中，Δf′为拉普拉斯算子；
6.根据权利要求5所述的基于九曲面片双四次拟合的图像放大方法，其特征在于，所述S5包括：
采用双三次降采样方法对所述增强图像降采样得到与所述待放大图像IL同样大小的降采样图像/>
其中，↓表示双三次降采样，S表示放大倍数。
7.根据权利要求6所述的基于九曲面片双四次拟合的图像放大方法，其特征在于，所述S6包括：
S601：判断所述残差系数r是否小于设定的阈值；以及/或者，判断迭代次数是否达到设定次数；
S602：若所述残差系数r小于设定的阈值；以及/或者，迭代次数达到设定次数，则输出所述放大图像并结束，若否，则执行所述S7。
8.根据权利要求7所述的基于九曲面片双四次拟合的图像放大方法，其特征在于，所述S7包括：
通过如下公式将所述待放大图像IL减去所述降采样图像得到残差图像/>
9.根据权利要求8所述的基于九曲面片双四次拟合的图像放大方法，其特征在于，所述S10中，通过如下公式将所述残差图像对应的近似曲面FR(x,y)投影到所述近似曲面F(x,y)，更新所述近似曲面F(x,y)；
F(x,y)＝F(x,y)+FR(x,y)。
10.一种基于九曲面片双四次拟合的图像放大装置，其特征在于，所述装置包括：
第一曲面片获取模块，用于将待放大图像IL有重叠的分成5×5大小的第一组图像块，将每个第一组图像块有重叠的分成9个3×3大小的第一组图像子块，并在每个第一组图像子块上分别构造一个二次多项式拟合曲面片；
第一近似曲面获取模块，用于将每个第一组图像块对应的9个二次多项式拟合曲面片组合成一个双四次多项式拟合曲面片，并将所有第一组图像块的双四次多项式拟合曲面片拼接在一起组合成原场景的近似曲面F(x,y)；
放大图像获取模块，用于对所述近似曲面F(x,y)按照设定的放大倍数进行重采样，得到预设放大倍数的放大图像
增强图像获取模块，用于基于残差系数和拉普拉斯算子增强所述放大图像的边缘，得到增强图像/>
降采样图像获取模块，用于对所述增强图像进行降采样，得到降采样图像/>
迭代判断模块，用于判断是否满足设定的迭代终止条件，若是，则输出所述放大图像并结束，若否，则执行残差图像获取模块；
残差图像获取模块，用于将所述待放大图像IL减去所述降采样图像得到残差图像
第二曲面片获取模块，用于将所述残差图像有重叠的分成5×5大小的第二组图像块，将每个第二组图像块有重叠的分成9个3×3大小的第二组图像子块，并在每个第二组图像子块上分别构造一个二次多项式拟合曲面片；
第二近似曲面获取模块，用于将每个第二组图像块对应的9个二次多项式拟合曲面片组合成一个双四次多项式拟合曲面片，并将所有第二组图像块的双四次多项式拟合曲面片拼接在一起组合成所述残差图像对应的近似曲面FR(x,y)；
迭代模块，用于将所述残差图像对应的近似曲面FR(x,y)投影到所述近似曲面F(x,y)，更新所述近似曲面F(x,y)，并返回所述放大图像获取模块重复迭代。
CN202210683222.2A 2022-06-16 2022-06-16 基于九曲面片双四次拟合的图像放大方法和装置 Active CN115018707B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210683222.2A CN115018707B (zh) 2022-06-16 2022-06-16 基于九曲面片双四次拟合的图像放大方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210683222.2A CN115018707B (zh) 2022-06-16 2022-06-16 基于九曲面片双四次拟合的图像放大方法和装置

Publications (2)

Publication Number Publication Date
CN115018707A CN115018707A (zh) 2022-09-06
CN115018707B true CN115018707B (zh) 2023-07-18

Family

ID=83075664

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210683222.2A Active CN115018707B (zh) 2022-06-16 2022-06-16 基于九曲面片双四次拟合的图像放大方法和装置

Country Status (1)

Country Link
CN (1) CN115018707B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107918926A (zh) * 2017-11-22 2018-04-17 徐李添 一种基于四边形和三角形面片的数字图像放大方法
CN108305216A (zh) * 2018-03-15 2018-07-20 信阳师范学院 一种双边四次插值的图像放大方法
CN108702496A (zh) * 2015-09-02 2018-10-23 艾里斯泰克软件股份有限公司 用于实时色调映射的系统和方法
CN109447904A (zh) * 2018-10-19 2019-03-08 山东大学 基于局部双二次多项式插值的数字图像放大方法
CN111507903A (zh) * 2020-04-16 2020-08-07 鲁东大学 基于五曲面片加权平均拟合的图像放大方法和装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8045046B1 (en) * 2010-04-13 2011-10-25 Sony Corporation Four-dimensional polynomial model for depth estimation based on two-picture matching
US9338331B2 (en) * 2014-01-09 2016-05-10 Massachusetts Institute Of Technology Riesz pyramids for fast phase-based video magnification

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108702496A (zh) * 2015-09-02 2018-10-23 艾里斯泰克软件股份有限公司 用于实时色调映射的系统和方法
CN107918926A (zh) * 2017-11-22 2018-04-17 徐李添 一种基于四边形和三角形面片的数字图像放大方法
CN108305216A (zh) * 2018-03-15 2018-07-20 信阳师范学院 一种双边四次插值的图像放大方法
CN109447904A (zh) * 2018-10-19 2019-03-08 山东大学 基于局部双二次多项式插值的数字图像放大方法
CN111507903A (zh) * 2020-04-16 2020-08-07 鲁东大学 基于五曲面片加权平均拟合的图像放大方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
特征约束的多实例图像超分辨率方法;张新;张帆;李雪梅;汤煜春;张彩明;;计算机辅助设计与图形学学报(04);全文 *

Also Published As

Publication number Publication date
CN115018707A (zh) 2022-09-06

Similar Documents

Publication Publication Date Title
JP3837575B2 (ja) 超解像処理の高速化方法
CN111080709B (zh) 基于轨迹特征配准的多光谱立体相机自标定算法
CN107123089A (zh) 基于深度卷积网络的遥感图像超分辨重建方法及系统
CN102968788B (zh) 一种基于规则格网面元的波段配准方法
US8213746B2 (en) Super-resolution image processing
JPWO2009150882A1 (ja) 画像位置合わせ処理装置、領域拡張処理装置及び画質改善処理装置
JP2009070123A (ja) 画像処理装置及びその方法
CN108961163A (zh) 一种高分辨率卫星影像超分辨重建方法
WO2020186385A1 (zh) 图像处理方法、电子设备及计算机可读存储介质
CN109191377B (zh) 一种基于插值的图像放大方法
CN112862683B (zh) 一种基于弹性配准和网格优化的邻接图像拼接方法
TWI459325B (zh) 數位影像處理裝置及其處理方法
CN107424121B (zh) 一种基于分数阶微分的模糊图像超分辨率重构方法
CN111008936A (zh) 一种多光谱图像全色锐化方法
CN112509106A (zh) 文档图片展平方法、装置以及设备
CN106846250B (zh) 一种基于多尺度滤波的超分辨率重建方法
CN117291808B (zh) 一种基于流先验与极偏补偿的光场图像超分辨处理方法
Cristóbal et al. Superresolution imaging: a survey of current techniques
CN115018707B (zh) 基于九曲面片双四次拟合的图像放大方法和装置
CN108876829A (zh) 基于非线性尺度空间及径向基函数的sar高精度配准方法
CN113096032A (zh) 一种基于图像区域划分的非均匀一致模糊去除方法
CN111899166A (zh) 一种基于深度学习的医学高光谱显微图像超分辨重构方法
CN116823671A (zh) 一种基于锁眼解密历史影像的自动精准定位以及校正方法
CN108537810B (zh) 一种改进的Zernike矩亚像素边缘检测方法
CN110674862A (zh) 基于内部样例的邻域回归的超分辨率方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant