CN115018707A - 基于九曲面片双四次拟合的图像放大方法和装置 - Google Patents
基于九曲面片双四次拟合的图像放大方法和装置 Download PDFInfo
- Publication number
- CN115018707A CN115018707A CN202210683222.2A CN202210683222A CN115018707A CN 115018707 A CN115018707 A CN 115018707A CN 202210683222 A CN202210683222 A CN 202210683222A CN 115018707 A CN115018707 A CN 115018707A
- Authority
- CN
- China
- Prior art keywords
- image
- curved surface
- blocks
- group
- patch
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 47
- 230000003321 amplification Effects 0.000 title claims abstract description 19
- 238000003199 nucleic acid amplification method Methods 0.000 title claims abstract description 19
- 238000005070 sampling Methods 0.000 claims abstract description 19
- 238000012952 Resampling Methods 0.000 claims abstract description 14
- 230000002708 enhancing effect Effects 0.000 claims abstract description 7
- YBJHBAHKTGYVGT-ZKWXMUAHSA-N (+)-Biotin Chemical compound N1C(=O)N[C@@H]2[C@H](CCCCC(=O)O)SC[C@@H]21 YBJHBAHKTGYVGT-ZKWXMUAHSA-N 0.000 claims description 9
- FEPMHVLSLDOMQC-UHFFFAOYSA-N virginiamycin-S1 Natural products CC1OC(=O)C(C=2C=CC=CC=2)NC(=O)C2CC(=O)CCN2C(=O)C(CC=2C=CC=CC=2)N(C)C(=O)C2CCCN2C(=O)C(CC)NC(=O)C1NC(=O)C1=NC=CC=C1O FEPMHVLSLDOMQC-UHFFFAOYSA-N 0.000 claims description 9
- 230000001131 transforming effect Effects 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 abstract description 4
- 238000012545 processing Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 5
- 230000000903 blocking effect Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 3
- 238000010276 construction Methods 0.000 description 3
- 230000007547 defect Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 230000010354 integration Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000000638 solvent extraction Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 235000013409 condiments Nutrition 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4023—Scaling of whole images or parts thereof, e.g. expanding or contracting based on decimating pixels or lines of pixels; based on inserting pixels or lines of pixels
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于九曲面片双四次拟合的图像放大方法和装置,属于图像处理领域。本发明先将图像IL重叠的分成5×5大小的图像块,再将其重叠的分成9个3×3的图像子块,并在每个图像子块上构造二次多项式拟合曲面片;将9个二次多项式拟合曲面片组合成双四次多项式拟合曲面片,将其拼接在一起组合成近似曲面F(x,y);对近似曲面重采样,得到放大图像;基于残差系数和拉普拉斯算子增强放大图像边缘,得到增强图像;对增提强图像降采样,得到降采用图像;将图像IL减去降采样图像,得到残差图像;基于残差图像构造近似曲面,并将其投影到近似曲面F(x,y)。本发明不仅具有较高的精度,同时在图像纹理细节和结构边缘处有较好的视觉效果。
Description
技术领域
本发明涉及图像处理领域,特别是指一种基于九曲面片双四次拟合的图像放大方法和装置。
背景技术
随着图像采集设备的推广和应用,在航空航天、遥感卫星、工业、农业、交通、医学影像等各个行业对电子图像的需求日益增加,图像信息已逐渐成为人们日常的生产生活中重要调味品,而图像放大则是对电子图像信息处理中关键问题之一。随着电子图像信息种类和总量的增加,对图像放大的需要也随之增加,因而引起了更多的学者的关注和深入研究。
电子图像是通过电子传感器把特定的场景信息(自然影像、医学影像、遥感图像、红外图像等)转换成电子数据,图像放大同样也是要将该场景信息转换成电子数据,不同的是图像放大的过程中对图像的数据量有着更高的要求。但遗憾的是,我们几乎没有办法重建该场景,只能通过有限的电子图像数据重建高分辨率的图像。通过已知的低分辨率图像重构出原场景所对应的近似曲面,对其重采样即可得到放大后的目标高分辨率图像。
假定待放大图像IL(由R×C个像素组成)所对应的原场景能用一个近似曲面F(x,y)来表示,则图像IL的像素点IL(i,j)可视为图像IL在原场景中单位面积上的采样值,因此IL(i,j)定义如下:
其中,R表示图像IL的行数,C表示图像IL的列数,(i,j)表示图像IL对应的xy平面上的坐标值,IL(i,j)表示图像IL第i行,第j列的像素值。
由此,上述图像放大问题转换成了对曲面F(x,y)的求解问题,求解得到F(x,y)后,对其重采样即可得到放大后的目标高分辨率图像。最直观的方法是把曲面F(x,y)视为一个整体进行求解。但这不仅是涉及参数数量O(RC)和方程个数O(RC)的复杂问题求解,而且曲面F(x,y)对离群点(即图像中的边缘)有抑制,拟合效果较差。为了降低计算复杂度的同时提高对图像边缘的拟合效果,现有技术一般采用分片求解拟合曲面F(x,y)。
例如,将图像IL以像素点IL(i,j)为中心分成4×4大小的图像块[i-1.5,i+2.5]×[j-1.5,j+2.5],i=2,3,…,R-2,j=2,3,…,C-2;然后将每个4×4大小的图像块分成4个3×3大小的子图像,在每个子图像上分别以像素点IL(i,j)、IL(i,j+1)、IL(i+1,j)和IL(i+1,j+1)为中心构造一个二次多项式曲面片:
fi,j(x,y)=a1x2y2+a2x2y+a3xy2+a4x2+a5xy+a6y2+a7x+a8y+a9
然后,在中心[i,i+1]×[j,j+1]的1×1区域上,将以像素点IL(i,j)、IL(i,j+1)、IL(i+1,j)和IL(i+1,j+1)为中心的二次多项式曲面片加权平均组合成了双三次多项式曲面片Fi,j(x,y)。最终,所有曲面片Fi,j(x,y)拼接在一起构成了近似曲面F(x,y)。对近似曲面F(x,y)重采样即可得到预设倍数的高分辨率图像。
但是,上述方法存在如下缺陷:基于曲面构造理论可知,在三维空间中将4×4的区域内相邻像素点依次连接组成的多面体如果是凸多面体,则构造的拟合曲面会在凸多面体内部,从而导致放大图像边缘模糊;如果不是凸多面体,则构造的拟合曲面会和多面体相交,导致曲面上某些区域摆动较大,从而出现锯齿和伪影等失真问题。
发明内容
为解决上述技术问题,本发明提供一种基于九曲面片双四次拟合的图像放大方法和装置,本发明不仅具有较高的精度,同时在图像纹理细节和结构边缘处有较好的视觉效果。
本发明提供技术方案如下:
第一方面,本发明提供一种基于九曲面片双四次拟合的图像放大方法,所述方法包括:
S1:将待放大图像IL有重叠的分成5×5大小的第一组图像块,将每个第一组图像块有重叠的分成9个3×3大小的第一组图像子块,并在每个第一组图像子块上分别构造一个二次多项式拟合曲面片;
S2:将每个第一组图像块对应的9个二次多项式拟合曲面片组合成一个双四次多项式拟合曲面片,并将所有第一组图像块的双四次多项式拟合曲面片拼接在一起组合成原场景的近似曲面F(x,y);
进一步的,所述S1包括:
S101:将所述待放大图像IL有重叠的分成以像素点IL(i,j)为中心的5×5大小的第一组图像块[i-2.5,i+2.5]×[j-2.5,j+2.5];其中,i=3,4,…,R-2,j=3,4,…,C-2,R和C分别表示所述待放大图像IL的行数和列数;
S102:将每个第一组图像块有重叠的分成9个分别以IL(i+m,j+n)为中心的3×3大小的第一组图像子块[i+m-1.5,i+m+1.5]×[j+n-1.5,j+n+1.5];其中,i=3,4,…,R-2,j=3,4,…,C-2,m=-1,0,1,n=-1,0,1;
S103:在每个第一组图像子块上分别构造一个二次多项式拟合曲面片fi+m,j+n(x,y);
其中,i=3,4,…,R-2,j=3,4,…,C-2,u=x-(i+m),v=y-(j+n); ci+m,j+n为fi+m,j+n(x,y)的未知参数,通过对fi+m,j+n(x,y)在9个像素点IL(i+m,j+n)分别采样并通过加权最小二乘法求解得到。
进一步的,所述S2包括:
S201:基于二次多项式权函数wm,n(x,y),在所述第一组图像块中心的1×1区域上,将9个二次多项式拟合曲面片fi+m,j+n(x,y)组合成一个双四次多项式拟合曲面片Fi,j(x,y);
IL(i+m+k,j+n+l)表示待放大图像IL中位置(i+m+k,j+n+l)处的像素值,IS(i+m+k,j+n+l)表示fi+m,j+n(x,y)在位置(i+m+k,j+n+l)处的采样值,k=-1,0,1,l=-1,0,1;
S202:将所有第一组图像块的双四次多项式拟合曲面片Fi,j(x,y)拼接在一起组合成原场景的近似曲面F(x,y)。
进一步的,所述S3包括:
其中,i=1,2,…,R,j=1,2,…,C。
进一步的,所述S4包括:
其中,i=1,2,…,R,j=1,2,…,C;
S402:计算残差系数r;
其中,i=1,2,…,R,j=1,2,…,C;
其中,Δf′为拉普拉斯算子;
进一步的,所述S5包括:
其中,↓表示双三次降采样,S表示放大倍数。
进一步的,所述S6包括:
S601:判断所述残差系数r是否小于设定的阈值;以及/或者,判断迭代次数是否达到设定次数;
进一步的,所述S7包括:
F(x,y)=F(x,y)+FR(x,y)。
第二方面,本发明提供一种基于九曲面片双四次拟合的图像放大装置,所述装置包括:
第一曲面片获取模块,用于将待放大图像IL有重叠的分成5×5大小的第一组图像块,将每个第一组图像块有重叠的分成9个3×3大小的第一组图像子块,并在每个第一组图像子块上分别构造一个二次多项式拟合曲面片;
第一近似曲面获取模块,用于将每个第一组图像块对应的9个二次多项式拟合曲面片组合成一个双四次多项式拟合曲面片,并将所有第一组图像块的双四次多项式拟合曲面片拼接在一起组合成原场景的近似曲面F(x,y);
第二近似曲面获取模块,用于将每个第二组图像块对应的9个二次多项式拟合曲面片组合成一个双四次多项式拟合曲面片,并将所有第二组图像块的双四次多项式拟合曲面片拼接在一起组合成所述残差图像对应的近似曲面FR(x,y);
进一步的,所述第一曲面片获取模块包括:
第一分块单元,用于将所述待放大图像IL有重叠的分成以像素点IL(i,j)为中心的5×5大小的第一组图像块[i-2.5,i+2.5]×[j-2.5,j+2.5];其中,i=3,4,…,R-2,j=3,4,…,C-2,R和C分别表示所述待放大图像IL的行数和列数;
第二分块单元,用于将每个第一组图像块有重叠的分成9个分别以IL(i+m,j+n)为中心的3×3大小的第一组图像子块[i+m-1.5,i+m+1.5]×[j+n-1.5,j+n+1.5];其中,i=3,4,…,R-2,j=3,4,…,C-2,m=-1,0,1,n=-1,0,1;
第一构造单元,用于在每个第一组图像子块上分别构造一个二次多项式拟合曲面片fi+m,j+n(x,y);
其中,i=3,4,…,R-2,j=3,4,…,C-2,u=x-(i+m),v=y-(j+n); 为fi+m,j+n(x,y)的未知参数,通过对fi+m,j+n(x,y)在9个像素点IL(i+m,j+n)分别采样并通过加权最小二乘法求解得到。
进一步的,所述第一近似曲面获取模块包括:
组合单元,用于基于二次多项式权函数wm,n(x,y),在所述第一组图像块中心的1×1区域上,将9个二次多项式拟合曲面片fi+m,j+n(x,y)组合成一个双四次多项式拟合曲面片Fi,j(x,y);
IL(i+m+k,j+n+l)表示待放大图像IL中位置(i+m+k,j+n+l)处的像素值,IS(i+m+k,j+n+l)表示fi+m,j+n(x,y)在位置(i+m+k,j+n+l)处的采样值,k=-1,0,1,l=-1,0,1;
拼接单元,用于将所有第一组图像块的双四次多项式拟合曲面片Fi,j(x,y)拼接在一起组合成原场景的近似曲面F(x,y)。
进一步的,所述放大图像获取模块用于:
其中,i=1,2,…,R,j=1,2,…,C。
进一步的,所述增强图像获取模块包括:
其中,i=1,2,…,R,j=1,2,…,C;
残差系数计算单元,用于计算残差系数r;
其中,i=1,2,…,R,j=1,2,…,C;
其中,Δf′为拉普拉斯算子;
进一步的,所述降采样图像获取模块用于:
其中,↓表示双三次降采样,S表示放大倍数。
进一步的,所述迭代判断模块包括:
判断单元,用于判断所述残差系数r是否小于设定的阈值;以及/或者,判断迭代次数是否达到设定次数;
进一步的,所述残差图像获取模块用于:
F(x,y)=F(x,y)+FR(x,y)。
本发明具有以下有益效果:
1、以边缘和距离为约束构造的二次多项式拟合曲面片对边缘像素点的拟合精度更高,很好的保持了图像中纹理细节和结构边缘等信息。
2、在二次多项式权函数约束下,九个二次多项式曲面片加权平均构造的双四次多项式拟合曲面片进一步提高了拟合精度,在更多像素点的约束下有效地降低了过拟合,减少了锯齿和伪影等失真现象。
3、基于残差系数和拉普拉斯算子增强图像边缘,有效地弥补了曲面拟合的不足,增强了放大图像在纹理细节和结构边缘处的视觉效果。
4、充分利用了图像本身的先验信息,通过迭代优化过程提高拟合曲面片的逼近精度,提升了算法的鲁棒性,保证了放大图像的真实性和可信度。
附图说明
图1为本发明的基于九曲面片双四次拟合的图像放大方法的流程图;
图2为5×5大小的第一组图像块的示意图;
图3为3×3大小的第一组图像子块的示意图;
图4为3×3大小的第一组图像子块的四个方向示意图;
图5为5×5大小的第一组图像块构造的1×1的双四次多项式拟合曲面片的示意图;
图6为本发明的基于九曲面片双四次拟合的图像放大装置的示意图。
具体实施方式
为使本发明要解决的技术问题、技术方案和优点更加清楚,下面将结合附图及具体实施例对本发明的技术方案进行清楚、完整地描述。显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
实施例1:
本发明实施例提供了一种基于九曲面片双四次拟合的图像放大方法,如图1所示,该方法包括:
S1:将待放大图像IL有重叠的分成5×5大小的第一组图像块,将每个第一组图像块有重叠的分成9个3×3大小的第一组图像子块,并在每个第一组图像子块上分别构造一个二次多项式拟合曲面片。
本发明中,步骤S1的一种具体实现方式可以为:
S101:将待放大图像IL有重叠的分成以像素点IL(i,j)为中心的5×5大小的第一组图像块[i-2.5,i+2.5]×[j-2.5,j+2.5];其中,i=3,4,…,R-2,j=3,4,…,C-2,R和C分别表示待放大图像IL的行数和列数。
第一组图像块的一个示例如图2所示。
S102:将每个第一组图像块有重叠的分成9个分别以IL(i+m,j+n)为中心的3×3大小的第一组图像子块[i+m-1.5,i+m+1.5]×[j+n-1.5,j+n+1.5];其中,i=3,4,…,R-2,j=3,4,…,C-2,m=-1,0,1,n=-1,0,1。
图2中,9个白色的点为9个中心点IL(i+m,j+n),图3中,灰色区域表示以IL(i,j)为中心的第一组图像子块。
S103:在每个第一组图像子块上分别构造一个二次多项式拟合曲面片fi+m,j+n(x,y);
其中,i=3,4,…,R-2,j=3,4,…,C-2,u=x-(i+m),v=y-(j+n),(x,y)表示重采样时像素点(i,j)的中心坐标;ci+m,j+n为fi+m,j+n(x,y)的未知参数,通过对fi+m,j+n(x,y)在9个像素点IL(i+m,j+n)分别采样并通过加权最小二乘法求解得到。
具体的求解方式如下:
对曲面片fi+m,j+n(x,y)在9个像素点IL(i+m,j+n)分别采样(积分),可知像素点IL(i+m+k,j+n+l)为:
其中,k=-1,0,1,l=-1,0,1。
为了便于表示,以m=n=0为例,给出6个未知参数的求解过程。
当k=l=0时,可知:
根据四个方向(四个方向分别为x方向、y方向、x+y方向和x-y方向,如图4所示)的一阶差商可知:
因此,可通过加权最小二乘法求解:
其中,x方向的权函数wx定义如下:
其中,α表示平衡因子,与图像块的方差成正相关关系,Δ定义如下:
其他三个方向(y方向、x+y方向和x-y方向)的权函数理可得。
根据四个方向的二阶差商可知:
因此,同样可通过加权最小二乘法求解:
S2:将每个第一组图像块对应的9个二次多项式拟合曲面片组合成一个双四次多项式拟合曲面片,并将所有第一组图像块的双四次多项式拟合曲面片拼接在一起组合成原场景的近似曲面F(x,y)。
本发明中,步骤S2的一种具体实现方式可以为:
S201:基于二次多项式权函数wm,n(x,y),在第一组图像块中心的1×1区域上,将9个二次多项式拟合曲面片fi+m,j+n(x,y)组合成一个双四次多项式拟合曲面片Fi,j(x,y);该曲面片Fi,j(x,y)以1×1的区域IL(i,j)为中心,如图5所示。
IL(i+m+k,j+n+l)表示待放大图像IL中位置(i+m+k,j+n+l)处的像素值,IS(i+m+k,j+n+l)表示fi+m,j+n(x,y)在对应1×1位置(i+m+k,j+n+l)处的采样值,k=-1,0,1,l=-1,0,1。
S202:将所有第一组图像块的双四次多项式拟合曲面片Fi,j(x,y)拼接在一起组合成原场景的近似曲面F(x,y)。
本发明中,步骤S3的一种具体实现方式可以为:
其中,i=1,2,…,R,j=1,2,…,C。
本发明中,步骤S4的一种具体实现方式可以为:
其中,i=1,2,…,R,j=1,2,…,C。
S402:计算残差系数r;
其中,残差系数r即为采样误差,i=1,2,…,R,j=1,2,…,C。
二维空间中的拉普拉斯定义如下:
在二维图像中其离散形式表示如下:
Δf(x,y)=I(x+1,y)+I(x-1,y)+I(x,y+1)+I(x,y-1)-4I(x,y)
考虑到相邻像素之间的位置关系,在3×3区域内定义加权的拉普拉斯算子Δf′为:
本发明中,步骤S5的一种具体实现方式可以为:
其中,↓表示双三次降采样,S表示放大倍数。
本发明中,步骤S6的一种具体实现方式可以为:
S601:判断残差系数r是否小于设定的阈值;以及/或者,判断迭代次数是否达到设定次数。
本发明中,步骤S7的一种具体实现方式可以为:
S10:将残差图像对应的近似曲面FR(x,y)投影到近似曲面F(x,y),更新近似曲面F(x,y),并返回S3重复迭代,对更新后的近似曲面F(x,y)重复执行上述步骤,直至满足S6的迭代终止条件为止。
F(x,y)=F(x,y)+FR(x,y)。
本发明实施例具有如下有益效果:
1、以边缘和距离为约束构造的二次多项式拟合曲面片对边缘像素点的拟合精度更高,很好的保持了图像中纹理细节和结构边缘等信息。
2、在二次多项式权函数约束下,九个二次多项式曲面片加权平均构造的双四次多项式拟合曲面片进一步提高了拟合精度,在更多像素点的约束下有效地降低了过拟合,减少了锯齿和伪影等失真现象。
3、基于残差系数和拉普拉斯算子增强图像边缘,有效地弥补了曲面拟合的不足,增强了放大图像在纹理细节和结构边缘处的视觉效果。
4、充分利用了图像本身的先验信息,通过迭代优化过程提高拟合曲面片的逼近精度,提升了算法的鲁棒性,保证了放大图像的真实性和可信度。
实施例2:
本发明实施例提供了一种基于九曲面片双四次拟合的图像放大装置,如图6所示,该装置包括:
第一曲面片获取模块1,用于将待放大图像IL有重叠的分成5×5大小的第一组图像块,将每个第一组图像块有重叠的分成9个3×3大小的第一组图像子块,并在每个第一组图像子块上分别构造一个二次多项式拟合曲面片。
第一近似曲面获取模块2,用于将每个第一组图像块对应的9个二次多项式拟合曲面片组合成一个双四次多项式拟合曲面片,并将所有第一组图像块的双四次多项式拟合曲面片拼接在一起组合成原场景的近似曲面F(x,y)。
第二近似曲面获取模块9,用于将每个第二组图像块对应的9个二次多项式拟合曲面片组合成一个双四次多项式拟合曲面片,并将所有第二组图像块的双四次多项式拟合曲面片拼接在一起组合成残差图像对应的近似曲面FR(x,y)。
前述的第一曲面片获取模块包括:
第一分块单元,用于将待放大图像IL有重叠的分成以像素点IL(i,j)为中心的5×5大小的第一组图像块[i-2.5,i+2.5]×[j-2.5,j+2.5];其中,i=3,4,…,R-2,j=3,4,…,C-2,R和C分别表示待放大图像IL的行数和列数。
第二分块单元,用于将每个第一组图像块有重叠的分成9个分别以IL(i+m,j+n)为中心的3×3大小的第一组图像子块[i+m-1.5,i+m+1.5]×[j+n-1.5,j+n+1.5];其中,i=3,4,…,R-2,j=3,4,…,C-2,m=-1,0,1,n=-1,0,1。
第一构造单元,用于在每个第一组图像子块上分别构造一个二次多项式拟合曲面片fi+m,j+n(x,y);
其中,i=3,4,…,R-2,j=3,4,…,C-2,u=x-(i+m),v=y-(j+n); ci+m,j+n为fi+m,j+n(x,y)的未知参数,通过对fi+m,j+n(x,y)在9个像素点IL(i+m,j+n)分别采样并通过加权最小二乘法求解得到。
前述的第一近似曲面获取模块包括:
组合单元,用于基于二次多项式权函数wm,n(x,y),在第一组图像块中心的1×1区域上,将9个二次多项式拟合曲面片fi+m,j+n(x,y)组合成一个双四次多项式拟合曲面片Fi,j(x,y);
IL(i+m+k,j+n+l)表示待放大图像IL中位置(i+m+k,j+n+l)处的像素值,IS(i+m+k,j+n+l)表示fi+m,j+n(x,y)在位置(i+m+k,j+n+l)处的采样值,k=-1,0,1,l=-1,0,1。
拼接单元,用于将所有第一组图像块的双四次多项式拟合曲面片Fi,j(x,y)拼接在一起组合成原场景的近似曲面F(x,y)。
前述的放大图像获取模块用于:
其中,i=1,2,…,R,j=1,2,…,C。
前述的增强图像获取模块包括:
其中,i=1,2,…,R,j=1,2,…,C。
残差系数计算单元,用于计算残差系数r;
其中,i=1,2,…,R,j=1,2,…,C。
其中,Δf′为拉普拉斯算子;
前述的降采样图像获取模块用于:
其中,↓表示双三次降采样,S表示放大倍数。
前述的迭代判断模块包括:
判断单元,用于判断残差系数r是否小于设定的阈值;以及/或者,判断迭代次数是否达到设定次数。
前述的残差图像获取模块用于:
F(x,y)=F(x,y)+FR(x,y)。
本发明实施例具有如下有益效果:
1、以边缘和距离为约束构造的二次多项式拟合曲面片对边缘像素点的拟合精度更高,很好的保持了图像中纹理细节和结构边缘等信息。
2、在二次多项式权函数约束下,九个二次多项式曲面片加权平均构造的双四次多项式拟合曲面片进一步提高了拟合精度,在更多像素点的约束下有效地降低了过拟合,减少了锯齿和伪影等失真现象。
3、基于残差系数和拉普拉斯算子增强图像边缘,有效地弥补了曲面拟合的不足,增强了放大图像在纹理细节和结构边缘处的视觉效果。
4、充分利用了图像本身的先验信息,通过迭代优化过程提高拟合曲面片的逼近精度,提升了算法的鲁棒性,保证了放大图像的真实性和可信度。
本发明实施例所提供的装置,其实现原理及产生的技术效果和前述方法实施例1相同,为简要描述,该装置实施例部分未提及之处,可参考前述方法实施例1中相应内容。所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,前述描述的装置和单元的具体工作过程,均可以参考上述方法实施例1中的对应过程,在此不再赘述。
以上所述实施例,仅为本发明的具体实施方式,用以说明本发明的技术方案,而非对其限制,本发明的保护范围并不局限于此,尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以所述权利要求的保护范围为准。
Claims (10)
1.一种基于九曲面片双四次拟合的图像放大方法,其特征在于,所述方法包括:
S1:将待放大图像IL有重叠的分成5×5大小的第一组图像块,将每个第一组图像块有重叠的分成9个3×3大小的第一组图像子块,并在每个第一组图像子块上分别构造一个二次多项式拟合曲面片;
S2:将每个第一组图像块对应的9个二次多项式拟合曲面片组合成一个双四次多项式拟合曲面片,并将所有第一组图像块的双四次多项式拟合曲面片拼接在一起组合成原场景的近似曲面F(x,y);
2.根据权利要求1所述的基于九曲面片双四次拟合的图像放大方法,其特征在于,所述S1包括:
S101:将所述待放大图像IL有重叠的分成以像素点IL(i,j)为中心的5×5大小的第一组图像块[i-2.5,i+2.5]×[j-2.5,j+2.5];其中,i=3,4,…,R-2,j=3,4,…,C-2,R和C分别表示所述待放大图像IL的行数和列数;
S102:将每个第一组图像块有重叠的分成9个分别以IL(i+m,j+n)为中心的3×3大小的第一组图像子块[i+m-1.5,i+m+1.5]×[j+n-1.5,j+n+1.5];其中,i=3,4,…,R-2,j=3,4,…,C-2,m=-1,0,1,n=-1,0,1;
S103:在每个第一组图像子块上分别构造一个二次多项式拟合曲面片fi+m,j+n(x,y);
3.根据权利要求2所述的基于九曲面片双四次拟合的图像放大方法,其特征在于,所述S2包括:
S201:基于二次多项式权函数wm,n(x,y),在所述第一组图像块中心的1×1区域上,将9个二次多项式拟合曲面片fi+m,j+n(x,y)组合成一个双四次多项式拟合曲面片Fi,j(x,y);
IL(i+m+k,j+n+l)表示待放大图像IL中位置(i+m+k,j+n+l)处的像素值,IS(i+m+k,j+n+l)表示fi+m,j+n(x,y)在位置(i+m+k,j+n+l)处的采样值,k=-1,0,1,l=-1,0,1;
S202:将所有第一组图像块的双四次多项式拟合曲面片Fi,j(x,y)拼接在一起组合成原场景的近似曲面F(x,y)。
10.一种基于九曲面片双四次拟合的图像放大装置,其特征在于,所述装置包括:
第一曲面片获取模块,用于将待放大图像IL有重叠的分成5×5大小的第一组图像块,将每个第一组图像块有重叠的分成9个3×3大小的第一组图像子块,并在每个第一组图像子块上分别构造一个二次多项式拟合曲面片;
第一近似曲面获取模块,用于将每个第一组图像块对应的9个二次多项式拟合曲面片组合成一个双四次多项式拟合曲面片,并将所有第一组图像块的双四次多项式拟合曲面片拼接在一起组合成原场景的近似曲面F(x,y);
第二近似曲面获取模块,用于将每个第二组图像块对应的9个二次多项式拟合曲面片组合成一个双四次多项式拟合曲面片,并将所有第二组图像块的双四次多项式拟合曲面片拼接在一起组合成所述残差图像对应的近似曲面FR(x,y);
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210683222.2A CN115018707B (zh) | 2022-06-16 | 2022-06-16 | 基于九曲面片双四次拟合的图像放大方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210683222.2A CN115018707B (zh) | 2022-06-16 | 2022-06-16 | 基于九曲面片双四次拟合的图像放大方法和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115018707A true CN115018707A (zh) | 2022-09-06 |
CN115018707B CN115018707B (zh) | 2023-07-18 |
Family
ID=83075664
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210683222.2A Active CN115018707B (zh) | 2022-06-16 | 2022-06-16 | 基于九曲面片双四次拟合的图像放大方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115018707B (zh) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110249173A1 (en) * | 2010-04-13 | 2011-10-13 | Sony Corporation | Four-dimensional polynomial model for depth estimation based on two-picture matching |
US20150195430A1 (en) * | 2014-01-09 | 2015-07-09 | Massachusetts Institute Of Technology | Riesz Pyramids For Fast Phase-Based Video Magnification |
CN107918926A (zh) * | 2017-11-22 | 2018-04-17 | 徐李添 | 一种基于四边形和三角形面片的数字图像放大方法 |
CN108305216A (zh) * | 2018-03-15 | 2018-07-20 | 信阳师范学院 | 一种双边四次插值的图像放大方法 |
CN108702496A (zh) * | 2015-09-02 | 2018-10-23 | 艾里斯泰克软件股份有限公司 | 用于实时色调映射的系统和方法 |
CN109447904A (zh) * | 2018-10-19 | 2019-03-08 | 山东大学 | 基于局部双二次多项式插值的数字图像放大方法 |
CN111507903A (zh) * | 2020-04-16 | 2020-08-07 | 鲁东大学 | 基于五曲面片加权平均拟合的图像放大方法和装置 |
-
2022
- 2022-06-16 CN CN202210683222.2A patent/CN115018707B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110249173A1 (en) * | 2010-04-13 | 2011-10-13 | Sony Corporation | Four-dimensional polynomial model for depth estimation based on two-picture matching |
US20150195430A1 (en) * | 2014-01-09 | 2015-07-09 | Massachusetts Institute Of Technology | Riesz Pyramids For Fast Phase-Based Video Magnification |
CN108702496A (zh) * | 2015-09-02 | 2018-10-23 | 艾里斯泰克软件股份有限公司 | 用于实时色调映射的系统和方法 |
CN107918926A (zh) * | 2017-11-22 | 2018-04-17 | 徐李添 | 一种基于四边形和三角形面片的数字图像放大方法 |
CN108305216A (zh) * | 2018-03-15 | 2018-07-20 | 信阳师范学院 | 一种双边四次插值的图像放大方法 |
CN109447904A (zh) * | 2018-10-19 | 2019-03-08 | 山东大学 | 基于局部双二次多项式插值的数字图像放大方法 |
CN111507903A (zh) * | 2020-04-16 | 2020-08-07 | 鲁东大学 | 基于五曲面片加权平均拟合的图像放大方法和装置 |
Non-Patent Citations (1)
Title |
---|
张新;张帆;李雪梅;汤煜春;张彩明;: "特征约束的多实例图像超分辨率方法", 计算机辅助设计与图形学学报, no. 04 * |
Also Published As
Publication number | Publication date |
---|---|
CN115018707B (zh) | 2023-07-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107123089B (zh) | 基于深度卷积网络的遥感图像超分辨重建方法及系统 | |
JP3837575B2 (ja) | 超解像処理の高速化方法 | |
Joshi et al. | A learning-based method for image super-resolution from zoomed observations | |
EP3644270A1 (en) | Image processing device, imaging device, image processing method, program, and storage medium | |
CN112750076A (zh) | 一种基于深度学习的光场多视角图像超分辨率重建方法 | |
CN102968788B (zh) | 一种基于规则格网面元的波段配准方法 | |
CN114693558B (zh) | 基于渐进融合多尺度策略的图像去摩尔纹方法及系统 | |
CN115439615B (zh) | 一种基于三维bim的分布式综合管理系统 | |
CN112907448A (zh) | 一种任意比率图像超分辨率方法、系统、设备及存储介质 | |
CN113298716A (zh) | 基于卷积神经网络的图像超分辨率重建方法 | |
CN112509106A (zh) | 文档图片展平方法、装置以及设备 | |
Tang et al. | Deep residual networks with a fully connected reconstruction layer for single image super-resolution | |
CN106910215A (zh) | 一种基于分数阶梯度插值的超分辨率方法 | |
CN106846250B (zh) | 一种基于多尺度滤波的超分辨率重建方法 | |
Zhou et al. | Single-image super-resolution based on local biquadratic spline with edge constraints and adaptive optimization in transform domain | |
CN108876829B (zh) | 基于非线性尺度空间及径向基函数的sar高精度配准方法 | |
CN109064394B (zh) | 一种基于卷积神经网络的图像超分辨率重建方法 | |
CN113486928B (zh) | 一种基于有理多项式模型可微分张量表达的多视影像对齐方法 | |
CN112164006B (zh) | 一种影像匀色方法、装置、电子设备及存储介质 | |
CN117952883A (zh) | 一种基于双边网格和显著性引导的逆光图像增强方法 | |
Miravet et al. | A two-step neural-network based algorithm for fast image super-resolution | |
CN115018707A (zh) | 基于九曲面片双四次拟合的图像放大方法和装置 | |
CN116029943B (zh) | 基于深度学习的红外图像超分辨率增强方法 | |
CN109447904B (zh) | 基于局部双二次多项式插值的数字图像放大方法 | |
CN108921785B (zh) | 基于小波包的超分辨率重建方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |