CN114757826A - 一种基于多特征的pocs图像超分辨率重建方法 - Google Patents
一种基于多特征的pocs图像超分辨率重建方法 Download PDFInfo
- Publication number
- CN114757826A CN114757826A CN202210300378.8A CN202210300378A CN114757826A CN 114757826 A CN114757826 A CN 114757826A CN 202210300378 A CN202210300378 A CN 202210300378A CN 114757826 A CN114757826 A CN 114757826A
- Authority
- CN
- China
- Prior art keywords
- image
- reference frame
- psf
- resolution
- reconstruction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 53
- 230000003287 optical effect Effects 0.000 claims abstract description 9
- 238000004364 calculation method Methods 0.000 claims description 6
- 241000208340 Araliaceae Species 0.000 claims 2
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 claims 2
- 235000003140 Panax quinquefolius Nutrition 0.000 claims 2
- 235000008434 ginseng Nutrition 0.000 claims 2
- 230000014759 maintenance of location Effects 0.000 abstract description 3
- 238000003384 imaging method Methods 0.000 description 7
- 238000013135 deep learning Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 238000012549 training Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 230000003321 amplification Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 238000013441 quality evaluation Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/269—Analysis of motion using gradient-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于多特征的POCS图像超分辨率重建方法,属于图像重建技术领域。首先,根据图像的局部相似性特征和图像的梯度特征构建参考帧;然后运用LK光流法对上采样后的序列LR图像和参考帧进行配准;同时利用比值稀疏约束模型估计参考帧的PSF,并获取PSF作用窗口的中心坐标和PSF作用窗口的范围;最后利用参考帧和PSF生成重建图像的初始估计图像,根据重建图像残差对参考帧进行修正,得到最终重建图像。本发明的方法基于图像的局部相似性特征和图像梯度特征构建多特征参考帧图像,采用比值稀疏约束模型估计多特征参考帧图像的PSF,提高了重建图像的边缘保持能力和纹理细节信息,可以有效达到提升图像质量的目的。
Description
技术领域
本发明属于图像超分辨率重建的技术领域,尤其涉及一种基于多特征的POCS图像超分辨率重建方法。
背景技术
图像超分辨率重建是指在不升级成像硬件系统的前提下,利用计算机对低分辨率图像或图像序列进行处理,重建出高分辨率图像的一种图像处理技术,在医学影像分析、安全监控、遥感成像等领域都有广泛应用。
目前基于序列图像的超分辨率重建方法主要分为:基于传统算法的重建和基于深度学习方法的重建。基于传统算法的超分辨率重建主要包括:基于插值的方法(参考:DeepuRajan,Subhasis Chaudhuri.Generalized interpolation and its application insuper-resolution imaging[J].Image and Vision Computing,2001,19(13).)、基于迭代反投影的方法(参考:Irani M,Peleg S.Improving resolution by image registration[J].GVGIP:Graphical Models and Image Processing,1991,53(3):231-239.)、基于最大后验概率的方法(Schultz R R,Stevenson R L.Improved definition video frameenhancement[C].International Conference on Acoustics.IEEE,1995.)和基于凸集投影的方法(Stark H,Oskoui P.High-resolution image recovery from image-planearrays,using convex projections[J].Journal ofthe Optical Society ofAmerica AOptics&Image Science,1989,6(11):1715.)等。近年来,基于深度学习的图像超分辨率重建成为人们研究的热点,2014年Chao等人提出一个含三个卷积层的网络-SRCNN,首次将深度学习用于图像超分辨率重建(参考:Chao D,Chen C L,He K,et al.Learning a DeepConvolutional Network for Image Super-Resolution[J].ECCV,2014.)该方法重建效果优且可以实现较大倍数的放大,但与此同时对网络结构的设计和训练过程要求很高,需要大量数据用于训练且运算量通常非常巨大(参考:谢海平,谢凯利,杨海涛.图像超分辨率方法研究进展[J].计算机工程与用,2020,56(19):34-41.)。相比于基于深度学习方法,传统方法可以加入图像先验信息,不需要大量的训练样本,具有独特的优势。在众多传统重建方法中,POCS算法由于具有算法原理直观、成像模型灵活、方便引入大量先验信息等优点(参考:房垚鑫,郭宝峰,马超.基于改进点扩散函数的遥感图像超分辨率重建[J].激光术,2019,43(05):123-128.),是人们使用比较多的重建方法。但POCS算法在重建过程中使用插值方法构建参考帧,而且重建过程中没有对PSF(Point spread function,PSF)进行估计,导致重建的图像在边缘、细节信息方面效果不好。
综上,基于传统POCS算法的超分辨率重建和基于深度学习的超分辨率重建各有优劣,基于传统POCS算法的超分辨率重建优点是,算法原理直观,成像模型灵活,可以加入图像先验信息,具有独特的优势,缺点图像在边缘、细节信息方面效果不好。相反,基于深度学习的超分辨率重建效果好且可以实现较大倍数的放大,缺点是对网络结构的设计和训练过程要求很高,需要大量数据用于训练且运算量通常非常巨大。
发明内容
针对上述技术问题,本发明的目的在于提供一种多特征的POCS图像超分辨率重建方法,基于图像的局部相似性特征和图像的梯度特征构建多特征参考帧图像,利用LK光流法进行图像配准,采用比值稀疏约束模型估计图像的PSF,既提高了重建图像的边缘保持能力又增加了重建图像的纹理细节信息,有效的提升了图像质量。
为实现上述目的,本发明提供了一种基于多特征的图像超分辨率重建方法,包括如下步骤:
S1:输入序列LR图像gi(i=1,2,3,4);
S2:读取序列LR图像的一帧g1,根据图像的局部相似性特征构建参考帧f1,根据图像的梯度特征构建参考帧f2,将f1与f2根据像素值的均值加权计算得到多特征参考帧图像f;
S3:对除第一帧LR图像以外的其他帧序列LR图像进行2倍上采样,使用LK光流法对上采样后的序列图像与多特征参考帧图像f进行配准,找出多特征参考帧图像PSF作用窗口的中心坐标,并确定PSF作用窗口的范围;
S4:利用比值稀疏约束模型估计多特征参考帧图像f的PSF,由多特征参考帧图像f和估计出的PSF计算出重建图像PSF窗口作用范围内像素的初始估计值;
S5:计算PSF窗口作用范围内的像素估计值与当前原有序列分辨率图像像素值之间的残差R;
S6:根据残差R与阈值T的大小关系对多特征参考帧图像f做出修正,得到重建高分辨率图像P1和P2,P1和P2根据像素值均值加权计算得到最终重建图像P。
所述步骤S2中由参考帧f1和参考帧f2生成多特征参考帧图像f的表达式为:
其中,f表示多特征参考帧图像,f1表示参考帧图像f1,f2表示参考帧图像f2,a1表示参考帧图像f1的像素值均,b1表示参考帧图像f2的像素值均值。
所述步骤S3中使用LK光流法,即Lucas-Kanade光流法对上采样后的序列图像与多特征参考帧图像f进行配准。
所述步骤S4中利用比值稀疏约束型估计重建图像的PSF表达式为:
式中:C是成本函数,x是未知空间中高频的清晰图像,y是观测图像,k是PSF,λ和ψ是正则化参数,用来控制k和正则化项的权重。
由多特征参考帧图像f和估计出的PSF计算出重建图像PSF窗口作用范围内像素的初始估计值表达式为:
所述步骤S5中计算PSF作用范围内的像素估计值与当前原有序列分辨率图像像素值之间的残差表达式为:
所述步骤S6中根据残差R与阈值T的大小关系对多特征参考帧图像f做出修正的表达式为:
R>T,P1=f+(R-T)
R<T,P2=f+(R+T)
式中:R表示残差,T表示事先设置的阈值,f表示多特征参考帧图像,P1表示R>T的重建结果,P2表示R<T的重建结果。
根据P1和P2得到最终重建图像P的表达式为:
式中:P表示最终重建图像,P1表示R>T的重建结果,P2表示R<T的重建结果,c1表示重建图像P1的像素值均值,d1表示重建图像P2的像素值均值。
由上,本发明提出的基于多特征的POCS图像超分辨率重建方法在高分辨率参考帧的构建和基于PSF的图像重建方向进行改进,构建了多特征参考帧图像,采用比值稀疏约束模型估计图像的PSF,提高了重建图像的边缘保持能力和纹理细节信息。与其他传统重建算法相比本,本发明的重建结果明显优于其他算法的重建结果。
附图说明
图1是本发明的一种基于多特征的POCS图像超分辨率重建方法的流程图;
图2是本发明使用的序列低分辨率真实卫星遥感影像数据;
图3是本发明图像重建结果与上采样方法、迭代反投影算法、传统POCS算法的重建结果对比图;
具体实施方式
下面参见图1~图3对本发明所述多特征的POCS图像超分辨率重建方法进行详细说明。
如图1所示,为了得到更好的图像重建结果,提供了一种基于多特征的POCS图像超分辨率重建方法,包括步骤如下:
步骤S1:输入序列LR图像gi(i=1,2,3,4);
步骤S2:读取序列LR图像的一帧g1,根据图像的局部相似性特征构建参考帧f1,根据图像的梯度特征构建参考帧f2,将f1与f2根据像素值的均值加权计算得到多特征参考帧图像f;
由参考帧f1和参考帧f2生成多特征参考帧图像f的表达式为:
其中,f表示多特征参考帧图像,f1表示参考帧图像f1,f2表示参考帧图像f2,a1表示参考帧图像f1的像素值均,b1表示参考帧图像f2的像素值均值。
步骤S3:对除第一帧LR图像以外的其他帧序列LR图像进行2倍上采样,使用LK光流法对上采样后的序列图像与多特征参考帧图像f进行配准,找出多特征参考帧图像PSF作用窗口的中心坐标,并确定PSF作用窗口的范围;
步骤S4:利用比值稀疏约束模型估计多特征参考帧图像f的PSF,由多特征参考帧图像f和估计出的PSF计算出重建图像PSF窗口作用范围内像素的初始估计值;
利用比值稀疏约束型估计重建图像的PSF表达式为:
式中:C是成本函数,x是未知空间中高频的清晰图像,y是观测图像,k是PSF,λ和ψ是正则化参数,用来控制k和正则化项的权重。
由多特征参考帧图像f和估计出的PSF计算出重建图像PSF窗口作用范围内像素的初始估计值表达式为:
步骤S5:计算PSF窗口作用范围内的像素估计值与当前原有序列分辨率图像像素值之间的残差;
计算PSF作用范围内的像素估计值与当前原有序列分辨率图像像素值之间的残差表达式为:
步骤S6:根据残差R与阈值T的大小关系对多特征参考帧图像f做出修正,得到重建高分辨率图像P1和P2,P1和P2根据像素值均值加权计算得到最终重建图像P。
根据残差R与阈值T的大小关系对多特征参考帧图像f做出修正的表达式为:
R>T,P1=f+(R-T)
R<T,P2=f+(R+T)
式中:R表示残差,T表示事先设置的阈值,f表示多特征参考帧图像,P1表示R>T的重建结果,P2表示R<T的重建结果。
根据P1和P2得到最终重建图像P的表达式为:
式中:P表示最终重建图像,P1表示R>T的重建结果,P2表示R<T的重建结果,c1表示重建图像P1的像素值均值,d1表示重建图像P2的像素值均值。
下面通过实施示例进一步对本发明方法进行说明。
数据集:采用真实卫星遥感影像数据。
评价指标:信息熵(IE)、平均梯度(MG)为评价指标。
实施步骤:
使用本发明方法与上采样方法、迭代反投影算法、传统POCS算法分别对真实卫星遥感影像数据进行超分辨率重建。其中,本发明方法在实验中的参数为:k=25,T=1,比值稀疏约束模型估计图像PSF的参数为:kernel_size=25,kernel_init=3。
针对真实卫星遥感影像数据,图像重建结果如图3所示,真实卫星遥感影像数据(见图2(a-d)),上采样方法重建结果(见图3(a)),迭代反投影算法重建结果(见图(3b)),传统POCS算法重建结果(见图3(c)),本发明方法重建结果(见图3(d))。经过质量评价,图3(a)、图(3b)、图3(c)、图3(d)的信息熵分别为6.21,6.23,6.30,6.56,图3(a)、图(3b)、图3(c)、图3(d)的平均梯度分别为2.56,3.55,2.49,3.30。
本发明的基于多特征的POCS图像超分辨率重建方法解决了传统POCS算法重建图像边缘保持不良的问题,同时增加了重建图像的纹理细节信息。本发明重建结果分别与上采样、迭代反投影、凸集投影几种算法的重建结果使用信息熵和平均梯度两个指标进行质量评价,对比分析得出结论,本发明方法的图像重建结果在视觉上和指标上都有了明显的提高。本发明方法的处理过程没有近似,且主要是真实卫星遥感影像数据进行重建处理。
以上所述是本发明的优选实施方式而已,当然不能以此来限定本发明之权利范围,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和变动,这些改进和变动也视为本发明的保护范围。
Claims (6)
1.一种基于多特征的POCS图像超分辨率重建方法,其特征在于,包括如下步骤:
S1:输入序列LR图像gi(i=1,2,3,4);
S2:读取序列LR图像的一帧g1,根据图像的局部相似性特征构建参考帧f1,根据图像的梯度特征构建参考帧f2,将f1与f2根据像素值的均值加权计算得到多特征参考帧图像f;
S3:对除第一帧LR图像以外的其他帧序列LR图像进行2倍上采样,使用LK光流法对上采样后的序列图像与多特征参考帧图像f进行配准,找出多特征参考帧图像PSF作用窗口的中心坐标,并确定PSF作用窗口的范围;
S4:利用比值稀疏约束模型估计多特征参考帧图像f的PSF,由多特征参考帧图像f和估计出的PSF计算出重建图像PSF窗口作用范围内像素的初始估计值;
S5:计算PSF窗口作用范围内的像素估计值与当前原有序列分辨率图像像素值之间的残差R;
S6:根据残差R与阈值T的大小关系对多特征参考帧图像f做出修正,得到重建高分辨率图像P1和P2,P1和P2根据像素值均值加权计算得到最终重建图像P。
3.根据权利要求1所述的基于多特征的POCS图像超分辨率重建方法,其特征在于,所述步骤S3中使用LK光流法,即Lucas-Kanade光流法对上采样后的序列图像与多特征参考帧图像f进行配准。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210300378.8A CN114757826A (zh) | 2022-03-24 | 2022-03-24 | 一种基于多特征的pocs图像超分辨率重建方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210300378.8A CN114757826A (zh) | 2022-03-24 | 2022-03-24 | 一种基于多特征的pocs图像超分辨率重建方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114757826A true CN114757826A (zh) | 2022-07-15 |
Family
ID=82326961
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210300378.8A Pending CN114757826A (zh) | 2022-03-24 | 2022-03-24 | 一种基于多特征的pocs图像超分辨率重建方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114757826A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116167948A (zh) * | 2023-04-21 | 2023-05-26 | 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) | 一种基于空变点扩散函数的光声图像复原方法及系统 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20060159369A1 (en) * | 2005-01-19 | 2006-07-20 | U.S. Army Research Laboratory | Method of super-resolving images |
CN101980289A (zh) * | 2010-10-25 | 2011-02-23 | 上海大学 | 基于频域配准和凸集投影的多帧图像超分辨率重建方法 |
CN108765288A (zh) * | 2018-05-25 | 2018-11-06 | 杭州电子科技大学 | 一种基于边缘保持的pocs图像超分辨重建方法 |
CN113379647A (zh) * | 2021-07-08 | 2021-09-10 | 湘潭大学 | 一种优化psf估计的多特征图像复原方法 |
-
2022
- 2022-03-24 CN CN202210300378.8A patent/CN114757826A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20060159369A1 (en) * | 2005-01-19 | 2006-07-20 | U.S. Army Research Laboratory | Method of super-resolving images |
CN101980289A (zh) * | 2010-10-25 | 2011-02-23 | 上海大学 | 基于频域配准和凸集投影的多帧图像超分辨率重建方法 |
CN108765288A (zh) * | 2018-05-25 | 2018-11-06 | 杭州电子科技大学 | 一种基于边缘保持的pocs图像超分辨重建方法 |
CN113379647A (zh) * | 2021-07-08 | 2021-09-10 | 湘潭大学 | 一种优化psf估计的多特征图像复原方法 |
Non-Patent Citations (3)
Title |
---|
杨李涛;路林吉;范征宇;: "基于改进POCS算法的视频图像超分辨率重建", 微型电脑应用, no. 07, 20 July 2010 (2010-07-20) * |
白旭: "多特征的POCS图像超分辨率重建方法", 测绘科学, vol. 47, no. 12, 31 December 2022 (2022-12-31) * |
许廷发;罗璇;苏畅;卞紫阳;: "多帧距离选通图像点扩散函数估计的超分辨率重建", 中国光学, no. 02, 15 April 2016 (2016-04-15) * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116167948A (zh) * | 2023-04-21 | 2023-05-26 | 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) | 一种基于空变点扩散函数的光声图像复原方法及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Huang et al. | Robust single-image super-resolution based on adaptive edge-preserving smoothing regularization | |
CN109919838B (zh) | 基于注意力机制提升轮廓清晰度的超声图像超分辨率重建方法 | |
Wang et al. | Edge-directed single-image super-resolution via adaptive gradient magnitude self-interpolation | |
CN107025632B (zh) | 一种图像超分辨率重建方法及系统 | |
CN111192200A (zh) | 基于融合注意力机制残差网络的图像超分辨率重建方法 | |
CN107341765B (zh) | 一种基于卡通纹理分解的图像超分辨率重建方法 | |
CN109146787B (zh) | 一种基于插值的双相机光谱成像系统的实时重建方法 | |
Zhao et al. | SwinGAN: A dual-domain Swin Transformer-based generative adversarial network for MRI reconstruction | |
CN111724307B (zh) | 一种基于最大后验概率和非局部低秩先验的图像超分辨重建方法,终端及可读存储介质 | |
CN111861884A (zh) | 一种基于深度学习的卫星云图超分辨率重建方法 | |
CN114202459B (zh) | 一种基于深度先验的盲图像超分辨率方法 | |
CN112184549B (zh) | 基于时空变换技术的超分辨图像重建方法 | |
Thapa et al. | A performance comparison among different super-resolution techniques | |
CN116664397B (zh) | TransSR-Net结构化图像超分辨重建方法 | |
CN108460723B (zh) | 基于邻域相似性的双边全变分图像超分辨率重建方法 | |
Liu et al. | Learning cascaded convolutional networks for blind single image super-resolution | |
CN115578255A (zh) | 一种基于帧间亚像素块匹配的超分辨率重建方法 | |
Xiong et al. | Gradient boosting for single image super-resolution | |
CN114757826A (zh) | 一种基于多特征的pocs图像超分辨率重建方法 | |
CN112837220B (zh) | 一种提高红外图像分辨率的方法及其用途 | |
Liu et al. | Image super-resolution via hierarchical and collaborative sparse representation | |
CN113240581A (zh) | 一种针对未知模糊核的真实世界图像超分辨率方法 | |
Fu et al. | Image super-resolution using TV priori guided convolutional network | |
CN117291835A (zh) | 基于图像内容感知先验和注意力驱动的去噪网络模型 | |
Pei et al. | Face hallucination via gradient constrained sparse representation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |