CN102194222B - 一种基于联合运动估计与超分辨率重建的图像重建方法 - Google Patents
一种基于联合运动估计与超分辨率重建的图像重建方法 Download PDFInfo
- Publication number
- CN102194222B CN102194222B CN 201110104064 CN201110104064A CN102194222B CN 102194222 B CN102194222 B CN 102194222B CN 201110104064 CN201110104064 CN 201110104064 CN 201110104064 A CN201110104064 A CN 201110104064A CN 102194222 B CN102194222 B CN 102194222B
- Authority
- CN
- China
- Prior art keywords
- image
- sigma
- interpolation
- super
- rebuild
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Processing (AREA)
Abstract
本发明公开了一种基于联合运动估计与超分辨率重建的图像重建方法,包括:(1)对所有低分辨图像进行插值放大;(2)将待重建图像分别与参考图像进行运动估计;(3)对图像进行融合,获得融合图像;(4)对融合图像进行去噪处理,获得超分辨率重建图像。本发明通过把运动估计过程与超分辨率重建过程联合在一起,利用若干不同低分辨率的参考图像相对于待重建图像的运动估计参数之间的关系,在超分辨率重建过程中同时优化运动估计参数的精度,有效地提升了超分辨率重建的效果。因此,本发明方法被广泛应用于卫星遥感生物医学图像,图像修复等领域。
Description
技术领域
本发明属于图像处理技术领域,具体涉及一种基于联合运动估计与超分辨率重建的图像重建方法。
背景技术
图像分辨率一直是人们衡量图像质量的一项重要指标。传统上人们采用图像插值法来提高图像的分辨率,比如双线性插值算法,三次线性插值算法等等。不过这些方法由于没有引入新的信息量,因此效果有限。为了进一步提高图像的分辨率,人们提出了超分辨率图像重建方法来解决这个问题。
图像的超分辨率重建技术就是利用几幅低分辨率的图像,结合一些图像的先验信息,采用现代信号处理技术去除模糊,噪声等影响图像质量的因素,从而更加真实的还原原始图像。这种技术不仅成本低廉,可以用在各种成像场合,而且不需要对现有的成像设备作任何的修改。因此,超分辨率图像重建技术在卫星遥感生物医学图像,图像修复等领域都有广泛的应用。
传统的超分辨率图像重建方法中,其运动估计过程和超分辨率重建过程是先后独立开来的两个步骤,这种方法由于运动估计过程本身并不完全精确,因此由运动估计过程产生的误差将会影响到超分辨率重建的效果。
发明内容
本发明提供了一种基于联合运动估计与超分辨率重建的图像重建方法,通过把运动估计过程与超分辨率重建过程联合在一起,在超分辨率重建过程中同时优化运动估计参数的精度,有效地提升超分辨率重建的效果。
一种基于联合运动估计与超分辨率重建的图像重建方法,包括如下步骤:
(1)获取一帧待重建图像和N帧参考图像,对所述的待重建图像和所有参考图像进行插值放大,得到一帧待重建插值图像和N帧参考插值图像,N为大于等于4的自然数;
(2)将所述的待重建插值图像分别与N帧参考插值图像进行运动估计,得 到N个初始运动估计参数;
(3)根据N帧参考插值图像,建立关于图像融合的数学模型,获取所述的待重建插值图像和N个初始运动估计参数,通过融合迭代算法对所述的数学模型进行迭代求解,得到待重建融合图像;
所述的关于图像融合的数学模型为:
式1中:Yk为第k帧参考插值图像;Fk为Yk对应的运动估计参数;Z为待重建融合图像;k和i为参考插值图像的帧号,k和i为自然数,且1≤k≤N,1≤i≤N;ε和λ为权重参数,且皆为实际经验值。
所述的融合迭代算法由以下三式组成:
式2、3、4中: 为Yk对应的初始运动估计参数第n次迭代后的运动估计参数,其初始值 为Yk对应的初始运动估计参数;Zn为待重建插值图像第n次迭代后的融合图像,其初始值Z0为待重建插值图像;n为迭代次数;ξ和ζ为 迭代步长参数,η为阈值参数,且皆为实际经验值。
其中,式4是为迭代终止条件,当式4成立,融合迭代算法终止,输出Zn+1,将Zn+1作为待重建融合图像。
(4)对所述的待重建融合图像进行去噪声,去模糊处理,得到超分辨率重建图像。
优选的技术方案中,所述的步骤(1)中,对待重建图像和所有参考图像进行插值放大是通过采用最邻近插值法、双线性插值法、三线性插值法或三次卷积插值法实现的。
优选的技术方案中,所述的步骤(2)中,将待重建插值图像分别与N帧参考插值图像进行运动估计是通过采用分级块匹配法或光流法实现的。
优选的技术方案中,所述的步骤(4)中,对待重建融合图像进行去噪声,去模糊处理是通过采用梯度下降法实现的。
本发明通过把运动估计过程与超分辨率重建过程联合在一起,利用若干不同低分辨率的参考图像相对于待重建图像的运动估计参数之间的关系,在超分辨率重建过程中同时优化运动估计参数的精度,有效地提升了超分辨率重建的效果,使得重建后的图像能够较好的保存图像的细节信息和高频分量,从而得到较优质的超分辨率重建图像。
附图说明
图1为本发明图像重建方法的具体实施流程示意图。
图2为待重建图像的效果图。
图3为超分辨率重建图像的效果图。
具体实施方式
为了更为具体地描述本发明,下面结合附图及具体实施方式对本发明的图像重建方法进行详细说明。
如图1所示,一种基于联合运动估计与超分辨率重建的图像重建方法的具体实施流程如下:
(1)对所有低分辨率图像进行三线性插值放大。
获取低分辨率的一帧待重建图像和N帧参考图像,对所有低分辨率的图像进行三线性插值放大,得到一帧待重建插值图像和N帧参考插值图像。
设i,j为非负整数,u,v∈[0,1),f(i,j)为图像中点(i,j)处的像素值,则三线性插值法由以下五式组成:
A=[S(u+1),S(u),S(u-1),S(u-2)] (9)
f(i+u,j+v)=A*B*C (12)
所求的f(i+u,j+v)即为三线性插值放大后的图像。
(2)将待重建插值图像分别与N帧参考插值图像进行运动估计,得到N个初始运动估计参数。
对于整体运动一致的图像序列,采用分级块匹配法将待重建插值图像分别与N帧参考插值图像进行运动估计:首先,把参考插值图像划分为一个个图像块,假设每个图像块的运动估计参数是一致的,然后在待重建插值图像中寻找和当前参考图像块最匹配的图像块,常用的有三步搜索法、菱形搜索法、十字搜索法等,最优匹配块和当前参考图像块之间的位移就是需要估计的运动参数;其次,先使用传统方法得到整像素精度的运动估计参数,然后分别将参考插值图像和待重建插值图像上采样,长宽各放大2倍;最后,在放大后的图像间用传统方法求解运动估计参数,通过把上一级的运动估计参数作为初始值可以大大加快这个过程。
这样得到的运动估计参数就是1/2级像素精度的了。如果精度不够,继续将 参考插值图像和待重建插值图像上采样,长宽各放大2倍,通过运动估计算法后就可以得到1/4像素精度的运动估计参数了。反复这个过程,一直到满足需要的精度为止。
(3)建立并利用关于图像融合的数学模型,计算更新融合图像Z。
联合运动估计与数据融合,把所有参考插值图像的信息都融合到待重建插值图像中,并建立关于图像融合的数学模型为:
式1中:Yk为第k帧参考插值图像;Fk为Yk对应的运动估计参数;Z为待重建融合图像;k和i为参考插值图像的帧号,k和i为自然数,且1≤k≤N,1≤i≤N;ε和λ为权重参数;本实施例中,ε为0.9,λ为0.25。
利用式2对式1进行迭代求解,计算更新融合图像Z。
式2中: 为Yk对应的初始运动估计参数第n次迭代后的运动估计参数,其初始值 为Yk对应的初始运动估计参数;Zn为待重建插值图像第n次迭代后的融合图像,其初始值Z0为待重建插值图像;n为迭代次数;ζ为迭代步长参数;本实施例中,ζ为0.05。
(4)判断融合图像Z是否满足迭代终止条件,若满足则输出融合图像Z;若不满足则利用关于图像融合的数学模型,计算更新运动估计参数Fk,返回执行步骤(3),重复计算更新融合图像Z。
根据式4的迭代终止条件,判断是否终止式2的迭代算法,若式4成立,终止式2的迭代算法,输出Zn+1,将Zn+1作为待重建融合图像Z。
式4中:η为阈值参数;本实施例中,η为0.01。
若式4不成立,则利用式3对式1进行迭代求解,计算更新运动估计参数Fk,返回执行步骤(3),重复计算更新融合图像Z。
式3中:ξ为迭代步长参数;本实施例中,ξ为0.75。
将经过式3的迭代算法求得的Fk代入式2中,进行关于融合图像Z的新一次迭代,反复这个过程,直到式4的迭代终止条件成立为止,输出待重建融合图像Z。
(5)对融合图像Z进行去噪声,去模糊处理。
根据式5,采用梯度下降法对式5进行迭代求解,式6为梯度下降法的方程表达式,式7为梯度下降法的迭代终止条件。
式5、6、7中:X为超分辨率重建图像;Xn为待重建插值图像第n次迭代后的重建图像,其初始值X0为待重建插值图像;β为迭代步长参数;Bk为第k帧参考插值图像的模糊算子, 为Bk的转置;S为平移算子, 表示在x方向上向右平移l个像素, 表示在y方向上向上平移m个像素;μ为权重参数;α、q均为参数;ρ为阈值参数。本实施例中,μ为0.5,α为0.9,q为2,ρ为0.01,β为0.03,模糊算子Bk为高斯算子,窗口大小为3*3,标准差为0.5。
当式7的迭代终止条件成立,终止式6的梯度下降法,将Xn+1作为超分辨率重建图像X。
(6)输出超分辨率重建图像X。
本实施例的实验结果如图2、图3所示。图2为待重建图像;利用14帧参考图像,经插值放大3倍后,超分辨率重建图像的像素为270*360,如图3所示。为了方便对比,把待重建图像放大到和超分辨率重建图像一样大小,对比可见,本实施例的方法能够清楚的把待重建图像中车牌里的“浙”字还原清楚,而且车牌数字的边缘也较为清晰,因此本发明的方法是一种有效的超分辨率图像重建方法。
Claims (4)
1.一种基于联合运动估计与超分辨率重建的图像重建方法,包括如下步骤:
(1)获取一帧待重建图像和N帧参考图像,对所述的待重建图像和所有参考图像进行插值放大,得到一帧待重建插值图像和N帧参考插值图像,N为大于等于4的自然数;
(2)将所述的待重建插值图像分别与N帧参考插值图像进行运动估计,得到N个初始运动估计参数;
(3)根据N帧参考插值图像,建立关于图像融合的数学模型,获取所述的待重建插值图像和N个初始运动估计参数,通过融合迭代算法对所述的数学模型进行迭代求解,得到待重建融合图像;
所述的关于图像融合的数学模型为:
式1中:Yk为第k帧参考插值图像;Fk为Yk对应的运动估计参数;Z为待重建融合图像;k和i为参考插值图像的帧号,k和i为自然数,且1≤k≤N,1≤i≤N;ε和λ为权重参数;
所述的融合迭代算法由以下三式组成:
式2、3、4中:为Yk对应的初始运动估计参数第n次迭代后的运动估计参数,其初始值为Yk对应的初始运动估计参数;Zn为待重建插值图像第n次迭代后的融合图像,其初始值Z0为待重建插值图像;n为迭代次数;ξ和ζ为迭代步长参数;η为阈值参数;
其中,式4是为迭代终止条件,当式4成立,融合迭代算法终止,输出Zn+1,将Zn+1作为待重建融合图像;
(4)对所述的待重建融合图像进行去噪声,去模糊处理,得到超分辨率重建图像。
2.根据权利要求1所述的基于联合运动估计与超分辨率重建的图像重建方法,其特征在于:所述的步骤(1)中,对待重建图像和所有参考图像进行插值放大是通过采用最邻近插值法、双线性插值法、三线性插值法或三次卷积插值法实现的。
3.根据权利要求1所述的基于联合运动估计与超分辨率重建的图像重建方法,其特征在于:所述的步骤(2)中,将待重建插值图像分别与N帧参考插值图像进行运动估计是通过采用分级块匹配法或光流法实现的。
4.根据权利要求1所述的基于联合运动估计与超分辨率重建的图像重建方法,其特征在于:所述的步骤(4)中,对待重建融合图像进行去噪声,去模糊处理是通过采用梯度下降法实现的。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN 201110104064 CN102194222B (zh) | 2011-04-26 | 2011-04-26 | 一种基于联合运动估计与超分辨率重建的图像重建方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN 201110104064 CN102194222B (zh) | 2011-04-26 | 2011-04-26 | 一种基于联合运动估计与超分辨率重建的图像重建方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102194222A CN102194222A (zh) | 2011-09-21 |
CN102194222B true CN102194222B (zh) | 2012-12-12 |
Family
ID=44602242
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN 201110104064 Expired - Fee Related CN102194222B (zh) | 2011-04-26 | 2011-04-26 | 一种基于联合运动估计与超分辨率重建的图像重建方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN102194222B (zh) |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102360498B (zh) * | 2011-10-27 | 2013-09-18 | 江苏省邮电规划设计院有限责任公司 | 图像超分辨率重建方法 |
CN102651127A (zh) * | 2012-04-01 | 2012-08-29 | 深圳市万兴软件有限公司 | 一种超分辨率重建的图像处理方法及系统 |
CN102682442B (zh) * | 2012-04-28 | 2015-02-11 | 东南大学 | 基于光流场的运动目标超分辨率图像重建方法 |
CN102708550B (zh) * | 2012-05-17 | 2014-12-03 | 浙江大学 | 一种基于自然图像统计特性的盲去模糊方法 |
CN103632356B (zh) * | 2012-08-29 | 2017-08-18 | 华为技术有限公司 | 提高图像空间分辨率的方法及装置 |
CN106296586B (zh) * | 2016-08-18 | 2019-07-05 | 电子科技大学 | 基于凸组合方式的多帧低分辨率图像超分辨率重建方法 |
CN108304816B (zh) * | 2018-02-09 | 2020-09-01 | 京东数字科技控股有限公司 | 身份识别方法、装置、存储介质及电子设备 |
CN109345449B (zh) | 2018-07-17 | 2020-11-10 | 西安交通大学 | 一种基于融合网络的图像超分辨率及去非均匀模糊方法 |
CN109785233B (zh) * | 2018-12-25 | 2020-12-04 | 合肥埃科光电科技有限公司 | 一种图像超分辨率重建方法 |
CN109658361B (zh) * | 2018-12-27 | 2022-12-06 | 辽宁工程技术大学 | 一种顾及运动估计误差的运动场景超分辨率重建方法 |
CN109993138A (zh) * | 2019-04-08 | 2019-07-09 | 北京易华录信息技术股份有限公司 | 一种车牌检测与识别方法及装置 |
CN112420214B (zh) * | 2019-08-21 | 2023-11-21 | 无锡祥生医疗科技股份有限公司 | 超声会诊远程分享方法、平台和系统 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2105881A1 (en) * | 2008-03-25 | 2009-09-30 | Panasonic Corporation | Fast reference frame selection for reconstruction of a high-resolution frame from low-resolution frames |
CN101551903A (zh) * | 2009-05-11 | 2009-10-07 | 天津大学 | 步态识别中的超分辨率图像恢复方法 |
-
2011
- 2011-04-26 CN CN 201110104064 patent/CN102194222B/zh not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
CN102194222A (zh) | 2011-09-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102194222B (zh) | 一种基于联合运动估计与超分辨率重建的图像重建方法 | |
Mahdaoui et al. | Image denoising using a compressive sensing approach based on regularization constraints | |
Lee et al. | Poisson–Gaussian noise analysis and estimation for low-dose X-ray images in the NSCT domain | |
Chun et al. | MRI super‐resolution reconstruction for MRI‐guided adaptive radiotherapy using cascaded deep learning: In the presence of limited training data and unknown translation model | |
CN106780338A (zh) | 基于各向异性的快速超分辨率重建方法 | |
Eghbalian et al. | Multi spectral image fusion by deep convolutional neural network and new spectral loss function | |
Liu et al. | Infrared image super-resolution reconstruction based on quaternion fractional order total variation with Lp quasinorm | |
Zhang et al. | Single-image super resolution of remote sensing images with real-world degradation modeling | |
CN103473797B (zh) | 基于压缩感知采样数据修正的空域可缩小图像重构方法 | |
CN103473744B (zh) | 基于变权重式压缩感知采样的空域可缩小图像重构方法 | |
Choi et al. | Pansharpening using guided filtering to improve the spatial clarity of VHR satellite imagery | |
Wang et al. | 0.7 Å resolution electron tomography enabled by deep‐learning‐aided information recovery | |
CN104200439B (zh) | 基于自适应滤波和正则约束的图像超分辨方法 | |
CN103390266B (zh) | 一种图像超分辨率方法和装置 | |
Sun et al. | FDRN: a fast deformable registration network for medical images | |
CN104091364B (zh) | 单幅图像超分辨重建方法 | |
CN105590296A (zh) | 一种基于双字典学习的单帧图像超分辨率复原方法 | |
CN103020936B (zh) | 一种人脸图像超分辨率重构方法 | |
Tao et al. | Super-resolution restoration of spaceborne ultra-high-resolution images using the UCL OpTiGAN system | |
Hu et al. | Super-resolution reconstruction of remote sensing images using multifractal analysis | |
Wang et al. | A deep learning-based stripe self-correction method for stitched microscopic images | |
CN103903239A (zh) | 一种基于稀疏主成分分析和连分式插值技术的视频超分辨率重建方法及其系统 | |
Yu et al. | An unsupervised weight map generative network for pixel-level combination of image denoisers | |
CN107622476A (zh) | 基于概率生成模型的图像超分辨处理方法 | |
CN100565587C (zh) | 一种最大密度投影图像数据后处理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
C17 | Cessation of patent right | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20121212 Termination date: 20140426 |