CN110060209A - 一种基于姿态信息约束的map-mrf超分辨率图像重建方法 - Google Patents

一种基于姿态信息约束的map-mrf超分辨率图像重建方法 Download PDF

Info

Publication number
CN110060209A
CN110060209A CN201910347605.0A CN201910347605A CN110060209A CN 110060209 A CN110060209 A CN 110060209A CN 201910347605 A CN201910347605 A CN 201910347605A CN 110060209 A CN110060209 A CN 110060209A
Authority
CN
China
Prior art keywords
image
mrf
super
map
resolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910347605.0A
Other languages
English (en)
Other versions
CN110060209B (zh
Inventor
高昆
朱振宇
张廷华
韩璐
豆泽阳
周颖婕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Technology BIT
Original Assignee
Beijing Institute of Technology BIT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Technology BIT filed Critical Beijing Institute of Technology BIT
Priority to CN201910347605.0A priority Critical patent/CN110060209B/zh
Publication of CN110060209A publication Critical patent/CN110060209A/zh
Application granted granted Critical
Publication of CN110060209B publication Critical patent/CN110060209B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于姿态信息约束的MAP‑MRF超分辨率图像重建方法,包括以下步骤:S1,建模与计算;S2,提取图像特征点;S3,建立图像序列的MAP‑MRF模型;S4,重建超分辨率:利用迭代重加权最小二乘方法进行模糊核估计,利用置信传播算法求解MRF最优解,完成超分辨率重建。本发明方法与传统超分辨率图像重建方法相比,增加了姿态信息约束,在图像之外提供了非冗余时空信息;采用MAP‑MRF模型更符合实际图像序列成像模型,可有效避免先验模型失配导致的误差,重建出的高分辨率图像更清晰,细节信息更突出,能有效的抑制噪声放大和改良观测矩阵奇异性问题。

Description

一种基于姿态信息约束的MAP-MRF超分辨率图像重建方法
技术领域
本发明涉及超分辨率图像重建技术领域,尤其涉及一种基于姿态信息约束的MAP-MRF超分辨率图像重建方法。
背景技术
数字光电成像系统在成像制导、工业检测、仿生机器人、航天遥感以及医疗检查等领域有着广泛的应用,获得对感兴趣目标的高分辨率图像是成像系统所追求的主要目标之一。由于CCD、CMOS等离散采样成像器件在成像过程中不可避免的存在欠采样效应,会造成获取的图像分辨率降低。图像超分辨率重建采用软件方法重建出由于欠采样导致的混叠于低频信号中的高频信号,从而获取高于系统分辨率的图像。
超分辨率重建需要对多帧序列图像进行处理获取更多的信息,也称为多画幅超分辨率重建技术。最初的超分辨率重建方法包括非均匀内插算法、频谱外推法、逆滤波、维纳滤波、能量连续降减法、长椭球波函数等。然而,这些方法基于数学意义上的纯频谱分析,并不能有效的抑制噪声放大和改良观测矩阵奇异性问题。
发明内容
基于背景技术存在的技术问题,本发明提出了一种基于姿态信息约束的MAP-MRF超分辨率图像重建方法。
本发明提出的一种基于姿态信息约束的MAP-MRF超分辨率图像重建方法,包括以下步骤:
S1,建模与计算:准备图像重建所需数据,包括低分辨率图像序列和对应的卫星平台姿态信息,基于姿态信息求解姿态变化模型和序列图像的像移模型,计算图像之间的运动矢量;
S2,提取图像特征点:采用SIFT算法提取图像特征点,结合图像移限定判别阈值,去除误配点,基于特征点进行图像配准;
S3,建立图像序列的MAP-MRF模型:建立图像序列的MAP-MRF模型,将超分辨率图像重建转化为求解最大后验概率问题;
S4,重建超分辨率:利用迭代重加权最小二乘方法进行模糊核估计,利用置信传播算法求解MRF最优解,完成超分辨率重建;
优选地,图像重建所需数据要求如下:低分辨率图像大小相等,序列数量不少于20帧,每帧图像都有对应的卫星平台姿态信息,包括俯仰角、侧滚角和偏航角。
优选地,对姿态随时间变化,提出采用多频率正弦信号组合模型进行拟合,以x方向为例:其中,f(Px)表示x轴姿态信息拟合成的光滑曲线,A为颤振扰动幅值,pi为第i阶颤振频率,表示初相位,可当作[0,2π]范围内均匀分布的随机变量,Δ为随时间的随机分布变量。
优选地,在提取图像特征点进行图像配准时,以图像像移为约束去除误配点,提高配准精度。
优选地,利用置信传播算法求解MRF最优解,求解过程结合图像运动矢量与模糊核。
本发明的有益效果为:本方法与传统超分辨率图像重建方法相比,增加了姿态信息约束,在图像之外提供了非冗余时空信息;采用MAP-MRF模型更符合实际图像序列成像模型,可有效避免先验模型失配导致的误差,重建出的高分辨率图像更清晰,细节信息更突出,能有效的抑制噪声放大和改良观测矩阵奇异性问题。
附图说明
图1为本发明提出的一种基于姿态信息约束的MAP-MRF超分辨率图像重建方法的图像超分辨率算法思路流程图;
图2为本发明提出的一种基于姿态信息约束的MAP-MRF超分辨率图像重建方法的卫星姿态角示意图;
图3为本发明提出的一种基于姿态信息约束的MAP-MRF超分辨率图像重建方法的侧滚像移示意图;
图4为本发明提出的一种基于姿态信息约束的MAP-MRF超分辨率图像重建方法的SIFT特征点检测提取流程图;
图5为本发明提出的一种基于姿态信息约束的MAP-MRF超分辨率图像重建方法的序列图像超分辨率重建详细步骤流程图。
具体实施方式
下面将结合公式和附图对本发明作进一步的详细介绍。
本发明提出的一种基于姿态信息约束的MAP-MRF超分辨率图像重建方法,如图5所示,为本发明提供的一种基于姿态信息约束的MAP-MRF超分辨率图像重建方法,包括以下步骤:
S1,对侧滚、俯仰和偏航三个方向的姿态信息变化规律进行建模:由于三轴姿态变化均在某一常数附近波动,而且是有界的,姿态数据符合平稳时间序列特征。将多帧图像的俯仰信息表示为不同频率的正弦(或余弦)波信号的叠加:
其中,f(Px)表示x轴姿态信息拟合成的光滑曲线,A为颤振扰动幅值;pi为第i阶颤振频率;表示初相位,可当作[0,2π]范围内均匀分布的随机变量,Δ为随时间的随机分布变量。沿y轴和z轴方向的姿态信息也按照上式建模。然后根据实际采样姿态信息求解振幅、频率和相位参数。
首先对姿态信息进行傅里叶变化,找出幅值频谱的最大峰值,通过对应的振幅、频率、相位信息得到一级信号,然后将原始信息减去一级分量,将残余信号进行FFT变化,重复上述步骤,找出次级信号。迭代上述过程直至残余信号幅值小于设定阈值(小于一级信号幅值的1%),此时剩余量对组合信号影响小,可视为小随机扰动。初步假定原始信号由6个不同的正弦信号组合而成。
在有较大频谱混叠的情况下,无法进行有效分离,因此可采用频率域方法先大致确定谐振分量的频率信息,包括分量个数和各自的初始频率位置。然后在时间域上采用最小二乘方法,获取更精确的分量参数。采用最小二乘方法求解下式,获得拟合结果
基于求解出的姿态模型,计算图像序列像移。俯仰角和偏航角对像移影响较大,主要考虑这两个方向姿态的影响,以图2中对坐标系的定义,假设卫星轨道高度为H,图像空间分辨率为S,相机像元尺寸为p,相机物方焦距为f。在某一时刻ti侧滚角和俯仰角分别为α(ti)和β(ti)。像面上侧滚角变化造成像移量Δx为:
式中:i≠k表示两个不同成像时刻,Δxi,k表示i和k两个不同时刻的像移量,同理可得俯仰角变化造成的像移量Δy为:
根据像移计算图像序列的运动矢量和融合权重系数。将k时刻附近多帧图像的像移(Δx,Δy)用向量表示。不同图像直接的运动矢量可以由相邻图像之间运动矢量通过向量相加得到
相邻图像帧间运动矢量沿图像序列运动矢量的投影可以用于表征像素之间的时空近邻程度,用于数据融合时提取权重系数:
矢量之间的夹角可以用于表征三维邻域系统中像素点之间空间邻近程度,包括方位角和高度角:
S2,提取图像特征点,结合图像移限定判别阈值,去除误配点:具体步骤为:先利用SIFT算法提取特征点,流程见图4。结合图像序列的位移计算邻域内可能出现的DN值范围,对满足式(8)的匹配点对成为主要的候选匹配特征点对记为集合U,不满足式(8)的匹配点对组成次要的候选匹配点对记为集合U
τminDNmax<DN(i,j)<τmaxDNmax
式中:DN(i,j)表示图像f(x,y)上(i,j)点的DN值,DNmax表示图像f(x,y)DN值的最大值,τmax和τmin取值范围均为[0,1]分别表示筛选点对的最大阈值比率和最小阈值比率,该值可根据实际情况选择,例如取0.7和0.3,旨在让候选匹配特征点对区分为分布在普通地物区域和U分布在高DN值的云上和低DN值的海浪和草地上U
然后比较特征向量的距离,并使用最近邻距离算法(NN)进行匹配。设定一个阈值th,如果距离比值小于阈值th,那么认为特征点匹配。数学表达如下式所示:
式中:Li和Mj分别表示两幅图像的特征向量,则计算两点特征向量的距离公式为:
则距离比值:
再基于特征点进行图像配准:假设由步骤4提取出了N对特征点对,基于这N对特征点对求取一个最优的仿射变换矩阵T,变换矩阵有6个未知参数,因此确定变换矩阵T最少需要n(n=3)对匹配点,且任意3个点不在同一直线上。根据随机抽取的n对匹配点对求解变换矩阵T的未知参数;
计算其余N-n对匹配点对求解出的变换矩阵T的距离,将距离小于误差距离阈值the的点记为内点;统计内点数量count,若count<thn则此次计算的变换矩阵参数无效,若count≥thn则此次计算的变换矩阵参数有效;另选一组不完全相同的特征点组合,重新选择特征点对计算T和内点数量count。重复上述步骤的次数达到迭代次数m时,取出m次中内点数量count最多的匹配点对作为最佳候选匹配特征点对。由上述最佳候选匹配特征点对计算出最优变换矩阵T,基于T对图像进行变化,完成配准。
S3,建立图像序列的MAP-MRF模型:
MAP方法基于Bayesian理论,把低分辨率观测图像序列和待重建的高分辨率图像都看作是随机场。假设变量观测值的集合Y={ys},变量的集合X={xs},则后验概率P(X|Y)表示为:
式中,s为图像中的一系列像素;Ns为不包含当前节点s的邻域系;φs(xs,ys)为节点的局部证据,其本质上为观测概率p(ys|xs};φst(xs,xt)为节点xs和xt的兼容矩阵,表征邻域系内相邻节点的连续性。
利用坐标下降法进行MAP求解,给定模糊核和运动矢量时:
如果φs(xs,ys)和φst(xs,xt)分别对应p(J0|I)和p(Ji|I),则式(12)与式(7)具有等价性,因此MAP超分辨率重建等价于MAP-MRF。
7.利用迭代重加权最小二乘方法进行模糊核估计
为了不失一般性,分析给定I和J0条件下X分量的模糊核估计方法。矩阵A的每一行为每个对应像素的滤波器K的级联,定义Kx估计公式为:
该方程也可以采用迭代重加权最小二乘法(Iteratively reweighted leastsquares,IRLS)算法优化。
给定高分辨率图像I和观测图像J0,K估计公式为:
其中,A表示当前图像的循环矩阵,A是图像I中每一行与模糊核滤波器K对应像素的级联。
该方程可以采用IRLS算法优化,其解公式为:
其中
S4,利用置信度传播法进行图像迭代估计,求解MRF最优解:
给定当前的运动矢量、模糊核,利用对数函数将MAP-MRF转化为最小能量求解问题,则高分辨率图像可以由下式进行估计:
上式中第一项对应数据项,包含数据失真项和TV全变分正则项,第二项对应惩罚项。其中,D为降采样矩阵;K为模糊核矩阵;表示梯度运算符;Mi表示运动矢量ωi矩阵;θi表示第i帧图像的噪声水平;J0为当前帧的图像,Ji为不同序列观测图像;ε为p点所在的加权邻域系统;βi为权重因子,其计算公式为:
其中,ξ为归一化系数,使γ为衰减系数。
置信度传播算法求解的最小化能量函数可以写成下面的基本形式:
其中,P为图像中的一系列像素;L为一系列标签(如灰度值、运动矢量);N为不包含q的图像网格图的邻域系;标签f指定一个标签fp∈L对应每个像素p∈P;Dp(fp)为指定标签fp对应p的代价函数,对应式(10)中的数据项V(fp,fq)为指定标签fp和fq对应两个相邻像素的代价函数(不连续代价),对应式(18)中的惩罚项
为t次迭代时节点p向邻近节点q发送的信息;初始值为0;为尺度为n_lables的向量。
计算T次迭代后每个节点的置信度向量bq
在每个节点选择使bq(fq)最小化的m=||fp-1||+1。
本发明制作方法简单,本方法与传统超分辨率图像重建方法相比,增加了姿态信息约束,在图像之外提供了非冗余时空信息;采用MAP-MRF模型更符合实际图像序列成像模型,可有效避免先验模型失配导致的误差,重建出的高分辨率图像更清晰,细节信息更突出,能有效的抑制噪声放大和改良观测矩阵奇异性问题。
以上所述,仅为本发明较佳的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,根据本发明的技术方案及其发明构思加以等同替换或改变,都应涵盖在本发明的保护范围之内。

Claims (5)

1.一种基于姿态信息约束的MAP-MRF超分辨率图像重建方法,其特征在于,包括以下步骤:
S1,建模与计算:准备图像重建所需数据,包括低分辨率图像序列和对应的卫星平台姿态信息,基于姿态信息求解姿态变化模型和序列图像的像移模型,计算图像之间的运动矢量;
S2,提取图像特征点:采用SIFT算法提取图像特征点,结合图像移限定判别阈值,去除误配点,基于特征点进行图像配准;
S3,建立图像序列的MAP-MRF模型:建立图像序列的MAP-MRF模型,将超分辨率图像重建转化为求解最大后验概率问题;
S4,重建超分辨率:利用迭代重加权最小二乘方法进行模糊核估计,利用置信传播算法求解MRF最优解,完成超分辨率重建。
2.根据权利要求1所述的一种基于姿态信息约束的MAP-MRF超分辨率图像重建方法,其特征在于,图像重建所需数据要求如下:低分辨率图像大小相等,序列数量不少于20帧,每帧图像都有对应的卫星平台姿态信息,包括俯仰角、侧滚角和偏航角。
3.根据权利要求1所述的一种基于姿态信息约束的MAP-MRF超分辨率图像重建方法,其特征在于,对姿态随时间变化,提出采用多频率正弦信号组合模型进行拟合,以x方向为例:其中,f(Px)表示x轴姿态信息拟合成的光滑曲线,A为颤振扰动幅值,pi为第i阶颤振频率,表示初相位,可当作[0,2π]范围内均匀分布的随机变量,Δ为随时间的随机分布变量。
4.根据权利要求1所述的一种基于姿态信息约束的MAP-MRF超分辨率图像重建方法,其特征在于,在提取图像特征点进行图像配准时,以图像像移为约束去除误配点,提高配准精度。
5.根据权利要求1所述的一种基于姿态信息约束的MAP-MRF超分辨率图像重建方法,其特征在于,利用置信传播算法求解MRF最优解,求解过程结合图像运动矢量与模糊核。
CN201910347605.0A 2019-04-28 2019-04-28 一种基于姿态信息约束的map-mrf超分辨率图像重建方法 Active CN110060209B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910347605.0A CN110060209B (zh) 2019-04-28 2019-04-28 一种基于姿态信息约束的map-mrf超分辨率图像重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910347605.0A CN110060209B (zh) 2019-04-28 2019-04-28 一种基于姿态信息约束的map-mrf超分辨率图像重建方法

Publications (2)

Publication Number Publication Date
CN110060209A true CN110060209A (zh) 2019-07-26
CN110060209B CN110060209B (zh) 2021-09-24

Family

ID=67321171

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910347605.0A Active CN110060209B (zh) 2019-04-28 2019-04-28 一种基于姿态信息约束的map-mrf超分辨率图像重建方法

Country Status (1)

Country Link
CN (1) CN110060209B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110415242A (zh) * 2019-08-02 2019-11-05 中国人民解放军军事科学院国防科技创新研究院 一种基于参考图像的超分辨倍率评价方法
CN112184549A (zh) * 2020-09-14 2021-01-05 阿坝师范学院 基于时空变换技术的超分辨图像重建方法
CN112504264A (zh) * 2020-10-22 2021-03-16 北京控制工程研究所 一种用于星敏感器姿态测量的超分辨率成像方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101320072A (zh) * 2008-07-21 2008-12-10 西安电子科技大学 基于红外序列图像超分辨率重建方法的热分析测试系统
CN101470809A (zh) * 2007-12-26 2009-07-01 中国科学院自动化研究所 一种基于扩展混合高斯模型的运动目标检测方法
US20120195500A1 (en) * 2011-01-31 2012-08-02 Patti Andrew J Motion-based, multi-stage video segmentation with motion boundary refinement

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101470809A (zh) * 2007-12-26 2009-07-01 中国科学院自动化研究所 一种基于扩展混合高斯模型的运动目标检测方法
CN101320072A (zh) * 2008-07-21 2008-12-10 西安电子科技大学 基于红外序列图像超分辨率重建方法的热分析测试系统
US20120195500A1 (en) * 2011-01-31 2012-08-02 Patti Andrew J Motion-based, multi-stage video segmentation with motion boundary refinement

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
TINGHUA ZHANG等: "MAP-MRF-Based Super-Resolution Reconstruction Approach for Coded Aperture Compressive Temporal Imaging", 《APPLIED SCIENCES》 *
蒋少华 著: "《多源图像处理技术》", 31 July 2012, 湖南师范大学出版社 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110415242A (zh) * 2019-08-02 2019-11-05 中国人民解放军军事科学院国防科技创新研究院 一种基于参考图像的超分辨倍率评价方法
CN110415242B (zh) * 2019-08-02 2020-05-19 中国人民解放军军事科学院国防科技创新研究院 一种基于参考图像的超分辨倍率评价方法
CN112184549A (zh) * 2020-09-14 2021-01-05 阿坝师范学院 基于时空变换技术的超分辨图像重建方法
CN112504264A (zh) * 2020-10-22 2021-03-16 北京控制工程研究所 一种用于星敏感器姿态测量的超分辨率成像方法
CN112504264B (zh) * 2020-10-22 2021-12-07 北京控制工程研究所 一种用于星敏感器姿态测量的超分辨率成像方法

Also Published As

Publication number Publication date
CN110060209B (zh) 2021-09-24

Similar Documents

Publication Publication Date Title
CN103824273B (zh) 基于复合运动和自适应非局部先验的超分辨率重建方法
CN107025632B (zh) 一种图像超分辨率重建方法及系统
CN102136144B (zh) 图像配准可靠性模型和超分辨率图像的重构方法
CN111340944B (zh) 基于隐式函数和人体模板的单图像人体三维重建方法
CN110060209A (zh) 一种基于姿态信息约束的map-mrf超分辨率图像重建方法
CN103034982B (zh) 一种基于变焦视频序列的图像超分辨率重建方法
CN106897986B (zh) 一种基于多尺度分析的可见光图像与远红外图像融合方法
CN108932710B (zh) 遥感时空信息融合方法
CN107730482A (zh) 一种基于区域能量和方差的稀疏融合算法
CN103544681A (zh) 非均一运动模糊图像的恢复方法
US9165341B2 (en) Method for generating super-resolution images having improved image resolution and measuring device
CN109658361A (zh) 一种顾及运动估计误差的运动场景超分辨率重建方法
CN110580715B (zh) 一种基于照度约束和格网变形的图像对齐方法
CN107360377B (zh) 一种车载视频稳像方法
CN117523100A (zh) 基于神经网络与多视图一致性的三维场景重建方法和装置
CN111696167A (zh) 自范例学习引导的单张影像超分辨率重构方法
CN104700359A (zh) 像平面不同极轴方向图像序列进行超分辨率重建的方法
CN108171731B (zh) 一种顾及拓扑几何多要素约束的最小影像集自动优选方法
CN108399629B (zh) 一种人工复眼相机的图像阵列光流估计方法
CN114219995A (zh) 基于图像补全的空间目标异源图像匹配方法
Zollhöfer et al. Low-Cost Real-Time 3D Reconstruction of Large-Scale Excavation Sites using an RGB-D Camera.
Shen et al. Super-resolution from observations with variable zooming ratios
Tagawa et al. Direct 3-d shape recovery from image sequence based on multi-scale bayesian network
Chen et al. Fast image super-resolution for a dual-resolution camera
Shi et al. Image super-resolution fusion based on hyperacutiy mechanism and half quadratic Markov random field

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant