CN110060209B - 一种基于姿态信息约束的map-mrf超分辨率图像重建方法 - Google Patents
一种基于姿态信息约束的map-mrf超分辨率图像重建方法 Download PDFInfo
- Publication number
- CN110060209B CN110060209B CN201910347605.0A CN201910347605A CN110060209B CN 110060209 B CN110060209 B CN 110060209B CN 201910347605 A CN201910347605 A CN 201910347605A CN 110060209 B CN110060209 B CN 110060209B
- Authority
- CN
- China
- Prior art keywords
- image
- mrf
- super
- resolution
- map
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 239000013598 vector Substances 0.000 claims description 21
- 206010034719 Personality change Diseases 0.000 claims description 3
- 230000001131 transforming effect Effects 0.000 claims description 2
- 239000011159 matrix material Substances 0.000 abstract description 18
- 238000003384 imaging method Methods 0.000 abstract description 10
- 230000003321 amplification Effects 0.000 abstract description 4
- 238000003199 nucleic acid amplification method Methods 0.000 abstract description 4
- 230000009466 transformation Effects 0.000 description 10
- 238000005070 sampling Methods 0.000 description 4
- 238000001228 spectrum Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 239000013589 supplement Substances 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000011480 coordinate descent method Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000013213 extrapolation Methods 0.000 description 1
- 239000011664 nicotinic acid Substances 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000036544 posture Effects 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 239000004576 sand Substances 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000010183 spectrum analysis Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000005428 wave function Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于姿态信息约束的MAP‑MRF超分辨率图像重建方法，包括以下步骤：S1,建模与计算；S2，提取图像特征点；S3，建立图像序列的MAP‑MRF模型；S4，重建超分辨率：利用迭代重加权最小二乘方法进行模糊核估计，利用置信传播算法求解MRF最优解，完成超分辨率重建。本发明方法与传统超分辨率图像重建方法相比，增加了姿态信息约束，在图像之外提供了非冗余时空信息；采用MAP‑MRF模型更符合实际图像序列成像模型，可有效避免先验模型失配导致的误差，重建出的高分辨率图像更清晰，细节信息更突出，能有效的抑制噪声放大和改良观测矩阵奇异性问题。
Description
技术领域
本发明涉及超分辨率图像重建技术领域，尤其涉及一种基于姿态信息约束的MAP-MRF超分辨率图像重建方法。
背景技术
数字光电成像系统在成像制导、工业检测、仿生机器人、航天遥感以及医疗检查等领域有着广泛的应用，获得对感兴趣目标的高分辨率图像是成像系统所追求的主要目标之一。由于CCD、CMOS等离散采样成像器件在成像过程中不可避免的存在欠采样效应，会造成获取的图像分辨率降低。图像超分辨率重建采用软件方法重建出由于欠采样导致的混叠于低频信号中的高频信号，从而获取高于系统分辨率的图像。
超分辨率重建需要对多帧序列图像进行处理获取更多的信息，也称为多画幅超分辨率重建技术。最初的超分辨率重建方法包括非均匀内插算法、频谱外推法、逆滤波、维纳滤波、能量连续降减法、长椭球波函数等。然而，这些方法基于数学意义上的纯频谱分析，并不能有效的抑制噪声放大和改良观测矩阵奇异性问题。
发明内容
基于背景技术存在的技术问题，本发明提出了一种基于姿态信息约束的MAP-MRF超分辨率图像重建方法。
本发明提出的一种基于姿态信息约束的MAP-MRF超分辨率图像重建方法，包括以下步骤：
S1，建模与计算：准备图像重建所需数据，包括低分辨率图像序列和对应的卫星平台姿态信息，基于姿态信息求解姿态变化模型和序列图像的像移模型，计算图像之间的运动矢量；
S2，提取图像特征点：采用SIFT算法提取图像特征点，结合图像移限定判别阈值，去除误配点，基于特征点进行图像配准；
S3，建立图像序列的MAP-MRF模型：建立图像序列的MAP-MRF模型，将超分辨率图像重建转化为求解最大后验概率问题；
S4，重建超分辨率：利用迭代重加权最小二乘方法进行模糊核估计，利用置信传播算法求解MRF最优解，完成超分辨率重建；
优选地，图像重建所需数据要求如下：低分辨率图像大小相等，序列数量不少于20帧，每帧图像都有对应的卫星平台姿态信息，包括俯仰角、侧滚角和偏航角。
优选地，对姿态随时间变化，提出采用多频率正弦信号组合模型进行拟合，以x方向为例：
其中，f(Px)表示x轴姿态信息拟合成的光滑曲线，A为颤振扰动幅值，pi为第i阶颤振频率，
表示初相位，可当作[0，2π]范围内均匀分布的随机变量，Δ为随时间的随机分布变量。
优选地，在提取图像特征点进行图像配准时，以图像像移为约束去除误配点，提高配准精度。
优选地，利用置信传播算法求解MRF最优解，求解过程结合图像运动矢量与模糊核。
本发明的有益效果为：本方法与传统超分辨率图像重建方法相比，增加了姿态信息约束，在图像之外提供了非冗余时空信息；采用 MAP-MRF模型更符合实际图像序列成像模型，可有效避免先验模型失配导致的误差，重建出的高分辨率图像更清晰，细节信息更突出，能有效的抑制噪声放大和改良观测矩阵奇异性问题。
附图说明
图1为本发明提出的一种基于姿态信息约束的MAP-MRF超分辨率图像重建方法的图像超分辨率算法思路流程图；
图2为本发明提出的一种基于姿态信息约束的MAP-MRF超分辨率图像重建方法的卫星姿态角示意图；
图3为本发明提出的一种基于姿态信息约束的MAP-MRF超分辨率图像重建方法的侧滚像移示意图；
图4为本发明提出的一种基于姿态信息约束的MAP-MRF超分辨率图像重建方法的SIFT特征点检测提取流程图；
图5为本发明提出的一种基于姿态信息约束的MAP-MRF超分辨率图像重建方法的序列图像超分辨率重建详细步骤流程图。
具体实施方式
下面将结合公式和附图对本发明作进一步的详细介绍。
本发明提出的一种基于姿态信息约束的MAP-MRF超分辨率图像重建方法，如图5所示，为本发明提供的一种基于姿态信息约束的 MAP-MRF超分辨率图像重建方法，包括以下步骤：
S1，对侧滚、俯仰和偏航三个方向的姿态信息变化规律进行建模：由于三轴姿态变化均在某一常数附近波动，而且是有界的，姿态数据符合平稳时间序列特征。将多帧图像的俯仰信息表示为不同频率的正弦(或余弦)波信号的叠加：
其中，f(Px)表示x轴姿态信息拟合成的光滑曲线，A为颤振扰动幅值；pi为第i阶颤振频率；
表示初相位，可当作[0，2π]范围内均匀分布的随机变量，Δ为随时间的随机分布变量。沿y轴和z轴方向的姿态信息也按照上式建模。然后根据实际采样姿态信息求解振幅、频率和相位参数。
首先对姿态信息进行傅里叶变化，找出幅值频谱的最大峰值，通过对应的振幅、频率、相位信息得到一级信号，然后将原始信息减去一级分量，将残余信号进行FFT变化，重复上述步骤，找出次级信号。迭代上述过程直至残余信号幅值小于设定阈值(小于一级信号幅值的 1％)，此时剩余量对组合信号影响小，可视为小随机扰动。初步假定原始信号由6个不同的正弦信号组合而成。
在有较大频谱混叠的情况下，无法进行有效分离，因此可采用频率域方法先大致确定谐振分量的频率信息，包括分量个数和各自的初始频率位置。然后在时间域上采用最小二乘方法，获取更精确的分量参数。采用最小二乘方法求解下式，获得拟合结果
基于求解出的姿态模型，计算图像序列像移。俯仰角和偏航角对像移影响较大，主要考虑这两个方向姿态的影响，以图2中对坐标系的定义，假设卫星轨道高度为H，图像空间分辨率为S，相机像元尺寸为p，相机物方焦距为f。在某一时刻ti侧滚角和俯仰角分别为α(ti) 和β(ti)。像面上侧滚角变化造成像移量Δx为：
式中：i≠k表示两个不同成像时刻，Δxi，k表示i和k两个不同时刻的像移量，同理可得俯仰角变化造成的像移量Δy为：
根据像移计算图像序列的运动矢量和融合权重系数。将k时刻附近多帧图像的像移(Δx，Δy)用向量
表示。不同图像直接的运动矢量
可以由相邻图像之间运动矢量
和
通过向量相加得到
相邻图像帧间运动矢量沿图像序列运动矢量的投影可以用于表征像素之间的时空近邻程度，用于数据融合时提取权重系数：
矢量之间的夹角可以用于表征三维邻域系统中像素点之间空间邻近程度，包括方位角和高度角：
S2，提取图像特征点，结合图像移限定判别阈值，去除误配点：具体步骤为：先利用SIFT算法提取特征点，流程见图4。结合图像序列的位移计算邻域内可能出现的DN值范围，对满足式(8)的匹配点对成为主要的候选匹配特征点对记为集合U，不满足式(8)的匹配点对组成次要的候选匹配点对记为集合U补：
τminDNmax＜DN(i，j)＜τmaxDNmax
式中：DN(i，j)表示图像f(x，y)上(i，j)点的DN值，DNmax表示图像 f(x，y)DN值的最大值，τmax和τmin取值范围均为[0，1]分别表示筛选点对的最大阈值比率和最小阈值比率，该值可根据实际情况选择，例如取0.7和0.3，旨在让候选匹配特征点对区分为分布在普通地物区域和U分布在高DN值的云上和低DN值的海浪和草地上U补。
然后比较特征向量的距离，并使用最近邻距离算法(NN)进行匹配。设定一个阈值th，如果距离比值小于阈值th，那么认为特征点匹配。数学表达如下式所示：
式中：Li和Mj分别表示两幅图像的特征向量，则计算两点特征向量的距离公式为：
则距离比值：
再基于特征点进行图像配准：假设由步骤4提取出了N对特征点对，基于这N对特征点对求取一个最优的仿射变换矩阵T，变换矩阵有6个未知参数，因此确定变换矩阵T最少需要n(n＝3)对匹配点，且任意3个点不在同一直线上。根据随机抽取的n对匹配点对求解变换矩阵T的未知参数；
计算其余N-n对匹配点对求解出的变换矩阵T的距离，将距离小于误差距离阈值the的点记为内点；统计内点数量count，若 count＜thn则此次计算的变换矩阵参数无效，若count≥thn则此次计算的变换矩阵参数有效；另选一组不完全相同的特征点组合，重新选择特征点对计算T和内点数量count。重复上述步骤的次数达到迭代次数 m时，取出m次中内点数量count最多的匹配点对作为最佳候选匹配特征点对。由上述最佳候选匹配特征点对计算出最优变换矩阵T，基于 T对图像进行变化，完成配准。
S3，建立图像序列的MAP-MRF模型：
MAP方法基于Bayesian理论，把低分辨率观测图像序列和待重建的高分辨率图像都看作是随机场。假设变量观测值的集合Y＝{ys}，变量的集合X＝{xs}，则后验概率P(X|Y)表示为：
式中，s为图像中的一系列像素；Ns为不包含当前节点s的邻域系；φs(xs，ys)为节点的局部证据，其本质上为观测概率p(ys|xs}；φst(xs，xt)为节点xs和xt的兼容矩阵，表征邻域系内相邻节点的连续性。
利用坐标下降法进行MAP求解，给定模糊核和运动矢量时：
如果φs(xs，ys)和φst(xs，xt)分别对应p(J0|I)和p(Ji|I)，则式(12)与式(7)具有等价性，因此MAP超分辨率重建等价于MAP-MRF。
7.利用迭代重加权最小二乘方法进行模糊核估计
为了不失一般性，分析给定I和J0条件下X分量的模糊核估计方法。矩阵A的每一行为每个对应像素的滤波器K的级联，定义
Kx估计公式为：
该方程也可以采用迭代重加权最小二乘法(Iteratively reweighted leastsquares，IRLS)算法优化。
给定高分辨率图像I和观测图像J0，K估计公式为：
其中，A表示当前图像的循环矩阵，A是图像I中每一行与模糊核滤波器K对应像素的级联。
该方程可以采用IRLS算法优化，其解公式为：
其中
S4，利用置信度传播法进行图像迭代估计，求解MRF最优解：
给定当前的运动矢量、模糊核，利用对数函数将MAP-MRF转化为最小能量求解问题，则高分辨率图像可以由下式进行估计：
上式中第一项对应数据项，包含数据失真项和TV全变分正则项，第二项对应惩罚项。其中，D为降采样矩阵；K为模糊核矩阵；
表示梯度运算符；Mi表示运动矢量ωi矩阵；θi表示第i帧图像的噪声水平； J0为当前帧的图像，Ji为不同序列观测图像；ε为p点所在的加权邻域系统；βi为权重因子，其计算公式为：
其中，ξ为归一化系数，使
γ为衰减系数。
置信度传播算法求解的最小化能量函数可以写成下面的基本形式：
其中，P为图像中的一系列像素；L为一系列标签(如灰度值、运动矢量)；N为不包含q的图像网格图的邻域系；标签f指定一个标签 fp∈L对应每个像素p∈P；Dp(fp)为指定标签fp对应p的代价函数，对应式(10)中的数据项
V(fp，fq)为指定标签fp和fq对应两个相邻像素的代价函数(不连续代价)，对应式(18)中的惩罚项
计算T次迭代后每个节点的置信度向量bq；
在每个节点选择使bq(fq)最小化的m＝||fp-1||+1。
本发明制作方法简单，本方法与传统超分辨率图像重建方法相比，增加了姿态信息约束，在图像之外提供了非冗余时空信息；采用 MAP-MRF模型更符合实际图像序列成像模型，可有效避免先验模型失配导致的误差，重建出的高分辨率图像更清晰，细节信息更突出，能有效的抑制噪声放大和改良观测矩阵奇异性问题。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。
Claims (3)
1.一种基于姿态信息约束的MAP-MRF超分辨率图像重建方法，其特征在于，包括以下步骤：
S1，建模与计算：准备图像重建所需数据，包括低分辨率图像序列和对应的卫星平台姿态信息，基于姿态信息求解姿态变化模型和序列图像的像移模型，计算图像之间的运动矢量；
S2，提取图像特征点：采用SIFT算法提取图像特征点，结合图像移限定判别阈值，去除误配点，基于特征点进行图像配准；
S3，建立图像序列的MAP-MRF模型：建立图像序列的MAP-MRF模型，将超分辨率图像重建转化为求解最大后验概率问题；
S4，重建超分辨率：利用迭代重加权最小二乘方法进行模糊核估计，利用置信传播算法求解MRF最优解，完成超分辨率重建；
其中，图像重建所需数据要求如下：低分辨率图像大小相等，序列数量不少于20帧，每帧图像都有对应的卫星平台姿态信息，包括俯仰角、侧滚角和偏航角
对姿态随时间变化，提出采用多频率正弦信号组合模型进行拟合，以x方向为例：
其中，f(Px)表示x轴姿态信息拟合成的光滑曲线，A为颤振扰动幅值，pi为第i阶颤振频率，
表示初相位，可当作[0,2π]范围内均匀分布的随机变量，Δ为随时间的随机分布变量。
2.根据权利要求1所述的一种基于姿态信息约束的MAP-MRF超分辨率图像重建方法，其特征在于，在提取图像特征点进行图像配准时，以图像像移为约束去除误配点，提高配准精度。
3.根据权利要求1所述的一种基于姿态信息约束的MAP-MRF超分辨率图像重建方法，其特征在于，利用置信传播算法求解MRF最优解，求解过程结合图像运动矢量与模糊核。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910347605.0A CN110060209B (zh) | 2019-04-28 | 2019-04-28 | 一种基于姿态信息约束的map-mrf超分辨率图像重建方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910347605.0A CN110060209B (zh) | 2019-04-28 | 2019-04-28 | 一种基于姿态信息约束的map-mrf超分辨率图像重建方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110060209A CN110060209A (zh) | 2019-07-26 |
| CN110060209B true CN110060209B (zh) | 2021-09-24 |
Family
ID=67321171
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910347605.0A Active CN110060209B (zh) | 2019-04-28 | 2019-04-28 | 一种基于姿态信息约束的map-mrf超分辨率图像重建方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110060209B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110415242B (zh) * | 2019-08-02 | 2020-05-19 | 中国人民解放军军事科学院国防科技创新研究院 | 一种基于参考图像的超分辨倍率评价方法 |
| CN112184549B (zh) * | 2020-09-14 | 2023-06-23 | 阿坝师范学院 | 基于时空变换技术的超分辨图像重建方法 |
| CN112504264B (zh) * | 2020-10-22 | 2021-12-07 | 北京控制工程研究所 | 一种用于星敏感器姿态测量的超分辨率成像方法 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101470809B (zh) * | 2007-12-26 | 2011-07-20 | 中国科学院自动化研究所 | 一种基于扩展混合高斯模型的运动目标检测方法 |
| CN101320072B (zh) * | 2008-07-21 | 2011-04-27 | 西安电子科技大学 | 基于红外序列图像超分辨率重建方法的热分析测试系统 |
| US8526674B2 (en) * | 2011-01-31 | 2013-09-03 | Hewlett-Packard Development Company, L.P. | Motion-based, multi-stage video segmentation with motion boundary refinement |
-
2019
- 2019-04-28 CN CN201910347605.0A patent/CN110060209B/zh active Active
Non-Patent Citations (3)
| Title |
|---|
| MAP-MRF-Based Super-Resolution Reconstruction Approach for Coded Aperture Compressive Temporal Imaging;Tinghua Zhang等;《Applied Sciences》;20180227;第1-28页 * |
| 基于稀疏先验和相对总变分的图像盲去模糊;姚若河 等;《华南理工大学学报（自然科学版）》;20171031;第45卷(第10期);第108-113页 * |
| 基于自适应双l_p_l_2范数的单幅模糊图像超分辨率盲重建;李滔 等;《计算机应用》;20170810;第37卷(第8期);第2313-2318页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110060209A (zh) | 2019-07-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107025632B (zh) | 一种图像超分辨率重建方法及系统 | |
| CN110060209B (zh) | 一种基于姿态信息约束的map-mrf超分辨率图像重建方法 | |
| CN112686935B (zh) | 基于特征融合的机载测深雷达与多光谱卫星影像配准方法 | |
| US20090110285A1 (en) | Apparatus and method for improving image resolution using fuzzy motion estimation | |
| CN111986134B (zh) | 面阵相机遥感成像方法及装置 | |
| Yoshikawa et al. | Super resolution image reconstruction using total variation regularization and learning-based method | |
| Khattab et al. | Regularization-based multi-frame super-resolution: a systematic review | |
| CN112184549B (zh) | 基于时空变换技术的超分辨图像重建方法 | |
| CN104574338B (zh) | 基于多角度线阵ccd传感器的遥感图像超分辨率重建方法 | |
| CN110660022A (zh) | 一种基于曲面拟合的图像超分辨率重建方法 | |
| He et al. | MAP based resolution enhancement of video sequences using a Huber-Markov random field image prior model | |
| He et al. | Blind super-resolution image reconstruction using a maximum a posteriori estimation | |
| CN109615584B (zh) | 一种基于单应性约束的sar图像序列map超分辨率重建方法 | |
| Sharma et al. | Formation of super-resolution image: a review | |
| CN107767342B (zh) | 一种基于积分平差模型的小波变换超分辨率图像重建方法 | |
| CN113962897B (zh) | 基于序列遥感影像的调制传递函数补偿方法及装置 | |
| Shin et al. | LoGSRN: Deep super resolution network for digital elevation model | |
| Tuinstra et al. | High-resolution image reconstruction from digital video by exploitation of nonglobal motion | |
| Thurnhofer-Hemsi et al. | Super-resolution of 3D magnetic resonance images by random shifting and convolutional neural networks | |
| CN113066014A (zh) | 一种图像超分辨方法及装置 | |
| Aguena et al. | Generalization of iterative restoration techniques for super-resolution | |
| Srinivasan et al. | Group sparse based super-resolution of magnetic resonance images for superior lesion diagnosis | |
| El-Khamy et al. | Adaptive least squares acquisition of high resolution images | |
| Metwalli et al. | Combining superresolution and fusion methods for sharpening misrsat-1 data | |
| Arigela et al. | Learning Multi-level Local Phase Relationship for Single Image Resolution Enhancement |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |