CN108986025B - 基于不完备姿轨信息的高精度异时图像拼接及校正方法 - Google Patents

Abstract

本发明公开了一种基于不完备姿轨信息的高精度异时图像拼接及校正方法，其包括以下步骤：S1、根据陀螺仪角速度和卫星在待拼接的两幅条带图像下的姿态信息解算其相应时刻的方向余弦矩阵；S2、根据步骤S1中得到的两个时刻对应的方向余弦矩阵，得到两幅图像相对于导航系的对应关系，也即确定原始线阵扫描图像与当前图像的大概位置对应关系；S3、利用SIFT特征点匹配进行图像校正，确定两幅条带图像的详细位置对应关系，并完成图像拼接。本发明提供的方法解决了传统图像拼接方法对于大范围遥感图像拼接的缺陷，提高了遥感线阵扫描图像的拼接精度和效率。

Description

基于不完备姿轨信息的高精度异时图像拼接及校正方法

技术领域

本发明属于遥感图像处理技术领域，特别涉及一种不完备姿轨信息的高精度异时图像拼接及校正技术。

背景技术

随着科学技术的进步和数字成像技术的迅速发展，数字成像设备也得到广泛的应用。然而，数字成像设备由于自身的物理限制，在一些特殊的应用场景中，其不能满足人们的需求，例如，在需要获取到大视场的图像时，因成像设备自身的视场宽度较窄，无法获取到全景图像。因此图像拼接技术的发展也日趋成熟起来，图像拼接技术是指将一系列有重叠的图像(可能是不同时间、不同视角或者不同传感器获得的图像)拼成一副大型的无缝高分辨率图像的技术，拼接后的图像具有比单个图像更高的分辨率和更大的视野。图像拼接技术在计算机视觉、虚拟现实、医学研究、军事侦察、卫星遥感、空间探测等领域具有广泛的应用。

对于航天器线阵推扫成像来说，其实时输出是垂直于航线方向的影像线。然而仅仅依靠一幅条带状的影像线提供的灰度信息显然是不足的。因此必须对多幅在不同时间不同空间位置拍摄的条带图像实现拼接。航天器在摄影瞬间的位置和姿态由六个因素确定，任何一个因素的变化都会造成TDICCD(即时间延迟积分CCD)条带图像间像素空间关系的变化。该变化有可能是规律的，也有可能是不规律的。对于已知的有规律的变化，其图像间的空间变换模型是稳定的，可以很容易实现TDICCD图像间的拼接。而对于不规律的变化，或者未知的变化其图像空间变化模型是未知的，甚至是不稳定的、随机的，这必然会对图像拼接造成很大的困难。因此不完备姿轨信息的高精度异时图像拼接及校正是卫星遥感图像获取中的一个关键技术。

目前，基于特征点匹配的图像拼接是一种主要针对仿射变换模型和透视变换模型的图像拼接技术，这种方法不易受图像平移、旋转、尺度缩放、光照及视角变化等因素的影响，具有配准精度高、拼接效果好等优点。但是，对于规模比较大且覆盖范围广的航天器拍摄的条带图像拼接来说，特征点的选取可能会耗费比较大的时间和计算量，严重影响图像拼接的效率。基于卫星姿态信息和轨道参数的图像粗拼接技术，在不完备姿轨信息的情况下其匹配误差较大，因此无法单独使用完成图像拼接。

针对传统方法在效率、精度上存在的局限性，本发明将开发一种高效高精度的基于不完备姿轨信息的高精度异时图像拼接及校正方法。

发明内容

本发明的目的在于结合卫星姿态信息和轨道参数的粗拼接技术和SIFT特征点匹配的校正技术，以解决传统图像拼接方法对于大范围遥感图像拼接的缺陷，提高遥感线阵扫描图像的拼接精度和效率。

为实现上述目的，本发明采用以下技术方案：

基于不完备姿轨信息的高精度异时图像拼接及校正方法，其包括以下步骤：

S1、根据陀螺仪角速度和卫星在待拼接的两幅条带图像下的姿态信息解算其相应时刻的方向余弦矩阵；

S2、根据步骤S1中得到的两个时刻对应的方向余弦矩阵，得到两幅图像相对于导航系的对应关系，也即确定原始线阵扫描图像与当前图像的大概位置对应关系；

S3、利用SIFT特征点匹配进行图像校正，确定两幅条带图像的详细位置对应关系，并完成图像拼接。

所述步骤S1具体包括以下步骤：

S11、计算载体系相对于惯性系的角速度在导航系中的投影；

S12、计算地球系相对于惯性系的角速度在导航系中的投影；

S13、计算导航系相对于地球的角速度；

S14、计算载体相对于导航系的角速度并用四元数表示；

S15、根据四元数姿态传递方程分别求解两个时刻方向余弦矩阵。

步骤S3具体包括以下步骤：

S31、输入待拼接图像；

S32、对待拼接的图像进行SIFT特征点匹配：确定初始匹配点，将该结果作为匹配的初值，固定参考图像的匹配点；

S33、利用待拼接图像上的初始匹配点建立搜索窗口，使用相关系数法搜索最佳匹配点位，通过设置相关系数阈值将小于该阈值的匹配点剔除；

S34、最小二乘匹配：之后利用最小二乘匹配方法提高匹配的精度，最终得到高精度的匹配点坐标；

S35、计算图像间的变换参数：利用仿射变换模型计算参考图像与待拼接图像之间的变换参数；

S36、图像拼接：根据匹配提纯后的特征点对确定融合区域，对两幅待拼接的图像进行图像融合。

在步骤S33中采用相关系数法进行匹配检核和最小二乘匹配，相关系数的定义式如下：

式中：f_i,j为参考图像子窗口中(i,j)处的像素灰度值；g(x,y)_i,j为匹配图像中以参考点(x,y)为中心的搜索区域(i,j)处的像素灰度值；

为窗口内的平均值。

采用上述技术方案后，本发明与背景技术相比，具有如下优点：

本发明配准精度高、速度快、鲁棒性好以及抗干扰性能强。

附图说明

图1为本发明流程示意图；

图2为本发明卫星方向余弦矩阵计算流程示意图；

图3为本发明利用SIFT特征点匹配完成图像自动拼接的流程示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

实施例

请参阅图1所示，本发明公开了一种基于不完备姿轨信息的高精度异时图像拼接及校正方法，其包括以下步骤：

S1、根据陀螺仪角速度和卫星在待拼接的两幅条带图像下的状态信息解算其相应时刻方向余弦矩阵，得到的两个时刻的方向余弦矩阵(分别为C1和C2)代表载体坐标系相对于导航坐标系的旋转；

S2、根据步骤S1中得到的两个时刻对应的方向余弦矩阵，可以得到两幅图像相对于导航系的对应关系C，也即确定原始线阵扫描图像与当前图像的大概位置对应关系；

S3、缩小搜索范围，利用SIFT特征点进行图像校正，确定两幅条带图像的详细位置对应关系，并完成图像拼接。

参考图2所示，上述步骤S1具体包括以下分步骤：

S11、计算载体系相对于惯性系的角速度在导航系中的投影Wib；

S12、计算地球系相对于惯性系的角速度在导航系中的投影Wie；

S13、计算导航系相对于地球的角速度Wen；

S14、计算载体相对于导航系的角速度Wnb并用四元数表示；S15、根据四元数姿态传递方程分别求解两个时刻方向余弦矩阵C1和C2。方向余弦矩阵与四元数之间的关系：

四元数微分方程为：

即：

毕卡算法是由角增量计算四元数的常用算法，见下式：

式中，

求解出四元数Q＝[q₀,q₁,q₂,q₃]，代入式(1)即可得到方向余弦矩阵。

结合图3所示，上述步骤S3具体包括以下步骤：

S31、输入待拼接图像。

S32、对待拼接的图像进行SIFT特征点匹配：确定初始匹配点，将该结果作为匹配的初值，固定参考图像的匹配点。

由于CCD影像之间存在一定的重叠，为了减小SIFT特征点匹配的计算量，只选取两幅图像重叠部分及周围一定范围的区域进行特征点匹配；对于SIFT特征点匹配，首先提取两幅图像在选定区域的SIFT特征点，并生成每一个特征点的特征描述符，针对生成的描述符对两幅图像进行匹配。

S33、利用待拼接图像上的初始匹配点建立搜索窗口，使用相关系数法搜索最佳匹配点位，通过设置相关系数阈值将小于该阈值的匹配点剔除。

当两幅图像的SIFT特征向量生成后，下一步采用关键点特征向量的欧氏距离来作为两幅图像中关键点的相似性判定度量，取其中一幅图像中的某个关键点，并找出其与另一幅图像中欧式距离最近的前两个关键点，在这两个关键点中，如果最近的距离除以次近的距离少于某个比例阈值，则接受这一对匹配点，降低这个比例阈值，SIFT匹配点数目会减少，但更加稳定。

适应度函数是评价影像匹配结果优劣的具体量化标准，影像匹配问题中有很多种适应度函数可以使用，如相关函数法、归一化相关函数法、相关系数法、差绝对值和等。本发明采用相关系数法进行匹配检核和最小二乘匹配，相关系数的定义式如下：

式中：f_i,j为参考图像子窗口中(i,j)处的像素灰度值；g(x,y)_i,j为匹配图像中以参考点(x,y)为中心的搜索区域(i,j)处的像素灰度值；

为窗口内的平均值。

S34、最小二乘匹配：利用最小二乘匹配方法提高匹配的精度，最终得到高精度的匹配点坐标。

由于最小二乘匹配算法能够同时改正匹配影像之间的辐射误差和几何变形误差，而且能够在平差系统中灵活地加入各种约束条件，达到1/10～1/100像素的精度，因此是一种高精度的子像素匹配算法。本发明利用兼顾几何变形与辐射改正的最小二乘匹配提高影像匹配的精度。

S35、计算图像间的变换参数：本发明利用仿射变换模型计算参考图像与待拼接图像之间的变换参数，所采用的仿射变换公式如下：

式中，(x_L,y_L)和(x_R,y_R)分别为参考图像与待拼接图像的匹配点坐标，理论上至少需要三对不共线的同名点坐标即可解算出仿射变换模型的六个参数。

S36、图像拼接：根据匹配提纯后的特征点对确定融合区域，对两幅待拼接的图像进行图像融合。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (2)

1.基于不完备姿轨信息的高精度异时图像拼接及校正方法，其特征在于：包括以下步骤：

S1、根据陀螺仪角速度和卫星在待拼接的两幅条带图像下的姿态信息解算其相应时刻的方向余弦矩阵；

S2、根据步骤S1中得到的两个时刻对应的方向余弦矩阵，得到两幅图像相对于导航系的对应关系，也即确定原始线阵扫描图像与当前图像的位置对应关系；

S3、利用SIFT特征点匹配进行图像校正，确定两幅条带图像的详细位置对应关系，并完成图像拼接；

所述步骤S3具体包括以下步骤：

S31、输入待拼接图像；

S32、对待拼接的图像进行SIFT特征点匹配：确定初始匹配点，将其作为匹配的初值，固定参考图像的匹配点；

S33、利用待拼接图像上的初始匹配点建立搜索窗口，使用相关系数法搜索最佳匹配点位，通过设置相关系数阈值将小于该阈值的匹配点剔除；

S34、最小二乘匹配：之后利用最小二乘匹配方法提高匹配的精度，最终得到高精度的匹配点坐标；

S35、计算图像间的变换参数：利用仿射变换模型计算参考图像与待拼接图像之间的变换参数；

S36、图像拼接：根据匹配提纯后的特征点对确定融合区域，对两幅待拼接的图像进行图像融合；

所述步骤S33中采用相关系数法进行匹配检核和最小二乘匹配，相关系数的定义式如下：

式中：f_i,j为参考图像子窗口中(i,j)处的像素灰度值；g(x,y)_i,j为匹配图像中以参考点(x,y)为中心的搜索区域(i,j)处的像素灰度值；

为窗口内的平均值。

2.如权利要求1所述的基于不完备姿轨信息的高精度异时图像拼接及校正方法，其特征在于：所述步骤S1具体包括以下步骤：

S11、计算载体系相对于惯性系的角速度在导航系中的投影；

S12、计算地球系相对于惯性系的角速度在导航系中的投影；

S13、计算导航系相对于地球的角速度；

S14、计算载体相对于导航系的角速度并用四元数表示；

S15、根据四元数姿态传递方程分别求解两个时刻方向余弦矩阵。

Images