CN108681985A - 视频卫星影像的条带拼接方法 - Google Patents

Abstract

一种视频卫星影像的条带拼接方法，包括以下步骤：在所有待拼接影像的相邻两帧影像中提取特征点进行匹配，获得所有相邻两帧影像的匹配特征点对集合；根据所有相邻两帧影像的匹配特征点对集合，获得所有相邻两帧影像的匹配特征点矩阵对；根据所有相邻两帧影像的匹配特征点矩阵对，获得所有相邻两帧影像的仿射模型矩阵；根据有理函数模型以及所有相邻两帧影像的仿射模型矩阵，获得所有相邻两帧影像的修正后的影像坐标与地面点坐标的转换关系；根据所有相邻两帧影像的修正后的影像坐标与地面点坐标的转换关系，获得所有相邻两帧影像的修正后的影像坐标对应关系；对所有待拼接的影像进行重采样，得到拼接影像。

Description

视频卫星影像的条带拼接方法

技术领域

本发明涉及视频卫星摄影成像技术领域，尤其涉及视频卫星影像的条带拼接方法。

背景技术

视频卫星的最主要特征是具备对特定区域进行凝视视频拍摄的能力。利用视频卫星能够对全球热点区域和目标进行持续监测，并获取一定时空范围内的实时动态信息，使得遥感对地观测技术及应用有了更加深入的发展。然而，为了进一步丰富视频卫星在广域观测方面的应用，一些新型的视频卫星逐渐诞生，除了具有凝视视频拍摄的功能，新型的视频卫星还具备面阵条带推扫功能。其拍摄的一轨条带影像的整体长度可达数百甚至上千公里长，使其在大范围观测方面具有广泛的应用前景。然而，条带模式拍摄的整轨条带影像是一些列相邻帧之间带有一定重合度的影像集，为便于实际应用，需要对整轨条带影像集进行拼接，生成一景长条带的影像，且要保证拼接后影像的拼接质量。

发明内容

本发明目的旨在提供视频卫星影像的条带拼接方法，提高影像的拼接质量。

为了实现本发明的目的，本发明采取了如下的技术方案：

一种视频卫星影像的条带拼接方法，包括以下步骤：

S1，在所有待拼接影像的相邻两帧影像中提取特征点进行匹配，获得所有相邻两帧影像的匹配特征点对集合；

S2，根据所有相邻两帧影像的匹配特征点对集合，获得所有相邻两帧影像的匹配特征点矩阵对；

S3，根据所有相邻两帧影像的匹配特征点矩阵对，获得所有相邻两帧影像的仿射模型矩阵；

S4，根据有理函数模型以及所有相邻两帧影像的仿射模型矩阵，获得所有相邻两帧影像的修正后的影像坐标与地面点坐标的转换关系；

S5，根据所有相邻两帧影像的修正后的影像坐标与地面点坐标的转换关系，获得所有相邻两帧影像的修正后的影像坐标对应关系；

S6，根据所有相邻两帧影像的修正后的影像坐标对应关系，对所有待拼接的影像进行重采样，得到拼接影像。

进一步地，所述步骤S2中，相邻两帧影像的匹配特征点矩阵对M_{(i，i+1)，1}与M_{(i，i+1)，2}为相邻两帧影像P_i与P_i+1匹配所得到的两个特征点矩阵，M_{(i，i+1)，1}由第i帧影像P_i中的特征点组成，M_{(i，i+1)，2}由第i+1帧影像P_i+1中的特征点组成；i与i+1分别为相邻两帧影像P_i与P_i+1的帧数，1≤i≤N-1，N为所有待拼接影像的总帧数，N为自然数，且N≥2，(x_{(i，i+1)，1，j}，y_{(i，i+1)，1，j})与(x_{(i，i+1)，2，j}，y_{(i，i+1)，2，j})分别为相邻两帧影像P_i与P_i+1的匹配特征点对集合D_i，i+1中第j对匹配特征点对的影像坐标，j为匹配特征点对集合D_i，i+1中匹配特征点对的索引，1≤j≤n_(i，i+1)，n_(i，i+1)为匹配特征点对集合D_i，i+1中匹配特征点对的总个数，n_(i，i+1)为自然数，且n_(i，i+1)≥2。

进一步地，所述步骤S3中，相邻两帧影像P_i与P_i+1的仿射模型矩阵根据公式M_{(i，i+1)，2}×F_i＝M_{(i，i+1)，1}以及相邻两帧影像P_i与P_i+1的匹配特征点矩阵对M_{(i，i+1)，1}，M_{(i，i+1)，2}，可得相邻两帧影像P_i与P_i+1的仿射模型矩阵F_i，其中，f_i，11为仿射模型矩阵F_i第1列第1行的元素，f_i，12为仿射模型矩阵F_i第1列第2行的元素，f_i，10为仿射模型矩阵F_i第1列第3行的元素，f_i，21为仿射模型矩阵F_i第2列第1行的元素，f_i，22为仿射模型矩阵F_i第2列第2行的元素，f_i，20为仿射模型矩阵F_i第2列第3行的元素。

进一步地，所述步骤S4中，相邻两帧影像P_i和P_i+1的影像坐标与地面点坐标的转换关系为：

其中，(x_i，y_i)与(P_i，L_i，H_i)分别为影像P_i的影像坐标与地面点坐标，(x_i+1，y_i+1)与(P_i+1，L_i+1，H_i+1)分别为影像P_i+1的影像坐标与地面点坐标。

进一步地，所述步骤S6包括以下步骤：

S61，建立一个空影像；

S62，通过所有相邻两帧影像的影像坐标对应关系，将所有待拼接的影像重采样到所述空影像中。

进一步地，所述步骤S3与所述步骤S4之间还包括步骤S31，仿射模型矩阵优化步骤。

进一步地，所述步骤S31包括以下步骤：

S311，根据相邻两帧影像中后一帧影像的匹配特征点的像素坐标以及仿射模型矩阵，计算得到前一帧影像对应的匹配特征点的像素坐标；

S312，计算提取得到的前一帧影像的匹配特征点与计算得到的前一帧影像的匹配特征点之间的像素坐标距离d，与判断阈值T进行比较，若d≤T，保留该匹配特征点对，若d＞T，去掉该特征点对，得到相邻两帧影像的新的匹配特征点对集合；

S313，根据相邻两帧影像的新的匹配特征点对集合，重新计算仿射模型矩阵。

进一步地，所述步骤S3根据公式M_{(i，i+1)，2}×F_i＝M_{(i，i+1)，1}以及相邻两帧影像P_i与P_i+1的匹配特征点矩阵对M_{(i，i+1)，1}，M_{(i，i+1)，2}解得相邻两帧影像P_i与P_i+1的仿射模型矩阵F_i，其中，M_{(i，i+1)，1}与M_{(i，i+1)，2}分别为相邻两帧影像P_i与P_i+1的匹配特征点矩阵，且M_{(i，i+1)，1}为第i帧影像P_i与第i+1帧影像P_i+1匹配的匹配特征点矩阵，M_{(i，i+1)，2}为第i+1帧影像P_i+1与第i帧影像P_i匹配的匹配特征点矩阵，

i与i+1分别为相邻两帧影像P_i与P_i+1的帧数，1≤i≤N-1，N为所有待拼接影像的总帧数，N为自然数，且N≥2，(x_{(i，i+1)，1，j}，y_{(i，i+1)，1，j})与(x_{(i，i+1)，2，j}，y_{(i，i+1)，2，j})分别为提取得到的相邻两帧影像P_i与P_i+1的匹配特征点对集合D_i，i+1中第j对匹配特征点对的影像坐标，1≤j≤n_(i，i+1)，n_(i，i+1)为匹配特征点对集合D_i，i+1中匹配特征点对的总个数，n_(i，i+1)为自然数，且n_(i，i+1)≥2，f_i，11为仿射模型矩阵F_i第1列第1行的元素，f_i，12为仿射模型矩阵F_i第1列第2行的元素，f_i，10为仿射模型矩阵F_i第1列第3行的元素，f_i，21为仿射模型矩阵F_i第2列第1行的元素，f_i，22为仿射模型矩阵F_i第2列第2行的元素，f_i，20为仿射模型矩阵F_i第2列第3行的元素；

所述步骤S311将第i+1帧影像P_i+1对应第i帧影像P_i的所有匹配特征点的像素坐标(x_{(i，i+1)，2，j}，y_{(i，i+1)，2，j})以及步骤S3解得的仿射模型矩阵F_i中的元素f_i，11、f_i，12、f_i，10、f_i，21、f_i，22、f_i，20带入公式解得对应的第i帧影像P_i中的匹配特征点的像素坐标(x＇_{(i，i+1)，1，j}，y′_{(i，i+1)，1，j})；

所述步骤S312根据公式步骤S311计算得到的第i帧影像P_i中的第j个匹配特征点的像素坐标(x′_{(i，i+1)，1，j}，y′_{(i，i+1)，1，j})以及步骤S1提取得到的第i帧影像P_i中的第j个匹配特征点的像素坐标(x_{(i，i+1)，1，j}，y_{(i，i+1)，1，j})，解得提取得到的第i帧影像P_i的第j个匹配特征点与计算得到的第i帧影像P_i的第j个匹配特征点之间的像素坐标距离d_{(i，i+1)，j}；

所述步骤S313将提取得到的第i帧影像P_i的所有匹配特征点与计算得到的相应匹配特征点之间的像素坐标距离与判断阈值T进行比较，若d_{(i，i+1)，j}≤T，保留相邻两帧影像P_i与P_i+1的第j对匹配特征点，若d_{(i，i+1)，j}＞T，去掉相邻两帧影像P_i与P_i+1的第j对匹配特征点，得到相邻两帧影像P_i与P_i+1的新的匹配特征点对集合。

进一步地，所述步骤S1之前还包括步骤S01，拍摄待拼接的影像。

进一步地，所述步骤S01还包括以下步骤：

S011，确定卫星在轨道上的拍摄初始位置以及拍摄结束位置；

S012，确定卫星拍摄的地面点初始位置以及地面点结束位置；

S013，确定卫星在轨道上的所有拍摄位置以及在所有拍摄位置的姿态。

进一步地，所述步骤S011包括以下步骤：

过卫星的实际拍摄目标点向卫星的星下点轨迹做垂线，得到卫星在轨道上的拍摄中心点的星下点；

根据卫星在轨道上的拍摄中心点的星下点，可得卫星在轨道上的拍摄中心点；

根据卫星在轨道上运行的速度以及拍摄的总时长，得到卫星在轨道上的拍摄长度；

根据卫星在轨道上的拍摄中心点以及在轨道上的拍摄长度，得到卫星在轨道上的拍摄初始位置以及拍摄结束位置。

进一步地，所述步骤S013包括以下步骤：

根据卫星在轨道上的拍摄初始位置以及卫星拍摄的地面点初始位置，得到卫星在拍摄初始位置的姿态；

根据卫星在轨道上的拍摄结束位置以及卫星拍摄的地面点结束位置，得到卫星在拍摄结束位置的姿态；

根据卫星拍摄的总时长以及拍摄频率，得到卫星在轨道上拍摄的影像帧数，即卫星需要进行姿态调整的次数；

根据卫星在拍摄初始位置的姿态、拍摄结束位置的姿态以及进行姿态调整的次数，得到卫星在轨道上的所有拍摄位置以及每一次拍摄时调整的角度。

本发明有益效果：

由以上技术方案可知，本发明通过有理函数模型以及仿射模型矩阵获得相邻两帧影像的修正后的影像坐标与地面点坐标的转换关系，进而获得相邻两帧影像的修正后的影像坐标对应关系，实现所有相邻两帧影像的拼接，提高了影像的拼接质量。进一步地，本发明通过对卫星进行姿态调整，提高了地面点坐标与影像坐标的对应精度。进一步地，本发明通过仿射模型矩阵优化步骤，获得更精准的仿射模型矩阵，进而获得更准确的影像坐标与地面点坐标的转换关系。

附图说明

为了更清楚地说明本发明实施例，下面对实施例中所需要使用的附图做简单的介绍。下面描述中的附图仅仅是本发明中的实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。

图1是本发明实施例的整体方法流程图；

图2是本发明实施例步骤S6的方法流程图；

图3是本发明实施例的另一整体方法流程图；

图4是本发明实施例步骤S31，仿射模型矩阵优化步骤的方法流程图；

图5是本发明实施例的另一整体方法流程图；

图6是本发明实施例步骤S01，拍摄待拼接的影像的方法流程图；

图7是本发明实时例步骤S011的方法流程图；

图8是本发明实时例步骤S013的方法流程图；

图9是本发明实施例的卫星拍摄过程示意图。

具体实施方式

下面结合附图，对本发明进行详细的说明。

为了使本发明的目的、技术方案、优点更加清楚明白，以下结合附图及实施例对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

实施例1

如图1所示，视频卫星影像的条带拼接方法包括以下步骤：

S1，在所有待拼接影像的相邻两帧影像中提取特征点进行匹配，获得所有相邻两帧影像的匹配特征点对集合；

S2，根据所有相邻两帧影像的匹配特征点对集合，获得所有相邻两帧影像的匹配特征点矩阵对；

S3，根据所有相邻两帧影像的匹配特征点矩阵对，获得所有相邻两帧影像的仿射模型矩阵；

S4，根据有理函数模型以及所有相邻两帧影像的仿射模型矩阵，获得所有相邻两帧影像的修正后的影像坐标与地面点坐标的转换关系；

S5，根据所有相邻两帧影像的修正后的影像坐标与地面点坐标的转换关系，获得所有相邻两帧影像的修正后的影像坐标对应关系；

S6，根据所有相邻两帧影像的修正后的影像坐标对应关系，对所有待拼接的影像进行重采样，得到拼接影像。

在本实施中，步骤S1根据SURF算法在相邻两帧影像P_i与P_i+1提取特征点，并对相邻两帧影像P_i与P_i+1的特征点进行匹配。其中，i与i+1分别为相邻两帧影像P_i与影像P_i+1的帧数，P_i与P_i+1分别为第i帧影像与第i+1帧影像，P_i为前一帧影像，P_i+1为后一帧影像，1≤i≤N-1，N为所有待拼接的影像的总帧数，N为自然数，且N≥2(以下同)。D_i，i+1为从相邻两帧影像P_i与P_i+1中提取的匹配特征点组成的匹配特征点对集合。匹配特征点对集合D_i，i+1中的元素为第i帧影像P_i与第i+1帧影像P_i+1中提取的匹配特征点组成的匹配特征点对。SURF(SpeededUp Robust Features，加速稳健特征)算法，是一种稳健的局部特征点检测和描述算法，也是一种基于特征的图像匹配方法。

步骤S1中，相邻两帧影像P_i与P_i+1的第j对特征点匹配是指第i帧影像P_i的第j个匹配特征点的影像坐标(x_{(i，i+1)，1，j}’y_{(i，i+1)，1，j})与第i+1帧影像P_i+1的第j个匹配特征点的影像坐标(x_{（i，i+1)，2，j}，y_{(i，i+1)，2，j})对应同一地面点坐标(P，L，H)_{(i，i+1)，j}，(x_{(i，i+1)，1，j}，y_{(i，i+1)，1，j})与(x_{(i，i+1)，2，j}，y_{(i，i+1)，2，j})分别为影像P_i与影像P_i+1的第j对匹配特征点的影像坐标，j为自然数，且，j为匹配特征点对集合D_i，i+1中匹配特征点对的索引，1≤j≤n_(i，i+1)，n_(i，i+1)为匹配特征点对集合D_i，i+1中匹配特征点对的个数，即从相邻两帧影像P_i与P_i+1中提取的匹配特征点的对数，n_(i，i+1)为自然数，且n_(i，i+1)≥2(以下同)，(P，L，H)_{(i，i+1)，j}为匹配特征点对集合D_i，i+1中第j对匹配特征点对，即相邻两帧影像P_i与P_i+1的第j对特征点对应的地面点坐标。

步骤S2中，相邻两帧影像P_i与P_i+1的匹配特征点对集合D_i，i+1中的n_(i，i+1)个匹配特征点对组成匹配特征点矩阵对M_{(i，i+1)，1}与M_{(i，i+1)，2}， M_{(i，i+1)，1}由第i帧影像P_i的匹配特征点组成，M_{(i，i+1)，1}由第i+1帧影像P_i+1的匹配特征点组成，且M_{(i，i+1)，1}为第i帧影像P_i与第i+1帧影像P_i+1匹配的匹配特征点矩阵，M_{(i，i+1)，2}为第i+1帧影像P_i+1与第i帧影像P_i匹配的匹配特征点矩阵。

步骤S3中，相邻两帧影像P_i与P_i+1的仿射模型矩阵f_i，11为仿射模型矩阵F_i第1列第1行的元素，f_i，12为仿射模型矩阵F_i第1列第2行的元素，f_i，10为仿射模型矩阵F_i第1列第3行的元素，f_i，21为仿射模型矩阵F_i第2列第1行的元素，f_i，22为仿射模型矩阵F_i第2列第2行的元素，f_i，20为仿射模型矩阵F_i第2列第3行的元素。

第i帧影像P_i的匹配特征点矩阵第i+1帧影像P_i+1的匹配特征点矩根据M_{(i，i+1)，2}×F_i＝M_{(i，i+1)，1}以及矩阵乘法可得方程组(1)如下：

根据方程组(1)，可以求得f_i，11、f_i，12、f_i，10、f_i，21、f_i，22以及f_i，20，进而可得第i帧影像P_i与第i+1帧影像P_i+1的仿射模型矩阵F_i。因为1≤i≤N-1，N为所有待拼接的影像的总帧数，根据方程组(1)即可求得待拼接影像的所有相邻两帧影像的仿射模型矩阵。

在本实施例中，采用最小二乘法求解方程组(1)的解，即求得f_i，11、f_i，12、f_i，10、f_i，21、f_i，22以及f_i，20。

例如，第一帧影像P₁与第二帧影像P_i对应的仿射模型矩阵f_1，11为仿射模型矩阵F₁第1列第1行的元素，_f1_，12为仿射模型矩阵F₁第1列第2行的元素，f_1，10为仿射模型矩阵F₁第1列第3行的元素，f_1，21为仿射模型矩阵F₁第2列第1行的元素，f_1，22为仿射模型矩阵F₁第2列第2行的元素，f_1，20为仿射模型矩阵F₁第2列第3行的元素。

第一帧影像P₁的匹配特征点矩阵第二帧影像P₂的匹配特征点矩阵根据M_(11，2)，2×F₁＝M_(1，2)，1以及矩阵乘法可得方程组(2)如下：

根据方程组(2)，可以求得f_1，11、f_1，12、f_1，10、f_1，21、f_1，22以及f_1，20，进而可得第一帧影像P₁与第二帧影像P₂的仿射矩阵仿射模型矩阵F₁。

步骤S4中，相邻两帧影像P_i与P_i+1的影像坐标与地面点坐标的转换关系如下：

其中，(x_i，y_i)与(P_i，L_i，H_i)分别为前一帧影像P_i的影像坐标与地面点坐标，(x_i+1，y_i+1)与(P_i+1，L_i+1，H_i+1)分别为后一帧影像P_i+1的影像坐标与化地面点坐标。在本实施例中，(x_i，y_i)与(P_i，L_i，H_i)分别为前一帧影像P_i的正则化影像坐标与正则化地面点坐标，(x_i+1，y_i+1)与(P_i+1，L_i+1，H_i+1)分别为后一帧影像P_i+1的正则化影像坐标与正则化地面点坐标。

正则化是指通过引入正则化因子的一项处理无限大、发散以及不合理表示式的方法。

在本实施例中，第i帧影像P_i与第i+1帧影像P_i+1的正则化影像坐标定义公式如下：

公式(7)中，正则化因子SAMPLE_OFF、SAMPLE_SCALE、LINE_OFF以及LINE_SCALE为有理函数模型文件中提供的影像坐标正则化参数，为已知参数。sample_i与line_i分别为第i帧影像P_i的影像列坐标与影像行坐标；sample_i+1与line_i+1分别为第i+1帧影像P_i+1的影像列坐标与影像行坐标。

在本实施例中，第i帧影像P_i的正则化地面点坐标(P_i，L_i，H_i)与第i+1帧影像P_i+1的正则化地面点坐标(P_i+1，L_i+1，H_i+1)的定义公式如下：

正则化因子LAT_OFF、LAT_SCALE、LONG_OFF、LONG_SCALE、HEIGHT_OFF以及HEIGHT_SCALE为有理函数模型文件中提供的地面点坐标正则化参数，为已知参数。latitude_i、longitude_i以及height_i分别为前一帧影像P_i的经度、纬度以及高程。latitude_i+1、longitude_i+1以及height_i+1分别为后一帧影像P_i+1的经度、纬度以及高程，(经度，纬度，高程)代表了地面点坐标。高程是指地面点沿铅垂线方向到大地基准面的距离，即绝对高程。

公式(3)和公式(4)为影像P_i的有理函数模型，公式(5)和公式(6)为通过仿射模型矩阵F_i中的元素f_i，11、f_i，12、f_i，10、f_i，21、f_i，22以及f_i，20修正后的影像P_i+1的有理函数模型。

其中，有理函数模型为：(x，y)为正则化影像坐标，(P，L，H)为正则化地面点坐标，Num_L(P，L，H)，Den_L(P，L，H)，Num_s(P，L，H)，Den_s(P，L，H)为三次多项式，且Num_L(P，L，H)，Den_L(P，L，H)，Num_s(P，L，H)，Den_S(P，L，H)的表达式如下：

公式(9)中的三次多项式的系数a₁，…，a₂₀，b₁，…，b₂₀，c₁，…，c₂₀，d₁，…，d₂₀为有理函数模型参数，为已知参数。b₁和d₁通常为1。

在本实施例中，Num_i，L(P_i，L_i，H_i)、Den_i，L(P_i，L_i，H_i)、Num_i，S(P_i，L_i，H_i)以及Den_i，S(P_i，L_i，H_i)的表达式如下：

公式(10)中三次多项式的系数a_i，1，…，a_i，20，b_i，1，…，b_i，20，c_i，1，…，c_i，20，d_i，1，…，d_i，20为影像P_i的有理函数模型参数，为已知参数。b_i，1和d_i，1通常为1。

在本实施例中，Num_i+1，L(P，L，H)、Den_i+1，L(P，L，H)、Num_i+1，S(P，L，H)以及Den_i+1，s(P，L，H)的表达式如下：

公式(11)中三次多项式的系数a_i+1，1，…，a_i+1，20，b_i+1，1，…，b_i+1，20，c_i+1，1，…，c_i+1，20，d_i+1，1，…，d_i+1，20为影像P_i+1的有理函数模型参数，为已知参数。b_i+1，1和d_i+1，1通常为1。

步骤S5根据公式(3)、(4)、(5)以及(6)获得修正后的第i帧影像P_i与第i+1帧影像P_i+1的影像坐标对应关系。

此时，通过前一帧影像P_i的影像坐标(x_i，y_i)获取后一帧影像P_i+1与前一帧影像P_i匹配的影像坐标(x_i+1，y_i+1)的具体方法如下：

将前一帧影像P_i的影像坐标(x_i，y_i)带入公式(3)和(4)，结合公式(10)，解得前一帧影像P_i的影像坐标(x_i，y_i)对应的地面点坐标(P_i，L_i，H_i)；

将前一帧影像P_i的地面点坐标(P_i，L_i，H_i)带入公式(5)和(6)，结合公式(11)，解得后一帧影像P_i+1与前一帧影像P_i匹配的影像坐标(x_i+1，y_i+1)。

通过后一帧影像P_i+1的影像坐标(x_i+1，y_i+1)获取前一帧影像P_i与后一帧影像P_i+1匹配的影像坐标(x_i，y_i)的具体方法如下：

将后一帧影像P_i+1的影像坐标(x_i+1，y_i+1)带入公式(5)和(6)，结合公式(11)，解得后一帧影像P_i+1的影像坐标(x_i+1，y_i+1)对应的地面点坐标(P_i+1，L_i+1，H_i+1)；

将后一帧影像P_i+1的地面点坐标(P_i+1，L_i+1，H_i+1)带入公式(3)和(4)，结合公式(10)，解得前一帧影像P_i与后一帧影像P_i+1匹配的影像坐标(x_i，y_i)。

如图2所示，步骤S6包括以下步骤：

S61，建立一个空影像；

S62，通过修正后的所有相邻两帧影像的影像坐标对应关系，将所有影像重采样到所述空影像中。

在本实施例中，通过选取一个基准帧，以该基准帧为像空间坐标基准，对所有待拼接的影像进行重采样。此时的基准帧可以为待拼接的N帧影像中的任意一帧影像。

在本实施例中，重采样影像时，对于相邻两帧影像的重合区域，只采样一次。

如图3所示，视频卫星影像的条带拼接方法的步骤S3与步骤S4之间还包括步骤S31，仿射模型矩阵优化步骤，目的是获得更精准的仿射模型矩阵，进而获得更准确的影像坐标与地面点坐标的转换关系。

如图4所示，步骤S31包括以下步骤：

S311，根据相邻两帧影像中后一帧影像的匹配特征点的像素坐标以及仿射模型矩阵，计算得到前一帧影像对应的匹配特征点的像素坐标；

S312，计算提取得到的前一帧影像的匹配特征点与计算得到的前一帧影像的匹配特征点之间的像素坐标距离d，与判断阈值T进行比较，若d≤T，保留该匹配特征点对，若d＞T，去掉该特征点对，得到相邻两帧影像的新的匹配特征点对集合；

S313，根据相邻两帧影像的新的匹配特征点对集合，重新计算仿射模型矩阵。

步骤S311将第i+1帧影像P_i+1与第i帧影像P_i匹配的所有匹配特征点的像素坐标(x_{(i，i+1)，2，j}，y_{(i，i+1)，2，j})，1≤j≤n_(i，i+1)，以及步骤S3解得的仿射模型矩阵F_i中的元素f_i，11、f_i，12、f_i，10、f_i，21、f_i，22、f_i，20带入公式(1)，解得第i帧影像P_i中对应的匹配特征点的像素坐标(x′_{(i，i+1)，1，j}，y′_{(i，i+1)，1，j})。

步骤S312将步骤S311计算得到的第i帧影像P_i的第j个匹配特征点的像素坐标(x′_{(i，i+1)，1，j}，y′_{(i，i+1)，1，j})以及步骤S1提取得到的第i帧影像P_i的第j个匹配特征点的像素坐标(x_{(i，i+1)，1，j}，y_{(i，i+1)，1，j})带入公式

可以解得提取得到的第i帧影像P_i的第j个匹配特征点与计算得到的第i帧影像P_i的第j个匹配特征点之间的像素坐标距离d_{(i，i+1)，j}，当j取1，2……n_(i，i+1)时，可以解得提取得到的第i帧影像P_i的所有匹配特征点与计算得到的相应匹配特征点之间的像素坐标距离

步骤S313将提取得到的第i帧影像P_i的所有匹配特征点与计算得到的相应匹配特征点之间的像素坐标距离与判断阈值T进行比较，若d_{(i，i+1)，j}≤T，保留相邻两帧影像P_i与P_i+1的第j对匹配特征点，若d_{(i，i+1)，j}＞T，去掉相邻两帧影像P_i与P_i+1的第j对匹配特征点，得到相邻两帧影像P_i与P_i+1的新的匹配特征点对集合。

如图5所示，视频卫星影像的条带拼接方法的步骤S1之前还包括步骤S01，拍摄待拼接的影像。如图6所示，步骤S01包括以下步骤：

S011，确定卫星在轨道上的拍摄初始位置以及拍摄结束位置；

S012，确定卫星拍摄的地面点初始位置以及地面点结束位置；

S013，确定卫星在轨道上的所有拍摄位置以及在所有拍摄位置的姿态。

如图7所示，步骤S011包括以下步骤：

过卫星的实际拍摄目标点向卫星的星下点轨迹做垂线，得到卫星在轨道上的拍摄中心点的星下点；

根据卫星在轨道上的拍摄中心点的星下点，可得卫星在轨道上的拍摄中心点；

根据卫星在轨道上运行的速度以及拍摄的总时长，得到卫星在轨道上的拍摄长度；

根据卫星在轨道上的拍摄中心点以及在轨道上的拍摄长度，得到卫星在轨道上的拍摄初始位置以及拍摄结束位置。

卫星在轨道上的拍摄初始位置以及拍摄结束位置，与拍摄中心点之间的路程为拍摄总时长的一半乘以卫星在轨道上运行的速度，由此可得卫星在轨道上的拍摄初始位置以及拍摄结束位置。

其中，星下点是指人造地球卫星在地面的投影点(或卫星和地心连线与地面的交点)，用地理经、纬度表示。星下点轨迹是指卫星运动和地球自转使星下点在地球表面移动形成的轨迹。卫星轨道上的点都有对应的星下点。

卫星的实际拍摄目标点在地球表面以下，为卫星预先设定好的，为已知点。卫星运行的轨道可以用轨道根数表示。轨道根数是指根据经典万有引力定律描述天体按圆锥曲线运动时所必需的六个参数。这六个参数包括：轨道半长轴、轨道偏心率、轨道倾角、升交点赤经、近地点幅角以及指定历元的平近点角。

步骤S012中，连接卫星在轨道上的拍摄初始位置与卫星的实际拍摄目标点，与地球表面的交点即为卫星拍摄的地面点初始位置；连接卫星在轨道上的的拍摄结束位置与卫星的实际拍摄目标点，与地球表面的交点即为卫星拍摄的地面点结束位置。

在本实施例中，卫星拍摄的地面点初始位置同时位于卫星在轨道上的拍摄初始位置与卫星的实际拍摄目标点连接的直线以及地球表面的球面上。结合在轨道上的拍摄初始位置与卫星的实际拍摄目标点连接的直线方程与地球表面的球面方程，可得卫星拍摄的地面点初始位置的地面点坐标；卫星拍摄的地面点结束位置同时位于卫星在轨道上的拍摄结束位置与卫星的实际拍摄目标点连接的直线以及地球表面的球面上。结合卫星在轨道上的拍摄结束位置与卫星的实际拍摄目标点连接的直线方程与地球表面的球面方程，可得卫星拍摄的地面点结束位置的地面点坐标

在本实施例中，地球表面满足的球面方程x²+y²+z²＝R²，(x，y，z)为地球表面点的坐标，R为地球表面半径。

如图8所示，步骤S013包括以下步骤：

根据卫星在轨道上的拍摄初始位置以及卫星拍摄的地面点初始位置，得到卫星在拍摄初始位置的姿态；

根据卫星在轨道上的拍摄结束位置以及卫星拍摄的地面点结束位置，得到卫星在拍摄结束位置的姿态；

根据卫星拍摄的总时长以及拍摄频率，得到卫星在轨道上拍摄的影像帧数，即卫星需要进行姿态调整的次数；

根据卫星在拍摄初始位置的姿态、拍摄结束位置的姿态以及进行姿态调整的次数，得到卫星在轨道上的所有拍摄位置以及每一次拍摄时调整的角度。

在本实施例中，卫星拍摄的总时长乘以拍摄频率，即为卫星在轨道上拍摄的影像帧数，也即卫星需要进行姿态调整的次数。在本实施例中，卫星姿态调整的方向与卫星运行的相反。例如，卫星按照顺时针方向运行，卫星在拍摄的过程中按照逆时针方向调整姿态。

实施例2

本实施例与实施例一的区别在于：采用循环的方法，获取所有相邻两帧影像的像素坐标的对应关系。具体步骤如下：

1，以相邻两帧影像P_i与P_i+1的匹配特征点矩阵M_{(i，i+1)，1}与M_{(i，i+1)，2}组成匹配特征点矩阵对M_{(i，i+1)，1}M_{(i，i+1)，2}，M_{(i，i+1)，1}为前一个匹配特征点矩阵，M_{(i，i+1)，2}为后一个匹配特征点矩阵，i为匹配特征点矩阵对M_{(i，i+1)，1}M_{(i，i+1)，2}的序号，1≤i≤N-1，N为所有待拼接的影像的总帧数，N为自然数，且N≥2(以下同)，以序号为1的匹配特征点矩阵对M_(1，2)1M_(1，2)，2为当前匹配特征点矩阵对，进入步骤2；

2，根据当前匹配特征点矩阵对，获取当前匹配特征点矩阵对对应的相邻两帧影像的仿射模型矩阵；

3，根据有理函数模型以及当前匹配特征点矩阵对对应的相邻两帧影像的仿射模型矩阵，获取当前匹配特征点矩阵对对应的相邻两帧影像的影像坐标与地面点坐标的转换关系；

4，根据当前匹配特征点矩阵对对应的相邻两帧影像的影像坐标与地面点坐标的转换关系，获得当前匹配特征点矩阵对对应的相邻两帧影像的影像坐标对应关系；

5，判断当前匹配特征点矩阵对的序号；若当前匹配特征点矩阵对的序号不为N-1，将序号等于当前匹配特征点矩阵对序号加1的匹配特征点矩阵对作为当前匹配特征点矩阵对，返回步骤2；若当前匹配特征点矩阵对的序号为N-1，根据所有相邻两帧影像的影像坐标对应关系，对所有待拼接的影像进行重采样，得到拼接影像。

以上所述仅是本发明的优选实施例，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (12)

1.一种视频卫星影像的条带拼接方法，其特征在于，包括以下步骤：

S1，在所有待拼接影像的相邻两帧影像中提取特征点进行匹配，获得所有相邻两帧影像的匹配特征点对集合；

S2，根据所有相邻两帧影像的匹配特征点对集合，获得所有相邻两帧影像的匹配特征点矩阵对；

S3，根据所有相邻两帧影像的匹配特征点矩阵对，获得所有相邻两帧影像的仿射模型矩阵；

S4，根据有理函数模型以及所有相邻两帧影像的仿射模型矩阵，获得所有相邻两帧影像的修正后的影像坐标与地面点坐标的转换关系；

S5，根据所有相邻两帧影像的修正后的影像坐标与地面点坐标的转换关系，获得所有相邻两帧影像的修正后的影像坐标对应关系；

S6，根据所有相邻两帧影像的修正后的影像坐标对应关系，对所有待拼接的影像进行重采样，得到拼接影像。

2.根据权利要求1所述的视频卫星影像的条带拼接方法，其特征在于：所述步骤S2中，相邻两帧影像的匹配特征点矩阵对 M_{(i，i+1)，1}与M_{(i，i+1)，2}为相邻两帧影像P_i与P_i+1匹配所得到的两个特征点矩阵，M_{(i，i+1)，1}由第i帧影像P_i中的特征点组成，M_{(i，i+1)，2}由第i+1帧影像P_i+1中的特征点组成；i与i+1分别为相邻两帧影像P_i与P_i+1的帧数，1≤i≤N-1，N为所有待拼接影像的总帧数，N为自然数，且N≥2，(x_(i，i+1)_，1，j，y_{(i，i+1)，1，j})与(x_{(i，i+1)，2，j}，y_{(i，i+1)，2，j})分别为相邻两帧影像P_i与P_i+1的匹配特征点对集合D_i，i+1中第j对匹配特征点对的影像坐标，j为匹配特征点对集合D_i，i+1中匹配特征点对的索引，1≤j≤n_(i，i+1)，n_(i，i+1)为匹配特征点对集合D_i，i+1中匹配特征点对的总个数，n_(i，i+1)为自然数，且n_(i，i+1)≥2。

3.根据权利要求2所述的视频卫星影像的条带拼接方法，其特征在于：所述步骤S3中，相邻两帧影像P_i与P_i+1的仿射模型矩阵根据公式M_{(i，i+1)，2}×F_i＝M_{(i，i+1)，1}以及相邻两帧影像P_i与P_i+1的匹配特征点矩阵对M_{(i，i+1)，1}，M_{(i，i+1)，2}，可得相邻两帧影像P_i与P_i+1的仿射模型矩阵F_i，其中，f_i，11为仿射模型矩阵F_i第1列第1行的元素，f_i，12为仿射模型矩阵F_i第1列第2行的元素，f_i，10为仿射模型矩阵F_i第1列第3行的元素，f_i，21为仿射模型矩阵F_i第2列第1行的元素，f_i，22为仿射模型矩阵F_i第2列第2行的元素，f_i，20为仿射模型矩阵F_i第2列第3行的元素。

4.根据权利要求3所述的视频卫星影像的条带拼接方法，其特征在于：所述步骤S4中，相邻两帧影像P_i和P_i+1的影像坐标与地面点坐标的转换关系为：

其中，(x_i，y_i)与(P_i，L_i，H_i)分别为影像P_i的影像坐标与地面点坐标，(x_i+1，y_i+1)与(P_i+1，L_i+1，H_i+1)分别为影像P_i+1的影像坐标与地面点坐标。

5.根据权利要求1所述的视频卫星影像的条带拼接方法，其特征在于，所述步骤S6包括以下步骤：

S61，建立一个空影像；

S62，通过所有相邻两帧影像的影像坐标对应关系，将所有待拼接的影像重采样到所述空影像中。

6.根据权利要求1-5任意一项所述的视频卫星影像的条带拼接方法，其特征在于，所述步骤S3与所述步骤S4之间还包括步骤S31，仿射模型矩阵优化步骤。

7.根据权利要求6所述的视频卫星影像的条带拼接方法，其特征在于，所述步骤S31包括以下步骤：

S311，根据相邻两帧影像中后一帧影像的匹配特征点的像素坐标以及仿射模型矩阵，计算得到前一帧影像对应的匹配特征点的像素坐标；

S312，计算提取得到的前一帧影像的匹配特征点与计算得到的前一帧影像的匹配特征点之间的像素坐标距离d，与判断阈值T进行比较，若d≤T，保留该匹配特征点对，若d＞T，去掉该特征点对，得到相邻两帧影像的新的匹配特征点对集合；

S313，根据相邻两帧影像的新的匹配特征点对集合，重新计算仿射模型矩阵。

8.根据权利要求7所述的视频卫星影像的条带拼接方法，其特征在于：所述步骤S3根据公式M_{(i，i+1)，2}×F_i＝M_{(i，i+1)，1}以及相邻两帧影像P_i与P_i+1的匹配特征点矩阵对M_{(i，i+1)，1}，M_{(i，i+1)，2}解得相邻两帧影像P_i与P_i+1的仿射模型矩阵F_i，其中，M_{(i，i+1)，1}与M_{(i，i+1)，2}分别为相邻两帧影像P_i与P_i+1的匹配特征点矩阵，且M_{(i，i+1)，1}为第i帧影像P_i与第i+1帧影像P_i+1匹配的匹配特征点矩阵，M_{(i，i+1)，2}为第i+1帧影像P_i+1与第i帧影像P_i匹配的匹配特征点矩阵，

i与i+1分别为相邻两帧影像P_i与P_i+1的帧数，1≤i≤N-1，N为所有待拼接影像的总帧数，N为自然数，且N≥2，(x_{(i，i+1)，1，j}，y_{(i，i+1)，1，j})与(x_{(i，i+1)，2，j}，y_{(i，i+1)，2，j)}分别为提取得到的相邻两帧影像P_i与P_i+1的匹配特征点对集合D_i，i+1中第j对匹配特征点对的影像坐标，1≤j≤n_(i，i+1)，n_(i，i+1)为匹配特征点对集合D_i，i+1中匹配特征点对的总个数，n_(i，i+1)为自然数，且n_(i，i+1)≥2，f_i，11为仿射模型矩阵F_i第1列第1行的元素，f_i，12为仿射模型矩阵F_i第1列第2行的元素，f_i，10为仿射模型矩阵F_i第1列第3行的元素，f_i，21为仿射模型矩阵F_i第2列第1行的元素，f_i，22为仿射模型矩阵F_i第2列第2行的元素，f_i，20为仿射模型矩阵F_i第2列第3行的元素；

所述步骤S311将第i+1帧影像P_i+1对应第i帧影像P_i的所有匹配特征点的像素坐标(x_{(i，i+1)，2，j}，y_{(i，i+1)，2，j})以及步骤S3解得的仿射模型矩阵F_i中的元素f_i，11、f_i，12、f_i，10、f_i，21、f_i，22、f_i，20带入公式解得对应的第i帧影像P_i中的匹配特征点的像素坐标(x′_{(i，i+1)，1，j}，y′_{(i，i+1)，1，j})；

所述步骤S312根据公式步骤S311计算得到的第i帧影像P_i中的第j个匹配特征点的像素坐标(x′_(i，i+1)_，1，j，y′_{(i，i+1)，1，j})以及步骤S1提取得到的第i帧影像P_i中的第j个匹配特征点的像素坐标(x_{(i，i+1)，1，j}，y_{(i，i+1)，1，j})，解得提取得到的第i帧影像P_i的第j个匹配特征点与计算得到的第i帧影像P_i的第j个匹配特征点之间的像素坐标距离d_{(i，i+1)，j}；

所述步骤S313将提取得到的第i帧影像P_i的所有匹配特征点与计算得到的相应匹配特征点之间的像素坐标距离与判断阈值T进行比较，若d_{(i，i+1)，j}≤T，保留相邻两帧影像P_i与P_i+1的第j对匹配特征点，若d_{(i，i+1)，j}＞T，去掉相邻两帧影像P_i与P_i+1的第j对匹配特征点，得到相邻两帧影像P_i与P_i+1的新的匹配特征点对集合。

9.根据权利要求1-5任意一项所述的视频卫星影像的条带拼接方法，其特征在于：所述步骤S1之前还包括步骤S01，拍摄待拼接的影像。

10.根据权利要求9所述的视频卫星影像的条带拼接方法，其特征在于：所述步骤S01还包括以下步骤：

S011，确定卫星在轨道上的拍摄初始位置以及拍摄结束位置；

S012，确定卫星拍摄的地面点初始位置以及地面点结束位置；

S013，确定卫星在轨道上的所有拍摄位置以及在所有拍摄位置的姿态。

11.根据权利要求10所述的视频卫星影像的条带拼接方法，其特征在于，所述步骤S011包括以下步骤：

过卫星的实际拍摄目标点向卫星的星下点轨迹做垂线，得到卫星在轨道上的拍摄中心点的星下点；

根据卫星在轨道上的拍摄中心点的星下点，可得卫星在轨道上的拍摄中心点；

根据卫星在轨道上运行的速度以及拍摄的总时长，得到卫星在轨道上的拍摄长度；

根据卫星在轨道上的拍摄中心点以及在轨道上的拍摄长度，得到卫星在轨道上的拍摄初始位置以及拍摄结束位置。

12.根据权利要求10所述的视频卫星影像的条带拼接方法，其特征在于，所述步骤S013包括以下步骤：

根据卫星在轨道上的拍摄初始位置以及卫星拍摄的地面点初始位置，得到卫星在拍摄初始位置的姿态；

根据卫星在轨道上的拍摄结束位置以及卫星拍摄的地面点结束位置，得到卫星在拍摄结束位置的姿态；

根据卫星拍摄的总时长以及拍摄频率，得到卫星在轨道上拍摄的影像帧数，即卫星需要进行姿态调整的次数；

根据卫星在拍摄初始位置的姿态、拍摄结束位置的姿态以及进行姿态调整的次数，得到卫星在轨道上的所有拍摄位置以及每一次拍摄时调整的角度。