CN102607534A - 基于运动恢复结构的卫星相对姿态测量方法 - Google Patents

Abstract

本发明公开了一种基于运动恢复结构的卫星相对姿态测量方法，包括以下步骤：步骤1，分别对输入的序列图像进行SIFT特征点提取；步骤2，根据得到的SIFT特征点进行匹配；步骤3，根据匹配特征点进行运动恢复结构；步骤4，根据运动恢复结构参数进行平差光束法优化；步骤5，根据匹配的特征点和经过优化的运动恢复结构参数进行三维重建；步骤6，根据有效的三维特征点和运动恢复结构参数进行空间环境综合显示。本发明经过标准的测试数据、STK在轨卫星仿真平台的卫星仿真数据和地面半物理仿真数据，本发明能有效地测量所观测卫星目标的相对姿态，采用的光束平差法能提高本发明构建系统的测量精度和计算的数值稳定性。

Description

基于运动恢复结构的卫星相对姿态测量方法

技术领域

本发明涉及一种空间目标姿态测量方法，具体是一种基于运动恢复结构的卫星相对姿态测量方法。

背景技术

空间平台具备以开普勒运动为典型特征的相对固定的运动轨迹特点，在天基背景下，利用同平台的单目相机进行空间卫星平台的连续观测具有观测范围、观测角度、观测距离和平台轨道的限制。空间平台的超近距相对姿态测量方法可以为卫星在进行普查太空垃圾、废旧卫星回收、卫星捕获等在轨维护任务过程中提供已方相对于受观测目标的相对姿态信息，以及在轨卫星维护过程的星体间的实时相对姿态，并进行综合显示。

经对现有技术的文献检索发现，在轨空间卫星平台中采用的相对测量均基于合作目标，即被测量卫星或是空间目标上具有已确定的固定位置和特定形状的标识物，或者是标志灯，或者特殊类型的反射器，这种空间操作的相对姿态测量方案多用于合作目标、GPS、相机和雷达组成而成。如美国NASA在2005年发射验证了DART(Demonstration of Autonomous Rendezvous Technology)、轨道快车、欧空局的ATV(Transfer Autonomous Vehicle)、日本工程试验卫星(ETS-7)等。这种基于合作目标相对姿态测量系统存在需要已知或是预先固定的标识物，并安装于被测量卫星上，以及需要复杂的双相机的立体成像系统等不足。

发明内容

本发明针对现有技术中存在的上述不足，提供了一种基于运动恢复结构的卫星相对姿态测量方法。

本发明是通过以下技术方案实现的。

一种基于运动恢复结构的卫星相对姿态测量方法，包括以下步骤：

步骤1，分别对输入的序列图像进行SIFT特征点提取；

步骤2，根据得到的SIFT特征点进行匹配；

步骤3，根据匹配特征点进行运动恢复结构；

步骤4，根据运动恢复结构参数进行平差光束法优化；

步骤5，根据匹配的特征点和经过优化的运动恢复结构参数进行三维重建；

步骤6，根据有效的三维特征点和运动恢复结构参数进行空间环境综合显示。

所述步骤2通过比较最邻近距离和次邻近距离消除错配，其计算过程为：

$\frac{U_{\min }}{U_l}<R,0<R\&le;1,$

其中，U_min为最邻近距离，U_l为次邻近距离。

所述步骤3运动恢复结构采用自标定技术，通过单个摄像机拍摄的图像序列恢复出摄像机运动参数和所观测目标的三维场景结构，其计算过程为：

(1)基于本质矩阵求解位移矢量：

E^Tt＝0；

(2)基于本质矩阵和位移矢量求解旋转矩阵：

$\begin{array}{c}E={\left[t\right]}_{\&times;}R\\ \&DownArrow;\\ {\mathrm{RE}}^T={\left[t\right]}_{\&times;}^T\\ \&DownArrow;\\ \left[\begin{array}{ccc}{t}_1& t_2& t_3\end{array}\right]=R\left[\begin{array}{ccc}{e}_1& e_2& e_3\end{array}\right]\end{array};$

其中，E为本质矩阵，T为位移矢量，R为旋转矩阵。

所述步骤4平差光束法优化中测量平差的数学模型包括函数模型和随机模型，其中：函数模型描述测量值和未知量之间的函数关系：随机模型描述各随机参量的精度估计和相关性。

所述步骤5为，在进行所观测空间目标的特征点匹配和经过优化运动恢复结构后，通过序列图像中的多对匹配点得到三维点的坐标，根据相机的小孔成像模型求出三维点的坐标；

附有条件的间接平差光束法通过将观测方程和条件方程的线性化，在使用平差光束法的过程中，测量值为特征点的图像坐标，它们之间是互不相关的，按照最小二乘原理求最小值，如下式所示：

$\underset{X_i,R_j,t_j}{\min }\underset{i,j}{\mathrm{\&Sigma;}}{\left|\right|x_i^j-p(X_i,R_j,t_j)\left|\right|}^2;$

设在解算第i(i＝0，1，...，m-1)个位置时，第j(j＝0，1，...，n-1)个空间点P_i在第t(t＝0，1，...，c-1)个相机成像的图像上的特征点p_t，i，j的坐标为(x_t，i，j，y_t，i，j)，则由小孔成像模型可得共线方程为：

$\left\{\begin{array}{c}{x}_{t,i,j}=F_{x,i,j}\frac{{\stackrel{\&OverBar;}{X}}_{t,i,j}}{{\stackrel{\&OverBar;}{Z}}_{t,i,j}}+C_{x,i,j}+{\mathrm{\&delta;}}_{x,i,j}\\ y_{t,i,j}=F_{y,i,j}\frac{{\stackrel{\&OverBar;}{Y}}_{t,i,j}}{{\stackrel{\&OverBar;}{Z}}_{t,i,j}}+C_{y,i,j}+{\mathrm{\&delta;}}_{y,i,j}\end{array}\right\};$

此方程就是平差光束法中的观测方程，其中，

$\left\{\begin{array}{c}{\stackrel{\&OverBar;}{X}}_{t,i,j}=r_{0,i,j}{X}_t+r_{1,i,j}{Y}_t+r_{2,i,j}{Z}_t+T_{X,i,j}\\ {\stackrel{\&OverBar;}{Y}}_{t,i,j}=r_{3,i,j}{X}_t+r_{4,i,j}{Y}_t+r_{5,i,j}{Z}_t+T_{Y,i,j}\\ {\stackrel{\&OverBar;}{Z}}_{t,i,j}=r_{6,i,j}{X}_t+r_{7,i,j}{Y}_t+r_{8,i,j}{Z}_t+T_{Z,i,j}\end{array}\right\};$

X_i、R_i、t_i分别为世界坐标中的3D点，对应的相机旋转矩阵以及相机位移矢量，并根据上述两式确定，经过一阶泰勒公式或是二阶泰勒公式进行展开由上式确定就可以平差的目标函数；

由以上方程求解出的三维点，通过小孔成像模型来估计外参数矩阵，进行重新映射到对应的图像中，就可以验证与测试求求解的三维点是否正确，并通过三维点邻域分割、匹配等操作把所有有效三维特征点用于生成所观测目标的三维表面点云数据。

所述步骤6经过平差光束法优化估计的运动恢复结构参数综合经过重新修正的三维特征点，进行空间环境的综合显示。

本发明对近距空间卫星目标的相对姿态进行测量。通过运动恢复结构技术，以近距空间卫星目标的图像序列为输入，通过提取每一帧图像中的SIFT特征，然后进行特征点匹配，最后通过运动恢复结构方法进行相对姿态的实时解算。基于序列图像的非合作目标表面三维重建。通过对运动恢复结构技术中得到的匹配的SIFT特征点重新映射到三维空间，并进行特征点重建误差估计与判断，最后自适应地恢复所观测的卫星目标的表面。基于所得到的目标表面三维点云数据、相对姿态等信息进行空间态势感知与综合显示系统的构建。基于所得到空间卫星目标表面点云数据和相对姿态等信息，可以对所得到的所有三维点云数据，及相对姿态进行综合显示，为地面的工作人员形成一个有效的在轨卫星的空间态势感知系统。

本发明的目的在于进行卫星间相对姿态测量系统的研发与改进，提供并实现了满足一定精确性和实时性要求的卫星目标相对位置与姿态的测量方法。本方法基于相机的小孔成像模型，通过提取所观测卫星的SIFT特征，并运用运动恢复结构技术进行相对姿态测量，同时进行所观测的卫星目标的表面恢复(三维点云数据)，然后使用改进的光束平差法进行相对姿态的测量数据的实时优化。最后基于所得到的相对姿态信息，以及目标卫星的三维表面数据，进行空间卫星交会场景的三维集成显示。

本发明利用计算机视觉技术，以及图像序列间的SIFT特征点的匹配度与相机自标定理论，使得单平台的空间机器人可以对目标的进行相对姿态的测量，提高测量精度，最终实现对空间卫星平台识别、跟踪和维护。本发明的三维重建能实现对所观测的废旧卫星目标的实时态势感知和显示，为地面的宇航工作人员提供多方面的技术支持。

此外，通过运动恢复结构和光束平差法，可以提高空间非合作目标测量的精度，便于后续的多个空间机器人编队进行相对姿态测量打下坚实的基础。

附图说明

图1为本发明流程图；

图2为本发明基于标准测量图像的相对位置与姿态测量结果；

图3为本发明基于标准测量图像的三维重建结果；

图4为本发明绝对误差示意图；

图5为本发明相对误差示意图；

图6为本发明基于STK仿真的空间环境仿真图像；

图7为本发明基于STK仿真图像的三维重建结果；

图8为本发明基于STK仿真图像的空间环境综合显示结果；

图9为本发明基于半物理空间环境仿真图像；

图10为本发明基于半物理空间环境仿真图像的综合显示结果；

图11为本发明基于半物理空间环境仿真图像的三维重建结果；

图12为本发明半物理仿真平台结构示意图；

图13为本发明运动恢复结构模型示意图。

具体实施方式

下面对本发明的实施例作详细说明：本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

如图1所示，本实施例提供的基于运动恢复结构的卫星相对姿态测量方法，经过标准测试序列图像、STK仿真数据和半物理仿真图像数据，共三个方面的数据进行实际测试，实施步骤如下：

步骤1，首先分别对输入的序列图像进行SIFT特征点提取。

SIFT(Scale Invariant Feature Transform)特征，对图像平移、旋转、缩放、甚至仿射变换保持不变性的图像局部特征，即SIFT特征。

步骤2，根据得到的SIFT特征点进行匹配。

为了排除因为图像遮挡和背景混乱而产生的无匹配关系的特征点，通过比较最邻近距离和次邻近距离来消除错配：

$\frac{U_{\min }}{U_l}<R,0<R\&le;1---\left(1\right)$

式(1)中：U_min为最邻近距离，U_l为次邻近距离。

步骤3，根据匹配特征点进行运动恢复结构。

运动恢复结构(structure from motion)的方法采用自标定技术，只需从单个摄像机拍摄的图像序列即可部分恢复出摄像机运动参数和所观测目标的三维场景结构。如图1所示，一个相机在刚体环境下移动，在相机上固定了一个坐标系，因而这个坐标系也随时间而运动。设t₀时刻的坐标系为C-xyz，t₁时刻为运动后的坐标系C′-x′y′z′，这时可以通过一个旋转矩阵R和一个平移矢量t就可以将t₁时刻的坐标重建于t₀时刻下的坐标系C-xyz。一个运动不能分解成唯一的旋转和平移；为了保证唯一性，规定旋转轴通过坐标原点，且平移在旋转之后。这样一个点在C-xyz下的坐标为M，那么在C′-x′y′z′坐标系下的坐标为M′＝RM+t。可以看到，由运动重建物体结构方法与立体视觉类似，不过在立体视觉中，已知两相机间的相对位置，而在SFM(structure from motion)中，所要求的未知参数就是用相对位置(R和t)描述的相机运动。一旦求解得相机运动的旋转R和平移t，就可以使用特征点匹配的方法进行相对姿态的恢复以及所观测目标的三维表面重建。

求解过程如下：

(1)基于本质矩阵求解位移矢量：

E^Tt＝0

(2)基于本质矩阵和位移矢量求解旋转矩阵：

$\begin{array}{c}E={\left[t\right]}_{\&times;}R\\ \&DownArrow;\\ {\mathrm{RE}}^T={\left[t\right]}_{\&times;}^T\\ \&DownArrow;\\ \left[\begin{array}{ccc}{t}_1& t_2& t_3\end{array}\right]=R\left[\begin{array}{ccc}{e}_1& e_2& e_3\end{array}\right]\end{array}$

其中，E为本质矩阵，T为位移矢量，R为旋转矩阵。

步骤4，根据运动恢复结构参数进行平差光束法优化。

平差光束法根据某种最优化准则，输入一系列带有测量误差的运动恢复结构参数，具有的主要包括相机的内参数、所观测卫星的相对姿态等，求出运动恢复结构参数的最佳估计值及精度的方法。平差是处理测量运动恢复结构参数的方法，本质上是利用运动恢复结构参数(测量数据、已知数据)间的一些基本约束关系，主要的依据是最小二乘原理，对测量结果和所关心的相机运动参数和空间卫星目标的三维表面结构参数进行优化和“组合”，以最小二乘的准则把“测量误差”除掉。

测量平差的数学模型包括函数模型和随机模型。函数模型给测量值和未知量之间的函数关系：随机模型描述各随机参量的精度估计和相关性。

步骤5，根据匹配的特征点和经过优化的运动恢复结构参数进行三维重建。

在进行所观测空间目标的特征点匹配和经过优化的运动恢复结构(Structurefrom motion)后，就可以通过序列图像中的多对匹配点得到三维点的坐标。根据相机的小孔成像模型可以求出三维点的坐标。

附有条件的间接平差光束法通过将观测方程和条件方程的线性化，在使用平差光束法的过程中，测量值为特征点的图像坐标，它们之间是互不相关的。按照最小二乘原理求最小值。如下式所示：

$\underset{X_i,R_j,t_j}{\min }\underset{i,j}{\mathrm{\&Sigma;}}{\left|\right|x_i^j-p(X_i,R_j,t_j)\left|\right|}^2$

设在解算第i(i＝0，1，...，m-1)个位置时，第j(j＝0，1，...，n-1)个空间点P_i在第t(t＝0，1，...，c-1)个相机成像的图像上的特征点p_t，i，j的坐标为(x_t，i，j，y_t，i，j)，则由小孔成像模型可得共线方程为：

$\left\{\begin{array}{c}{x}_{t,i,j}=F_{x,i,j}\frac{{\stackrel{\&OverBar;}{X}}_{t,i,j}}{{\stackrel{\&OverBar;}{Z}}_{t,i,j}}+C_{x,i,j}+{\mathrm{\&delta;}}_{x,i,j}\\ y_{t,i,j}=F_{y,i,j}\frac{{\stackrel{\&OverBar;}{Y}}_{t,i,j}}{{\stackrel{\&OverBar;}{Z}}_{t,i,j}}+C_{y,i,j}+{\mathrm{\&delta;}}_{y,i,j}\end{array}\right\}$

此方程就是平差光束法中的观测方程，其中，

$\left\{\begin{array}{c}{\stackrel{\&OverBar;}{X}}_{t,i,j}=r_{0,i,j}{X}_t+r_{1,i,j}{Y}_t+r_{2,i,j}{Z}_t+T_{X,i,j}\\ {\stackrel{\&OverBar;}{Y}}_{t,i,j}=r_{3,i,j}{X}_t+r_{4,i,j}{Y}_t+r_{5,i,j}{Z}_t+T_{Y,i,j}\\ {\stackrel{\&OverBar;}{Z}}_{t,i,j}=r_{6,i,j}{X}_t+r_{7,i,j}{Y}_t+r_{8,i,j}{Z}_t+T_{Z,i,j}\end{array}\right\}$

X_i、R_i、t_i分别为世界坐标中的3D点，对应的相机旋转矩阵以及相机位移矢量，并根据上述两个方程式确定，经过一阶泰勒公式或是二阶泰勒公式进行展开由上式确定就可以平差的目标函数。

由以上方程求解出的三维点，通过小孔成像模型来估计外参数矩阵，进行重新映射到对应的图像中，就可以验证与测试求求解的三维点是否正确，并通过三维点邻域分割、匹配等操作把所有有效三维特征点用于生成所观测目标的三维表面点云数据。

步骤6，根据有效的三维特征点和运动恢复结构参数进行空间环境综合显示。

经过光束平差优化估计的运动恢复结构参数综合经过重新修正的三维特征点，就可以进行空间环境的综合显示。

本实施例提供的基于运动恢复结构的卫星相对姿态测量方法，结合卫星的单目相机的序列图像，利用相机小孔成像模型、运动恢复结构和光束平差的理论和方法，对空间目标，如太空垃圾、废旧卫星、在轨飞行器、空间机器人及宇宙飞船等进行相对位置和姿态测量。本方法可以测量卫星的相对位置与姿态，即已方空间平台相对于目标物的相对位置和姿态，更重要的是本方法不需要所观测卫星表面上有固定的任何人工标识物，这与现在的合作目标的交会与对接有很大的不同，也是本实施例方法的独特之处。另外本方法通过发明人提出的基于全局与局部参数平差的自适应光束平差法，能够在各种复杂空间环境、不确定性的情况下，高精度测量双方卫星平台的相对姿态。同时本实施例的卫星表面重建以及相对位置与姿态的综合显示方法可以为后续的空间环境提供更逼真的空间态势感知与估计，可以大幅度提高在轨卫星的相对姿态测量的精度和鲁棒性，以及空间环境的实时感知能力，在卫星维修、太空垃圾清除、空间态势感知等领域中均可有广泛的应用。

Claims (6)

1.一种基于运动恢复结构的卫星相对姿态测量方法，其特征在于，包括以下步骤：

步骤1，分别对输入的序列图像进行SIFT特征点提取；

步骤2，根据得到的SIFT特征点进行匹配；

步骤3，根据匹配特征点进行运动恢复结构；

步骤4，根据运动恢复结构参数进行平差光束法优化；

步骤5，根据匹配的特征点和经过优化的运动恢复结构参数进行三维重建；

步骤6，根据有效的三维特征点和运动恢复结构参数进行空间环境综合显示。

2.根据权利要求1所述的基于运动恢复结构的卫星相对姿态测量方法，其特征在于，在所述步骤2中，通过比较最邻近距离和次邻近距离消除错配，其计算过程为：

$\frac{U_{\min }}{U_l}<R,0<R\&le;1,$

其中，U_min为最邻近距离，U_l为次邻近距离。

3.根据权利要求1所述的基于运动恢复结构的卫星相对姿态测量方法，其特征在于，在所述步骤3中，运动恢复结构采用自标定技术，通过单个摄像机拍摄的图像序列恢复出摄像机运动参数和所观测目标的三维场景结构，其计算过程为：

(1)基于本质矩阵求解位移矢量：

E^Tt＝0；

(2)基于本质矩阵和位移矢量求解旋转矩阵：

$\begin{array}{c}E={\left[t\right]}_{\&times;}R\\ \&DownArrow;\\ {\mathrm{RE}}^T={\left[t\right]}_{\&times;}^T\\ \&DownArrow;\\ \left[\begin{array}{ccc}{t}_1& t_2& t_3\end{array}\right]=R\left[\begin{array}{ccc}{e}_1& e_2& e_3\end{array}\right]\end{array};$

其中，E为本质矩阵，T为位移矢量，R为旋转矩阵。

4.根据权利要求1所述的基于运动恢复结构的卫星相对姿态测量方法，其特征在于，在所述步骤4中，平差光束法优化中测量平差的数学模型包括函数模型和随机模型，其中：函数模型描述测量值和未知量之间的函数关系：随机模型描述各随机参量的精度估计和相关性。

5.根据权利要求1所述的基于运动恢复结构的卫星相对姿态测量方法，其特征在于，在所述步骤5中，在进行所观测空间目标的特征点匹配和经过优化的运动恢复结构后，通过序列图像中的多对匹配点得到三维点的坐标，根据相机的小孔成像模型求出三维点的坐标；

附有条件的间接平差光束法通过将观测方程和条件方程的线性化，在使用平差光束法的过程中，测量值为特征点的图像坐标，它们之间是互不相关的，按照最小二乘原理求最小值，如下式所示：

$\underset{X_i,R_j,t_j}{\min }\underset{i,j}{\mathrm{\&Sigma;}}{\left|\right|x_i^j-p(X_i,R_j,t_j)\left|\right|}^2;$

设在解算第i(i＝0，1，...，m-1)个位置时，第j(j＝0，1，...，n-1)个空间点P_i在第t(t＝0，1，...，c-1)个相机成像的图像上的特征点p_t，i，j的坐标为(x_t，i，j，y_t，i，j)，则由小孔成像模型可得共线方程为：

$\left\{\begin{array}{c}{x}_{t,i,j}=F_{x,i,j}\frac{{\stackrel{\&OverBar;}{X}}_{t,i,j}}{{\stackrel{\&OverBar;}{Z}}_{t,i,j}}+C_{x,i,j}+{\mathrm{\&delta;}}_{x,i,j}\\ y_{t,i,j}=F_{y,i,j}\frac{{\stackrel{\&OverBar;}{Y}}_{t,i,j}}{{\stackrel{\&OverBar;}{Z}}_{t,i,j}}+C_{y,i,j}+{\mathrm{\&delta;}}_{y,i,j}\end{array}\right\};$

此方程就是平差光束法中的观测方程，其中，

$\left\{\begin{array}{c}{\stackrel{\&OverBar;}{X}}_{t,i,j}=r_{0,i,j}{X}_t+r_{1,i,j}{Y}_t+r_{2,i,j}{Z}_t+T_{X,i,j}\\ {\stackrel{\&OverBar;}{Y}}_{t,i,j}=r_{3,i,j}{X}_t+r_{4,i,j}{Y}_t+r_{5,i,j}{Z}_t+T_{Y,i,j}\\ {\stackrel{\&OverBar;}{Z}}_{t,i,j}=r_{6,i,j}{X}_t+r_{7,i,j}{Y}_t+r_{8,i,j}{Z}_t+T_{Z,i,j}\end{array}\right\};$

X_i、R_i、t_i分别为世界坐标中的3D点，对应的相机旋转矩阵以及相机位移矢量，并根据上述两个方程式确定，经过一阶泰勒公式或是二阶泰勒公式进行展开由上式确定就可以平差的目标函数；

由以上方程求解出的三维点，通过小孔成像模型来估计外参数矩阵，进行重新映射到对应的图像中，就可以验证与测试求求解的三维点是否正确，并通过三维点邻域分割、匹配等操作把所有有效三维特征点用于生成所观测目标的三维表面点云数据。

6.根据权利要求1所述的基于运动恢复结构的卫星相对姿态测量方法，其特征在于，在所述步骤6中，经过平差光束法优化估计的运动恢复结构参数综合经过重新修正的三维特征点，进行空间环境的综合显示。

Images