CN112508999B - 一种基于协作观测图像序列的空间目标运动状态辨识方法 - Google Patents

Abstract

本发明公开一种基于协作观测图像序列的空间目标运动状态辨识方法，通过多个视点对空间非合作目标进行协同观测获取图像序列组合，将图像序列组合按时序进行配准；然后，对同一时间帧不同视点获取的图像组，进行特征提取和匹配；随后，基于特征点匹配对，结合各视图间已知的相对位姿信息，恢复特征点的三维坐标信息；随后，对前后时间帧的图像对进行组合和特征匹配；最后，根据帧间特征点匹配对相应的空间坐标变换，解算目标的姿态变化矩阵和平移矩阵。以满足后续可能的目标运动学和动力学参数提取的需求。

Description

一种基于协作观测图像序列的空间目标运动状态辨识方法

技术领域

本发明属于空间非合作目标运动状态辨识技术领域，涉及一种基于多航天器协作观测图像序列的空间非合作目标运动参数辨识方法。

背景技术

对航天器间相对运动状态的估计在空间操作领域一直受到人们的高度和持续关注。尤其是近年来，随着空间碎片数量指数级增长，对空间碎片清理等针对空间非合作目标的空间操作需求也随之快速增加。其中，对空间非合作目标的运动学状态参数进行精确地估计，是对其实施空间操作的前提和必要条件，也越来越受到人们的关注。

基于视觉结合卡尔曼滤波或其扩展方法对空间目标进行状态估计，目前已有了许多相关的研究，并在地面或在轨实验中得到了验证和应用。随着对空间非合作目标状态辨识的需求增加，得益于视觉传感器的被动性质，采用基于视觉的目标状态估计方法越来越多的受到人们的关注。

目前已有的针对空间在轨目标观测的方法包括单目相机观测和多目相机立体观测，基于单目或多目相机对空间目标的识别技术，一般采用配置在单一跟踪航天器上的单目或多目相机，通过目标上已知标识点在图像上的映射关系，或者立体视觉构建得到的关于目标的三维点云信息，对目标的状态估计模型予以更新和校正，从而实现对空间目标的相对辨识。然而，一方面，由于观测航天器并非固定的，观测视点和待测量目标间存在着严重的耦合效应，因此无法测量解算出目标独立的轨道动力学或运动学参数。另一方面，当单一的航天器处于不良观测位置或姿态时，无法实现对非合作目标的有效观测。此外，单目相机无法获得空间目标的点云信息，对目标的姿态变量的解算也非常困难，因此无法适用于没有先验信息的完全非合作目标。而基于单一观测航天器配置的双目或多目相机，虽然可以快速准确地获得目标的点云信息，但受限于相机基线等因素，其有效观测距离有限，只能实现极近距离对较小目标的立体测量。

发明内容

针对现有技术存在的问题，本发明目的在于提供一种基于协作观测图像序列的空间目标运动状态辨识方法，对多航天器多视点协作观测目标获取的图像序列组合进行处理，实现对目标的姿态变化信息精准而高效的测量，以满足后续目标运动学和动力学参数提取的需求。

本发明解决其技术问题所采用的技术方案是：

一种基于协作观测图像序列的空间目标运动状态辨识方法，包括：

S1，采用位于不同视点的多个航天器分别对空间非合作目标进行协作观测，获得关于空间非合作目标的图像序列组合，对图像序列组合按时序进行配准，得到各时间帧不同视点所得图像组成的图像组；

S2，对同一时间帧不同视点所得图像组成的图像组，检测每个图像中的特征点，并在图像组间进行特征点匹配，得到特征点匹配对；

S3，基于S2获得的特征点匹配对，结合各航天器中相机间已知的相对位姿信息，计算得到特征点匹配对所对应目标点的三维坐标信息，实现对目标三维点云重建；

S4，对前后两个时间帧的图像对组合，基于S2获得的各时间帧的特征点匹配对，进行前后时间帧的特征点匹配，得到帧间特征点匹配对；

S5，基于前后两个时间帧的图像对中的帧间特征点匹配对相应的目标三维点云坐标变换，解算空间非合作目标的姿态变化矩阵和平移矩阵。

优选的，S1中，基于通信延时的考量和时间性校准，对图像序列组合按时序进行时间同步配准。

优选的，S2中，对同一时间帧不同视点所得图像组成的图像组，利用SIFT特征算子检测每个图像中的特征点，并在图像组间进行特征点匹配。

进一步的，S2中，假设一航天器通过相机A观测，另一航天器通过相机B观测；相机A获取的图像m中的第i个点^(m)p_i和相机B获取的图像n中的第j个点⁽ⁿ⁾p_j的匹配判定条件设定如下：

a)在图像n的所有特征点中，点⁽ⁿ⁾p_j的描述符和点^(m)p_i的描述符之间的距离最小；

b)该最小距离小于第二小的距离。

优选的，S3中，利用三角测量方法计算得到特征点匹配对所对应目标点的三维坐标信息。

进一步的，假设一航天器通过相机A观测，另一航天器通过相机B观测；对空间中一目标点P，其三维坐标的齐次形式为P＝[X,Y,Z,1]^T，在相机A获得的视图π_A中像素齐次坐标为p_A＝(x_A,y_A,1)^T，在相机B的视图π_B中像素齐次坐标为p_B＝(x_B,y_B,1)^T，以此类推，基于特征点匹配对p_A,p_B,…，可构建相应的方程组：

其中，M_A,M_B,…分别为相机A,B,…的外参矩阵，表示世界坐标系在各相机坐标系下的描述，有M＝[R|T]；

对该方程组求解，得到特征点匹配对所对应的目标点的三维坐标信息。

优选的，S4具体为：对前后两个时间帧的图像对组合，依次选择各个航天器的相机作为主相机，基于已检测到的特征点，使用近似最近邻算法进行特征点匹配；对于帧间特征点匹配对，其在前后两个时间帧所对应的目标点集合构成了帧间变化的三维点云，整合各个相机作为主相机获得的目标三维点云变化序列并去除重复的点，获得空间非合作目标的三维点云变化序列。

优选的，S5具体为：

目标三维点云在前后两个时间帧的变化描述为RT变换的形式，即

其中，和/>分别表示特征点匹配对i在t和t+Δt时刻对应的目标点坐标的齐次形式；RT矩阵中共计12个元素，/>待求解的未知量共计11个，当帧间特征点匹配点对数量达到4对时，构建得到一个超定方程组；利用加权最小二乘法，依据准则：

解得两个时间帧之间的姿态变化量和位置变化量/>

本发明相对于现有技术，具有如下效果：

本发明方法，通过多个观测航天器从不同视点位置对空间非合作目标进行协同观测，避免了单一观测视点和待测量目标间存在的耦合效应的影响，而且当单一观测航天器处于不良观测位置或姿态时，可以通过多个视点的协作观测，保障良好整体观测工况。相对于单目相机而言，通过对多视点获取的空间非合作目标的图像序列组合进行处理，可以十分方便的实现对目标的三维点云重建和姿态信息辨识。相对于双目或多目相机而言，协作观测航天器之间的空间距离远大于双目或多目相机基线，借助协作观测航天器易得的相对位置和姿态信息，可以大幅度的扩大了有效观测距离，提高在空间操作中的应用范围。

附图说明

图1本发明的简易计算流程框架图；

图2多航天器协作观测空间非合作目标简示图；

图3三角测量方法的基本原理简示图。

具体实施方式

下面结合附图和实施例对本发明作进一步说明。

首先请参阅该算法的简易计算流程框架图1：

(1)多航天器各自的相机从各个不同观测视点对空间非合作目标进行协作观测，简示图如图2所示，针对协作观测获取的关于空间非合作目标的图像序列组合，基于通信延时的考量和时间调整，按时序进行时间同步配准，得到各时间帧不同观测视点所得图像组成的图像组。

(2)对同一时间帧不同观测视点获取的图像组，选择尺度不变特征变换算子SIFT进行特征点提取和匹配，得到特征点匹配对集合。

在图像间的特征点匹配过程中，使用近似最近邻算法(ANN)进行主匹配。相机A获取的图像m中的第i个点^(m)p_i和相机B获取的图像n中的第j个点⁽ⁿ⁾p_j的匹配判定条件设定如下：

a)在图像n的所有特征点中，点⁽ⁿ⁾p_j的描述符和点^(m)p_i的描述符之间的距离最小，以128维的SIFT特征描述符和欧氏距离为例，点⁽ⁿ⁾p_j的描述符⁽ⁿ⁾L_j和点^(m)p_i的描述符^(m)L_i之间的欧氏距离为

假定在图像n中检测到了N⁽ⁿ⁾个特征点，点⁽ⁿ⁾p_j的描述符和点^(m)p_i的描述符之间的距离最小，即

d(^(m)L_i,⁽ⁿ⁾L_j)＝min{d(^(m)L_i,⁽ⁿ⁾L_k) |k＝1:N⁽ⁿ⁾}→d_1st (8)

b)该最小距离d_1st要一定程度的小于第二小的距离d_2nd，即要有：d_1st＜λd_2nd，其中0＜λ＜1。

考虑到协作相机间的相对位姿已知，可利用极线约束进一步地减小搜索区域，去除异常值：

该公式(9)含义为，给定图像m上的一个特征点，其在另一幅图像n上的匹配视图一定在对应的极线上。其中，^(m)p_i和⁽ⁿ⁾p_j分别为图像m和n的匹配点对的正则化坐标，F为相机A和相机B之间相应的基础矩阵。

(3)基于匹配成功的特征点匹配对集合，结合已知的各视点相机的位置和姿态信息，利用三角测量方法，计算得到特征点匹配对所对应目标点的三维坐标信息，实现对空间非合作目标的稀疏三维点云重建。该方法简示图如图3所示，可简要描述如下：

对空间中一点P，其三维坐标的齐次形式为P＝[X,Y,Z,1]^T，在相机A获得的视图π_A中像素齐次坐标为p_A＝(x_A,y_A,1)^T，在相机B的视图π_B中像素齐次坐标为p_B＝(x_B,y_B,1)^T，以此类推，基于特征点匹配对p_A,p_B,…，可构建相应的方程组：

其中，M_A,M_B,…分别为相机A,B,…的外参矩阵，表示世界坐标系在各相机坐标系下的描述，由世界坐标系和相机坐标系之间的相对旋转矩阵R和相对平移矩阵T构成，即有M＝[R|T]。

对该方程组求解，得到特征点匹配对所对应的目标点的空间坐标。

(4)对前后两个时间帧的图像对组合，依次选择各个相机作为主相机，基于已检测到的特征点，使用近似最近邻算法(ANN)进行特征点匹配。匹配判定条件与(2)中匹配判定条件一致。帧间特征点匹配对i相应的目标点构成了在前后两个时间帧变化的目标三维点云，整合各个相机作为主相机获得的目标三维点云变化序列并去除重复的点，获得空间非合作目标的整体三维点云变化序列。

(5)基于前后两个时间帧的图像对的帧间特征点匹配对相应的目标三维点云坐标变换，解算目标的姿态变化矩阵和平动矩阵。

目标三维点云在前后两个时间帧的变化可描述为RT变换的形式，即

其中和/>分别表示帧间特征点匹配对i在t和t+Δt时刻对应的目标点坐标的齐次形式。RT矩阵中共计12个元素，进一步地，考虑到/>约束，待求解的未知量共计11个。因此，当帧间特征点匹配对数量N_ρ≥4时，即可构建得到一个超定方程组。利用加权最小二乘法，依据准则

解得两个时间帧之间的姿态变化量和位置变化量/>

以上内容是对本发明所作的进一步详细说明，不能认定本发明的具体实施方式仅限于此，对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单的推演或替换，都应当视为属于本发明由所提交的权利要求书确定发明保护范围。

Claims (5)

1.一种基于协作观测图像序列的空间目标运动状态辨识方法，其特征在于，包括：

S1，采用位于不同视点的多个航天器分别对空间非合作目标进行协作观测，获得关于空间非合作目标的图像序列组合，对图像序列组合按时序进行配准，得到各时间帧不同视点所得图像组成的图像组；

S2，对同一时间帧不同视点所得图像组成的图像组，检测每个图像中的特征点，并在图像组间进行特征点匹配，得到特征点匹配对；

S3，基于S2获得的特征点匹配对，结合各航天器中相机间已知的相对位姿信息，计算得到特征点匹配对所对应目标点的三维坐标信息，实现对目标三维点云重建；

S4，对前后两个时间帧的图像对组合，基于S2获得的各时间帧的特征点匹配对，进行前后时间帧的特征点匹配，得到帧间特征点匹配对；

S5，基于前后两个时间帧的图像对中的帧间特征点匹配对相应的目标三维点云坐标变换，解算空间非合作目标的姿态变化矩阵和平移矩阵；

S3中，利用三角测量方法计算得到特征点匹配对所对应目标点的三维坐标信息，假设一航天器通过相机A观测，另一航天器通过相机B观测；对空间中一目标点P，其三维坐标的齐次形式为P＝[X,Y,Z,1]^T，在相机A获得的视图π_A中像素齐次坐标为p_A＝(x_A,y_A,1)^T，在相机B的视图π_B中像素齐次坐标为p_B＝(x_B,y_B,1)^T，以此类推，基于特征点匹配对p_A,p_B,…，可构建相应的方程组：

其中，M_A,M_B,…分别为相机A,B,…的外参矩阵，表示世界坐标系在各相机坐标系下的描述，有M＝[R|T]；

对该方程组求解，得到特征点匹配对所对应的目标点的三维坐标信息；

S4具体为：对前后两个时间帧的图像对组合，依次选择各个航天器的相机作为主相机，基于已检测到的特征点，使用近似最近邻算法进行特征点匹配；对于帧间特征点匹配对，其在前后两个时间帧所对应的目标点集合构成了帧间变化的三维点云，整合各个相机作为主相机获得的目标三维点云变化序列并去除重复的点，获得空间非合作目标的三维点云变化序列。

2.根据权利要求1所述的基于协作观测图像序列的空间目标运动状态辨识方法，其特征在于，S1中，基于通信延时的考量和时间性校准，对图像序列组合按时序进行时间同步配准。

3.根据权利要求1所述的基于协作观测图像序列的空间目标运动状态辨识方法，其特征在于，S2中，对同一时间帧不同视点所得图像组成的图像组，利用SIFT特征算子检测每个图像中的特征点，并在图像组间进行特征点匹配。

4.根据权利要求3所述的基于协作观测图像序列的空间目标运动状态辨识方法，其特征在于，S2中，假设一航天器通过相机A观测，另一航天器通过相机B观测；相机A获取的图像m中的第i个点^(m)p_i和相机B获取的图像n中的第j个点⁽ⁿ⁾p_j的匹配判定条件设定如下：

a)在图像n的所有特征点中，点⁽ⁿ⁾p_j的描述符和点^(m)p_i的描述符之间的距离最小；

b)该最小距离小于第二小的距离。

5.根据权利要求1所述的基于协作观测图像序列的空间目标运动状态辨识方法，其特征在于，S5具体为：

目标三维点云在前后两个时间帧的变化描述为RT变换的形式，即

其中，和/>分别表示特征点匹配对i在t和t+Δt时刻对应的目标点坐标的齐次形式；RT矩阵中共计12个元素，/>待求解的未知量共计11个，当帧间特征点匹配点对数量达到4对时，构建得到一个超定方程组；利用加权最小二乘法，依据准则：

解得两个时间帧之间的姿态变化量和位置变化量/>