CN111377065A - 一种多航天器协同识别目标姿态参数的方法 - Google Patents

Abstract

本发明公开了一种多航天器协同识别目标姿态参数的方法，包括以下步骤：采用多个航天器协同构成编队，多个航天器的相机同时观测目标运动，并对目标进行三维重构，基于两个相邻时间帧之间的特征点和点云信息，解算出空间目标的姿态参数，最后采用视觉信息融合滤波技术提取目标姿态参数和翻滚角速度的运动参数。本发明通过单一视点的双目或多目相机，对目标三维点云信息进行有效的观测，通过伴飞航天器频繁的进行姿态调整和轨道机动。实现对非合作目标的有效观测。

Description

一种多航天器协同识别目标姿态参数的方法

技术领域

本发明涉及航天器在轨操控领域，具体涉及一种多航天器协同识别目标姿态参数的方法。

背景技术

近年来，随着航天技术的发展，入轨航天器的数量越来越多，而由于航天器燃料耗尽、空间航天器碰撞、在轨航天器故障等原因，航天器碎片、故障卫星等空间非合作目标的数量呈指数级速度增长，这给空间在轨航天器安全带来了重大的隐患，因此清理这些空间非合作目标是保障空间航天器在轨安全的关键。空间非合作目标具有运动参数不确定性、形状多样、无固定抓捕点等特点，清理这些空间非合作目标需要对其进行参数辨识。

发明内容

本发明针对不具备任何先验信息的翻滚空间非合作目标参数辨识问题，提出一种多航天器协同识别目标姿态参数的方法。本发明通过单一视点的双目或多目相机，对目标三维点云信息进行有效的观测，通过伴飞航天器频繁的进行姿态调整和轨道机动。实现对非合作目标的有效观测。

为了实现上述目的，本发明提供了如下的技术方案。

一种多航天器协同识别目标姿态参数的方法，包括以下步骤：

采用多个航天器协同构成编队，多个航天器的相机同时观测目标运动，并对目标进行三维重构，基于两个相邻时间帧之间的特征点和点云信息，解算出空间目标的姿态参数，最后采用视觉信息融合滤波技术提取目标姿态参数和翻滚角速度的运动参数。

作为本发明的进一步改进，采用三个航天器协同构成编队，三个航天器的相机同时观测目标运动。

作为本发明的进一步改进，所述多个航天器协同构成编队的步骤具体包括：

针对空间非合作目标，划定可能的活动空间；采用多颗航天器组成编队对目标进行伴飞和协同观测；

在不依赖姿轨调整的前提下，解算各航天器姿轨运动状态，以及相应的可观测视场变化；

检索并判定各观测航天器的观测视场同目标可能活动空间的交集，当交集区域达到观测阈值时，则激活相应的航天器，对目标实施观测；

整合时序变化的观测相机序列和获取的目标图像信息，构建关于目标的图像序列数据。

作为本发明的进一步改进，针对协同观测获取的关于目标的图像序列数据，整个协同观测流程分为两个部分：

第一部分：各时间帧上基于多视点图像的目标三维重建；

第二部分：基于时间帧间三维重建的数据的姿态变量提取。

作为本发明的进一步改进，各时间帧上基于多视点图像的目标三维重建具体步骤为：

S1：对同一时间帧的图像组，检测每个图像中的特征点，并对其进行匹配；

S2：基于匹配的特征点，结合各视图已知的相对姿态信息，恢复特征点的深度信息和三维坐标信息；

S3：对前后两个时间帧的图像对组合，基于已检测到的特征点进行匹配；

S4：基于前后两个时间帧的图像对，可匹配的特征点对应的空间坐标变化结算目标的姿态变化矩阵。

作为本发明的进一步改进，选择SURF特征算子对图像进行特征点提取；除了特征点位置外，SURF检测器为每个特征点给予了一个64维的局部特征描述符，以用于图像间的特征匹配；在图像间的特征匹配过程中，使用近似最近邻算法进行主匹配；

基于匹配完毕的特征点对集合，结合已知的各视点相机的位置和姿态信息，利用三角测量方法，对目标相应的三维点云坐标信息实施重建。

作为本发明的进一步改进，基于时间帧间三维重建的数据的姿态变量提取的步骤为：

首先，对前后两个时间帧的图像集合，基于已知检测到的相应特征点；对两个时间帧的图像进行特征匹配；依次选择各个相机作为主相机，使用近似最近邻算法进行主匹配；

对于匹配成功的特征点对，其相应的空间点构成了在前后两个时间帧变化的空间点云，整合各个相机作为主相机获得的空间点云变化序列，并更新各相机的权重；

随后，引入邻近判定条件，并依据空间点的置信度去除置信度相对较低的空间点。

与现有技术相比，本发明具有以下有益效果：

本发明采用多个航天器协同构成编队，多个航天器的相机同时观测目标运动，并对目标进行三维重构，基于两个相邻时间帧之间的特征点和点云信息，解算出空间目标的姿态参数，最后采用视觉信息融合滤波技术提取目标姿态参数和翻滚角速度等运动参数。传统对目标观测通常采用单目视觉观测或者双目视觉观测方法单目相机观测目标仅能得到目标的一维度信息，双目视觉观测方法可以得到目标三维信息，然而由于双目视觉观测方法通常将相机固定在服务航天器上，两个相机之间的基线距离会造成观测视场角约束，本发明提出的多航天器协同观测方法可以根据目标大小和相对距离调整目标航天器观测的视场角度。

附图说明

在此描述的附图仅用于解释目的，而不意图以任何方式来限制本发明公开的范围。另外，图中的各部件的形状和比例尺寸等仅为示意性的，用于帮助对本发明的理解，并不是具体限定本发明各部件的形状和比例尺寸。本领域的技术人员在本发明的教导下，可以根据具体情况选择各种可能的形状和比例尺寸来实施本发明。在附图中：

图1为多航天器编队协同观测目标示意图；

图2为双视点相机观测姿态变量误差结果图；

图3为三视点协同观测姿态变量误差结果图。

具体实施方式

为了使本技术领域的人员更好地理解本发明中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。本文所使用的术语“和/或”包括一个或多个相关的所列项目的任意的和所有的组合。

空间故障航天器抓捕之前没有先验信息，而基于单目相机是无法获得目标的点云信息的，因此对目标的姿态变量的解算也非常困难。基于单一观测航天器配置的双目或多目相机，虽然可以获得目标的点云信息，但一方面，受限于相机基线等因素，其有效观测距离有限，另一方面，当单一的航天器出于不良观测位置或姿态时，无法实现对非合作目标的有效观测。因此要想通过单一视点的双目或多目相机，对目标三维点云信息进行有效的观测，需要伴飞航天器频繁的进行姿态调整和轨道机动。

基于上述考量，本发明提出了通过多个视点对空间非合作目标进行协同观测的观测方案。针对空间非合作目标(如图1所示)，划定可能的活动空间。采用多颗航天器组成编队对目标进行伴飞和协同观测，在不依赖姿轨调整的前提下，解算各航天器姿轨运动状态，以及相应的可观测视场变化。检索并判定各观测航天器的观测视场同目标可能活动空间的交集，当交集区域达到观测阈值时，则激活相应的航天器，对目标实施观测。整合时序变化的观测相机序列和获取的目标图像信息，构建关于目标的图像序列数据。如图1所示的多航天器编队协同观测目标示意图。

为进一步验证该编队构型协同观测目标的有效性，分别选择双视点和三视点对目标模型进行协同观测，基于从5°到20°变化的视线夹角和30m到100m的观测距离进行虚拟相机位姿和姿态设置。选用蒙特卡洛打靶方法，设定目标模型从100个不同的初始姿态出发，进行连续10次姿态变换，每次姿态变化量为Δθ＝[0.5°,0.5°,0.5°]^T。获取姿态变换前后各视点的图像，构成图像序列集。以此为基础进行姿态变量解算，并将解算得到的平均姿态变量

同设定的姿态变化量进行对比，计算绝对误差

统计蒙特卡洛打靶结果，其结果如图2和图3所示，分别为基于两个和三个相机视点在不同观测距离和相机视线夹角下的目标姿态变化量的观测误差。可以看到，当使用双视点相机对目标进行观测时，其解算的姿态变量相对于设定的姿态变量存在着较大的误差，仅当观测距离十分接近时，存在0.2°左右的绝对误差，而随着观测距离的拉远，其绝对误差普遍在0.2°以上，甚至存在着为数不少的超过1°的绝对误差波动。相比而言，使用三视点相机对目标进行协同观测的表现良好，其在距离较近时的解算误差要小于0.2°，而且大多情况下解算精度都能保持在0.2°左右，仅在距离较远时出现了少量的0.6°左右的误差结果。

这是由于，当使用双视点的相机进行观测时，其仅能实现对深度信息的解算，而一旦出现了匹配误差较大乃至误匹配的现象，会造成了深度信息解算错误，此时，由于缺乏源于第三方的校正能力，观测系统无法实现对误匹配的消除和修正，导致最终的观测结果会存在较大的错误。而通过三个视点的相机协同观测的方式，通过彼此间相互校正的方式最终可以获得更好的观测精度。

针对协同观测获取的关于目标的图像序列数据，整个协同观测流程可以分为两个部分，即各时间帧上基于多视点图像的目标三维重建和基于时间帧间三维重建结果的姿态变量提取。对空间非合作目标协同观测可以分为两个部分：

第一部分：各时间帧上基于多视点图像的目标三维重建；

第二部分：基于时间帧间三维重建的数据的姿态变量提取。

具体地，各时间帧上基于多视点图像的目标三维重建具体步骤为：

Step1：对同一时间帧的图像组，检测每个图像中的特征点，并对其进行匹配；

Step2：基于匹配的特征点，结合各视图已知的相对姿态信息，恢复特征点的深度信息和三维坐标信息。

Step3：对前后两个时间帧的图像对组合，基于已检测到的特征点进行匹配。

Step4：基于前后两个时间帧的图像对，可匹配的特征点对应的空间坐标变化结算目标的姿态变化矩阵。

具体而言，首先，选择尺度不变特征变换算子SIFT的改进形式SURF特征算子对图像进行特征点提取，该特征提取算子在保留了SIFT算子对图像变换的稳定性和不变性的优点的同时，提高了计算的速度。除了特征点位置外， SURF检测器还为每个特征点给予了一个64维的局部特征描述符，以用于图像间的特征匹配。在图像间的特征匹配过程中，使用近似最近邻算法(ANN) 进行主匹配。相机A获取的图像m中的第i个点^(m)p_i和相机B获取的图像n中的第j个点⁽ⁿ⁾p_j的匹配判定条件设定如下：

(1)在图像n的所有特征点中，点⁽ⁿ⁾p_j的描述符和点^(m)p_i的描述符之间的距离(如欧氏距离)最小；

(2)该最小距离要一定程度的小于第二小的距离，以欧式距离为例，要有： d_1st＜λd_2nd，其中0＜λ＜1。

考虑到协作相机间的相对位姿已知，可利用极线约束进一步地减小搜索区域，去除异常值：

该公式含义为，给定图像m上的一个特征点，其在另一幅图像n上的匹配视图一定在对应的极线上。其中，^(m)p_i和⁽ⁿ⁾p_j分别为图像m和n的匹配点对的正则化坐标，例：p＝[x_p,y_p,1]^T，其中x_p,y_p为点p的像素坐标；F为基础矩阵，有

其中K_A,K_B分别为相机A和B的内参矩阵，有

E为本质矩阵，有

其中R_AB,t_AB表示两相机坐标系间的相对位姿关系。

随后，基于匹配完毕的特征点对集合，结合已知的各视点相机的位置和姿态信息，利用三角测量方法，即可对目标相应的三维点云坐标信息实施重建。

其基本原理可简要描述如下：

对空间中一点ρ，其三维坐标的齐次形式为ρ＝[X,Y,Z,1]^T，在相机A获得的视图m中像素齐次坐标为^(m)p＝(^(m)x,^(m)y,1)^T，在相机B的视图n中像素齐次坐标为⁽ⁿ⁾p＝(⁽ⁿ⁾x,⁽ⁿ⁾y,1)^T，基于已匹配的特征点对^(m)p和⁽ⁿ⁾p，可构建相应的方程组：

其中，M_A,M_B分别为相机A和B的外参矩阵，表示世界坐标系在相机坐标系下的描述，有M＝[R|T]。

当存在N_cam个(N_cam＞2)视点获取的图像间匹配的特征点对时，该方程组可随着视点数目的增加而任意扩展，

该方程组显然为超定方程组，选择使用加权最小二乘法ρ进行求解，依据求取准则为

式中W_cam为各相机相应的正定加权系数，表征各个视点的相机的置信度权重。

解得匹配的特征点对所对应的目标点的空间坐标，即待求解的未知量，并记录

作为该空间点的置信度权重，考虑到可能存在的误匹配现象，引入偏差阈值ε_ρ，

以此为依据去除偏差过大的空间点。

第二步：基于时间帧间三维重建的数据的姿态变量提取的步骤为：首先，对前后两个时间帧的图像集合，基于已知检测到的相应特征点。对两个时间帧的图像进行特征匹配。依次选择各个相机作为主相机，使用近似最近邻算法 (ANN)进行主匹配。匹配判定条件设定为：

(1)满足主相机前后两个时间帧获取的图像间的特征点匹配判定条件；

(2)和主相机视图的特征点对应的辅助相机的不同时间帧图像上的特征点间同样要满足匹配判定条件。

对于匹配成功的特征点对i，其相应的空间点构成了在前后两个时间帧变化的空间点云，整合各个相机作为主相机获得的空间点云变化序列，并更新各相机的权重，

其中，N_ρ,cam为相机cam为主相机时获得的空间点总数，N_ρ,total为最终获得的空间点总数量，N_cam,total为参与观测的相机总数。

随后，考虑到空间点云中可能存在的重复和邻近现象，引入邻近判定条件

并依据空间点的置信度去除置信度相对较低的空间点，以避免出现病态现象。

空间点云在前后两个时间帧的变化可描述为RT变换的形式，即

其中

和

分别表示特征点对i在t和t+Δt时刻对应的空间坐标的齐次形式，有

RT矩阵中共计12个元素，进一步地，考虑到

约束，待求解的未知量共计11个。因此，当匹配点对数量达到4对时，即可构建得到一个超定方程组。利用加权最小二乘法，依据准则

解得两个时间帧之间的姿态变化量

和位置变化量

式中，W_ρi为特征点对i对应的空间坐标的置信度，有

进一步地，在匹配点对数量超过所需对数的前提下，考虑到特征匹配中可能存在的误匹配现象，可使用随机样本一致性(RANSAC)算法^[13]，排除离群匹配。

应该理解，以上描述是为了进行图示说明而不是为了进行限制。通过阅读上述描述，在所提供的示例之外的许多实施例和许多应用对本领域技术人员来说都将是显而易见的。因此，本教导的范围不应该参照上述描述来确定，而是应该参照前述权利要求以及这些权利要求所拥有的等价物的全部范围来确定。出于全面之目的，所有文章和参考包括发明申请和公告的公开都通过参考结合在本文中。在前述权利要求中省略这里公开的主题的任何方面并不是为了放弃该主体内容，也不应该认为申请人没有将该主题考虑为所公开的发明主题的一部分。

Claims (7)

1.一种多航天器协同识别目标姿态参数的方法，其特征在于，包括以下步骤：

采用多个航天器协同构成编队，多个航天器的相机同时观测目标运动，并对目标进行三维重构，基于两个相邻时间帧之间的特征点和点云信息，解算出空间目标的姿态参数，最后采用视觉信息融合滤波技术提取目标姿态参数和翻滚角速度的运动参数。

2.根据权利要求1所述的一种多航天器协同识别目标姿态参数的方法，其特征在于，采用三个航天器协同构成编队，三个航天器的相机同时观测目标运动。

3.根据权利要求1所述的一种多航天器协同识别目标姿态参数的方法，其特征在于，所述多个航天器协同构成编队的步骤具体包括：

针对空间非合作目标，划定可能的活动空间；采用多颗航天器组成编队对目标进行伴飞和协同观测；

在不依赖姿轨调整的前提下，解算各航天器姿轨运动状态，以及相应的可观测视场变化；

检索并判定各观测航天器的观测视场同目标可能活动空间的交集，当交集区域达到观测阈值时，则激活相应的航天器，对目标实施观测；

整合时序变化的观测相机序列和获取的目标图像信息，构建关于目标的图像序列数据。

4.根据权利要求3所述的一种多航天器协同识别目标姿态参数的方法，其特征在于，针对协同观测获取的关于目标的图像序列数据，整个协同观测流程分为两个部分：

第一部分：各时间帧上基于多视点图像的目标三维重建；

第二部分：基于时间帧间三维重建的数据的姿态变量提取。

5.根据权利要求4所述的一种多航天器协同识别目标姿态参数的方法，其特征在于，各时间帧上基于多视点图像的目标三维重建具体步骤为：

S1：对同一时间帧的图像组，检测每个图像中的特征点，并对其进行匹配；

S2：基于匹配的特征点，结合各视图已知的相对姿态信息，恢复特征点的深度信息和三维坐标信息；

S3：对前后两个时间帧的图像对组合，基于已检测到的特征点进行匹配；

S4：基于前后两个时间帧的图像对，可匹配的特征点对应的空间坐标变化结算目标的姿态变化矩阵。

6.根据权利要求5所述的一种多航天器协同识别目标姿态参数的方法，其特征在于，选择SURF特征算子对图像进行特征点提取；除了特征点位置外，SURF检测器为每个特征点给予了一个64维的局部特征描述符，以用于图像间的特征匹配；在图像间的特征匹配过程中，使用近似最近邻算法进行主匹配；

基于匹配完毕的特征点对集合，结合已知的各视点相机的位置和姿态信息，利用三角测量方法，对目标相应的三维点云坐标信息实施重建。

7.根据权利要求4所述的一种多航天器协同识别目标姿态参数的方法，其特征在于，基于时间帧间三维重建的数据的姿态变量提取的步骤为：

首先，对前后两个时间帧的图像集合，基于已知检测到的相应特征点；对两个时间帧的图像进行特征匹配；依次选择各个相机作为主相机，使用近似最近邻算法进行主匹配；

对于匹配成功的特征点对，其相应的空间点构成了在前后两个时间帧变化的空间点云，整合各个相机作为主相机获得的空间点云变化序列，并更新各相机的权重；

随后，引入邻近判定条件，并依据空间点的置信度去除置信度相对较低的空间点。

Images