CN113706619A - 一种基于空间映射学习的非合作目标姿态估计方法 - Google Patents

Abstract

本发明公开了一种基于空间映射学习的非合作目标姿态估计方法，步骤如下：通过Blender和Blensor建模非合作目标的仿真场景，模拟相机和激光雷达的联合成像，大量收集点云和图像融合数据；构建数据集，训练一个人工神经网络，仅从RGB图像预测物体的类别标签、实例掩膜、彩色标签；使用迭代最近点法对齐预测三维模型与点云，计算出物体的姿态。本发明通过Blender建模获得大量点云和图像信息，构建数据集训练人工神经网络，利用神经网络预测图像与坐标空间之间的映射，通过点云对齐技术实现对空间非合作目标的姿态估计。

Description

一种基于空间映射学习的非合作目标姿态估计方法

技术领域

本发明属于人工智能（智能导航制导与控制技术）领域，具体涉及一种基于空间映射学习的非合作目标姿态估计方法。

背景技术

在空间在轨服务任务中，合作目标的交会对接技术已经成熟，并在多个工程项目中得到了应用，比如：XSS-11、DART和Orbital Express等任务。相比之下，非合作目标由于没有合作标记，缺乏先验信息，其实现自主服务的难度更大，目前还依然处于理论研究阶段。各国航天局提出了多个研究计划，比如SUMO，DEOS等。为了实现自主交会任务，许多位姿测量系统被提出。轨道快车AVGS系统：该系统使用两个不同波长激光识别合作卫星上的标识点，该系统只能用于合作目标。TriDAR系统使用扫描式激光雷达感知目标卫星表面的点，然后将所获取的 3D点与一个3DCAD 模型进行迭代最近点配准（ICP）计算出相应的位置和姿态。该方法可以应用于合作目标以及非合作目标的位姿测量。ETS-VII视觉系统基于一个手眼相机使用圆形标识物进行位姿测量。对接闪光激光雷达系统工作方式与 TriDAR 系统相似，不同之处在于该系统使用激光雷达来扫描目标卫星的表面，该系统可用于对空间非合作目标的相对位姿测量。

在在轨服务中，一步很重要的工作是对提取的非合作目标的姿态。绝大部分目前已有的研究中都采用了三维重构的方法，利用三维重构的方法获得目标的三维模型，利用三维模型实现对目标的姿态估计，但是目前的三维重构算法需要序列图像，比较复杂。基于学习的方法可以实现从单张图像中重构目标的三维模型，但是目前没有开源的非合作目标点云和图像融合数据集。

发明内容

针对于上述现有技术的不足，本发明的目的在于提供一种基于空间映射学习的非合作目标姿态估计方法，通过Blender和Blensor建模非合作目标相机和激光雷达联合成像模型，获得大量点云和图像融合数据，构建数据集训练神经网络实现从单张图像重构非合作目标三维模型，通过点云对齐技术实现对空间非合作目标的姿态估计。

为达到上述目的，本发明采用的技术方案如下：

本发明为一种基于空间映射学习的待预测物体姿态估计方法，所述方法包括以下步骤：

S1，通过模拟相机和激光雷达对待预测物体进行联合成像，采集对齐的点云数据和RGB图像数据；

S2，建立数据集，训练基于区域的神经网络，根据RGB图像数据得到物体的类别标签、实例掩膜、彩色标签，利用实例掩膜结合测量点云获得局部特征的测量点云，利用彩色标签重构局部特征三维点云模型；

S3，将所述点云数据进行缩放，之后使用迭代最近点法将三维模型与点云数据进行对齐，获得待预测物体的姿态。

进一步的，所述S1中点云和图像数据获取过程如下：

S11，建立模拟待预测物体的三维模型，在其机体上的相应位置设置对应的材料，然后添加光源和相机，模拟空间待预测物体的成像环境；

S12，控制相机光轴指向坐标系原点，控制相机不动、待预测物体模型中心位置保持在坐标系原点，将所述三维模型绕三轴依次旋转并制作动画，并且所述三维模型每旋转相同角度拍摄一张照片，以获取待预测物体不同姿态的RGB图像；

S13，将所述待预测物体的动画以及成像场景复制到点云仿真软件中，将相机替换为激光雷达，重复所述S12的过程，以获得待预测物体不同姿态下的点云数据，即模拟了相机和激光雷达的联合成像；

S14，控制相机在光轴上移动，重复所述步骤S11至S13，即可获得不同距离的成像结果。

进一步的，所述S2具体包括：

S21，对所述S1中获取的待预测物体的RGB图像，构建局部特征的分割标签和类别标签；

S22，制作局部特征逐一像素渐变的彩色三维模型，并根据所述S1中获取的待预测物体RGB图像对应的姿态进行成像，以获得局部特征的彩色标签；

S23，所述S21以及S22中的RGB图像和标签随机选取80%作为训练集，剩下的作为测试集，利用训练集训练基于区域的神经网络，利用测试集测试网络的泛化性能和准确性；

S24，采集待预测物体的图像，输入到所述S23中训练的神经网络，预测所述待预测物体局部类特征的类别标签、实例掩膜、彩色标签；其中彩色标签用于标识待预测物体的外形和尺寸；

S25，根据局部特征实例掩膜结合所述S1中获得的点云数据，获得所述待预测物体局部特征三维点云数据P，根据所述彩色标签得到局部特征三维模型获得点云数据Q。

进一步的，所述S3具体包括：

S31，求取所述S24中获得的点云数据P和Q之间的缩放比；

S32，利用迭代最近点法对齐预测三维模型与点云，获得待预测物体的姿态。

本发明的有益效果：

1、本发明获取了大量的图像和点云数据，为图像和点云融合的神经网络的训练提供了基础，提高了神经网络对空间非合作目标姿态估计的精度；

2、本发明利用人工神经网络实现了从单张图像中重构非合作目标的三维模型。

附图说明

图1为本发明方法的流程图；

图2为Blender获得的图像数据；

图3为Blender获得的点云数据；

图4为神经网络输出的两组点云；

图5为点云缩放的结果；

图6为点云精对准结果。

具体实施方式

为了便于本领域技术人员的理解，下面结合实施例与附图对本发明作进一步的说明，实施方式提及的内容并非对本发明的限定。

参照图1所示，本发明为一种基于空间映射学习的待预测物体姿态估计方法，所述方法包括以下步骤：

S1，通过模拟相机和激光雷达对待预测物体进行联合成像，采集对齐的点云数据和RGB图像数据；

S2，建立数据集，训练基于区域的神经网络，根据RGB图像数据得到物体的类别标签、实例掩膜、彩色标签，利用实例掩膜结合测量点云获得局部特征的测量点云，利用彩色标签重构局部特征三维点云模型；

S3，将所述点云数据进行缩放，之后使用迭代最近点法将三维模型与点云数据进行对齐，获得待预测物体的姿态。

进一步的，所述步骤S1中点云和图像数据获取过程如下：

S11，建立模拟待预测物体的三维模型，在其机体上的相应位置设置对应的材料，然后添加光源和相机，模拟空间待预测物体的成像环境；

S12，控制相机光轴指向坐标系原点，控制相机不动、待预测物体模型中心位置保持在坐标系原点，将所述三维模型绕三轴依次旋转并制作动画，并且所述三维模型每旋转相同角度拍摄一张照片，以获取待预测物体不同姿态的RGB图像；

S13，将所述待预测物体的动画以及成像场景复制到点云仿真软件中，将相机替换为激光雷达，重复所述S12的过程，以获得待预测物体不同姿态下的点云数据，即模拟了相机和激光雷达的联合成像；

S14，控制相机在光轴上移动，重复所述步骤S11至S13，即可获得不同距离的成像结果。

进一步的，所述步骤S2具体包括：

S21，对所述S1中获取的待预测物体的RGB图像，构建局部特征的分割标签和类别标签；

S22，制作局部特征逐一像素渐变的彩色三维模型，并根据所述S1中获取的待预测物体RGB图像对应的姿态进行成像，以获得局部特征的彩色标签；

S23，所述S21以及S22中的RGB图像和标签随机选取80%作为训练集，剩下的作为测试集，利用训练集训练基于区域的神经网络，利用测试集测试网络的泛化性能和准确性；

S24，采集待预测物体的图像，输入到所述S23中训练的神经网络，预测所述待预测物体局部类特征的类别标签、实例掩膜、彩色标签；其中彩色标签用于标识待预测物体的外形和尺寸；

S25，根据局部特征实例掩膜结合所述S1中获得的点云数据，获得所述待预测物体局部特征三维点云数据P，根据所述彩色标签得到局部特征三维模型获得点云数据Q。

进一步的，所述步骤S3具体包括：

S31利用步骤S2中获得的P和Q，估计从Q到P变换的缩放变换S、旋转变换R、位移变换t，即可获得目标的尺寸和姿态。

首先假设

，

，p _i 和q _i 分别为点云P、Q中的第i个点，i= 1,2,3,…,n，现在需要找到一组变换S、R、t，使得：

先定义第i对点的误差项e _i ：

然后，构建最小二乘问题，求使误差平方和达到极小的R，t，S，

上式中既有R，t又有S，直接求解较为困难，下面推导求解方法。

首先，定义两组点的质心m和n：

两组点减去质心可得：

和

分别为各自的点减去对应的质心的值。

于是，误差项e _i 可以重新写成：

其中

是误差项e _i 中多余部分的组合：

误差的和就变成了：

展开可得：

如上式，第一项和第三项是非零的，第二项等于零，其中第一项与

无关，要求此项 最小可以令

等于零。

即：

两边同除以

可得：

由于旋转不会改变长度的大小：

误差和就成了：

可以写成下式：

上式如果想值更小，则平方项等于零，可以求出S

S32求出S后，便可通过迭代最近点法继续求取旋转变换R和平移变换t。

已知的点云Q和P通过缩放S后分别变为点云P¹和Q¹，假设

，

，其中，

和

分别为点云P¹、Q¹中的第i个点，i=1,2,3,…,n，。

问题为求解一个旋转变换R和平移变换t，使得：

首先，我们先定义第i对点的误差项

：

然后，构建最小二乘问题，求使误差平方和达到极小的R和t：

上式中既有R又有t，直接求解较为困难，下面推导求解方法。

首先，定义两组点的质心m¹和n¹：

随后，在误差函数中做如下的处理：

观察上式，可以发现交叉项中在求和之后为零，因此，优化的目标函数可以简化为：

仔细观察上式的左右两项，可以发现左边只与R有关，而右边既有R也有t，但只和质心相关。因此在获得了R之后，令右边项为零就能得到t。

和

是点

和

分别与点云质心m¹和n¹的差，设：

根据以上算法可知，求得旋转以后，平移量是很容易得到的，下面推导旋转量的计算方法。展开关于R的误差项得：

上式中，第一项和第二项都与R无关，因此实际上优化目标函数变为：

接下来，需要通过SVD解出上述问题中的最优的R。为了解R，先定义矩阵：

其中W是一个3×3的矩阵，对W进行SVD分解，得：

其中

为奇异值组成的对角矩阵，对角线元素从大到小排列，而U和V为对角矩阵。 当W满秩时，R为：

这样就获得了R，根据下式可以求出t。

以下通过具体实例说明算法的使用流程：

设定如下计算条件和技术参数：

（1）相机参数：焦距50mm，尺寸36mm×36mm；

（2）目标尺寸：长1.6m，宽1.2m，高1.4m；

采用Blender软件进行仿真验证，可以获得图2-图6的仿真结果。图2为Blender获得的图像数据；图3为Blensor获得的点云数据；图4神经网络输出的两组点云；图5为点云缩放的结果；图6点云精对准结果。从图2和图3中可以看出，利用Blender可以实现对图像数据和点云数据的获取。从图4、图5和图6中可以看出利用点云对齐技术，可以实现对两组点云之间缩放、旋转和平移的求解。

本发明具体应用途径很多，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以作出若干改进，这些改进也应视为本发明的保护范围。

Claims (4)

1.一种基于空间映射学习的待预测物体姿态估计方法，其特征在于，所述方法包括以下步骤：

S1，通过模拟相机和激光雷达对待预测物体进行联合成像，采集对齐的点云数据和RGB图像数据；

S2，建立数据集，训练基于区域的神经网络，根据RGB图像数据得到物体的类别标签、实例掩膜、彩色标签，利用实例掩膜结合测量点云获得局部特征的测量点云，利用彩色标签重构局部特征三维点云模型；

S3，将所述点云数据进行缩放，之后使用迭代最近点法将三维模型与点云数据进行对齐，获得待预测物体的姿态。

2.根据权利要求1所述的一种基于空间映射学习的待预测物体姿态估计方法，其特征在于，所述S1中点云和图像数据获取过程如下：

S11，建立模拟待预测物体的三维模型，在其机体上的相应位置设置对应的材料，然后添加光源和相机，模拟空间待预测物体的成像环境；

S12，控制相机光轴指向坐标系原点，控制相机不动、待预测物体模型中心位置保持在坐标系原点，将所述三维模型绕三轴依次旋转并制作动画，并且所述三维模型每旋转相同角度拍摄一张照片，以获取待预测物体不同姿态的RGB图像；

S13，将所述待预测物体的动画以及成像场景复制到点云仿真软件中，将相机替换为激光雷达，重复所述S12的过程，以获得待预测物体不同姿态下的点云数据，即模拟了相机和激光雷达的联合成像；

S14，控制相机在光轴上移动，重复所述步骤S11至S13，即可获得不同距离的成像结果。

3.根据权利要求2所述的一种基于空间映射学习的待预测物体姿态估计方法，其特征在于，所述S2具体包括：

S21，对所述S1中获取的待预测物体的RGB图像，构建局部特征的分割标签和类别标签；

S22，制作局部特征逐一像素渐变的彩色三维模型，并根据所述S1中获取的待预测物体RGB图像对应的姿态进行成像，以获得局部特征的彩色标签；

S23，所述S21以及S22中的RGB图像和标签随机选取80%作为训练集，剩下的作为测试集，利用训练集训练基于区域的神经网络，利用测试集测试网络的泛化性能和准确性；

S24，采集待预测物体的图像，输入到所述S23中训练的神经网络，预测所述待预测物体局部类特征的类别标签、实例掩膜、彩色标签；其中彩色标签用于标识待预测物体的外形和尺寸；

S25，根据局部特征实例掩膜结合所述S1中获得的点云数据，获得所述待预测物体局部特征三维点云数据P，根据所述彩色标签得到局部特征三维模型获得点云数据Q。

4.根据权利要求3所述的一种基于空间映射学习的待预测物体姿态估计方法，其特征在于，所述S3具体包括：

S31，求取所述S24中获得的点云数据P和Q之间的缩放比；

S32，利用迭代最近点法对齐预测三维模型与点云，获得待预测物体的姿态。

Images