CN114266824A - 一种基于深度学习的非合作目标相对位姿测量方法、系统 - Google Patents

Abstract

本发明公开了一种基于深度学习的非合作目标相对位姿测量方法、系统，通过仿真目标卫星图片及其对应的相对位姿信息构建数据集，其中仿真卫星图片包括覆盖全范围姿态的远距离目标卫星图片和模拟接近过程的近距离目标卫星图片；利用检测算法对图片进行卫星检测并裁剪缩放，得到检测图像，将仿真卫星图片输入到ResNet50残差网络中进行学习训练得到相对位置测量模型，将检测图像输入到ResNet50残差网络中进行学习训练得到相对姿态测量模型，其中相对姿态测量模型包括远距离测量模型和接近段测量模型；训练过程中的模型，通过预测结果与相对位姿标注信息的损失函数进行优化，由此获得的测量模型可以更高精度的对航天器进行相对位姿测量。

Description

一种基于深度学习的非合作目标相对位姿测量方法、系统

技术领域

本发明涉及航天技术领域，具体涉及一种基于深度学习的非合作目标相对位姿测量方法、系统。

背景技术

对空间合作目标、非合作目标的操控任务通常为以下空间活动：航天器间的交会对接、非己方卫星的近距离监视与检查、航天器模块的更换与燃料注入、失效航天器在轨捕获、太空垃圾的清除等。以上任务通常涉及主动和被动两个航天器，主动航天器称为追踪航天器，被动航天器称为目标航天器。空间操控任务成功的前提是获取目标航天器相对于追踪航天器的位置和姿态，即相对位姿信息，信息一般通过追踪航天器上的测量设备获得。获取目标航天器的相对位姿信息是整个测量的核心问题。

测量手段一般包括：GPS系统测量、激光雷达测量、微波雷达测量、视觉测量等。其中，视觉测量在成本、精度、体积、功耗等方面都具有优势，相对位姿可以通过算法较为方便的解算，是航天器间相对导航的首选。之前的视觉测量方法大多基于传统图像算法，基于深度学习的非合作目标相对位姿测量算法目前研究较少。

基于深度学习的计算机视觉技术在地面环境的位姿测量作为目前的研究热点以及未来的发展趋势，将其在太空环境中进行应用研究具有非常重要的研究价值。

现有的技术方案通常采用回归或分类的方法对相对位姿进行预测，如2020年发表的《Neural network-based pose estimation for noncooperative spacecraftrendezvous》设计了基于五个全连接层和三个分支的网络结构，第一个分支实现检测功能，原图片与检测后裁剪缩放的目标卫星图片分别通过其他两个分支的三个全连接层和设计的算法输出相对位姿；2020年发表的《In Deep learning for spacecraft poseestimation from photorealistic rendering》基于ResNet基线结构，设计两个分支，一个输出预测的位置，另一个预测姿态的分布概率拟合出相对姿态。以上算法虽然实现了相对位姿测量功能，但在工程应用环境考虑还有所欠缺，如目前太空环境可以采集RGB图像、接近段卫星主惯性轴平行等，没有充分利用工程条件与图片信息，精度不够高，而应用图片信息也会带来一系列的技术问题，距离实际应用还有待进一步研究。

发明内容

有鉴于此，本发明提供了一种基于深度学习的非合作目标相对位姿测量方法、系统，能够高稳定度、高精度地实现目标卫星相对位置和相对姿态的测量。

本发明的具体技术方案如下：

一种基于深度学习的非合作目标相对位姿测量方法，包括：

步骤一、构建包括仿真卫星图片和相对位姿标注信息的数据集；

所述仿真卫星图片包括覆盖全范围姿态的远距离目标卫星图片和模拟接近过程的近距离目标卫星图片；

步骤二、对所述仿真卫星图片进行卫星检测，得到检测框，对所述检测框内的图像信息进行裁剪缩放，得到检测图像；

步骤三、利用所述仿真卫星图片进行模型训练，得到相对位置测量模型；利用所述检测图像进行模型训练，得到相对姿态测量模型；所述相对姿态测量模型包括远距离测量模型和接近段测量模型；

步骤四、将目标卫星图片输入至所述相对位置测量模型和所述相对姿态测量模型，即可获得目标卫星的相对位置信息和相对姿态信息。

进一步地，步骤二中，所述对仿真卫星图片进行卫星检测得到检测框为：采用像素检测方法对目标卫星进行检测，分别从所述仿真卫星图片的左上角点和右下角点开始向中心遍历，所述左上角点和所述右下角点均进行两次遍历，最外循环分别为像素坐标u轴和v轴，若像素值不为零，则停止循环，左上角确定像素坐标(u₁，v₁)、(u₂，v₂)，左下角确定像素坐标(u₃，v₃)、(u₄，v₄)，得到检测框左上角像素坐标为(u₂，v₁)、检测框右下角像素坐标为(u₄，v₃)，进而得到检测框。

进一步地，步骤三中，所述相对位置测量模型的训练过程为：将仿真卫星图片输入到ResNet50残差网络中，ResNet50输出2048×10×10特征图经全局平均池化层得到2048×1×1特征图，2048×1×1特征图经全连接层和Tanh()激活函数处理后，得到标量距离。

进一步地，步骤三中，所述远距离测量模型的训练过程为：将由所述仿真卫星图片中的远距离目标卫星图片获得的检测图像输入到ResNet50中，ResNet50输出2048×10×10特征图经全局平均池化层得到2048×1×1特征图，2048×1×1特征图经分类层和权重四元数拟合处理后，得到表示远距离的相对姿态的拟合四元数；

所述接近段测量模型的训练过程为：将由所述仿真卫星图片中的近距离目标卫星图片获得的检测图像输入到ResNet50中，ResNet50输出2048×10×10特征图经全局平均池化层得到2048×1×1特征图，2048×1×1特征图依次经全连接层、Tanh()激活函数和单位化层处理后，得到表示近距离的相对姿态的回归四元数。

进一步地，采用损失函数对所述相对位置测量模型和所述相对姿态测量模型的训练过程进行优化；

所述相对位置测量模型的损失函数由相对位置的绝对损失和相对损失加权获得，用公式表示为：

L_Z＝λ₁L_Z1+λ₂L_Z2

其中，L_Z表示相对位置测量模型的损失函数，L_Z1表示某一仿真卫星图片由相对位置测量模型预测得到的相对位置与该仿真卫星图片在相对位姿标注信息中标注的相对位置信息的方差损失即绝对损失；L_Z2表示某一仿真卫星图片由相对位置测量模型预测得到的相对位置与该仿真卫星图片在相对位姿标注信息中标注的相对位置信息的差与标注的相对位置信息的比值即相对损失；λ₁和λ₂为训练设置的超参数，λ₁＝10、λ₂＝20；

所述相对姿态测量模型的损失函数包括远距离测量模型的损失函数和接近段测量模型的损失函数；

所述远距离测量模型的损失函数由远距离测量模型预测的权重分布与实际权重分布经过KL散度计算得到，用公式表示为：

其中，L_q表示远距离测量模型的损失函数，

表示期望计算，i＝1,2…H表示四元数类别数，p(i)表示预测的第i类的权重，q_gt(i)表示仿真卫星图片的第i类权重的真实值信息；λ₃＝50，为训练设置的超参数；

所述接近段测量模型的损失函数接近段相对姿态的方差损失和转置损失加权获得，用公式表示为：

L_O＝λ₄L_O1+λ₅L_O2

其中，L_O表示接近段测量模型的损失函数，L_O1表示某一检测图像由接近段测量模型预测得到的相对姿态与该检测图像在相对位姿标注信息中标注的相对姿态信息的原始四元数的方差损失；L_O2表示某一检测图像由接近段测量模型预测得到的相对姿态与该检测图像在相对位姿标注信息中标注的相对姿态信息的原始四元数的转置损失；λ₄和λ₅为训练设置的超参数，λ₄＝50、λ₅＝50。

进一步地，所述远距离测量模型的四元数类别数H通过将某一轴的姿态角均分为M类确定，H＝M³；

所述拟合四元数的计算方式为：利用加权最小二乘法对所述远距离测量模型预测得到的权重分布{w₁,...,w_H}和对应的H类四元数Q＝{q₁,…,q_H}求最小值，得到所述拟合四元数。

一种基于深度学习的非合作目标相对位姿测量系统，包括数据模块、检测模块、训练模块；

所述数据模块包括仿真卫星图片单元和相对位姿信息标注单元；所述仿真卫星图片单元包括远距离目标卫星图片子单元和近距离目标卫星图片子单元；

所述检测模块用于对所述仿真卫星图片单元的仿真卫星图片进行卫星检测，得到检测框；并对所述检测框内的图像信息进行裁剪缩放，得到检测图像；

所述训练模块采用ResNet50残差网络作为骨干网络，用于对所述仿真卫星图片进行训练，得到相对位置测量模型；以及对所述检测图像进行训练，得到相对姿态测量模型；所述相对姿态测量模型包括远距离测量模型和接近段测量模型。

进一步地，所述检测模块通过像素检测方法对目标卫星进行检测：分别从所述仿真卫星图片的左上角点和右下角点开始向中心遍历，所述左上角点和所述右下角点均进行两次遍历，最外循环分别为像素坐标u轴和v轴，若像素值不为零，则停止循环，左上角确定像素坐标(u₁，v₁)、(u₂，v₂)，左下角确定像素坐标(u₃，v₃)、(u₄，v₄)，得到检测框左上角像素坐标为(u₂，v₁)、检测框右下角像素坐标为(u₄，v₃)，进而得到检测框。

进一步地，在所述训练模块中，所述相对位置测量模型的训练过程为：将所述仿真卫星图片输入到ResNet50残差网络中，ResNet50输出2048×10×10特征图经全局平均池化层得到2048×1×1特征图，2048×1×1特征图经全连接层和Tanh()激活函数处理后，得到标量距离；

所述远距离测量模型的训练过程为：将所述仿真卫星图片中的远距离目标卫星图片获得的检测图像输入到ResNet50中，ResNet50输出2048×10×10特征图经全局平均池化层得到2048×1×1特征图，2048×1×1特征图经分类层和权重四元数拟合处理后，得到表示远距离的相对姿态的拟合四元数；

所述接近段测量模型的训练过程为：将所述仿真卫星图片中的近距离目标卫星图片获得的检测图像输入到ResNet50中，ResNet50输出2048×10×10特征图经全局平均池化层得到2048×1×1特征图，2048×1×1特征图依次经全连接层、Tanh()激活函数和单位化层处理后，得到表示近距离的相对姿态的回归四元数。

进一步地，在所述训练模块中设置优化单元，所述优化单元通过损失函数对所述相对位置测量模型和所述相对姿态测量模型的训练过程进行优化。

有益效果：

(1)本发明的一种基于深度学习的非合作目标相对位姿测量方法，在构建数据集的时候采用的仿真卫星图片包括覆盖全范围姿态的远距离目标卫星图片和模拟接近过程的近距离目标卫星图片，更符合工程实际情况，得到的预测结果精度也更高；训练相对位置测量模型和相对姿态测量模型的过程独立进行，排除了信息的互相干扰，提高了训练的稳定性和精度；且训练相对姿态测量模型时采用经过图像检测得到的检测图像，减少了由相对位置信息对相对姿态信息测量的干扰，进一步提高了测量精度，保证本方法的预测结果更加符合工程需求，在实际应用过程中有更好的测量精度。

(2)通过图像检测算法对仿真卫星图片进行卫星检测，得到检测框，避免了仿真卫星图片因为像素过大造成的训练过程显存消耗，提高了训练过程中数据集的载入效率，提高了训练过程的效率，保证了训练结果的精度。

(3)采用检测图像进行相对位姿模型的训练，可以有效排除同一姿态在不同距离情况下的差异性，排除距离信息对姿态测量的干扰，使得相对位姿模型的准确性和鲁棒性更好；在远距离测量模型的训练过程中，采用拟合相对姿态权重分布的分类问题得到拟合四元数表征预测结果，相比直接采用直接回归四元数的形式，通过分类并权重拟合的方式可以更好地在距离范围大的情况下的保证测量精度。

(4)使用损失函数对训练过程进行优化，保证训练结果的预测精度；且相对位置测量模型的损失函数由相对位置的绝对损失和相对损失加权获得，接近段测量模型的损失函数由接近段相对姿态的方差损失和转置损失加权获得，提高了在利用损失函数训练过程优化时的优化效果，进一步提高了模型的适用性和准确度，提高了模型预测结果的精度。

附图说明

图1为本发明一种相对位姿测量方法的流程示意图；

图2为本发明的相对位姿测量系统整体模型结构示意图；

图3为本发明的相对位置测量模块的结构示意图；

图4为本发明的远距离相对姿态测量算法的结构示意图；

图5为本发明的接近段相对姿态测量算法的结构示意图。

具体实施方式

本发明提供了一种基于深度学习的非合作目标相对位姿测量方法、系统，通过仿真目标卫星图片及其对应的相对位姿信息构建数据集，其中仿真卫星图片包括覆盖全范围姿态的远距离目标卫星图片和模拟接近过程的近距离目标卫星图片；利用检测算法即检测模块对图片进行卫星检测并进行裁剪缩放，得到检测图像，将仿真卫星图片输入到ResNet50残差网络中进行学习训练得到相对位置测量模型，将由仿真卫星图片得到的检测图像输入到ResNet50残差网络中进行学习训练得到相对姿态测量模型，其中相对姿态测量模型包括远距离测量模型和接近段测量模型；训练过程中的模型，通过预测结果与相对位姿标注信息的损失函数进行优化，由此获得的测量模型可以更高精度的对航天器进行相对位姿测量。

下面结合附图并举实施例，对本发明进行详细描述。

如图1所示，为本发明的一种相对位姿测量方法的流程图，其中S301～S303是为了清楚展示其步骤内容，在图中分开展示描述，并不是限定其先后顺序。S304～S305是在训练完成之后的测试步骤，不是本方法的测量步骤，是对本方法训练所得到的模型的准确度和精确度进行测试验证。本方法具体包括如下步骤：

步骤一、构建包括仿真卫星图片和相对位姿标注信息的数据集。

根据仿真目标卫星图片及其对应的相对位姿信息构建数据集；数据集分为两部分：一部分是仿真卫星图片，另一部分是相对位姿标注信息；仿真卫星图片包括覆盖全范围姿态的远距离目标卫星图片和模拟接近过程的近距离目标卫星图片；相对位姿标注信息用于表征对应的所述仿真卫星图片的相对位姿信息。

制作对应数据集，包括数据集中目标卫星图片x_n(x_n∈X，n＝1,2…,N，N为样本数据集中图片总数，X为所有目标卫星图片的集合)及其相对位姿标注信息y_k(y_k∈Y，k＝1,2…,N，N为样本数据集中图片总数，Y为所有目标卫星图片对应的相对位姿信息数据集合)，每个y_k包含相对位置Z，相对姿态p。

数据集分为目标卫星仿真图片和标注信息两部分，其中图片构成为：远距离全范围姿态的图像40000张，模拟接近过程的图像20000张，由于工程上将目标卫星对准在图像中心的过程较容易实现，在该实施例中对相对位置的三轴距离简化为一轴的距离，目标卫星在图像中间位置，图片具体分布如下：

(1)远距离全范围姿态40000张图像，距离采用平均分布的随机数生成，范围为(50,100]m，三轴姿态角采用平均分布的随机数生成，滚转角范围[-180，180)、俯仰角范围[-90，90)、偏航角范围[-180，180)；

(2)模拟接近过程20000张图像，距离采用平均分布的随机数生成，范围(8,50]m，目标卫星和跟踪卫星接近的前提通常为主惯性轴平行，即滚转角在-90°左右、航向角在90°左右，或滚转角在90°左右、航向角在-90°左右。因此，滚转角和航向角采用正态分布模拟，分为滚转角均值为-90°航向角均值为90°或滚转角均值为90°航向角均值为-90°两种情况，俯仰角采用平均分布的随机数模拟，范围与第一部分相同，两种情况图像各10000张；

以上60000张图像对应的相对位姿标注，卫星相对摄像机的相对6D位姿信息，包括三轴距离与三轴姿态角；检测框标注，检测框左上点坐标(Bx₁，By₁)，检测框右下点坐标(Bx₂，By₂)，检测框可以通过人工标注或算法标注，由于实施例中背景与目标差异较为明显，采用步骤2中目标检测算法进行标注。

仿真生成的图像分辨率通常较大，实际训练中，图像分辨率过大会降低程序运行中数据集载入效率以及增加训练过程的显存消耗。因此，对生成的60000张图像进行后处理，得到分辨率为640*640的图像。后续训练可根据情况进一步设置缩放比例，在该实施例训练过程中，图像缩放为320*320像素。

需要注意的是，上述图片采用60000张，其中远距离40000张，近距离20000张，以及远距离的范围为(50,100]m，模拟接近过程20000张图像范围(8,50]m，以及接近过程图像中角度分布的数值，只是为了举例说明，并不是严格的限制具体的取值范围，在实际操作过程中，可以根据实际情况对上述数值的内容进行调整。

步骤二、对仿真卫星图片进行卫星检测，得到检测框，对所述检测框内的图像信息进行裁剪缩放，得到检测图像。

将数据集中每个图像x_i通过目标检测模块，得到检测框，对检测框内图像信息进行裁剪缩放至320*320像素，得到检测图像xc_i，检测算法如下：

对仿真卫星图片进行卫星检测得到检测框为：实施例中背景为黑色，采用像素检测方法对目标卫星进行检测，分别从图片左上角点、右下角点开始向中心遍历，每个角点进行两次遍历，最外循环分别为像素坐标u轴和v轴，若像素值不为零，则停止循环，左上角确定像素坐标(u₁，v₁)、(u₂，v₂)，左下角确定像素坐标(u₃，v₃)、(u₄，v₄)，得到检测框左上角像素坐标为(u₂，v₁)、检测框右下角像素坐标为(u₄，v₃)，进而得到检测框。如果图片背景颜色不同，也可以采用不同的检测算法和检测过程。

目标卫星的姿态与距离信息无关，同一姿态在不同距离的情况下，图片整体差异较大，因此在对相对姿态的测量过程中，需要排除距离的干扰，使姿态估计更准确、鲁棒性更强，引入目标检测模块。相同姿态不同距离的图片裁剪缩放后理论上只有清晰度的区别，实际情况大致一样，但有略微差别，这主要是由于模拟图像生成中的误差，以及缩放过程中通过插值函数补全像素时的误差。

步骤三、采用ResNet50残差网络作为骨干网络，对仿真卫星图片进行模型训练，得到相对位置测量模型；采用ResNet50残差网络作为骨干网络，对检测图像进行模型训练，得到相对姿态测量模型；相对姿态测量模型包括远距离测量模型和接近段测量模型。

随机选取90％的仿真卫星图片进行训练，得到相对位置测量模型；选取由所述90％的仿真卫星图片得到的检测图像进行训练，得到相对姿态测量模型；相对姿态测量模型包括远距离测量模型和接近段测量模型；

训练相对位置测量模型和所述相对姿态测量模型均采用ResNet50残差网络作为骨干网络，并通过损失函数表征预测精度，根据损失函数对相对位置测量模型的训练过程和相对姿态测量模型的训练过程进行优化。

训练完成之后，对相对位置测量模型和相对姿态测量模型进行测试，将测试得到的相对位置和相对姿态与相对位姿标注信息中的相对位置信息和相对姿态信息比较，误差在工程允许范围内，则认为训练得到的相对位置测量模型和相对姿态测量模型准确，可用于目标卫星的相对位姿测量。

使用数据集中目标卫星全部60000张仿真图片作为数据集，随机选取90％作为训练集训练相对位置测量模型，得到相对位置测量模型。

相对位置测量模型的训练过程为：将随机选取的90％的仿真卫星图片输入到ResNet50残差网络中，ResNet50输出2048×10×10特征图经全局平均池化层得到2048×1×1特征图，2048×1×1特征图经全连接层和Tanh()激活函数处理后，得到标量距离。

数据集相对位置范围分布在(8，100]m，训练前对图像和回归变量进行归一化处理，转成张量，提升计算效率，其中距离回归变量的归一化公式为：

l_z＝Z/100

其中，l_z表示模型回归的变量，Z表示标注中的距离信息。对图像数据进行预处理，使得其数据分布更合理，去除其影响后续训练精度、准确度的因素，如噪声干扰等，在训练迭代步骤进行前处理，减少训练的运算量，加速模型收敛，提高模型的可靠性，本实施例采用归一化对图像数据进行处理，归一化保证图像在所有维度上的数据都在一定幅度内变化，避免由于特征表达方式等因素造成模型无法识别到特征的情况。

通常在PyTorch中使用transformer()函数进行预处理，通过compose()函数将多个transformer()合并在一起，该实施例中用到了两种transformer()函数：

transformer.ToTensor()是指把PIL.Image(RGB)或者numpy.ndarray(H x W xC)从0到255的值映射到0到1的范围内，并转化成Tensor格式。

transformer.Normalize(mean，std)是通过下面公式实现数据归一化：

channel＝(channel-mean)/std

其中，均值和标准值都取0.5，经过上面转换，图像数据每个像素值转为[-1,1]范围内的tensor。

相对位置测量模块结构如图3所示，由于图像中卫星占比大小直接影响到距离Z的预测，因此网络输入为原始图像x_i，使用C×H×W表示特征图的尺寸，其中x_i为3×320×320，表示图像转为RGB三个通道维度，通过ResNet50网络输出2048×10×10特征图，通过全局平均池化层转为2048×1×1特征图，再通过全连接层与Tanh()激活函数，输出标量距离Z_p，与归一化标签l_z计算

损失函数，即均方差损失：

||||₂表示二范数运算。

同时计算相对距离的相对损失，保证近距离范围时相对距离的预测精度：

相对位置测量模型的损失函数由相对位置的绝对损失和相对损失加权获得，用公式表示为：

L_Z＝λ₁L_Z1+λ₂L_Z2

其中，L_Z表示相对位置测量模型的损失函数，L_Z1表示某一仿真卫星图片由相对位置测量模型预测得到的相对位置与该仿真卫星图片在相对位姿标注信息中标注的相对位置信息的方差损失即绝对损失；L_Z2表示某一仿真卫星图片由相对位置测量模型预测得到的相对位置与该仿真卫星图片在相对位姿标注信息中标注的相对位置信息相对损失；λ₁和λ₂为训练设置的超参数，λ₁＝10、λ₂＝20。

根据损失函数对相对位置测量模型的训练过程进行优化为：将相对位置测量模型的损失函数代入到优化器中对相对位置测量模型的训练过程进行优化。训练相对位置测量模块的优化器采用Adam，学习率设置为0.001，学习策略为每到1/3的训练进度时，学习率降低为之前的0.1。

使用数据集中目标卫星40000张远距离仿真图片和20000张接近段仿真图片分别作为两个模型的数据集，随机选取90％作为训练集分别训练相对姿态测量模型，得到远距离相对姿态测量模型和接近段相对姿态测量模型：

相对姿态测量主要分为两部分：远距离(50,100]m处相对姿态确定、接近过程(8,50]m相对姿态确定。分别设计两种算法进行估计：远距离测量算法在全角范围内适用；接近段测量算法适用于接近过程，两轴姿态角变化不大，一轴姿态角变化的情况。接近段测量算法的精度高于远距离测量算法，但适用范围较小。由于单位四元数可以表示姿态角且本身不用归一化，因此姿态角的回归变量采用四元数来表示。

远距离测量模型的训练过程为：将由远距离目标卫星图片获得的检测图像输入到ResNet50中，ResNet50输出2048×10×10特征图经全局平均池化层得到2048×1×1特征图，2048×1×1特征图经分类层和权重四元数拟合处理后，得到表示远距离的相对姿态的拟合四元数。

(1)远距离相对姿态测量算法结构如图4所示，输入为原图像检测到卫星后裁剪缩放的检测图像xc_i，形状为3×320×320。图像标签信息先转化为在三轴姿态角上的分布，再转成四元数形式，模型从直接回归四元数表示相对姿态转换为拟合相对姿态权重分布的分类问题，将输出的权重分布通过求解特征向量的方法得到输出的四元数。

权重分配方法如下：

设置H类四元数Q＝{q₁,...,q_H}，类别通过将某一轴姿态角均分M类确定，训练前，将图像的姿态标签p转换成四元数q_gt后，进一步编码为四元数类别权重标签，编码方法为：

其中函数K(x,y)表示将两个四元数的角差正则化：

其中

方差_σ ²通过量化误差近似得到，Δ/M表示量化间隔，Δ表示平滑因子，M为每个轴欧拉角分的类别，x,y作为变量是为了展示函数的公式表现形式，代替了原有计算中的q_i,q_gt，在本发明中没有实际意义。

在测试时，将通过模型预测出的权重分布{w₁,...,w_N}和对应的H类四元数Q＝{q₁,...,q_H}通过加权最小二乘法求最小值，得到拟合的四元数：

其最优解为矩阵

的右零空间。

训练时，采用KL散度来计算预测的权重分布p与实际的权重分布q_gt差别作为损失函数：

总损失函数为：

L_q＝λ₃L_c

即远距离测量模型的损失函数由远距离测量模型预测的权重分布与实际权重分布经过KL散度计算得到，用公式表示为：

其中，L_q表示远距离测量模型的损失函数，

表示期望计算，i＝1,2…H表示四元数类别数，p(i)表示预测的第i类的权重，q_gt(i)表示仿真卫星图片的第i类权重的真实值信息；λ₃＝50，为训练设置的超参数；

训练远距离相对姿态测量算法的优化器采用SGD，对骨干网络参数的学习率设置为0.001，对分类全连接层学习率为0.01，学习策略为每到1/3的训练进度时，学习率降低为之前的0.1。

接近段测量模型的训练过程为：将由近距离目标卫星图片获得的检测图像输入到ResNet50中，ResNet50输出2048×10×10特征图经全局平均池化层得到2048×1×1特征图，2048×1×1特征图依次经全连接层、Tanh()激活函数和单位化层处理后，得到表示近距离的相对姿态的回归四元数。

(2)接近段相对姿态测量算法结构如图5所示，输入为原图像检测到卫星后裁剪缩放的检测图像xc_i，形状为3×320×320。通过ResNet50网络和全局池化层输出2048×1×1特征图，通过全连接层与Tanh()激活函数，再通过单位化层，得到回归四元数变量p，与原始四元数标签q计算

损失函数，即均方差损失：

转置损失：

| |表示一范数的求绝对值运算。

接近段测量模型的损失函数接近段相对姿态的方差损失和转置损失加权获得，用公式表示为：

L_O＝λ₄L_O1+λ₅L_O2

其中，L_O表示接近段测量模型的损失函数，L_O1表示某一检测图像由接近段测量模型预测得到的相对姿态与该检测图像在相对位姿标注信息中标注的相对姿态信息的原始四元数的方差损失；L_O2表示某一检测图像由接近段测量模型预测得到的相对姿态与该检测图像在相对位姿标注信息中标注的相对姿态信息的原始四元数的转置损失；λ₄和λ₅为训练设置的超参数，λ₄＝50、λ₅＝50。

训练接近段相对姿态测量算法的优化器采用Adam，学习率设置为0.001，学习策略为每到1/3的训练进度时，学习率降低为之前的0.1。

在上述训练过程中，通过具体的某种优化器种类对训练过程进行优化，以及对应的学习策略都是举例说明，不是做具体限制，实际操作过程中，可以根据实际情况进行调整。

步骤四、将目标卫星图片输入至相对位置测量模型和相对姿态测量模型，即可获得目标卫星的相对位置信息和相对姿态信息。

测试相对位姿测量算法模型：

根据上述步骤，得到相对位姿数据集、远距离相对位姿数据集和接近段相对位姿数据集，其中每个数据集90％作为训练集，10％作为测试集，分别用于相对位置模块、远距离相对姿态算法和接近段相对姿态算法的训练和测试。

对相对位置测量模型和相对姿态测量模型进行测试为：利用剩余未进行训练的10％的仿真卫星图片对相对位置测量模型进行测试，利用由剩余10％的仿真卫星图片得到的检测图像对相对姿态测量模型进行测试，再将预测结果与相对位姿标注信息进行比较，误差在工程允许范围内，则认为训练得到的相对位置测量模型和相对姿态测量模型准确，可用于目标卫星的相对位姿测量。需要注意的是，利用90％训练，10％测试，只是本发明的举例，并不是严格限制比例，同时测试也不一定使用数据集中的仿真卫星图片进行测试准确性，还可以选取实际的图片进行实际测试验证模型的准确性和精度。

为了证明本发明方法的有效性，在制作的测试集中对各模块进行了实验，实验结果如下：

相对位置测量模型的数据集共60000张，其中10％作为测试集不参与训练，用来测试模型预测准确度，测试平均绝对误差0.6294m，平均相对误差1.04％，95％相对误差在2.52％以内，90％相对误差在2.07％以内。

远距离相对姿态测量算法的数据集共40000张，10％作为测试集不参与训练，采用角差来衡量测量和实际的误差，平均角差为4.7611°，95％角差在8.8561°以内，90％角差在8.0924°以内。两个航天器距离较远时，对姿态精度要求较低，采用该算法实现全范围的相对姿态测量。

接近段相对姿态测量算法的数据集共20000张接近过程图像，10％作为测试集不参与训练，平均角差为1.8323°，95％角差在3.6767°以内，90％角差在3.1030°以内。在接近过程中，对姿态精度要求较高，采用该算法实现小范围姿态估计。

此外，本发明还在接近全过程样例中进行仿真，相对位置平均绝对误差0.1672m，平均相对姿态角差2.8166°。

以上实验表明，本发明方法效果有益，对基于深度学习方法的航天器相对位姿测量领域进行进一步研究，可用于航天器的相对位姿测量，精度较高。

根据本发明提供的一种基于深度学习的非合作目标的相对位姿测量方法，本发明还提供了一种基于深度学习的非合作目标相对位姿测量系统，包括数据模块、检测模块、训练模块和测试模块。

数据模块包括仿真卫星图片模块和相对位姿信息标注模块；相对位姿信息标注模块用于表征对应的仿真卫星图片模块的相对位姿信息；仿真卫星图片模块包括远距离目标卫星图片单元和近距离目标卫星图片单元，对应的相对位姿信息标注模块中包括远距离目标卫星位姿信息单元和近距离目标卫星位姿信息单元；

检测模块用于对仿真卫星图片模块的仿真卫星图片进行卫星检测，得到检测框；并对检测框内的图像信息进行裁剪缩放至320*320像素，得到检测图像。

检测模块通过像素检测方法对目标卫星进行检测：分别从仿真卫星图片的左上角点和右下角点开始向中心遍历，左上角点和所述右下角点均进行两次遍历，最外循环分别为像素坐标u轴和v轴，若像素值不为零，则停止循环，左上角确定像素坐标(u1，v1)、(u2，v2)，左下角确定像素坐标(u3，v3)、(u4，v4)，得到检测框左上角像素坐标为(u2，v1)、检测框右下角像素坐标为(u4，v3)，进而得到检测框。

训练模块用于对从仿真卫星图片模块中随机选取90％的仿真卫星图片进行训练，得到相对位置测量模型；以及对由90％的仿真卫星图片得到的检测图像进行训练，得到相对姿态测量模型；相对姿态测量模型包括远距离测量模型和接近段测量模型；

在训练模块中，训练相对位置测量模型和所述相对姿态测量模型均采用ResNet50残差网络作为骨干网络，并通过损失函数表征预测精度，根据损失函数对相对位置测量模型的训练过程和相对姿态测量模型的训练过程进行优化；

相对位置测量模型的训练过程为：将从仿真卫星图片模块中随机选取的90％的仿真卫星图片输入到ResNet50残差网络中，ResNet50输出2048×10×10特征图经全局平均池化层得到2048×1×1特征图，2048×1×1特征图经全连接层和Tanh()激活函数处理后，得到标量距离；将相对位置测量模型的损失函数代入到优化器中对相对位置测量模型的训练过程进行优化。

相对位置测量模型的损失函数由相对位置的绝对损失和相对损失加权获得，用公式表示为：

L_Z＝λ₁L_Z1+λ₂L_Z2

其中，L_Z表示相对位置测量模型的损失函数，L_Z1表示某一仿真卫星图片由相对位置测量模型预测得到的相对位置与该仿真卫星图片在相对位姿标注信息中标注的相对位置信息的方差损失即绝对损失；L_Z2表示某一仿真卫星图片由相对位置测量模型预测得到的相对位置与该仿真卫星图片在相对位姿标注信息中标注的相对位置信息相对损失；λ₁和λ₂为训练设置的超参数，λ₁＝10、λ₂＝20。

远距离测量模型的训练过程为：将由90％的仿真卫星图片中的远距离目标卫星图片获得的检测图像输入到ResNet50中，ResNet50输出2048×10×10特征图经全局平均池化层得到2048×1×1特征图，2048×1×1特征图经分类层和权重四元数拟合处理后，得到表示远距离的相对姿态的拟合四元数；

远距离测量模型的损失函数由远距离测量模型预测的权重分布与实际权重分布经过KL散度计算得到，用公式表示为：

其中，L_q表示远距离测量模型的损失函数，

表示期望计算，i＝1,2…H表示四元数类别数，p(i)表示预测的第i类的权重，q_gt(i)表示仿真卫星图片的第i类权重的真实值信息；λ₃＝50，为训练设置的超参数；

远距离测量模型的四元数类别数H通过将某一轴的姿态角均分为M类确定，H＝M³；

拟合四元数的计算方式为：利用加权最小二乘法对所述远距离测量模型预测得到的权重分布{w₁,...,w_H}和对应的H类四元数Q＝{q₁,...,q_H}求最小值，得到所述拟合四元数。

接近段测量模型的训练过程为：将由90％的仿真卫星图片中的近距离目标卫星图片获得的检测图像输入到ResNet50中，ResNet50输出2048×10×10特征图经全局平均池化层得到2048×1×1特征图，2048×1×1特征图依次经全连接层、Tanh()激活函数和单位化层处理后，得到表示近距离的相对姿态的回归四元数。

接近段测量模型的损失函数接近段相对姿态的方差损失和转置损失加权获得，用公式表示为：

L_O＝λ₄L_O1+λ₅L_O2

其中，L_O表示接近段测量模型的损失函数，L_O1表示某一检测图像由接近段测量模型预测得到的相对姿态与该检测图像在相对位姿标注信息中标注的相对姿态信息的原始四元数的方差损失；L_O2表示某一检测图像由接近段测量模型预测得到的相对姿态与该检测图像在相对位姿标注信息中标注的相对姿态信息的原始四元数的转置损失；λ₄和λ₅为训练设置的超参数，λ₄＝50、λ₅＝50。

测试模块用于对训练得到的相对位置测量模型和相对姿态测量模型进行测试，验证经过相对位置测量模型和相对姿态测量模型预测得到的相对位置和相对姿态与相对位姿信息标注模块中的对应的相对位置信息和相对姿态信息的误差是否在工程允许的范围内。

以上的具体实施例仅描述了本发明的设计原理，该描述中的部件形状，名称可以不同，不受限制。所以，本发明领域的技术人员可以对前述实施例记载的技术方案进行修改或等同替换；而这些修改和替换未脱离本发明创造宗旨和技术方案，均应属于本发明的保护范围。

Claims (10)

1.一种基于深度学习的非合作目标相对位姿测量方法，其特征在于，包括：

步骤一、构建包括仿真卫星图片和相对位姿标注信息的数据集；

所述仿真卫星图片包括覆盖全范围姿态的远距离目标卫星图片和模拟接近过程的近距离目标卫星图片；

步骤二、对所述仿真卫星图片进行卫星检测，得到检测框，对所述检测框内的图像信息进行裁剪缩放，得到检测图像；

步骤三、利用所述仿真卫星图片进行模型训练，得到相对位置测量模型；利用所述检测图像进行模型训练，得到相对姿态测量模型；所述相对姿态测量模型包括远距离测量模型和接近段测量模型；

步骤四、将目标卫星图片输入至所述相对位置测量模型和所述相对姿态测量模型，即可获得目标卫星的相对位置信息和相对姿态信息。

2.如权利要求1所述的相对位姿测量方法，其特征在于，步骤二中，所述对仿真卫星图片进行卫星检测得到检测框为：采用像素检测方法对目标卫星进行检测，分别从所述仿真卫星图片的左上角点和右下角点开始向中心遍历，所述左上角点和所述右下角点均进行两次遍历，最外循环分别为像素坐标u轴和v轴，若像素值不为零，则停止循环，左上角确定像素坐标(u₁，v₁)、(u₂，v₂)，左下角确定像素坐标(u₃，v₃)、(u₄，v₄)，得到检测框左上角像素坐标为(u₂，v₁)、检测框右下角像素坐标为(u₄，v₃)，进而得到检测框。

3.如权利要求1所述的相对位姿测量方法，其特征在于，步骤三中，所述相对位置测量模型的训练过程为：将仿真卫星图片输入到ResNet50残差网络中，ResNet50输出2048×10×10特征图经全局平均池化层得到2048×1×1特征图，2048×1×1特征图经全连接层和Tanh()激活函数处理后，得到标量距离。

4.如权利要求1所述的相对位姿测量方法，其特征在于，步骤三中，所述远距离测量模型的训练过程为：将由所述仿真卫星图片中的远距离目标卫星图片获得的检测图像输入到ResNet50中，ResNet50输出2048×10×10特征图经全局平均池化层得到2048×1×1特征图，2048×1×1特征图经分类层和权重四元数拟合处理后，得到表示远距离的相对姿态的拟合四元数；

所述接近段测量模型的训练过程为：将由所述仿真卫星图片中的近距离目标卫星图片获得的检测图像输入到ResNet50中，ResNet50输出2048×10×10特征图经全局平均池化层得到2048×1×1特征图，2048×1×1特征图依次经全连接层、Tanh()激活函数和单位化层处理后，得到表示近距离的相对姿态的回归四元数。

5.如权利要求3或4所述的相对位姿测量方法，其特征在于，采用损失函数对所述相对位置测量模型和所述相对姿态测量模型的训练过程进行优化；

所述相对位置测量模型的损失函数由相对位置的绝对损失和相对损失加权获得，用公式表示为：

L_Z＝λ₁L_Z1+λ₂L_Z2

其中，L_Z表示相对位置测量模型的损失函数，L_Z1表示某一仿真卫星图片由相对位置测量模型预测得到的相对位置与该仿真卫星图片在相对位姿标注信息中标注的相对位置信息的方差损失即绝对损失；L_Z2表示某一仿真卫星图片由相对位置测量模型预测得到的相对位置与该仿真卫星图片在相对位姿标注信息中标注的相对位置信息的差与标注的相对位置信息的比值即相对损失；λ₁和λ₂为训练设置的超参数，λ₁＝10、λ₂＝20；

所述相对姿态测量模型的损失函数包括远距离测量模型的损失函数和接近段测量模型的损失函数；

所述远距离测量模型的损失函数由远距离测量模型预测的权重分布与实际权重分布经过KL散度计算得到，用公式表示为：

其中，L_q表示远距离测量模型的损失函数，

表示期望计算，i＝1,2…H表示四元数类别数，p(i)表示预测的第i类的权重，q_gt(i)表示仿真卫星图片的第i类权重的真实值信息；λ₃＝50，为训练设置的超参数；

所述接近段测量模型的损失函数接近段相对姿态的方差损失和转置损失加权获得，用公式表示为：

L_O＝λ₄L_O1+λ₅L_O2

其中，L_O表示接近段测量模型的损失函数，L_O1表示某一检测图像由接近段测量模型预测得到的相对姿态与该检测图像在相对位姿标注信息中标注的相对姿态信息的原始四元数的方差损失；L_O2表示某一检测图像由接近段测量模型预测得到的相对姿态与该检测图像在相对位姿标注信息中标注的相对姿态信息的原始四元数的转置损失；λ₄和λ₅为训练设置的超参数，λ₄＝50、λ₅＝50。

6.如权利要求5所述的相对位姿测量方法，其特征在于，所述远距离测量模型的四元数类别数H通过将某一轴的姿态角均分为M类确定，H＝M³；

所述拟合四元数的计算方式为：利用加权最小二乘法对所述远距离测量模型预测得到的权重分布{w₁,...,w_H}和对应的H类四元数Q＝{q₁,...,q_H}求最小值，得到所述拟合四元数。

7.一种基于深度学习的非合作目标相对位姿测量系统，其特征在于，包括数据模块、检测模块、训练模块；

所述数据模块包括仿真卫星图片单元和相对位姿信息标注单元；所述仿真卫星图片单元包括远距离目标卫星图片子单元和近距离目标卫星图片子单元；

所述检测模块用于对所述仿真卫星图片单元的仿真卫星图片进行卫星检测，得到检测框；并对所述检测框内的图像信息进行裁剪缩放，得到检测图像；

所述训练模块采用ResNet50残差网络作为骨干网络，用于对所述仿真卫星图片进行训练，得到相对位置测量模型；以及对所述检测图像进行训练，得到相对姿态测量模型；所述相对姿态测量模型包括远距离测量模型和接近段测量模型。

8.如权利要求7所述的相对位姿测量系统，其特征在于，所述检测模块通过像素检测方法对目标卫星进行检测：分别从所述仿真卫星图片的左上角点和右下角点开始向中心遍历，所述左上角点和所述右下角点均进行两次遍历，最外循环分别为像素坐标u轴和v轴，若像素值不为零，则停止循环，左上角确定像素坐标(u₁，v₁)、(u₂，v₂)，左下角确定像素坐标(u₃，v₃)、(u₄，v₄)，得到检测框左上角像素坐标为(u₂，v₁)、检测框右下角像素坐标为(u₄，v₃)，进而得到检测框。

9.如权利要求7所述的相对位姿测量系统，其特征在于，在所述训练模块中，所述相对位置测量模型的训练过程为：将所述仿真卫星图片输入到ResNet50残差网络中，ResNet50输出2048×10×10特征图经全局平均池化层得到2048×1×1特征图，2048×1×1特征图经全连接层和Tanh()激活函数处理后，得到标量距离；

所述远距离测量模型的训练过程为：将所述仿真卫星图片中的远距离目标卫星图片获得的检测图像输入到ResNet50中，ResNet50输出2048×10×10特征图经全局平均池化层得到2048×1×1特征图，2048×1×1特征图经分类层和权重四元数拟合处理后，得到表示远距离的相对姿态的拟合四元数；

所述接近段测量模型的训练过程为：将所述仿真卫星图片中的近距离目标卫星图片获得的检测图像输入到ResNet50中，ResNet50输出2048×10×10特征图经全局平均池化层得到2048×1×1特征图，2048×1×1特征图依次经全连接层、Tanh()激活函数和单位化层处理后，得到表示近距离的相对姿态的回归四元数。

10.如权利要求7所述的相对位姿测量系统，其特征在于，在所述训练模块中设置优化单元，所述优化单元通过损失函数对所述相对位置测量模型和所述相对姿态测量模型的训练过程进行优化。

Images