CN112651437A - 一种基于深度学习的空间非合作目标位姿估计方法 - Google Patents

一种基于深度学习的空间非合作目标位姿估计方法 Download PDF

Info

Publication number
CN112651437A
CN112651437A CN202011551484.0A CN202011551484A CN112651437A CN 112651437 A CN112651437 A CN 112651437A CN 202011551484 A CN202011551484 A CN 202011551484A CN 112651437 A CN112651437 A CN 112651437A
Authority
CN
China
Prior art keywords
attitude
category
loss function
posture
angle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011551484.0A
Other languages
English (en)
Other versions
CN112651437B (zh
Inventor
佘浩平
杨兴昊
李海超
宋建梅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Technology BIT
Original Assignee
Beijing Institute of Technology BIT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Technology BIT filed Critical Beijing Institute of Technology BIT
Priority to CN202011551484.0A priority Critical patent/CN112651437B/zh
Publication of CN112651437A publication Critical patent/CN112651437A/zh
Application granted granted Critical
Publication of CN112651437B publication Critical patent/CN112651437B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开一种基于深度学习的空间非合作目标位姿估计方法，一、划分姿态类别区间，生成空间非合作目标图像数据并标注姿态类别标签、姿态数值标签、位置标签，得到空间非合作目标的标注数据集，包括训练集、测试集和验证集；二、基于AlexNet网络构建应用于空间非合作目标位姿估计的神经网络，移除网络末端全连接层后并列连接四个全连接层；三、设计四个分支的损失函数；四、将训练集与验证集输入构建的神经网络中，利用设计的损失函数对网络进行训练，当损失函数收敛至全局最小值时保存神经网络模型；五、利用训练好的神经网络模型对空间非合作目标进行位姿估计；本发明能够通过单摄像机、单幅图像实现对空间非合作目标的位姿估计。

Description

一种基于深度学习的空间非合作目标位姿估计方法
技术领域
本发明属于空间非合作目标位姿估计的技术领域，具体涉及一种基于深度学习的空间非合作目标位姿估计方法。
背景技术
随着空间技术的发展，空间在轨服务成为保证空间飞行器在复杂空间环境中稳定运行的重要手段。空间在轨服务在进行对接、维修等近距离操作时，空间目标的相对姿态测量是需要解决的关键技术之一。空间目标可分为合作目标和非合作目标两类。合作目标可以通过无线电进行通信或有合作标记以帮助确定姿态，而非合作目标则不能提供合作信息。近年来，随着低地球轨道不活跃卫星以及空间碎片的增多，非合作目标的位姿估计得到更广泛的关注。
德国宇航局的“实验服务卫星”采用光学传感器对目标卫星发动机进行成像分析，并采用视觉测量工具解算相对姿态。王诗强等通过纹理特征提取方法，拟合对接环的参数信息进行相对姿态测量。非合作目标姿态估计一般采用基于模型的算法，将模型线框与目标边缘相匹配得出姿态信息。但图像除边缘信息外，其他特征信息也能够用于协助姿态估计，而深度学习能够学习复杂特征同时忽略背景信息。深度学习在目标识别、目标检测等领域已很成熟，但直到Kendall等才首次利用迁移学习将任务从目标识别迁移到位姿估计。
深度学习在航天器姿态估计问题中尚未得到广泛应用。Charles E等将连续姿态角离散为姿态标签，将回归问题转化为离散问题，采用AlexNet网络对目标航天器进行姿态分类估计，但同一姿态标签需要上百张数据图片。
Thaweerath Phisannupawong等用四元数表示航天器姿态，以GoogLeNet为主干网络进行位姿估计，此方法采用较少的数据集，但姿态误差较大。
发明内容
有鉴于此，本发明提供了一种基于深度学习的空间非合作目标位姿估计方法，能够通过单摄像机、单幅图像实现对空间非合作目标的位姿估计，此方法所需数据集量小、精度高、检测速度快。
实现本发明的技术方案如下：
一种基于深度学习的空间非合作目标位姿估计方法，包括以下步骤：
步骤一、划分姿态类别区间，生成空间非合作目标图像数据并标注姿态类别标签、姿态数值标签、位置标签，得到空间非合作目标的标注数据集，所述标注数据集包括：训练集、验证集和测试集；
步骤二、基于AlexNet网络构建应用于空间非合作目标位姿估计的神经网络，移除AlexNet网络末端全连接层后并列连接四个全连接层，从而形成四个分支，其中，前三个分支分别用于估计空间非合作目标的三个姿态角，第四个分支用于估计空间非合作目标的位置；
步骤三、设计四个分支的损失函数；
步骤四、将训练集与验证集输入构建的神经网络中，利用设计的损失函数对神经网络进行训练，当损失函数收敛至全局最小值时，保存神经网络模型；
步骤五、利用训练好的神经网络模型对空间非合作目标进行位姿估计。
进一步地，在步骤一中，得到标注数据集的步骤如下：
1-1、设置角度分类间隔阈值δ，以δ为间隔划分姿态类别区间；根据姿态角数值所在的姿态类别区间确定其姿态类别，每个样本对应三个姿态类别标签；θmin为所需估计角度最小值，θmax为所需估计角度最大值；姿态类别标注原则如下：角度在区间
Figure BDA0002857344510000021
内姿态类别记为0；角度在区间
Figure BDA0002857344510000022
Figure BDA0002857344510000031
内姿态类别记为1；角度在区间
Figure BDA0002857344510000032
内姿态类别记为2；…；角度在区间
Figure BDA0002857344510000033
内姿态类别记为
Figure BDA0002857344510000034
1-2、训练集制作：利用3DsMax读入空间非合作目标的三维模型，首先在3DsMax中放置相机并设置相机视场角参数，随后移动三维模型位置，再根据设置的角度分类间隔阈值δ旋转三维模型，渲染生成空间非合作目标的样本图片，标注此时在相机坐标系下的三个位置坐标作为位置标签Xr、三个姿态角数值作为姿态数值标签yr，并根据姿态数值标签yr所在的姿态类别区间标注姿态类别标签yc；重复上述操作，得到训练集；
1-3、验证集与测试集制作：利用3DsMax读入制作训练集时已设置相机的三维模型，首先移动三维模型位置，随后在保证姿态角数值在[θmin,θmax]内的前提下旋转模型，渲染生成空间非合作目标的姿态样本图片，标注此时在相机坐标系下的三个位置坐标作为位置标签Xr、三个姿态角数值作为姿态数值标签yr，并根据姿态数值标签yr所在的姿态类别区间标注姿态类别标签yc；重复上述操作，得到验证集与测试集。
进一步地，在步骤二中，构建神经网络的具体步骤如下：
主干网络选取AlexNet，删除末端的全连接层，随后并列连接四个全连接层；前三个全连接层后再连接Softmax函数，分别用于输出俯仰角、偏航角、滚转角的姿态类别概率；第四个全连接层直接输出位置信息；具体地，卷积层1输入图像为224*224*3，采用9个11*11的卷积核，其步长为4，激活函数采用relu函数；进入局部响应归一化层1；进入最大池化层1，池化核大小为3*3，步长为2；进入卷积层2，采用256个5*5的卷积核，步长为1，激活函数采用relu函数；进入局部响应归一化层2；进入最大池化层2，池化核大小为3*3，步长为2；进入卷积层3，采用384个3*3的卷积核，步长为1，激活函数采用relu函数；进入卷积层4，采用384个3*3的卷积核，步长为1，激活函数采用relu函数；进入卷积层5，采用256个3*3的卷积核，步长为1，激活函数采用relu函数；进入最大池化层3，池化核大小为3*3，步长为2；进入全连接层1，使用4096个神经元，并进行Dropout操作；进入全连接层2，使用4096个神经元，并进行Dropout操作；分别进入四分支的全连接层；全连接层FC_Pitch：第一分支采用与姿态类别数目相同的神经元数目，对全连接层2中的4096个神经元进行全连接，预测俯仰角姿态类别概率；全连接层FC_Yaw：第二分支采用与姿态类别数目相同的神经元数目，对全连接层2中的4096个神经元进行全连接，预测偏航角姿态类别概率；全连接层FC_Roll：第三分支采用与姿态类别数目相同的神经元数目，对全连接层2中的4096个神经元进行全连接，预测滚转角姿态类别概率；全连接层FC_Loc：第四分支采用三个神经元，对全连接层2中的4096个神经元进行全连接，预测空间非合作目标位置信息。
进一步地，在步骤三中，设计损失函数的具体步骤如下：
所述步骤三中的四个分支均采用独立的损失函数，前三分支采用相同的损失函数，其损失函数由姿态分类损失函数与姿态回归损失函数组成；第四个分支采用均方误差损失函数；具体构造步骤如下：
3-1、构建姿态分类损失函数：全连接层FC_Pitch连接Softmax函数输出姿态类别概率，取姿态类别概率数值最大的姿态类别作为估计姿态类别，此处采用交叉熵损失函数缩小估计姿态类别与姿态类别标签的误差；交叉熵损失函数为
Figure BDA0002857344510000041
式中，yc为姿态类别标签，
Figure BDA0002857344510000042
为估计姿态类别；
3-2、经过Softmax生成的所有姿态类别概率分别与姿态类别对应相乘后求和，得到姿态类别编码ysoftclass；
Figure BDA0002857344510000051
式中，i为步骤一中设定的姿态类别，pi为第i类姿态类别的概率；
3-3、构建姿态回归损失函数，将姿态类别编码ysoftclass进行解码操作
Figure BDA0002857344510000052
式中，
Figure BDA0002857344510000053
为估计姿态数值，δ为角度分类间隔阈值，θmin为所需估计角度的最小值；
3-4、得到估计姿态数值后，采用均方误差损失函数缩小估计姿态数值与姿态数值标签的误差
Figure BDA0002857344510000054
式中，yr为姿态数值标签；
3-5、构建姿态总体损失函数：姿态总体损失函数为姿态分类损失函数与姿态回归损失函数之和
Figure BDA0002857344510000055
3-6、第二、第三分支均采用相同的损失函数并分别进行运算，构建得到分支FC_Yaw、FC_Roll的损失函数Lyaw、Lroll；
3-7、构建第四分支损失函数，即位置损失函数，位置损失函数采用均方误差损失函数
Figure BDA0002857344510000056
式中，Xr为位置标签，
Figure BDA0002857344510000057
为估计位置。
进一步地，在步骤四中，训练神经网络的具体步骤如下：
4-1、设置神经网络训练参数；其中，优化器选用Adam优化器，权重衰减系数为0.001；
4-2、将训练集与验证集输入构建好的神经网络进行前向传播运算，得到估计值后与标签值进行比较，通过损失函数进行反向传播运算，使损失函数向全局最小值方向更新权重；
4-3、重复4-2直至损失函数收敛至其全局最小值时，保存训练好的神经网络模型。
有益效果：
(1)本发明将精度高的AlexNet网络迁移到本发明中，在提高了位姿估计精度的同时还提高了检测速度，可以满足空间非合作目标位姿估计的实时性需求。
(2)本发明采用基于深度学习的位姿估计方法，所需数据集较少，且仅需相机拍摄的单张图片即可对空间非合作目标进行位姿估计。
附图说明
图1是本发明空间非合作目标位姿估计方法的流程图；
图2是本发明空间非合作目标位姿估计神经网络结构图；
图3是本发明空间非合作目标位姿估计结果图，其中，(a)为标签图像，(b)为估计图像。
具体实施方式
下面结合附图并举实施例，对本发明进行详细描述。
本发明提供一种基于深度学习的空间非合作目标位姿估计方法，如图1所示，包括：
(1)划分姿态类别区间，生成空间非合作目标图像数据病标注姿态类别标签、姿态数值标签、位置标签，得到空间非合作目标的标注数据集。
所述步骤(1)中得到的空间非合作目标的标注数据集包括训练集、验证集、测试集，具体步骤包括：
(1-1)设置角度分类间隔阈值δ，以δ为间隔划分姿态类别区间。根据姿态角数值所在的姿态类别区间确定其姿态类别，每个样本对应三个姿态类别标签。下面详细说明分类原则，θmin为所需估计角度最小值，θmax为所需估计角度最大值。姿态类别标注原则如下：角度在区间
Figure BDA0002857344510000071
内姿态类别记为0；角度在区间
Figure BDA0002857344510000072
内姿态类别记为1；角度在区间
Figure BDA0002857344510000073
内姿态类别记为2；…；角度在区间
Figure BDA0002857344510000074
内姿态类别记为
Figure BDA0002857344510000075
本发明实施例角度分类间隔阈值δ取值为6°，估计角度最小值θmin取-30°，估计角度最大值θmax取30°，角度类别为11(类别从0到10)。
(1-2)训练集制作：利用3DsMax读入空间非合作目标的三维模型，首先在3DsMax中放置相机并设置相机视场角参数，随后移动三维模型位置，再根据设置的角度分类间隔阈值δ旋转三维模型，渲染生成空间非合作目标的样本图片，标注此时在相机坐标系下的三个位置坐标作为位置标签Xr、三个姿态角数值作为姿态数值标签yr，并根据姿态数值标签yr所在的姿态类别区间标注姿态类别标签yc。重复上述操作，得到训练集。
(1-3)验证集与测试集制作：利用3DsMax读入制作训练集时已设置相机的三维模型，首先移动三维模型位置，随后在保证姿态角度在[θmin,θmax]内的前提下旋转模型，渲染生成空间非合作目标的样本图片，标注此时在相机坐标系下的三个位置坐标作为位置标签Xr、三个姿态角数值作为姿态数值标签yr，并根据姿态数值标签yr所在的姿态类别区间标注姿态类别标签yc。重复上述操作，得到验证集与测试集。
(2)构建神经网络。
所述步骤(2)中构建神经网络的具体步骤如下：
如图2所示，主干网络选取AlexNet，移除AlexNet网络末端全连接层，随后并列连接四个全连接层：前三个全连接层后再连接Softmax函数，分别用于输出俯仰角、偏航角、滚转角的姿态类别概率；第四个全连接层直接输出位置信息。具体地，卷积层1输入图像为224*224*3，采用9个11*11的卷积核，其步长为4，激活函数采用relu函数；进入局部响应归一化层1；进入最大池化层1，池化核大小为3*3，步长为2；进入卷积层2，采用256个5*5的卷积核，步长为1，激活函数采用relu函数；进入局部响应归一化层2；进入最大池化层2，池化核大小为3*3，步长为2；进入卷积层3，采用384个3*3的卷积核，步长为1，激活函数采用relu函数；进入卷积层4，采用384个3*3的卷积核，步长为1，激活函数采用relu函数；进入卷积层5，采用256个3*3的卷积核，步长为1，激活函数采用relu函数；进入最大池化层3，池化核大小为3*3，步长为2；进入全连接层1，使用4096个神经元，并进行Dropout操作；进入全连接层2，使用4096个神经元，并进行Dropout操作；分别进入四分支的全连接层；全连接层FC_Pitch：第一分支采用与姿态类别数目相同的神经元数目，对全连接层2中的4096个神经元进行全连接，预测俯仰角姿态类别概率；全连接层FC_Yaw：第二分支采用与姿态类别数目相同的神经元数目，对全连接层2中的4096个神经元进行全连接，预测偏航角姿态类别概率；全连接层FC_Roll：第三分支采用与姿态类别数目相同的神经元数目，对全连接层2中的4096个神经元进行全连接，预测滚转角姿态类别概率；全连接层FC_Loc：第四分支采用三个神经元，对全连接层2中的4096个神经元进行全连接，预测空间非合作目标位置信息。
(3)设计四个分支的损失函数。
所述步骤(3)中的四个分支均采用独立的损失函数，前三分支采用相同的损失函数，其损失函数由姿态分类损失函数与姿态回归损失函数组成。第四分支直接采用均方误差损失函数。具体构造步骤：
(3-1)构建姿态分类损失函数：全连接层FC_Pitch连接Softmax函数输出姿态类别概率，取姿态类别概率数值最大的姿态类别作为估计姿态类别，此处采用交叉熵损失函数缩小估计姿态类别与姿态类别标签的误差；交叉熵损失函数为
Figure BDA0002857344510000091
式中，yc为姿态类别标签，
Figure BDA0002857344510000092
为估计姿态类别。
(3-2)经过Softmax生成的所有姿态类别概率分别与姿态类别对应相乘后求和，得到姿态类别编码ysoftclass
Figure BDA0002857344510000093
式中，i为步骤(1)中设定的姿态类别，pi为第i类姿态类别的概率。
(3-3)构建姿态回归损失函数：将姿态类别编码ysoftclass进行解码操作
Figure BDA0002857344510000094
式中，
Figure BDA0002857344510000095
为估计姿态数值，δ为角度分类间隔阈值，θmin为所需估计角度的最小值。
(3-4)得到估计姿态数值后，采用均方误差损失函数缩小估计姿态与标签姿态的误差
Figure BDA0002857344510000096
式中，yr为姿态数值标签。
(3-5)构建姿态总体损失函数：姿态总体损失函数为姿态分类损失函数与姿态回归损失函数之和
Figure BDA0002857344510000101
(3-6)第二、第三分支均采用相同的损失函数并分别进行运算，依照相同规则构建分支FC_Yaw、FC_Roll的损失函数Lyaw、Lroll。
(3-7)构建位置损失函数：第四分支损失函数为位置损失函数，位置损失函数采用均方误差损失函数
Figure BDA0002857344510000102
式中，Xr为位置标签，
Figure BDA0002857344510000103
为估计位置。
(4)将训练集和验证集输入步骤(2)构建的神经网络中，利用步骤(3)中设计的损失函数对神经网络进行训练，得到损失函数取全局最小值的神经网络模型。
所述步骤(4)中，神经网络训练的具体步骤如下：
(4-1)设置神经网络训练参数等：优化器选用Adam优化器、权重衰减系数为0.001；
(4-2)将训练集与验证集输入构建好的神经网络进行前向传播运算，得到估计值后与标签值进行比较，通过损失函数进行反向传播运算，使损失函数向全局最小值方向更新权重；
(4-3)重复(4-2)直至神经网络收敛到损失函数取全局最小值，得到训练好的神经网络模型。
(5)将测试集输入到训练好的神经网络模型中，利用训练好的神经网络模型对测试集进行测试，得到空间非合作目标的位姿估计结果。
实施例1：
本实施例中，空间非合作目标选取为已知三维模型的航天器，对目标航天器进行位姿估计。实施步骤如下：
(1)划分姿态类别区间，制作训练集、验证集、测试集。
(1-1)划分姿态类别区间：设置角度分类间隔阈值δ＝6°，以6°为间隔划分姿态类别。估计角度最小值θmin＝-30°，估计角度最大值θmax＝30°。角度区间[-33°,-27°)为姿态类别0、角度区间[-27°,-21°)为姿态类别1、角度区间[-21°,-15°)为姿态类别2、角度区间[-15°,-9°)为姿态类别3、角度区间[-9°,-3°)为姿态类别4、角度区间[-3°,3°)为姿态类别5、角度区间[3°,9°)为姿态类别6、角度区间[9°,15°)为姿态类别7、角度区间[15°,21°)为姿态类别8、角度区间[21°,27°)为姿态类别9、角度区间[27°,33°)为姿态类别10。
(1-2)利用3DsMax读入目标航天器的三维模型，设置相机视场角：水平方向89.802°、垂直方向73.55°、对角方向102.488°，移动模型位置，随后根据设置的角度分类间隔阈值6°旋转三维模型，渲染生成目标航天器的样本图片，标注此时的三个位置坐标作为位置标签Xr、三个姿态角数值作为姿态数值标签yr，并根据姿态数值标签yr所在的姿态类别区间标注姿态类别标签yc。重复上述操作，得到目标航天器的标注数据集。训练集姿态角度范围为[-30°,30°]，角度间隔6°，每个姿态选取9个位置，共11979张图片。验证集角度范围为[-23°,27°]，角度间隔10°，每个姿态选取9个位置，共1944张图片。测试集角度范围为[-27°,23°]，角度间隔10°，每个姿态选取9个位置，共1944张图片。
(2)按照本发明提出的神经网络结构来构建神经网络。
(3)按照本发明提出的位姿估计损失函数设计损失函数。
(4)将训练集与验证集输入步骤(2)构建的神经网络中，利用步骤(3)中设计的损失函数对神经网络进行训练。训练过程中，优化器采用Adam优化器、权重衰减系数为0.0001。重复训练直至神经网络收敛。
(5)将测试集输入训练好的神经网络中进行测试，得到位姿估计结果。
下表是AlexNet网络位姿估计结果，AlexNet对姿态角估计的最优标准差为0.965°，对位置估计的最优标准差为0.313m。
Figure BDA0002857344510000121
图3(a)和(b)给出了目标航天器位姿估计的标签图像与估计图像的比较。
从本发明实施例可以看出，本发明方法在角度分类间隔阈值δ较大时即可获得较高的姿态精度。在实际使用过程中，可根据所估计角度范围重新划分姿态类别与角度分类间隔阈值δ，从而提高估计精度。本发明通过单摄像机、单幅图像对空间非合作目标进行端到端的位姿估计，检测速度在1.2毫秒左右。本发明的空间非合作目标位姿估计方法具有所需数据集量小、精度高、检测速度快的优点。
综上所述，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种基于深度学习的空间非合作目标位姿估计方法，其特征在于，包括以下步骤：
步骤一、划分姿态类别区间，生成空间非合作目标图像数据并标注姿态类别标签、姿态数值标签、位置标签，得到空间非合作目标的标注数据集，所述标注数据集包括：训练集、验证集和测试集；
步骤二、基于AlexNet网络构建应用于空间非合作目标位姿估计的神经网络，移除AlexNet网络末端全连接层后并列连接四个全连接层，从而形成四个分支，其中，前三个分支分别用于估计空间非合作目标的三个姿态角，第四个分支用于估计空间非合作目标的位置；
步骤三、设计四个分支的损失函数；
步骤四、将训练集与验证集输入构建的神经网络中，利用设计的损失函数对神经网络进行训练，当损失函数收敛至全局最小值时，保存神经网络模型；
步骤五、利用训练好的神经网络模型对空间非合作目标进行位姿估计。
2.如权利要求1所述的一种基于深度学习的空间非合作目标位姿估计方法，其特征在于，在步骤一中，得到标注数据集的步骤如下：
1-1、设置角度分类间隔阈值δ，以δ为间隔划分姿态类别区间；根据姿态角数值所在的姿态类别区间确定其姿态类别，每个样本对应三个姿态类别标签；θmin为所需估计角度最小值，θmax为所需估计角度最大值；姿态类别标注原则如下：角度在区间
Figure FDA0002857344500000011
内姿态类别记为0；角度在区间
Figure FDA0002857344500000012
Figure FDA0002857344500000013
内姿态类别记为1；角度在区间
Figure FDA0002857344500000014
内姿态类别记为2；…；角度在区间
Figure FDA0002857344500000015
内姿态类别记为
Figure FDA0002857344500000016
1-2、训练集制作：利用3DsMax读入空间非合作目标的三维模型，首先在3DsMax中放置相机并设置相机视场角参数，随后移动三维模型位置，再根据设置的角度分类间隔阈值δ旋转三维模型，渲染生成空间非合作目标的样本图片，标注此时在相机坐标系下的三个位置坐标作为位置标签Xr、三个姿态角数值作为姿态数值标签yr，并根据姿态数值标签yr所在的姿态类别区间标注姿态类别标签yc；重复上述操作，得到训练集；
1-3、验证集与测试集制作：利用3DsMax读入制作训练集时已设置相机的三维模型，首先移动三维模型位置，随后在保证姿态角数值在[θmin,θmax]内的前提下旋转模型，渲染生成空间非合作目标的样本图片，标注此时在相机坐标系下的三个位置坐标作为位置标签Xr、三个姿态角数值作为姿态数值标签yr，并根据姿态数值标签yr所在的姿态类别区间标注姿态类别标签yc；重复上述操作，得到验证集与测试集。
3.如权利要求1所述的一种基于深度学习的空间非合作目标位姿估计方法，其特征在于，在步骤二中，构建神经网络的具体步骤如下：
主干网络选取AlexNet，删除末端的全连接层，随后并列连接四个全连接层；前三个全连接层后再连接Softmax函数，分别用于输出俯仰角、偏航角、滚转角的姿态类别概率；第四个全连接层直接输出位置信息；具体地，卷积层1输入图像为224*224*3，采用9个11*11的卷积核，其步长为4，激活函数采用relu函数；进入局部响应归一化层1；进入最大池化层1，池化核大小为3*3，步长为2；进入卷积层2，采用256个5*5的卷积核，步长为1，激活函数采用relu函数；进入局部响应归一化层2；进入最大池化层2，池化核大小为3*3，步长为2；进入卷积层3，采用384个3*3的卷积核，步长为1，激活函数采用relu函数；进入卷积层4，采用384个3*3的卷积核，步长为1，激活函数采用relu函数；进入卷积层5，采用256个3*3的卷积核，步长为1，激活函数采用relu函数；进入最大池化层3，池化核大小为3*3，步长为2；进入全连接层1，使用4096个神经元，并进行Dropout操作；进入全连接层2，使用4096个神经元，并进行Dropout操作；分别进入四分支的全连接层；全连接层FC_Pitch：第一分支采用与姿态类别数目相同的神经元数目，对全连接层2中的4096个神经元进行全连接，预测俯仰角姿态类别概率；全连接层FC_Yaw：第二分支采用与姿态类别数目相同的神经元数目，对全连接层2中的4096个神经元进行全连接，预测偏航角姿态类别概率；全连接层FC_Roll：第三分支采用与姿态类别数目相同的神经元数目，对全连接层2中的4096个神经元进行全连接，预测滚转角姿态类别概率；全连接层FC_Loc：第四分支采用三个神经元，对全连接层2中的4096个神经元进行全连接，预测空间非合作目标位置信息。
4.如权利要求1所述的一种基于深度学习的空间非合作目标位姿估计方法，其特征在于，在步骤三中，设计损失函数的具体步骤如下：
所述步骤三中的四个分支均采用独立的损失函数，前三分支采用相同的损失函数，其损失函数由姿态分类损失函数与姿态回归损失函数组成；第四个分支采用均方误差损失函数；具体构造步骤如下：
3-1、构建姿态分类损失函数：全连接层FC_Pitch连接Softmax函数输出姿态类别概率，取姿态类别概率数值最大的姿态类别作为估计姿态类别，此处采用交叉熵损失函数缩小估计姿态类别与姿态类别标签的误差；交叉熵损失函数为
Figure FDA0002857344500000031
式中，yc为姿态类别标签，
Figure FDA0002857344500000032
为估计姿态类别；
3-2、经过Softmax生成的所有姿态类别概率分别与姿态类别对应相乘后求和，得到姿态类别编码ysoftclass；
Figure FDA0002857344500000033
式中，i为步骤一中设定的姿态类别，pi为第i类姿态类别的概率；
3-3、构建姿态回归损失函数，将姿态类别编码ysoftclass进行解码操作
Figure FDA0002857344500000041
式中，
Figure FDA0002857344500000042
为估计姿态数值，δ为角度分类间隔阈值，θmin为所需估计角度的最小值；
3-4、得到估计姿态数值后，采用均方误差损失函数缩小估计姿态数值与姿态数值标签的误差
Figure FDA0002857344500000043
式中，yr为姿态数值标签；
3-5、构建姿态总体损失函数：姿态总体损失函数为姿态分类损失函数与姿态回归损失函数之和
Figure FDA0002857344500000044
3-6、第二、第三分支均采用相同的损失函数并分别进行运算，构建得到分支FC_Yaw、FC_Roll的损失函数Lyaw、Lroll；
3-7、构建第四分支损失函数，即位置损失函数，位置损失函数采用均方误差损失函数
Figure FDA0002857344500000045
式中，Xr为位置标签，
Figure FDA0002857344500000046
为估计位置。
5.如权利要求1所述的一种基于深度学习的空间非合作目标位姿估计方法，其特征在于，在步骤四中，训练神经网络的具体步骤如下：
4-1、设置神经网络训练参数；其中，优化器选用Adam优化器，权重衰减系数为0.001；
4-2、将训练集与验证集输入构建好的神经网络进行前向传播运算，得到估计值后与标签值进行比较，通过损失函数进行反向传播运算，使损失函数向全局最小值方向更新权重；
4-3、重复4-2直至损失函数收敛至其全局最小值时，保存训练好的神经网络模型。
CN202011551484.0A 2020-12-24 2020-12-24 一种基于深度学习的空间非合作目标位姿估计方法 Active CN112651437B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011551484.0A CN112651437B (zh) 2020-12-24 2020-12-24 一种基于深度学习的空间非合作目标位姿估计方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011551484.0A CN112651437B (zh) 2020-12-24 2020-12-24 一种基于深度学习的空间非合作目标位姿估计方法

Publications (2)

Publication Number Publication Date
CN112651437A true CN112651437A (zh) 2021-04-13
CN112651437B CN112651437B (zh) 2022-11-11

Family

ID=75360174

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011551484.0A Active CN112651437B (zh) 2020-12-24 2020-12-24 一种基于深度学习的空间非合作目标位姿估计方法

Country Status (1)

Country Link
CN (1) CN112651437B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113436251A (zh) * 2021-06-24 2021-09-24 东北大学 一种基于改进的yolo6d算法的位姿估计系统及方法
CN113916254A (zh) * 2021-07-22 2022-01-11 北京控制工程研究所 一种停靠式抓捕的航天器自主交会对接试验方法
CN114187360A (zh) * 2021-12-14 2022-03-15 西安交通大学 基于深度学习和四元数的头部位姿估计方法
CN114266824A (zh) * 2021-12-10 2022-04-01 北京理工大学 一种基于深度学习的非合作目标相对位姿测量方法、系统
CN114942591A (zh) * 2022-04-13 2022-08-26 西北工业大学 视觉伺服方法、装置
CN115563571A (zh) * 2022-12-07 2023-01-03 中国西安卫星测控中心 一种基于深度神经网络的定姿回归模型的构建方法
CN115688610A (zh) * 2022-12-27 2023-02-03 泉州装备制造研究所 一种无线电磁六维定位方法、系统、存储介质及电子设备
CN116363217A (zh) * 2023-06-01 2023-06-30 中国人民解放军国防科技大学 空间非合作目标位姿测量方法、装置、计算机设备及介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015096508A1 (zh) * 2013-12-28 2015-07-02 华中科技大学 一种模型约束下的在轨三维空间目标姿态估计方法及系统
CN109284530A (zh) * 2018-08-02 2019-01-29 西北工业大学 基于深度学习的空间非合作目标姿轨一体化参数估计方法
CN109631911A (zh) * 2018-12-17 2019-04-16 浙江大学 一种基于深度学习目标识别算法的卫星姿态转动信息确定方法
CN111428619A (zh) * 2020-03-20 2020-07-17 电子科技大学 基于有序回归和软标签的三维点云头部姿态估计系统和方法
CN111862201A (zh) * 2020-07-17 2020-10-30 北京航空航天大学 一种基于深度学习的空间非合作目标相对位姿估计方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015096508A1 (zh) * 2013-12-28 2015-07-02 华中科技大学 一种模型约束下的在轨三维空间目标姿态估计方法及系统
CN109284530A (zh) * 2018-08-02 2019-01-29 西北工业大学 基于深度学习的空间非合作目标姿轨一体化参数估计方法
CN109631911A (zh) * 2018-12-17 2019-04-16 浙江大学 一种基于深度学习目标识别算法的卫星姿态转动信息确定方法
CN111428619A (zh) * 2020-03-20 2020-07-17 电子科技大学 基于有序回归和软标签的三维点云头部姿态估计系统和方法
CN111862201A (zh) * 2020-07-17 2020-10-30 北京航空航天大学 一种基于深度学习的空间非合作目标相对位姿估计方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
SUMANT SHARMA, ETC.: "Pose estimation for non-cooperative spacecraft rendezvous using convolutional neural networks", 《2018 IEEE AEROSPACE CONFERENCE》 *
徐云飞等: "一种卷积神经网络非合作目标姿态测量方法", 《宇航学报》 *
贾瑞明等: "基于编解码双路卷积神经网络的视觉自定位方法", 《北京航空航天大学学报》 *
黄心汉等: "基于卷积神经网络的目标识别及姿态检测", 《华中科技大学学报(自然科学版)》 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113436251A (zh) * 2021-06-24 2021-09-24 东北大学 一种基于改进的yolo6d算法的位姿估计系统及方法
CN113436251B (zh) * 2021-06-24 2024-01-09 东北大学 一种基于改进的yolo6d算法的位姿估计系统及方法
CN113916254A (zh) * 2021-07-22 2022-01-11 北京控制工程研究所 一种停靠式抓捕的航天器自主交会对接试验方法
CN114266824A (zh) * 2021-12-10 2022-04-01 北京理工大学 一种基于深度学习的非合作目标相对位姿测量方法、系统
CN114187360A (zh) * 2021-12-14 2022-03-15 西安交通大学 基于深度学习和四元数的头部位姿估计方法
CN114187360B (zh) * 2021-12-14 2024-02-06 西安交通大学 基于深度学习和四元数的头部位姿估计方法
CN114942591A (zh) * 2022-04-13 2022-08-26 西北工业大学 视觉伺服方法、装置
CN115563571A (zh) * 2022-12-07 2023-01-03 中国西安卫星测控中心 一种基于深度神经网络的定姿回归模型的构建方法
CN115688610A (zh) * 2022-12-27 2023-02-03 泉州装备制造研究所 一种无线电磁六维定位方法、系统、存储介质及电子设备
CN115688610B (zh) * 2022-12-27 2023-08-15 泉州装备制造研究所 一种无线电磁六维定位方法、系统、存储介质及电子设备
CN116363217A (zh) * 2023-06-01 2023-06-30 中国人民解放军国防科技大学 空间非合作目标位姿测量方法、装置、计算机设备及介质
CN116363217B (zh) * 2023-06-01 2023-08-11 中国人民解放军国防科技大学 空间非合作目标位姿测量方法、装置、计算机设备及介质

Also Published As

Publication number Publication date
CN112651437B (zh) 2022-11-11

Similar Documents

Publication Publication Date Title
CN112651437B (zh) 一种基于深度学习的空间非合作目标位姿估计方法
CN112256056B (zh) 基于多智能体深度强化学习的无人机控制方法及系统
CN112949407B (zh) 一种基于深度学习和点集优化的遥感影像建筑物矢量化方法
CN109523013B (zh) 基于浅层卷积神经网络的空气颗粒物污染程度估计方法
CN110189304B (zh) 基于人工智能的光学遥感图像目标在线快速检测方法
CN106814737B (zh) 一种基于啮齿类动物模型和RTAB‑Map闭环检测算法的SLAM方法
CN113205466A (zh) 一种基于隐空间拓扑结构约束的残缺点云补全方法
CN111368759B (zh) 基于单目视觉的移动机器人语义地图构建系统
CN112365091B (zh) 一种基于分类节点图注意力网络的雷达定量降水估计方法
CN114719848B (zh) 基于视觉与惯性导航信息融合神经网络的无人机高度估算方法
CN113627093A (zh) 一种基于改进Unet网络的水下机构跨尺度流场特征预测方法
CN111028238A (zh) 一种基于机器人视觉的复杂异形曲面三维分割方法及系统
CN114842681A (zh) 一种基于多头注意力机制的机场场面航迹预测方法
CN113268074A (zh) 一种基于联合优化的无人机航迹规划方法
CN112648999A (zh) 一种基于多尺度网格细胞路径积分的类脑导航方法
CN116679711A (zh) 一种基于有模型与无模型强化学习的机器人避障方法
CN116663384A (zh) 一种战场任务规划背景下的目标轨迹预测方法
CN111812978A (zh) 一种多无人机协作slam方法与系统
CN112268564B (zh) 一种无人机降落空间位置和姿态端到端估计方法
CN114693932A (zh) 一种大型飞机大部件点云语义分割方法
CN113221450B (zh) 一种针对稀疏不均匀时序数据的航位预测方法及系统
Neloy et al. Alpha-N-V2: Shortest path finder automated delivery robot with obstacle detection and avoiding system
CN114266824B (zh) 一种基于深度学习的非合作目标相对位姿测量方法、系统
CN113724325B (zh) 一种基于图卷积网络的多场景单目相机位姿回归方法
CN113065499B (zh) 基于视觉学习驱动的空中机器人集群控制方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant