CN111862126A - 深度学习与几何算法结合的非合作目标相对位姿估计方法 - Google Patents

深度学习与几何算法结合的非合作目标相对位姿估计方法 Download PDF

Info

Publication number
CN111862126A
CN111862126A CN202010655693.3A CN202010655693A CN111862126A CN 111862126 A CN111862126 A CN 111862126A CN 202010655693 A CN202010655693 A CN 202010655693A CN 111862126 A CN111862126 A CN 111862126A
Authority
CN
China
Prior art keywords
key point
network
coordinate
regression
coordinates
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010655693.3A
Other languages
English (en)
Other versions
CN111862126B (zh
Inventor
胡庆雷
郇文秀
郑建英
郭雷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
Original Assignee
Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University filed Critical Beihang University
Priority to CN202010655693.3A priority Critical patent/CN111862126B/zh
Publication of CN111862126A publication Critical patent/CN111862126A/zh
Application granted granted Critical
Publication of CN111862126B publication Critical patent/CN111862126B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于航天器导航领域，特别涉及一种深度学习与几何算法结合的非合作目标相对位姿估计方法，包括：利用非合作目标数据集，手动选择2D关键点，结合多视图三角剖分重建非合作目标的3D模型结合；将3D坐标重投影到图像平面获得关键点2D坐标估计值；设计目标检测和语义分割网络以及关键点回归网络，有监督的回归2D关键点坐标；利用非线性最小二乘法最小化2D‑3D对应点坐标的误差估计非合作目标的六自由度相对位置和相对姿态。本方法将深度学习和几何优化算法有效结合，能够实现基于视觉图像的精度高、速度快的位姿估计算法的研究，是深度学习应用于航空航天领域的创新应用。

Description

深度学习与几何算法结合的非合作目标相对位姿估计方法
技术领域
本发明属于航天器导航领域，特别涉及一种深度学习与几何算法结合的非合作航天器相对位姿估计方法，本方法以非合作航天器的灰度图像作为信息，将传统几何算法与深度学习结合，通过设计深度神经网络，实现基于视觉图像的精度高、速度快的位姿估计算法的研究，协助完成失效航天器的抓捕、故障卫星维修等在内的多项空间任务。
背景技术
空间非合作航天器的位姿信息获取问题在空间对抗、在轨维护、空间装配、自主交会对接等领域都具有很高的研究价值，探索非合作航天器的识别与姿态估计方法也是维护国家空天安全的客观需要。非合作航天器的在轨 6DOF姿态估计，即相对位置和相对姿态估计，是在轨服务和太空防御的一项必不可少的技术任务。非合作航天器是一种不能提供有效合作信息，不产生信息交换，姿态角、旋转角速度、轨道参数、质量分布以及通信频段等在内的运动信息和结构尺寸未知或者部分未知的航天器。
通过单目相机对非合作目标进行图像采集，然后利用采集到的图像信息对目标的结构和运动进行估计，现有方法通过相机和计算机便可实现对非合作目标的测量，从而直接或者间接对目标进行位姿估计对于非合作航天器位姿规划领域。但是现有基于视觉的方法大多是利用传统图像处理算法在位姿估计方面的应用，传统的图像处理方法对整幅图像人工提取特征，进而对提取的特征完成对应的匹配分组和假设验证，手动处理影响了实时分析的速度，存在无法实时性估计并且自主性较低的缺点。
深度学习方法能够克服以往视觉姿态识别算法中设计流程长、识别速度慢、精度低等问题，为探索空间非合作目标识别方法提供了新的思路。然而鉴于深度学习发展时间较短，且受限于星载计算机有限的计算能力，当前仍未被实际应用于航天领域。在此情况下，超越传统的视觉处理算法，利用深度学习设计深度神经网络估计六自由度位姿，同时满足实时性和自主性的要求，成为空间应用技术的发展新趋势。
发明内容
为解决非合作目标六自由度位姿估计中利用传统方法对最近点迭代 (ICP)步骤具有依赖性、代价大且无法满足自主性的要求，以及传统视觉处理算法对手动特征的依赖和固定的匹配程序限制了其在光照变化环境以及模型结构复杂等具有挑战性环境下的表现的技术问题，本发明提供了一种深度学习与传统几何算法结合的非合作目标相对位姿估计方法。本方法以非合作航天器的灰度图像作为信息，将传统几何算法与深度学习结合，通过设计深度神经网络，实现基于视觉图像的精度高、速度快的位姿估计算法的研究，协助完成失效航天器的抓捕、故障卫星维修等多项空间任务。
本发明提供了一种深度学习与几何算法结合的非合作目标相对位姿估计方法，包括如下步骤：
S1：选择非合作目标的M个点作为关键点，利用M个关键点及其真实 2D像素坐标，通过多视图三角剖分计算获得关键点3D坐标，重建非合作目标三维模型；
S2：利用真实姿态将步骤S1中获得的关键点3D坐标重投影到图像平面，获得关键点2D坐标估计值；
S3：设计目标检测和语义分割网络，预测非合作目标周围的2D边界框，获得预测2D边界框，再在预测2D边界框内进行像素级分割，识别出属于非合作目标的像素并进行分割；
S4：设计关键点回归网络，并利用步骤S2中获得的关键点2D坐标估计值和步骤S3中获得的预测2D边界框共同监督训练所述关键点回归网络，回归得到非合作目标的关键点2D坐标预测值；
S5：利用步骤S4中回归得到的关键点2D坐标预测值和步骤S1中获得的关键点3D坐标，建立2D-3D坐标对应关系，并且利用非线性优化的方式，构建最小二乘问题并迭代求解，估计非合作目标姿态；
S6：选择评价指标评价步骤S5中的非合作目标姿态估计结果。
进一步，步骤S1具体过程如下：
S11：将航天器姿态估计数据集SPEED按照2：8的比例划分为训练集和交叉验证集；
S12：选择非合作目标的M个点作为关键点，从训练集中手动选择N张图像并且手动标注图像中非合作目标的M个2D关键点；
S13：利用步骤S12中手动标注的2D关键点，结合其在对应图像中的真实2D像素坐标和相机的内在特性，通过式(1)的多视图三角剖分计算获得关键点3D坐标，实现非合作目标三维模型的重建：
Figure BDA0002576654190000031
其中，
Figure BDA0002576654190000032
表示第j个关键点的真实2D像素坐标；
Figure BDA0002576654190000033
表示第j个关键点 3D坐标；
Figure BDA0002576654190000034
表示用齐次坐标表示；K为相机的包括内参矩阵在内的投影变换矩阵；Ti表示第i个图像的真实姿态，Ti＝(Ri,ti)，Ri为第i个图像的四元数真实值构成的旋转矩阵，ti为第i个图像的真实位移向量。
进一步，步骤S2中的重投影为：
Figure BDA0002576654190000035
其中，
Figure BDA0002576654190000036
为第j个关键点2D坐标估计值。
进一步，步骤S3具体过程如下：
S31:基于Cascade Mask R-CNN框架设计目标检测与语义分割网络，具体过程如下：
1)通过CNN模块提取网络全局特征图，所述CNN模块采用多分辨率信息融合的方式，多分辨率子网并行连接，每个高分辨率到低分辨率的子网连续不断地从其他并行子网接收不同的比例信息；2)添加RPN模块，进行前景和背景二分类以及候选边界框坐标回归，以获得多个候选2D边界框； 3)设计ROI layer层，采用NMS从候选2D边界框中获得准确的2D边界框；4)在得到2D边界框的特征后，增加一个Mask分支来预测2D边界框区域内每一个像素的类别，利用卷积与反卷积构建端到端的网络，对每一个像素分类，实现目标像素级别的分割；
S32:训练所设计的目标检测与语义分割网络；
采用已知真实2D边界框的图像训练目标检测与语义分割网络，在获得多个候选边界框的情况下，利用非极大值抑制获得预测2D边界框的位置；使用小批量梯度下降算法训练所设计的目标检测与语义分割网络，损失函数为：
Figure BDA0002576654190000041
其中，Nbatch表示一个训练批次有N张图像；
Figure BDA0002576654190000042
表示检测出的锚框索引；
Figure BDA0002576654190000043
为第
Figure BDA0002576654190000044
个锚框作为目标2D边界框的概率；
Figure BDA0002576654190000045
表示第
Figure BDA0002576654190000046
个锚框中目标是否存在，若存在，则
Figure BDA0002576654190000047
等于1，否则等于0；
Figure BDA0002576654190000048
表示预测2D边界框坐标构成的向量，包括2D边界框的左上角和右下角坐标值；
Figure BDA0002576654190000049
为真实2D边界框坐标构成的向量；Lcls为二分类时的交叉熵损失函数；Lreg为回归损失函数，位置回归采用稳定的Smooth L1函数；λ为平衡因子，平衡分类损失函数和回归损失函数在总损失函数中的权重；
训练完成后，对训练好的目标检测与语义分割网络进行测试，输入测试图像，网络输出带有预测2D边界框的图像。
进一步，步骤S4具体过程如下：
S41：使用hrnet作为框架设计关键点回归网络；
首先设计stage1模块、stage2模块、stage3模块三个stage模块以及三个对应的并行子网络，将网络深度分发到每个stage模块，使得图像分辨率逐渐衰减一半；同时每个stage模块后面设计一个transition模块，每个transition 模块中含有下采样层，将特征分辨率减半获得更多分辨率的特征；最后设计 stage4模块融合多个分辨率的特征，将底层特征表示与高层特征表示聚合融合；
S42：根据获得的预测2D边界框裁剪原始图像，并将裁剪后的图像调整为224x224像素，得到训练图像，每个训练图像都具有M个关键点2D坐标估计值，所述关键点2D坐标估计值用于监督训练关键点回归网络；
S43：训练完成的关键点回归网络对M个关键点2D坐标估计值进行回归，得到非合作目标的M个关键点2D坐标预测值，损失函数最小化回归的关键点2D坐标预测值和关键点2D坐标估计值的均方误差为：
Figure BDA0002576654190000051
其中，
Figure BDA0002576654190000052
表示第j个关键点2D估计坐标点；
Figure BDA0002576654190000053
表示第j个关键点2D预测坐标点；
向训练完成的关键点回归网络中输入测试集图像进行测试，输出检测到关键点的图像。
进一步，步骤S5具体过程如下：
利用步骤S4中回归得到的关键点2D坐标预测值和步骤S1中获得的关键点3D坐标，建立2D-3D坐标对应关系，结合EPnP算法估计非合作目标姿态；
其中，通过解决鲁棒性非线性最小二乘问题得到预测姿态
Figure BDA0002576654190000067
并且采用Huber损失函数(Huber损失函数是针对回归问题的参数化损失函数，可以提高均方误差(MSE)对异常值的鲁棒性)：
Figure BDA0002576654190000061
其中，T表示姿态；Lδ(α)为Huber损失函数；α为残差；δ为超参数，当残差α小于超参数δ时，Huber损失会趋向于MSE,当残差α大于超参数δ时，Huber损失会趋向于MAE；
Figure BDA0002576654190000062
表示第j个关键点2D坐标预测值；
Figure BDA0002576654190000063
表示预测姿态；
Figure BDA0002576654190000064
表示第j个关键点3D坐标；
通过列文伯格-马夸尔特算法求解式(5)，求解过程中使用RANSAC 的P3P求解器求得初始预测姿态
Figure BDA0002576654190000065
进一步，步骤S6具体过程如下：
使用IOU度量目标检测和语义分割网络的性能：
Figure BDA0002576654190000066
式中，I为真实2D边界框与预测2D边界框的交集区域；U为真实2D 边界框与预测2D边界框的并集区域；
对于非合作目标姿态估计结果的评价指标，将预测姿态
Figure BDA0002576654190000071
转换为旋转四元数q和真实位移向量t，平移误差er和旋转误差et定义为式(7)、(8)：
Figure BDA0002576654190000072
Figure BDA0002576654190000073
其中，
Figure BDA0002576654190000074
由预测姿态
Figure BDA0002576654190000075
转换而来，分别表示预测的旋转四元数和预测位移向量。
进一步，所述M个关键点包括非合作目标的8个角点和三个轴的末端点。
本发明的有益效果：
1)本发明仅采用单目相机结合深度神经网络就可以采集目标航天器姿态信息，其特点是设备简单、成本低，适合在实际相对导航中应用；
2)本发明设计神经网络，自动学习图像上的关键特征，同时网络的参数也可以在训练中自动学习而不需要人工设计，在图像处理任务中可以代替手工提取，极大地降低了图像处理的复杂度；
3)本发明设计的卷积神经网络可以解决传统方法对后处理ICP步骤具有依赖性且代价大的缺陷，能够在端到端学习框架中完成姿态估计，提高了处理速度，适应自主性和速度快的要求；
4)本发明能够应对模型结构复杂、模型不确定等情况，将复杂模型问题转化为图像处理的问题，解决模型不确定导致的模型不匹配问题，极大的扩大了应用范围。
附图说明
图1为本发明实施例的将深度学习与几何算法结合的非合作航天器相对位姿估计方法流程图；
图2为本实施例重建的非合作航天器3D模型；
图3为本发明的目标检测与语义分割网络中RPN模块网络结构图；
图4为本发明的非合作航天器检测与语义分割网络流程图；
图5为本实施例的目标检测与语义分割网络边界框输出结果；
图6为本实施例的目标检测与语义分割网络语义分割结果；
图7为本发明的非合作航天器关键点回归网络流程图；
图8为本发明的关键点回归网络中Stage1模块网络结构图；
图9为本发明的关键点回归网络中Transition1模块网络结构图；
图10为本发明的关键点回归网络中Stage2模块网络结构图；
图11为本发明的关键点回归网络中Transition2模块网络结构图；
图12为本发明的关键点回归网络中Stage3模块网络结构图；
图13为本发明的关键点回归网络Transition3和Stage4模块网络结构图；
图14为本实施例的非合作航天器关键点回归网络输出结果图；
图15为实施例的非合作航天器关键点回归网络损失函数变化曲线；
图16为实施例中非合作航天器相对单目相机的位置和姿态示意图。
具体实施方式
本发明涉及一种深度学习与几何算法结合的非合作目标相对位姿估计方法，本方法利用现成的深度学习数据集SPEED，通过设计目标检测和语义分割网络以及关键点回归网络，结合几何算法，估计非合作目标的相对位置和相对姿态。
下面结合附图和实施例进一步描述本发明，应该理解，以下所述实施例旨在便于对本发明的理解，而对其不起任何限定作用。本实施例中，所述非合作目标为非合作航天器。
如图1所示，本实施例的深度学习与几何算法结合的非合作航天器相对位姿估计方法，具体实现步骤如下：
S1：选择非合作航天器的M个点作为关键点，利用M个关键点及其真实2D像素坐标，通过多视图三角剖分计算获得关键点3D坐标，重建非合作航天器三维模型。
本实施例选用航天器姿态估计数据集SPEED，该数据集是通过单目相机拍摄、由Tango卫星的高保真灰度图像组成。在本实施例中，所采用的数据集SPEED有12000个具有真实6D位置和姿态标签的训练图像和2998个没有真实位置和姿态标签的测试图像，将12000张训练图像按照2：8的比例划分为训练集和交叉验证集。在接近操作过程中，图像中非合作航天器的大小、方向和光照会随距离变化而变化，其中部分图像以地球为空间背景，其余图像为空白背景。
为了增强视觉特征效果，本实施例选择非合作航天器的8个角点和三个轴的末端点共11个点作为关键点(即M＝11)，从训练图像中选择N张图像并手动标注图像中非合作航天器的11个2D关键点。利用选择的11个2D 关键点，结合对应图像的真实姿态标签和相机的内在特性，通过式(1)的多视图三角测量获得关键点的3D坐标，实现非合作航天器三维模型的重建：
Figure BDA0002576654190000091
其中，
Figure BDA0002576654190000092
表示第j个关键点的真实2D像素坐标；
Figure BDA0002576654190000093
表示第j个关键点 3D坐标；
Figure BDA0002576654190000094
表示用齐次坐标表示；K为相机的包括内参矩阵在内的投影变换矩阵；Ti表示第i个图像的真实姿态，Ti＝(Ri,ti)，Ri为第i个图像的四元数真实值构成的旋转矩阵，ti为第i个图像的真实位移向量。本实施例中利用获得的关键点3D坐标重建的非合作航天器三维模型如图2所示。
S2：利用真实姿态将获得的关键点3D坐标重投影到图像平面，获得关键点2D坐标估计值，用于训练后续设计的关键点回归网络。
基于步骤S1中获得的关键点3D坐标，结合已知的真实姿态T，按照式 (2)将关键点3D坐标重投影到图像平面，获得关键点2D坐标估计值：
Figure BDA0002576654190000101
其中，
Figure BDA0002576654190000102
为第j个关键点2D坐标估计值。
S3：设计目标检测和语义分割网络，预测非合作航天器周围的2D边界框，获取预测2D边界框，再在预测2D边界框内进行像素级分割，识别出属于非合作航天器的像素并进行分割。
为了提高估计相对位置和姿态的精度，并减少星载计算机的计算负荷，本发明设计目标检测和语义分割网络来获取非合作航天器的2D边界框，其中2D边界框设计为可以包围住获得的所有关键点2D坐标估计值的最小矩形。
本发明的目标检测和语义分割网络基于CNN(卷积神经网络)设计，首先采用Cascade Mask R-CNN模块进行特征提取获得全局特征图。鉴于灰度图像所提供的有效信息不够丰富，采用多分辨率信息融合的方式，多分辨率子网并行连接，每个高分辨率到低分辨率的子网连续不断地从其他并行子网接收不同的比例信息，从而可以以丰富的高分辨率形式表示信息，由此获得的关键点信息在空间上更准确；其次，设计RPN模块专门用来提取候选框，进行二分类(前景和背景)以及候选边界框坐标回归，以获得多个候选2D边界框，如图3所示，RPN模块耗时少，且很容易结合到Cascade Mask R-CNN 中；之后，设计ROI layer层，采用NMS从候选2D边界框中获得准确的2D 边界框；最后，在得到边界框的特征后，在分类与回归的基础上，增加一个 Mask分支来预测每一个像素的类别。Mask分支采用了FCN(FullyConvolutional Network)的网络结构，利用卷积与反卷积构建端到端的网络，对每一个像素分类，实现像素级别的分割。
训练时，采用已知真实2D边界框的图像训练所设计的目标检测与语义分割网络。使用小批量梯度下降(MBGD)算法训练目标检测与语义分割网络，在本实施例中初始学习率设置为0.01，衰减率为0.001，批次大小为32，损失函数为：
Figure BDA0002576654190000111
其中，Nbatch表示一个训练批次有N张图像；
Figure BDA0002576654190000112
表示检测出的锚框索引；
Figure BDA0002576654190000113
为第
Figure BDA0002576654190000114
个锚框作为目标2D边界框的概率；
Figure BDA0002576654190000115
表示第
Figure BDA0002576654190000116
个锚框中目标是否存在，若存在，则
Figure 1
等于1，否则等于0；
Figure BDA0002576654190000118
表示预测2D边界框坐标构成的向量，包括2D边界框的左上角和右下角坐标值；
Figure BDA0002576654190000119
为真实2D边界框坐标构成的向量；Lcls为二分类时的交叉熵损失函数；Lreg为回归损失函数，位置回归采用稳定的Smooth L1函数；λ为平衡因子，平衡分类损失函数和回归损失函数在总损失函数中的权重。
图4为本发明的非合作航天器检测与语义分割网络目标检测和语义分割流程图。如图所示，首先将输入图像送入到特征提取网络得到全局特征图；然后对特征图的每一个像素位置设定固定个数的Anchor，然后将候选边界框区域送入RPN网络进行二分类(前景和背景)以及边界框坐标回归，以获得预测2D边界框，本实施例预测2D边界框输出结果如图5所示，其中图5(a) 和(b)分别表示有空间天体背景和没有空间天体背景条件下的预测2D边界框检测结果；对获得的预测2D边界框区域执行ROIAlign操作，即先将原图和特征图的像素对应起来，然后将特诊图和固定的特征对应起来；最后对边界框内物体进行像素级别多类别分类，生成Mask，完成语义分割任务，最终网络输出带有预测2D边界框的图像，本实施例语义分割结果如图6所示，其中图6(a)和(b)表示有空间天体背景条件下的语义分割前后图；图6 (c)和(d)表示没有空间天体背景条件下的语义分割前后图。应该理解，为了有代表性，本实施例选择的非合作航天器有大有小。
S4：设计关键点回归网络，并利用获得的关键点2D坐标估计值和预测 2D边界框共同监督训练所设计的关键点回归网络，回归得到非合作航天器的关键点2D坐标预测值。具体地，本步骤包括如下过程：
S41：使用hrnet作为关键点回归网络的框架，采用多分辨率融合的网络结构，多分辨率子网并行连接，设计关键点回归网络。
图7为本发明的非合作航天器关键点回归网络流程图。如图所示，首先设计三个stage模块(stage1，stage2，stage3)并行三个子网络，将网络深度分发到每个stage模块，使得图像分辨率逐渐衰减一半；然后在每个stage模块后面设计一个transition模块(transition1，transition2，transition3)，transition 中含有下采样层，将特征分辨率减半获得更多分辨率的特征，后一个stage模块的并行子网络的分辨率特征包含了其前一stage模块的分辨率特征以及额外的低分辨率的特征.；最后设计stage4模块融合多个分辨率的特征，将底层特征表示与高层特征表示聚合融合；
图8为本发明的关键点回归网络中Stage1模块网络结构图。如图所示，输入图像经过一次卷积层、BN优化和Relu函数后，其中一个分支再经过一次简单的卷积，保证图像的低分辨率表示，另一分支经过三次卷积后获得了较高的分辨率表示，最后将两种分辨率特征融合，经过非线性函数后进入 bottleneck，降低特征维度，减少参数量。
图9为本发明的关键点回归网络中transition1模块网络结构图。如图所示，该模块将stage1模块输出特征继续经过一次卷积层、BN优化和Relu函数，获得更高分辨率特征。
图10为本发明的关键点回归网络中stage2模块网络结构图。如图所示，该模块也分为两个分支，两个分支分别对transition1中输出进行多次卷积和 BN优化，在卷积过程中，对不同分辨率特征进行一次交叉融合。
图11为本发明的关键点回归网络中transition2模块网络结构图。如图所示，该模块第一个分支保持stage2中输出的分辨率不变，两一个分支通过一次卷积层、BN优化和Relu函数，获得更高分辨率特征。
图12为本发明的关键点回归网络中stage3模块网络结构图。如图所示，对transition2的输出进行多次卷积、BN优化和非线性处理，在不同的阶段多次重复进行多尺度融合，最后通过上采样，上采样则采用的是最近邻采样 (nearest neighbor sampling)，恢复较低分辨率表示。
图13为本发明的关键点回归网络中transition3和stage4模块网络结构图。如图所示，transition3简单的保持stage3模块中上采样的较低分辨率不变，stage4模块首先通过Basic blocks残差结构的两个分支，一个分支保持较低分辨率不变，另一个分支继续通过多次卷积层、BN优化、上采样，获得更多高分辨率特征图，最后对所有的不同分辨率特征图进行融合，融合多尺度的低层和高层特征。
综上，本发明通过在高分辨率特征图主网络逐渐并行加入低分辨率特征图子网络，不同网络实现多尺度融合与特征提取实现并且可以丰富图像信息。
S42：特别地，为了提高关键点回归的精度并减少关键点回归网络更新参数的数量，本实施例根据得到的预测2D边界框裁剪原始图像，并将裁剪后的图像调整为224x224像素，得到训练图像，每个训练图像都具有11个关键点2D坐标估计值；
S43：训练完成的关键点回归网络对11个关键点2D坐标估计值进行回归，得到非合作航天器的11个关键点2D坐标预测值。使用Adam优化器对网络进行100个批次的训练。损失函数最小化回归的关键点2D坐标预测值和关键点2D坐标估计值的均方误差(MSE)：
Figure BDA0002576654190000141
其中，
Figure BDA0002576654190000142
表示第j个关键点2D预测坐标点；
Figure BDA0002576654190000143
表示第j个关键点2D预测坐标点。
对训练完成的关键点回归网络模型，输入测试集图像进行测试，输出检测到关键点的图像。本实施例的非合作航天器关键点回归网络输出结果图如 14所示，其中，图14(a)和(b)分别为回归前后示意图。特别地，在关键点回归网络训练过程中，可以记录并绘制训练集和交叉验证集损失函数变化曲线，本实施例训练过程中损失函数变化曲线如图15所示，其中，图15(a) 和(b)分别为训练集和交叉验证集的损失函数曲线。
S5：利用回归得到的关键点2D坐标预测值和获得的关键点3D坐标，建立2D-3D坐标对应关系，并且利用非线性优化的方式，构建最小二乘问题并迭代求解，估计非合作航天器姿态。
具体地，利用回归得到的关键点2D坐标预测值和获得的关键点3D 坐标，建立2D-3D坐标对应关系，结合EPnP算法估计非合作航天器姿态。
其中，通过解决鲁棒性非线性最小二乘问题得到预测姿态
Figure BDA0002576654190000145
Huber 损失函数是针对回归问题的参数化损失函数，可以提高均方误差(MSE) 对异常值的鲁棒性。与最小二乘的线性回归相比，Huber损失降低了对异常值的惩罚程度，因此，Huber损失是一种常用的鲁棒回归损失函数：
Figure BDA0002576654190000144
其中，T表示姿态；Lδ(α)为Huber损失函数；α为残差；δ为超参数，当残差α小于超参数δ时，Huber损失会趋向于MSE，当残差α大于超参数δ时，Huber损失会趋向于MAE；
Figure BDA0002576654190000151
表示第j个关键点2D坐标预测值；
Figure BDA0002576654190000152
表示预测姿态；
Figure BDA0002576654190000153
表示第j个关键点3D坐标。
之后，通过列文伯格-马夸尔特算法(Levenberg-Marquardt算法)求解式(5)，求解过程中使用RANSAC的P3P求解器求得初始预测姿态
Figure BDA00025766541900001511
Levenberg-Marquardt算法对待估参数在邻域内做线性近似，忽略掉二阶以上的导数项，从而转化为线性最小二乘问题，它具有收敛速度快等优点。求解过程中使用RANSAC的P3P求解器求得初始预测姿态
Figure BDA0002576654190000154
S6：选择评价指标评价步骤S5中的非合作航天器姿态估计结果。
对于目标检测和语义分割网络，本发明使用IOU度量真实边界框与预测框之间的重叠区域：
Figure BDA0002576654190000155
式中，I为真实2D边界框与预测2D边界框的交集区域；U为真实2D 边界框与预测2D边界框的并集区域。
对于非合作航天器姿态估计结果的评价指标，将预测姿态
Figure BDA0002576654190000156
转换为旋转四元数q和真实位移向量t，平移误差er和旋转误差et定义为式(7)、(8)：
Figure BDA0002576654190000157
Figure BDA0002576654190000158
其中，
Figure BDA0002576654190000159
由预测姿态
Figure BDA00025766541900001510
转换而来，分别表示预测的旋转四元数和预测位移向量。非合作航天器相对单目相机的位置和姿态如图16所示。
下表1为本实施例利用评价指标对相对位姿估计进行评价的得分，结果与传统的SPN方法进行比较。结果表明，本发明提出的相对位姿估计方法大大提高了位置和姿态估计的精度和准确性，精度提高了近一个数量级。同时，将训练好的网络应用于合成图像数据集，表2为真实图像与合成图像实验结果比较，结果发现真实图像的姿势估计精度略低于合成图像的姿势估计精度。其原因可能是光的干涉和真实图像的信噪比低。基于此，可以通过对合成图像使用数据增强和其他手段，选择更合适的超参数，以及使用正则化等，来进一步提高网络的准确性和泛化能力。
表1.SPN方法与本发明结果比较
Figure BDA0002576654190000161
表2.真实图像与合成图像实验结果比较
Figure BDA0002576654190000162
本发明说明书中未作详细描述的内容属于本领域专业技术人员公知的现有技术。以上所述仅为本发明的一个具体实施算例，并不用以限制本发明。其他在本发明的技术和原则之内，所做的任何改进，替换等，均应属于本发明的保护范围之内。

Claims (8)

1.一种深度学习与几何算法结合的非合作目标相对位姿估计方法，其特征在于，包括如下步骤：
S1：选择非合作目标的M个点作为关键点，利用M个关键点及其真实2D像素坐标，通过多视图三角剖分计算获得关键点3D坐标，重建非合作目标三维模型；
S2：利用真实姿态将步骤S1中获得的关键点3D坐标重投影到图像平面，获得关键点2D坐标估计值；
S3：设计目标检测和语义分割网络，预测非合作目标周围的2D边界框，获得预测2D边界框，再在预测2D边界框内进行像素级分割，识别出属于非合作目标的像素并进行分割；
S4：设计关键点回归网络，并利用步骤S2中获得的关键点2D坐标估计值和步骤S3中获得的预测2D边界框共同监督训练所述关键点回归网络，回归得到非合作目标的关键点2D坐标预测值；
S5：利用步骤S4中回归得到的关键点2D坐标预测值和步骤S1中获得的关键点3D坐标，建立2D-3D坐标对应关系，并且利用非线性优化的方式，构建最小二乘问题并迭代求解，估计非合作目标姿态；
S6：选择评价指标评价步骤S5中的非合作目标姿态估计结果。
2.根据权利要求1所述的方法，其特征在于，步骤S1具体过程如下：
S11：将航天器姿态估计数据集SPEED按照2：8的比例划分为训练集和交叉验证集；
S12：选择非合作目标的M个点作为关键点，从训练集中手动选择N张图像并且手动标注图像中非合作目标的M个2D关键点；
S13：利用步骤S12中手动标注的2D关键点，结合其在对应图像中的真实2D像素坐标和相机的内在特性，通过式(1)的多视图三角剖分计算获得关键点3D坐标，实现非合作目标三维模型的重建：
Figure FDA0002576654180000021
其中，
Figure FDA0002576654180000022
表示第j个关键点的真实2D像素坐标；
Figure FDA0002576654180000023
表示第j个关键点3D坐标；
Figure FDA0002576654180000024
表示用齐次坐标表示；K为相机的包括内参矩阵在内的投影变换矩阵；Ti表示第i个图像的真实姿态，Ti＝(Ri,ti)，Ri为第i个图像的四元数真实值构成的旋转矩阵，ti为第i个图像的真实位移向量。
3.根据权利要求2所述的方法，其特征在于，步骤S2中的重投影为：
Figure FDA0002576654180000025
其中，
Figure FDA0002576654180000026
为第j个关键点2D坐标估计值。
4.根据权利要求1所述的方法，其特征在于，步骤S3具体过程如下：
S31:基于Cascade Mask R-CNN框架设计目标检测与语义分割网络，具体过程如下：
1)通过CNN模块提取网络全局特征图，所述CNN模块采用多分辨率信息融合的方式，多分辨率子网并行连接，每个高分辨率到低分辨率的子网连续不断地从其他并行子网接收不同的比例信息；2)添加RPN模块，进行前景和背景二分类以及候选边界框坐标回归，以获得多个候选2D边界框；3)设计ROI layer层，采用NMS从候选2D边界框中获得准确的2D边界框；4)在得到2D边界框的特征后，增加一个Mask分支来预测2D边界框区域内每一个像素的类别，利用卷积与反卷积构建端到端的网络，对每一个像素分类，实现目标像素级别的分割；
S32:训练所设计的目标检测与语义分割网络；
采用已知真实2D边界框的图像训练目标检测与语义分割网络，在获得多个候选边界框的情况下，利用非极大值抑制获得预测2D边界框的位置；使用小批量梯度下降算法训练所设计的目标检测与语义分割网络，损失函数为：
Figure FDA0002576654180000031
其中，Nbatch表示一个训练批次有N张图像；
Figure FDA0002576654180000035
表示检测出的锚框索引；
Figure FDA0002576654180000038
为第
Figure FDA0002576654180000039
个锚框作为目标2D边界框的概率；
Figure FDA0002576654180000032
表示第
Figure FDA0002576654180000036
个锚框中目标是否存在，若存在，则
Figure FDA0002576654180000033
等于1，否则等于0；
Figure FDA0002576654180000037
表示预测2D边界框坐标构成的向量，包括2D边界框的左上角和右下角坐标值；
Figure FDA0002576654180000034
为真实2D边界框坐标构成的向量；Lcls为二分类时的交叉熵损失函数；Lreg为回归损失函数，位置回归采用稳定的Smooth L1函数；λ为平衡因子，平衡分类损失函数和回归损失函数在总损失函数中的权重；
训练完成后，对训练好的目标检测与语义分割网络进行测试，输入测试图像，网络输出带有预测2D边界框的图像。
5.根据权利要求1所述的方法，其特征在于，步骤S4具体过程如下：
S41：使用hrnet作为框架设计关键点回归网络；
首先设计stage1模块、stage2模块、stage3模块三个stage模块以及三个对应的并行子网络，将网络深度分发到每个stage模块，使得图像分辨率逐渐衰减一半；同时每个stage模块后面设计一个transition模块，每个transition模块中含有下采样层，将特征分辨率减半获得更多分辨率的特征；最后设计stage4模块融合多个分辨率的特征，将底层特征表示与高层特征表示聚合融合；
S42：根据获得的预测2D边界框裁剪原始图像，并将裁剪后的图像调整为224x224像素，得到训练图像，每个训练图像都具有M个关键点2D坐标估计值，所述关键点2D坐标估计值用于监督训练关键点回归网络；
S43：训练完成的关键点回归网络对M个关键点2D坐标估计值进行回归，得到非合作目标的M个关键点2D坐标预测值，损失函数最小化回归的关键点2D坐标预测值和关键点2D坐标估计值的均方误差为：
Figure FDA0002576654180000041
其中，
Figure FDA0002576654180000042
表示第j个关键点2D估计坐标点；
Figure FDA0002576654180000043
表示第j个关键点2D预测坐标点；
向训练完成的关键点回归网络中输入测试集图像进行测试，输出检测到关键点的图像。
6.根据权利要求1所述的方法，其特征在于，步骤S5具体过程如下：
利用步骤S4中回归得到的关键点2D坐标预测值和步骤S1中获得的关键点3D坐标，建立2D-3D坐标对应关系，结合EPnP算法估计非合作目标姿态；
其中，通过解决鲁棒性非线性最小二乘问题得到预测姿态
Figure FDA0002576654180000044
并且采用Huber损失函数：
Figure FDA0002576654180000045
其中，T表示姿态；Lδ(α)为Huber损失函数；α为残差；δ为超参数，当残差α小于超参数δ时，Huber损失会趋向于MSE,当残差α大于超参数δ时，Huber损失会趋向于MAE；
Figure FDA0002576654180000046
表示第j个关键点2D坐标预测值；
Figure FDA0002576654180000051
表示预测姿态；
Figure FDA0002576654180000052
表示第j个关键点3D坐标；
通过列文伯格-马夸尔特算法求解式(5)，求解过程中使用RANSAC的P3P求解器求得初始预测姿态
Figure FDA0002576654180000053
7.根据权利要求1所述的方法，其特征在于，步骤S6具体过程如下：
使用IOU度量目标检测和语义分割网络的性能：
Figure FDA0002576654180000054
式中，I为真实2D边界框与预测2D边界框的交集区域；U为真实2D边界框与预测2D边界框的并集区域；
对于非合作目标姿态估计结果的评价指标，将预测姿态
Figure FDA0002576654180000055
转换为旋转四元数q和真实位移向量t，平移误差er和旋转误差et定义为式(7)、(8)：
Figure FDA0002576654180000056
Figure FDA0002576654180000057
其中，
Figure FDA0002576654180000058
由预测姿态
Figure FDA0002576654180000059
转换而来，分别表示预测的旋转四元数和预测位移向量。
8.根据权利要求1-7所述的方法，其特征在于，所述M个关键点包括非合作目标的8个角点和三个轴的末端点。
CN202010655693.3A 2020-07-09 2020-07-09 深度学习与几何算法结合的非合作目标相对位姿估计方法 Active CN111862126B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010655693.3A CN111862126B (zh) 2020-07-09 2020-07-09 深度学习与几何算法结合的非合作目标相对位姿估计方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010655693.3A CN111862126B (zh) 2020-07-09 2020-07-09 深度学习与几何算法结合的非合作目标相对位姿估计方法

Publications (2)

Publication Number Publication Date
CN111862126A true CN111862126A (zh) 2020-10-30
CN111862126B CN111862126B (zh) 2022-09-20

Family

ID=73152683

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010655693.3A Active CN111862126B (zh) 2020-07-09 2020-07-09 深度学习与几何算法结合的非合作目标相对位姿估计方法

Country Status (1)

Country Link
CN (1) CN111862126B (zh)

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112464952A (zh) * 2020-11-25 2021-03-09 创新奇智(南京)科技有限公司 一种图像对齐方法以及图像匹配识别方法
CN112525145A (zh) * 2020-11-30 2021-03-19 北京航空航天大学 一种飞机降落相对姿态动态视觉测量方法及系统
CN112669348A (zh) * 2020-12-18 2021-04-16 浙江大学 一种鱼体姿势估计和鱼体表型数据测量方法及装置
CN112861663A (zh) * 2021-01-25 2021-05-28 华南农业大学 一种基于语义分割的家禽姿态监测方法和系统
CN112861664A (zh) * 2021-01-25 2021-05-28 华南农业大学 一种基于深度学习的家禽姿态检测方法和系统
CN113379794A (zh) * 2021-05-19 2021-09-10 重庆邮电大学 基于注意力-关键点预测模型的单目标跟踪系统及方法
CN113569694A (zh) * 2021-07-22 2021-10-29 北京市博汇科技股份有限公司 一种面部筛选方法、装置、设备及存储介质
CN113793472A (zh) * 2021-09-15 2021-12-14 应急管理部沈阳消防研究所 基于特征深度聚合网络的图像型火灾探测器位姿估计方法
CN113838134A (zh) * 2021-09-26 2021-12-24 广州博冠信息科技有限公司 图像关键点检测方法、装置、终端和存储介质
CN113989699A (zh) * 2021-09-30 2022-01-28 哈尔滨工业大学 基于单目视觉和深度学习的结构全场位移稠密测量方法、装置、设备及存储介质
CN114119999A (zh) * 2021-12-02 2022-03-01 河北工业大学 基于深度学习的迭代6d位姿估计方法及装置
CN114266824A (zh) * 2021-12-10 2022-04-01 北京理工大学 一种基于深度学习的非合作目标相对位姿测量方法、系统
US20220207275A1 (en) * 2020-12-30 2022-06-30 Zoox, Inc. Multi-resolution top-down prediction
CN114742820A (zh) * 2022-05-11 2022-07-12 西南交通大学 一种基于深度学习的螺栓松动检测方法、系统及存储介质
CN115937895A (zh) * 2022-11-11 2023-04-07 南通大学 一种基于深度相机的速度与力量反馈系统
CN116012422A (zh) * 2023-03-23 2023-04-25 西湖大学 基于单目视觉的无人机6d位姿估计跟踪方法及其应用
CN116363217A (zh) * 2023-06-01 2023-06-30 中国人民解放军国防科技大学 空间非合作目标位姿测量方法、装置、计算机设备及介质
CN117237451A (zh) * 2023-09-15 2023-12-15 南京航空航天大学 一种基于轮廓重建和几何引导的工业零件6d位姿估计方法
CN117409077A (zh) * 2023-10-18 2024-01-16 无锡九霄科技有限公司 基于多尺度残差UNet分割的芯片姿态检测方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109405835A (zh) * 2017-08-31 2019-03-01 北京航空航天大学 基于非合作目标直线与圆单目图像的相对位姿测量方法
CN110450991A (zh) * 2019-08-16 2019-11-15 西北工业大学 微纳卫星集群捕获空间非合作目标的方法
US20200143205A1 (en) * 2017-08-10 2020-05-07 Intel Corporation Convolutional neural network framework using reverse connections and objectness priors for object detection

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200143205A1 (en) * 2017-08-10 2020-05-07 Intel Corporation Convolutional neural network framework using reverse connections and objectness priors for object detection
CN109405835A (zh) * 2017-08-31 2019-03-01 北京航空航天大学 基于非合作目标直线与圆单目图像的相对位姿测量方法
CN110450991A (zh) * 2019-08-16 2019-11-15 西北工业大学 微纳卫星集群捕获空间非合作目标的方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
YU XIANG 等: ""PoseCNN: A Convolutional Neural Network for 6D Object Pose Estimation in Cluttered Scenes"", 《HTTPS://AVXIR.ORG》 *
李想: ""基于深度学习的空间非合作目标姿态估计算法设计"", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112464952A (zh) * 2020-11-25 2021-03-09 创新奇智(南京)科技有限公司 一种图像对齐方法以及图像匹配识别方法
CN112525145B (zh) * 2020-11-30 2022-05-17 北京航空航天大学 一种飞机降落相对姿态动态视觉测量方法及系统
CN112525145A (zh) * 2020-11-30 2021-03-19 北京航空航天大学 一种飞机降落相对姿态动态视觉测量方法及系统
CN112669348A (zh) * 2020-12-18 2021-04-16 浙江大学 一种鱼体姿势估计和鱼体表型数据测量方法及装置
CN112669348B (zh) * 2020-12-18 2023-11-28 浙江大学 一种鱼体姿势估计和鱼体表型数据测量方法及装置
US20220207275A1 (en) * 2020-12-30 2022-06-30 Zoox, Inc. Multi-resolution top-down prediction
US11847831B2 (en) * 2020-12-30 2023-12-19 Zoox, Inc. Multi-resolution top-down prediction
CN112861663A (zh) * 2021-01-25 2021-05-28 华南农业大学 一种基于语义分割的家禽姿态监测方法和系统
CN112861664A (zh) * 2021-01-25 2021-05-28 华南农业大学 一种基于深度学习的家禽姿态检测方法和系统
CN112861663B (zh) * 2021-01-25 2023-10-10 华南农业大学 一种基于语义分割的家禽姿态监测方法和系统
CN112861664B (zh) * 2021-01-25 2023-10-17 华南农业大学 一种基于深度学习的家禽姿态检测方法和系统
CN113379794A (zh) * 2021-05-19 2021-09-10 重庆邮电大学 基于注意力-关键点预测模型的单目标跟踪系统及方法
CN113379794B (zh) * 2021-05-19 2023-07-25 重庆邮电大学 基于注意力-关键点预测模型的单目标跟踪系统及方法
CN113569694B (zh) * 2021-07-22 2024-03-19 北京市博汇科技股份有限公司 一种面部筛选方法、装置、设备及存储介质
CN113569694A (zh) * 2021-07-22 2021-10-29 北京市博汇科技股份有限公司 一种面部筛选方法、装置、设备及存储介质
CN113793472A (zh) * 2021-09-15 2021-12-14 应急管理部沈阳消防研究所 基于特征深度聚合网络的图像型火灾探测器位姿估计方法
CN113793472B (zh) * 2021-09-15 2023-01-20 应急管理部沈阳消防研究所 基于特征深度聚合网络的图像型火灾探测器位姿估计方法
CN113838134A (zh) * 2021-09-26 2021-12-24 广州博冠信息科技有限公司 图像关键点检测方法、装置、终端和存储介质
CN113838134B (zh) * 2021-09-26 2024-03-12 广州博冠信息科技有限公司 图像关键点检测方法、装置、终端和存储介质
CN113989699A (zh) * 2021-09-30 2022-01-28 哈尔滨工业大学 基于单目视觉和深度学习的结构全场位移稠密测量方法、装置、设备及存储介质
CN114119999B (zh) * 2021-12-02 2024-05-14 河北工业大学 基于深度学习的迭代6d位姿估计方法及装置
CN114119999A (zh) * 2021-12-02 2022-03-01 河北工业大学 基于深度学习的迭代6d位姿估计方法及装置
CN114266824A (zh) * 2021-12-10 2022-04-01 北京理工大学 一种基于深度学习的非合作目标相对位姿测量方法、系统
CN114742820B (zh) * 2022-05-11 2023-06-27 西南交通大学 一种基于深度学习的螺栓松动检测方法、系统及存储介质
CN114742820A (zh) * 2022-05-11 2022-07-12 西南交通大学 一种基于深度学习的螺栓松动检测方法、系统及存储介质
CN115937895B (zh) * 2022-11-11 2023-09-19 南通大学 一种基于深度相机的速度与力量反馈系统
CN115937895A (zh) * 2022-11-11 2023-04-07 南通大学 一种基于深度相机的速度与力量反馈系统
CN116012422A (zh) * 2023-03-23 2023-04-25 西湖大学 基于单目视觉的无人机6d位姿估计跟踪方法及其应用
CN116363217B (zh) * 2023-06-01 2023-08-11 中国人民解放军国防科技大学 空间非合作目标位姿测量方法、装置、计算机设备及介质
CN116363217A (zh) * 2023-06-01 2023-06-30 中国人民解放军国防科技大学 空间非合作目标位姿测量方法、装置、计算机设备及介质
CN117237451A (zh) * 2023-09-15 2023-12-15 南京航空航天大学 一种基于轮廓重建和几何引导的工业零件6d位姿估计方法
CN117237451B (zh) * 2023-09-15 2024-04-02 南京航空航天大学 一种基于轮廓重建和几何引导的工业零件6d位姿估计方法
CN117409077A (zh) * 2023-10-18 2024-01-16 无锡九霄科技有限公司 基于多尺度残差UNet分割的芯片姿态检测方法
CN117409077B (zh) * 2023-10-18 2024-04-05 无锡九霄科技有限公司 基于多尺度残差UNet分割的芯片姿态检测方法

Also Published As

Publication number Publication date
CN111862126B (zh) 2022-09-20

Similar Documents

Publication Publication Date Title
CN111862126B (zh) 深度学习与几何算法结合的非合作目标相对位姿估计方法
CN108665496B (zh) 一种基于深度学习的端到端的语义即时定位与建图方法
Yin et al. Scale recovery for monocular visual odometry using depth estimated with deep convolutional neural fields
Yang et al. Concrete defects inspection and 3D mapping using CityFlyer quadrotor robot
Biasutti et al. Lu-net: An efficient network for 3d lidar point cloud semantic segmentation based on end-to-end-learned 3d features and u-net
JP7439153B2 (ja) 全方位場所認識のためのリフトされたセマンティックグラフ埋め込み
CN111611918B (zh) 基于航拍数据和深度学习的交通流数据集采集及构建方法
Toriya et al. SAR2OPT: Image alignment between multi-modal images using generative adversarial networks
AliAkbarpour et al. Parallax-tolerant aerial image georegistration and efficient camera pose refinement—without piecewise homographies
Müller et al. Squeezeposenet: Image based pose regression with small convolutional neural networks for real time uas navigation
He et al. Ground and aerial collaborative mapping in urban environments
Li et al. An aerial image segmentation approach based on enhanced multi-scale convolutional neural network
Lentsch et al. Slicematch: Geometry-guided aggregation for cross-view pose estimation
Huan et al. Pose estimation for non-cooperative spacecraft based on deep learning
CN103679740A (zh) 一种无人机对地目标roi提取方法
Pessanha Santos et al. Two‐stage 3D model‐based UAV pose estimation: A comparison of methods for optimization
Zhou et al. 2D vision-based tracking algorithm for general space non-cooperative objects
Vakalopoulou et al. Simultaneous registration, segmentation and change detection from multisensor, multitemporal satellite image pairs
Xiong et al. Multi-uncertainty captured multi-robot lidar odometry and mapping framework for large-scale environments
Legrand et al. End-to-end neural estimation of spacecraft pose with intermediate detection of keypoints
CN116563553B (zh) 一种基于深度学习的无人机图像分割方法和系统
Li et al. Driver drowsiness behavior detection and analysis using vision-based multimodal features for driving safety
US20200167650A1 (en) Hinted neural network
Tao et al. An efficient 3D object detection method based on fast guided anchor stereo RCNN
Ufuktepe et al. Learning-based shadow detection in aerial imagery using automatic training supervision from 3D point clouds

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant