CN111862201A - 一种基于深度学习的空间非合作目标相对位姿估计方法 - Google Patents

一种基于深度学习的空间非合作目标相对位姿估计方法 Download PDF

Info

Publication number
CN111862201A
CN111862201A CN202010689406.0A CN202010689406A CN111862201A CN 111862201 A CN111862201 A CN 111862201A CN 202010689406 A CN202010689406 A CN 202010689406A CN 111862201 A CN111862201 A CN 111862201A
Authority
CN
China
Prior art keywords
cooperative target
cooperative
points
target
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010689406.0A
Other languages
English (en)
Other versions
CN111862201B (zh
Inventor
胡庆雷
郇文秀
郑建英
郭雷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
Original Assignee
Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University filed Critical Beihang University
Priority to CN202010689406.0A priority Critical patent/CN111862201B/zh
Publication of CN111862201A publication Critical patent/CN111862201A/zh
Application granted granted Critical
Publication of CN111862201B publication Critical patent/CN111862201B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00Computer-aided design [CAD]
    • G06F30/10Geometric CAD
    • G06F30/15Vehicle, aircraft or watercraft design
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00Computer-aided design [CAD]
    • G06F30/20Design optimisation, verification or simulation
    • G06F30/27Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00Road transport of goods or passengers
    • Y02T10/10Internal combustion engine [ICE] based vehicles
    • Y02T10/40Engine management systems
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T90/00Enabling technologies or technologies with a potential or indirect contribution to GHG emissions mitigation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Geometry (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Graphics (AREA)
  • Automation & Control Theory (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度学习的空间非合作目标相对位姿估计方法,包括步骤:利用软件制作非合作目标的数据集,并扩充数据集;设计基于卷积神经网络的目标检测网络,判断是否为非合作目标,并且检测出非合作目标周围的2D边界框;围绕2D边界框分割非合作目标,基于基尔霍夫寻找非合作目标的中心,估计非合作目标中心到相机的深度,结合深度值将2D像素坐标转换为3D坐标;设计关键点提取网络,提取非合作目标的角点和三轴端点等关键点,从关键点回归得到旋转四元数表示旋转;通过迭代优化微调估计的相对位姿。本发明能够处理重度遮挡、传感器噪声、物体对称时估计精度较低等情况,同时还能满足实时的速度要求。

Description

一种基于深度学习的空间非合作目标相对位姿估计方法
技术领域
本发明属于航天器导航领域,特别涉及一种基于深度学习的空间非合作目标相对位姿估计方法。
背景技术
姿态确定是在拥有星敏感器和陀螺的情况下对本体进行定姿,而目前面临的多是失效航天器维护和失控航天器抓捕等任务,所针对的研究对象是空间非合作目标。这类空间非合作目标往往在空间失控快速翻滚,因而需要在外形特征未知、无应答、无标识的情况下获取该非合作目标的位置和姿态。通过单目相机对非合作目标进行图像采集,提供大量实时图像,然后利用采集到的图像信息对目标的结构和运动进行估计,现有方法通过相机和计算机便可实现对非合作目标的测量,从而直接或者间接对非合作目标进行位姿估计,具有低成本、低功耗、非接触等优点,但是存在无法实时性估计以及无法处理噪声和光线条件改变的情况,并且现有方法的自主性较低。
传统的视觉测量方法是首先从数据中人工提取特征,进而对提取的特征完成对应的匹配分组和假设验证。然而,对手动特征的依赖和固定的匹配程序限制了传统的视觉测量方法在重度遮挡、光照变化环境以及模型结构复杂等具有挑战性环境下的表现。
随着人工智能热潮的出现,深度学习在计算机视觉方面的研究取得了瞩目的成绩,利用深度学习处理图像估计位置和姿态的方法能够处理面对重度遮挡、传感器噪声、光照条件改变等情况,同时还能满足实时任务的速度要求。航天器搭载视觉图像传感器芯片和图像数据计算工具,利用深度学习等人工智能手段,将是物联网时代航天器向智能化发展的新增长动力和重要亮点。
发明内容
为解决非合作目标位姿确定中实时性和自主性的要求以及微小卫星低功耗、低成本的实际需求,并且克服传统的视觉测量方法无法应对重度遮挡、光照变化环境以及模型结构复杂的缺陷,本发明提供了一种基于深度学习的空间非合作目标相对位姿估计方法,该方法利用合成图象和单目相机拍摄的实际图象作为输入,通过设计卷积神经网络,获取空间非合作目标位置和姿态,完成空间抓捕等在内的多项空间任务,能够实现对空间非合作目标的姿态和位置进行实时估计。
本发明提供了一种基于深度学习的非合作目标相对位姿估计方法,包括如下步骤:
S1:构建非合作目标3D模型并使构建的非合作目标3D模型自由翻转,获取非合作目标的姿态列表,同时将合成图片与实际相机拍摄图象结合获取非合作目标的空间图像,利用所获取的姿态列表和空间图像建立数据集,并将其分成训练集和测试集;
S2:基于步骤S1中建立的训练集,设计基于卷积神经网络的非合作目标检测网络,以从含有背景空间的空间图像中识别出非合作目标,并将背景空间与非合作目标分割,获得包含非合作目标的2D边界框;
S3:在步骤S2中从含有背景空间的空间图像中识别出非合作目标并将背景空间与非合作目标分割的基础上,利用基尔霍夫投票估计非合作目标中心,计算非合作目标中心到相机坐标系的相对位移;
S4:设计深度卷积神经网络,提取非合作目标的特征点,通过特征点估计非合作目标的旋转四元数;
S5:设计迭代优化过程,对步骤S3中计算的相对位移和步骤S4中估计的旋转四元数进行微调,提高相对位姿估计的精度。
进一步,步骤S1具体过程如下:
S11:应用3DMax软件构建非合作目标3D模型;
S12:利用OpenGL开放图形库编写脚本使所构建的非合作目标3D模型自由翻转,同时实时输出真实旋转四元数,进行姿态的批量标注以获取姿态列表,构建数据集,并且按照2:8的比例将数据集分成训练集和测试集;
S13:对训练集中的空间图像进行预处理,利用数据工具包对空间图像进行随机亮度和对比度设置、添加高斯噪声、数据归一化以及裁剪,以使空间图像适合输入卷积神经网络的尺寸,以扩充训练集。
进一步,步骤S2具体过程如下:
S21:基于步骤S1中建立的训练集,设计多个卷积层、激活函数以及池化层,最后连接全连接层,输入训练集中的空间图像,输出空间图像对应的全局特征图;
S22:设计不同尺寸和长宽比例的K个窗口,将全局特征图上的特征点映射回输入的空间图像当作基准点,围绕基准点结合K个窗口,在图像上选择候选区域,计算所选候选区域与包含非合作目标的最小矩形的IOU值;当IOU值大于设定的高阈值时,非合作目标存在于所选候选区域,记所选候选区域为正样本;当IOU值小于设定的低阈值时,则非合作目标不存在于所选候选区域,记所选候选区域为负样本,舍弃所计算的IOU值介于所述高阈值和所述低阈值之间的候选区域;
判断正样本中候选框中的物体是否为非合作目标,判断结果只有两种情况:是非合作目标或者不是非合作目标;此时损失函数L1为:
Figure BDA0002588750900000041
其中,yi表示样本i的label,正样本为1,负样本为0;ρi表示样本i预测为正的概率;N表示空间图像像素点个数;
S23:利用候选区域边界框回归修正窗口,获得包含非合作目标的精确的2D边界框,其中位置损失函数为损失函数L2
Figure BDA0002588750900000042
其中,pi为边界框坐标真实值;
Figure BDA0002588750900000043
为估计值边界框坐标;M为边界框坐标点个数;
最后输出包含非合作目标的2D边界框的图像。
进一步,步骤S3具体过程如下:
S31:基于相机坐标系,选择旋转四元数和相对位移来描述非合作目标的相对位置和相对姿态;
S31:对步骤S2中输出的包含非合作目标的2D边界框的图像,沿2D边界框进行分割,对分割后的图像,预测图像的每个像素到非合作目标中心的单位向量,结合Hough投票来估计非合作目标中心的2D像素坐标,投票得分表明了对应像素位置是非合作目标中心的可能性,处理完所有像素,就会获得所有像素位置的投票分数,选择最高分的像素位置为非合作目标中心的2D像素坐标;
S33:预测非合作目标中心到相机镜头的距离,结合相机参数和投影方程推测实际3D坐标,估计3D平移,通过下式(3)将所选的非合作目标中心点的2D像素坐标转换到3D坐标,
Figure BDA0002588750900000051
其中,cx,cy表示非合作目标中心的2D像素坐标;fx,fy表示相机焦距;Tx,Ty,Tz表示相机坐标系下非合作目标中心点坐标;px,py表示主点;真实相对位移向量T=[Tx,Ty,Tz]。
进一步,步骤S4具体过程如下:
S41:设计深度卷积神经网络,提取非合作目标的11个关键点的2D像素坐标,关键点包括8个角点和3个轴的端点,损失函数设计为最小化关键点的真实坐标和预测到的坐标的均方根误差;
S42:由提取到的关键点,设计姿态估计网络,回归对应的旋转四元数来表示3D旋转,姿态估计网络的损失函数为:
Figure BDA0002588750900000052
其中,q表示旋转四元数真实值;
Figure BDA0002588750900000053
表示旋转四元数估计值;m表示非合作目标选择的特征点个数;x表示特征点的三轴坐标向量;
Figure BDA0002588750900000054
表示旋转四元数估计值组成的3D旋转矩阵;R(q)表示旋转四元数真实值组成的3D旋转矩阵;
由于非合作目标存在对称的问题,因此损失函数改进为:
Figure BDA0002588750900000055
其中,x1表示非合作目标的的三轴坐标向量;x2表示非合作目标3D模型上离非合作目标的特征点x1最近的点的三轴坐标向量。
进一步,步骤S5具体过程如下:
S51:利用步骤S3中计算的相对位移和步骤S4中估计的旋转四元数,对输入深度卷积神经网络的原图像进行位移和旋转变换,最小化原图像特征点和变换后特征点的误差值,以迭代微调位姿估计结果;
S52:评价相对位姿的估计精度,选择平均距离ADD作为评价指标,平均距离ADD是计算非合作目标的真实位姿和估计位姿转换的两个3D模型中对应特征点之间距离的平均值,平均距离ADD小于预设阈值,认为非合作目标的相对位姿的估计精度满足要求;
Figure BDA0002588750900000061
当非合作目标存在对称的特征点时,使用最近点计算平均距离,对称情况下对称平均距离表示为ADD-S:
Figure BDA0002588750900000062
根据本发明的一方面,提供了一种在存在重度遮挡、噪声干扰的情况下,较高精度的估计非合作目标的位置和姿态的方法;另一方面针对非合作目标存在对称、模型结构复杂的情况,设计的卷积神经网络能够处理对称问题,将复杂模型问题转化为图像处理的问题,同时设计的神经网络估计速度较快,满足实时性和自主性的要求。
本发明的有益效果:
1)本发明在存在重度遮挡、传感器噪声、灯光条件改变等情况下,可以较高精度的估计非合作目标的位置和姿态;
2)针对非合作目标存在对称、模型结构复杂的情况,本发明设计的卷积神经网络能够处理对称问题,将复杂模型问题转化为图像处理的问题,同时设计的神经网络估计速度较快,满足实时性和自主性的要求;
3)实际非合作航天器缺少陀螺仪等传感器信息,本发明仅采用光学成像敏感器就可以采集目标航天器姿态信息,其特点是设备简单,适合在实际相对导航中应用;
4)传统方法对后处理ICP步骤具有依赖性且代价大,本发明设计的卷积神经网络,估计出非合作目标的相对位姿,同时在端到端学习框架中完成姿态微调,能够和主架构一起训练,并且耗时很少,提高了模型性能和推理估计速度,实现了非合作航天器位姿的准确估计;
5)背景空间对航天器特征点提取存在干扰,并且对整幅图像进行特征提取还会导致计算耗时增加,从而大大增加了星载计算机的计算负载,同时影响了实时分析的速度,本发明设计的卷积神经网络可以实现目标的检测,降低了计算成本并且提高了准确率。
附图说明
图1为本发明的基于深度学习的空间非合作目标相对位姿估计方法流程图;
图2为本发明的基于卷积神经网络的非合作目标检测方法流程图;
图3为本发明的基于卷积神经网络的非合作目标关键点检测流程图;
图4为本发明的非合作目标相对位置和姿态估计流程图;
图5为本发明实施例的神经网络输出的非合作目标检测结果。
具体实施方式
下面结合附图和实施例进一步描述本发明,应该理解,以下所述实施例旨在便于对本发明的理解,而对其不起任何限定作用。
本发明涉及一种基于深度学习的空间非合作目标相对位姿估计方法,该方法利用合成图像和相机拍摄的图像作为输入,通过设计卷积神经网络,获取空间非合作目标的位置和姿态,完成空间抓捕等在内的多项空间任务。本发明主要包括以下步骤:首先,考虑目前空间图象位姿估计方面缺乏公开的数据集的问题,通过3D建模软件构建非合作目标的三维模型,获取非合作目标的数据集并将其划分为训练集和测试集;然后,针对星载计算机计算载荷有限的实际情况,设计一种神经网络进行目标检测;最后,通过在图像中定位非合作目标中心并预测其与相机的距离来估计对象的3D平移,设计关键点提取网络,通过关键点回归四元数表示来估计对象的3D旋转,从而估计6D相对位姿,同时设计迭代优化算法,对输出的相对位姿迭代微调,实现位姿的精确估计,提高估计的精度,同时满足实时性和自主性要求。
如图1所示,本发明的基于深度学习的空间非合作目标相对位姿估计方法具体实现步骤如下:
S1:构建非合作目标3D模型并使构建的非合作目标3D模型自由翻转,获取非合作目标的姿态列表,同时将合成图片与实际相机拍摄图象结合获取非合作目标的空间图像,利用所获取的姿态列表和空间图像建立数据集,并将其分成训练集和测试集。
3D非合作目标模型的建立和姿态列表的获取空间图像具有高对比度、低信噪比和低传感器分辨率的特点。收集和标记如此大量可用的实际空间图像是极其困难的。针对这一现状,应用3DMax软件构建非合作目标三维模型,在本实施例中非合作目标为失控卫星。利用OpenGL开放图形库编写脚本使模型自由旋转,同时输出真实旋转四元数和相对位移向量,进行位置和姿态的批量标注获取姿态列表。
利用python的数据工具包PIL和opencv库对图像添加随机亮度和对比度,增加随机高斯白噪声,以适应太空复杂的光照环境。对数据进行归一化,减少需预测的网络参数量,减少计算载荷。将图片裁剪成适合输入神经网络的尺寸等,通过以上数据预处理和数据增强技术,模拟太空环境,解决样本不足的问题,成倍扩大用于网络训练的数据集样本。
S2:基于建立的训练集,设计基于卷积神经网络的非合作目标检测网络,以从含有背景空间的空间图像中识别出非合作目标,并将背景空间与非合作目标分割,获得包含非合作目标的2D边界框。
如图2所示,设计多个卷积层、激活函数以及池化层提取图像的全局特征,本实例利用了VGG-16框架进行特征的提取,设计conv层、relu层、max pooling层,提取不同分辨率下的图像特征,并且共享到整个网络。输入整张图片,提取图像的全局特征。ROI Pooling就是设计不同尺寸和长宽比例的K个窗口,将全局特征上的特征点映射回输入图像当作基准点,围绕基准点结合K个窗口,选择候选区域,计算所选候选区域与包含非合作目标的最小矩形的IOU值(IOU计算的是“预测的边框”和“真实的边框”的交集和并集的比值),手动设定高阈值和低阈值。计算得到的IOU值大于设定的高阈值,则目标对象存在于当前候选框,记为正样本;IOU小于低阈值,则目标对象不存在于当前候选框,记为负样本,舍弃介于高阈值和低阈值之间的候选区域。
通过候选区域选择的正样本,判断正样本中候选框中的物体是否为非合作目标;判断结果只有两种情况:是非合作目标或者不是非合作目标;此时损失函数L1为:
Figure BDA0002588750900000091
其中,yi表示样本i的label,正样本为1,负样本为0;ρi表示样本i预测为正的概率;N表示空间图像像素点个数。
利用候选区域边界框回归修正窗口以获得更加精确的2D边界框,其中位置损失函数选择L2损失函数:
Figure BDA0002588750900000092
其中,pi为边界框坐标真实值,
Figure BDA0002588750900000093
为估计值边界框坐标,M为边界框坐标点个数;最后输出包含非合作目标的2D边界框的图像。
S3:在步骤S2中从含有背景空间的空间图像中识别出非合作目标并将背景空间与非合作目标分割的基础上,利用基尔霍夫投票估计非合作目标中心,计算非合作目标中心到相机坐标系的相对位移。
如图3所示,在步骤S2已检测出的非合作目标2D边界框的基础上,已分割背景和前景目标,选择ROI区域,仍采用VGG16作为网络主框架,经过多次卷积和池化后,最后经过平均池化保留整体的数据特征,最后输入全连接层,利用Adam优化器,最小化ShapeMatch-Loss损失函数,ShapeMatch-Loss损失函数为关键点的真实坐标和预测到的坐标的均方根误差;最后获得非合作目标8个角点和3个轴端点的位置。
基于相机坐标系,描述位姿估计的目标变量为q,T,其中,q为旋转四元数真实值,表示非合作目标的旋转,欧拉角有周期性和方向锁的问题,旋转矩阵冗余度太高且有各个基需要是单位正交的约束,因而估计旋转四元数;T表示真实相对平移。因为q和T共有六个自由度,因此姿态估计又称为6D姿态估计。
如图4所示,对输出的包含非合作目标的2D边界框的图像,沿2D边界框进行分割,对分割后的图像,预测图像的每个像素到非合作目标中心的单位向量,结合Hough投票来估计非合作目标中心的2D像素坐标,投票得分表明了对应像素位置是非合作目标中心的可能性,处理完所有像素,就会获得所有像素位置的投票分数,选择最高分的像素位置为非合作目标中心的2D像素坐标。
预测非合作目标中心到相机镜头的距离,结合相机参数和投影方程来推测实际3D坐标,估计3D平移,通过下式(3)将所选的非合作目标中心点的2D像素坐标转换到3D坐标,
Figure BDA0002588750900000111
其中,cx,cy表示非合作目标中心的2D像素坐标;fx,fy表示相机焦距;Tx,Ty,Tz表示相机坐标系下非合作目标中心点坐标;px,py表示主点;真实相对位移向量T=[Tx,Ty,Tz]。
S4:设计深度卷积神经网络,提取非合作目标的特征点,通过特征点估计非合作目标的旋转四元数。
由提取到的关键点,回归对应的旋转四元数来代表3D旋转,姿态估计网络的损失函数设计如公式(4)所示
Figure BDA0002588750900000112
其中,q表示旋转四元数真实值;
Figure BDA0002588750900000113
表示旋转四元数估计值;m表示非合作目标选择的特征点个数;x表示特征点的三轴坐标向量;
Figure BDA0002588750900000114
表示旋转四元数估计值组成的3D旋转矩阵;R(q)表示旋转四元数真实值组成的3D旋转矩阵。
估计方向与真正方向相同时,有唯一最小值。但是,一个对称物体可能有多个的3D旋转。由于非合作目标存在对称的问题,因此,针对对称目标,改进损失函数如公式(5)所示
Figure BDA0002588750900000115
其中,x1表示非合作目标的特征点的三轴坐标向量;x2表示非合作目标3D模型上离非合作目标的特征点x1最近的点的三轴坐标向量。
S5:设计迭代优化过程,对步骤S3中计算的相对位移和步骤S4中估计的旋转四元数进行微调。
利用估计出来的q和T,对输入深度卷积神经网络的原图像进行位移和旋转变换,最小化原图像特征点和变换后特征点的误差值,以迭代微调位姿估计结果,提升估计的精度和准确率。
评价相对位姿估计的精度,选择平均距离ADD作为评价指标,平均距离是计算非合作目标的真实位姿和估计位姿转换的两个3D模型中对应特征点之间距离的平均值,平均距离ADD小于预设阈值,认为非合作目标的相对位姿估计精度满足要求。
Figure BDA0002588750900000121
当非合作目标存在对称的特征点时,对应特征点之间由于对称点的存在,点匹配不明确,此时使用最近点计算平均距离,对称情况下边对称平均距离表示为ADD-S:
Figure BDA0002588750900000122
下表1列出了本发明的非合作目标相对位姿估计结果,为更加直观,将四元数转换为姿态角表示。
表1. 6D相对姿态估计结果
Figure BDA0002588750900000123
图5为本实施例的神经网络输出的非合作目标检测结果,从图可以看出,本发明准确的识别出了非合作目标并且成功框选出目标位置,同时从表1中可以看出非合作目标旋转的估计精度可以达到10-4,取得了较高的估计精度,能够达到相对位姿的初步估计要求。并且实验结果还显示,本发明能够处理杂乱场景中的遮挡存在时的情况,当对象被遮挡时,中心定位有助于约束3D平移估计;并且当非合作目标为对称对象时,也可以实现较高精度的位置和姿态估计。
综上,本发明对相对位姿的初步估计为后续传统的ICP手段准确测量提供了更好的初始6D姿态。
本发明说明书中未作详细描述的内容属于本领域专业技术人员公知的现有技术。以上所述仅为本发明的一个具体实施算例,并不用以限制本发明。其他在本发明的技术和原则之内,所做的任何改进,替换等,均应属于本发明的保护范围之内。

Claims (6)

1.一种基于深度学习的非合作目标相对位姿估计方法,其特征在于,包括如下步骤:
S1:构建非合作目标3D模型并使构建的非合作目标3D模型自由翻转,获取非合作目标的姿态列表,同时将合成图片与实际相机拍摄图象结合获取非合作目标的空间图像,利用所获取的姿态列表和空间图像建立数据集,并将其分成训练集和测试集;
S2:基于步骤S1中建立的训练集,设计基于卷积神经网络的非合作目标检测网络,以从含有背景空间的空间图像中识别出非合作目标,并将背景空间与非合作目标分割,获得包含非合作目标的2D边界框;
S3:在步骤S2中从含有背景空间的空间图像中识别出非合作目标并将背景空间与非合作目标分割的基础上,利用基尔霍夫投票估计非合作目标中心,计算非合作目标中心到相机坐标系的相对位移;
S4:设计深度卷积神经网络,提取非合作目标的特征点,通过特征点估计非合作目标的旋转四元数;
S5:设计迭代优化过程,对步骤S3中计算的相对位移和步骤S4中估计的旋转四元数进行微调,提高相对位姿估计的精度。
2.根据权利要求1所述的方法,其特征在于,步骤S1具体过程如下:
S11:应用3DMax软件构建非合作目标3D模型;
S12:利用OpenGL开放图形库编写脚本使所构建的非合作目标3D模型自由翻转,同时实时输出真实旋转四元数,进行姿态的批量标注以获取姿态列表,构建数据集,并且按照2:8的比例将数据集分成训练集和测试集;
S13:对训练集中的空间图像进行预处理,利用数据工具包对空间图像进行随机亮度和对比度设置、添加高斯噪声、数据归一化以及裁剪,以使空间图像适合输入卷积神经网络的尺寸,以扩充训练集。
3.根据权利要求2所述的方法,其特征在于,步骤S2具体过程如下:
S21:基于步骤S1中建立的训练集,设计多个卷积层、激活函数以及池化层,最后连接全连接层,输入训练集中的空间图像,输出空间图像对应的全局特征图;
S22:设计不同尺寸和长宽比例的K个窗口,将全局特征图上的特征点映射回输入的空间图像当作基准点,围绕基准点结合K个窗口,在图像上选择候选区域,计算所选候选区域与包含非合作目标的最小矩形的IOU值;当IOU值大于设定的高阈值时,非合作目标存在于所选候选区域,记所选候选区域为正样本;当IOU值小于设定的低阈值时,则非合作目标不存在于所选候选区域,记所选候选区域为负样本,舍弃所计算的IOU值介于所述高阈值和所述低阈值之间的候选区域;
判断正样本中候选框中的物体是否为非合作目标,判断结果只有两种情况:是非合作目标或者不是非合作目标;此时损失函数L1为:
Figure FDA0002588750890000021
其中,yi表示样本i的label,正样本为1,负样本为0;ρi表示样本i预测为正的概率;N表示空间图像像素点个数;
S23:利用候选区域边界框回归修正窗口,获得包含非合作目标的精确的2D边界框,其中位置损失函数为损失函数L2
Figure FDA0002588750890000022
其中,pi为边界框坐标真实值;
Figure FDA0002588750890000023
为估计值边界框坐标;M为边界框坐标点个数;
最后输出包含非合作目标的2D边界框的图像。
4.根据权利要求3所述的方法,其特征在于,步骤S3具体过程如下:
S31:基于相机坐标系,选择旋转四元数和相对位移来描述非合作目标的相对位置和相对姿态;
S31:对步骤S2中输出的包含非合作目标的2D边界框的图像,沿2D边界框进行分割,对分割后的图像,预测图像的每个像素到非合作目标中心的单位向量,结合Hough投票来估计非合作目标中心的2D像素坐标,投票得分表明了对应像素位置是非合作目标中心的可能性,处理完所有像素,就会获得所有像素位置的投票分数,选择最高分的像素位置为非合作目标中心的2D像素坐标;
S33:预测非合作目标中心到相机镜头的距离,结合相机参数和投影方程推测实际3D坐标,估计3D平移,通过下式(3)将所选的非合作目标中心点的2D像素坐标转换到3D坐标,
Figure FDA0002588750890000031
其中,cx,cy表示非合作目标中心的2D像素坐标;fx,fy表示相机焦距;Tx,Ty,Tz表示相机坐标系下非合作目标中心点坐标;px,py表示主点;真实相对位移向量T=[Tx,Ty,Tz]。
5.根据权利要求4所述的方法,其特征在于,步骤S4具体过程如下:
S41:设计深度卷积神经网络,提取非合作目标的11个关键点的2D像素坐标,关键点包括8个角点和3个轴的端点,损失函数设计为最小化关键点的真实坐标和预测到的坐标的均方根误差;
S42:由提取到的关键点,设计姿态估计网络,回归对应的旋转四元数来表示3D旋转,姿态估计网络的损失函数为:
Figure FDA0002588750890000041
其中,q表示旋转四元数真实值;
Figure FDA0002588750890000042
表示旋转四元数估计值;m表示非合作目标选择的特征点个数;x表示特征点的三轴坐标向量;
Figure FDA0002588750890000043
表示旋转四元数估计值组成的3D旋转矩阵;R(q)表示旋转四元数真实值组成的3D旋转矩阵;
由于非合作目标存在对称的问题,因此损失函数改进为:
Figure FDA0002588750890000044
其中,x1表示非合作目标的特征点的三轴坐标向量;x2表示非合作目标3D模型上离非合作目标的特征点x1最近的点的三轴坐标向量。
6.根据权利要求5所述的方法,其特征在于,步骤S5具体过程如下:
S51:利用步骤S3中计算的相对位移和步骤S4中估计的旋转四元数,对输入深度卷积神经网络的原图像进行位移和旋转变换,最小化原图像特征点和变换后特征点的误差值,以迭代微调位姿估计结果;
S52:评价相对位姿的估计精度,选择平均距离ADD作为评价指标,平均距离ADD是计算非合作目标的真实位姿和估计位姿转换的两个3D模型中对应特征点之间距离的平均值,平均距离ADD小于预设阈值,认为非合作目标的相对位姿的估计精度满足要求;
Figure FDA0002588750890000045
当非合作目标存在对称的特征点时,使用最近点计算平均距离,对称情况下对称平均距离表示为ADD-S:
Figure FDA0002588750890000046
CN202010689406.0A 2020-07-17 2020-07-17 一种基于深度学习的空间非合作目标相对位姿估计方法 Active CN111862201B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010689406.0A CN111862201B (zh) 2020-07-17 2020-07-17 一种基于深度学习的空间非合作目标相对位姿估计方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010689406.0A CN111862201B (zh) 2020-07-17 2020-07-17 一种基于深度学习的空间非合作目标相对位姿估计方法

Publications (2)

Publication Number Publication Date
CN111862201A true CN111862201A (zh) 2020-10-30
CN111862201B CN111862201B (zh) 2023-06-23

Family

ID=72983929

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010689406.0A Active CN111862201B (zh) 2020-07-17 2020-07-17 一种基于深度学习的空间非合作目标相对位姿估计方法

Country Status (1)

Country Link
CN (1) CN111862201B (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112396655A (zh) * 2020-11-18 2021-02-23 哈尔滨工程大学 一种基于点云数据的船舶目标6d位姿估计方法
CN112504280A (zh) * 2020-11-11 2021-03-16 北京控制工程研究所 一种空间指向测量敏感器动态精度提升方法
CN112651437A (zh) * 2020-12-24 2021-04-13 北京理工大学 一种基于深度学习的空间非合作目标位姿估计方法
CN113065546A (zh) * 2021-02-25 2021-07-02 湖南大学 一种基于注意力机制和霍夫投票的目标位姿估计方法及系统
CN114240844A (zh) * 2021-11-23 2022-03-25 电子科技大学 一种医学图像中无监督的关键点定位和目标检测方法
CN114266824A (zh) * 2021-12-10 2022-04-01 北京理工大学 一种基于深度学习的非合作目标相对位姿测量方法、系统
CN114396877A (zh) * 2021-11-19 2022-04-26 重庆邮电大学 面向材料力学性能的智能三维位移场及应变场测量方法
CN114779942A (zh) * 2022-05-23 2022-07-22 广州芸荟数字软件有限公司 一种虚拟现实沉浸式互动系统、设备及方法
WO2023004558A1 (en) * 2021-07-26 2023-02-02 Shanghaitech University Neural implicit function for end-to-end reconstruction of dynamic cryo-em structures
CN116363217A (zh) * 2023-06-01 2023-06-30 中国人民解放军国防科技大学 空间非合作目标位姿测量方法、装置、计算机设备及介质
CN117036661A (zh) * 2023-08-06 2023-11-10 苏州三垣航天科技有限公司 一种空间目标姿态识别神经网络的在线实时性能评估方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109284530A (zh) * 2018-08-02 2019-01-29 西北工业大学 基于深度学习的空间非合作目标姿轨一体化参数估计方法
CN109625333A (zh) * 2019-01-03 2019-04-16 西安微电子技术研究所 一种基于深度增强学习的空间非合作目标捕获方法
CN110930454A (zh) * 2019-11-01 2020-03-27 北京航空航天大学 一种基于边界框外关键点定位的六自由度位姿估计算法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109284530A (zh) * 2018-08-02 2019-01-29 西北工业大学 基于深度学习的空间非合作目标姿轨一体化参数估计方法
CN109625333A (zh) * 2019-01-03 2019-04-16 西安微电子技术研究所 一种基于深度增强学习的空间非合作目标捕获方法
CN110930454A (zh) * 2019-11-01 2020-03-27 北京航空航天大学 一种基于边界框外关键点定位的六自由度位姿估计算法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
YU XIANG 等: "PoseCNN: A Convolutional Neural Network for 6D Object Pose Estimation in Cluttered Scenes", 《HTTPS://AVXIR.ORG》 *
刘帅: "空间机器人抓捕非合作目标的智能控制与识别", 《中国优秀硕士学位论文全文数据库 工程科技II辑》 *
徐云飞等: "一种卷积神经网络非合作目标姿态测量方法", 《宇航学报》 *

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112504280A (zh) * 2020-11-11 2021-03-16 北京控制工程研究所 一种空间指向测量敏感器动态精度提升方法
CN112504280B (zh) * 2020-11-11 2021-11-16 北京控制工程研究所 一种空间指向测量敏感器动态精度提升方法
CN112396655A (zh) * 2020-11-18 2021-02-23 哈尔滨工程大学 一种基于点云数据的船舶目标6d位姿估计方法
CN112396655B (zh) * 2020-11-18 2023-01-03 哈尔滨工程大学 一种基于点云数据的船舶目标6d位姿估计方法
CN112651437A (zh) * 2020-12-24 2021-04-13 北京理工大学 一种基于深度学习的空间非合作目标位姿估计方法
CN112651437B (zh) * 2020-12-24 2022-11-11 北京理工大学 一种基于深度学习的空间非合作目标位姿估计方法
CN113065546B (zh) * 2021-02-25 2022-08-12 湖南大学 一种基于注意力机制和霍夫投票的目标位姿估计方法及系统
CN113065546A (zh) * 2021-02-25 2021-07-02 湖南大学 一种基于注意力机制和霍夫投票的目标位姿估计方法及系统
WO2023004558A1 (en) * 2021-07-26 2023-02-02 Shanghaitech University Neural implicit function for end-to-end reconstruction of dynamic cryo-em structures
CN114396877A (zh) * 2021-11-19 2022-04-26 重庆邮电大学 面向材料力学性能的智能三维位移场及应变场测量方法
CN114396877B (zh) * 2021-11-19 2023-09-26 重庆邮电大学 面向材料力学性能的智能三维位移场及应变场测量方法
CN114240844A (zh) * 2021-11-23 2022-03-25 电子科技大学 一种医学图像中无监督的关键点定位和目标检测方法
CN114266824A (zh) * 2021-12-10 2022-04-01 北京理工大学 一种基于深度学习的非合作目标相对位姿测量方法、系统
CN114779942A (zh) * 2022-05-23 2022-07-22 广州芸荟数字软件有限公司 一种虚拟现实沉浸式互动系统、设备及方法
CN114779942B (zh) * 2022-05-23 2023-07-21 广州芸荟数字软件有限公司 一种虚拟现实沉浸式互动系统、设备及方法
CN116363217A (zh) * 2023-06-01 2023-06-30 中国人民解放军国防科技大学 空间非合作目标位姿测量方法、装置、计算机设备及介质
CN116363217B (zh) * 2023-06-01 2023-08-11 中国人民解放军国防科技大学 空间非合作目标位姿测量方法、装置、计算机设备及介质
CN117036661A (zh) * 2023-08-06 2023-11-10 苏州三垣航天科技有限公司 一种空间目标姿态识别神经网络的在线实时性能评估方法
CN117036661B (zh) * 2023-08-06 2024-04-12 苏州三垣航天科技有限公司 一种空间目标姿态识别神经网络的在线实时性能评估方法

Also Published As

Publication number Publication date
CN111862201B (zh) 2023-06-23

Similar Documents

Publication Publication Date Title
CN111862201B (zh) 一种基于深度学习的空间非合作目标相对位姿估计方法
CN112258618B (zh) 基于先验激光点云与深度图融合的语义建图与定位方法
CN111563442B (zh) 基于激光雷达的点云和相机图像数据融合的slam方法及系统
WO2021196294A1 (zh) 一种跨视频人员定位追踪方法、系统及设备
CN111311679B (zh) 一种基于深度相机的自由漂浮目标位姿估计方法
CN109815847B (zh) 一种基于语义约束的视觉slam方法
EP2234064B1 (en) Method for estimating 3D pose of specular objects
CN112184765B (zh) 一种用于水下航行器的自主跟踪方法
CN113743385A (zh) 一种无人船水面目标检测方法、装置及无人船
CN112419497A (zh) 基于单目视觉的特征法与直接法相融合的slam方法
CN111998862A (zh) 一种基于bnn的稠密双目slam方法
CN115222884A (zh) 一种基于人工智能的空间对象分析及建模优化方法
CN113436251B (zh) 一种基于改进的yolo6d算法的位姿估计系统及方法
Zhu et al. Fusing panoptic segmentation and geometry information for robust visual slam in dynamic environments
CN114549549A (zh) 一种动态环境下基于实例分割的动态目标建模跟踪方法
Sun et al. Automatic targetless calibration for LiDAR and camera based on instance segmentation
CN111198563B (zh) 一种用于足式机器人动态运动的地形识别方法及系统
CN117351078A (zh) 基于形状先验的目标尺寸与6d姿态估计方法
CN116844124A (zh) 三维目标检测框标注方法、装置、电子设备和存储介质
CN115797397B (zh) 一种机器人全天候自主跟随目标人员的方法及系统
CN111915632B (zh) 一种基于机器学习的贫纹理目标物体真值数据库构建方法
CN115760984A (zh) 一种立方星基于单目视觉的非合作目标位姿测量方法
Bazin et al. An original approach for automatic plane extraction by omnidirectional vision
JP2018116147A (ja) 地図作成装置、地図作成方法及び地図作成用コンピュータプログラム
CN113362388A (zh) 一种用于目标定位和姿态估计的深度学习模型

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant