CN117115258A - 面向航空发动机零部件辅助维修的六自由度位姿估计方法 - Google Patents

面向航空发动机零部件辅助维修的六自由度位姿估计方法 Download PDF

Info

Publication number
CN117115258A
CN117115258A CN202311102596.1A CN202311102596A CN117115258A CN 117115258 A CN117115258 A CN 117115258A CN 202311102596 A CN202311102596 A CN 202311102596A CN 117115258 A CN117115258 A CN 117115258A
Authority
CN
China
Prior art keywords
point
features
points
degree
key
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311102596.1A
Other languages
English (en)
Inventor
魏明强
潘浩然
陈红华
李明磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Aeronautics and Astronautics
Original Assignee
Nanjing University of Aeronautics and Astronautics
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Aeronautics and Astronautics filed Critical Nanjing University of Aeronautics and Astronautics
Priority to CN202311102596.1A priority Critical patent/CN117115258A/zh
Publication of CN117115258A publication Critical patent/CN117115258A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/20—Administration of product repair or maintenance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/54—Extraction of image or video features relating to texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G06V10/763—Non-hierarchical techniques, e.g. based on statistics of modelling distributions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Business, Economics & Management (AREA)
  • Databases & Information Systems (AREA)
  • Human Resources & Organizations (AREA)
  • Computer Graphics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Geometry (AREA)
  • Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了面向航空发动机零部件辅助维修的六自由度位姿估计方法，包括：获取航空发动机零部件的RGB图和深度图、模型关键点；提取表面纹理特征、几何特征；进行特征融合与解码，得到每个点的类别信息、每个点所属零部件的关键点和中心点的空间位置；通过点的类别信息、中心点实现实例分割，对同一实例的关键点的空间位置进行聚类，得到聚类后的关键点位置；对模型的关键点位置以及聚类后的对应关键点位置进行最小二乘法拟合，得到零部件的六自由度位姿参数。本发明将位姿估计问题转化为关键点定位和匹配对应问题，可有效解决由视角原因引起的遮挡以及场景复杂造成的位姿估计准确性和鲁棒性低的问题。

Description

面向航空发动机零部件辅助维修的六自由度位姿估计方法
技术领域
本发明属于航空零部件维修技术领域，具体涉及面向航空发动机零部件辅助维修的六自由度位姿估计方法。
背景技术
飞机的飞行动力主要依靠航空发动机的能量输出，为了保证航空发动机正常运转并避免发生故障，需要对发动机的状态进行监测和定期维修。传统机械维修过程中，定位故障耗费时间长，确定后还需要调用设备、备件，确定场地进行拆解准备，再进行具体的修理工作。对于航空发动机这种结构复杂、零件型号繁多的装备来讲，不仅需要维修人员具有强大的知识和经验储备，而且需要不断切换注意力，极易造成维修人员的注意力疲惫，引起错误操作，导致维修失败。另外根据故障报警信息，维修人员无法快速定位故障物体，维修时需要花费较长的时间，从而延误航空设备的正常使用。
结合数字化辅助技术可以有效地解决传统机械维修过程中的诸多问题。增强现实技术作为先进诊断技术中的典型代表，主要在信息技术的基础上将现实与虚拟世界混合在一起，从而使场景得到增强，有助于维修人员增强维修能力核技术水平。对于AR辅助维修这一新型的装备维修引导方式，其所依赖的核心技术之一就是信息增强技术，也是众多AR应用的共同技术关键，因此要实现AR辅助维修，首先要解决的问题就是信息增强问题。
为了实现具有合理、逼真视觉效果的信息增强，首先要解决的是对现实世界的识别和感知问题，而场景目标物的识别一直以来都是AR技术走向实际应用的一大阻拦。当前AR技术中普遍的识别方法虽然在识别成功率和识别时间效率上表现优异，但其鲁棒性和位姿估计准确度上则明显欠佳，最终导致无法实现增强信息与物理世界的一致融合。在AR辅助维修过程中，由于场景复杂、空间有限、零件种类繁多、形态各异、尺寸较小，遮挡严重等问题，导致目标物体的位姿估计难度大。
发明内容
本发明所要解决的技术问题是针对上述现有技术的不足，提供面向航空发动机零部件辅助维修的六自由度位姿估计方法，将位姿估计问题转化为关键点定位和匹配对应问题，零部件表面的关键点对于不可见的遮挡区域有一定的方位约束，基于两阶段关键点，能有效提高在遮挡严重以及场景杂乱时零部件六自由度位姿估计的准确率，有效解决由视角原因引起的遮挡以及场景复杂造成的位姿估计准确性和鲁棒性低的问题。
为实现上述技术目的，本发明采取的技术方案为：
面向航空发动机零部件辅助维修的六自由度位姿估计方法，包括：
(1)获取航空发动机零部件的RGB图和深度图，并利用最远点采样算法获得零部件模型的关键点；
(2)对RGB图进行特征提取，得到表面纹理特征，对深度图进行点云转化和特征提取，得到几何特征；
(3)对表面纹理特征、几何特征进行融合，得到融合特征，并对融合特征进行解码，得到每个点的类别信息、每个点所属零部件的关键点和中心点的空间位置；
(4)通过点的类别信息将不同类别的零部件进行分割，对于相同类别的点，通过中心点的不同将点分类，实现实例分割，对同一实例的关键点的空间位置进行聚类，得到聚类后的关键点位置；
(5)对(1)获取的关键点位置以及(4)聚类后的对应关键点位置进行最小二乘法拟合，得到零部件的六自由度位姿参数。
为优化上述技术方案，采取的具体措施还包括：
上述的(1)使用Inter D435相机获取航空发动机零部件的RGB图以及深度图；对航空发动机零部件进行建模，并使用最远点采样算法获取模型的关键点。
上述的(2)对于RGB图，利用深度残差网络ResNet提取多尺度的特征，然后将不同尺度的特征进行融合，最后得到表面纹理特征；对于深度图，利用相机内参将其转化为点云，然后对点云进行下采样，再利用PointNet++对点云进行特征提取，得到几何特征。
上述的(3)对于各点的几何特征和表面纹理特征，首先通过一个多层感知机聚合所有的特征，再通过一个平均池化层和tanh激活函数得到全局特征，然后将全局特征直接与几何特征、表面纹理表示的局部特征拼接在一起得到融合特征。
上述的(3)采用解码模块对融合特征进行解码，解码模块包括3个分支：
第一个分支通过多层感知机将融合特征映射到语义空间，预测得到每个点在所有零部件类别上的概率；
第二个分支通过多层感知机将融合特征映射到欧氏空间，预测得到每个点所属零部件的各关键点的空间位置；
第三个分支通过多层感知机预测每个点所属零部件的中心点的空间位置。
上述的第一个分支使用交叉熵损失函数进行训练，具体如下：
L＝-α(1-qi)γlog(qi)
其中α＝1，γ＝2，qi表示预测为i类别的概率。
上述的第二个分支使用L2均方根损失函数进行训练，具体如下：
其中，N表示点的个数，M表示关键点的个数，表示第i个点预测的第j个关键点的空间位置，/>表示第i个点真实的第j个关键点的空间位置，II(pi∈I)表示第i个点pi是否属于零部件I，属于零部件I则为1，否则为0。
上述的第三个分支使用L2损失函数进行训练，具体如下：
其中，N表示点的个数，xi表示第i个点预测的中心点位置，表示第i个点真实的中心点位置，II(pi∈I)表示第i个点pi是否属于零部件I，属于零部件I则为1，否则为0。
上述的(4)使用基于高斯核的均值漂移聚类算法进行聚类。
上述的(5)使用最小二乘法直接拟合求解得到旋转矩阵和平移向量，即为零部件的六自由度位姿参数，最小二乘法的优化目标如下：
其中，M表示关键点的个数，kpj表示聚类的第j个关键点位置，kp′i表示最远点采样的第j个关键点位置，R为需要求解的旋转矩阵，t为需要求解的平移向量。
本发明具有以下有益效果：
本发明将基于RGB提取的表面特征与基于点云提取的几何特征相结合，充分利用了两种模态数据的表征能力，通过两种模态特征的融合提高了神经网络的表征能力；同时利用稠密的点对特征和基于高斯核的均值漂移聚类算法得到置信度高的关键点空间位置，最后利用预测的关键点与零部件模型定义的关键点的位置的对应关系，采用最小二乘法优化器求解目标零部件的位姿参数。其采用两阶段的策略，将位姿估计问题转化为关键点预测问题，缩小了神经网络的预测空间，实现了在严重遮挡以及复杂场景下的物体六自由度位姿的精确估计，提高了航空发动机零部件辅助维修的效率。
附图说明
图1为本发明方法的整体流程框图；
图2为本发明方法的网络结构；
图3为本发明点云特征提取网络结构；
图4为本发明图像特征提取网络结构；
图5为航空发动机零部件的示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
本发明中的步骤虽然用标号进行了排列，但并不用于限定步骤的先后次序，除非明确说明了步骤的次序或者某步骤的执行需要其他步骤作为基础，否则步骤的相对次序是可以调整的。可以理解，本文中所使用的术语“和/或”涉及且涵盖相关联的所列项目中的一者或一者以上的任何和所有可能的组合。
如图1和图2所示，本发明面向航空发动机零部件辅助维修的六自由度位姿估计方法，获取航空发动机零部件的RGB图数据和深度图；基于残差卷积神经网络的RGB图特征提取模块和基于多层感知机的点云特征提取模块，以及融合表面纹理、几何结构特征和全局特征的特征融合模块；然后通过解码器将特征空间映射到语义空间，预测每个点所属的类别，将特征空间映射到欧氏空间，预测每个点对应的关键点的空间位置和中心点位置；接下来，利用中心点以及点的类别信息实现实例分割，然后使用聚类算法提取置信度较高的关键点位置；最后利用从模型预先定义好的关键点位置与从神经网络中学习得到的关键点位置的对应关系，求解得到目标零部件的六自由度位姿参数。具体介绍如下：
(1)获取航空发动机零部件的RGB图和深度图，并利用最远点采样算法获得零部件模型的关键点信息，具体包括如下子步骤：
(1.1)使用Inter D435相机获取航空发动机零部件的RGB图以及深度图；航空发动机零部件的示意图如图5所示；
(1.2)利用测量工具对航空发动机零部件进行建模，然后使用Farthest PointSampling(最远点采样)算法获取模型的8个关键点，经过验证，8个关键点相比其他选择有更高的准确率；
(2)对RGB图进行调整提取，得到表面纹理特征，对深度图进行点云转化和特征提取，得到几何特征；
由于RGB图和深度图属于不同的模态，使用一个特征提取网络同时提取两种模态的信息十分困难，因此，将两种模态信息分别处理：
(2.1)对于RGB图，利用深度残差网络ResNet提取多尺度的特征，然后将不同尺度的特征进行融合，最后得到表面纹理特征；
(2.2)对于深度图，利用相机内参将其转化为点云，然后对点云进行下采样，再利用PointNet++对点云进行特征提取，得到几何特征。
点云特征提取网络结构、图像特征提取网络结构如图3和图4所示。
(3)对表面纹理特征、几何特征进行融合，得到融合特征，并对融合特征进行解码，得到每个点的类别信息、每个点所属零部件的关键点和中心点的空间位置；
上述网络提取的特征仅是逐点的局部特征，其表达能力有限，将所有的点特征融合在一起得到全局特征，结合上述的局部特征得到融合特征可以增强特征空间的表达能力，然后依次将特征空间映射到语义空间、欧氏空间得到点的语义标签和关键点的空间坐标以及中心点位置，具体如下：
(3.1)对于上一步提取的逐点几何特征和表面纹理特征，首先通过一个多层感知机聚合所有的特征，再通过一个平均池化层和tanh激活函数得到全局特征，然后将得到的全局特征直接与几何特征、表面纹理表示的局部特征拼接在一起得到融合后的特征；
(3.2)接下来是通过解码模块对特征进行解码得到目标输出，该解码模块框架需要知道每个点的类别信息帮助后续任务区分不同的零部件从而选择目标真实的关键点坐标，同时还需要预测每个点所属零部件的关键点的空间位置。额外的，为了辨别相同类别的不同实例，还需要预测零部件的中心点。解码模块包含3个分支。
第一个分支通过多层感知机将融合的特征映射到语义空间，得到每个点在所有零部件类别上的概率，该分支使用交叉熵损失函数进行训练，具体如下：
L＝-α(1-qi)γlog(qi)
其中α＝1，γ＝2，qi表示预测为i类别的概率。
第二个分支通过多层感知机将融合的特征映射到欧氏空间，得到每个点所属零部件的8个关键点的空间位置，该分支使用L2均方根损失函数进行训练，具体如下：
其中N表示点的个数，M表示关键点的个数，表示第i个点预测的第j个关键点的空间位置，/>表示第i个点真实的第j个关键点的空间位置，II(pi∈I)表示第i个点pi是否属于零部件I，属于零部件I则为1，否则为0。
第三个分支与第二个分支相似，唯一的区别是最后一个线性层的维度不同，第三的分支预测每个点所属零部件的中心点的空间位置，该分支也使用L2损失函数进行训练，具体如下：
其中N表示点的个数，xi表示第i个点预测的中心点位置，表示第i个点真实的中心点位置，II(pi∈I)表示第i个点pi是否属于零部件I，属于零部件I则为1，否则为0。
(4)通过点的类别信息将不同类别的零部件进行分割，对于相同类别的点，通过中心点的不同将点分类，实现实例分割，对同一实例的关键点的空间位置进行聚类，得到聚类后的关键点位置；
通过上述步骤(3)可以得到每个点的类别信息和点所属零部件的8个关键点和中心点的空间位置，直接通过点的类别信息可以将不同类别的零部件分割，对于相同类别的点，通过其预测的中心点的不同，可以将点分类，从而实现实例分割，其中实例是同一类别的不同个体；对于每个点预测的8个关键点和中心点，由于采用直接回归的方法，会有精度损失，因此所属同一实例的点预测的关键点和中心点位置存在一定的误差，对于预测的关键点和中心点，使用基于高斯核的均值漂移聚类算法，得到置信度较高的关键点位置和中心点位置。
(5)对(1)获取的关键点位置以及(4)聚类后的对应关键点位置进行最小二乘法拟合，得到零部件的六自由度位姿参数，包括三个旋转自由度和三个平移自由度。
对于场景中的每一个零部件，根据在步骤(1)通过最远点采样得到的8个关键点位置以及通过步骤(4)聚类得到的8个对应的关键点位置，使用最小二乘法直接拟合得到旋转矩阵和平移向量，即为目标零部件的六自由度位姿参数。
最小二乘法的优化目标如下：
其中M表示关键点的个数，kpj表示预测的第j个关键点位置，kp′j表示最远点采样的第j个关键点位置，R为需要求解的旋转矩阵，t为需要求解的平移向量。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims (10)

1.面向航空发动机零部件辅助维修的六自由度位姿估计方法，其特征在于，包括：
(1)获取航空发动机零部件的RGB图和深度图，并利用最远点采样算法获得零部件模型的关键点；
(2)对RGB图进行特征提取，得到表面纹理特征，对深度图进行点云转化和特征提取，得到几何特征；
(3)对表面纹理特征、几何特征进行融合，得到融合特征，并对融合特征进行解码，得到每个点的类别信息、每个点所属零部件的关键点和中心点的空间位置；
(4)通过点的类别信息将不同类别的零部件进行分割，对于相同类别的点，通过中心点的不同将点分类，实现实例分割，对同一实例的关键点的空间位置进行聚类，得到聚类后的关键点位置；
(5)对(1)获取的关键点位置以及(4)聚类后的对应关键点位置进行最小二乘法拟合，得到零部件的六自由度位姿参数。
2.根据权利要求1所述的面向航空发动机零部件辅助维修的六自由度位姿估计方法，其特征在于，所述(1)使用Inter D435相机获取航空发动机零部件的RGB图以及深度图；对航空发动机零部件进行建模，并使用最远点采样算法获取模型的关键点。
3.根据权利要求1所述的面向航空发动机零部件辅助维修的六自由度位姿估计方法，其特征在于，所述(2)对于RGB图，利用深度残差网络ResNet提取多尺度的特征，然后将不同尺度的特征进行融合，最后得到表面纹理特征；对于深度图，利用相机内参将其转化为点云，然后对点云进行下采样，再利用PointNet++对点云进行特征提取，得到几何特征。
4.根据权利要求1所述的面向航空发动机零部件辅助维修的六自由度位姿估计方法，其特征在于，所述(3)对于各点的几何特征和表面纹理特征，首先通过一个多层感知机聚合所有的特征，再通过一个平均池化层和tanh激活函数得到全局特征，然后将全局特征直接与几何特征、表面纹理表示的局部特征拼接在一起得到融合特征。
5.根据权利要求1所述的面向航空发动机零部件辅助维修的六自由度位姿估计方法，其特征在于，所述(3)采用解码模块对融合特征进行解码，解码模块包括3个分支：
第一个分支通过多层感知机将融合特征映射到语义空间，预测得到每个点在所有零部件类别上的概率；
第二个分支通过多层感知机将融合特征映射到欧氏空间，预测得到每个点所属零部件的各关键点的空间位置；
第三个分支通过多层感知机预测每个点所属零部件的中心点的空间位置。
6.根据权利要求5所述的面向航空发动机零部件辅助维修的六自由度位姿估计方法，其特征在于，所述第一个分支使用交叉熵损失函数进行训练，具体如下：
L＝-α(1-qi)γlog(qi)
其中α＝1,γ＝2,qi表示预测为i类别的概率。
7.根据权利要求5所述的面向航空发动机零部件辅助维修的六自由度位姿估计方法，其特征在于，所述第二个分支使用L2均方根损失函数进行训练，具体如下：
其中，N表示点的个数，M表示关键点的个数，表示第i个点预测的第j个关键点的空间位置，/>表示第i个点真实的第j个关键点的空间位置，Ⅱ(pi∈I)表示第i个点pi是否属于零部件I,属于零部件I则为1，否则为0。
8.根据权利要求5所述的面向航空发动机零部件辅助维修的六自由度位姿估计方法，其特征在于，所述第三个分支使用L2损失函数进行训练，具体如下：
其中，N表示点的个数，xi表示第i个点预测的中心点位置，表示第i个点真实的中心点位置，Ⅱ(pi∈I)表示第i个点pi是否属于零部件I,属于零部件I则为1，否则为0。
9.根据权利要求1所述的面向航空发动机零部件辅助维修的六自由度位姿估计方法，其特征在于，所述(4)使用基于高斯核的均值漂移聚类算法进行聚类。
10.根据权利要求1所述的面向航空发动机零部件辅助维修的六自由度位姿估计方法，其特征在于，所述(5)使用最小二乘法直接拟合求解得到旋转矩阵和平移向量，即为零部件的六自由度位姿参数，最小二乘法的优化目标如下：
其中，M表示关键点的个数，kpj表示聚类的第j个关键点位置，kp′j表示最远点采样的第j个关键点位置，R为需要求解的旋转矩阵，t为需要求解的平移向量。
CN202311102596.1A 2023-08-30 2023-08-30 面向航空发动机零部件辅助维修的六自由度位姿估计方法 Pending CN117115258A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311102596.1A CN117115258A (zh) 2023-08-30 2023-08-30 面向航空发动机零部件辅助维修的六自由度位姿估计方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311102596.1A CN117115258A (zh) 2023-08-30 2023-08-30 面向航空发动机零部件辅助维修的六自由度位姿估计方法

Publications (1)

Publication Number Publication Date
CN117115258A true CN117115258A (zh) 2023-11-24

Family

ID=88797996

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311102596.1A Pending CN117115258A (zh) 2023-08-30 2023-08-30 面向航空发动机零部件辅助维修的六自由度位姿估计方法

Country Status (1)

Country Link
CN (1) CN117115258A (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112801977A (zh) * 2021-01-28 2021-05-14 青岛理工大学 一种基于深度学习的装配体零件相对位姿估计监测方法
CN113858217A (zh) * 2021-12-01 2021-12-31 常州唯实智能物联创新中心有限公司 多机器人交互的三维视觉位姿感知方法及系统
CN114663514A (zh) * 2022-05-25 2022-06-24 浙江大学计算机创新技术研究院 一种基于多模态稠密融合网络的物体6d姿态估计方法
CN115147599A (zh) * 2022-06-06 2022-10-04 浙江大学 一种面向遮挡和截断场景的多几何特征学习的物体六自由度位姿估计方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112801977A (zh) * 2021-01-28 2021-05-14 青岛理工大学 一种基于深度学习的装配体零件相对位姿估计监测方法
CN113858217A (zh) * 2021-12-01 2021-12-31 常州唯实智能物联创新中心有限公司 多机器人交互的三维视觉位姿感知方法及系统
CN114663514A (zh) * 2022-05-25 2022-06-24 浙江大学计算机创新技术研究院 一种基于多模态稠密融合网络的物体6d姿态估计方法
CN115147599A (zh) * 2022-06-06 2022-10-04 浙江大学 一种面向遮挡和截断场景的多几何特征学习的物体六自由度位姿估计方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
HAORAN PAN, ET AL.: "SO(3)-Pose: SO(3)-Equivariance Learning for 6D Object Pose Estimation", 《COMPUTER GRAPHICS FORUM》, 20 March 2023 (2023-03-20), pages 371 - 375 *

Similar Documents

Publication Publication Date Title
CN111862126B (zh) 深度学习与几何算法结合的非合作目标相对位姿估计方法
CN107808133B (zh) 基于无人机巡线的油气管道安全监测方法、系统及软件存储器
CN109559320A (zh) 基于空洞卷积深度神经网络实现视觉slam语义建图功能的方法及系统
CN110852182B (zh) 一种基于三维空间时序建模的深度视频人体行为识别方法
CN113012122B (zh) 一种类别级6d位姿与尺寸估计方法及装置
CN114266891A (zh) 基于图像与激光数据融合的铁路运行环境异常辨识方法
CN112651423A (zh) 一种智能视觉系统
CN113870160B (zh) 一种基于变换器神经网络的点云数据处理方法
CN116503399B (zh) 基于yolo-afps的绝缘子污闪检测方法
CN115082254A (zh) 一种变电站精益管控数字孪生系统
CN113298817A (zh) 一种准确率高的遥感图像语义分割方法
CN113486877A (zh) 基于轻量化人工智能模型的电力设备红外图像实时检测与诊断方法
Zou et al. Automatic segmentation, inpainting, and classification of defective patterns on ancient architecture using multiple deep learning algorithms
Wang et al. Global perception-based robust parking space detection using a low-cost camera
Zhang et al. Surface defect detection of wind turbine based on lightweight YOLOv5s model
CN114419444A (zh) 一种基于深度学习网络的轻量化的高分辨率鸟群识别方法
CN112668662B (zh) 基于改进YOLOv3网络的野外山林环境目标检测方法
CN117058396A (zh) 基于人工智能的风机叶片缺陷区域快速分割方法及系统
CN117237696A (zh) 基于YOLOv5与注意力机制的变电站杂草检测方法及系统
Li et al. Monocular 3-D Object Detection Based on Depth-Guided Local Convolution for Smart Payment in D2D Systems
CN117115258A (zh) 面向航空发动机零部件辅助维修的六自由度位姿估计方法
Li et al. Few-shot meta-learning on point cloud for semantic segmentation
CN117651976A (zh) 缺陷检测方法和装置
CN110826432B (zh) 一种基于航空图片的输电线识别方法
Lee et al. Camera pose estimation using voxel-based features for autonomous vehicle localization tracking

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination