CN115147834A - 一种基于点云的飞机长桁平面特征提取方法、装置及设备 - Google Patents

一种基于点云的飞机长桁平面特征提取方法、装置及设备 Download PDF

Info

Publication number
CN115147834A
CN115147834A CN202211083410.8A CN202211083410A CN115147834A CN 115147834 A CN115147834 A CN 115147834A CN 202211083410 A CN202211083410 A CN 202211083410A CN 115147834 A CN115147834 A CN 115147834A
Authority
CN
China
Prior art keywords
point cloud
feature extraction
cloud data
network
stringer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211083410.8A
Other languages
English (en)
Other versions
CN115147834B (zh
Inventor
汪俊
曾航彬
单忠德
李子宽
肖坤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Aeronautics and Astronautics
Original Assignee
Nanjing University of Aeronautics and Astronautics
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Aeronautics and Astronautics filed Critical Nanjing University of Aeronautics and Astronautics
Priority to CN202211083410.8A priority Critical patent/CN115147834B/zh
Publication of CN115147834A publication Critical patent/CN115147834A/zh
Application granted granted Critical
Publication of CN115147834B publication Critical patent/CN115147834B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及平面特征提取技术领域，解决了现有技术中飞机长桁的平面特征提取的精度和准确率低的技术问题，尤其涉及一种基于点云的飞机长桁平面特征提取方法，包括以下过程：获取飞机长桁的点云数据，采用三维扫描仪获取飞机长桁的点云数据；根据所获取的点云数据构建训练集和验证集，选取比例为0.6‑1的点云数据作为训练集，剩余的点云数据作为验证集；构建深度学习和球谐算子点云特征提取网络；设置训练深度学习和球谐算子点云特征提取网络的损失函数。本发明通过在深度学习网络中加入球谐算子，能够更好地提取飞机长桁的平面特征，从而提高飞机长桁的平面特征提取的精度和准确率。

Description

一种基于点云的飞机长桁平面特征提取方法、装置及设备
技术领域
本发明涉及平面特征提取技术领域，尤其涉及一种基于点云的飞机长桁平面特征提取方法、装置及设备。
背景技术
飞机装配是整个飞机制造环节中至关重要的组成部分。它是指将飞机上众多的零部件、成品等组件或标准件等按照图样或三维模型、匹配相关技术条件而在专用的设备上进行飞机机体相关结构的铆接装配、系统安装、调试及试飞的全过程。由于飞机装配过程中，相关零部件尺寸大、数量多、形状复杂，导致飞机装配劳动量占飞机制造劳动总量的比重较大。而飞机装配技术是一项综合性技术，技术难度相对较高，因而飞机最终的生产质量、生产成本及周期在很大程度上是由相关的装配技术所决定的。
机身对接是飞机装配最终且十分重要的阶段，传统机身对接装配使用专用型架配合人工辅助的方式进行装配，由于人工操作误差、型架制造误差，机翼位姿精度难以保证，而机翼连接结构间隙狭小，装配过程中产品易发生变形、碰撞和磨损。为了提高装配质量，使用由数字测量系统、数字定位装置、控制系统组成的数字化调姿定位系统来提高调姿定位精度。数字化调姿定位系统进行调姿对接时需要提取对接面上明显的特征进行调资参数的计算，从而快速完成调姿定位，准确地完成机身的对接。
而目前针对飞机长桁平面特征的提取方式较为单一，并没有相应且相吻合的特定提取方法，导致在提取对接面上明显的特征时的针对性较弱，无法保证生飞机长桁的平面特征提取的精度和准确率。
发明内容
针对现有技术的不足，本发明提供了一种基于点云的飞机长桁平面特征提取方法、装置及设备，解决了现有技术中飞机长桁的平面特征提取的精度和准确率低的技术问题，本发明在深度学习网络中加入球谐算子，能够更好地提取飞机长桁的平面特征，从而提高飞机长桁的平面特征提取的精度和准确率。
为解决上述技术问题，本发明提供了如下技术方案：一种基于点云的飞机长桁平面特征提取方法，包括以下过程：
获取飞机长桁的点云数据，采用三维扫描仪获取飞机长桁的点云数据；
根据所获取的点云数据构建训练集和验证集，选取比例为0.6-1的点云数据作为训练集，剩余的点云数据作为验证集；
构建深度学习和球谐算子点云特征提取网络；
设置训练深度学习和球谐算子点云特征提取网络的损失函数；
对深度学习和球谐算子点云特征提取网络进行训练；
根据多维度拼接的点云的融合特征获取飞机长桁平面特征的提取结果。
进一步地，所述深度学习和球谐算子点云特征提取网络由多层融合特征编码网络和Detection Head网络构成，其中，多层融合特征编码网络包括多个PointExt，PointExt包括采样层、分组层、点网层和球谐算子层；
进一步地，Detection Head网络由SSD网络构成。
进一步地，在对深度学习和球谐算子点云特征提取网络进行训练这一步骤中，具体包括以下过程：
将训练集数据输入多层融合特征编码网络进行预处理，将点云数据统一转换为检测目标的俯视角度，选取检测目标此方向上变化不大的坐标轴，多层融合特征编码网络对训练集数据进行处理，将点云数据统一转换为检测目标的俯视角度；
采用多层融合特征编码网络对预处理过的训练集数据进行编码，获得多维度拼接的点云的融合特征，在多层融合特征编码网络中，点云数据每经历过一个PointExt则得到一个特征图，将多个特征图进行上采样进行维度上的统一再进行拼接，得到多维度拼接的点云的融合特征；
对训练集的数据进行标注，得出点云数据中检测目标的分类标签及边界框的坐标作为真实值，真实值作为初始训练集对深度学习和球谐算子点云特征提取网络进行训练，
Figure 133404DEST_PATH_IMAGE001
，选取较多的数据进行标注作为训练集，能够更好地获得深度学习和球谐算子点云特征提取网络模型，少量的数据作为验证集来验证训练好的模型的精度；
将多维度拼接的点云的融合特征输入Detection Head网络，得到点云数据中检测目标的预测点云数据中检测目标的边界框坐标及置信度。
根据预测值和真实值构建损失函数，通过随机梯度下降算法优化多层融合特征编码网络的参数，得到训练后的深度学习和球谐算子点云特征提取网络模型。
进一步地，预测值为预测点云数据中检测目标的边界框坐标及置信度，真实值为点云数据中检测目标的分类标签及边界框坐标。
进一步地，在根据多维度拼接的点云的融合特征获取飞机长桁平面特征的提取结果这一步骤中，具体包括以下过程：
将多维度拼接的点云的融合特征输入Detection Head网络，根据感受野的映射关系找到俯视角度下的多维度采样平面上的中心坐标；
在每个中心坐标上设置三个不同角度的3D预设框，3D预设框的大小和训练集中标注的检测目标的边界框平均大小相同；
将3D预设框与标注的检测目标的边界框计算IoU，并与设置的阈值进行对比，得到最大的IoU的3D预设框即为3D候选框，标注的检测目标的边界框为步骤S53中标注训练集中数据得到的检测目标的边界框；
筛选得到的3D候选框进行边框回归，得到3D候选框的坐标修正偏移量；
根据3D候选框的初始位置坐标和边框回归得到的3D候选框的坐标修正偏移量进行计算，得到检测目标的预测边界框的位置坐标输出与该预测边界框的置信度；
将检测目标的预测边界框的位置坐标输出与该预测边界框的置信度输入训练后的深度学习和球谐算子点云特征提取网络模型中，获得飞机长桁平面特征的提取结果。
该技术方案还提供了一种用于实现所述的飞机长桁平面特征提取方法的装置，包括：
点云数据获取模块，所述点云数据获取模块用于采用三维扫描仪获取飞机长桁的点云数据；
训练集和验证集构建模块，所述训练集和验证集构建模块用于根据所获取的点云数据构建训练集和验证集，选取比例为
Figure 847282DEST_PATH_IMAGE002
的点云数据作为训练集，剩余的点云数据作为验证集；
特征提取网络构建模块，所述特征提取网络构建模块用于构建深度学习和球谐算子点云特征提取网络；
损失函数设置模块，所述损失函数设置模块用于设置训练深度学习和球谐算子点云特征提取网络的损失函数；
训练模块，所述训练模块用于对深度学习和球谐算子点云特征提取网络进行训练；
提取结果获得模块，所述提取结果获得模块用于根据多维度拼接的点云的融合特征获取飞机长桁平面特征的提取结果。
该技术方案还提供了一种用于实现上述飞机长桁平面特征提取方法的设备，包括：
处理器；
存储器；
以及一个或多个程序，其中所述一个或多个程序被存储在存储器中，并且被配置成由所述处理器执行，所述程序用于计算机执行飞机长桁平面特征的提取方法。
借由上述技术方案，本发明提供了一种基于点云的飞机长桁平面特征提取方法、装置及设备，至少具备以下有益效果：
本发明通过在深度学习网络中加入球谐算子，能够更好地提取飞机长桁的平面特征，从而提高飞机长桁的平面特征提取的精度和准确率，解决了现有技术中飞机长桁的平面特征提取的精度和准确率低的技术问题。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1为本发明飞机长桁平面特征提取方法的流程图；
图2为本发明深度学习和球谐算子点云特征提取网络的框架图；
图3为本发明点云从笛卡尔坐标系转换到球坐标系的示意图；
图4为本发明点云数据转换为球谐模型的示意图；
图5为本发明飞机长桁平面特征提取装置的原理框图。
图中：100、点云数据获取模块；200、训练集和验证集构建模块；300、特征提取网络构建模块；400、损失函数设置模块；500、训练模块；600、提取结果获得模块。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图 和具体实施方式对本发明作进一步详细的说明。借此对本申请如何应用技术手段来解决技术问题并达成技术功效的实现过程能充分理解并据以实施。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
请参照图1-图5，示出了本实施例的一种具体实施方式，本实施例通过在深度学习网络中加入球谐算子，能够更好地提取飞机长桁的平面特征，从而提高飞机长桁的平面特征提取的精度和准确率，解决了现有技术中飞机长桁的平面特征提取的精度和准确率低的技术问题。
请参照图1，一种基于点云的飞机长桁平面特征提取方法，包括以下过程：
S1、获取飞机长桁的点云数据，采用三维扫描仪获取飞机长桁的点云数据。
S2、根据所获取的点云数据构建训练集和验证集，选取比例为
Figure 361440DEST_PATH_IMAGE002
的点云数据作为训练集，剩余的点云数据作为验证集。对训练集的数据进行标注，获得点云数据中检测目标的分类标签及边界框坐标作为真实值，作为初始训练集对深度学习和球谐算子点云特征提取网络进行训练，
Figure 553387DEST_PATH_IMAGE001
，选取较多的数据进行标注作为训练集，能够更好地获得深度学习和球谐算子点云特征提取网络模型，少量的数据作为验证集来验证训练好的模型的精度。
S3、构建深度学习和球谐算子点云特征提取网络。
深度学习和球谐算子点云特征提取网络由多层融合特征编码网络和DetectionHead网络构成，其中，多层融合特征编码网络包括多个PointExt，PointExt包括采样层、分组层、点网层和球谐算子层。
Detection Head网络由SSD网络构成。
在PointExt中，采样层、分组层和点网层均为常规的层结构，并未对其做出其它创新，主要针对球谐算子层作出相应的改变，使PointExt能够符合深度学习和球谐算子点云特征提取网络的要求，而球谐算子层的构建过程为：
三维扫描仪获取飞机长桁点云数据得到点云数据
Figure 367759DEST_PATH_IMAGE003
都以预设的原点作为坐标原点的，选取飞机长桁点云数据中的点及其K个近邻点投影到球面进行球谐函数展开，计算其领域特征值。球谐函数展开过程如下：
如图3所示，将点云从笛卡尔坐标系转换到球坐标系下，转换公式如下：
Figure 924642DEST_PATH_IMAGE004
其中
Figure 988413DEST_PATH_IMAGE005
分别为极角和方位角，r为径向半径，为了减少计算量，通过等角划分将球面坐标划分成一个个网格，假设极角方向划分p份，而方位角方向划分q份，每个格子中心
Figure 921734DEST_PATH_IMAGE006
定义为：
Figure 138083DEST_PATH_IMAGE007
其中，j和k为格子的索引。
球谐是球面上的时频域分析技术，球谐函数
Figure 131447DEST_PATH_IMAGE008
可定义为：
Figure 620197DEST_PATH_IMAGE009
其中，
Figure 153947DEST_PATH_IMAGE010
为连带勒让德多项式，
Figure 411753DEST_PATH_IMAGE011
是归一化常数的相角；
Figure 638335DEST_PATH_IMAGE012
称为球谐函数的次，即球谐函数的频率，
Figure 879960DEST_PATH_IMAGE013
；
Figure 889504DEST_PATH_IMAGE014
称为球谐函数的阶，
Figure 329713DEST_PATH_IMAGE015
。
利用球谐函数展开来计算带限球面模型下的球谐系数为：
Figure 399300DEST_PATH_IMAGE016
Figure 174227DEST_PATH_IMAGE017
Figure 253042DEST_PATH_IMAGE018
将每个格子中扫描仪传感器中心到扫描点的距离的平均值赋给每个格子作为该格的特征：
Figure 485440DEST_PATH_IMAGE019
Figure 53824DEST_PATH_IMAGE020
其中，j和k为格子的索引；
Figure 738884DEST_PATH_IMAGE021
为权重系数；T为球函数模型的带限，满足
Figure 621389DEST_PATH_IMAGE022
与
Figure 770611DEST_PATH_IMAGE023
；这里
Figure 447580DEST_PATH_IMAGE024
表示连带勒让德函数，函数区间为[-1,1]；球谐系数
Figure 682252DEST_PATH_IMAGE025
即为点云数据转换得到的频率域特征，如图4所示。
由于预处理阶段，将点云数据转换到某一坐标方向的俯视角度，则整体点云对于该方向的姿态变换不大，对于该方向上的旋转仅改变
Figure 837290DEST_PATH_IMAGE026
的角度，则绕该轴的球谐整体能量不发生变化，正负阶球谐的能量实际上是一样的，将正负阶球谐组合得到：
Figure 309859DEST_PATH_IMAGE027
将B次的模型g的能量不变算子SHXI定义为：
Figure 970779DEST_PATH_IMAGE028
请参照图2，Detection Head网络作为多层融合特征编码网络后续的连接网络层，采用现有的SSD网络构成，Detection Head网络采用Single Shot Detector(SSD)进行预测点云数据中检测目标的边界框坐标及置信度，其中，采样层、分组层、点网层和球谐算子层构成一个PointExt，多个PointExt就构成了多层融合特征编码网络。
S4、设置训练深度学习和球谐算子点云特征提取网络的损失函数。
设置训练深度学习和球谐算子点云特征提取网络的损失函数，损失函数
Figure 630430DEST_PATH_IMAGE029
如下所示：
Figure 651476DEST_PATH_IMAGE030
Figure 447394DEST_PATH_IMAGE031
其中，
Figure 731744DEST_PATH_IMAGE032
和
Figure 941009DEST_PATH_IMAGE033
分别表示训练集中第i点的真实值与预测值；
Figure 703429DEST_PATH_IMAGE034
和
Figure 885011DEST_PATH_IMAGE035
分别表示检测目标的数量和点云数据中点的数量；
Figure 871422DEST_PATH_IMAGE036
和
Figure 505665DEST_PATH_IMAGE037
表示对检测目标的分割和分类的回归计算；
Figure 117781DEST_PATH_IMAGE038
和
Figure 153870DEST_PATH_IMAGE039
为权重，根据检测目标进行设定。
Figure 311182DEST_PATH_IMAGE040
通过对比预测框与训练样本标注框之间的七个参数
Figure 698301DEST_PATH_IMAGE041
之间的比值来进行优化，对比如下：
Figure 802523DEST_PATH_IMAGE042
Figure 489857DEST_PATH_IMAGE043
Figure 21332DEST_PATH_IMAGE044
其中，
Figure 630168DEST_PATH_IMAGE045
表示框的中心点坐标，
Figure 600398DEST_PATH_IMAGE046
表示框的长、宽、高，
Figure 345500DEST_PATH_IMAGE047
表示在绕选取的坐标轴的旋转的角度，
Figure 860926DEST_PATH_IMAGE048
表示真实值，
Figure 957058DEST_PATH_IMAGE049
表示预测值，
Figure 403083DEST_PATH_IMAGE050
表示在选取坐标轴下的包围盒的斜线长度。
S5、对深度学习和球谐算子点云特征提取网络进行训练。
在对深度学习和球谐算子点云特征提取网络进行训练这一步骤中，具体包括以下步骤：
S51、将训练集数据输入多层融合特征编码网络进行预处理，将点云数据统一转换为检测目标的俯视角度，选取检测目标此方向上变化不大的坐标轴，多层融合特征编码网络对训练集数据进行处理，将点云数据统一转换为检测目标的俯视角度。
S52、采用多层融合特征编码网络对预处理过的训练集数据进行编码，获得多维度拼接的点云的融合特征，请参照图2，在多层融合特征编码网络中，点云数据每经历过一个PointExt则得到一个特征图，将多个特征图进行上采样进行维度上的统一再进行拼接，得到多维度拼接的点云的融合特征。
S53、对训练集的数据进行标注，得出点云数据中检测目标的分类标签及边界框的坐标作为真实值，真实值作为初始训练集对深度学习和球谐算子点云特征提取网络进行训练，
Figure 65009DEST_PATH_IMAGE001
，选取较多的数据进行标注作为训练集，能够更好地获得深度学习和球谐算子点云特征提取网络模型，少量的数据作为验证集来验证训练好的模型的精度。
S54、将多维度拼接的点云的融合特征输入Detection Head网络，得到点云数据中检测目标的预测点云数据中检测目标的边界框坐标及置信度。
S55、根据预测值和真实值构建损失函数，通过随机梯度下降算法优化多层融合特征编码网络的参数，得到训练后的深度学习和球谐算子点云特征提取网络模型。
预测值为预测点云数据中检测目标的边界框坐标及置信度，真实值为点云数据中检测目标的分类标签及边界框坐标。
以预测点云数据中检测目标的边界框坐标及置信度为预测值，以训练集标注得到点云数据中检测目标的分类标签及边界框坐标为真实值，根据预测值和真实值构建损失函数，通过随机梯度下降算法优化多层融合特征编码网络的参数，从而降低损失函数的数值，经过不断迭代优化网络参数，直至损失函数停止下降，则多层融合特征编码网络训练过程结束，得到训练后的深度学习和球谐算子点云特征提取网络模型。
S6、根据多维度拼接的点云的融合特征获取飞机长桁平面特征的提取结果。
在根据多维度拼接的点云的融合特征获取飞机长桁平面特征的提取结果这一步骤中，具体包括以下步骤：
S61、将多维度拼接的点云的融合特征输入Detection Head网络，根据感受野的映射关系找到俯视角度下的多维度采样平面上的中心坐标。
S62、在每个中心坐标上设置三个不同角度的3D预设框，3D预设框的大小和训练集中标注的检测目标的边界框平均大小相同。
S63、将3D预设框与标注的检测目标的边界框计算IoU，并与设置的阈值进行对比，得到最大的IoU的3D预设框即为3D候选框，标注的检测目标的边界框为步骤S53中标注训练集中数据得到的检测目标的边界框。
S64、筛选得到的3D候选框进行边框回归，得到3D候选框的坐标修正偏移量。
S65、根据3D候选框的初始位置坐标和边框回归得到的3D候选框的坐标修正偏移量进行计算，得到检测目标的预测边界框的位置坐标输出与该预测边界框的置信度。
S66、将检测目标的预测边界框的位置坐标输出与该预测边界框的置信度输入训练后的深度学习和球谐算子点云特征提取网络模型中，获得飞机长桁平面特征的提取结果。
通过在深度学习网络中加入球谐算子，能够更好地提取飞机长桁的平面特征，从而提高飞机长桁的平面特征提取的精度和准确率。
请参照图5，本实施例还提供了一种用于实现上述飞机长桁平面特征提取方法的装置，包括：
点云数据获取模块100，点云数据获取模块100用于采用三维扫描仪获取飞机长桁的点云数据；
训练集和验证集构建模块200，训练集和验证集构建模块200用于根据所获取的点云数据构建训练集和验证集，选取比例为
Figure 938287DEST_PATH_IMAGE002
的点云数据作为训练集，剩余的点云数据作为验证集。
特征提取网络构建模块300，特征提取网络构建模块300用于构建深度学习和球谐算子点云特征提取网络。
损失函数设置模块400，损失函数设置模块400用于设置训练深度学习和球谐算子点云特征提取网络的损失函数。
训练模块500，训练模块500用于对深度学习和球谐算子点云特征提取网络进行训练。
提取结果获得模块600，提取结果获得模块600用于根据多维度拼接的点云的融合特征获取飞机长桁平面特征的提取结果。
本实施例还提供了一种用于实现上述飞机长桁平面特征提取方法的设备，包括：
处理器；
存储器；
以及一个或多个程序，其中一个或多个程序被存储在存储器中，并且被配置成由处理器执行，程序用于计算机执行飞机长桁平面特征的提取方法。
本实施例通过在深度学习网络中加入球谐算子，能够更好地提取飞机长桁的平面特征，从而提高飞机长桁的平面特征提取的精度和准确率。
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同或相似的部分互相参见即可。对于以上各实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上实施方式对本发明进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (8)

1.一种基于点云的飞机长桁平面特征提取方法，其特征在于，包括以下过程：
获取飞机长桁的点云数据；
根据所获取的点云数据构建训练集和验证集，选取比例为0.6-1的点云数据作为训练集，剩余的点云数据作为验证集；
构建深度学习和球谐算子点云特征提取网络；
设置训练深度学习和球谐算子点云特征提取网络的损失函数；
对深度学习和球谐算子点云特征提取网络进行训练；
根据多维度拼接的点云的融合特征获取飞机长桁平面特征的提取结果。
2.根据权利要求1所述的飞机长桁平面特征提取方法，其特征在于：所述深度学习和球谐算子点云特征提取网络由多层融合特征编码网络和Detection Head网络构成，其中，多层融合特征编码网络包括多个PointExt，PointExt包括采样层、分组层、点网层和球谐算子层。
3.根据权利要求2所述的飞机长桁平面特征提取方法，其特征在于：Detection Head网络由SSD网络构成。
4.根据权利要求1所述的飞机长桁平面特征提取方法，其特征在于：在对深度学习和球谐算子点云特征提取网络进行训练这一步骤中，具体包括以下过程：
将训练集数据输入多层融合特征编码网络进行预处理，将点云数据统一转换为检测目标的俯视角度；
采用多层融合特征编码网络对预处理过的训练集数据进行编码，获得多维度拼接的点云的融合特征；
对训练集的数据进行标注，得出点云数据中检测目标的分类标签及边界框的坐标作为真实值；
将多维度拼接的点云的融合特征输入Detection Head网络，得到点云数据中检测目标的预测点云数据中检测目标的边界框坐标及置信度；
根据预测值和真实值构建损失函数，通过随机梯度下降算法优化多层融合特征编码网络的参数，得到训练后的深度学习和球谐算子点云特征提取网络模型。
5.根据权利要求4所述的飞机长桁平面特征提取方法，其特征在于：预测值为预测点云数据中检测目标的边界框坐标及置信度，真实值为点云数据中检测目标的分类标签及边界框坐标。
6.根据权利要求1所述的飞机长桁平面特征提取方法，其特征在于：在根据多维度拼接的点云的融合特征获取飞机长桁平面特征的提取结果这一步骤中，具体包括以下过程：
将多维度拼接的点云的融合特征输入Detection Head网络，根据感受野的映射关系找到俯视角度下的多维度采样平面上的中心坐标；
在每个中心坐标上设置三个不同角度的3D预设框；
将3D预设框与标注的检测目标的边界框计算IoU，并与设置的阈值进行对比，得到最大的IoU的3D预设框即为3D候选框；
筛选得到的3D候选框进行边框回归，得到3D候选框的坐标修正偏移量；
根据3D候选框的初始位置坐标和边框回归得到的3D候选框的坐标修正偏移量进行计算，得到检测目标的预测边界框的位置坐标输出与该预测边界框的置信度；
将检测目标的预测边界框的位置坐标输出与该预测边界框的置信度输入训练后的深度学习和球谐算子点云特征提取网络模型中，获得飞机长桁平面特征的提取结果。
7.一种用于实现上述权利要求1-6任一项所述的飞机长桁平面特征提取方法的装置，其特征在于，包括：
点云数据获取模块（100），所述点云数据获取模块（100）用于采用三维扫描仪获取飞机长桁的点云数据；
训练集和验证集构建模块（200），所述训练集和验证集构建模块（200）用于根据所获取的点云数据构建训练集和验证集，选取比例为
Figure 228029DEST_PATH_IMAGE001
的点云数据作为训练集，剩余的点云数据作为验证集；
特征提取网络构建模块（300），所述特征提取网络构建模块（300）用于构建深度学习和球谐算子点云特征提取网络；
损失函数设置模块（400），所述损失函数设置模块（400）用于设置训练深度学习和球谐算子点云特征提取网络的损失函数；
训练模块（500），所述训练模块（500）用于对深度学习和球谐算子点云特征提取网络进行训练；
提取结果获得模块（600），所述提取结果获得模块（600）用于根据多维度拼接的点云的融合特征获取飞机长桁平面特征的提取结果。
8.一种用于实现上述权利要求1-6任一项所述的飞机长桁平面特征提取方法的设备，其特征在于，包括：
处理器；
存储器；
以及一个或多个程序，其中所述一个或多个程序被存储在存储器中，并且被配置成由所述处理器执行，所述程序用于计算机执行如权利要求1-6中任一项所述的方法。
CN202211083410.8A 2022-09-06 2022-09-06 一种基于点云的飞机长桁平面特征提取方法、装置及设备 Active CN115147834B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211083410.8A CN115147834B (zh) 2022-09-06 2022-09-06 一种基于点云的飞机长桁平面特征提取方法、装置及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211083410.8A CN115147834B (zh) 2022-09-06 2022-09-06 一种基于点云的飞机长桁平面特征提取方法、装置及设备

Publications (2)

Publication Number Publication Date
CN115147834A true CN115147834A (zh) 2022-10-04
CN115147834B CN115147834B (zh) 2023-05-05

Family

ID=83415670

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211083410.8A Active CN115147834B (zh) 2022-09-06 2022-09-06 一种基于点云的飞机长桁平面特征提取方法、装置及设备

Country Status (1)

Country Link
CN (1) CN115147834B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115982864A (zh) * 2023-03-21 2023-04-18 南京航空航天大学 一种大型复合材料构件装配协调边界特征的重建方法
CN116011107A (zh) * 2023-01-10 2023-04-25 南京航空航天大学 大型复合材料构件孔特征提取方法、装置及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170227645A1 (en) * 2016-02-04 2017-08-10 Symbol Technologies, Llc Methods and systems for processing point-cloud data with a line scanner
CN111476786A (zh) * 2020-04-22 2020-07-31 南京航空航天大学 一种基于实测数据的长桁自动化涂胶及质量检测方法
CN111612059A (zh) * 2020-05-19 2020-09-01 上海大学 一种基于pointpillars的多平面编码点云特征深度学习模型的构建方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170227645A1 (en) * 2016-02-04 2017-08-10 Symbol Technologies, Llc Methods and systems for processing point-cloud data with a line scanner
CN111476786A (zh) * 2020-04-22 2020-07-31 南京航空航天大学 一种基于实测数据的长桁自动化涂胶及质量检测方法
CN111612059A (zh) * 2020-05-19 2020-09-01 上海大学 一种基于pointpillars的多平面编码点云特征深度学习模型的构建方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116011107A (zh) * 2023-01-10 2023-04-25 南京航空航天大学 大型复合材料构件孔特征提取方法、装置及系统
CN115982864A (zh) * 2023-03-21 2023-04-18 南京航空航天大学 一种大型复合材料构件装配协调边界特征的重建方法

Also Published As

Publication number Publication date
CN115147834B (zh) 2023-05-05

Similar Documents

Publication Publication Date Title
CN115147834B (zh) 一种基于点云的飞机长桁平面特征提取方法、装置及设备
US11557029B2 (en) Method for detecting and recognizing surface defects of automated fiber placement composite based on image converted from point cloud
CN107742093B (zh) 一种红外图像电力设备部件实时检测方法、服务器及系统
CN113705478B (zh) 一种基于改进YOLOv5的红树林单木目标检测方法
CN112101430B (zh) 用于图像目标检测处理的锚框生成方法及轻量级目标检测方法
CN110544233B (zh) 基于人脸识别应用的深度图像质量评价方法
CN110850371B (zh) 一种基于Green函数修正的高分辨率声源定位方法
CN114626470B (zh) 基于多类型几何特征算子的飞机蒙皮关键特征检测方法
CN110132263A (zh) 一种基于表示学习的星图识别方法
CN110147837B (zh) 基于特征聚焦的任意方向密集目标检测方法、系统及设备
CN110533063A (zh) 一种基于卫星影像和gmdh神经网络的云量计算方法及装置
CN110751209A (zh) 一种融合深度图像分类和检索的智能台风定强方法
CN114119922A (zh) 基于点云三维重构的复杂轮廓缺陷校验方法
CN111504191A (zh) 一种基于三维激光扫描的航空零件自动快速测量方法
CN111353377A (zh) 一种基于深度学习的电梯乘客数检测方法
CN114693932B (zh) 一种大型飞机大部件点云语义分割方法
CN107578448B (zh) 基于cnn的无标定曲面所包含拼接曲面个数识别方法
CN113587807A (zh) 一种飞机壁板加工特征面的扫描路径生成方法
CN116681895A (zh) 一种飞机网格模型部件分割方法、系统、设备及介质
CN109919215B (zh) 基于聚类算法改进特征金字塔网络的目标检测方法
CN116245944B (zh) 一种基于实测数据的舱段自动化对接方法及系统
Ouyang et al. Aerial target detection based on the improved YOLOv3 algorithm
CN113222250A (zh) 基于卷积神经网络的大功率激光装置输出波形预测方法
CN117217020A (zh) 一种基于数字孪生的工业模型构建方法及系统
CN114612394B (zh) 一种基于Yolo网络和DIC技术的混凝土内部损伤预测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant