CN116824188B - 一种基于多神经网络集成学习的吊物类型识别方法及系统 - Google Patents

一种基于多神经网络集成学习的吊物类型识别方法及系统 Download PDF

Info

Publication number
CN116824188B
CN116824188B CN202310652099.2A CN202310652099A CN116824188B CN 116824188 B CN116824188 B CN 116824188B CN 202310652099 A CN202310652099 A CN 202310652099A CN 116824188 B CN116824188 B CN 116824188B
Authority
CN
China
Prior art keywords
neural network
feature vector
training
point cloud
suspended object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310652099.2A
Other languages
English (en)
Other versions
CN116824188A (zh
Inventor
姜贺
安民洙
葛晓东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Light Speed Intelligent Equipment Co ltd
Tenghui Technology Building Intelligence Shenzhen Co ltd
Original Assignee
Guangdong Light Speed Intelligent Equipment Co ltd
Tenghui Technology Building Intelligence Shenzhen Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Light Speed Intelligent Equipment Co ltd, Tenghui Technology Building Intelligence Shenzhen Co ltd filed Critical Guangdong Light Speed Intelligent Equipment Co ltd
Priority to CN202310652099.2A priority Critical patent/CN116824188B/zh
Publication of CN116824188A publication Critical patent/CN116824188A/zh
Application granted granted Critical
Publication of CN116824188B publication Critical patent/CN116824188B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G06V10/763—Non-hierarchical techniques, e.g. based on statistics of modelling distributions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/098—Distributed learning, e.g. federated learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于多神经网络集成学习的吊物类型识别方法及系统，包括：基于收集的吊物激光雷达点云数据和三个特征提取神经网络对吊物识别神经网络进行训练，得到训练完成的吊物识别神经网络；将吊钩的高度值下方的点云进行欧式聚类，获取体积最大的聚类联通体作为吊物识别的输入点云；利用三个特征提取神经网络对输入点云进行特征提取，得到三个特征向量，并进行并联扩展，形成高维特征向量；对高维特征向量进行范数归一化，得到归一化高维特征向量，并将归一化高维特征向量输入到训练完成的吊物识别神经网络；利用训练完成的吊物识别神经网络对归一化高维特征向量进行推理，获得吊物类型。本发明达到大幅提高吊物类型识别的稳定性的目的。

Description

一种基于多神经网络集成学习的吊物类型识别方法及系统
技术领域
本发明涉及吊物识别技术领域，具体涉及一种基于多神经网络集成学习的吊物类型识别方法及系统。
背景技术
在塔吊的自动驾驶中，塔吊吊物的类型识别具有重要意义。一般使用面阵激光雷达，将视口垂直向下对吊物进行观测。由于吊物的类型多样，形态各异，识别的挑战性较大。目前深度学习是主流方法，但是不同的深度神经网络对不同类型物体的表达能力是不同的，采用单一架构的深度神经网络很难保证基于点云的吊物识别的可靠性。
基于深度学习的点云目标识别方法有多种类型，比较典型的方法包括：(1)基于体素或多视图的方法；(2)基于原始点云排列不变性的方法；(3)基于点云局部特征的方法等。基于体素的方法通过在3位空间构建网格(体素)并用3维卷积运算构建神经网络实现目标识别。或将原始点云投影到多个二维平面，再通过多通道的二维卷积实现神经网络搭建。基于原始点云排序不变形的方法直接利用原始点云，通过层级下采样与共享的多层感知机来捕捉细节信息，最后利用最大池化将所有点的信息聚合得到全局特征。基于点云局部特征的方法根据某种距离度量方式选择节点的近邻，动态生成神经网络的每一层，能够最大化的充分利用点云局部结构信息。上述方法的原理和出发点不同，因此都有独特的应用场景。
在塔吊的吊物识别任务中，吊物的形态差异化极大，并且在远端存在点云稀疏的现象。使用前述的任何一种方法都很难获得稳定的识别效果。
发明内容
为了克服现有技术的不足，本发明提供一种基于多神经网络集成学习的吊物类型识别方法及系统，用于解决现有技术在对塔吊吊物的类型进行识别时难以获得稳定的识别效果的技术问题，从而达到大幅提高吊物类型识别的稳定性的目的。
为解决上述问题，本发明所采用的技术方案如下：
一种基于多神经网络集成学习的吊物类型识别方法，包括以下步骤：
基于收集的吊物的激光雷达点云数据和三个特征提取神经网络对吊物识别神经网络进行训练，得到训练完成的吊物识别神经网络；
获取塔吊小车吊钩的高度值，并将所述吊钩的高度值下方的点云进行欧式聚类，获取体积最大的聚类联通体作为吊物识别的输入点云；
利用所述三个特征提取神经网络对所述输入点云进行特征提取，得到三个特征向量，并对所述三个特征向量进行并联扩展，形成高维特征向量；
对所述高维特征向量进行范数归一化，得到归一化高维特征向量，并将所述归一化高维特征向量输入到所述训练完成的吊物识别神经网络；
利用所述训练完成的吊物识别神经网络对所述归一化高维特征向量进行推理，获得吊物类型。
作为本发明优选的实施方式，在基于收集的吊物激光雷达点云数据和三个特征提取神经网络对吊物识别神经网络进行训练时，包括：
将激光雷达安装于所述塔吊小车下方，视口方向垂直地面，收集吊物的激光雷达点云数据，并针对每个激光雷达点云数据给定吊物类型标签，得到带有标签的激光雷达点云数据；
其中，每种类别的吊物收集50个激光雷达点云数据，所述50个激光雷达点云数据覆盖10米到100米不同高度。
作为本发明优选的实施方式，在得到带有标签的激光雷达点云数据后，包括：
针对每个所述带有标签的激光雷达点云数据，利用3DmFV神经网络进行特征提取，得到第一训练特征向量；
针对每个所述带有标签的激光雷达点云数据，利用PointNet++神经网络进行特征提取，得到第二训练特征向量；
针对每个所述带有标签的激光雷达点云数据，利用DGCNN神经网络进行特征提取，得到第三训练特征向量；
其中，所述三个特征提取神经网络包括：所述3DmFV神经网络、所述PointNet++神经网络以及所述DGCNN神经网络。
作为本发明优选的实施方式，在利用3DmFV神经网络进行特征提取时，包括：
所述3DmFV神经网络使用FisherVector组织原始点云，并级联CNN进行特征提取，得到所述第一训练特征向量。
作为本发明优选的实施方式，在利用PointNet++神经网络进行特征提取时，包括：
所述PointNet++神经网络在保持原始点云的排列顺序的情况下，通过MLP完成特征捕获，再级联CNN获取全局语义，得到所述第二训练特征向量。
作为本发明优选的实施方式，在利用DGCNN神经网络进行特征提取时，包括：
所述DGCNN神经网络基于局部拓扑关系动态调整神经网络每层的架构后，进行特征提取，得到所述第三训练特征向量。
作为本发明优选的实施方式，在得到所述第一训练特征向量、所述第二训练特征向量以及所述第三训练特征向量后，包括：
将所述第一训练特征向量、所述第二训练特征向量以及所述第三训练特征向量并联扩展为训练高维特征向量，并将所述训练高维特征向量进行范数归一化，得到归一化训练高维特征向量；
利用所述归一化训练高维特征向量对所述吊物识别神经网络进行训练，得到所述训练完成的吊物识别神经网络。
作为本发明优选的实施方式，在利用所述归一化训练高维特征向量对所述吊物识别神经网络进行训练时，包括：
利用所述归一化训练高维特征向量训练一个包含2个隐含层，并且每个隐含层有512个神经元的多层感知机神经网络；
其中，所述多层感知机神经网络的输出为Softmax形式，输出层节点个数为吊物类别数量。
作为本发明优选的实施方式，利用所述三个特征提取神经网络对所述输入点云进行特征提取时，包括：
利用3DmFV神经网络对所述输入点云进行特征提取，得到第一特征向量；
利用PointNet++神经网络对所述输入点云进行特征提取，得到第二特征向量；
利用DGCNN神经网络对所述输入点云进行特征提取，得到第三特征向量；
其中，所述三个特征提取神经网络包括：所述3DmFV神经网络、所述PointNet++神经网络以及所述DGCNN神经网络；所述三个特征向量包括：所述第一特征向量、所述第二特征向量以及所述第三特征向量。
一种基于多神经网络集成学习的吊物类型识别系统，包括：
训练单元：用于基于收集的吊物的激光雷达点云数据和三个特征提取神经网络对吊物识别神经网络进行训练，得到训练完成的吊物识别神经网络；
输入点云获取单元；用于获取塔吊小车吊钩的高度值，并将所述吊钩的高度值下方的点云进行欧式聚类，获取体积最大的聚类联通体作为吊物识别的输入点云；
高维特征向量获取单元：用于利用所述三个特征提取神经网络对所述输入点云进行特征提取，得到三个特征向量，并对所述三个特征向量进行并联扩展，形成高维特征向量；
吊物类型识别单元：用于对所述高维特征向量进行范数归一化，得到归一化高维特征向量，并将所述归一化高维特征向量输入到所述训练完成的吊物识别神经网络；利用所述训练完成的吊物识别神经网络对所述归一化高维特征向量进行推理，获得吊物类型。
相比现有技术，本发明的有益效果在于：
(1)本发明对同一个吊物点云数据，使用不同的神经网络进行特征提取，对提取的特征再进行集成学习，从而大幅提高吊物类型识别的稳定性；
(2)本发明所采用三个特征提取神经网络在点云的特征提取方面具有极强的互补性，将点云经过三个特征提取神经网络的特征提取的结果进行组合，形成更高维度的特征向量，再训练MLP实现高维特征到目标类型的映射，从而完成多个神经网络的集成，并且在使用中，通过三个特征提取神经网络完成特征提取，再基于训练好的MLP完成点云类型识别，从而获得准确的识别结果。
下面结合附图和具体实施方式对本发明作进一步详细说明。
附图说明
图1-是本发明实施例的激光雷达部署示意图；
图2-是本发明实施例的基于多神经网络集成学习的吊物类型识别方法的计算方案流程图；
图3-是本发明实施例的基于多神经网络集成学习的吊物类型识别方法步骤图。
附图标号说明：1、塔吊；2、塔吊小车；3、激光雷达；4、吊物。
具体实施方式
本发明所提供的基于多神经网络集成学习的吊物类型识别方法，如图3所示，包括以下步骤：
步骤S1：基于收集的吊物4的激光雷达点云数据和三个特征提取神经网络对吊物识别神经网络进行训练，得到训练完成的吊物识别神经网络；
步骤S2：获取塔吊小车2吊钩的高度值，并将吊钩的高度值下方的点云进行欧式聚类，获取体积最大的聚类联通体作为吊物识别的输入点云；
步骤S3：利用三个特征提取神经网络对输入点云进行特征提取，得到三个特征向量，并对三个特征向量进行并联扩展，形成高维特征向量；
步骤S4：对高维特征向量进行范数归一化，得到归一化高维特征向量，并将归一化高维特征向量输入到训练完成的吊物识别神经网络；
步骤S5：利用训练完成的吊物识别神经网络对归一化高维特征向量进行推理，获得吊物4类型。
在上述步骤S1中，在基于收集的吊物激光雷达点云数据和三个特征提取神经网络对吊物识别神经网络进行训练时，包括：
将激光雷达3安装于塔吊小车2下方，视口方向垂直地面，收集吊物4的激光雷达点云数据，并针对每个激光雷达点云数据给定吊物类型标签，得到带有标签的激光雷达点云数据；
其中，每种类别的吊物4收集50个激光雷达点云数据，50个激光雷达点云数据覆盖10米到100米不同高度。
具体地，激光雷达3的安装位置如图1所示。
进一步地，在得到带有标签的激光雷达点云数据后，包括：
针对每个带有标签的激光雷达点云数据，利用3DmFV神经网络进行特征提取，得到第一训练特征向量；
针对每个带有标签的激光雷达点云数据，利用PointNet++神经网络进行特征提取，得到第二训练特征向量；
针对每个带有标签的激光雷达点云数据，利用DGCNN神经网络进行特征提取，得到第三训练特征向量；
其中，三个特征提取神经网络包括：3DmFV神经网络、PointNet++神经网络以及DGCNN神经网络。
更进一步地，在利用3DmFV神经网络进行特征提取时，包括：
3DmFV神经网络使用FisherVector组织原始点云，并级联CNN进行特征提取，得到第一训练特征向量。
更进一步地，在利用PointNet++神经网络进行特征提取时，包括：
PointNet++神经网络在保持原始点云的排列顺序的情况下，通过MLP完成特征捕获，再级联CNN获取全局语义，得到第二训练特征向量。
更进一步地，在利用DGCNN神经网络进行特征提取时，包括：
DGCNN神经网络基于局部拓扑关系动态调整神经网络每层的架构后，进行特征提取，得到第三训练特征向量。动态调整神经网络每层的架构后能实现精确的局部信息的利用。
更进一步地，在得到第一训练特征向量、第二训练特征向量以及第三训练特征向量后，包括：
将第一训练特征向量、第二训练特征向量以及第三训练特征向量并联扩展为训练高维特征向量，并将训练高维特征向量进行范数归一化，得到归一化训练高维特征向量；
利用归一化训练高维特征向量对吊物识别神经网络进行训练，得到训练完成的吊物识别神经网络。
具体地，将训练高维特征向量进行范数归一化具体为：将训练高维特征向量进行L2范数归一化。
更进一步地，在利用归一化训练高维特征向量对吊物识别神经网络进行训练时，包括：
利用归一化训练高维特征向量训练一个包含2个隐含层，并且每个隐含层有512个神经元的多层感知机(MLP)神经网络；
其中，多层感知机(MLP)神经网络的输出为Softmax形式，输出层节点个数为吊物类别数量。
具体地，3DmFV神经网络、PointNet++神经网络以及DGCNN神经网络只完成特征提取，而不进行类型判别。三个特征提取神经网络在点云的特征提取方面具有极强的互补性。将点云经过三个特征提取神经网络的特征提取的结果进行组合，形成更高维度的特征向量，再训练多层感知机(MLP)神经网络实现高维特征到目标类型的映射，完成多个神经网络的集成。在训练中，三个特征提取神经网络是冻结状态，不更新，只使用其特征描述能力。在分类决策中，训练更新多层感知机(MLP)神经网络的权重，完成方法的集成。
在上述步骤S2中，获取体积最大的聚类联通体的过程具体为：
首先读取塔吊小车2吊钩的高度数据，将小车正下方，吊钩高度以下10米×10米×10米立方体内的点云进行欧式聚类，获取体积最大的聚类联通体作为吊物识别的输入。
在上述步骤S3中，利用三个特征提取神经网络对输入点云进行特征提取时，包括：
利用3DmFV神经网络对输入点云进行特征提取，得到第一特征向量；
利用PointNet++神经网络对输入点云进行特征提取，得到第二特征向量；
利用DGCNN神经网络对输入点云进行特征提取，得到第三特征向量；
其中，三个特征提取神经网络包括：3DmFV神经网络、PointNet++神经网络以及DGCNN神经网络；三个特征向量包括：第一特征向量、第二特征向量以及第三特征向量。
在上述步骤S4中，对高维特征向量进行范数归一化具体为：对高维特征向量进行L2范数归一化。
本发明所提供的基于多神经网络集成学习的吊物类型识别系统，包括：训练单元、输入点云获取单元、高维特征向量获取单元以及吊物类型识别单元。
训练单元用于基于收集的吊物4的激光雷达点云数据和三个特征提取神经网络对吊物识别神经网络进行训练，得到训练完成的吊物识别神经网络。
输入点云获取单元用于获取塔吊小车2吊钩的高度值，并将吊钩的高度值下方的点云进行欧式聚类，获取体积最大的聚类联通体作为吊物识别的输入点云。
高维特征向量获取单元用于利用三个特征提取神经网络对输入点云进行特征提取，得到三个特征向量，并对三个特征向量进行并联扩展，形成高维特征向量。
吊物类型识别单元用于对高维特征向量进行范数归一化，得到归一化高维特征向量，并将归一化高维特征向量输入到训练完成的吊物识别神经网络；利用训练完成的吊物识别神经网络对归一化高维特征向量进行推理，获得吊物4类型。
图2是本发明识别方法的计算方案流程图，现在结合图1和图2对本发明识别方法的具体流程进行说明：
步骤401到步骤403是吊物识别神经网络的训练过程。
在步骤401中，首先收集吊物4的激光雷达点云数据，每个类别收集50个点云数据，激光雷达3与吊物4的相对位置关系如图1所示，50个点云数据覆盖10米到100米不同高度。给定每个点云数据的吊物类型标签，然后转步骤402。
在步骤402中，针对每个点云数据，计算3DmFV、PointNet++、DGCNN三个特征提取神经网络的特征向量，并将三个特征向量并联扩展为高维特征向量，并对该高维特征向量进行L2范数归一化，然后转步骤403。
在步骤403中，利用三个特征提取神经网络得到的吊物点云高维特征向量，训练一个包含2个隐含层，每个隐含层有512个神经元的多层感知机(MLP)神经网络。多层感知机(MLP)神经网络的输出为Softmax形式，输出层节点个数为吊物类别数量。
步骤404到步骤407为实际应用中的计算步骤。
在步骤404中，读取吊钩高度传感器给出的高度初值，将小车正下方，吊钩高度下方10米×10米×10米内的点云进行欧式聚类，取体积最大的聚类联通体作为吊物识别的输入点云。转步骤405。
在步骤405中，利用3DmFV、PointNet++、DGCNN三个特征提取神经网络分别计算输入点云的特征向量，并联扩展，形成高维特征向量。转步骤406。
在步骤406中，对高维特征向量进行L2范数归一化，得到多层感知机(MLP)神经网络的输入向量。转步骤407。
在步骤407中，利用403步骤中训练得到的多层感知机(MLP)神经网络对输入的归一化高维特征向量进行推理，获得吊物4类型。
相比现有技术，本发明的有益效果在于：
(1)本发明对同一个吊物点云数据，使用不同的神经网络进行特征提取，对提取的特征再进行集成学习，从而大幅提高吊物类型识别的稳定性；
(2)本发明所采用三个特征提取神经网络在点云的特征提取方面具有极强的互补性，将点云经过三个特征提取神经网络的特征提取的结果进行组合，形成更高维度的特征向量，再训练MLP实现高维特征到目标类型的映射，从而完成多个神经网络的集成，并且在使用中，通过三个特征提取神经网络完成特征提取，再基于训练好的MLP完成点云类型识别，从而获得准确的识别结果。
上述实施方式仅为本发明的优选实施方式，不能以此来限定本发明保护的范围，本领域的技术人员在本发明的基础上所做的任何非实质性的变化及替换均属于本发明所要求保护的范围。

Claims (8)

1.一种基于多神经网络集成学习的吊物类型识别方法，其特征在于，包括以下步骤：
基于收集的吊物的激光雷达点云数据和三个特征提取神经网络对吊物识别神经网络进行训练，得到训练完成的吊物识别神经网络；
获取塔吊小车吊钩的高度值，并将所述吊钩的高度值下方的点云进行欧式聚类，获取体积最大的聚类联通体作为吊物识别的输入点云；
利用所述三个特征提取神经网络对所述输入点云进行特征提取，得到三个特征向量，并对所述三个特征向量进行并联扩展，形成高维特征向量；
对所述高维特征向量进行范数归一化，得到归一化高维特征向量，并将所述归一化高维特征向量输入到所述训练完成的吊物识别神经网络；
利用所述训练完成的吊物识别神经网络对所述归一化高维特征向量进行推理，获得吊物类型；
其中，在对吊物识别神经网络进行训练时，包括：
针对每个带有标签的激光雷达点云数据，利用3DmFV神经网络进行特征提取，得到第一训练特征向量；
针对每个带有标签的激光雷达点云数据，利用PointNet++神经网络进行特征提取，得到第二训练特征向量；
针对每个带有标签的激光雷达点云数据，利用DGCNN神经网络进行特征提取，得到第三训练特征向量；
其中，所述三个特征提取神经网络包括：所述3DmFV神经网络、所述PointNet++神经网络以及所述DGCNN神经网络；
在得到所述第一训练特征向量、所述第二训练特征向量以及所述第三训练特征向量后，包括：
将所述第一训练特征向量、所述第二训练特征向量以及所述第三训练特征向量并联扩展为训练高维特征向量，并将所述训练高维特征向量进行范数归一化，得到归一化训练高维特征向量；
利用所述归一化训练高维特征向量对所述吊物识别神经网络进行训练，得到所述训练完成的吊物识别神经网络。
2.根据权利要求1所述的基于多神经网络集成学习的吊物类型识别方法，其特征在于，在对吊物识别神经网络进行训练时，还包括：
将激光雷达安装于所述塔吊小车下方，视口方向垂直地面，收集吊物的激光雷达点云数据，并针对每个激光雷达点云数据给定吊物类型标签，得到带有标签的激光雷达点云数据；
其中，每种类别的吊物收集50个激光雷达点云数据，所述50个激光雷达点云数据覆盖10米到100米不同高度。
3.根据权利要求1所述的基于多神经网络集成学习的吊物类型识别方法，其特征在于，在利用3DmFV神经网络进行特征提取时，包括：
所述3DmFV神经网络使用FisherVector组织原始点云，并级联CNN进行特征提取，得到所述第一训练特征向量。
4.根据权利要求1所述的基于多神经网络集成学习的吊物类型识别方法，其特征在于，在利用PointNet++神经网络进行特征提取时，包括：
所述PointNet++神经网络在保持原始点云的排列顺序的情况下，通过MLP完成特征捕获，再级联CNN获取全局语义，得到所述第二训练特征向量。
5.根据权利要求1所述的基于多神经网络集成学习的吊物类型识别方法，其特征在于，在利用DGCNN神经网络进行特征提取时，包括：
所述DGCNN神经网络基于局部拓扑关系动态调整神经网络每层的架构后，进行特征提取，得到所述第三训练特征向量。
6.根据权利要求1所述的基于多神经网络集成学习的吊物类型识别方法，其特征在于，在利用所述归一化训练高维特征向量对所述吊物识别神经网络进行训练时，包括：
利用所述归一化训练高维特征向量训练一个包含2个隐含层，并且每个隐含层有512个神经元的多层感知机神经网络；
其中，所述多层感知机神经网络的输出为Softmax形式，输出层节点个数为吊物类别数量。
7.根据权利要求1所述的基于多神经网络集成学习的吊物类型识别方法，其特征在于，利用所述三个特征提取神经网络对所述输入点云进行特征提取时，包括：
利用所述3DmFV神经网络对所述输入点云进行特征提取，得到第一特征向量；
利用所述PointNet++神经网络对所述输入点云进行特征提取，得到第二特征向量；
利用所述DGCNN神经网络对所述输入点云进行特征提取，得到第三特征向量；
其中，所述三个特征向量包括：所述第一特征向量、所述第二特征向量以及所述第三特征向量。
8.一种基于多神经网络集成学习的吊物类型识别系统，其特征在于，包括：
训练单元：用于基于收集的吊物的激光雷达点云数据和三个特征提取神经网络对吊物识别神经网络进行训练，得到训练完成的吊物识别神经网络；
输入点云获取单元；用于获取塔吊小车吊钩的高度值，并将所述吊钩的高度值下方的点云进行欧式聚类，获取体积最大的聚类联通体作为吊物识别的输入点云；
高维特征向量获取单元：用于利用所述三个特征提取神经网络对所述输入点云进行特征提取，得到三个特征向量，并对所述三个特征向量进行并联扩展，形成高维特征向量；
吊物类型识别单元：用于对所述高维特征向量进行范数归一化，得到归一化高维特征向量，并将所述归一化高维特征向量输入到所述训练完成的吊物识别神经网络；利用所述训练完成的吊物识别神经网络对所述归一化高维特征向量进行推理，获得吊物类型；
其中，在对吊物识别神经网络进行训练时，包括：
针对每个带有标签的激光雷达点云数据，利用3DmFV神经网络进行特征提取，得到第一训练特征向量；
针对每个带有标签的激光雷达点云数据，利用PointNet++神经网络进行特征提取，得到第二训练特征向量；
针对每个带有标签的激光雷达点云数据，利用DGCNN神经网络进行特征提取，得到第三训练特征向量；
其中，所述三个特征提取神经网络包括：所述3DmFV神经网络、所述PointNet++神经网络以及所述DGCNN神经网络；
在得到所述第一训练特征向量、所述第二训练特征向量以及所述第三训练特征向量后，包括：
将所述第一训练特征向量、所述第二训练特征向量以及所述第三训练特征向量并联扩展为训练高维特征向量，并将所述训练高维特征向量进行范数归一化，得到归一化训练高维特征向量；
利用所述归一化训练高维特征向量对所述吊物识别神经网络进行训练，得到所述训练完成的吊物识别神经网络。
CN202310652099.2A 2023-06-05 2023-06-05 一种基于多神经网络集成学习的吊物类型识别方法及系统 Active CN116824188B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310652099.2A CN116824188B (zh) 2023-06-05 2023-06-05 一种基于多神经网络集成学习的吊物类型识别方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310652099.2A CN116824188B (zh) 2023-06-05 2023-06-05 一种基于多神经网络集成学习的吊物类型识别方法及系统

Publications (2)

Publication Number Publication Date
CN116824188A CN116824188A (zh) 2023-09-29
CN116824188B true CN116824188B (zh) 2024-04-09

Family

ID=88126831

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310652099.2A Active CN116824188B (zh) 2023-06-05 2023-06-05 一种基于多神经网络集成学习的吊物类型识别方法及系统

Country Status (1)

Country Link
CN (1) CN116824188B (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6151592A (en) * 1995-06-07 2000-11-21 Seiko Epson Corporation Recognition apparatus using neural network, and learning method therefor
JP2019008571A (ja) * 2017-06-26 2019-01-17 株式会社デンソーアイティーラボラトリ 物体認識装置、物体認識方法、プログラム、及び学習済みモデル
CN109818798A (zh) * 2019-02-19 2019-05-28 上海海事大学 一种融合kpca和elm的无线传感器网络入侵检测系统及方法
KR102140805B1 (ko) * 2020-05-06 2020-08-03 국방과학연구소 위성 영상의 물체 식별을 위한 뉴럴 네트워크 학습 방법 및 장치
CN111489358A (zh) * 2020-03-18 2020-08-04 华中科技大学 一种基于深度学习的三维点云语义分割方法
CN112287939A (zh) * 2020-10-29 2021-01-29 平安科技（深圳）有限公司 三维点云语义分割方法、装置、设备及介质
CN112488210A (zh) * 2020-12-02 2021-03-12 北京工业大学 一种基于图卷积神经网络的三维点云自动分类方法
CN114419570A (zh) * 2022-03-28 2022-04-29 苏州浪潮智能科技有限公司 一种点云数据识别方法、装置、电子设备及存储介质
CN115409056A (zh) * 2022-08-11 2022-11-29 中国电子科技集团公司第四十一研究所 一种面向大动态信噪比下的自动调制识别方法
WO2022252274A1 (zh) * 2021-05-31 2022-12-08 北京理工大学 基于PointNet网络点云分割及虚拟环境生成方法和装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109101861A (zh) * 2017-06-20 2018-12-28 百度在线网络技术（北京）有限公司 障碍物类型识别方法、装置、设备及存储介质
CN110147706B (zh) * 2018-10-24 2022-04-12 腾讯科技（深圳）有限公司 障碍物的识别方法和装置、存储介质、电子装置

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6151592A (en) * 1995-06-07 2000-11-21 Seiko Epson Corporation Recognition apparatus using neural network, and learning method therefor
JP2019008571A (ja) * 2017-06-26 2019-01-17 株式会社デンソーアイティーラボラトリ 物体認識装置、物体認識方法、プログラム、及び学習済みモデル
CN109818798A (zh) * 2019-02-19 2019-05-28 上海海事大学 一种融合kpca和elm的无线传感器网络入侵检测系统及方法
CN111489358A (zh) * 2020-03-18 2020-08-04 华中科技大学 一种基于深度学习的三维点云语义分割方法
KR102140805B1 (ko) * 2020-05-06 2020-08-03 국방과학연구소 위성 영상의 물체 식별을 위한 뉴럴 네트워크 학습 방법 및 장치
CN112287939A (zh) * 2020-10-29 2021-01-29 平安科技（深圳）有限公司 三维点云语义分割方法、装置、设备及介质
WO2022088676A1 (zh) * 2020-10-29 2022-05-05 平安科技（深圳）有限公司 三维点云语义分割方法、装置、设备及介质
CN112488210A (zh) * 2020-12-02 2021-03-12 北京工业大学 一种基于图卷积神经网络的三维点云自动分类方法
WO2022252274A1 (zh) * 2021-05-31 2022-12-08 北京理工大学 基于PointNet网络点云分割及虚拟环境生成方法和装置
CN114419570A (zh) * 2022-03-28 2022-04-29 苏州浪潮智能科技有限公司 一种点云数据识别方法、装置、电子设备及存储介质
CN115409056A (zh) * 2022-08-11 2022-11-29 中国电子科技集团公司第四十一研究所 一种面向大动态信噪比下的自动调制识别方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
基于多尺度特征和PointNet的LiDAR点云地物分类方法;赵中阳;程英蕾;释小松;秦先祥;李鑫;;激光与光电子学进展;20181007(05);全文 *
杨军 ; 党吉圣 ; .采用深度级联卷积神经网络的三维点云识别与分割.光学精密工程.2020,(05),全文. *
韩姗姗 ; 黄远程 ; 白穆 ; .基于DGCNN语义分割的倾斜摄影测量三维点云建筑物分类.测绘标准化.2020,(03),全文. *

Also Published As

Publication number Publication date
CN116824188A (zh) 2023-09-29

Similar Documents

Publication Publication Date Title
CN111680542B (zh) 基于多尺度特征提取和Pointnet神经网络的钢卷点云识别与分类方法
CN108037770A (zh) 基于人工智能的无人机输电线路巡检系统和方法
Wang et al. YOLOv3‐Litchi Detection Method of Densely Distributed Litchi in Large Vision Scenes
CN110222767B (zh) 基于嵌套神经网络和栅格地图的三维点云分类方法
CN107993488A (zh) 一种基于鱼眼相机的车位识别方法、系统及介质
CN110969660A (zh) 一种基于三维立体视觉和点云深度学习的机器人上料系统
Hicks et al. Method for classification of snowflakes based on images by a multi-angle snowflake camera using convolutional neural networks
CN110969121A (zh) 一种基于深度学习的高分辨率雷达目标识别算法
CN111368775A (zh) 一种基于局部上下文感知的复杂场景密集目标检测方法
CN117197676A (zh) 一种基于特征融合的目标检测识别方法
CN116824188B (zh) 一种基于多神经网络集成学习的吊物类型识别方法及系统
Shah et al. Detection of different types of blood cells: A comparative analysis
CN112288809B (zh) 一种用于多物体复杂场景的机器人抓取检测方法
CN114861705A (zh) 一种基于多特征异构融合的电磁目标智能感知识别方法
He et al. Automatic detection and mapping of solar photovoltaic arrays with deep convolutional neural networks in high resolution satellite images
CN107766858A (zh) 一种应用合成孔径雷达图像进行船舶检测的方法
CN109815887B (zh) 一种基于多智能体协作的复杂光照下人脸图像的分类方法
CN115830302A (zh) 一种多尺度特征提取融合配电网设备定位识别方法
CN113867410B (zh) 一种无人机航拍数据的采集模式识别方法和系统
CN113191207A (zh) 一种基于多视角特征的工件识别方法和装置
CN113139945A (zh) 一种基于Attention+YOLOv3的空调外机图像智能检测方法、设备及介质
CN116385480B (zh) 一种针对塔吊下方运动目标的检测方法及系统
TWI709111B (zh) 快速農作物定位方法
CN117612024B (zh) 一种基于多尺度注意力的遥感图像屋顶识别方法
CN113093798B (zh) 基于电场分布的无人机巡检避险方法、装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant