CN112287992A - 一种钢筋簇分类方法、装置、电子设备及存储介质 - Google Patents

一种钢筋簇分类方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN112287992A
CN112287992A CN202011156926.1A CN202011156926A CN112287992A CN 112287992 A CN112287992 A CN 112287992A CN 202011156926 A CN202011156926 A CN 202011156926A CN 112287992 A CN112287992 A CN 112287992A
Authority
CN
China
Prior art keywords
point cloud
steel bar
dimensional point
cloud data
bar cluster
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202011156926.1A
Other languages
English (en)
Inventor
周森标
陶永康
刘玉平
贾宁
彭登
傅志刚
杨海溢
吴则刚
熊晶
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Bozhilin Robot Co Ltd
Original Assignee
Guangdong Bozhilin Robot Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Bozhilin Robot Co Ltd filed Critical Guangdong Bozhilin Robot Co Ltd
Priority to CN202011156926.1A priority Critical patent/CN112287992A/zh
Publication of CN112287992A publication Critical patent/CN112287992A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24137—Distances to cluster centroïds
    • G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例公开了一种钢筋簇分类方法、装置、电子设备及存储介质，该方法包括：获取被测钢筋簇的三维点云数据；基于所述三维点云数据，通过预先训练好的深度学习模型对所述被测钢筋簇的类型进行识别，得到所述被测钢筋簇对应的钢筋簇类型。本发明实施例的技术方案，实现了基于被测钢筋簇的点云数据对钢筋簇形态类型的识别与分类。

Description

一种钢筋簇分类方法、装置、电子设备及存储介质
技术领域
本发明实施例涉及计算机技术领域，尤其涉及一种钢筋簇分类方法、装置、电子设备及存储介质。
背景技术
当前智能制造技术日益成熟，各行各业对自动化的需求也日益旺盛。尤其像建筑施工这种高危领域，对建筑施工自动化的需求更为迫切。实现施工自动化首要步骤就是实现对施工现场的测绘，使用各种传感器尽可能全面地获取施工现场的二维或者三维测绘数据，以便于后续施工机器人在该施工现场进行安全作业和施工成果验收等工作。
钢筋簇是施工现场中的主要部件之一，通过对钢筋簇类型的判断，可以定位出建筑机器人的工作范围边界，进而有助于自动化施工的实施。
因此，对施工现场钢筋簇类型的高精度分类意义重大。
发明内容
本发明实施例提供一种钢筋簇分类方法、装置、电子设备及存储介质，实现了基于钢筋簇的三维点云数据对钢筋簇类型的识别与分类。
第一方面，本发明实施例提供了一种钢筋簇分类方法，该方法包括：
获取被测钢筋簇的三维点云数据；
基于所述三维点云数据，通过预先训练好的深度学习模型对所述被测钢筋簇的类型进行识别，得到所述被测钢筋簇对应的钢筋簇类型。
进一步的，所述深度学习模型包括：pointNet网络；
所述pointNet网络包括依次相连的第一多层感知机MLP网络层、最大池化层、采样分组层和第二多层感知机MLP网络层；
其中，所述第一多层感知机MLP网络层用于基于输入的被测钢筋簇的局部区域的三维点云数据提取被测钢筋簇的局部点特征，所述局部点特征通过所述最大池化层形成被测钢筋簇的局部特征；
所述局部特征通过所述采样分组层形成被测钢筋簇的全局特征；
所述第二多层感知机MLP基于所述全局特征实现对被测钢筋簇的类型识别，输出分类结果以及各分类结果对应的置信度。
进一步的，所述基于所述三维点云数据，通过预先训练好的深度学习模型对所述被测钢筋簇的类型进行识别，得到所述被测钢筋簇对应的钢筋簇类型，包括：
对所述三维点云数据进行预处理；
将预处理后的三维点云数据输入至所述预先训练好的深度学习模型，得到所述被测钢筋簇对应的钢筋簇类型。
进一步的，所述对所述三维点云数据进行预处理，包括：
将所述三维点云数据划分为设定数量的立方体块；
针对每个所述立方体块进行随机采样，获得采样三维点云数据；
对所述采样三维点云数据进行平移操作，获得预处理后的三维点云数据。
进一步的，所述方法还包括：
制作三维点云样本数据集，所述三维点云样本数据集用于对设定的深度学习模型进行训练，以获得所述预先训练好的深度学习模型。
进一步的，所述制作三维点云样本数据集，包括：
利用激光雷达对施工现场的钢筋簇进行三维点云数据采集，获得至少一个第一格式的三维点云数据文件；
针对每个所述第一格式的三维点云数据文件标注对应的钢筋簇类型；
将每个所述第一格式的三维点云数据文件中的三维点云数据存储为浮点型数组，并将每个所述第一格式的三维点云数据文件对应的钢筋簇类型存储为整型数组；
将所述浮点型数组以及所述整型数组转换为块格式的数据集，获得三维点云样本数据集。
进一步的，所述将所述浮点型数组以及所述整型数组转换为块格式的数据集，获得三维点云样本数据集，包括：
在HDF5文件中基于所述第一格式的三维点云数据文件的个数创建数据集，并为所创建的数据集创建数据空间；
将所创建的数据集的格式设置为块格式，得到块格式的数据集；
将所述浮点型数组以及所述整型数组中的数据写入所述块格式的数据集。
第二方面，本发明实施例还提供了一种钢筋簇分类装置，该装置包括：
获取模块，用于获取被测钢筋簇的三维点云数据；
分类模块，用于基于所述三维点云数据，通过预先训练好的深度学习模型对所述被测钢筋簇的类型进行识别，得到所述被测钢筋簇对应的钢筋簇类型。
第三方面，本发明实施例还提供了一种设备，所述设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本发明任一实施例所述的钢筋簇分类方法。
第四方面，本发明实施例还提供了一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如本发明任一实施例所述的钢筋簇分类方法。
本发明实施例的技术方案，通过获取被测钢筋簇的三维点云数据；基于所述三维点云数据，通过预先训练好的深度学习模型对所述被测钢筋簇的类型进行识别，得到所述被测钢筋簇对应的钢筋簇类型的技术手段，实现了基于钢筋簇的三维点云数据实现对钢筋簇类型的识别与分类。
附图说明
结合附图并参考以下具体实施方式，本发明各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中，相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的，原件和元素不一定按照比例绘制。
图1为本发明实施例一所提供的一种钢筋簇分类方法流程示意图；
图2为本发明实施例一所提供的一种pointNet网络的基本结构的示意图；
图3为本发明实施例一所提供的一种改进的pointNet网络的结构示意图；
图4为本发明实施例二所提供的一种钢筋簇分类方法流程示意图；
图5为本发明实施例二所提供的一种数据集的格式转换流程示意图；
图6为本发明实施例二所提供的一种深度学习模型输出结果的示意图；
图7为本发明实施例二所提供的另一种钢筋簇分类方法流程示意图；
图8为本发明实施例三所提供的一种钢筋簇分类装置的结构示意图；
图9为本发明实施例四所提供的一种电子设备结构示意图。
具体实施方式
下面将参照附图更详细地描述本发明的实施例。虽然附图中显示了本发明的某些实施例，然而应当理解的是，本发明可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本发明。应当理解的是，本发明的附图及实施例仅用于示例性作用，并非用于限制本发明的保护范围。
应当理解，本发明的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本发明的范围在此方面不受限制。
本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。
需要注意，本发明中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
需要注意，本发明中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。
实施例一
图1为本发明实施例一所提供的一种钢筋簇分类方法的流程示意图，该方法可适用于对建筑施工现场钢筋簇的形态类型进行识别与分类，以便于后续施工机器人在施工现场进行安全作业或者施工成果验收等工作。建筑施工现场钢筋簇的形态类型通常包括：立方体、三角形、两边高中间低、钢筋密度稀疏或者稠密等。所述钢筋簇分类方法可以由钢筋簇分类装置来执行，该装置可以通过软件和/或硬件的形式实现。
如图1所示，本实施例提供的钢筋簇分类方法包括如下步骤：
步骤110、获取被测钢筋簇的三维点云数据。
其中，钢筋簇是指在建筑施工过程中被扎成的一簇一簇的不同形态的钢筋，根据建筑施工要求，在特定的位置钢筋被扎成不同形态的钢筋簇。所述三维点云数据为表达物体的空间分布和表面特征的三维点集合，点云数据通常包括位置信息、物体颜色和反射激光强度等信息。具体的，可通过激光雷达采集被测钢筋簇的三维点云数据。
步骤120、基于所述三维点云数据，通过预先训练好的深度学习模型对所述被测钢筋簇的类型进行识别，得到所述被测钢筋簇对应的钢筋簇类型。
其中，所述深度学习模型包括：pointNet网络。在本实施例中，对现有的pointNet网络的基本结构进行了改进，通过该改进增强了pointNet网络对钢筋簇的三维点云数据局部特征的提取能力，以获得性能较优的分类模型，即所述预先训练好的深度学习模型。
如图2所示的一种pointNet网络的基本结构的示意图，其中输入的三维点云数据有维度为D的N个点云点，由RD表示，每个点云点为xi∈RD(i＝1，…，N)，通过第一MLP(multilayer perceptron，多层感知机)将输入的点云数据映射为C维度的特征向量，不同点云点之间的权重共享，通过最大池化层将N个点云点的特征向量聚合成对输入点云点云排列不变的C维度全局特征向量，之后再利用第二多层感知机MLP网络将C维度的全局特征向量映射到F维度的输出向量。
本实施例在现有的pointNet网络的基本结构的基础上，对pointNet网络的基本结构进行了优化，具体是对第一多层感知机MLP网络进行了优化，在第一多层感知机MLP网络中增加了快捷连接shortcut，使得深度学习模型的特征表征能力更强。参考图3所示的一种改进的pointNet网络的结构示意图，所述pointNet网络包括依次相连的第一多层感知机MLP网络层、最大池化层、采样分组层和第二多层感知机MLP网络层；
其中，所述第一多层感知机MLP网络层用于基于输入的被测钢筋簇的局部区域的三维点云数据提取被测钢筋簇的局部点特征，所述局部点特征通过所述最大池化层形成被测钢筋簇的局部特征；
所述局部特征通过所述采样分组层形成被测钢筋簇的全局特征；
所述第二多层感知机MLP基于所述全局特征实现对被测钢筋簇的类型识别，输出分类结果以及各分类结果对应的置信度。输入的被测钢筋簇的点云数据包括维度为D的N个点云点，每个局部区域包括k个点云点，将每个点云点输入至第一多层感知机MLP网络，第一多层感知机MLP网络包含3层，第一层的输入为k个维度D的点云点，第二层的输入为第一层的输出L1，第三层的输入为第二层的输出L2，第三层的输出为k个维度为C的点云点，从局部进行特征提取。
对比图2和图3可知，关键改进点在于在第一多层感知机MLP网络中增加了快捷连接shortcut，增加快捷连接后，第一多层感知机MLP网络可以连接不同层的特征，将低层次的特征和高层次的特征进行融合，实现特征的重用，提高了特征表征能力，基于该改进的pointNet网络所得到的预先训练好的深度学习模型具备精度较高的钢筋簇形态分类功能。
所述被测钢筋簇的局部区域的三维点云数据通过对所采集的被测钢筋簇的三维点云数据进行分割获得。示例性的，所述基于所述三维点云数据，通过预先训练好的深度学习模型对所述被测钢筋簇的类型进行识别，得到所述被测钢筋簇对应的钢筋簇类型，包括：
对所述三维点云数据进行预处理；
将预处理后的三维点云数据输入至所述预先训练好的深度学习模型，得到所述被测钢筋簇对应的钢筋簇类型。
所述对所述三维点云数据进行预处理，包括：
将所述三维点云数据划分为设定数量的立方体块；
针对每个所述立方体块进行随机采样，获得采样三维点云数据，以达到降低点云点的数据量的目的；
对所述采样三维点云数据进行平移操作，获得预处理后的三维点云数据，所述平移操作具体是以点云点坐标中最小的为原点，基于公式X1＝X-x，Y1＝Y-y，Z1＝Z-z相应地计算其它点云点平移后的坐标值，完成平移，其中，X1表示平移后的第一坐标值，Y1表示平移后的第二坐标值，Z1表示平移后的第三坐标值，x表示作为原点的点云点的第一坐标值，y表示作为原点的点云点的第二坐标值，z表示作为原点的点云点的第三坐标值。对点云数据进行平移操作的目的是为了方便深度学习模型进行特征提取。
可以理解的是，所述pointNet网络可以利用pointNet++网络或者pointCNN网络进行替换。本实施例提供的技术方案还可以适用于对建筑物或者植物等呈竖状的簇结构物体进行分类识别。
本发明实施例的技术方案，通过获取被测钢筋簇的三维点云数据；基于所述三维点云数据，通过预先训练好的深度学习模型对所述被测钢筋簇的类型进行识别，得到所述被测钢筋簇对应的钢筋簇类型的技术手段，实现了基于钢筋簇的三维点云数据实现对钢筋簇类型的识别与分类。
实施例二
图4为本发明实施例二所提供的一种钢筋簇分类方法的流程示意图。在上述实施例的基础上，本实施例提供了三维点云样本数据集的制作过程，所述三维点云样本数据集用于对所述深度学习模型进行训练，以获得所述预先训练好的深度学习模型。其中与上述实施例相同或相应的术语的解释在此不再赘述。
如图4所示，所述方法包括：
步骤410、制作三维点云样本数据集，所述三维点云样本数据集用于对所述深度学习模型进行训练，以获得所述预先训练好的深度学习模型。
示例性的，所述制作三维点云样本数据集，包括：
利用激光雷达对施工现场的钢筋簇进行三维点云数据采集，获得至少一个第一格式的三维点云数据文件；其中，所述第一格式具体可以是pcd格式，pcd是PLC(ProgrammableController，可编程控制器)的标准格式，一个pcd格式的三维点云数据文件包含一次扫描所获得的点云，每个点云默认设置为1024个点云点，也可以设置为2048或者更多的点云点，点云点越多点云越稠密，同时所需的硬件资源要求也越高。
针对每个所述第一格式的三维点云数据文件标注对应的钢筋簇类型；
将每个所述第一格式的三维点云数据文件中的三维点云数据存储为浮点型数组，并将每个所述第一格式的三维点云数据文件对应的钢筋簇类型存储为整型数组；
将所述浮点型数组以及所述整型数组转换为块格式的数据集，获得三维点云样本数据集。
其中，所述将所述浮点型数组以及所述整型数组转换为块格式的数据集，获得三维点云样本数据集，包括：
在设定文件中基于所述第一格式的三维点云数据文件的个数创建数据集，并为所创建的数据集创建数据空间；
将所创建的数据集的格式设置为块格式，得到块格式的数据集；
将所述浮点型数组以及所述整型数组中的数据写入所述块格式的数据集。
由于从施工现场采集到的是一个个第一格式(例如pcd格式)的点云数据文件，无对应的钢筋簇所属形态类型的分类标注，并且也不适用于PointNet网络的输入格式。PointNet对点云数据的输入格式要求是HDF5格式的数据，每个pcd格式的点云数据文件对应的钢筋簇所属形态类型的分类标注写成一个1×N的数据集，因此需要对所采集的大量pcd格式的点云数据文件进行标注并转换为HDF5格式。
具体转换步骤参考图5所示的流程图(在图5中HDF5格式的文件简称为h5文件)，具体如下：
把所采集的所有pcd格式的点云数据文件写成一个3×1024×N的数据集，其中3表示点云数据中一个点云点的维度(通常指x、y和z的坐标)，1024表示一个pcd格式的点云数据文件中点云点的数量，N表示所有pcd格式的点云数据文件的总数量。把pcd格式的点云数据文件对应的钢筋簇所属形态类型的分类标注写成一个1×N的数据集，N表示所有pcd格式的点云数据文件的总数量。
可选的，创建两个txt配置文件，分别记录pcd格式的点云数据文件的文件名和对应的钢筋簇所属形态类型的分类标注。
提取一组pcd格式的点云数据文件的文件，并将与其对应的分类标注组合，然后将结果写入HDF5格式的文件中。具体的，从配置文件记录的所有pcd格式的点云数据文件，动态计算需要放入HDF5格式文件的pcd格式的点云数据文件的数量。读取点云数据和点云数据对应的标签，分别存储为float浮点型数组和int整型数组，即将每个所述pcd格式的三维点云数据文件中的三维点云数据存储为浮点型数组，并将每个所述pcd格式的三维点云数据文件对应的钢筋簇类型存储为整型数组。打开HDF5格式的文件，将点云数据集转换为块格式的数据集，将转换后的数据集写入块格式数据集，关闭HDF5格式的文件和块格式数据集，完成钢筋簇三维点云样本数据集的制作。其中，所述块格式为与HDF5格式的文件适配的一种数据格式。
进一步的，基于所述三维点云样本数据集对搭建好的深度学习模型进行训练，获得训练好的深度学习模型，用于对被测钢筋簇进行实时识别与分类。
步骤420、获取被测钢筋簇的三维点云数据。
步骤430、基于所述三维点云数据，通过预先训练好的深度学习模型对所述被测钢筋簇的类型进行识别，得到所述被测钢筋簇对应的钢筋簇类型。
其中，所述被测钢筋簇对应的钢筋簇类型可以通过约定的数字进行表示，例如数字0表示被测钢筋簇的形态类型为立方体，数字1表示被测钢筋簇的形态类型为三角形，数字2表示被测钢筋簇的形态类型为表示两边高中间低，数字3表示被测钢筋簇的形态类型为钢筋密度稀疏，数字4表示被测钢筋簇的形态类型为钢筋密度稠密。对应的可参见图6所示的一种深度学习模型输出结果的示意图，其中，每个pcd格式的文件对应一个被测钢筋簇，左侧表示被测钢筋簇，右侧表示对应的形态类型。
本发明实施例的技术方案，给出了三维点云样本数据集的制作过程，具体是将所采集的点云的初始格式转换为PointNet网络的输入格式，为深度学习模型的训练奠定了数据基础，通过获取被测钢筋簇的三维点云数据；基于所述三维点云数据，通过预先训练好的深度学习模型对所述被测钢筋簇的类型进行识别，得到所述被测钢筋簇对应的钢筋簇类型的技术手段，实现了基于钢筋簇的三维点云数据实现对钢筋簇类型的识别与分类。
在上述实施例技术方案的基础上，参考图7所示的另一种钢筋簇分类方法的流程示意图，具体包括：利用激光雷达对施工现场的钢筋簇进行三维点云数据采集，获得三维点云数据，对所述三维点云数据对应的钢筋簇的形态类型进行标注，将点云以及对应的标注进行格式转换，以适配PointNet网络的输入格式，搭建网络模型(包括构建改进的PointNet网络、模型参数配置及调整以及网络训练参数设置)，基于GPU(Graphics ProcessingUnit，图形处理器)进行训练，输出最优的点云钢筋簇分类模型。当获取到被测钢筋簇的三维点云数据时，对该三维点云数据进行预处理，而后输入至所述最优的点云钢筋簇分类模型，获得分类结果。
实施例三
图8为本发明实施例三提供的一种钢筋簇分类装置，该装置包括：获取模块810和分类模块820。
其中，获取模块810，用于获取被测钢筋簇的三维点云数据；分类模块820，用于基于所述三维点云数据，通过预先训练好的深度学习模型对所述被测钢筋簇的类型进行识别，得到所述被测钢筋簇对应的钢筋簇类型。
在上述各技术方案的基础上，所述深度学习模型包括：pointNet网络；
所述pointNet网络包括依次相连的第一多层感知机MLP网络层、最大池化层、采样分组层和第二多层感知机MLP网络层；
其中，所述第一多层感知机MLP网络层用于基于输入的被测钢筋簇的局部区域的三维点云数据提取被测钢筋簇的局部点特征，所述局部点特征通过所述最大池化层形成被测钢筋簇的局部特征；
所述局部特征通过所述采样分组层形成被测钢筋簇的全局特征；
所述第二多层感知机MLP基于所述全局特征实现对被测钢筋簇的类型识别，输出分类结果以及各分类结果对应的置信度。
在上述各技术方案的基础上，分类模块820包括：
预处理单元，用于对所述三维点云数据进行预处理；
输入单元，用于将预处理后的三维点云数据输入至所述预先训练好的深度学习模型，得到所述被测钢筋簇对应的钢筋簇类型。
在上述各技术方案的基础上，所述预处理单元包括：
划分子单元，用于将所述三维点云数据划分为设定数量的立方体块；
采样子单元，用于针对每个所述立方体块进行随机采样，获得采样三维点云数据；
平移子单元，用于对所述采样三维点云数据进行平移操作，获得预处理后的三维点云数据。
在上述各技术方案的基础上，所述装置还包括：
制作模块，用于制作三维点云样本数据集，所述三维点云样本数据集用于对所述深度学习模型进行训练，以获得所述预先训练好的深度学习模型。
在上述各技术方案的基础上，所述制作模块包括：
采集单元，用于利用激光雷达对施工现场的钢筋簇进行三维点云数据采集，获得至少一个第一格式的三维点云数据文件；
标注单元，用于针对每个所述第一格式的三维点云数据文件标注对应的钢筋簇类型；
存储单元，用于将每个所述第一格式的三维点云数据文件中的三维点云数据存储为浮点型数组，并将每个所述第一格式的三维点云数据文件对应的钢筋簇类型存储为整型数组；
转换单元，用于将所述浮点型数组以及所述整型数组转换为块格式的数据集，获得三维点云样本数据集。
在上述各技术方案的基础上，所述转换单元包括：
创建子单元，用于在设定文件中基于所述第一格式的三维点云数据文件的个数创建数据集，并为所创建的数据集创建数据空间；
设置子单元，用于将所创建的数据集的格式设置为块格式，得到块格式的数据集；
写入子单元，用于将所述浮点型数组以及所述整型数组中的数据写入所述块格式的数据集。
本发明实施例的技术方案，通过获取被测钢筋簇的三维点云数据；基于所述三维点云数据，通过预先训练好的深度学习模型对所述被测钢筋簇的类型进行识别，得到所述被测钢筋簇对应的钢筋簇类型的技术手段，实现了基于钢筋簇的三维点云数据实现对钢筋簇类型的识别与分类。
本发明实施例所提供的钢筋簇分类装置可执行本发明任意实施例所提供的钢筋簇分类方法，具备执行方法相应的功能模块和有益效果。
值得注意的是，上述装置所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明实施例的保护范围。
实施例四
下面参考图9，其示出了适于用来实现本发明实施例的电子设备(例如图9中的终端设备或服务器)400的结构示意图。本发明实施例中的终端设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。图9示出的电子设备仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图9所示，电子设备400可以包括处理装置(例如中央处理器、图形处理器等)401，其可以根据存储在只读存储器(ROM)402中的程序或者从存储装置408加载到随机访问存储器(RAM)403中的程序而执行各种适当的动作和处理。在RAM 403中，还存储有电子设备400操作所需的各种程序和数据。处理装置401、ROM 402以及RAM 403通过总线404彼此相连。输入/输出(I/O)接口405也连接至总线404。
通常，以下装置可以连接至I/O接口405：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置406；包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置407；包括例如磁带、硬盘等的存储装置408；以及通信装置409。通信装置409可以允许电子设备400与其他设备进行无线或有线通信以交换数据。虽然图9示出了具有各种装置的电子设备400，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。
特别地，根据本发明的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明的实施例包括一种计算机程序产品，其包括承载在非暂态计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置409从网络上被下载和安装，或者从存储装置408被安装，或者从ROM 402被安装。在该计算机程序被处理装置401执行时，执行本发明实施例的方法中限定的上述功能。
本发明实施例提供的终端与上述实施例提供的钢筋簇分类方法属于同一发明构思，未在本发明实施例中详尽描述的技术细节可参见上述实施例，并且本发明实施例与上述实施例具有相同的有益效果。
实施例五
本发明实施例提供了一种计算机存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述实施例所提供的钢筋簇分类方法。
需要说明的是，本发明上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的装置、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行装置、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行装置、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。
在一些实施方式中，客户端、服务器可以利用诸如HTTP(HyperText TransferProtocol，超文本传输协议)之类的任何当前已知或未来研发的网络协议进行通信，并且可以与任意形式或介质的数字数据通信(例如，通信网络)互连。通信网络的示例包括局域网(“LAN”)，广域网(“WAN”)，网际网(例如，互联网)以及端对端网络(例如，ad hoc端对端网络)，以及任何当前已知或未来研发的网络。
上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。
上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：
获取被测钢筋簇的三维点云数据；
基于所述三维点云数据，通过预先训练好的深度学习模型对所述被测钢筋簇的类型进行识别，得到所述被测钢筋簇对应的钢筋簇类型。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明的操作的计算机程序代码，上述程序设计语言包括但不限于面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本发明实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，单元的名称在某种情况下并不构成对该单元本身的限定，例如，可编辑内容显示单元还可以被描述为“编辑单元”。
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑设备(CPLD)等等。
在本发明的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
以上描述仅为本发明的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本发明中所涉及的公开范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述公开构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本发明中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
此外，虽然采用特定次序描绘了各操作，但是这不应当理解为要求这些操作以所示出的特定次序或以顺序次序执行来执行。在一定环境下，多任务和并行处理可能是有利的。同样地，虽然在上面论述中包含了若干具体实现细节，但是这些不应当被解释为对本发明的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实施例中。相反地，在单个实施例的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实施例中。
尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题，但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反，上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。

Claims (15)

1.一种钢筋簇分类方法，其特征在于，包括：
获取被测钢筋簇的三维点云数据；
基于所述三维点云数据，通过预先训练好的深度学习模型对所述被测钢筋簇的类型进行识别，得到所述被测钢筋簇对应的钢筋簇类型。
2.根据权利要求1所述的方法，其特征在于，所述深度学习模型包括：pointNet网络；
所述pointNet网络包括依次相连的第一多层感知机MLP网络层、最大池化层、采样分组层和第二多层感知机MLP网络层；
其中，所述第一多层感知机MLP网络层用于基于输入的被测钢筋簇的局部区域的三维点云数据提取被测钢筋簇的局部点特征，所述局部点特征通过所述最大池化层形成被测钢筋簇的局部特征；
所述局部特征通过所述采样分组层形成被测钢筋簇的全局特征；
所述第二多层感知机MLP基于所述全局特征实现对被测钢筋簇的类型识别，输出分类结果以及各分类结果对应的置信度。
3.根据权利要求1所述的方法，其特征在于，所述基于所述三维点云数据，通过预先训练好的深度学习模型对所述被测钢筋簇的类型进行识别，得到所述被测钢筋簇对应的钢筋簇类型，包括：
对所述三维点云数据进行预处理；
将预处理后的三维点云数据输入至所述预先训练好的深度学习模型，得到所述被测钢筋簇对应的钢筋簇类型。
4.根据权利要求3所述的方法，其特征在于，所述对所述三维点云数据进行预处理，包括：
将所述三维点云数据划分为设定数量的立方体块；
针对每个所述立方体块进行随机采样，获得采样三维点云数据；
对所述采样三维点云数据进行平移操作，获得预处理后的三维点云数据。
5.根据权利要求1-4任一项所述的方法，其特征在于，还包括：
制作三维点云样本数据集，所述三维点云样本数据集用于对设定的深度学习模型进行训练，以获得所述预先训练好的深度学习模型。
6.根据权利要求5所述的方法，其特征在于，所述制作三维点云样本数据集，包括：
利用激光雷达对施工现场的钢筋簇进行三维点云数据采集，获得至少一个第一格式的三维点云数据文件；
针对每个所述第一格式的三维点云数据文件标注对应的钢筋簇类型；
将每个所述第一格式的三维点云数据文件中的三维点云数据存储为浮点型数组，并将每个所述第一格式的三维点云数据文件对应的钢筋簇类型存储为整型数组；
将所述浮点型数组以及所述整型数组转换为块格式的数据集，获得三维点云样本数据集。
7.根据权利要求6所述的方法，其特征在于，所述将所述浮点型数组以及所述整型数组转换为块格式的数据集，获得三维点云样本数据集，包括：
在设定文件中基于所述第一格式的三维点云数据文件的个数创建数据集，并为所创建的数据集创建数据空间；
将所创建的数据集的格式设置为块格式，得到块格式的数据集；
将所述浮点型数组以及所述整型数组中的数据写入所述块格式的数据集。
8.一种钢筋簇分类装置，其特征在于，包括：
获取模块，用于获取被测钢筋簇的三维点云数据；
分类模块，用于基于所述三维点云数据，通过预先训练好的深度学习模型对所述被测钢筋簇的类型进行识别，得到所述被测钢筋簇对应的钢筋簇类型。
9.根据权利要求8所述的装置，其特征在于，所述深度学习模型包括：pointNet网络；
所述pointNet网络包括依次相连的第一多层感知机MLP网络层、最大池化层、采样分组层和第二多层感知机MLP网络层；
其中，所述第一多层感知机MLP网络层用于基于输入的被测钢筋簇的局部区域的三维点云数据提取被测钢筋簇的局部点特征，所述局部点特征通过所述最大池化层形成被测钢筋簇的局部特征；
所述局部特征通过所述采样分组层形成被测钢筋簇的全局特征；
所述第二多层感知机MLP基于所述全局特征实现对被测钢筋簇的类型识别，输出分类结果以及各分类结果对应的置信度。
10.根据权利要求8所述的装置，其特征在于，所述分类模块包括：
预处理单元，用于对所述三维点云数据进行预处理；
输入单元，用于将预处理后的三维点云数据输入至所述预先训练好的深度学习模型，得到所述被测钢筋簇对应的钢筋簇类型。
11.根据权利要求10所述的装置，其特征在于，所述预处理单元包括：
划分子单元，用于将所述三维点云数据划分为设定数量的立方体块；
采样子单元，用于针对每个所述立方体块进行随机采样，获得采样三维点云数据；
平移子单元，用于对所述采样三维点云数据进行平移操作，获得预处理后的三维点云数据。
12.根据权利要求8-11所述的装置，其特征在于，还包括：
制作模块，用于制作三维点云样本数据集，所述三维点云样本数据集用于对所述深度学习模型进行训练，以获得所述预先训练好的深度学习模型。
13.根据权利要求12所述的装置，其特征在于，所述制作模块包括：
采集单元，用于利用激光雷达对施工现场的钢筋簇进行三维点云数据采集，获得至少一个第一格式的三维点云数据文件；
标注单元，用于针对每个所述第一格式的三维点云数据文件标注对应的钢筋簇类型；
存储单元，用于将每个所述第一格式的三维点云数据文件中的三维点云数据存储为浮点型数组，并将每个所述第一格式的三维点云数据文件对应的钢筋簇类型存储为整型数组；
转换单元，用于将所述浮点型数组以及所述整型数组转换为块格式的数据集，获得三维点云样本数据集。
14.一种电子设备，其特征在于，所述电子设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一项所述的钢筋簇分类方法。
15.一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-7中任一项所述的钢筋簇分类方法。
CN202011156926.1A 2020-10-26 2020-10-26 一种钢筋簇分类方法、装置、电子设备及存储介质 Withdrawn CN112287992A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011156926.1A CN112287992A (zh) 2020-10-26 2020-10-26 一种钢筋簇分类方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011156926.1A CN112287992A (zh) 2020-10-26 2020-10-26 一种钢筋簇分类方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN112287992A true CN112287992A (zh) 2021-01-29

Family

ID=74372975

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011156926.1A Withdrawn CN112287992A (zh) 2020-10-26 2020-10-26 一种钢筋簇分类方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN112287992A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113129271A (zh) * 2021-03-26 2021-07-16 广州大学 一种建筑中钢筋间距的检测方法、系统、装置及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106408011A (zh) * 2016-09-09 2017-02-15 厦门大学 基于深度学习的激光扫描三维点云树木自动分类方法
CN109410238A (zh) * 2018-09-20 2019-03-01 中国科学院合肥物质科学研究院 一种基于PointNet++网络的枸杞识别计数方法
US20190138786A1 (en) * 2017-06-06 2019-05-09 Sightline Innovation Inc. System and method for identification and classification of objects
CN110032954A (zh) * 2019-03-27 2019-07-19 成都数之联科技有限公司 一种钢筋智能识别与计数方法及系统
CN111680542A (zh) * 2020-04-17 2020-09-18 东南大学 基于多尺度特征提取和Pointnet神经网络的钢卷点云识别与分类方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106408011A (zh) * 2016-09-09 2017-02-15 厦门大学 基于深度学习的激光扫描三维点云树木自动分类方法
US20190138786A1 (en) * 2017-06-06 2019-05-09 Sightline Innovation Inc. System and method for identification and classification of objects
CN109410238A (zh) * 2018-09-20 2019-03-01 中国科学院合肥物质科学研究院 一种基于PointNet++网络的枸杞识别计数方法
CN110032954A (zh) * 2019-03-27 2019-07-19 成都数之联科技有限公司 一种钢筋智能识别与计数方法及系统
CN111680542A (zh) * 2020-04-17 2020-09-18 东南大学 基于多尺度特征提取和Pointnet神经网络的钢卷点云识别与分类方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
马利，等: "基于改进PointNet网络的三维手姿估计方法", 计算机应用研究, vol. 37, no. 10, pages 3188 - 3192 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113129271A (zh) * 2021-03-26 2021-07-16 广州大学 一种建筑中钢筋间距的检测方法、系统、装置及存储介质

Similar Documents

Publication Publication Date Title
WO2022078197A1 (zh) 点云分割方法、装置、设备和存储介质
CN113901907A (zh) 图文匹配模型训练方法、图文匹配方法及装置
CN112650790A (zh) 目标点云平面确定方法，装置，电子设备及存储介质
CN114201823A (zh) 一种显式嵌套网格装配方法、装置及存储介质
CN111950791A (zh) 一种航班延误预测方法、装置、服务器及存储介质
CN115690688A (zh) 钻爆法隧道掌子面炮孔图像的炮孔目标检测方法及装置
CN112287992A (zh) 一种钢筋簇分类方法、装置、电子设备及存储介质
CN113592033B (zh) 油罐图像识别模型训练方法、油罐图像识别方法和装置
CN111312224B (zh) 语音分割模型的训练方法、装置和电子设备
CN111583417B (zh) 一种图像语义和场景几何联合约束的室内vr场景构建的方法、装置、电子设备和介质
CN116561240A (zh) 电子地图处理方法、相关装置和介质
CN116798027A (zh) 基于多尺度特征提取的三维点云实时云匹配方法及装置
CN116182878A (zh) 道路曲面信息生成方法、装置、设备和计算机可读介质
CN113139617B (zh) 一种输电线路自主定位方法、装置及终端设备
CN115330851A (zh) 单目深度估计方法、装置、电子设备、存储介质及车辆
CN115424060A (zh) 模型训练方法、图像分类方法和装置
CN113870271A (zh) 3d点云的压缩方法、装置、设备及存储介质
CN113778078A (zh) 定位信息生成方法、装置、电子设备和计算机可读介质
CN113761090A (zh) 一种基于点云地图的定位方法和装置
CN118135406B (zh) 一种建筑材质的识别方法、装置、设备及存储介质
CN117131223A (zh) 信息处理方法、装置、电子设备及存储介质
CN112862110B (zh) 模型生成方法、装置和电子设备
CN110844785B (zh) 用于生成塔机吊臂信息的方法、装置、设备和介质
CN114926655B (zh) 地理与视觉跨模态预训练模型的训练方法、位置确定方法
CN117974635B (zh) 电缆通道检测方法、装置、电子设备与计算机可读介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20210129