CN111680542B - 基于多尺度特征提取和Pointnet神经网络的钢卷点云识别与分类方法 - Google Patents

基于多尺度特征提取和Pointnet神经网络的钢卷点云识别与分类方法 Download PDF

Info

Publication number
CN111680542B
CN111680542B CN202010304879.4A CN202010304879A CN111680542B CN 111680542 B CN111680542 B CN 111680542B CN 202010304879 A CN202010304879 A CN 202010304879A CN 111680542 B CN111680542 B CN 111680542B
Authority
CN
China
Prior art keywords
point cloud
steel coil
neural network
feature extraction
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010304879.4A
Other languages
English (en)
Other versions
CN111680542A (zh
Inventor
牛丹
刘子璇
李奇
陈夕松
魏双
孙长银
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Keyuan Intelligent Technology Group Co ltd
Nanjing Wenwang Automation Co ltd
Southeast University
Original Assignee
Nanjing Keyuan Intelligent Technology Group Co ltd
Nanjing Wenwang Automation Co ltd
Southeast University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Keyuan Intelligent Technology Group Co ltd, Nanjing Wenwang Automation Co ltd, Southeast University filed Critical Nanjing Keyuan Intelligent Technology Group Co ltd
Priority to CN202010304879.4A priority Critical patent/CN111680542B/zh
Publication of CN111680542A publication Critical patent/CN111680542A/zh
Application granted granted Critical
Publication of CN111680542B publication Critical patent/CN111680542B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Multimedia (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于多尺度特征提取和Pointnet神经网络的钢卷点云识别与分类方法，用于钢铁库区内自动化装卸钢卷作业。通过对扫描获得的原始三维点云数据进行坐标转换与直通滤波，分离出包含车厢平面、钢卷、鞍座的点云团；通过随机采样一致性算法分离出车厢平面与钢卷，通过边缘检测与Meanshift聚类分割算法将黏连的多个钢卷点云团分割为单个独立的钢卷点云数据；通过结合多尺度特征提取方法的Pointnet神经网络对钢卷点云进行分类，本方法通过数据预处理避免了含有杂物的原始三维点云数据对于钢卷识别的影响，提高了识别的效率，通过利用多尺度网络特征提取，增强了Pointnet网络对于点云局部特征信息的提取能力，提高了分类的精度。

Description

基于多尺度特征提取和Pointnet神经网络的钢卷点云识别与 分类方法
技术领域
本发明涉及钢铁厂无人化行车系统控制，具体涉及一种结合了多尺度特征提取与Pointnet神经网络对目标钢卷进行识别与分类的方法。
背景技术
为提高钢铁厂库区钢卷装卸的作业效率，同时为避免库区高危作业环境产生的操作风险，钢铁厂库区的无人化操作管理正逐渐成为自动化领域的重要研究趋势。其中通过识别钢卷以正确执行自动装卸钢卷作业，更是整个钢厂无人化操作系统中极为关键的工序之一。目前的方法主要是利用三维扫描仪扫描载钢卷卡车，通过生成三维点云数据进行传统的手工点云属性判别与分类处理。此方法直接基于圆柱体拟合算法进行钢卷识别，由于采集的三维点云数据存在较多无用点云区域，如卡车车厢平面与地面点云，且鞍座与钢卷互相遮挡程度较大，所以此方法对于钢卷的有效识别与分类精度低，效率差，具有一定的局限性。
发明内容
发明目的：针对现有的钢铁库区三维激光扫描系统无法自主预知钢卷点云块的属性，仍需进行传统的手工点云属性判别的问题，本发明提出一种基于多尺度特征提取和Pointnet神经网络的钢卷点云识别与分类方法，有效提高了钢卷识别的效率和分类的精度。
技术方案：一种基于多尺度特征提取和Pointnet神经网络的钢卷点云识别与分类方法，包括以下步骤：
S1、利用扫描仪对载钢卷卡车车厢进行扫描，对扫描获得的原始三维点云数据进行坐标转换与直通滤波处理，分离出仅包含车厢平面、钢卷、鞍座的点云团；
S2、基于仅包含车厢平面、钢卷、鞍座的点云团，通过随机采样一致型算法进行平面模型拟合与圆柱体模型拟合，剔除车厢平面点云，得到含钢卷和鞍座的点云团；
S3、基于步骤S2所得点云团，通过边缘检测与聚类分割算法将黏连的多个目标点云团分割为彼此独立的单个目标的点云数据；
S4、将彼此独立的单个目标点云数据输入到结合多尺度特征提取的Pointnet神经网络模型中进行分类，通过选取三个不同尺度，对输入进的单个目标点云数据中的每个点云选取邻域，利用Pointnet神经网络提取邻域特征作为每个点的局部特征，将不同尺度下的局部特征通过全连接层组合，并与利用Pointnet神经网络提取的全局特征结合，给出特征分类结果。
其中，所述步骤S1具体包括：
S11、启动库区中卡车通道区域上方的三维激光扫描仪，获取卡车车厢点云的原始极坐标数据；
S12、将原始极坐标数据通过立体几何换算还原成笛卡尔坐标系的三维点云数据；
S13、对三维点云数据进行直通滤波，滤除车厢外的无关区域平面，仅保留车厢平面、钢卷、鞍座的点云数据。
进一步地，所述步骤S3中边缘检测包括：基于剔除车厢平面点云后的点云团，对点云进行边缘检测，检测并分离各个黏连状态的目标点云间的边缘点云，得到彼此分离的目标点云团。
所述步骤S3中聚类分割算法实施如下：基于彼此分离的目标点云团，根据扫描仪安装高度、扫描密度，设置点云团聚类半径和聚类阈值，对目标点云团进行Meanshift聚类分割，将多个彼此分离的目标点云团分割成彼此独立的单个目标的有效点云。
进一步地，所述对目标点云团进行Meanshift聚类分割，将多个彼此分离的目标点云团分割成彼此独立的单个目标的有效点云包括以下步骤：
S31、遍历彼此分离的目标点云团，随机选取某个点作为聚类中心c；
S32、根据目标点云团密度设置聚类半径r，聚类阈值r1，找出聚类中心的聚类半径内所有点，并把点云集中的其他点对该聚类中心的访问频率加1；
S33、计算Meanshift向量MS(x)，执行一次目标点云的聚类过程，把所有待处理的点对该聚类中心点的访问频率加1，通过迭代使算法收敛于一点，该点密度函数梯度为0；
S34、判断如果收敛时当前集合点c与其他集合点c1的中心距离小于r1，则合并这两个集合点，否则把c当做新的聚类中心点，至此完成一次Meanshift迭代；
S35、重复S32-S34，直到所有点被标记访问，根据每个聚类中心对每个点的访问频率，取访问频率最大的中心点为该点的归属聚类中心。
进一步地，所述结合多尺度特征提取的Pointnet神经网络模型包括多尺度特征提取网络和Pointnet神经网络，根据该模型对输入的钢卷点云数据进行分类的过程如下：
S41、基于输入的单个目标点云数据，在原Pointnet神经网络中通过空间变换矩阵T-Net网络进行输入点云旋转变换，在多尺度特征提取网络中通过T-Net网络进行点云旋转变换；
S42、基于旋转变换后的点云数据，在Pointnet神经网络中应用两层感知器mlp提取点云特征，得到输入点云的初步特征，在多尺度特征提取网络中设置三层感知器mlp与最大池化层进行局部特征提取，得到三个尺度下的局部特征；
S43、基于输入点云的初步特征，在Pointnet神经网络中进行T-Net点云旋转变换和mlp特征提取，得到第二维度特征；基于输入点云的第二维度特征，通过点对称函数进行信息融合，生成全局特征；
S44、基于输入点云的全局特征结合步骤S42得到的三个尺度的局部特征，通过全连接层连接，并利用三层感知器mlp进行学习与分类，输出每个类别的判别结果与概率，以此实现分类。
有益效果：本发明通过结合多尺度特征提取与Pointnet分类网络，提升了对于钢卷点云局部特征的识别精度。并通过结合随机采样一致性算法，边缘检测与Meanshift聚类分割等算法对原始三维点云数据进行预处理，避免含有杂物的原始点云数据对于钢卷识别的影响，提高了识别的效率。本发明可实现钢铁厂库区钢卷的精准识别与分类。
附图说明
图1为本发明的系统作业流程图；
图2(a)为三维扫描仪扫描获取的原始点云图；
图2(b)为经随机采样一致性算法处理后的仅含钢卷数据的点云图；
图2(c)为利用边缘检测方法获取的钢卷稀疏边缘图；
图2(d)为利用边缘检测方法获取的彼此分离的钢卷点云团图；
图2(e)为通过Meanshift算法获取的单个独立的钢卷点云数据图；
图2(f)为标准鞍座点云图；
图3为结合多特征提取的Pointnet神经网络结构图。
具体实施方式
下面结合具体实施方式和附图对本发明的技术方案作进一步的介绍。
本实施例以钢铁厂冷轧库区库区为作业背景，以距离地面8m高的三维扫描仪坐标系为原点，提出一种基于多尺度特征提取与Pointnet神经网络的钢卷识别与定位方法，该方法的软件设备主要包括：Ubuntu 16.04操作系统，CUDA9计算平台，tensorflow1.9.0软件库，参照图1，该方法包括以下步骤：
步骤S1，通过将载有若干钢卷的卡车停泊至指定停车位，开启停车位上方安装的三维激光扫描仪进行扫描，系统上位机接收并处理采集到的三维点云原始数据。具体步骤如下：
S11、启动卡车停泊区域上方的三维激光扫描仪，获取卡车车厢点云的原始极坐标数据，见图2(a)；
S12、将原始极坐标数据通过立体几何换算还原成笛卡尔坐标系的三维点云数据；
S13、对三维点云数据进行直通滤波，滤除车厢外的无关区域平面，仅保留车厢平面、钢卷、鞍座的点云数据。
基于含有车厢平面与钢卷和鞍座的点云数据，需要通过数据处理以获取单个独立的钢卷点云数据，步骤如下S2～S4：
步骤S2，基于仅包含车厢平面、钢卷、鞍座的点云团，通过两次随机采样一致型算法进行平面模型拟合与圆柱体模型拟合，识别并分离车厢平面点云与钢卷点云，得到仅含钢卷的点云团。
在本实例中，以识别车厢平面点云为例，其平面模型方程为Ax+By+C＝z，其中(A,B,C)为卡车平面的法线向量。在PCL点云库中，Sample_consensus模块实现了基于随机采样一致性的模型分割方法，该模块支持的模型有空间平面、直线、圆柱体等，可以在一堆点云中拟合到一个最优的模型估计。本发明通过使用PCL点云库中的Sample_consensus模块对车厢平面点云进行平面模型配准，获得卡车平面的上述四个参数并分离平面内的点，得到仅含钢卷数据的点云图，见图2(b)。
步骤S3，基于钢卷点云团，对点云进行边缘检测，检测并去除所有黏连状态的钢卷点云间的边缘点云，得到彼此分离的钢卷点云团。
在本实例中，边缘检测采用PCL点云库中的boundary函数模块实现，通过设置合适的Kd-tree邻域搜索参数，可以检测得到所有黏连钢卷点云间的边缘点云，见图2(c)，通过去除该边缘点云，可以将多个钢卷进行分割成彼此分离的点云团，见图2(d)。
步骤S4，基于彼此分离的钢卷点云团，设置合适的聚类半径和聚类阈值，对钢卷点云团进行Meanshift聚类分割，将多个彼此分离的钢卷点云团分割成彼此独立的单个钢卷的有效点云，见图2(e)。
本方法创新性引入深度学习网络模型，利用神经网络对钢卷点云数据进行自动分类，基于获取的彼此独立的单个钢卷有效点云与已知标准规格的鞍座点云数据(见图2(f))作为网络输入，网络模型具体参数与实现步骤如下：
步骤S5，进行训练集与测试集数据制作。
基于彼此独立的单个钢卷有效点云，制作训练集与测试集，根据已知标准规格的鞍座点云数据制作训练集与测试集，将钢卷与鞍座点云的训练集和测试集进行HDF5格式转换并分别储存不同文件中。
以钢铁库区工业现场收集的500个有效点云图像为例，每个点云图像包含5-6个单独的钢卷点云块。通过步骤S2-S4提取了有效的单个钢卷点云图像共计将近4500份。通过对钢卷点云数据进行均值化与归一化处理，每个点云文件被设置为2048个点，表1显示了钢卷和鞍座的标签和类别集。
表1：钢卷和鞍座的标签与类别集
Figure BDA0002455413480000051
步骤S6，将钢卷和鞍座的训练集输入进结合多尺度特征提取方法的Pointnet神经网络模型中进行网络分类训练。
本发明基于钢卷与鞍座训练集与测试集，建立Pointnet神经网络模型与多尺度特征网络架构，如图3所示，整体网络包括Pointnet神经网络和多尺度特征提取网络，在多尺度特征提取网络部分，选取三个不同尺度，对点云集中的每个点云选取邻域，利用Pointnet神经网络提取邻域特征作为每个点的局部特征，得到不同尺度下的局部特征，在Pointnet神经网络部分对输入的点云进行全局特征的提取，将不同尺度下的局部特征与利用Pointnet提取的全局特征通过全连接层组合，进行特征学习。
实施例中设置ReLu函数f(x)作为该神经网络激活函数，设置Softmax函数Sk为该神经网络损失函数。f(x)和Sk表示如下：
Figure BDA0002455413480000052
Figure BDA0002455413480000053
式中，Sk是函数输出向量S的第k个值，表示该样本属于该类别的概率，fk与fj分别为Softmax函数输入向量的第k与j个值。
基于训练集数据对网络进行训练，本发明利用tensorflow学习框架进行有监督网络模型训练，预先设置相关参数，让网络做自适应调整与完善。基于测试集数据对结果进行验证，具体实现步骤如下：
S61、基于获取的钢卷和鞍座点云测试集，在原Pointnet神经网络中通过空间变换矩阵T-Net进行旋转变换，在建立的多尺度特征提取网络中通过空间变换矩阵T-Net进行旋转变换；
S62、基于旋转变换后的点云数据，在Pointnet神经网络中应用mlp提取点云特征，得到输入点云的64维特征，在多尺度特征提取网络中设置多层感知器mlp(64,64,128)与最大池化层进行局部特征提取，得到三个尺度下的128维度局部特征，以待通过全连接层组合；
S63、基于输入点云的64维特征，在原Pointnet网络中进行T-Net转换和mlp特征提取，得到1024维特征；基于输入点云的1024维特征，进行池化，获得1024维全局特征；
S64、基于输入点云的1024维特征，将步骤S62得到的三个尺度的128维度局部特征与利用Pointnet提取的1024维全局特征结合，使用完全连接的三层感知器mlp(512,256,2)进行学习与分类。
根据上述构建的钢卷和鞍座的测试集的分类测试，结果表明本方法对于钢卷的识别具有较高的准确性，通过引入多尺度特征提取，弥补了传统Pointnet对于目标点云局部特征信息识别效率差的问题。表2对比本方法设计的网络模型与传统Pointnet网络模型及3DCNN方法等三种方法对于钢卷与鞍座的分类精度，在本实例中，结合了多尺度特征提取的Pointnet神经网络模型对于钢卷的识别准确率高达98.85％，对于鞍座的识别精度高达97.36％。
表2：三种方法对于钢卷识别与分类的精度对比
Figure BDA0002455413480000061
上述只是本发明的较佳实施例，并非对本发明做任何形式上的限定。因此，凡是未脱离被技术方案的内容，依据本发明技术实质对以上实例所做的任何简单修改，等同变化和修饰，均应落在本发明方案保护范围内。

Claims (7)

1.一种基于多尺度特征提取和Pointnet神经网络的钢卷点云识别与分类方法，其特征在于，包括以下步骤：
S1、利用扫描仪对载钢卷卡车车厢进行扫描，对扫描获得的原始三维点云数据进行坐标转换与直通滤波处理，分离出仅包含车厢平面、钢卷、鞍座的点云团；
S2、基于仅包含车厢平面、钢卷、鞍座的点云团，通过随机采样一致型算法进行平面模型拟合与圆柱体模型拟合，剔除车厢平面点云，得到含钢卷和鞍座的点云团；
S3、基于步骤S2所得点云团，通过边缘检测与聚类分割算法将黏连的多个目标点云团分割为彼此独立的单个目标的点云数据；
S4、将彼此独立的单个目标点云数据输入到结合多尺度特征提取的Pointnet神经网络模型中进行分类，通过选取三个不同尺度，对输入进的单个目标点云数据中的每个点云选取邻域，利用Pointnet神经网络提取邻域特征作为每个点的局部特征，将不同尺度下的局部特征通过全连接层组合，并与利用Pointnet神经网络提取的全局特征结合，给出特征分类结果。
2.如权利要求1所述的基于多尺度特征提取与Pointnet神经网络的钢卷点云识别与分类方法，其特征在于，所述步骤S1具体包括：
S11、启动库区中卡车通道区域上方的三维激光扫描仪，获取卡车车厢点云的原始极坐标数据；
S12、将原始极坐标数据通过立体几何换算还原成笛卡尔坐标系的三维点云数据；
S13、对三维点云数据进行直通滤波，滤除车厢外的无关区域平面，仅保留车厢平面、钢卷、鞍座的点云数据。
3.如权利要求1所述的基于多尺度特征提取与Pointnet神经网络的钢卷点云识别与分类方法，其特征在于，所述步骤S3中边缘检测包括：基于剔除车厢平面点云后的点云团，对点云进行边缘检测，检测并分离各个黏连状态的目标点云间的边缘点云，得到彼此分离的目标点云团。
4.如权利要求3所述的基于多尺度特征提取与Pointnet神经网络的钢卷点云识别与分类方法，其特征在于，所述步骤S3中聚类分割算法实施如下：基于彼此分离的目标点云团，根据扫描仪安装高度、扫描密度，设置点云团聚类半径和聚类阈值，对目标点云团进行Meanshift聚类分割，将多个彼此分离的目标点云团分割成彼此独立的单个目标的有效点云。
5.如权利要求4所述的基于多尺度特征提取与Pointnet神经网络的钢卷点云识别与分类方法，其特征在于，所述对目标点云团进行Meanshift聚类分割，将多个彼此分离的目标点云团分割成彼此独立的单个目标的有效点云包括以下步骤：
S31、遍历彼此分离的目标点云团，随机选取某个点作为聚类中心c；
S32、根据目标点云团密度设置聚类半径r，聚类阈值r1，找出聚类中心的聚类半径内所有点，并把点云集中的其他点对该聚类中心的访问频率加1；
S33、计算Meanshift向量MS(x)，执行一次目标点云的聚类过程，把所有待处理的点对该聚类中心点的访问频率加1，通过迭代使算法收敛于一点，该点密度函数梯度为0；
S34、判断如果收敛时当前集合点c与其他集合点c1的中心距离小于r1，则合并这两个集合点，否则把c当做新的聚类中心点，至此完成一次Meanshift迭代；
S35、重复S32-S34，直到所有点被标记访问，根据每个聚类中心对每个点的访问频率，取访问频率最大的中心点为该点的归属聚类中心。
6.如权利要求1所述的基于多尺度特征提取与Pointnet神经网络的钢卷点云识别与分类方法，其特征在于，所述结合多尺度特征提取的Pointnet神经网络模型包括多尺度特征提取网络和Pointnet神经网络，根据该模型对输入的钢卷点云数据进行分类的过程如下：
S41、基于输入的单个目标点云数据，在原Pointnet神经网络中通过空间变换矩阵T-Net网络进行输入点云旋转变换，在多尺度特征提取网络中通过T-Net网络进行点云旋转变换；
S42、基于旋转变换后的点云数据，在Pointnet神经网络中应用两层感知器mlp提取点云特征，得到输入点云的初步特征，在多尺度特征提取网络中设置三层感知器mlp与最大池化层进行局部特征提取，得到三个尺度下的局部特征；
S43、基于输入点云的初步特征，在Pointnet神经网络中进行T-Net点云旋转变换和mlp特征提取，得到第二维度特征；基于输入点云的第二维度特征，通过点对称函数进行信息融合，生成全局特征；
S44、基于输入点云的全局特征，结合步骤S42得到的三个尺度的局部特征，使用完全连接的三层感知器mlp进行学习与分类，输出每个类别的判别结果与概率，以此实现分类。
7.如权利要求1所述的基于多尺度特征提取与Pointnet神经网络的钢卷点云识别与分类方法，其特征在于，所述结合多尺度特征提取的Pointnet神经网络模型预先利用训练集数据进行训练，所述训练集数据制作过程如下：
S51、通过重复步骤S1-S3，将每次扫描获取的原始三维点云数据处理、分割为仅含单个钢卷点云数据的点云图；
S52、根据扫描密度，通过均值化与归一化方法调整每个钢卷点云图的点云数量一致；
S53、对钢卷点云集与标准规格的鞍座点云集设置两个标签值，同时制作钢卷点云集与鞍座点云集的训练集；
S54、将制作的钢卷与鞍座点云集输入进HDF5文件制作工具中合成.H5文件并储存。
CN202010304879.4A 2020-04-17 2020-04-17 基于多尺度特征提取和Pointnet神经网络的钢卷点云识别与分类方法 Active CN111680542B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010304879.4A CN111680542B (zh) 2020-04-17 2020-04-17 基于多尺度特征提取和Pointnet神经网络的钢卷点云识别与分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010304879.4A CN111680542B (zh) 2020-04-17 2020-04-17 基于多尺度特征提取和Pointnet神经网络的钢卷点云识别与分类方法

Publications (2)

Publication Number Publication Date
CN111680542A CN111680542A (zh) 2020-09-18
CN111680542B true CN111680542B (zh) 2022-11-15

Family

ID=72433310

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010304879.4A Active CN111680542B (zh) 2020-04-17 2020-04-17 基于多尺度特征提取和Pointnet神经网络的钢卷点云识别与分类方法

Country Status (1)

Country Link
CN (1) CN111680542B (zh)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112085123B (zh) * 2020-09-25 2022-04-12 北方民族大学 基于显著点采样的点云数据分类和分割方法
CN112183455A (zh) * 2020-10-16 2021-01-05 飞马智科信息技术股份有限公司 基于钢材点云信息的提高识别效率的方法
CN112287992A (zh) * 2020-10-26 2021-01-29 广东博智林机器人有限公司 一种钢筋簇分类方法、装置、电子设备及存储介质
CN112489123B (zh) * 2020-10-30 2021-09-10 江阴市智行工控科技有限公司 一种钢厂库区卡车表面目标三维定位方法
CN112464994B (zh) * 2020-11-05 2024-03-26 航天时代(青岛)海洋装备科技发展有限公司 基于PointNet网络的船艇尾浪识别与去除方法
CN112435239B (zh) * 2020-11-25 2024-02-23 南京农业大学 基于MRE-PointNet和自编码器模型的绿萝叶片外形参数估测方法
CN112907602B (zh) * 2021-01-28 2022-07-19 中北大学 一种基于改进k-近邻算法的三维场景点云分割方法
CN112927248B (zh) * 2021-03-23 2022-05-10 重庆邮电大学 一种基于局部特征增强和条件随机场的点云分割方法
CN113129372B (zh) * 2021-03-29 2023-11-03 深圳清元文化科技有限公司 基于HoloLens空间映射的三维场景语义分析方法
CN113177477A (zh) * 2021-04-29 2021-07-27 湖南大学 一种基于三维点云分析的目标检测识别方法
CN113570550B (zh) * 2021-07-01 2022-04-01 南京航空航天大学 一种基于三维点云的金丝键合尺寸检测方法
CN113569313A (zh) * 2021-07-12 2021-10-29 北京铁科特种工程技术有限公司 基于激光雷达二次回波点云数据的铁路栅栏建模与识别方法
CN113781564B (zh) * 2021-09-15 2023-11-10 河北工业大学 一种钢卷物料点云滤波方法及基于该方法的天车控制系统
CN113781639B (zh) * 2021-09-22 2023-11-28 交通运输部公路科学研究所 一种大场景道路基础设施数字化模型快速构建方法
CN114419570B (zh) * 2022-03-28 2023-04-07 苏州浪潮智能科技有限公司 一种点云数据识别方法、装置、电子设备及存储介质
CN115327568B (zh) * 2022-07-19 2023-10-20 哈尔滨工程大学 基于PointNet网络的无人机集群实时目标识别方法、系统和地图构建方法
CN117409298B (zh) * 2023-12-15 2024-04-02 西安航空学院 针对路面车辆识别的多尺寸目标精确识别方法及设备
CN117784169B (zh) * 2024-02-27 2024-05-07 唐山港集团股份有限公司 基于3d点云的钢卷轮廓测量方法、设备及介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110223308B (zh) * 2019-04-15 2023-05-09 东南大学 一种基于边缘检测和区域增长的垛位点云定位方法
CN110197223B (zh) * 2019-05-29 2021-02-09 北方民族大学 基于深度学习的点云数据分类方法
CN110503148B (zh) * 2019-08-26 2022-10-11 清华大学 一种具有尺度不变性的点云对象识别方法

Also Published As

Publication number Publication date
CN111680542A (zh) 2020-09-18

Similar Documents

Publication Publication Date Title
CN111680542B (zh) 基于多尺度特征提取和Pointnet神经网络的钢卷点云识别与分类方法
CN108961235B (zh) 一种基于YOLOv3网络和粒子滤波算法的缺陷绝缘子识别方法
CN108830188B (zh) 基于深度学习的车辆检测方法
CN111476756B (zh) 一种基于改进YOLOv3网络模型识别铸件DR图像疏松缺陷的方法
CN109118479B (zh) 基于胶囊网络的绝缘子缺陷识别定位装置及方法
CN112418117B (zh) 一种基于无人机图像的小目标检测方法
Mi et al. Research on regional clustering and two-stage SVM method for container truck recognition
CN109598241B (zh) 基于Faster R-CNN的卫星图像海上舰船识别方法
US11556745B2 (en) System and method for ordered representation and feature extraction for point clouds obtained by detection and ranging sensor
CN112883850B (zh) 一种基于卷积神经网络的多视角空天遥感图像匹配方法
CN108664969B (zh) 基于条件随机场的路标识别方法
CN113484875B (zh) 一种基于混合高斯排序的激光雷达点云目标分级识别方法
CN110287798B (zh) 基于特征模块化和上下文融合的矢量网络行人检测方法
CN113592894B (zh) 一种基于边界框和同现特征预测的图像分割方法
CN111915583A (zh) 复杂场景中基于车载红外热像仪的车辆和行人检测方法
Hoang et al. A novel approach for detection of pavement crack and sealed crack using image processing and salp swarm algorithm optimized machine learning
CN111833353B (zh) 一种基于图像分割的高光谱目标检测方法
CN110738100A (zh) 一种基于深度学习的伪装军事目标识别方法及系统
CN117495891B (zh) 点云边缘检测方法、装置和电子设备
CN112712066B (zh) 图像识别方法、装置、计算机设备和存储介质
CN109815887B (zh) 一种基于多智能体协作的复杂光照下人脸图像的分类方法
CN113316080B (zh) 基于Wi-Fi与图像融合指纹的室内定位方法
CN111666953B (zh) 一种基于语义分割的潮汐带测绘方法及设备
CN113327282A (zh) 一种办公转椅打孔位置与连接点识别方法
Jumanov et al. Optimization of recognition of microorganisms based on histological information structures of images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant