CN112132138A - 一种基于2d-激光雷达的物料自动识别与定位方法 - Google Patents
一种基于2d-激光雷达的物料自动识别与定位方法 Download PDFInfo
- Publication number
- CN112132138A CN112132138A CN202010994798.1A CN202010994798A CN112132138A CN 112132138 A CN112132138 A CN 112132138A CN 202010994798 A CN202010994798 A CN 202010994798A CN 112132138 A CN112132138 A CN 112132138A
- Authority
- CN
- China
- Prior art keywords
- dimensional
- point cloud
- cloud data
- coordinate system
- target point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 239000000463 material Substances 0.000 title claims abstract description 58
- 238000000034 method Methods 0.000 title claims abstract description 36
- 238000007637 random forest analysis Methods 0.000 claims abstract description 14
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 10
- 238000001914 filtration Methods 0.000 claims abstract description 7
- 239000011159 matrix material Substances 0.000 claims description 23
- 238000012549 training Methods 0.000 claims description 21
- 238000012360 testing method Methods 0.000 claims description 19
- 230000009466 transformation Effects 0.000 claims description 7
- 239000013598 vector Substances 0.000 claims description 7
- 238000003066 decision tree Methods 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 5
- 238000010801 machine learning Methods 0.000 claims description 4
- 238000007781 pre-processing Methods 0.000 claims description 4
- 230000007797 corrosion Effects 0.000 claims description 3
- 238000005260 corrosion Methods 0.000 claims description 3
- 238000000354 decomposition reaction Methods 0.000 claims description 3
- 230000006855 networking Effects 0.000 claims description 2
- 238000013135 deep learning Methods 0.000 abstract description 5
- 238000011161 development Methods 0.000 abstract description 4
- 238000000513 principal component analysis Methods 0.000 abstract description 3
- 238000003860 storage Methods 0.000 abstract description 2
- 230000001131 transforming effect Effects 0.000 abstract 1
- 238000013527 convolutional neural network Methods 0.000 description 7
- 238000012545 processing Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 6
- 238000010276 construction Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 239000003638 chemical reducing agent Substances 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 230000007547 defect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 239000010720 hydraulic oil Substances 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000003825 pressing Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- WHXSMMKQMYFTQS-UHFFFAOYSA-N Lithium Chemical compound [Li] WHXSMMKQMYFTQS-UHFFFAOYSA-N 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 229910052744 lithium Inorganic materials 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000011541 reaction mixture Substances 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000013024 troubleshooting Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
- G06F18/24323—Tree-organised classifiers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/003—Reconstruction from projections, e.g. tomography
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/60—Rotation of whole images or parts thereof
- G06T3/604—Rotation of whole images or parts thereof using coordinate rotation digital computer [CORDIC] devices
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Radar, Positioning & Navigation (AREA)
- Computer Networks & Wireless Communication (AREA)
- Evolutionary Computation (AREA)
- Remote Sensing (AREA)
- General Engineering & Computer Science (AREA)
- Electromagnetism (AREA)
- Life Sciences & Earth Sciences (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Multimedia (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明公开一种基于2D‑激光雷达的物料的自动识别与定位方法,其步骤包括:1、利用云台装置进行俯仰运动从而带动二维激光雷达产生三维点云数据;2、利用直通滤波算法来获取目标感兴趣区域即料坑对应区域;3、利用PCA(Principal Component Analysis)算法进行坐标系变换;4、利用3D‑2D的投影思想对感兴趣区域的点云数据构建深度图像;5、利用结合深度学习的随机森林分类方法实现物料分类;6、2D‑3D的重投影获取对应的三维坐标。本发明能实现料坑内物料的识别与定位,从而向智能化的物料仓储发展迈向新的一步。
Description
技术领域
本发明涉及测绘定位技术领域,具体的涉及一种基于2D-激光雷达的物料自动识别与定位方法。
背景技术
随着我国智能化工厂的不断发展,在物料工厂对物料的识别与定位方面的工作也越来越智能化发展;在一些高强度、高危险性的作业环境中,传统的作业方式依然是使用人机交互的模式进行指引与操作,但是该种传统的接触式作业模式不但会加重人力负担而且危险性极高,因此迫切寻求一种新的视觉作业模式去代替传统人力方式。近年来随着机器学习与深度学习的发展基于相机图片的采集模式代替传统人力视觉方式,但是在室外高光强度下相机极易受强光干扰,这样对采集结果会有一定的影响。目前普遍采用基于激光雷达的在线检测方法来避免外界环境干扰,但其自动化程度的高低直接影响作业效率,而且主流的激光扫描技术成本较高且在物料应用较少,难以满足其亟待解决的需求问题。因此,面对传统方式的不足迫切需要一种新的智能化方式产生。
发明内容
本发明为克服上述现有技术的不足之处,提供一种基于2D-激光雷达的物料自动识别与定位方法,以期能针对于物料现场复杂场景,实现物料区域的精准识别与定位,从而高效的解决现有技术中无法自动识别定位的问题,并提高识别与定位的精度。
本发明解决上述技术问题的技术方案如下:
本发明一种基于2D-激光雷达的物料自动识别与定位方法的特点是按如下步骤进行:
步骤S1,利用集成云台装置做俯仰运动并带动二维激光雷达转动,使得二维激光雷达获取采集区域在以激光雷达为原点的参考坐标系下的三维点云数据;
步骤S2,利用直通滤波算法对所述三维点云数据进行预处理,从而得到感兴趣区域的三维目标点云数据,记为C={Pi(xi,yi,zi)T,i∈(1,2,...,n)};Pi(xi,yi,zi)表示感兴趣区域的三维目标点云数据中第i个三维点;n表示三维目标点云数据的数量;
步骤S3,利用PCA算法对所述感兴趣区域的三维目标点云数据进行坐标系变换,得到以感兴趣区域的中心点为坐标原点的标准坐标系下的三维目标点云数据;
步骤S4,利用3D-2D的投影法,构建标准坐标系下的三维目标点云数据的二维图像,并计算标准坐标系下的三维目标点云数据的灰度值,并保存灰度图像;
步骤S5,利用深度模型CNN网络提取所述灰度图像的特征,并利用散度矩阵对所述灰度图像的特征进行选择,得到筛选后的特征;
再基于筛选后的特征使用随机森林RF机器学习方法构建并训练多棵决策树,从而组成决策森林,完成训练阶段;
在测试阶段,获取测试数据集并利用深度模型CNN网络进行特征提取,再利用散度矩阵对所提取的特征进行选择,得到筛选后的测试特征;
将筛选后的测试特征输入所述决策森林中,并以投票方式得到标准坐标系下采集区域内物料位置的像素坐标并作为测试数据集的分类结果;
最后对分类结果进行膨胀腐蚀操作,完成具有连接性的凸区域的合并;再对合并后的区域添加图像矩,并获取该图像矩的中心点坐标;
步骤S6,对上述获取的中心点坐标进行2D-3D的二次投影,从而得到标准坐标系下的采集区域内物料位置对应的三维坐标作为物料位置的识别和定位结果。
本发明所述的物料自动识别与定位方法的特点也在于,所述步骤S3是按如下过程进行:
步骤S3.1,利用nanoflann库对所述感兴趣区域点集C={Pi(xi,yi,zi)T,i∈(1,2,...,n)}构建K-d树,使得感兴趣区域的三维目标点云数据C={Pi(xi,yi,zi)T,i∈(1,2,...,n)}具有索引结构;
步骤S3.2,对具有索引结构的感兴趣区域三维目标点云数据C={Pi(xi,yi,zi)T,i∈(1,2,...,n)}通过式(1)对第i个三维点Pi(xi,yi,zi)进行去中心化处理,从而获得新的第i个三维点P′i(x′i,y′i,z′i):
式(1)中,xi表示第i个三维点Pi的横坐标,yi表示第i个三维点Pi的纵坐标,zi表示第i个三维点Pi的高程坐标,表示n个三维点的横坐标的平均值,表示n个三维点的纵坐标的平均值,表示n个三维点的高程坐标的平均值,并有:
步骤S3.3,计算由新的n个三维点所构成的新的三维目标点云数据C′={P′i(x′i,y′i,z′i),i∈(1,2,...,n)}的协方差矩阵Σ;
步骤S3.4,基于Eigen库利用奇异值分解法对协方差矩阵Σ进行特征值与特征向量分解,并对分解后的特征值进行降序排列,从而获取排序后的前三个特征值所对应的特征向量作为三个主成分;
步骤S3.5,将三个主成分所对应的向量方向分别作为标准坐标系下的X轴、Y轴和Z轴,
以新的三维目标点云数据C′={P′i(x′i,y′i,z′i),i∈(1,2,...,n)}的中心点pc作为标准坐标系下的原点,从而将参考坐标系转换为标准坐标系;
步骤S3.6,将新的n个三维点{P′i(x′i,y′i,z′i),i∈(1,2,...,n)}分别与三个主成分相乘,从而得到标准坐标系下相应的三维目标点云数据。
所述步骤S4是按如下过程进行:
步骤S4.1,令标准坐标系下的Z轴为0,从而将标准坐标系下的三维点云数据通过格网化投影到二维平面上,得到二维点云数据;
分别获取所述二维点云数据在二维平面的X轴上和Y轴上的最大值xmax,ymax以及最小值xmin,ymin;
步骤S4.2,利用最大值xmax,ymax以及最小值xmin,ymin构建二维图像,并利用式(3)获得所述二维图像的宽度w;利用式(4)获得所述二维图像的高度H:
式(3)和式(4),sτ表示所述二维图像的分辨率;
步骤S4.3,利用式(5)获取所述二维平面上第i个二维点pi(ai,bi)对应于所述二维图像中的第i个像素坐标p′i(ui,vi):
步骤S4.4,获取标准坐标系下的三维目标点云数据中Z轴方向的最大值zmax;
步骤S4.5,将标准坐标系下的三维目标点云数据中的每个三维点的高程坐标分别除以最大值zmax,从而得到三维目标点云数据中的每个三维点的灰度值,并保存为灰度图像;
由三维目标点云数据中的每个三维点的灰度值与所述二维图像中的n个像素坐标{p′i(ui,vi),i∈(1,2,...,n)}构成标准坐标系下的三维目标点云数据的灰度图像。
与已有技术相比,本发明的有益效果是:
1、本发明通过物料现场三维点云信息的采集与其二维深度图像的建立,在实际作业时可以实现物料的识别与精准定位。相比于传统的识别与定位方法,避免了大量人力物力,更避免了高风险的危害,同时可进一步检测物料的角度信息及周边异物分布变化,对智能化物料厂进一步发展与建设具有重要意义。
2、本发明的步骤S1中,通过集成的一体化云台带动低成本二维激光雷达实现了三维点云信息的采集。
3、本发明步骤S2中,对所获取的点云数据进行格网化处理,获取点云格网之间的拓扑关系,为进一步加快数据预处理速度和实现精准实时定位打下基础。
4、本发明步骤S3中,在点云处理中加入PCA(Principal Component Analysis)算法进行坐标系变换,采用上述感兴趣区域的中心做为坐标原点的标准坐标系,大大降低了计算的复杂度,对于高密度、复杂场景数据处理具有重要意义。
5、本发明步骤S4中,通过将3D-2D的投影算法,将上述转换过坐标系的感兴趣区域的点云数据转化为深度图像,从而获取到该区域的灰度图像,实现了点云数据到图像化的转变,有利于下一步使用神经网络进行模型训练。
6、本发明步骤S5中,使用结合深度学习的随机森林算法,这样大大提高了识别定位的准确度,增加了对于灰度图的识别准确率。
7、本发明步骤S6中,通过将所获取的中心点坐标进行2D-3D的二次投影,从而获得灰度图中的中心坐标所对应的三维点云数据中相应的三维坐标,实现了物料的定位查找,大大降低了人工作业的负担,从而提高了工作效率。
8、本发明以二维激光雷达作为数据获取来源,借助PCA实现了多维空间的坐标系变换,利用物料的结构特征转化为该物料场景的二维图片,利用灰度图信息从而在保证了一定误差限制范围内实现了液压输油臂与物料的完美定位,对于快速发展的物料智能化建设提供重要基础,同时为进一步实现自助式自动化物料工厂安全建设提供依据。
附图说明
图1为本发明物料自动识别与定位方法的固定式液压破碎机作业整体布局图;
图2为本发明物料自动识别与定位方法的流程图;
图3为本发明物料自动识别与定位方法的基于激光雷达的云台设计整体图;
图4为本发明自动识别与定位方法的主成分对应的新坐标空间示意图;
图5为本发明训练和测试的流程图;
图6为本发明自动识别与定位方法的图像矩示意图。
图中标号:11控制器件,12小型PC,13电源模块,21第一盘式电机,22第一谐波减速器,23输出第一法兰,24输出第二法兰,25输出第三法兰,31侧面第一固定板,32第一外压板,33侧面第二固定板,34第一连杆,35第二连杆,42第二旋转侧板,43旋转背板,44连接板。
具体实施方式
本实施例中,如图1、图2所示,一种物料工厂中基于2D-激光雷达的物料识别与定位方法,包括以下步骤:
步骤S1,利用集成云台(包含多个模块)旋转二维激光扫描仪的俯仰角,从而获取采集区域在以激光雷达为原点的参考坐标系下的三维点云信息;步骤S1的集成云台设计如图3所示;
步骤S1.1,通过控制模块,包括小型PC模块,控制器件等控制电机模块,通过电源模块,包括锂电池,电源转接模块,电源传输模块给电机模块供电。
步骤S1.2,电机模块,包括第一盘式电机21与第一谐波减速器22,输出第一法兰23与第一谐波减速器22相连,输出第二法兰24与输出第一法兰23相连,通过轴承支撑固定基座模块。
步骤S1.3,固定基座模块包括,侧面第一固定板31,第一外压板32与侧面第一固定板31相连接,侧面第一固定板31和侧面第二固定板33通过第一34第二连35杆相连接,通过输出第二法兰24和第三法兰25与激光雷达旋转平台相连接。
步骤S1.4,激光雷达旋转平台,包括第一旋转侧板,第二旋转侧板42,旋转背板43,连接板44,通过电机模块的旋转,带动旋转平台的旋转。
步骤S1.5,通过设置扫描角度将扫描装置从上到下进行扫描,在以激光雷达内部光源为原心的球坐标系下,假设某点的坐标为(r,α,β),其中,r表示由扫描中心到目标点之间的距离,α为上述云台带动扫描仪所产生的俯仰角度,β为扫描角度,将云台带动二维激光雷达所采集的球坐标系下的点云坐标(r,α,β)转化为直角坐标系下的(x,y,z),从而获取整个物料场景下的三维点云信息,转化公式如式(1):
步骤S2,利用直通滤波算法对上述采集的三维点云数据进行预处理,从而得到感兴趣区域的三维目标点云数据,记为C={Pi(xi,yi,zi)T,i∈(1,2,...,n)};Pi(xi,yi,zi)表示感兴趣区域的三维目标点云数据中第i个三维点;n表示三维目标点云数据的数量;
步骤S2.1,对获得的三维点云数据进行网格化处理,并获取格网拓扑关系,分别在X、Y、Z三个方向上遍历获取最大值(xmax,ymax,zmax)和最小值(xmin,ymin,zmin),设置一个步长偏移量为Δ,分别以(xmax+Δ,ymax+Δ,zmax+Δ)和(xmax-Δ,ymax-Δ,zmax-Δ)为最大值和最小值,并在最值范围内进行格网的绘制。
步骤S2.2,通过对所建立的格网对点云数据进行三维体素栅格处理,每个格网体素中心表征单位半径内的点云(把体素栅格作为微小三维空间的一个集合体),本实施例中将体素的大小设置为40,并将体素中所有点用自身重心点来表示,即实现点云的初步稀释,以便于检索及减小存储;
步骤S2.3,根据点云的属性坐标值(Xn,Yn,Zn),在点的坐标属性上建立进行直通滤波,直通滤波的思想:通过直通滤波器将X、Y、Z轴方向上范围之外的点滤除(在背景与前景有一定距离的情况下,指定字段,指定坐标范围进行裁剪,可以选择保留范围内的点或者范围外的点,从而可以除掉背景,完成感兴趣区域的选择)。
步骤S2.4,通过设置在三个方向任意方向的过滤范围(Rx,Ry,Rz)(Xn<R0,Yn<R0,Zn<R0),从而得到各方向的直通滤波点云结果,本实施例中设置的Rx=10000,Ry=6000,Rz=5000,单位统一为mm。
步骤S3,在获取的感兴趣区域的基础上使用PCA再对感兴趣区域的三维目标点云数据进行标准坐标系变换处理,从而将感兴趣区域的中心作为坐标原点,并以该原点建立标准坐标系。
步骤S3.1,利用nanoflann库对上述获取的感兴趣区域点集C={Pi=(xi,yi,zi)T,i∈(1,2,...,n)}构建K-dtree,使得感兴趣区域的三维目标点云数据C={Pi(xi,yi,zi)T,i∈(1,2,...,n)}具有索引结构;K-dtree思想:不断地用垂直于坐标轴的超平面将K维空间切分,构成一系列的K维超矩形区域,得到具有索引结构的感兴趣区域数据,利用kdtree可以省去对大部分数据点的搜索,从而减少搜索的计算量。
步骤S3.2,对上述带有索引结构的感兴趣区域三维目标点云数据C={Pi(xi,yi,zi)T,i∈(1,2,...,n)}通过中心化和标准化处理,得到均值为0,标准差为1的服从标准正态分布的数据,具体原因是当原始数据不同维度上的特征的尺度(单位)不一致时,需要标准化步骤对数据进行预处理。具体过程是通过式(2)首先对每一个点(xi,yi,zi)做一个去中心化处理,从而获得x,y,z三个特征维度均值分别是0的新的三维点云数据(x′i,y′i,z′i)。
式(2)中,xi表示第i个三维点Pi的横坐标,yi表示第i个三维点Pi的纵坐标,zi表示第i个三维点Pi的高程坐标,表示n个三维点的横坐标的平均值,表示n个三维点的纵坐标的平均值,表示n个三维点的高程坐标的平均值,并通过式(3)有:
本实施例中,上述获取的Σ矩阵为:
该协方差矩阵是一个对称阵,表示不同维度特征之间的协方差。
步骤S3.4,对上述产生的协方差矩阵∑借助Eigen库利用奇异值分解(SVD)进行特征值与特征向量分解,并对特征值进行降序排列,根据相应的特征向量将依次获取三个主成分,并将三个特征向量进行归一化处理,分别以主特征向量作为X轴,最小特征值对应的特征向量作为Z轴,剩下的特征向量作为Y轴。
特征值分别如式(5):
步骤S3.5,根据上述获取的三个主成分,以三个主成分所对应的向量方向分别作为标准坐标系下的X轴、Y轴和Z轴的正方向,将感兴趣区域的坐标轴分布由激光雷达为原点的参考坐标系转换为新的三维目标点云数据C′={P′i(x′i,y′i,z′i),i∈(1,2,...,n)}自身重心点Pc为原点的标准坐标系,如图4所示。转换方式如下:将上述获取的三个特征向量组成特征矩阵P,分别将原始空间下的每一个点云数据(xi,yi,zi)与该特征矩阵P做点乘运算,获取到的新的数据即为将原始数据旋转到特征矩阵P所在的空间中。
步骤S4,对获取到的点云中心为原点的局部坐标系下的点云数据做一个3D到2D的点云投影变换,通过该变换从而获取该区域的二维图像并转化为灰度图像。
步骤S4.1,将标准坐标系下的三维点云数据通过格网化投影到二维平面上,即z=0。遍历点云数据分别获取投影后二维平面下x和y坐标的最大值maximal和最小值minimal,并分别表示为xmin,xmax,ymin,ymax。
步骤S4.2,利用获取的最大最小值值构建二维图像,根据式(6)以分辨率sτ构建W×H的投影网格获得该二维图像的宽度;二维图像分辨率sτ可以根据点云密度进行选择,本实施例中点云密度为6,将sτ设置为12一般设置为二倍的点云密度,根据式(7)获得该二维图像的高度。
式(6)和式(7)中,int表示取整,sτ表示所述二维图像的分辨率;
步骤S4.3,对于所建立的二维图像,利用式(8)获取二维平面点Pi(ai,bi)对应的二维图像图中的像素坐标Pi′(ui,vi)。
步骤S4.4,对于感兴趣区域的三维点云数据,进行逐点遍历获取标准坐标系Z坐标轴方向的最大值zmax,利用深度图像构建的思想,将Z方向的值用于灰度值的分配。
步骤S4.5,利用所获取的Z方向最大值将每一个数据点的z/zmax(z除以zmax),即根据坐标中的z值归一化为灰度值,将z坐标归一化成0~255之间作为二维图像的灰度值,并保存灰度图。
步骤S5,对获取到的灰度图像利用典型的CNN网络结构-LeNet5完成灰度图像的特征提取,LeNet5模型一共有7层,其中,最后1个全连接层后面接着标签层(labeled layer,LL)。并利用散度矩阵对提取的特征进行选择,得到筛选后的特征,最后利用筛选后的特征进行随机森林训练,并最终在测试阶段完成物料的识别分类,完整的训练和测试流程图如图5所示。
步骤S5.1,使用深度模型的卷积神经网络(convolutional neural networks,CNN)模型—LeNet5网络结构对上述获取的灰度图进行特征的提取。
本实施例中,基于深度学习的特征提取比基于人工手动的进行特征选择所获取的特征在表达性上更加强,LeNet5模型是CNN模型中的一种经典结构,其共有7层(不包含输入层),其中包含两个卷积层,卷积操作是整个网络架构的核心,卷积操作的目的其实就是为了从原始数据中提取出特征,即使用这些卷积核不断地进行卷积计算获得特征图。最后在全连接层中将卷积层获取的特征图的值乘上相应的权重并相加,再加上对应的偏置再经过sigmoid激活函数进行输出,同时将最后的输出作为对灰度图像所提取的特征。
步骤S5.2,基于上述训练图像进行特征选择,从而获得筛选后的特征。
本实施例中,主要完成的是对提取的特征进行选择,选择最有效的特征作为最终的筛选后的特征。所筛选出的特征的选择是根据样本的散度矩阵即类内方差最小且类间的不相似性来决定的。具体标准是使用类内差异小、类间差异大的特征来作为最终有效的特征子集。我们定义类内散度矩阵和类间散度矩阵以及类间散度与类内散度的比值其中n表示所选择的特征维度。
步骤S5.3,对上述筛选后的特征使用随机森林(random forest,RF)机器学习方法通过构建多棵由随机选取的样本子集和特征子向量生成的决策树来组成决策森林,完成训练阶段。
在本实施例中,使用LeNet5模型来提取测试图像的特征,选择在训练阶段中所选择的特征子集来表示图像特征。随机森林的思想是指利用多棵树对样本进行训练并预测的一种分类器,对于每棵树,它们使用的训练集是从总的训练集中有放回采样出来的,这意味着,总的训练集中的有些样本可能多次出现在一棵树的训练集中,也可能从未出现在一棵树的训练集中。在训练每棵树的节点时,使用的特征是从所有特征中按照一定比例随机地无放回的抽取的。
训练过程:从N个样本中,有回放的随机选择M个样本(然后有放回的继续选择)。这选择好了的M个样本用来训练一个决策树,作为决策树根节点处的样本。即从众多特征集中随机选择训练子集矩阵si=(Xi,yi),其中Xi为训练样本向量si的特征向量,而yi为标签,从根节点开始训练,并定义分裂函数Split如式(9):
按照上述过程,不断重复此过程,建立大量决策树,如此形成随机森林。
最后在测试阶段用训练好的随机森林来对测试集进行分类,将测试集T按照上述特征提取过程先使用深度学习进行特征提取,接着对提取的特征利用散度矩阵对提取的特征进行选择,用所述预训练好的RF分类器完成测试数据的分类,在分类阶段并以投票方式输出标准坐标系下采集区域内物料位置的像素坐标作为分类结果。
在本实施例中最后分类出来的物料识别结果如图4所示。经统计在准备的3000个测试样本中,卷积神经网络+随机森林分类器的物料识别方法中,从输出的识别分类物料位置坐标结果来看平均识别准确率达到了89.7%,比常规的传统的随机森林分类器平均识别准确率高了7.8%。
步骤S5.4,结合物料料坑的拓扑结构中,与邻域区域的连接性等独特优势,对于分类结果利用闭运算先进行膨胀再腐蚀操作,将重叠的灰度区域也就是物料坑内具有连接性的凸区域进行合并,这样方便加速后期作业。
步骤S5.5,对合并后的区域,添加图像矩,并查找图像矩的中心点就是定位的物料的位置,在本实施例中添加的图像矩如图6所示。
步骤S6,利用上述获取的中心坐标进行2D-3D的二次反投影,从而得到标准坐标系下的采集区域内物料位置对应的三维坐标作为物料位置的识别和定位结果。
步骤S6.1,从二维图像中可以获取到每个点的像素值pixel(ui,vi),然后由每个pixel(ui,vi)根据公式(6)反算数据点的坐标值即获得每个点的2Dpoint坐标(xi,yi)。
步骤S6.2,再从2Dpoint到3Dpoint,对于每一个2Dpoint(xi,yi)可以利用3D映射思想分别计算其相应的3D坐标(xi,yi,zi)。
在实施例中,物料与固定式液压破碎机自识别与定位技术不仅仅只限于物料厂,更可以应用于类似液压输油臂的精准定位。同时,对于固定式液压破碎机周围异物检测与排查同样具有重要意义。
综上所述,本发明一种物料检测场景下基于二维激光雷达的固定液压破碎机的自动识别与定位方法,建立了高精度的灰度图,从而高效可靠的解决了现有技术中无法自动识别定位的问题。同时,在成本上利用集成云台旋转二维激光扫描仪并产生俯仰角,从而获取物料场景下的三维点云数据大大降低了成本,对于实际应用工程具有重要意义。
Claims (3)
1.一种基于2D-激光雷达的物料自动识别与定位方法,其特征是按如下步骤进行:
步骤S1,利用集成云台装置做俯仰运动并带动二维激光雷达转动,使得二维激光雷达获取采集区域在以激光雷达为原点的参考坐标系下的三维点云数据;
步骤S2,利用直通滤波算法对所述三维点云数据进行预处理,从而得到感兴趣区域的三维目标点云数据,记为C={Pi(xi,yi,zi)T,i∈(1,2,...,n)};Pi(xi,yi,zi)表示感兴趣区域的三维目标点云数据中第i个三维点;n表示三维目标点云数据的数量;
步骤S3,利用PCA算法对所述感兴趣区域的三维目标点云数据进行坐标系变换,得到以感兴趣区域的中心点为坐标原点的标准坐标系下的三维目标点云数据;
步骤S4,利用3D-2D的投影法,构建标准坐标系下的三维目标点云数据的二维图像,并计算标准坐标系下的三维目标点云数据的灰度值,并保存灰度图像;
步骤S5,利用深度模型CNN网络提取所述灰度图像的特征,并利用散度矩阵对所述灰度图像的特征进行选择,得到筛选后的特征;
再基于筛选后的特征使用随机森林RF机器学习方法构建并训练多棵决策树,从而组成决策森林,完成训练阶段;
在测试阶段,获取测试数据集并利用深度模型CNN网络进行特征提取,再利用散度矩阵对所提取的特征进行选择,得到筛选后的测试特征;
将筛选后的测试特征输入所述决策森林中,并以投票方式得到标准坐标系下采集区域内物料位置的像素坐标并作为测试数据集的分类结果;
最后对分类结果进行膨胀腐蚀操作,完成具有连接性的凸区域的合并;再对合并后的区域添加图像矩,并获取该图像矩的中心点坐标;
步骤S6,对上述获取的中心点坐标进行2D-3D的二次投影,从而得到标准坐标系下的采集区域内物料位置对应的三维坐标作为物料位置的识别和定位结果。
2.根据权利要求1所述的物料自动识别与定位方法,其特征在于,所述步骤S3是按如下过程进行:
步骤S3.1,利用nanoflann库对所述感兴趣区域点集C={Pi(xi,yi,zi)T,i∈(1,2,...,n)}构建K-d树,使得感兴趣区域的三维目标点云数据C={Pi(xi,yi,zi)T,i∈(1,2,...,n)}具有索引结构;
步骤S3.2,对具有索引结构的感兴趣区域三维目标点云数据C={Pi(xi,yi,zi)T,i∈(1,2,...,n)}通过式(1)对第i个三维点Pi(xi,yi,zi)进行去中心化处理,从而获得新的第i个三维点P′i(x′i,y′i,z′i):
式(1)中,xi表示第i个三维点Pi的横坐标,yi表示第i个三维点Pi的纵坐标,zi表示第i个三维点Pi的高程坐标,表示n个三维点的横坐标的平均值,表示n个三维点的纵坐标的平均值,表示n个三维点的高程坐标的平均值,并有:
步骤S3.3,计算由新的n个三维点所构成的新的三维目标点云数据C′={P′i(x′i,y′i,z′i),i∈(1,2,...,n)}的协方差矩阵Σ;
步骤S3.4,基于Eigen库利用奇异值分解法对协方差矩阵Σ进行特征值与特征向量分解,并对分解后的特征值进行降序排列,从而获取排序后的前三个特征值所对应的特征向量作为三个主成分;
步骤S3.5,将三个主成分所对应的向量方向分别作为标准坐标系下的X轴、Y轴和Z轴,
以新的三维目标点云数据C′={P′i(x′i,y′i,z′i),i∈(1,2,...,n)}的中心点pc作为标准坐标系下的原点,从而将参考坐标系转换为标准坐标系;
步骤S3.6,将新的n个三维点{P′i(x′i,y′i,z′i),i∈(1,2,...,n)}分别与三个主成分相乘,从而得到标准坐标系下相应的三维目标点云数据。
3.根据权利要求1所述的物料自动识别与定位方法,其特征在于,所述步骤S4是按如下过程进行:
步骤S4.1,令标准坐标系下的Z轴为0,从而将标准坐标系下的三维点云数据通过格网化投影到二维平面上,得到二维点云数据;
分别获取所述二维点云数据在二维平面的X轴上和Y轴上的最大值xmax,ymax以及最小值xmin,ymin;
步骤S4.2,利用最大值xmax,ymax以及最小值xmin,ymin构建二维图像,并利用式(3)获得所述二维图像的宽度w;利用式(4)获得所述二维图像的高度H:
式(3)和式(4),sτ表示所述二维图像的分辨率;
步骤S4.3,利用式(5)获取所述二维平面上第i个二维点pi(ai,bi)对应于所述二维图像中的第i个像素坐标p′i(ui,vi):
步骤S4.4,获取标准坐标系下的三维目标点云数据中Z轴方向的最大值zmax;
步骤S4.5,将标准坐标系下的三维目标点云数据中的每个三维点的高程坐标分别除以最大值zmax,从而得到三维目标点云数据中的每个三维点的灰度值,并保存为灰度图像;
由三维目标点云数据中的每个三维点的灰度值与所述二维图像中的n个像素坐标{p′i(ui,vi),i∈(1,2,...,n)}构成标准坐标系下的三维目标点云数据的灰度图像。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010994798.1A CN112132138A (zh) | 2020-09-21 | 2020-09-21 | 一种基于2d-激光雷达的物料自动识别与定位方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010994798.1A CN112132138A (zh) | 2020-09-21 | 2020-09-21 | 一种基于2d-激光雷达的物料自动识别与定位方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112132138A true CN112132138A (zh) | 2020-12-25 |
Family
ID=73841467
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010994798.1A Pending CN112132138A (zh) | 2020-09-21 | 2020-09-21 | 一种基于2d-激光雷达的物料自动识别与定位方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112132138A (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113470176A (zh) * | 2021-07-02 | 2021-10-01 | 中铁二院工程集团有限责任公司 | 数字地形图中自动注记建筑物层数的方法 |
CN114415661A (zh) * | 2021-12-15 | 2022-04-29 | 中国农业大学 | 基于压缩三维空间点云的平面激光slam与导航方法 |
CN114463165A (zh) * | 2021-09-28 | 2022-05-10 | 西安大医集团股份有限公司 | 感兴趣体积voi确定方法及装置 |
CN115471832A (zh) * | 2022-07-29 | 2022-12-13 | 武汉大学 | 基于三维点云数据的输电线路杆塔塔型识别方法及设备 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104598879A (zh) * | 2015-01-07 | 2015-05-06 | 东南大学 | 基于半刚性区域面部轮廓线的三维人脸识别方法 |
CN110111414A (zh) * | 2019-04-10 | 2019-08-09 | 北京建筑大学 | 一种基于三维激光点云的正射影像生成方法 |
CN111210846A (zh) * | 2020-01-07 | 2020-05-29 | 重庆大学 | 基于集成流形降维的帕金森语音识别系统 |
CN111368605A (zh) * | 2018-12-26 | 2020-07-03 | 易图通科技(北京)有限公司 | 车道线提取方法及装置 |
-
2020
- 2020-09-21 CN CN202010994798.1A patent/CN112132138A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104598879A (zh) * | 2015-01-07 | 2015-05-06 | 东南大学 | 基于半刚性区域面部轮廓线的三维人脸识别方法 |
CN111368605A (zh) * | 2018-12-26 | 2020-07-03 | 易图通科技(北京)有限公司 | 车道线提取方法及装置 |
CN110111414A (zh) * | 2019-04-10 | 2019-08-09 | 北京建筑大学 | 一种基于三维激光点云的正射影像生成方法 |
CN111210846A (zh) * | 2020-01-07 | 2020-05-29 | 重庆大学 | 基于集成流形降维的帕金森语音识别系统 |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113470176A (zh) * | 2021-07-02 | 2021-10-01 | 中铁二院工程集团有限责任公司 | 数字地形图中自动注记建筑物层数的方法 |
CN113470176B (zh) * | 2021-07-02 | 2023-06-13 | 中铁二院工程集团有限责任公司 | 数字地形图中自动注记建筑物层数的方法 |
CN114463165A (zh) * | 2021-09-28 | 2022-05-10 | 西安大医集团股份有限公司 | 感兴趣体积voi确定方法及装置 |
CN114415661A (zh) * | 2021-12-15 | 2022-04-29 | 中国农业大学 | 基于压缩三维空间点云的平面激光slam与导航方法 |
CN114415661B (zh) * | 2021-12-15 | 2023-09-22 | 中国农业大学 | 基于压缩三维空间点云的平面激光slam与导航方法 |
CN115471832A (zh) * | 2022-07-29 | 2022-12-13 | 武汉大学 | 基于三维点云数据的输电线路杆塔塔型识别方法及设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Huang et al. | Point cloud labeling using 3d convolutional neural network | |
CN112132138A (zh) | 一种基于2d-激光雷达的物料自动识别与定位方法 | |
Ainetter et al. | End-to-end trainable deep neural network for robotic grasp detection and semantic segmentation from rgb | |
CN111679291B (zh) | 基于三维激光雷达的巡检机器人目标定位配置方法 | |
CN109410321A (zh) | 基于卷积神经网络的三维重建方法 | |
US20230206603A1 (en) | High-precision point cloud completion method based on deep learning and device thereof | |
CN109829476B (zh) | 基于yolo的端到端三维物体检测方法 | |
CN114092697B (zh) | 注意力融合全局和局部深度特征的建筑立面语义分割方法 | |
CN110569926B (zh) | 一种基于局部边缘特征增强的点云分类方法 | |
Qian et al. | Classification of rice seed variety using point cloud data combined with deep learning | |
CN116682106A (zh) | 一种基于深度学习的柑橘木虱智能检测方法及装置 | |
CN110866548A (zh) | 输电线路绝缘子红外智能匹配识别与测距定位方法及系统 | |
CN114187506A (zh) | 视点意识的动态路由胶囊网络的遥感图像场景分类方法 | |
Wu et al. | Evolutionary multitasking with solution space cutting for point cloud registration | |
Treboux et al. | Towards retraining of machine learning algorithms: an efficiency analysis applied to smart agriculture | |
Heng et al. | Anti-vibration hammer detection in UAV image | |
Ismail et al. | Enhance PV Panel Detection Using Drone Equipped With RTK | |
CN114724002A (zh) | 一种快速检测违禁品的方法 | |
Wang et al. | Conditional TransGAN-Based Data Augmentation for PCB Electronic Component Inspection | |
CN114170449A (zh) | 一种基于深度学习的人工智能图像识别装置 | |
Koelle et al. | Which 3D Data representation does the crowd like best? Crowd-based active learning for coupled semantic segmentation of point clouds and textured meshes | |
Dierenbach et al. | Next-Best-View method based on consecutive evaluation of topological relations | |
Hu et al. | Two-stage insulator self-explosion defect detection method based on Mask R-CNN | |
Zhang et al. | Bicanet: Lidar point cloud classification network based on coordinate attention and blueprint separation involution neural network | |
CN112328821A (zh) | 一种基于树型空间的三维树木模型匹配方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20201225 |