CN114089377A - 一种基于激光雷达的点云处理和物体识别系统及方法 - Google Patents
一种基于激光雷达的点云处理和物体识别系统及方法 Download PDFInfo
- Publication number
- CN114089377A CN114089377A CN202111225021.XA CN202111225021A CN114089377A CN 114089377 A CN114089377 A CN 114089377A CN 202111225021 A CN202111225021 A CN 202111225021A CN 114089377 A CN114089377 A CN 114089377A
- Authority
- CN
- China
- Prior art keywords
- obstacle
- point cloud
- point
- clustering
- points
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 31
- 230000008569 process Effects 0.000 claims abstract description 10
- 239000011159 matrix material Substances 0.000 claims description 17
- 230000008859 change Effects 0.000 claims description 16
- 230000003068 static effect Effects 0.000 claims description 14
- 230000004888 barrier function Effects 0.000 claims description 13
- 238000001914 filtration Methods 0.000 claims description 9
- 230000007246 mechanism Effects 0.000 claims description 7
- 238000000513 principal component analysis Methods 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000005516 engineering process Methods 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 6
- 230000011218 segmentation Effects 0.000 claims description 5
- 230000008030 elimination Effects 0.000 claims description 4
- 238000003379 elimination reaction Methods 0.000 claims description 4
- 238000004891 communication Methods 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 3
- 238000012847 principal component analysis method Methods 0.000 claims description 3
- 238000012163 sequencing technique Methods 0.000 claims description 3
- 230000005540 biological transmission Effects 0.000 claims description 2
- 230000003247 decreasing effect Effects 0.000 claims description 2
- 230000005484 gravity Effects 0.000 claims description 2
- 239000007787 solid Substances 0.000 claims 1
- 230000009471 action Effects 0.000 abstract description 5
- 230000007613 environmental effect Effects 0.000 abstract description 2
- 238000011897 real-time detection Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
- G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/50—Systems of measurement based on relative movement of target
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Electromagnetism (AREA)
- Computer Networks & Wireless Communication (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Traffic Control Systems (AREA)
- Optical Radar Systems And Details Thereof (AREA)
Abstract
本发明公开了一种基于激光雷达的点云处理和物体识别系统及方法。首先,系统接受导航信号,确定农业机械的位置坐标,激光雷达开始扫描环境信息,体素化网格降采样模块对点云进行降采样,减少点云中点的数量,点云分类模块对降采样后的点云,进行分类,点云聚类模块使用欧式聚类方法,对分类后的点云,聚类,得出障碍物的点云集,OBB最小立体框估计模块对障碍物的点云集,求解障碍物的几何特征,最后状态估计模块对障碍物进行状态估计。本方法实现了农业机械在工作过程中遇到障碍物时的紧急规避或者停车动作。
Description
技术邻域
本发明涉及到一种无人驾驶农业机械的障碍物点云处理和识别方法,属于智能化农业装备领域。
背景技术
农业机械的无人驾驶一直是农业机械领域的研究热点之一。由于农业机械作业区域存在一些树木、电线杆、其它作业机械和工作人员等障碍物,农业机械无法在作业区域内实现完全无人驾驶,而只能在无障碍物的作业区域内,小规模的自主作业。在遇到前方有其它作业机械和工作人员时,无法识别前方物体,做出停止作业或规避障碍物的动作,对工作人员具有一定的危险性。因此,必须要研发新的技术对农业机械的周围环境做出检测,规避障碍物。
在现有的技术中,申请人尚未发现利用激光雷达在农业机械上对障碍物进行检测与识别,对遇到障碍物时做出应急动作或者停车等待的实时检测技术。
发明内容
本发明的目的在于提供一套在农业机械上利用激光雷达检测车身周围环境的时时检测方法,以实现农业机械在工作过程中遇到障碍物时的紧急规避或者停车动作。
为了解决以上技术问题,本发明采用的具体技术方案如下:
一种基于激光雷达的点云处理和物体识别系统,该系统包括:
依次连接的导航数据处理与接受模块、体素网格降采样模块、点云分类模块、点云聚类模块、OBB最小立体框估计模块和状态估计模块;
导航数据处理与接收模块,该模块采用北斗-RTK定位接收设备,设备包括接收机、卫星天线和数传电台,用于定位农业机械在自定义坐标系的时时位置;
体素化栅格降采样模块,用于在保持点云形状特征的同时,减少点的数量,使用三维体素栅格,然后在体素内,用体素内所有点的重心坐标来近似代替体素内的其它的点的坐标;
点云分类模块需要将降采样后的点云数据进行归类划分,剔除地面点云,采用平面拟合方法,对离车身不同距离的部分,建立不同的平面模型,按照距离平面的距离的不同阈值,剔除地面点云,高空点云只需要采用直通滤波的方法,按照激光雷达坐标系的z轴,进行剔除高空点云,留下有用点云;
点云聚类模块,需要对有用点云按照欧式距离,进行欧式聚类,按照不同的聚类半径,最少聚类点数和最大聚类点数,对点云类进行欧式聚类,将少于最少聚类点数的点云类,进行剔除,得出属于不同物体的点云类;
OBB最小立体框估计模块是采用PCA主成分分析方法,在有用障碍物点云聚类集合中计算点云类的协方差矩阵,协方差矩阵的特征值和特征向量,由特征向量组成的坐标系为OBB包围盒的坐标系,在OBB的包围盒坐标系下,计算点云类的长length、宽width、高height;
状态估计模块是根据障碍物聚类完成后的质心坐标、障碍物包含点的数量、障碍物的体积和障碍物的速度来判断障碍物是为何类障碍物以及动态和静态的判别。
进一步,所述的导航数据处理与接收模块采用北斗星通导航技术有限公司的北斗-RTK定位接收设备,能够时时定位农业机械在自定义坐标系的位置;
在激光雷达开始扫描之前,导航接收模块将建立作业区域的自定义坐标系,对外输出的坐标位置是相对于自定义坐标系的坐标。
进一步,所述的体素化栅格降采样模块中还包括剔除噪点的功能;
对输入的点云进行体素化栅格降采样,设置栅格的尺寸,用体素化栅格内所有点的重心点代替体素化栅格内的点,可以在一定程度上去除噪声点。
进一步,所述的点云分类模块中包含了对含有一定坡度的地面点云过滤和剔除高空点云功能;
对体素化栅格降采样后的点云,按照距离农业机械的距离,分成四个不同的同心圆环,分别对四个同心圆环进行平面拟合地面点云剔除,对地面点云剔除后的点云类中,将点云类中Z轴的高度大于8m的高空点云划分到无效点云类中,减少工控机的计算量。
进一步,所述的点云聚类模块能能够聚类出车身周围的障碍物信息:
根据雷达扫描物体特性,距离激光雷达距离越近,点的密集度越大,距离激光雷达的距离越远,点的密集度越小,假如将距离车身[0,2m]的点归类到A类, [2m,10m]的点归类到B类,[10m,20m]的点归类到C类,[20m,30m]的点归类到D类;在对B类、C类以及D类点云设置聚类半径和聚类的最少点数的时候,要满足聚类半径递增和最少聚类点数递减的趋势,这样可以剔除车身周围环境中噪点聚类,也不会因为远处和近处的障碍物参数一致,导致障碍物过分割或者障碍物被忽略。
进一步,所述的OBB最小立体框估计模块,能够提取障碍物点云集的长length、宽width、高height和障碍物点集中点的数量特征信息:
对欧式聚类后的障碍物点云类,进行PCA主成分分析,得到障碍物的点云类的三个主方向,获取障碍物点云的质心坐标,协方差矩阵,并求取协方差矩阵的特征值和特征向量,得到协方差矩阵的特征向量后,对特征向量进行单位正交标准化,得到单位正交矩阵;根据障碍物点云的质心坐标和单位正交矩阵,转换障碍物点云的坐标系,在此坐标系下,计算障碍物点云类中的最大和最小坐标, 根据坐标计算出矩形框的长length、宽width、高height,在激光雷达坐标系下,用点云的质心坐标和矩形框的长、宽、高代表障碍物点云的大致轮廓。
进一步,所述的状态估计模块能够对障碍物的状态进行动静状态判断和作业区域的位置定位的功能:
由欧式聚类得到的障碍物点云,每个障碍物点云类中所包含的点的数量Np,质心坐标(xc,yc,zc),障碍物点云的长length、宽width、高height,在ROS中,采用发布/订阅者的通信机制,由发布者通过发布”Result_clustering″的话题,发布欧式聚类和特征提取部分的结果,用一个节点去订阅”Result_Clustering”的话题,在订阅者这个节点中,计算前后两次接收到障碍物点云中计算点数的变化率体积的变化率来判断是否为同一障碍物。
V=Length*Width*Height
式中,Np:单个障碍物中点的变化率;V:障碍物体积;障碍物体积变 化率;Npt2:pt2时刻障碍物中包含的点数;Npt1:pt1时刻障碍物内包含的点 数;NPmax:Npt1和Npt2的最大值;vpt2:pt2时刻障碍物的体积;Vpt1:pt1时刻 障碍物的体积;Vmax:Vpt1和Vpt2的最大值;
在农业机械处于静止状态时,上述过程可以对工作区域内障碍物类别进行判断,农业机械所处环境中,障碍物有人、树、电线杆、其它作业机械,这些障碍物点云类中包含的点数和障碍物点云类的最小立体框的体积有明显区别,利用这一特征,便可以区分障碍物的类别;在处理完上述流程后,需要计算前后两次障碍物的质心距离变化在时间周期T1=2s内,如果质心距离变化则表明该障碍物为动态,否则便认为为静止状态;
在农业机械处于工作状态时,通过一个节点去订阅导航信息,得到农业机械在作业区域坐标系下的时时坐标Po(x,y,z),农业机械前进速度Vt(m/s),在农业机械的平面坐标系下,先对农业机械的正前方区域的障碍物按照从 [-π/4,π/4]的角度范围内的障碍物进行提取,然后按照距离从近到远给障碍物排序,得到最近的障碍物信息;假设农业机械处于Pi点位置时,i为作业路径编号,当i=1时农业机械是在不断远离作业区域坐标系的原点,在农业机械的坐标系内,计算障碍物质心相对于雷达坐标系的距离doo,再转换到农业机械作业区域坐标系内,在时间周期T1内,计算障碍物的速度Vo;根据Vo和doo,来决定避障思路,如果农业机械处于P2位置处,处理思路和农业机械在P1位置相似;
进一步,所述体素网格降采样模块、点云分类模块、点云聚类模块、OBB 最小立体框估计模块和状态估计模块为工控机内搭建的模块,是在ROS机器人操作系统下,采用发布者和订阅者的机制,对导航信息和激光雷达信息进行处理。
一种基于激光雷达的点云处理和物体识别方法,包括以下步骤:
步骤1、利用导航数据处理与接收模块读取作业区域的四个顶点坐标,并建立作业区域的局部坐标系;
步骤2、将接收到激光雷达的点云数据,通过体素化栅格降采样模块做体素化栅格降采样,降低点云的密度,减少点云中点的数量;
步骤3、对体素化栅格降采样后的点云按照距离车身的距离2m、10m、20m、30m做出点云分割,通过点云分类模块将距离车身[0,2]的点归类到A类,[2,10] 的点归类到B类,[10,20]的点归类到C类,[20,30]的点归类到D类;
步骤4、A类点云直接剔除,对B类、C类和D类点云,进行平面拟合,剔除地面点云;
步骤5、对B类、C类和D类点云,按照激光雷达坐标系的z轴,进行高空点云过滤,若z>zth,zth为最大高度,则将点归类到高空点云,其余归类到有用点云中;
步骤6、利用点云聚类模块分别对B类、C类和D类点云,进行欧式聚类,得到障碍物的聚类点集;
步骤7、对聚类得到的障碍物点集中,按照距离车身距离,聚类障碍物点集中点的个数少于40的点的障碍物点集,直接抛弃;
步骤8、对聚类后得到的障碍物点云集,按照农业机械坐标系的[-π/4,π/4] 的角度范围内,障碍物的质心到农业机械坐标系原点的距离小于20m的障碍物点云类提取为有用障碍物点云类;
步骤9、利用OBB最小立体框估计模块对得到的有用障碍物点云集,进行 OBB最小立体框估计,得到障碍物点云类的长度length、宽度width和高度height 以及计算障碍物点云类的质心坐标;
步骤10、状态估计模块对得到的有用障碍物点云集,按照距离农业机械坐标系原点的距离由小到大排序,得到最近的障碍物的点云集;
步骤11、对得到的最近的障碍物点云类,按照农业机械处于静止状态和工作状态两种状况进行处理,对有障碍物时,采取避障措施。
有益效果:本发明通过比较点云类的质心坐标,类中点的数量和一定时间内的质心坐标变化,判断出是动态障碍物和静态障碍物;本发明实现了利用激光雷达在农业机械上对障碍物进行检测与识别,对遇到障碍物时做出应急动作或者停车等待的实时检测技术。
本发明首先通过导航模块解析出农业机械在自定义坐标系的位置,再利用激光雷达扫描出周围环境信息,提取障碍物的点云数据,再计算出障碍物的几何特征如质心坐标、障碍物的长、宽、高和障碍物包含点的数量。障碍物的速度则根据一定时间内的障碍物的质心坐标的变化来解算,继而判断出障碍物的运动状态。在此基础上,利用障碍物的几何特征对障碍物的类型进行判断,再根据障碍物的运动状态,决定避障措施,针对静态障碍物采取绕行措施,对动态障碍物选择停车等待。
附图说明
下面将结合附图及实施例对本发明做进一步说明,附图中:
图1是本发明实施例的系统框图
图2是农业机械坐标系的示意图
图3是农业机械工作状态示意图
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。
如图1所示,该系统包含导航数据处理模块、激光扫描模块、体素化栅格降采样模块、点云分类模块、点云聚类模块、OBB最小立体框估计模块和状态估计模块
导航数据处理与接收模块,用于定位农业机械在自定义坐标系的时时位置。
体素化栅格降采样模块,用于在保持点云的形状特征的同时,减少点的数量。为降低工控机的计算负担,需要使用三维体素栅格,然后在体素内,用体素内所有点的重心坐标来近似代替体素内的其它的点坐标。
点云分类模块需要将降采样后的点云数据进行归类划分,由于激光雷达是安装在车辆上的,离地有一定的高度,而在物体的识别过程中,只需要识别出车体周围的障碍物,所以需要将地面点云和高空点云给剔除掉。对体素化栅格处理后的点云,按照距离车身2m、10m、20m和30m,划分为四部分点云,将距离车身的距离小于2m的点云划分为A类,将距离车身2m到10m内的点云为B类,将距离车身10m到20m的点云划分为C类,将距离车身20到30m的点云划分为D类,A类点云由于离车身太近,不需要考虑。按照Z轴的高度在每一类中,对障碍物点云类中的数据按照由小到大进行排序,在每一类中选取其中最小的 40个初始种子点(xi,yi,zi)。假设在B类点云中,先计算40个种子点的平均值(xq,yq,zq)再计算种子点的协方差矩阵E的奇异值λi和奇异向量αi,找出最小奇异值λ(min)对应的奇异向量α,该特征向量为地面点云的法向量。
设α=(A,B,C)为B类点云的地面点云的法向量,则设地面点云方程为
A*x+B*y+C*z=d,对B类点云中的点计算点到平面的距离d1,地面点云距离阈值为dth,将d1<dth的化为地面点云,按照上述流程迭代2次,提高地面点云划分的精确性。对地面点云剔除后的点云类中,将点云类中Z轴的高度大于8m的高空点云划分到无用点云类中,减少工控机的计算量。
点云聚类模块,需要对有用点云按照欧式距离,进行欧式聚类。由于激光雷达扫描出来的点是按照距离雷达距离由近到远,变的由密变疏,所以,需要将有用点云按照距离车身的距离,再次划分点云,将有用点云分成4个同心圆环的点云类。按照不同的聚类半径,最少聚类点数和最大聚类点数,对点云类进行欧式聚类,将少于最少聚类点数的点云类,进行剔除,得出属于不同物体的点云类。
对聚类得到的障碍物点云类先按照在农业机械坐标系[-π/4,π/4]的角度范围内,将障碍物点云类分割出来,再把障碍物的质心到原点距离小于20m的障碍物点云类,归类到有用障碍物点云聚类集。在有用障碍物点云聚类集合中,对聚类得出的不同的物体的点云类,计算出点云类包含的点数和质心坐标。
OBB最小立体框估计模块是采用PCA主成分分析方法,在有用障碍物点云聚类集合中计算点云类的协方差矩阵,协方差矩阵的特征值和特征向量。由特征向量组成的坐标系为OBB包围盒的坐标系,在OBB的包围盒坐标系下,计算点云类的长(length)、宽(width)、高(height)。
状态估计模块是根据障碍物聚类完成后的质心坐标、障碍物包含点的数量和障碍物的速度,来判断障碍物是为何类障碍物以及动态和静态的判别。
由欧式聚类得到的障碍物点云,每个障碍物点云类中所包含的点的数量Np,质心坐标(xc,yc,zc),障碍物点云的长度(Length)、宽度(Width)、高度(Height)。在ROS中,采用发布/订阅者的通信机制,由发布者通过发布”Result_clustering″的话题,发布欧式聚类和特征提取部分的结果,用一个节点去订阅”Result_Clustering”的话题,在订阅者这个节点中,计算前后两次接收到障碍物点云中计算点数的变化率体积的变化率来判断是否为同一障碍物。
V=Length*Width*Height
在农业机械处于静止状态时,上述过程可以对工作区域内障碍物类别进行判断,农业机械所处环境中,障碍物有人、树、电线杆、其它作业机械等,这些障碍物点云类中包含的点数和障碍物点云类的最小立体框的体积有明显区别,利用这一特征,便可以区分障碍物的类别。在处理完上述流程后,需要计算前后两次障碍物的质心距离变化在时间周期T1=2s内,如果质心距离变化则表明该障碍物为动态,否则便认为为静止状态。
在农业机械处于工作状态时,通过一个节点去订阅导航信息,得到农业机械在作业区域坐标系下的时时坐标Pos(x,y,z),前进速度Vt(m/s)。在农业机械的坐标系如图1所示,先对农业机械的正前方区域的障碍物按照从[-π/4,π/4]的角度范围内的障碍物进行提取,然后按照距离从近到远给障碍物排序,得到最近的障碍物信息。作业区域如图3所示,假设农业机械处于Pi点位置时,i为作业路径编号,当i=1时农业机械是在不断远离作业区域坐标系的原点。在农业机械的坐标系内,计算障碍物质心相对于雷达坐标系的距离doo,再转换到作业区域坐标系内,在时间周期T1内,计算障碍物的速度Vo。根据Vo和doo,来决定避障思路,如果农业机械处于P2位置处,处理思路和农业机械在P1位置相似。
本发明提供一种基于激光雷达的点云处理和物体识别方法,包括以下步骤:
步骤1、利用导航读取作业区域的四个顶点坐标,并建立作业区域的局部坐标系;
步骤2、将接收到激光雷达的点云数据,做体素化栅格降采样,降低点云的密度,减少点云中点的数量;
步骤3、对体素化栅格降采样后的点云按照距离车身的距离2m、10m、20m、 30m做出点云分割,将距离车身[0,2]的点归类到A类,[2,10]的点归类到B类, [10,20]的点归类到C类,[20,30]的点归类到D类;
步骤4、A类点云直接剔除,对B类、C类和D类点云,进行平面拟合,剔除地面点云;
步骤5、对B类、C类和D类点云,按照激光雷达坐标系的z轴,进行高空点云过滤,若z>zth,则将点归类到高空点云,其余归类到有用点云类中;
步骤6、分别对B类、C类和D类点云,进行欧式聚类,得到障碍物的聚类点集;
步骤7、对聚类得到的障碍物点集,聚类障碍物点集中点的数量少于40的点的障碍物点集,直接抛弃;
步骤8、对聚类后得到的障碍物点云集,按照农业机械坐标系的[-π/4,π/4] 的角度范围内,障碍物的质心到农业机械坐标系原点的距离小于20m的障碍物点云类提取为有用障碍物点云类。
步骤9、对得到的有用障碍物点云集,进行OBB最小立体框估计,得到障碍物点云类的长度(length)、宽度(width)和高度(height)以及计算障碍物点云类的质心坐标;
步骤10、对得到的有用障碍物点云集,按照距离农业机械坐标系原点的距离由小到大排序,得到最近的障碍物的点云集。
步骤11、对得到的最近的障碍物点云类,按照农业机械处于静止状态和工作状态两种状况进行处理,对有障碍物时,采取避障措施。
首先,系统接受导航信号,确定农业机械的位置坐标,激光雷达开始扫描环境信息,体素化网格降采样模块对点云进行降采样,减少点云中点的数量,点云分类模块对降采样后的点云,进行分类,点云聚类模块使用欧式聚类方法,对分类后的点云,聚类,得出障碍物的点云集,OBB最小立体框估计模块对障碍物的点云集,求解障碍物的几何特征,最后状态估计模块对障碍物进行状态估计。
综上,本发明的一种基于激光雷达的点云处理和物体识别方法。首先利用激光雷达扫描车身周围环境信息,得到车身周围环境的点云数据,对得到的点云数据先进行体素化栅格降采样,在保持点云形状的同时,降低点云的密度,然后对点云进行地面点云分割和高空点云分割,得到3组类别的点云数据,将其分为有用点云数据和无效点云数据两大类,地面点云数据和高空点云数据归类到无效点云数据中,非地面和非高空点云数据归类到有用点云数据中。之后,对有用点云数据经行欧式聚类,提取出障碍物的点云类别,对每个类别进行OBB最小立体框估计,得出每个类别的质心,长度、宽度、高度和这个类中点的数量。通过比较点云类的质心坐标,类中点的数量和一定时间内的质心坐标变化,判断出是动态障碍物和静态障碍物。
Claims (9)
1.一种基于激光雷达的点云处理和物体识别系统,其特征在于,该系统包括:
依次连接的导航数据处理与接受模块、体素网格降采样模块、点云分类模块、点云聚类模块、OBB最小立体框估计模块和状态估计模块;
导航数据处理与接收模块,该模块采用北斗-RTK定位接收设备,设备包括接收机、卫星天线和数传电台,用于定位农业机械在自定义坐标系的时时位置;
体素化栅格降采样模块,用于在保持点云形状特征的同时,减少点的数量,使用三维体素栅格,然后在体素内,用体素内所有点的重心坐标来近似代替体素内的其它的点的坐标;
点云分类模块需要将降采样后的点云数据进行归类划分,剔除地面点云,采用平面拟合方法,对离车身不同距离的部分,建立不同的平面模型,按照距离平面的距离的不同阈值,剔除地面点云,高空点云只需要采用直通滤波的方法,按照激光雷达坐标系的z轴,进行剔除高空点云,留下有用点云;
点云聚类模块,需要对有用点云按照欧式距离,进行欧式聚类,按照不同的聚类半径,最少聚类点数和最大聚类点数,对点云类进行欧式聚类,将少于最少聚类点数的点云类,进行剔除,得出属于不同物体的点云类;
OBB最小立体框估计模块是采用PCA主成分分析方法,在有用障碍物点云聚类集合中计算点云类的协方差矩阵,协方差矩阵的特征值和特征向量,由特征向量组成的坐标系为OBB包围盒的坐标系,在OBB的包围盒坐标系下,计算点云类的长length、宽width、高height;
状态估计模块是根据障碍物聚类完成后的质心坐标、障碍物包含点的数量、障碍物的体积和障碍物的速度来判断障碍物是为何类障碍物以及动态和静态的判别。
2.根据权利要求1所述的激光雷达的点云处理和物体识别系统,其特征在于,所述的导航数据处理与接收模块采用北斗星通导航技术有限公司的北斗-RTK定位接收设备,能够时时定位农业机械在自定义坐标系的位置;
在激光雷达开始扫描之前,导航接收模块将建立作业区域的自定义坐标系,对外输出的坐标位置是相对于自定义坐标系的坐标。
3.根据权利要求1所述的激光雷达的点云处理和物体识别系统,其特征在于,所述的体素化栅格降采样模块中还包括剔除噪点的功能;
对输入的点云进行体素化栅格降采样,设置栅格的尺寸,用体素化栅格内所有点的重心点代替体素化栅格内的点,可以在一定程度上去除噪声点。
4.根据权利要求1所述的激光雷达的点云处理和物体识别系统,其特征在于,所述的点云分类模块中包含了对含有一定坡度的地面点云过滤和剔除高空点云功能;
对体素化栅格降采样后的点云,按照距离农业机械的距离,分成四个不同的同心圆环,分别对四个同心圆环进行平面拟合地面点云剔除,对地面点云剔除后的点云类中,将点云类中Z轴的高度大于8m的高空点云划分到无效点云类中,减少工控机的计算量。
5.根据权利要求1所述的激光雷达的点云处理和物体识别系统,其特征在于,所述的点云聚类模块能能够聚类出车身周围的障碍物信息:
根据雷达扫描物体特性,距离激光雷达距离越近,点的密集度越大,距离激光雷达的距离越远,点的密集度越小,假如将距离车身[0,2m]的点归类到A类,[2m,10m]的点归类到B类,[10m,20m]的点归类到C类,[20m,30m]的点归类到D类;在对B类、C类以及D类点云设置聚类半径和聚类的最少点数的时候,要满足聚类半径递增和最少聚类点数递减的趋势,这样可以剔除车身周围环境中噪点聚类,也不会因为远处和近处的障碍物参数一致,导致障碍物过分割或者障碍物被忽略。
6.根据权利要求1所述的激光雷达的点云处理和物体识别系统,其特征在于,所述的OBB最小立体框估计模块,能够提取障碍物点云集的长length、宽width、高height和障碍物点集中点的数量特征信息:
对欧式聚类后的障碍物点云类,进行PCA主成分分析,得到障碍物的点云类的三个主方向,获取障碍物点云的质心坐标,协方差矩阵,并求取协方差矩阵的特征值和特征向量,得到协方差矩阵的特征向量后,对特征向量进行单位正交标准化,得到单位正交矩阵;根据障碍物点云的质心坐标和单位正交矩阵,转换障碍物点云的坐标系,在此坐标系下,计算障碍物点云类中的最大和最小坐标,根据坐标计算出矩形框的长length、宽width、高height,在激光雷达坐标系下,用点云的质心坐标和矩形框的长、宽、高代表障碍物点云的大致轮廓。
7.根据权利要求1所述的激光雷达的点云处理和物体识别系统,其特征在于,所述的状态估计模块能够对障碍物的状态进行动静状态判断和作业区域的位置定位的功能:
由欧式聚类得到的障碍物点云,每个障碍物点云类中所包含的点的数量Np,质心坐标(xc,yc,zc),障碍物点云的长length、宽width、高height,在ROS中,采用发布/订阅者的通信机制,由发布者通过发布”Result_clustering"的话题,发布欧式聚类和特征提取部分的结果,用一个节点去订阅”Result_Clustering”的话题,在订阅者这个节点中,计算前后两次接收到障碍物点云中计算点数的变化率体积的变化率来判断是否为同一障碍物。
V=Length*Width*Height
式中,Np:单个障碍物中点的变化率;V:障碍物体积;障碍物体积变化率;Npt2:pt2时刻障碍物中包含的点数;Npt1:pt1时刻障碍物内包含的点数;NPmax:Npt1和Npt2的最大值;Vpt2:pt2时刻障碍物的体积;Vpt1:pt1时刻障碍物的体积;Vmax:Vpt1和Vpt2的最大值;
在农业机械处于静止状态时,上述过程可以对工作区域内障碍物类别进行判断,农业机械所处环境中,障碍物有人、树、电线杆、其它作业机械,这些障碍物点云类中包含的点数和障碍物点云类的最小立体框的体积有明显区别,利用这一特征,便可以区分障碍物的类别;在处理完上述流程后,需要计算前后两次障碍物的质心距离变化在时间周期T1=2s内,如果质心距离变化则表明该障碍物为动态,否则便认为为静止状态;
在农业机械处于工作状态时,通过一个节点去订阅导航信息,得到农业机械在作业区域坐标系下的时时坐标Pos(x,y,z),农业机械前进速度Vt(m/s),在农业机械的平面坐标系下,先对农业机械的正前方区域的障碍物按照从[-π/4,π/4]的角度范围内的障碍物进行提取,然后按照距离从近到远给障碍物排序,得到最近的障碍物信息;假设农业机械处于Pi点位置时,i为作业路径编号,当i=1时农业机械是在不断远离作业区域坐标系的原点,在农业机械的坐标系内,计算障碍物质心相对于雷达坐标系的距离doo,再转换到农业机械作业区域坐标系内,在时间周期T1内,计算障碍物的速度Vo;根据Vo和doo,来决定避障思路,如果农业机械处于P2位置处,处理思路和农业机械在P1位置相似;
8.根据权利要求1所述的激光雷达的点云处理和物体识别系统,其特征在于,所述体素网格降采样模块、点云分类模块、点云聚类模块、OBB最小立体框估计模块和状态估计模块为工控机内搭建的模块,是在ROS机器人操作系统下,采用发布者和订阅者的机制,对导航信息和激光雷达信息进行处理。
9.一种基于激光雷达的点云处理和物体识别方法,其特征在于,包括以下步骤:
步骤1、利用导航数据处理与接收模块读取作业区域的四个顶点坐标,并建立作业区域的局部坐标系;
步骤2、将接收到激光雷达的点云数据,通过体素化栅格降采样模块做体素化栅格降采样,降低点云的密度,减少点云中点的数量;
步骤3、对体素化栅格降采样后的点云按照距离车身的距离2m、10m、20m、30m做出点云分割,通过点云分类模块将距离车身[0,2]的点归类到A类,[2,10]的点归类到B类,[10,20]的点归类到C类,[20,30]的点归类到D类;
步骤4、A类点云直接剔除,对B类、C类和D类点云,进行平面拟合,剔除地面点云;
步骤5、对B类、C类和D类点云,按照激光雷达坐标系的z轴,进行高空点云过滤,若z>zth,zth为最大高度,则将点归类到高空点云,其余归类到有用点云中;
步骤6、利用点云聚类模块分别对B类、C类和D类点云,进行欧式聚类,得到障碍物的聚类点集;
步骤7、对聚类得到的障碍物点集中,按照距离车身距离,聚类障碍物点集中点的个数少于40的点的障碍物点集,直接抛弃;
步骤8、对聚类后得到的障碍物点云集,按照农业机械坐标系的[-π/4,π/4]的角度范围内,障碍物的质心到农业机械坐标系原点的距离小于20m的障碍物点云类提取为有用障碍物点云类;
步骤9、利用OBB最小立体框估计模块对得到的有用障碍物点云集,进行OBB最小立体框估计,得到障碍物点云类的长度length、宽度width和高度height以及计算障碍物点云类的质心坐标;
步骤10、状态估计模块对得到的有用障碍物点云集,按照距离农业机械坐标系原点的距离由小到大排序,得到最近的障碍物的点云集;
步骤11、对得到的最近的障碍物点云类,按照农业机械处于静止状态和工作状态两种状况进行处理,对有障碍物时,采取避障措施。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111225021.XA CN114089377A (zh) | 2021-10-21 | 2021-10-21 | 一种基于激光雷达的点云处理和物体识别系统及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111225021.XA CN114089377A (zh) | 2021-10-21 | 2021-10-21 | 一种基于激光雷达的点云处理和物体识别系统及方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114089377A true CN114089377A (zh) | 2022-02-25 |
Family
ID=80297303
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111225021.XA Pending CN114089377A (zh) | 2021-10-21 | 2021-10-21 | 一种基于激光雷达的点云处理和物体识别系统及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114089377A (zh) |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114384492A (zh) * | 2022-03-24 | 2022-04-22 | 北京一径科技有限公司 | 用于激光雷达的点云处理方法及装置、存储介质 |
CN114638934A (zh) * | 2022-03-07 | 2022-06-17 | 南京航空航天大学 | 一种3D激光slam建图中动态障碍物的后处理方法 |
CN114654471A (zh) * | 2022-04-29 | 2022-06-24 | 中国煤炭科工集团太原研究院有限公司 | 基于激光扫描仪的锚护机械臂避障系统和方法 |
CN114966673A (zh) * | 2022-05-31 | 2022-08-30 | 上海海拉电子有限公司 | 一种基于雷达的拖车检测方法及系统、一种车辆 |
CN115063677A (zh) * | 2022-06-10 | 2022-09-16 | 安徽农业大学 | 一种基于点云信息的麦田倒伏程度识别方法和装置 |
CN115598614A (zh) * | 2022-11-28 | 2023-01-13 | 南京隼眼电子科技有限公司(Cn) | 三维点云目标检测方法、装置及存储介质 |
CN115861426A (zh) * | 2023-01-13 | 2023-03-28 | 江苏金恒信息科技股份有限公司 | 物料取样方法、装置、计算机设备和存储介质 |
CN116148809A (zh) * | 2023-04-04 | 2023-05-23 | 中储粮成都储藏研究院有限公司 | 基于激光雷达扫描定位的粮车扦样点自动生成方法及系统 |
CN116482711A (zh) * | 2023-06-21 | 2023-07-25 | 之江实验室 | 一种用于着陆区自主选择的局部静态环境感知方法及装置 |
CN116520289A (zh) * | 2023-07-04 | 2023-08-01 | 东莞市新通电子设备有限公司 | 五金件加工过程智能控制方法及相关装置 |
CN117235545A (zh) * | 2023-11-14 | 2023-12-15 | 亿海蓝(北京)数据技术股份公司 | 判断空间对象分布相似性的方法、装置和可读存储介质 |
CN117315183A (zh) * | 2023-11-30 | 2023-12-29 | 四川鼎鸿智电装备科技有限公司 | 一种基于激光雷达构建三维地图和作业分析的方法 |
CN117975407A (zh) * | 2024-01-09 | 2024-05-03 | 湖北鄂东长江公路大桥有限公司 | 一种道路抛洒物检测方法 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106371104A (zh) * | 2016-08-16 | 2017-02-01 | 长春理工大学 | 多线点云数据机器学习的车辆目标识别方法及防撞装置 |
CN107169986A (zh) * | 2017-05-23 | 2017-09-15 | 北京理工大学 | 一种障碍物检测方法及系统 |
CN110208819A (zh) * | 2019-05-14 | 2019-09-06 | 江苏大学 | 一种多个障碍物三维激光雷达数据的处理方法 |
CN110208815A (zh) * | 2019-05-10 | 2019-09-06 | 江苏大学 | 一种基于机载激光雷达的大面积成熟作物收获信息快速获取方法 |
CN110221603A (zh) * | 2019-05-13 | 2019-09-10 | 浙江大学 | 一种基于激光雷达多帧点云融合的远距离障碍物检测方法 |
CN110780681A (zh) * | 2019-11-26 | 2020-02-11 | 贵州电网有限责任公司 | 一种基于激光点云的无人机自主巡检绝缘子路径规划方法 |
CN112882059A (zh) * | 2021-01-08 | 2021-06-01 | 中国船舶重工集团公司第七0七研究所 | 一种基于激光雷达的无人船内河障碍物感知方法 |
-
2021
- 2021-10-21 CN CN202111225021.XA patent/CN114089377A/zh active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106371104A (zh) * | 2016-08-16 | 2017-02-01 | 长春理工大学 | 多线点云数据机器学习的车辆目标识别方法及防撞装置 |
CN107169986A (zh) * | 2017-05-23 | 2017-09-15 | 北京理工大学 | 一种障碍物检测方法及系统 |
CN110208815A (zh) * | 2019-05-10 | 2019-09-06 | 江苏大学 | 一种基于机载激光雷达的大面积成熟作物收获信息快速获取方法 |
CN110221603A (zh) * | 2019-05-13 | 2019-09-10 | 浙江大学 | 一种基于激光雷达多帧点云融合的远距离障碍物检测方法 |
CN110208819A (zh) * | 2019-05-14 | 2019-09-06 | 江苏大学 | 一种多个障碍物三维激光雷达数据的处理方法 |
CN110780681A (zh) * | 2019-11-26 | 2020-02-11 | 贵州电网有限责任公司 | 一种基于激光点云的无人机自主巡检绝缘子路径规划方法 |
CN112882059A (zh) * | 2021-01-08 | 2021-06-01 | 中国船舶重工集团公司第七0七研究所 | 一种基于激光雷达的无人船内河障碍物感知方法 |
Non-Patent Citations (1)
Title |
---|
周伟豪: "基于3D激光雷达的地面目标检测方法与应用", 河南大学硕士学位论文, 30 June 2020 (2020-06-30), pages 1 - 74 * |
Cited By (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114638934A (zh) * | 2022-03-07 | 2022-06-17 | 南京航空航天大学 | 一种3D激光slam建图中动态障碍物的后处理方法 |
CN114384492A (zh) * | 2022-03-24 | 2022-04-22 | 北京一径科技有限公司 | 用于激光雷达的点云处理方法及装置、存储介质 |
CN114654471A (zh) * | 2022-04-29 | 2022-06-24 | 中国煤炭科工集团太原研究院有限公司 | 基于激光扫描仪的锚护机械臂避障系统和方法 |
CN114966673A (zh) * | 2022-05-31 | 2022-08-30 | 上海海拉电子有限公司 | 一种基于雷达的拖车检测方法及系统、一种车辆 |
CN115063677B (zh) * | 2022-06-10 | 2023-10-10 | 安徽农业大学 | 一种基于点云信息的麦田倒伏程度识别方法和装置 |
CN115063677A (zh) * | 2022-06-10 | 2022-09-16 | 安徽农业大学 | 一种基于点云信息的麦田倒伏程度识别方法和装置 |
CN115598614A (zh) * | 2022-11-28 | 2023-01-13 | 南京隼眼电子科技有限公司(Cn) | 三维点云目标检测方法、装置及存储介质 |
CN115861426A (zh) * | 2023-01-13 | 2023-03-28 | 江苏金恒信息科技股份有限公司 | 物料取样方法、装置、计算机设备和存储介质 |
CN116148809A (zh) * | 2023-04-04 | 2023-05-23 | 中储粮成都储藏研究院有限公司 | 基于激光雷达扫描定位的粮车扦样点自动生成方法及系统 |
CN116148809B (zh) * | 2023-04-04 | 2023-06-20 | 中储粮成都储藏研究院有限公司 | 基于激光雷达扫描定位的粮车扦样点自动生成方法及系统 |
CN116482711A (zh) * | 2023-06-21 | 2023-07-25 | 之江实验室 | 一种用于着陆区自主选择的局部静态环境感知方法及装置 |
CN116520289B (zh) * | 2023-07-04 | 2023-09-01 | 东莞市新通电子设备有限公司 | 五金件加工过程智能控制方法及相关装置 |
CN116520289A (zh) * | 2023-07-04 | 2023-08-01 | 东莞市新通电子设备有限公司 | 五金件加工过程智能控制方法及相关装置 |
CN117235545A (zh) * | 2023-11-14 | 2023-12-15 | 亿海蓝(北京)数据技术股份公司 | 判断空间对象分布相似性的方法、装置和可读存储介质 |
CN117235545B (zh) * | 2023-11-14 | 2024-02-02 | 亿海蓝(北京)数据技术股份公司 | 判断空间对象分布相似性的方法、装置和可读存储介质 |
CN117315183A (zh) * | 2023-11-30 | 2023-12-29 | 四川鼎鸿智电装备科技有限公司 | 一种基于激光雷达构建三维地图和作业分析的方法 |
CN117315183B (zh) * | 2023-11-30 | 2024-02-23 | 四川鼎鸿智电装备科技有限公司 | 一种基于激光雷达构建三维地图和作业分析的方法 |
CN117975407A (zh) * | 2024-01-09 | 2024-05-03 | 湖北鄂东长江公路大桥有限公司 | 一种道路抛洒物检测方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN114089377A (zh) | 一种基于激光雷达的点云处理和物体识别系统及方法 | |
CN112529874B (zh) | 基于三维雷达的障碍物检测方法、装置、介质和机器人 | |
CN112396650B (zh) | 一种基于图像和激光雷达融合的目标测距系统及方法 | |
KR102198724B1 (ko) | 포인트 클라우드 데이터를 처리하기 위한 방법 및 장치 | |
CN111665842B (zh) | 一种基于语义信息融合的室内slam建图方法及系统 | |
CN107316048B (zh) | 点云分类方法及装置 | |
CN111260683A (zh) | 一种三维点云数据的目标检测与跟踪方法及其装置 | |
CN113156421A (zh) | 基于毫米波雷达和摄像头信息融合的障碍物检测方法 | |
CN112417967A (zh) | 障碍物检测方法、装置、计算机设备和存储介质 | |
CN115049700A (zh) | 一种目标检测方法及装置 | |
CN112487919A (zh) | 一种基于相机与激光雷达的3d目标检测与跟踪方法 | |
Setchell et al. | Vision-based road-traffic monitoring sensor | |
CN115066708A (zh) | 点云数据运动分割方法、装置、计算机设备和存储介质 | |
CN113255779B (zh) | 多源感知数据融合识别方法、系统及计算机可读存储介质 | |
CN115641553B (zh) | 掘进机作业环境侵入物的在线检测装置及方法 | |
CN111913177A (zh) | 对目标物探测方法、装置以及存储介质 | |
CN117761658A (zh) | 基于激光雷达的园区运送机器人多目标检测方法与系统 | |
CN112683228A (zh) | 单目相机测距方法及装置 | |
CN113536959A (zh) | 一种基于立体视觉的动态障碍物检测方法 | |
CN114419599A (zh) | 障碍物识别方法、装置及电子设备 | |
CN116503803A (zh) | 障碍物检测方法、装置、电子设备以及存储介质 | |
CN114241448A (zh) | 障碍物航向角的获取方法、装置、电子设备及车辆 | |
CN114740867A (zh) | 基于双目视觉的智能避障方法、装置、机器人及介质 | |
CN114609609A (zh) | Fmcw激光雷达随机采样提取静止点云的速度估计方法 | |
CN113900101A (zh) | 障碍物检测方法、装置及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |