CN115032648B - 一种基于激光雷达密集点云的三维目标识别与定位方法 - Google Patents
一种基于激光雷达密集点云的三维目标识别与定位方法 Download PDFInfo
- Publication number
- CN115032648B CN115032648B CN202210634370.5A CN202210634370A CN115032648B CN 115032648 B CN115032648 B CN 115032648B CN 202210634370 A CN202210634370 A CN 202210634370A CN 115032648 B CN115032648 B CN 115032648B
- Authority
- CN
- China
- Prior art keywords
- dimensional
- point cloud
- laser radar
- dense point
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- 230000001537 neural effect Effects 0.000 claims abstract description 25
- 230000011218 segmentation Effects 0.000 claims abstract description 9
- 230000006870 function Effects 0.000 claims description 25
- 230000003044 adaptive effect Effects 0.000 claims description 23
- 238000012549 training Methods 0.000 claims description 17
- 238000013507 mapping Methods 0.000 claims description 16
- 230000005540 biological transmission Effects 0.000 claims description 10
- 230000007246 mechanism Effects 0.000 claims description 8
- 238000010248 power generation Methods 0.000 claims description 8
- 238000013527 convolutional neural network Methods 0.000 claims description 7
- 238000000926 separation method Methods 0.000 claims description 6
- 238000010276 construction Methods 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 230000004807 localization Effects 0.000 claims 2
- 101150049349 setA gene Proteins 0.000 claims 1
- 238000004364 calculation method Methods 0.000 abstract description 4
- 238000003062 neural network model Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003638 chemical reducing agent Substances 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000004387 environmental modeling Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N7/00—Computing arrangements based on specific mathematical models
- G06N7/02—Computing arrangements based on specific mathematical models using fuzzy logic
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/147—Details of sensors, e.g. sensor lenses
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Electromagnetism (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Computing Systems (AREA)
- Computer Networks & Wireless Communication (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Molecular Biology (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Multimedia (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- General Engineering & Computer Science (AREA)
- Vascular Medicine (AREA)
- Computational Linguistics (AREA)
- Databases & Information Systems (AREA)
- Biophysics (AREA)
- Medical Informatics (AREA)
- Automation & Control Theory (AREA)
- Fuzzy Systems (AREA)
- Algebra (AREA)
- Computational Mathematics (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Pure & Applied Mathematics (AREA)
- Optical Radar Systems And Details Thereof (AREA)
Abstract
本申请属于三维目标自动识别与定位技术领域,为一种基于激光雷达密集点云的三维目标识别与定位方法,通过先采集三维密集点云数据,而后通过建立激光雷达坐标系确定三维密集点云与二维投影图像的映射关系,先将三维密集点云数据转化为而且二维投影图像来去除背景,得到二维的像素集合,而后再通过激光雷达坐标系将二维的像素集合投影回三维密集点云去除背景噪点,即可得到目标物体的三维坐标数据作为目标物体的定位数据。相比于激光雷达和可见光相机数据融合的方法,降低了对可见光环境的依赖,节省了传感器资源;具有更好的识别与分割效率;通过采用自适应模糊神经推理系统,不仅具有轻量化的结构,同时具备良好的计算效率、准确率与鲁棒性。
Description
技术领域
本申请属于三维目标自动识别与定位技术领域,特别涉及一种基于激光雷达密集点云的三维目标识别与定位方法。
背景技术
目前,三维激光雷达已成为主要的环境建模工具,然而,大多数应用场景下,研究人员只关注几何信息的获取,如基于激光雷达的SLAM系统,对三维空间目标物体的识别与定位的研究较少。三维空间中目标物体识别与定位是移动机器人完成目标搜索救援任务中的关键性问题,一方面机器人在得到周围环境的高精度环境点云信息后,需要对场景中的搜救目标进行识别,另一方面,精确的三维定位能够保证救援的准确性,提高救援效率。
三维目标识别与定位方法可分为三种,第一种是基于点云体素化的方法,该方法对三维空间内的点云进行类图像像素方法划分,将三维空间划分成立方体形状的体素,用排布规则的体素替代无序的点,然后基于体素特征实现三维点云中的目标分类,如专利CN106250881A所涉及的方法,但是这种方法的弊端是其具有较高的计算复杂度,需要大量的时间来对三维点云进行体素划分,体素划分的分辨率也一定程度上决定了最终的识别效果;第二种方法是直接基于点云坐标进行目标识别与定位,这种方法打破了对点云进行规则体素化分表示的传统思想并只专注于点云中每个点的特征提取,但是这些方法都是将全场景的点云输入到神经网络中,然后对场景中的物体进行识别和定位,对降低计算量并没有本质的改善;第三种是将点云投影成二维图像,并使用传统的二维图像处理算法进行处理,相比于前两种方法,该方法具有较高的运行效率,然而,目前的研究人员通常是直接使用稀疏点云投影图或结合可见光相机图像来完成对目标物体的识别与定位,如专利CN108932475A和CN111626217A所涉及的方法,该方法由于使用的是稀疏点云图,导致了大量的目标物体特征的丢失,再者,由于相机传感器的加入,使得系统不仅对周围的环境光有了要求,还增加了额外的传感器资源。
因此,如何在无可见光环境下对目标进行准确、高效的识别与定位是一个需要解决的问题。
发明内容
本申请的目的是提供了一种基于激光雷达密集点云的三维目标识别与定位方法,以解决使用稀疏点云与可见光相机图像融合的方法进行目标物体的识别与定位时对可见光要求较高以及仅使用稀疏点云时大量目标物体特征丢失的问题。
本申请的技术方案是:一种基于激光雷达密集点云的三维目标识别与定位方法,包括:采集三维激光密集点云数据,形成激光雷达三维密集点云P3D;建立激光雷达坐标系,基于激光雷达三维密集点云P3D构建二维投影图像P2D;通过卷积神经网络对二维投影图像P2D进行识别与分割,获取目标物体的二维识别与分割结果,形成目标物体的像素集合P2D target;将二维图像中目标物体的像素集合P2D target投影回三维密集点云状态,获得含有背景噪点的目标物体的三维密集点云P3D target;构建自适应模糊神经推理系统,针对不同的目标物体训练对应的自适应参数,利用训练好的网络参数去除目标物体的三维密集点云P3D tar get中的背景噪点,获得不含背景噪点的目标物体的三维密集点云;输入三维密集点云数据,利用三维密集点云相关的边框估计和中心回归网络,获得不含背景噪点的目标物体的三维中心,将所述三维中心的三维坐标数据作为目标物体的定位数据。
优选地,所述激光雷达坐标系的建立方法包括:定义激光雷达坐标系{L}为右手坐标系,以激光雷达传感器中心为原点OL、激光雷达传感器正前方为YL轴方向、垂直激光雷达传感器向上为ZL轴方向;定义方位角为绕所述ZL轴的角度、垂直角θ为绕所述YL轴的角度、点云到激光雷达传感器中心OL的距离为r,则点云的三维坐标记作/>所述三维激光密集点云数据内容包含三维点云坐标信息/>和反射强度。
优选地,所述三维密集点云的到二维投影图像像素点(u,v)索引的映射关系为:
其中,表示/>的角度分辨率,Δθ表示θ的角度分辨率。
优选地,由所述二维图像获得三维密集点云的方法为:确定二维投影图像像素索引到三维密集点云的映射关系将像素集合P2D target的像素索引记为利用映射关系T′得到/> 由/>从P3D中索引出的三维密集点云即为所述目标物体含有背景噪点的三维密集点云P3D target。
优选地,所述二维投影图像像素索引到三维密集点云的映射关系的关系式为:
优选地,所述自适应模糊神经推理系统去除背景噪点的方法为:确定输入变量将目标物体含有背景噪点的三维密集点云P3D target在激光雷达坐标系上分成Q段;设定自适应模糊神经推理系统中的11个自适应参数X=[αi,WH,WM,WL]T,i=1,2,…,8,其中8个隶属函数参数αi,3个权重参数WH,WM,WL,针对每一种目标物体的三维点云,设定误差函数,使用优化算法对所述自适应参数进行训练;将训练结果作为自适应参数,将输入向量wq输入到所述自适应模糊神经推理系统中,得到的输出结果为置信度Cq,将共Q段中所述置信度Cq的最大值所对应的段编号记为qout,确定第qout段在激光雷达坐标系上的坐标为/>将坐标/>作为分离所述目标物体和背景噪点的位置,分离并去除背景噪点部分的三维点云,获得到不含背景噪点的目标物体的三维密集点云。
优选地,所述误差函数定义为:
其中,N表示训练集的总数,kE表示第k个训练集中所述目标物体与所述背景噪点的分离位置在YM轴上的坐标,kY(X)表示所述自适应模糊神经推理系统估计的所述分离位置在YM轴上的坐标。
优选地,所述自适应模糊神经推理系统的构建方法为:定义隶属函数和模糊集,所述模糊集为A,根据共Q段点云的数量和位置属性共定义了八个成员{A1,A2,A3,A4,A5,A6,A7,A8},对应的隶属函数为Si(witem)∈[0,1],,其中,基于模糊集A定义模糊规则库,将所述模糊规则库中的规则记为πj,j=1,2,…,16,对于输入向量wq,将第j条规则πj的四个模糊集成员所对应的四个隶属度函数输出中的最小值,作为该规则的推理结果Gj;对推理结果Gj进行归一化运算,算法为:/> 定义规则πj下对背景噪点与目标物体进行分割时的权重为Wj,Wj的取值为{WH、WM、WL},综合所有模糊规则及相关权重获得输出结果Cq,算法为:/>
优选地,采用密集点云采集机构采集三维激光点云数据,密集点云采集机构由一个激光雷达、一个动力产生子系统、一个动力传输子系统和一个支撑板组成;激光雷达连接到支撑板上;支撑板连接到动力传输子系统上;动力传输子系统将所述动力产生子系统的旋转运动传递到支撑板上。
本申请的一种基于激光雷达密集点云的三维目标识别与定位方法,相比于激光雷达和可见光相机数据融合的方法,降低了对可见光环境的依赖,节省了传感器资源;具有更好的识别与分割效率,适合部署在计算资源有限的机器人设备上;通过采用自适应模糊神经推理系统,不仅具有轻量化的结构,还可以自适应于不同的目标物体,因此同时具备良好的计算效率、准确率与鲁棒性,能够符合复杂背景环境下相关工程作业的应用需求。
附图说明
为了更清楚地说明本申请提供的技术方案,下面将对附图作简单地介绍。显而易见地,下面描述的附图仅仅是本申请的一些实施例。
图1为本申请整体流程示意图;
图2为本申请密集点云采集机构示意图;
图3为本申请三维激光密集点云待识别区域相关坐标及二维投影示意图
图4为本申请自适应模糊神经推理系统框架结构示意图。
1、动力产生子系统;2、动力传输子系统;3、激光雷达;4、支撑板。
具体实施方式
为使本申请实施的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行更加详细的描述。
一种基于激光雷达密集点云的三维目标识别与定位方法,如图1所示,包括如下步骤:
步骤S100,采集三维激光密集点云数据,形成激光雷达三维密集点云P3D;
如图2所示,密集点云采集机构由一个激光雷达3、一个动力产生子系统1、一个动力传输子系统2和一个支撑板4组成;激光雷达3为VLP-16机械旋转式激光雷达传感器,垂直视场30°,水平视场360°,通过内部旋转机构实现3D点云数据的获取;激光雷达3连接到支撑板4上;支撑板4连接到动力传输子系统2上;动力产生子系统1包括蜗轮蜗杆减速器和相连的42步进电机,产生可控旋转运动输出;动力传输子系统2将动力产生子系统1的旋转运动传递到支撑板4上,实现激光雷达传感器的旋转运动。通过采用密集点云采集机构,不使用可见光即可获得密集点云数据,使用限制较低。
三维激光密集点云数据包含三维点云坐标信息和反射强度,其中/>的角度分辨率/>θ的角度分辨率Δθ≤1°。
步骤S200,建立激光雷达坐标系,基于激光雷达三维密集点云P3D构建二维投影图像P2D;
构建二维投影图像P2D前先建立激光雷达坐标系,以能够建立三维激光密集点云数据与二维投影图像P2D之间的映射关系。
激光雷达坐标系的建立方法包括:
定义激光雷达坐标系{L}为右手坐标系,以激光雷达传感器中心为原点OL、激光雷达传感器正前方为YL轴方向、垂直激光雷达传感器向上为ZL轴方向;定义方位角为绕所述ZL轴的角度、垂直角θ为绕所述YL轴的角度、点云到激光雷达传感器中心OL的距离为r,则点云的三维坐标记作/>
如图3所示,对于一特定三维激光密集点云待识别区域,该区域的水平角角度范围为垂直角角度范围为[θ1,θ2]=[0°,30°],目标识别坐标系{M}为激光雷达坐标系{L}绕YL轴逆时针旋转/>再绕ZL轴逆时针旋转/>得到,设平行于XM轴和ZM轴所确定平面的一个平面为β;
设P3D为待识别区域的三维密集点云集合,该点云集合中的每一个三维点由唯一索引;
设P2D为将待识别区域的三维密集点云投影到平面β上所得到的二维投影图像,该二维投影图像中的每个像素点由(u,v)唯一索引,其中u表示像素水平索引、v表示像素竖直索引;
确定三维密集点云的到二维投影图像像素点(u,v)索引的映射关系获得分辨率为/>的二维投影图像,其中每个二维投影图像像素点的灰度值由对应的三维激光点的反射强度决定;映射关系为:
其中,表示/>的角度分辨率,Δθ表示θ的角度分辨率。
通过公式(1)的映射关系式,能够将三维密集点云数据有效地转化为二维投影图像。
步骤S300,通过卷积神经网络对二维投影图像P2D为进行识别与分割,获取目标物体的二维识别与分割结果,形成目标物体的像素集合P2D target;
优选地,卷积神经网络为Mask R-CNN神经网络模型,使用COCO数据集对神经网络模型进行预训练,通过迁移学习的方式完成卷积神经网络的训练;将二维投影图像P2D输入训练完成的神经网络模型,得到目标物体的像素集合P2D target。
通过对目标物体进行二维识别与分割,去除图像中的背景,获得目标物体。在一幅二维图像中,目标物体包括如自行车、汽车、人等,背景如天空、白云、花鸟等,通过Mask R-CNN神经网络模型能够有效地去除目标图像的背景,分割效率较高。
获得的这些目标物体中,目前仅有一种目标物体为需要识别与定位的物体,如人,则汽车或自行车等均为背景噪点,需要去除,这些背景噪点需要返回至三维密集点云中才能够有效地去除。
步骤S400,将二维图像中目标物体的像素集合P2D target投影回三维密集点云状态,获得含有背景噪点的目标物体的三维密集点云P3D target;
优选地,由二维图像获得三维密集点云的方法为:
确定二维投影图像像素索引到三维密集点云的映射关系 关系式为:
将识别和分割出的所述目标物体的二维像素集记为P2D target,其为所述二维投影图像P2D的一个像素子集,将像素集合P2D target的像素索引记为利用映射关系T′得到
由从P3D中索引出的三维密集点云即为所述目标物体含有背景噪点的三维密集点云P3D target。
该步骤同样利用同一激光雷达坐标系中的映射关系将二维图像反推回三维图像,由于三维密集点云P3D构建二维投影图像P2D、二维图像中目标物体的像素集合P2D target,投影回三维密集点云P3D target,在同一坐标系下进行,数据转换的错误率非常低。
步骤S500,构建自适应模糊神经推理系统,针对不同的目标物体训练对应的自适应参数,利用训练好的网络参数去除目标物体的三维密集点云P3D target中的背景噪点,获得不含背景噪点的目标物体的三维密集点云;
目标物体三维密集点云中的噪点为P3D target中的除目标物体本身以外的背景部分的三维点云,噪点与目标物体可在YM方向上进行分离,去除噪点即为在合适的位置截断YM轴并去除噪点部分的三维点云。
把目标物体含有背景噪点的三维密集点云P3D target在YM轴上平均分成Q段,自适应模糊神经推理系统的输入为其中yq表示第q段区域在YM轴上的坐标,nq表示第q段区域内的点云数量,dnq表示第q段与第q-1段区域内点云数量的变化量,表示第q段区域内的点云在ZM方向上的坐标平均值。
如图4所示,优选地,自适应模糊神经推理系统的构建方法为:
1)定义隶属函数和模糊集,模糊集为A,根据共Q段点云的数量和位置属性共定义了八个成员{A1,A2,A3,A4,A5,A6,A7,A8},其中为yq定义了A1和A2两个成员,A1表示第q段区域的点云在YM轴方向上距离原点OM较远、A2表示第q段区域的点云在YM轴方向上距离原点OM较近;为nq定义A3和A4两个成员,A3表示第q段区域内的点云数量少、A4表示第q段区域内的点云数量多;为dnq定义A5和A6两个成员,A5表示第q段区域内点云的数量较相邻的上一段区域内点云的数量变化小、A6表示第q段区域内点云的数量较相邻的上一段区域内点云的数量变化大;为定义A7和A8两个成员,A7表示第q段区域内的点云在ZM轴上的坐标平均值小、A8表示第q段区域内的点云在ZM轴上的坐标平均值大。
所述模糊集A中的成员Ai,i=1,2,…,8,对应的隶属函数记为Si(witem)∈[0,1],其中隶属函数的定义如表1所示,其中k1和k2是两个可调参数,用来调整隶属函数的形状,模糊集以及隶属函数的关系如表2所示;
表1
ANFIS的隶属函数
Si(witem)越接近1,则说明witem属于Ai的可能性越大,Si(witem)越接近0,则说明witem属于Ai的可能性越小;将所述隶属度函数一共8个可调参数作为自适应参数,记为αi,i=1,2,…,8,具体定义如表2所示;
表2
自适应变量与模糊集以及隶属函数的关系
2)基于模糊集A定义如表3所示的模糊规则库,将模糊规则库中的规则记为πj,j=1,2,…,16;对于输入向量wq,第j条规则πj的四个模糊集成员所对应的四个隶属度函数输出中的最小值,作为该规则的推理结果,记为Gj;
表3
模糊规则库
3)对推理结果Gj进行归一化运算,算法为:
4)定义规则πj下对背景噪点与目标物体进行分割时的权重为Wj,Wj的取值为{WH、WM、WL},分别表示权重的大、中、小。综合所有模糊规则及相关权重获得输出结果Cq,Cq的运算方法为:
通过构建自适应模糊神经推理系统,能够对不同的目标物体设定不同的自适应参数,从而对不同的目标物体进行自适应的识别。
优选地,自适应模糊神经推理系统去除背景噪点的方法为:
步骤一,确定输入变量将目标物体含有背景噪点的三维密集点云P3D target在激光雷达坐标系上分成Q段;
步骤二,设定自适应模糊神经推理系统中的11个自适应参数X=[αi,WH,WM,WL]T,i=1,2,…,8,其中8个隶属函数参数αi,3个权重参数WH,WM,WL,针对每一种目标物体的三维点云,设定误差函数,使用优化算法对所述自适应参数进行训练;
优选地,误差函数定义为:
其中,N表示训练集的总数,kE表示第k个训练集中所述目标物体与所述背景噪点的分离位置在YM轴上的坐标,kY(X)表示所述自适应模糊神经推理系统估计的所述分离位置在YM轴上的坐标;
步骤三,将训练结果作为自适应参数,将输入向量wq输入到所述自适应模糊神经推理系统中,得到的输出结果为置信度Cq,将共Q段中所述置信度Cq的最大值所对应的段编号记为qopt,确定第qopt段在激光雷达坐标系上的坐标为
步骤四,将坐标作为分离所述目标物体和背景噪点的位置,分离并去除背景噪点部分的三维点云,获得到不含背景噪点的目标物体的三维密集点云。
步骤S600,输入三维密集点云数据,利用三维密集点云相关的T-Net的3D边框估计和中心回归子网络,获得不含背景噪点的目标物体的三维中心,将三维中心的三维坐标数据作为目标物体的定位数据。
本申请通过先采集三维密集点云数据,而后通过建立激光雷达坐标系确定三维密集点云与二维投影图像的映射关系,先将三维密集点云数据转化为二维投影图像来去除背景,得到二维的像素集合,而后再通过激光雷达坐标系将二维的像素集合投影回三维密集点云去除背景噪点,即可得到目标物体的三维坐标数据作为目标物体的定位数据。
本发明包括但不限于以下优势:
1)本发明在没有使用可见光传感器的前提下,通过有效地利用激光雷达密集点云数据,完成了目标识别与定位任务,相比于激光雷达和可见光相机数据融合的方法,降低了对可见光环境的依赖,节省了传感器资源;
2)本发明基于激光雷达密集点云数据获得了周围环境的二维投影图像,并对二维投影图像进行初步目标识别与分割,与传统的直接对三维点云进行识别与分割的方法相比,本方法具有更好的识别与分割效率,在兼顾识别和定位的效率与稳定性的同时使得系统在无可见光环境下仍然具有较好的效果,适合部署在计算资源有限的机器人设备上;
3)本发明提供的一种用于去除背景噪声的自适应模糊神经推理系统,不仅具有轻量化的结构,还可以自适应于不同的目标物体,因此同时具备良好的计算效率、准确率与鲁棒性,能够符合复杂背景环境下相关工程作业的应用需求。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。
Claims (7)
1.一种基于激光雷达密集点云的三维目标识别与定位方法,其特征在于,包括:
采集三维激光密集点云数据,形成激光雷达三维密集点云P3D;
建立激光雷达坐标系,基于激光雷达三维密集点云P3D构建二维投影图像P2D;
通过卷积神经网络对二维投影图像P2D进行识别与分割,获取目标物体的二维识别与分割结果,形成目标物体的像素集合P2D target;
将二维图像中目标物体的像素集合P2D target投影回三维密集点云状态,获得含有背景噪点的目标物体的三维密集点云P3D target;
构建自适应模糊神经推理系统,针对不同的目标物体训练对应的自适应参数,利用训练好的网络参数去除目标物体的三维密集点云P3D target中的背景噪点,获得不含背景噪点的目标物体的三维密集点云;
输入三维密集点云数据,利用三维密集点云相关的边框估计和中心回归网络,获得不含背景噪点的目标物体的三维中心,将所述三维中心的三维坐标数据作为目标物体的定位数据;
所述自适应模糊神经推理系统去除背景噪点的方法为:
确定输入变量将目标物体含有背景噪点的三维密集点云{3D target在激光雷达坐标系上分成Q段;
设定自适应模糊神经推理系统中的11个自适应参数X=[αi,WH,WM,WL]T,i=1,2,…,8,其中8个隶属函数参数αi,3个权重参数WH,WM,WK,针对每一种目标物体的三维点云,设定误差函数,使用优化算法对所述自适应参数进行训练;
将训练结果作为自适应参数,将输入向量wq输入到所述自适应模糊神经推理系统中,得到的输出结果为置信度Cq,将共Q段中所述置信度Cq的最大值所对应的段编号记为qopt,确定第qopt段在激光雷达坐标系上的坐标为
将坐标作为分离所述目标物体和背景噪点的位置,分离并去除背景噪点部分的三维点云,获得不含背景噪点的目标物体的三维密集点云;
所述自适应模糊神经推理系统的构建方法为:
定义隶属函数和模糊集,所述模糊集为A,根据共Q段点云的数量和位置属性共定义了八个成员{A1,A2,A3,A4,A5,A6,A7,A8},对应的隶属函数为Si(witem)∈[0,1],其中,
基于模糊集A定义模糊规则库,将所述模糊规则库中的规则记为πj,j=1,2,…,16,对于输入向量Wq,将第j条规则πj的四个模糊集成员所对应的四个隶属度函数输出中的最小值,作为该规则的推理结果Gj;
对推理结果Gj进行归一化运算,算法为:
定义规则πj下对背景噪点与目标物体进行分割时的权重为Wj,Wj的取值为{WH、WM、WL},综合所有模糊规则及相关权重获得输出结果Cq,算法为:
2.如权利要求1所述的基于激光雷达密集点云的三维目标识别与定位方法,其特征在于,所述激光雷达坐标系的建立方法包括:
定义激光雷达坐标系{L}为右手坐标系,以激光雷达传感器中心为原点OL、激光雷达传感器正前方为YL轴方向、垂直激光雷达传感器向上为ZL轴方向;定义方位角为绕所述ZL轴的角度、垂直角θ为绕所述YL轴的角度、点云到激光雷达传感器中心OL的距离为r,则点云的三维坐标记作/>
3.如权利要求2所述的基于激光雷达密集点云的三维目标识别与定位方法,其特征在于,所述三维密集点云的到二维投影图像像素点(u,v)索引的映射关系为:
其中,表示/>的角度分辨率,Δθ表示θ的角度分辨率。
4.如权利要求1所述的基于激光雷达密集点云的三维目标识别与定位方法,其特征在于,由所述二维图像获得三维密集点云的方法为:
确定二维投影图像像素索引到三维密集点云的映射关系
将像素集合P2D target的像素索引记为利用映射关系T'得到/>
由从P3D中索引出的三维密集点云即为所述目标物体含有背景噪点的三维密集点云P3D target。
5.如权利要求4所述的基于激光雷达密集点云的三维目标识别与定位方法,其特征在于,所述二维投影图像像素索引到三维密集点云的映射关系的关系式为:
6.如权利要求1所述的基于激光雷达密集点云的三维目标识别与定位方法,其特征在于,所述误差函数定义为:
其中,N表示训练集的总数,kE表示第k个训练集中所述目标物体与所述背景噪点的分离位置在YM轴上的坐标,kY(X)表示所述自适应模糊神经推理系统估计的所述分离位置在YM轴上的坐标。
7.如权利要求1所述的基于激光雷达密集点云的三维目标识别与定位方法,其特征在于,采用密集点云采集机构采集三维激光点云数据,密集点云采集机构由一个激光雷达(3)、一个动力产生子系统(1)、一个动力传输子系统(2)和一个支撑板(4)组成;激光雷达(3)连接到支撑板(4)上;支撑板(4)连接到动力传输子系统(2)上;动力传输子系统(2)将所述动力产生子系统(1)的旋转运动传递到支撑板(4)上。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210634370.5A CN115032648B (zh) | 2022-06-06 | 2022-06-06 | 一种基于激光雷达密集点云的三维目标识别与定位方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210634370.5A CN115032648B (zh) | 2022-06-06 | 2022-06-06 | 一种基于激光雷达密集点云的三维目标识别与定位方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115032648A CN115032648A (zh) | 2022-09-09 |
CN115032648B true CN115032648B (zh) | 2024-05-24 |
Family
ID=83122333
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210634370.5A Active CN115032648B (zh) | 2022-06-06 | 2022-06-06 | 一种基于激光雷达密集点云的三维目标识别与定位方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115032648B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115240093B (zh) * | 2022-09-22 | 2022-12-23 | 山东大学 | 基于可见光和激光雷达点云融合的输电通道自动巡检方法 |
CN117315183B (zh) * | 2023-11-30 | 2024-02-23 | 四川鼎鸿智电装备科技有限公司 | 一种基于激光雷达构建三维地图和作业分析的方法 |
CN117392000B (zh) * | 2023-12-08 | 2024-03-08 | 吉咖智能机器人有限公司 | 一种噪点去除方法、装置、电子设备及存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021041854A1 (en) * | 2019-08-30 | 2021-03-04 | Nvidia Corporation | Object detection and classification using lidar range images for autonomous machine applications |
US11099275B1 (en) * | 2020-04-29 | 2021-08-24 | Tsinghua University | LiDAR point cloud reflection intensity complementation method and system |
CN113743391A (zh) * | 2021-11-08 | 2021-12-03 | 江苏天策机器人科技有限公司 | 应用于低速自主驾驶机器人的三维障碍物检测系统与方法 |
CN114155265A (zh) * | 2021-12-01 | 2022-03-08 | 南京林业大学 | 基于yolact的三维激光雷达道路点云分割方法 |
CN114384543A (zh) * | 2022-01-18 | 2022-04-22 | 浙江海康智联科技有限公司 | 一种基于背景去除的路端三维目标检测方法和系统 |
-
2022
- 2022-06-06 CN CN202210634370.5A patent/CN115032648B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021041854A1 (en) * | 2019-08-30 | 2021-03-04 | Nvidia Corporation | Object detection and classification using lidar range images for autonomous machine applications |
US11099275B1 (en) * | 2020-04-29 | 2021-08-24 | Tsinghua University | LiDAR point cloud reflection intensity complementation method and system |
CN113743391A (zh) * | 2021-11-08 | 2021-12-03 | 江苏天策机器人科技有限公司 | 应用于低速自主驾驶机器人的三维障碍物检测系统与方法 |
CN114155265A (zh) * | 2021-12-01 | 2022-03-08 | 南京林业大学 | 基于yolact的三维激光雷达道路点云分割方法 |
CN114384543A (zh) * | 2022-01-18 | 2022-04-22 | 浙江海康智联科技有限公司 | 一种基于背景去除的路端三维目标检测方法和系统 |
Non-Patent Citations (2)
Title |
---|
基于投影降维的激光雷达快速目标识别;杨文秀;付文兴;周志伟;余巍;马杰;;红外与激光工程;20141225(第S1期);全文 * |
复杂环境下的激光雷达目标物实时检测方法;李茁;王田苗;胡坤磊;李晓飞;王肖;;激光杂志;20180325(第03期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN115032648A (zh) | 2022-09-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109410321B (zh) | 基于卷积神经网络的三维重建方法 | |
CN115032648B (zh) | 一种基于激光雷达密集点云的三维目标识别与定位方法 | |
CN111798475B (zh) | 一种基于点云深度学习的室内环境3d语义地图构建方法 | |
CN111563442B (zh) | 基于激光雷达的点云和相机图像数据融合的slam方法及系统 | |
CN110675418B (zh) | 一种基于ds证据理论的目标轨迹优化方法 | |
CN110223345B (zh) | 基于点云的配电线路作业对象位姿估计方法 | |
CN104331699B (zh) | 一种三维点云平面化快速搜索比对的方法 | |
CN112258618A (zh) | 基于先验激光点云与深度图融合的语义建图与定位方法 | |
CN108805906A (zh) | 一种基于深度图的运动障碍物检测及定位方法 | |
CN113506318B (zh) | 一种车载边缘场景下的三维目标感知方法 | |
CN110322453A (zh) | 基于位置注意力和辅助网络的3d点云语义分割方法 | |
CN112767490A (zh) | 一种基于激光雷达的室外三维同步定位与建图方法 | |
CN111998862B (zh) | 一种基于bnn的稠密双目slam方法 | |
CN110910349B (zh) | 一种基于航拍视觉的风电机组状态获取方法 | |
CN112907735A (zh) | 一种基于点云的柔性电缆识别与三维重建方法 | |
CN113706710A (zh) | 基于fpfh特征差异的虚拟点多源点云融合方法及系统 | |
CN115222884A (zh) | 一种基于人工智能的空间对象分析及建模优化方法 | |
CN113724387A (zh) | 一种激光与相机融合的地图构建方法 | |
CN114049362A (zh) | 一种基于transformer的点云实例分割方法 | |
CN112947526A (zh) | 一种无人机自主降落方法和系统 | |
CN112396655A (zh) | 一种基于点云数据的船舶目标6d位姿估计方法 | |
CN116309817A (zh) | 一种基于rgb-d相机的托盘检测与定位方法 | |
CN116863371A (zh) | 一种基于深度学习的agv叉车货物托盘位姿识别方法 | |
CN116958420A (zh) | 一种数字人教师三维人脸的高精度建模方法 | |
CN114898041A (zh) | 一种基于光度误差的改进icp方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |