CN115032648A - 一种基于激光雷达密集点云的三维目标识别与定位方法 - Google Patents

一种基于激光雷达密集点云的三维目标识别与定位方法 Download PDF

Info

Publication number
CN115032648A
CN115032648A CN202210634370.5A CN202210634370A CN115032648A CN 115032648 A CN115032648 A CN 115032648A CN 202210634370 A CN202210634370 A CN 202210634370A CN 115032648 A CN115032648 A CN 115032648A
Authority
CN
China
Prior art keywords
dimensional
point cloud
dense point
target
laser radar
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210634370.5A
Other languages
English (en)
Other versions
CN115032648B (zh
Inventor
解杨敏
高志远
耿昊
王倩
黄舒婧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Shanghai for Science and Technology
Original Assignee
University of Shanghai for Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Shanghai for Science and Technology filed Critical University of Shanghai for Science and Technology
Priority to CN202210634370.5A priority Critical patent/CN115032648B/zh
Publication of CN115032648A publication Critical patent/CN115032648A/zh
Application granted granted Critical
Publication of CN115032648B publication Critical patent/CN115032648B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00Computing arrangements based on specific mathematical models
    • G06N7/02Computing arrangements based on specific mathematical models using fuzzy logic
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/194Segmentation; Edge detection involving foreground-background segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147Details of sensors, e.g. sensor lenses
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20112Image segmentation details

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Electromagnetism (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computational Mathematics (AREA)
  • Algebra (AREA)
  • Fuzzy Systems (AREA)
  • Vascular Medicine (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

本申请属于三维目标自动识别与定位技术领域,为一种基于激光雷达密集点云的三维目标识别与定位方法,通过先采集三维密集点云数据,而后通过建立激光雷达坐标系确定三维密集点云与二维投影图像的映射关系,先将三维密集点云数据转化为而且二维投影图像来去除背景,得到二维的像素集合,而后再通过激光雷达坐标系将二维的像素集合投影回三维密集点云去除背景噪点,即可得到目标物体的三维坐标数据作为目标物体的定位数据。相比于激光雷达和可见光相机数据融合的方法,降低了对可见光环境的依赖,节省了传感器资源;具有更好的识别与分割效率;通过采用自适应模糊神经推理系统,不仅具有轻量化的结构,同时具备良好的计算效率、准确率与鲁棒性。

Description

一种基于激光雷达密集点云的三维目标识别与定位方法
技术领域
本申请属于三维目标自动识别与定位技术领域,特别涉及一种基于激光雷达密集点云的三维目标识别与定位方法。
背景技术
目前,三维激光雷达已成为主要的环境建模工具,然而,大多数应用场景下,研究人员只关注几何信息的获取,如基于激光雷达的SLAM系统,对三维空间目标物体的识别与定位的研究较少。三维空间中目标物体识别与定位是移动机器人完成目标搜索救援任务中的关键性问题,一方面机器人在得到周围环境的高精度环境点云信息后,需要对场景中的搜救目标进行识别,另一方面,精确的三维定位能够保证救援的准确性,提高救援效率。
三维目标识别与定位方法可分为三种,第一种是基于点云体素化的方法,该方法对三维空间内的点云进行类图像像素方法划分,将三维空间划分成立方体形状的体素,用排布规则的体素替代无序的点,然后基于体素特征实现三维点云中的目标分类,如专利CN106250881A所涉及的方法,但是这种方法的弊端是其具有较高的计算复杂度,需要大量的时间来对三维点云进行体素划分,体素划分的分辨率也一定程度上决定了最终的识别效果;第二种方法是直接基于点云坐标进行目标识别与定位,这种方法打破了对点云进行规则体素化分表示的传统思想并只专注于点云中每个点的特征提取,但是这些方法都是将全场景的点云输入到神经网络中,然后对场景中的物体进行识别和定位,对降低计算量并没有本质的改善;第三种是将点云投影成二维图像,并使用传统的二维图像处理算法进行处理,相比于前两种方法,该方法具有较高的运行效率,然而,目前的研究人员通常是直接使用稀疏点云投影图或结合可见光相机图像来完成对目标物体的识别与定位,如专利CN108932475A和CN111626217A所涉及的方法,该方法由于使用的是稀疏点云图,导致了大量的目标物体特征的丢失,再者,由于相机传感器的加入,使得系统不仅对周围的环境光有了要求,还增加了额外的传感器资源。
因此,如何在无可见光环境下对目标进行准确、高效的识别与定位是一个需要解决的问题。
发明内容
本申请的目的是提供了一种基于激光雷达密集点云的三维目标识别与定位方法,以解决使用稀疏点云与可见光相机图像融合的方法进行目标物体的识别与定位时对可见光要求较高以及仅使用稀疏点云时大量目标物体特征丢失的问题。
本申请的技术方案是:一种基于激光雷达密集点云的三维目标识别与定位方法,包括:采集三维激光密集点云数据,形成激光雷达三维密集点云P3D;建立激光雷达坐标系,基于激光雷达三维密集点云P3D构建二维投影图像P2D;通过卷积神经网络对二维投影图像P2D进行识别与分割,获取目标物体的二维识别与分割结果,形成目标物体的像素集合P2D target;将二维图像中目标物体的像素集合P2D target投影回三维密集点云状态,获得含有背景噪点的目标物体的三维密集点云P3D target;构建自适应模糊神经推理系统,针对不同的目标物体训练对应的自适应参数,利用训练好的网络参数去除目标物体的三维密集点云P3D tar get中的背景噪点,获得不含背景噪点的目标物体的三维密集点云;输入三维密集点云数据,利用三维密集点云相关的边框估计和中心回归网络,获得不含背景噪点的目标物体的三维中心,将所述三维中心的三维坐标数据作为目标物体的定位数据。
优选地,所述激光雷达坐标系的建立方法包括:定义激光雷达坐标系{L}为右手坐标系,以激光雷达传感器中心为原点OL、激光雷达传感器正前方为YL轴方向、垂直激光雷达传感器向上为ZL轴方向;定义方位角
Figure BDA00036798888400000313
为绕所述ZL轴的角度、垂直角θ为绕所述YL轴的角度、点云到激光雷达传感器中心OL的距离为r,则点云的三维坐标记作
Figure BDA0003679888840000031
所述三维激光密集点云数据内容包含三维点云坐标信息
Figure BDA0003679888840000032
和反射强度。
优选地,所述三维密集点云的
Figure BDA0003679888840000033
到二维投影图像像素点(u,v)索引的映射关系为:
Figure BDA0003679888840000034
其中,
Figure BDA0003679888840000035
表示
Figure BDA00036798888400000314
的角度分辨率,Δθ表示θ的角度分辨率。
优选地,由所述二维图像获得三维密集点云的方法为:确定二维投影图像像素索引到三维密集点云的映射关系
Figure BDA0003679888840000036
将像素集合P2D target的像素索引记为
Figure BDA0003679888840000037
利用映射关系T′得到
Figure BDA0003679888840000038
Figure BDA0003679888840000039
Figure BDA00036798888400000310
从P3D中索引出的三维密集点云即为所述目标物体含有背景噪点的三维密集点云P3D target
优选地,所述二维投影图像像素索引到三维密集点云的映射关系的关系式为:
Figure BDA00036798888400000311
优选地,所述自适应模糊神经推理系统去除背景噪点的方法为:确定输入变量
Figure BDA00036798888400000312
将目标物体含有背景噪点的三维密集点云P3D target在激光雷达坐标系上分成Q段;设定自适应模糊神经推理系统中的11个自适应参数X=[αi,WH,WM,WL]T,i=1,2,…,8,其中8个隶属函数参数αi,3个权重参数WH,WM,WL,针对每一种目标物体的三维点云,设定误差函数,使用优化算法对所述自适应参数进行训练;将训练结果作为自适应参数,将输入向量wq输入到所述自适应模糊神经推理系统中,得到的输出结果为置信度Cq,将共Q段中所述置信度Cq的最大值所对应的段编号记为qout,确定第qout段在激光雷达坐标系上的坐标为
Figure BDA0003679888840000041
将坐标
Figure BDA0003679888840000042
作为分离所述目标物体和背景噪点的位置,分离并去除背景噪点部分的三维点云,获得到不含背景噪点的目标物体的三维密集点云。
优选地,所述误差函数定义为:
Figure BDA0003679888840000043
其中,N表示训练集的总数,kE表示第k个训练集中所述目标物体与所述背景噪点的分离位置在YM轴上的坐标,kY(X)表示所述自适应模糊神经推理系统估计的所述分离位置在YM轴上的坐标。
优选地,所述自适应模糊神经推理系统的构建方法为:定义隶属函数和模糊集,所述模糊集为A,根据共Q段点云的数量和位置属性共定义了八个成员{A1,A2,A3,A4,A5,A6,A7,A8},对应的隶属函数为Si(witem)∈[0,1],,其中,
Figure BDA0003679888840000044
基于模糊集A定义模糊规则库,将所述模糊规则库中的规则记为πj,j=1,2,…,16,对于输入向量wq,将第j条规则πj的四个模糊集成员所对应的四个隶属度函数输出中的最小值,作为该规则的推理结果Gj;对推理结果Gj进行归一化运算,算法为:
Figure BDA0003679888840000045
Figure BDA0003679888840000046
定义规则πj下对背景噪点与目标物体进行分割时的权重为Wj,Wj的取值为{WH、WM、WL},综合所有模糊规则及相关权重获得输出结果Cq,算法为:
Figure BDA0003679888840000047
优选地,采用密集点云采集机构采集三维激光点云数据,密集点云采集机构由一个激光雷达、一个动力产生子系统、一个动力传输子系统和一个支撑板组成;激光雷达连接到支撑板上;支撑板连接到动力传输子系统上;动力传输子系统将所述动力产生子系统的旋转运动传递到支撑板上。
本申请的一种基于激光雷达密集点云的三维目标识别与定位方法,相比于激光雷达和可见光相机数据融合的方法,降低了对可见光环境的依赖,节省了传感器资源;具有更好的识别与分割效率,适合部署在计算资源有限的机器人设备上;通过采用自适应模糊神经推理系统,不仅具有轻量化的结构,还可以自适应于不同的目标物体,因此同时具备良好的计算效率、准确率与鲁棒性,能够符合复杂背景环境下相关工程作业的应用需求。
附图说明
为了更清楚地说明本申请提供的技术方案,下面将对附图作简单地介绍。显而易见地,下面描述的附图仅仅是本申请的一些实施例。
图1为本申请整体流程示意图;
图2为本申请密集点云采集机构示意图;
图3为本申请三维激光密集点云待识别区域相关坐标及二维投影示意图
图4为本申请自适应模糊神经推理系统框架结构示意图。
1、动力产生子系统;2、动力传输子系统;3、激光雷达;4、支撑板。
具体实施方式
为使本申请实施的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行更加详细的描述。
一种基于激光雷达密集点云的三维目标识别与定位方法,如图1所示,包括如下步骤:
步骤S100,采集三维激光密集点云数据,形成激光雷达三维密集点云P3D
如图2所示,密集点云采集机构由一个激光雷达3、一个动力产生子系统1、一个动力传输子系统2和一个支撑板4组成;激光雷达3为VLP-16机械旋转式激光雷达传感器,垂直视场30°,水平视场360°,通过内部旋转机构实现3D点云数据的获取;激光雷达3连接到支撑板4上;支撑板4连接到动力传输子系统2上;动力产生子系统1包括蜗轮蜗杆减速器和相连的42步进电机,产生可控旋转运动输出;动力传输子系统2将动力产生子系统1的旋转运动传递到支撑板4上,实现激光雷达传感器的旋转运动。通过采用密集点云采集机构,不使用可见光即可获得密集点云数据,使用限制较低。
三维激光密集点云数据包含三维点云坐标信息
Figure BDA0003679888840000061
和反射强度,其中
Figure BDA0003679888840000067
的角度分辨率
Figure BDA0003679888840000062
θ的角度分辨率Δθ≤1°。
步骤S200,建立激光雷达坐标系,基于激光雷达三维密集点云P3D构建二维投影图像P2D
构建二维投影图像P2D前先建立激光雷达坐标系,以能够建立三维激光密集点云数据与二维投影图像P2D之间的映射关系。
激光雷达坐标系的建立方法包括:
定义激光雷达坐标系{L}为右手坐标系,以激光雷达传感器中心为原点OL、激光雷达传感器正前方为YL轴方向、垂直激光雷达传感器向上为ZL轴方向;定义方位角
Figure BDA0003679888840000068
为绕所述ZL轴的角度、垂直角θ为绕所述YL轴的角度、点云到激光雷达传感器中心OL的距离为r,则点云的三维坐标记作
Figure BDA0003679888840000063
如图3所示,对于一特定三维激光密集点云待识别区域,该区域的水平角角度范围为
Figure BDA0003679888840000064
垂直角角度范围为[θ12]=[0°,30°],目标识别坐标系{M}为激光雷达坐标系{L}绕YL轴逆时针旋转
Figure BDA0003679888840000065
再绕ZL轴逆时针旋转
Figure BDA0003679888840000066
得到,设平行于XM轴和ZM轴所确定平面的一个平面为β;
设P3D为待识别区域的三维密集点云集合,该点云集合中的每一个三维点由
Figure BDA0003679888840000071
唯一索引;
设P2D为将待识别区域的三维密集点云投影到平面β上所得到的二维投影图像,该二维投影图像中的每个像素点由(u,v)唯一索引,其中u表示像素水平索引、v表示像素竖直索引;
确定三维密集点云的
Figure BDA0003679888840000072
到二维投影图像像素点(u,v)索引的映射关系
Figure BDA0003679888840000073
获得分辨率为
Figure BDA0003679888840000074
的二维投影图像,其中每个二维投影图像像素点的灰度值由对应的三维激光点的反射强度决定;映射关系为:
Figure BDA0003679888840000075
其中,
Figure BDA0003679888840000076
表示
Figure BDA0003679888840000077
的角度分辨率,Δθ表示θ的角度分辨率。
通过公式(1)的映射关系式,能够将三维密集点云数据有效地转化为二维投影图像。
步骤S300,通过卷积神经网络对二维投影图像P2D为进行识别与分割,获取目标物体的二维识别与分割结果,形成目标物体的像素集合P2D target
优选地,卷积神经网络为Mask R-CNN神经网络模型,使用COCO数据集对神经网络模型进行预训练,通过迁移学习的方式完成卷积神经网络的训练;将二维投影图像P2D输入训练完成的神经网络模型,得到目标物体的像素集合P2D target
通过对目标物体进行二维识别与分割,去除图像中的背景,获得目标物体。在一幅二维图像中,目标物体包括如自行车、汽车、人等,背景如天空、白云、花鸟等,通过Mask R-CNN神经网络模型能够有效地去除目标图像的背景,分割效率较高。
获得的这些目标物体中,目前仅有一种目标物体为需要识别与定位的物体,如人,则汽车或自行车等均为背景噪点,需要去除,这些背景噪点需要返回至三维密集点云中才能够有效地去除。
步骤S400,将二维图像中目标物体的像素集合P2D target投影回三维密集点云状态,获得含有背景噪点的目标物体的三维密集点云P3D target
优选地,由二维图像获得三维密集点云的方法为:
确定二维投影图像像素索引到三维密集点云的映射关系
Figure BDA0003679888840000081
Figure BDA0003679888840000082
关系式为:
Figure BDA0003679888840000083
将识别和分割出的所述目标物体的二维像素集记为P2D target,其为所述二维投影图像P2D的一个像素子集,将像素集合P2D target的像素索引记为
Figure BDA0003679888840000084
利用映射关系T′得到
Figure BDA0003679888840000085
Figure BDA0003679888840000086
从P3D中索引出的三维密集点云即为所述目标物体含有背景噪点的三维密集点云P3D target
该步骤同样利用同一激光雷达坐标系中的映射关系将二维图像反推回三维图像,由于三维密集点云P3D构建二维投影图像P2D、二维图像中目标物体的像素集合P2D target,投影回三维密集点云P3D target,在同一坐标系下进行,数据转换的错误率非常低。
步骤S500,构建自适应模糊神经推理系统,针对不同的目标物体训练对应的自适应参数,利用训练好的网络参数去除目标物体的三维密集点云P3D target中的背景噪点,获得不含背景噪点的目标物体的三维密集点云;
目标物体三维密集点云中的噪点为P3D target中的除目标物体本身以外的背景部分的三维点云,噪点与目标物体可在YM方向上进行分离,去除噪点即为在合适的位置截断YM轴并去除噪点部分的三维点云。
把目标物体含有背景噪点的三维密集点云P3D target在YM轴上平均分成Q段,自适应模糊神经推理系统的输入为
Figure BDA0003679888840000087
其中yq表示第q段区域在YM轴上的坐标,nq表示第q段区域内的点云数量,dnq表示第q段与第q-1段区域内点云数量的变化量,
Figure BDA0003679888840000091
表示第q段区域内的点云在ZM方向上的坐标平均值。
如图4所示,优选地,自适应模糊神经推理系统的构建方法为:
1)定义隶属函数和模糊集,模糊集为A,根据共Q段点云的数量和位置属性共定义了八个成员{A1,A2,A3,A4,A5,A6,A7,A8},其中为yq定义了A1和A2两个成员,A1表示第q段区域的点云在YM轴方向上距离原点OM较远、A2表示第q段区域的点云在YM轴方向上距离原点OM较近;为nq定义A3和A4两个成员,A3表示第q段区域内的点云数量少、A4表示第q段区域内的点云数量多;为dnq定义A5和A6两个成员,A5表示第q段区域内点云的数量较相邻的上一段区域内点云的数量变化小、A6表示第q段区域内点云的数量较相邻的上一段区域内点云的数量变化大;为
Figure BDA0003679888840000092
定义A7和A8两个成员,A7表示第q段区域内的点云在ZM轴上的坐标平均值小、A8表示第q段区域内的点云在ZM轴上的坐标平均值大。
所述模糊集A中的成员Ai,i=1,2,…,8,对应的隶属函数记为Si(witem)∈[0,1],其中
Figure BDA0003679888840000093
隶属函数的定义如表1所示,其中k1和k2是两个可调参数,用来调整隶属函数的形状,模糊集以及隶属函数的关系如表2所示;
表1
ANFIS的隶属函数
Figure BDA0003679888840000094
Figure BDA0003679888840000101
Si(witem)越接近1,则说明witem属于Ai的可能性越大,Si(witem)越接近0,则说明witem属于Ai的可能性越小;将所述隶属度函数一共8个可调参数作为自适应参数,记为αi,i=1,2,…,8,具体定义如表2所示;
表2
自适应变量与模糊集以及隶属函数的关系
Figure BDA0003679888840000102
2)基于模糊集A定义如表3所示的模糊规则库,将模糊规则库中的规则记为πj,j=1,2,…,16;对于输入向量wq,第j条规则πj的四个模糊集成员所对应的四个隶属度函数输出中的最小值,作为该规则的推理结果,记为Gj
表3
模糊规则库
Figure BDA0003679888840000103
Figure BDA0003679888840000111
3)对推理结果Gj进行归一化运算,算法为:
Figure BDA0003679888840000112
4)定义规则πj下对背景噪点与目标物体进行分割时的权重为Wj,Wj的取值为{WH、WM、WL},分别表示权重的大、中、小。综合所有模糊规则及相关权重获得输出结果Cq,Cq的运算方法为:
Figure BDA0003679888840000113
通过构建自适应模糊神经推理系统,能够对不同的目标物体设定不同的自适应参数,从而对不同的目标物体进行自适应的识别。
优选地,自适应模糊神经推理系统去除背景噪点的方法为:
步骤一,确定输入变量
Figure BDA0003679888840000114
将目标物体含有背景噪点的三维密集点云P3D target在激光雷达坐标系上分成Q段;
步骤二,设定自适应模糊神经推理系统中的11个自适应参数X=[αi,WH,WM,WL]T,i=1,2,…,8,其中8个隶属函数参数αi,3个权重参数WH,WM,WL,针对每一种目标物体的三维点云,设定误差函数,使用优化算法对所述自适应参数进行训练;
优选地,误差函数定义为:
Figure BDA0003679888840000115
其中,N表示训练集的总数,kE表示第k个训练集中所述目标物体与所述背景噪点的分离位置在YM轴上的坐标,kY(X)表示所述自适应模糊神经推理系统估计的所述分离位置在YM轴上的坐标;
步骤三,将训练结果作为自适应参数,将输入向量wq输入到所述自适应模糊神经推理系统中,得到的输出结果为置信度Cq,将共Q段中所述置信度Cq的最大值所对应的段编号记为qopt,确定第qopt段在激光雷达坐标系上的坐标为
Figure BDA0003679888840000121
步骤四,将坐标
Figure BDA0003679888840000122
作为分离所述目标物体和背景噪点的位置,分离并去除背景噪点部分的三维点云,获得到不含背景噪点的目标物体的三维密集点云。
步骤S600,输入三维密集点云数据,利用三维密集点云相关的T-Net的3D边框估计和中心回归子网络,获得不含背景噪点的目标物体的三维中心,将三维中心的三维坐标数据作为目标物体的定位数据。
本申请通过先采集三维密集点云数据,而后通过建立激光雷达坐标系确定三维密集点云与二维投影图像的映射关系,先将三维密集点云数据转化为二维投影图像来去除背景,得到二维的像素集合,而后再通过激光雷达坐标系将二维的像素集合投影回三维密集点云去除背景噪点,即可得到目标物体的三维坐标数据作为目标物体的定位数据。
本发明包括但不限于以下优势:
1)本发明在没有使用可见光传感器的前提下,通过有效地利用激光雷达密集点云数据,完成了目标识别与定位任务,相比于激光雷达和可见光相机数据融合的方法,降低了对可见光环境的依赖,节省了传感器资源;
2)本发明基于激光雷达密集点云数据获得了周围环境的二维投影图像,并对二维投影图像进行初步目标识别与分割,与传统的直接对三维点云进行识别与分割的方法相比,本方法具有更好的识别与分割效率,在兼顾识别和定位的效率与稳定性的同时使得系统在无可见光环境下仍然具有较好的效果,适合部署在计算资源有限的机器人设备上;
3)本发明提供的一种用于去除背景噪声的自适应模糊神经推理系统,不仅具有轻量化的结构,还可以自适应于不同的目标物体,因此同时具备良好的计算效率、准确率与鲁棒性,能够符合复杂背景环境下相关工程作业的应用需求。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。

Claims (9)

1.一种基于激光雷达密集点云的三维目标识别与定位方法,其特征在于,包括:
采集三维激光密集点云数据,形成激光雷达三维密集点云P3D
建立激光雷达坐标系,基于激光雷达三维密集点云P3D构建二维投影图像P2D
通过卷积神经网络对二维投影图像P2D进行识别与分割,获取目标物体的二维识别与分割结果,形成目标物体的像素集合P2D target
将二维图像中目标物体的像素集合P2D target投影回三维密集点云状态,获得含有背景噪点的目标物体的三维密集点云P3D target
构建自适应模糊神经推理系统,针对不同的目标物体训练对应的自适应参数,利用训练好的网络参数去除目标物体的三维密集点云P3D target中的背景噪点,获得不含背景噪点的目标物体的三维密集点云;
输入三维密集点云数据,利用三维密集点云相关的边框估计和中心回归网络,获得不含背景噪点的目标物体的三维中心,将所述三维中心的三维坐标数据作为目标物体的定位数据。
2.如权利要求1所述的基于激光雷达密集点云的三维目标识别与定位方法,其特征在于,所述激光雷达坐标系的建立方法包括:
定义激光雷达坐标系{L}为右手坐标系,以激光雷达传感器中心为原点OL、激光雷达传感器正前方为YL轴方向、垂直激光雷达传感器向上为ZL轴方向;定义方位角
Figure FDA0003679888830000011
为绕所述ZL轴的角度、垂直角θ为绕所述YL轴的角度、点云到激光雷达传感器中心OL的距离为r,则点云的三维坐标记作
Figure FDA0003679888830000012
3.如权利要求2所述的基于激光雷达密集点云的三维目标识别与定位方法,其特征在于,所述三维密集点云的
Figure FDA0003679888830000013
到二维投影图像像素点(u,v)索引的映射关系为:
Figure FDA0003679888830000021
其中,
Figure FDA0003679888830000022
表示
Figure FDA0003679888830000023
的角度分辨率,Δθ表示θ的角度分辨率。
4.如权利要求1所述的基于激光雷达密集点云的三维目标识别与定位方法,其特征在于,由所述二维图像获得三维密集点云的方法为:
确定二维投影图像像素索引到三维密集点云的映射关系
Figure FDA0003679888830000024
Figure FDA0003679888830000025
将像素集合P2D target的像素索引记为
Figure FDA0003679888830000026
利用映射关系T′得到
Figure FDA0003679888830000027
Figure FDA0003679888830000028
从P3D中索引出的三维密集点云即为所述目标物体含有背景噪点的三维密集点云P3D target
5.如权利要求4所述的基于激光雷达密集点云的三维目标识别与定位方法,其特征在于,所述二维投影图像像素索引到三维密集点云的映射关系的关系式为:
Figure FDA0003679888830000029
6.如权利要求1所述的基于激光雷达密集点云的三维目标识别与定位方法,其特征在于,所述自适应模糊神经推理系统去除背景噪点的方法为:
确定输入变量
Figure FDA00036798888300000210
将目标物体含有背景噪点的三维密集点云P3D target在激光雷达坐标系上分成Q段;
设定自适应模糊神经推理系统中的11个自适应参数X=[αi,WH,WM,WL]T,i=1,2,...,8,其中8个隶属函数参数αi,3个权重参数WH,WM,WL,针对每一种目标物体的三维点云,设定误差函数,使用优化算法对所述自适应参数进行训练;
将训练结果作为自适应参数,将输入向量wq输入到所述自适应模糊神经推理系统中,得到的输出结果为置信度Cq,将共Q段中所述置信度Cq的最大值所对应的段编号记为qopt,确定第qopt段在激光雷达坐标系上的坐标为
Figure FDA0003679888830000031
将坐标
Figure FDA0003679888830000032
作为分离所述目标物体和背景噪点的位置,分离并去除背景噪点部分的三维点云,获得不含背景噪点的目标物体的三维密集点云。
7.如权利要求6所述的基于激光雷达密集点云的三维目标识别与定位方法,其特征在于,所述误差函数定义为:
Figure FDA0003679888830000033
其中,N表示训练集的总数,kE表示第k个训练集中所述目标物体与所述背景噪点的分离位置在YM轴上的坐标,kY(X)表示所述自适应模糊神经推理系统估计的所述分离位置在YM轴上的坐标。
8.如权利要求6所述的基于激光雷达密集点云的三维目标识别与定位方法,其特征在于,所述自适应模糊神经推理系统的构建方法为:
定义隶属函数和模糊集,所述模糊集为A,根据共Q段点云的数量和位置属性共定义了八个成员{A1,A2,A3,A4,A5,A6,A7,A8},对应的隶属函数为Si(witem)∈[0,1],其中,
Figure FDA0003679888830000034
基于模糊集A定义模糊规则库,将所述模糊规则库中的规则记为πj,j=1,2,...,16,对于输入向量wq,将第j条规则πj的四个模糊集成员所对应的四个隶属度函数输出中的最小值,作为该规则的推理结果Gj
对推理结果Gj进行归一化运算,算法为:
Figure FDA0003679888830000035
定义规则πj下对背景噪点与目标物体进行分割时的权重为Wj,Wj的取值为{WH、WM、WL},综合所有模糊规则及相关权重获得输出结果Cq,算法为:
Figure FDA0003679888830000041
9.如权利要求1所述的基于激光雷达密集点云的三维目标识别与定位方法,其特征在于,采用密集点云采集机构采集三维激光点云数据,密集点云采集机构由一个激光雷达(3)、一个动力产生子系统(1)、一个动力传输子系统(2)和一个支撑板(4)组成;激光雷达(3)连接到支撑板(4)上;支撑板(4)连接到动力传输子系统(2)上;动力传输子系统(2)将所述动力产生子系统(1)的旋转运动传递到支撑板(4)上。
CN202210634370.5A 2022-06-06 2022-06-06 一种基于激光雷达密集点云的三维目标识别与定位方法 Active CN115032648B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210634370.5A CN115032648B (zh) 2022-06-06 2022-06-06 一种基于激光雷达密集点云的三维目标识别与定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210634370.5A CN115032648B (zh) 2022-06-06 2022-06-06 一种基于激光雷达密集点云的三维目标识别与定位方法

Publications (2)

Publication Number Publication Date
CN115032648A true CN115032648A (zh) 2022-09-09
CN115032648B CN115032648B (zh) 2024-05-24

Family

ID=83122333

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210634370.5A Active CN115032648B (zh) 2022-06-06 2022-06-06 一种基于激光雷达密集点云的三维目标识别与定位方法

Country Status (1)

Country Link
CN (1) CN115032648B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115240093A (zh) * 2022-09-22 2022-10-25 山东大学 基于可见光和激光雷达点云融合的输电通道自动巡检方法
CN117315183A (zh) * 2023-11-30 2023-12-29 四川鼎鸿智电装备科技有限公司 一种基于激光雷达构建三维地图和作业分析的方法
CN117392000A (zh) * 2023-12-08 2024-01-12 吉咖智能机器人有限公司 一种噪点去除方法、装置、电子设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021041854A1 (en) * 2019-08-30 2021-03-04 Nvidia Corporation Object detection and classification using lidar range images for autonomous machine applications
US11099275B1 (en) * 2020-04-29 2021-08-24 Tsinghua University LiDAR point cloud reflection intensity complementation method and system
CN113743391A (zh) * 2021-11-08 2021-12-03 江苏天策机器人科技有限公司 应用于低速自主驾驶机器人的三维障碍物检测系统与方法
CN114155265A (zh) * 2021-12-01 2022-03-08 南京林业大学 基于yolact的三维激光雷达道路点云分割方法
CN114384543A (zh) * 2022-01-18 2022-04-22 浙江海康智联科技有限公司 一种基于背景去除的路端三维目标检测方法和系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021041854A1 (en) * 2019-08-30 2021-03-04 Nvidia Corporation Object detection and classification using lidar range images for autonomous machine applications
US11099275B1 (en) * 2020-04-29 2021-08-24 Tsinghua University LiDAR point cloud reflection intensity complementation method and system
CN113743391A (zh) * 2021-11-08 2021-12-03 江苏天策机器人科技有限公司 应用于低速自主驾驶机器人的三维障碍物检测系统与方法
CN114155265A (zh) * 2021-12-01 2022-03-08 南京林业大学 基于yolact的三维激光雷达道路点云分割方法
CN114384543A (zh) * 2022-01-18 2022-04-22 浙江海康智联科技有限公司 一种基于背景去除的路端三维目标检测方法和系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
李茁;王田苗;胡坤磊;李晓飞;王肖;: "复杂环境下的激光雷达目标物实时检测方法", 激光杂志, no. 03, 25 March 2018 (2018-03-25) *
杨文秀;付文兴;周志伟;余巍;马杰;: "基于投影降维的激光雷达快速目标识别", 红外与激光工程, no. 1, 25 December 2014 (2014-12-25) *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115240093A (zh) * 2022-09-22 2022-10-25 山东大学 基于可见光和激光雷达点云融合的输电通道自动巡检方法
CN115240093B (zh) * 2022-09-22 2022-12-23 山东大学 基于可见光和激光雷达点云融合的输电通道自动巡检方法
CN117315183A (zh) * 2023-11-30 2023-12-29 四川鼎鸿智电装备科技有限公司 一种基于激光雷达构建三维地图和作业分析的方法
CN117315183B (zh) * 2023-11-30 2024-02-23 四川鼎鸿智电装备科技有限公司 一种基于激光雷达构建三维地图和作业分析的方法
CN117392000A (zh) * 2023-12-08 2024-01-12 吉咖智能机器人有限公司 一种噪点去除方法、装置、电子设备及存储介质
CN117392000B (zh) * 2023-12-08 2024-03-08 吉咖智能机器人有限公司 一种噪点去除方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN115032648B (zh) 2024-05-24

Similar Documents

Publication Publication Date Title
CN109410321B (zh) 基于卷积神经网络的三维重建方法
CN111798475B (zh) 一种基于点云深度学习的室内环境3d语义地图构建方法
CN115032648B (zh) 一种基于激光雷达密集点云的三维目标识别与定位方法
CN113470090A (zh) 基于sift-shot特征的多固态激光雷达外参标定方法
CN111998862B (zh) 一种基于bnn的稠密双目slam方法
CN113706480A (zh) 一种基于关键点多尺度特征融合的点云3d目标检测方法
CN110097047B (zh) 一种基于深度学习采用单线激光雷达的车辆检测方法
CN111860651B (zh) 一种基于单目视觉的移动机器人半稠密地图构建方法
CN111524168A (zh) 点云数据的配准方法、系统、装置及计算机存储介质
CN112946679B (zh) 一种基于人工智能的无人机测绘果冻效应检测方法及系统
CN116222577B (zh) 闭环检测方法、训练方法、系统、电子设备及存储介质
CN115861619A (zh) 一种递归残差双注意力核点卷积网络的机载LiDAR城市点云语义分割方法与系统
CN111028238A (zh) 一种基于机器人视觉的复杂异形曲面三维分割方法及系统
CN104751451B (zh) 基于无人机低空高分辨率影像的密集点云提取方法
CN113724387A (zh) 一种激光与相机融合的地图构建方法
CN115128628A (zh) 基于激光slam和单目视觉的道路栅格地图构建方法
CN115359474A (zh) 适用于移动端的轻量级三维目标检测方法、装置及介质
CN116958420A (zh) 一种数字人教师三维人脸的高精度建模方法
CN115222884A (zh) 一种基于人工智能的空间对象分析及建模优化方法
CN114820668A (zh) 一种端到端的基于同心环卷积的建筑物规则轮廓自动提取方法
CN110910349A (zh) 一种基于航拍视觉的风电机组状态获取方法
CN112750155B (zh) 基于卷积神经网络的全景深度估计方法
CN116958434A (zh) 多视图三维重建方法、测量方法及系统
CN112950786A (zh) 一种基于神经网络的车辆三维重建方法
CN114608522B (zh) 一种基于视觉的障碍物识别与测距方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant