CN113536232B - 用于无人驾驶中激光点云定位的正态分布变换方法 - Google Patents

用于无人驾驶中激光点云定位的正态分布变换方法 Download PDF

Info

Publication number
CN113536232B
CN113536232B CN202110718013.2A CN202110718013A CN113536232B CN 113536232 B CN113536232 B CN 113536232B CN 202110718013 A CN202110718013 A CN 202110718013A CN 113536232 B CN113536232 B CN 113536232B
Authority
CN
China
Prior art keywords
point cloud
matrix
normal distribution
voxel
fixed point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110718013.2A
Other languages
English (en)
Other versions
CN113536232A (zh
Inventor
邓岂
孙豪
哈亚军
汪辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ShanghaiTech University
Original Assignee
ShanghaiTech University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ShanghaiTech University filed Critical ShanghaiTech University
Priority to CN202110718013.2A priority Critical patent/CN113536232B/zh
Priority to PCT/CN2021/119506 priority patent/WO2023272964A1/zh
Priority to US17/802,148 priority patent/US11845466B2/en
Publication of CN113536232A publication Critical patent/CN113536232A/zh
Application granted granted Critical
Publication of CN113536232B publication Critical patent/CN113536232B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408—Radar; Laser, e.g. lidar
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B60W2554/4049—Relationship among other objects, e.g. converging dynamic objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Mathematical Analysis (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Computational Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Transportation (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Computer Graphics (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Operations Research (AREA)
  • Probability & Statistics with Applications (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种用于无人驾驶中激光点云定位的正态分布变换方法，提出了一种新的非递归和内存有效的结构OAVS(占据感知体素结构)，它有助于加快每次搜索操作的速度，与基于树的结构相比，所提出的OAVS易于并行化，并且只占约1/10的内存消耗；基于OAVS数据结构，提出了一种SEO‑NDT算法，以明显减少搜索操作的次数，重新定义了影响搜索操作次数的参数，并删除了冗余的搜索操作；提出了一种流式FPGA加速器架构，进一步提高SEO‑NDT算法的实时性和节能性。实现了智能汽车3D‑LiDAR定位的实时性和高精度要求。

Description

用于无人驾驶中激光点云定位的正态分布变换方法
技术领域
本发明涉及一种3D点云定位技术，特别涉及一种用于无人驾驶中激光点云定位的正态分布变换(NDT)方法。
背景技术
正态分布变换(NDT)算法用于对二维或三维的点云进行配准，广泛地用于智能车、3D重建、运动估计、目标检测和姿态估计、同步建图和定位(SLAM)等方面。在智能车领域，定位是最基本也是最重要的任务，基于NDT系统的定位系统被广泛的用于以激光雷达作为主传感器的自动驾驶系统中。
正态分布变换(NDT)算法把目标点云划分成一系列的网格，并使用正态分布去表示每一个点云中的点的分布。通过这种变换把点云和点云的配准转换成了点云和正态分布的配准从而提高了算法的速度并提升了算法的鲁棒性。
当前的自动驾驶系统通常使用64线或128线甚至更高的激光雷达来作为定位算法的主传感器，其采样频率也逐渐提高，未来将会达到30Hz。在这样的条件下，激光雷达每秒输入的点的数目将接近百万，这对定位系统的实时性提出了很大的挑战。经过测试，传统NDT算法在嵌入式的ARM平台只能达到2Hz的输入频率，远远不能达到实时性的要求。
为了满足NDT算法实现实时性要求，前人从两个方面进行了研究。一方面，他们的目标是减少搜索迭代的次数。文献[1]提出了多层NDT来表示点云，以获得更少的迭代次数和更长的距离测量能力。然而，更新所有层的NDT需要太多的内存和不可接受的时间。文献[2]对文献[1]进行了改进，提出了一种关键层 NDT算法，该方法只需搜索关键层即可满足更高层的终止条件。遗憾的是，此方法不能满足实时性的要求。另一方面，研究者的目标是减少每次迭代的运行时间。文献[3]、[4]将点到分布NDT扩展到分布到分布NDT，将一组点转换为分布，以减少每次迭代的运行时间。然而，D2D-NDT方法在处理智能车辆中海量和不均匀的LiDAR点云时，精度较差，执行时间较慢。文献[5]提出了语义辅助NDT对点云进行分类，并通过分割方法[6]、[7]、[8]去除动态对象。尽管如此，文献[5]仅删除了有限数量的点，并且需要额外的时间进行点云分割。总体而言，在处理大型点云时，上述方法不能达到实时性。
因此，随着新一代激光雷达产生的点云数目的增多以及自动驾驶车辆运行速度的增加，运行在车载工控机上的NDT算法，愈来愈难满足实时性的要求。而智能车对电池使用的严格约束，也对NDT算法提出了能耗方面的要求。这要求研究者们必须根据自动驾驶场景下激光点云的分布设计一种能够使用高能效异构计算器件(FPGA或GPU)来加速定位过程以满足实时性要求的改进版NDT 算法。
[1]C.Ulas and H.Temeltas,“A fast and robust feature-based scan-matching method in 3d slam and the effect of sampling strategies,”2013.
[2]H.Hong and B.H.Lee,“Key-layered normal distributions transform forpoint cloud registration,”Electronics Letters,vol.51,no.24,p.1986–1988,2015.
[3]T.Stoyanov,M.Magnusson,H.Andreasson,and A.J.Lilienthal,“Fast andaccurate scan registration through minimization of the distance betweencompact 3d ndt representations,”The International Journal of RoboticsResearch,vol.31,no.12, p.1377–1393,Oct 2012.
[4]S.Lam,G.Jiang,M.Wu,and B.Cao,“Area-time efficient streamingarchitecture for fast and brief detector,”IEEE Transactions on Circuits andSystems II:Express Briefs,vol.66,no.2,pp.282–286,Feb 2019.
[5]A.Zaganidis,A.Zerntev,T.Duckett,and G.Cielniak,“Semanticallyassisted loop closure in slam using ndt histograms,”2019 IEEE/RSJInternational Conference on Intelligent Robots and Systems(IROS),2019.
[6]L.Bai,Y.Lyu,and X.Huang,“Roadnet-rt:High throughput cnnarchitecture and soc design for real-time road segmentation,”IEEETransactions on Circuits and Systems I:Regular Papers,vol.68,no.2,p.704–714,Feb 2021.
[7]X.Chang,H.Pan,W.Lin,and H.Gao,“A mixed-pruning based framework forembedded convolutional neural network acceleration,”IEEE Transactions onCircuits and Systems I:Regular Papers,p.1–10,2021.
[8]H.Zhang,Y.Shu,W.Jiang,Z.Yin,W.Zhao,and Y.Ha,“A55nm,0.4v 5526-tops/w compute-in-memory binarized cnn accelerator for aiot applications,” IEEETransactions on Circuits and Systems II:Express Briefs,pp.1–1,2021.
发明内容
为了满足无人驾驶定位数据实时高效性的问题，提出了一种用于无人驾驶中激光点云定位的正态分布变换方法，包含一种新的非迭代的，内存高效的数据结构(OAVS占据感知体素结构)，实现了智能汽车3D-LiDAR定位的实时性和高精度要求。
本发明的技术方案为：一种用于无人驾驶中激光点云定位的正态分布变换方法，具体包括如下步骤：
1)OAVS数据结构的建立：
1.1)定义激光雷达前一次扫描输入的点云为固定点云PF，根据输入的固定点云PF，计算其轴对齐边界框；
1.2)根据预设置的尺度参数R1，将步骤1.1)获得的轴对齐边界框分割为一系列边长为R1的三维立体空间体，每个边长为R1的三维立体空间体定义为一个体素；
1.3)统计每个体素中点的个数，对于包含点数超过阈值Thp的体素空间，对其再次进行分割，得到一系列边长为R2的三维立体空间体，R2＜R1，每个边长为 R2的三维立体空间体定义为一个子体素，体素与子体素组成OAVS数据结构；
2)基于OAVS数据结构对固定点云建立正态分布信息，并对搜索操作进行优化，以提高正态分布变换算法的实时性，具体如下：
2.1)首先对固定点云PF做分割，使用开源的点云分割神经网络Cylinder3D提取出点云中不同的识别物类别；
2.2)对固定点云PF建立正态分布变换信息，对于固定点云PF对应的OAVS中每个子体素，计算其中每个类别点集的正态分布变换信息，即每个子体素中每个类别的均值和方差；；
2.3)配准移动点云PM与建立正态分布变换信息后的固定点云PF：
对于移动点云中的每一个点
Figure RE-GDA0003226143200000041
执行以下操作：
2.3.1)根据位姿转换矩阵T，将点
Figure RE-GDA0003226143200000042
转换到固定点云的坐标系中,转换后的每个点为
Figure RE-GDA0003226143200000043
得到配准后在固定点云的坐标系中的移动点云
Figure RE-GDA0003226143200000044
2.3.2)在固定点云的子体素空间中，搜索
Figure RE-GDA0003226143200000045
所在的子体素o，根据
Figure RE-GDA0003226143200000046
所属类别 j，计算
Figure RE-GDA0003226143200000047
与此子体素的正态分布匹配的概率：
Figure RE-GDA0003226143200000048
其中
Figure RE-GDA0003226143200000049
公式是矩阵
Figure RE-GDA00032261432000000410
的转置矩阵乘以∑oj矩阵的逆矩阵再乘以矩阵
Figure RE-GDA00032261432000000411
均值μoj为子体素o中类别为j的均值，∑oj为子体素o中类别为j的方差；
2.3.3)并根据步骤2.3.2)计算的概率，得到总的匹配得分
Figure RE-GDA00032261432000000412
为了求得最佳的位姿转换矩阵T，获得最佳的匹配得分，使用牛顿高斯迭代法来求解位姿转换矩阵T；
2.3.4)记score函数的一阶导数梯度矩阵为
Figure RE-GDA00032261432000000413
二阶导数海瑟矩阵为H；
2.3.5)通过求解
Figure RE-GDA00032261432000000414
得到位姿态旋转矩阵T的增量ΔT；
2.3.6)通过T←T+ΔT，更新位姿态旋转矩阵T；
2.3.7)如果score函数没有收敛到期望阈值以下，即移动点云PM与固定点云PF的匹配程度没有达到期望，回到步骤2.3.1)，用步骤2.3.6)更新的位姿旋转矩阵T重新定义位姿转换矩阵T，重复步骤2.3.1)到2.3.6)直至score函数收敛至期望阈值以下。
2.3.8)步骤2.3.7)获得的最终位姿转换矩阵T即所求的移动点云相对固定点云的位姿转换矩阵。
进一步，所述步骤2.2)在建立正态分布转换信息阶段，分割后的固定点云被流式地传入FPGA加速器，进行步骤1)建立OAVS数据结构，并计算每个子体素的正态分布变换信息。
进一步，所述步骤2.3)配准阶段，分割后的移动点云被流式地传入FPGA 加速器，以数据流和流水线的形式被高效处理，得到梯度矩阵与海瑟矩阵。
本发明的有益效果在于：本发明用于无人驾驶中激光点云定位的正态分布变换方法，提出了一种新的非递归和内存有效的结构OAVS(占据感知体素结构)，它有助于加快每次搜索操作的速度，与基于树的结构相比，所提出的OAVS易于并行化，并且只占约1/10的内存消耗；基于OAVS数据结构，提出了一种SEO-NDT 算法，以明显减少搜索操作的次数，重新定义了影响搜索操作次数的参数，并删除了冗余的搜索操作；提出了一种流式FPGA加速器架构，进一步提高SEO-NDT 算法的实时性和节能性。
附图说明
图1为本发明用于无人驾驶中激光点云定位的正态分布变换方法协作框架图。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
本发明提供了一种用于无人驾驶中激光点云定位的正态分布变换方法，并使用高层次综合工具在FPGA上实现。本发明包含一种新的非递归和内存高效的数据结构OAVS(占据感知体素结构)，一种基于OAVS数据结构的实时SEO(语义分割优化)-NDT(正态分布变换)算法，以及一种流式的FPGA加速器架构。
构建具体步骤如下：
1、OAVS数据结构的建立过程如下所示：
1.1、根据输入的固定点云PF，计算其轴对齐边界框(AABB，axially alignedbounding box)；
1.2、根据预设置的尺度参数R1，将上一步获得的轴对齐边界框分割为一系列边长为R1的三维立体空间体，每个边长为R1的三维立体空间体定义为一个体素。
1.3、统计每个体素中点的个数，对于包含点数超过阈值Thp的体素空间，对其再次进行分割，得到一系列边长为R2(R2＜R1)的三维立体空间体，每个边长为R2的三维立体空间体定义为一个子体素。体素与子体素组成OAVS(占据感知体素结构)数据结构。
2、基于OAVS数据结构的实时SEO-NDT算法具体如下所示：
2.1、定义激光雷达前一次扫描输入的点云为固定点云PF。首先对固定点云 PF做分割，使用开源的点云分割神经网络Cylinder3D提取出点云中不同的识别物类别。这里点云会被分割成25种，分别是1)车、2)自行车、3)摩托车、 4)货车、5)其它车、6)人、7)骑自行车的人、8)骑摩托车的人、9)路面、10)停车线、11)斑马线、12)其它地面、13)建筑物、14)围墙、15)绿色植被、16)树干、17)坡道、18)路标、19)交通标志、20)移动的车、21) 移动的人、22)移动的自行车、23)移动的货车、24)移动的其它车辆。
2.2、对固定点云PF建立正态分布变换信息。对于固定点云PF对应的OAVS 中每个子体素，计算其中每个类别点集的正态分布变换信息，即每个子体素的类别均值和方差。均值为
Figure RE-GDA0003226143200000061
与方差为
Figure RE-GDA0003226143200000062
其中下标o表示第o个子体素，下标j表示第j个类别，下标k表示子体素中第 k个点，pkoi表示第o个子体素中类别为j的点集中序号为k的点的坐标(x,y,z)， m是第o个子体素中类别为j的点的数目，(pkoi-μoi)T为(pkoi-μoi)的转置矩阵。如果某个子体素中有多个类别的点云，则计算该子体素中所有类别点集的正态分布变换信息。即某子体素中有几个类别的点云，就得到几个均值与方差。
2.3、配准移动点云PM与建立正态分布变换信息后的固定点云PF。对于移动点云中的每一个点
Figure RE-GDA0003226143200000063
执行以下操作：
2.3.1、根据位姿转换矩阵T，将点
Figure RE-GDA0003226143200000064
转换到固定点云的坐标系中,转换后的每个点为
Figure RE-GDA0003226143200000065
得到配准后在固定点云的坐标系中的移动点云
Figure RE-GDA0003226143200000066
2.3.2、在固定点云的子体素空间中，搜索
Figure RE-GDA0003226143200000067
所在的子体素，根据
Figure RE-GDA0003226143200000068
所属类别j，计算
Figure RE-GDA0003226143200000069
与此子体素的正态分布匹配的概率：
Figure RE-GDA0003226143200000071
其中
Figure RE-GDA0003226143200000072
公式是矩阵
Figure RE-GDA0003226143200000073
的转置矩阵乘以∑oj矩阵的逆矩阵再乘以矩阵
Figure RE-GDA0003226143200000074
2.3.3、并根据此概率，得到总的匹配得分
Figure RE-GDA0003226143200000075
为了求得最佳的位姿转换矩阵T，获得最佳的匹配得分，使用牛顿高斯迭代法来求解位姿转换矩阵T。
2.3.4、记score函数的一阶导数梯度矩阵为
Figure RE-GDA0003226143200000076
二阶导数海瑟矩阵为H。
2.3.5、通过求解
Figure RE-GDA0003226143200000077
得到位姿态旋转矩阵T的增量ΔT。
2.3.6、通过T←T+ΔT，更新位姿态旋转矩阵T。
2.3.7、如果score函数没有收敛到期望阈值以下，即移动点云PM与固定点云 PF的匹配程度没有达到期望，回到步骤2.3.1，用步骤2.3.6更新的位姿旋转矩阵T重新定义位姿转换矩阵T，重复步骤2.3.1到2.3.6直至score函数收敛至期望阈值以下。
2.3.8、步骤2.3.7获得的最终位姿转换矩阵T即所求的移动点云相对固定点云的位姿转换矩阵。
上述算法的伪代码如下：
Figure RE-GDA0003226143200000081
流式的FPGA加速器架构如图1所示。在建立正态分布转换信息阶段，分割后的固定点云被流式地传入FPGA加速器，建立OAVS数据结构，并计算每个子体素的正态分布变换信息。在配准阶段，分割后的移动点云同样被流式地传入 FPGA加速器，以数据流和流水线的形式被高效处理，得到梯度矩阵与海瑟矩阵。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (3)

1.一种用于无人驾驶中激光点云定位的正态分布变换方法，其特征在于，具体包括如下步骤：
1)OAVS数据结构的建立：
1.1)定义激光雷达前一次扫描输入的点云为固定点云PF，根据输入的固定点云PF，计算其轴对齐边界框；
1.2)根据预设置的尺度参数R1，将步骤1.1)获得的轴对齐边界框分割为一系列边长为R1的三维立体空间体，每个边长为R1的三维立体空间体定义为一个体素；
1.3)统计每个体素中点的个数，对于包含点数超过阈值Thp的体素空间，对其再次进行分割，得到一系列边长为R2的三维立体空间体，R2＜R1，每个边长为R2的三维立体空间体定义为一个子体素，体素与子体素组成OAVS数据结构；
2)基于OAVS数据结构对固定点云建立正态分布信息，并对搜索操作进行优化，以提高正态分布变换算法的实时性，具体如下：
2.1)首先对固定点云PF做分割，使用开源的点云分割神经网络Cylinder3D提取出点云中不同的识别物类别；
2.2)对固定点云PF建立正态分布变换信息，对于固定点云PF对应的OAVS中每个子体素，计算其中每个类别点集的正态分布变换信息，即每个子体素中每个类别的均值和方差；
2.3)配准移动点云PM与建立正态分布变换信息后的固定点云PF：
对于移动点云中的每一个点
Figure FDA0003135649720000011
执行以下操作：
2.3.1)根据位姿转换矩阵T，将点
Figure FDA0003135649720000012
转换到固定点云的坐标系中,转换后的每个点为
Figure FDA0003135649720000013
得到配准后在固定点云的坐标系中的移动点云
Figure FDA0003135649720000014
2.3.2)在固定点云的子体素空间中，搜索
Figure FDA0003135649720000015
所在的子体素o，根据
Figure FDA0003135649720000016
所属类别j，计算
Figure FDA0003135649720000017
与此子体素的正态分布匹配的概率：
Figure FDA0003135649720000018
其中
Figure FDA0003135649720000019
公式是矩阵
Figure FDA0003135649720000021
的转置矩阵乘以∑oj矩阵的逆矩阵再乘以矩阵
Figure FDA0003135649720000022
均值μoj为子体素o中类别为j的均值，∑oj为子体素o中类别为j的方差；
2.3.3)并根据步骤2.3.2)计算的概率，得到总的匹配得分
Figure FDA0003135649720000023
为了求得最佳的位姿转换矩阵T，获得最佳的匹配得分，使用牛顿高斯迭代法来求解位姿转换矩阵T；
2.3.4)记score函数的一阶导数梯度矩阵为
Figure FDA0003135649720000024
二阶导数海瑟矩阵为H；
2.3.5)通过求解
Figure FDA0003135649720000025
得到位姿态旋转矩阵T的增量ΔT；
2.3.6)通过T←T+ΔT，更新位姿态旋转矩阵T；
2.3.7)如果score函数没有收敛到期望阈值以下，即移动点云PM与固定点云PF的匹配程度没有达到期望，回到步骤2.3.1)，用步骤2.3.6)更新的位姿旋转矩阵T重新定义位姿转换矩阵T，重复步骤2.3.1)到2.3.6)直至score函数收敛至期望阈值以下；
2.3.8)步骤2.3.7)获得的最终位姿转换矩阵T即所求的移动点云相对固定点云的位姿转换矩阵。
2.根据权利要求1所述用于无人驾驶中激光点云定位的正态分布变换方法，其特征在于，所述步骤2.2)在建立正态分布转换信息阶段，分割后的固定点云被流式地传入FPGA加速器，进行步骤1)建立OAVS数据结构，并计算每个子体素的正态分布变换信息。
3.根据权利要求2所述用于无人驾驶中激光点云定位的正态分布变换方法，其特征在于，所述步骤2.3)配准阶段，分割后的移动点云被流式地传入FPGA加速器，以数据流和流水线的形式被高效处理，得到梯度矩阵与海瑟矩阵。
CN202110718013.2A 2021-06-28 2021-06-28 用于无人驾驶中激光点云定位的正态分布变换方法 Active CN113536232B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202110718013.2A CN113536232B (zh) 2021-06-28 2021-06-28 用于无人驾驶中激光点云定位的正态分布变换方法
PCT/CN2021/119506 WO2023272964A1 (zh) 2021-06-28 2021-09-22 用于无人驾驶中激光点云定位的正态分布变换方法
US17/802,148 US11845466B2 (en) 2021-06-28 2021-09-22 Normal distributions transform (NDT) method for LiDAR point cloud localization in unmanned driving

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110718013.2A CN113536232B (zh) 2021-06-28 2021-06-28 用于无人驾驶中激光点云定位的正态分布变换方法

Publications (2)

Publication Number Publication Date
CN113536232A CN113536232A (zh) 2021-10-22
CN113536232B true CN113536232B (zh) 2023-03-21

Family

ID=78125957

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110718013.2A Active CN113536232B (zh) 2021-06-28 2021-06-28 用于无人驾驶中激光点云定位的正态分布变换方法

Country Status (3)

Country Link
US (1) US11845466B2 (zh)
CN (1) CN113536232B (zh)
WO (1) WO2023272964A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11138348B2 (en) * 2018-10-09 2021-10-05 Intel Corporation Heterogeneous compute architecture hardware/software co-design for autonomous driving
CN115877349B (zh) * 2023-02-20 2023-05-23 北京理工大学 一种基于激光雷达的交叉路口车辆定位方法及系统
CN118429398A (zh) * 2023-07-24 2024-08-02 白城师范学院 基于自适应分割模型的车载激光雷达点云配准方法及系统
CN117007061B (zh) * 2023-08-07 2024-06-04 重庆大学 一种用于无人驾驶平台的基于地标的激光slam方法
CN116758238B (zh) * 2023-08-17 2024-01-23 山东高速工程检测有限公司 一种基于车载激光点云公路护栏自动建模方法
CN117968682B (zh) * 2024-04-01 2024-07-02 山东大学 基于多线激光雷达和惯性测量单元的动态点云去除方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019174236A1 (zh) * 2018-03-14 2019-09-19 浙江大学 一种基于ViBe的三维声纳点云图像分割方法
CN110689576A (zh) * 2019-09-29 2020-01-14 桂林电子科技大学 一种基于Autoware的动态3D点云正态分布AGV定位方法
CN111505662A (zh) * 2020-04-29 2020-08-07 北京理工大学 一种无人驾驶车辆定位方法及系统
CN111860340A (zh) * 2020-07-22 2020-10-30 上海科技大学 用于无人驾驶的三维激光雷达点云高效k-最近邻搜索算法
WO2021021862A1 (en) * 2019-07-29 2021-02-04 Board Of Trustees Of Michigan State University Mapping and localization system for autonomous vehicles
WO2021088481A1 (zh) * 2019-11-08 2021-05-14 南京理工大学 一种基于条纹投影的高精度动态实时360度全方位点云获取方法
CN112837354A (zh) * 2021-02-02 2021-05-25 北京超星未来科技有限公司 一种基于gpu的ndt点云配准算法、装置及电子设备

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3078935A1 (en) * 2015-04-10 2016-10-12 The European Atomic Energy Community (EURATOM), represented by the European Commission Method and device for real-time mapping and localization
US11010928B2 (en) * 2018-04-10 2021-05-18 Apple Inc. Adaptive distance based point cloud compression
US11409998B2 (en) * 2019-10-02 2022-08-09 Apple Inc. Trimming search space for nearest neighbor determinations in point cloud compression
CN111949943B (zh) * 2020-07-24 2022-08-30 北京航空航天大学 一种面向高级自动驾驶的v2x和激光点云配准的车辆融合定位方法
CN112946681B (zh) 2021-05-17 2021-08-17 知行汽车科技（苏州）有限公司 融合组合导航信息的激光雷达定位方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019174236A1 (zh) * 2018-03-14 2019-09-19 浙江大学 一种基于ViBe的三维声纳点云图像分割方法
WO2021021862A1 (en) * 2019-07-29 2021-02-04 Board Of Trustees Of Michigan State University Mapping and localization system for autonomous vehicles
CN110689576A (zh) * 2019-09-29 2020-01-14 桂林电子科技大学 一种基于Autoware的动态3D点云正态分布AGV定位方法
WO2021088481A1 (zh) * 2019-11-08 2021-05-14 南京理工大学 一种基于条纹投影的高精度动态实时360度全方位点云获取方法
CN111505662A (zh) * 2020-04-29 2020-08-07 北京理工大学 一种无人驾驶车辆定位方法及系统
CN111860340A (zh) * 2020-07-22 2020-10-30 上海科技大学 用于无人驾驶的三维激光雷达点云高效k-最近邻搜索算法
CN112837354A (zh) * 2021-02-02 2021-05-25 北京超星未来科技有限公司 一种基于gpu的ndt点云配准算法、装置及电子设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"An Improved RANSAC for 3D Point Cloud Plane Segmentation Based on Normal Distribution Transformation Cells";Lin Li et al.;《Remote Sensing》;20170503;第9卷(第5期);第1-16页 *
"面向结构化场景的激光雷达点云高精度配准与定位方法";何洪磊等;《导航定位与授时》;20210131;第8卷(第1期);第133-142页 *

Also Published As

Publication number Publication date
US11845466B2 (en) 2023-12-19
CN113536232A (zh) 2021-10-22
US20230192123A1 (en) 2023-06-22
WO2023272964A1 (zh) 2023-01-05

Similar Documents

Publication Publication Date Title
CN113536232B (zh) 用于无人驾驶中激光点云定位的正态分布变换方法
Wang et al. A review of vehicle detection techniques for intelligent vehicles
WO2023098018A1 (zh) 一种基于多帧点云的运动目标检测系统和方法
CN115451983B (zh) 一种复杂场景下的动态环境建图与路径规划方法及装置
CN113506318A (zh) 一种车载边缘场景下的三维目标感知方法
CN113706710A (zh) 基于fpfh特征差异的虚拟点多源点云融合方法及系统
Song et al. Msfanet: A light weight object detector based on context aggregation and attention mechanism for autonomous mining truck
CN116258903A (zh) 基于层次化图卷积网络和空间注意力机制的三维点云数据分类方法
Zheng et al. Dim target detection method based on deep learning in complex traffic environment
CN114821508A (zh) 基于隐式上下文学习的道路三维目标检测方法
Zhou et al. A lidar mapping system for robot navigation in dynamic environments
Wang et al. LiDAR-SLAM loop closure detection based on multi-scale point cloud feature transformer
CN117671666A (zh) 一种基于自适应图卷积神经网络的目标识别方法
CN117036373A (zh) 基于圆函数双线性正则编解码网络的大规模点云分割方法
CN115082902B (zh) 一种基于激光雷达点云的车辆目标检测方法
CN112749662B (zh) 一种基于激光雷达的非结构化环境可行驶区域提取方法
Song et al. SSF-MOS: Semantic Scene Flow Assisted Moving Object Segmentation for Autonomous Vehicles
Huang et al. Improved small-object detection using YOLOv8: A comparative study
Gao et al. CVR-LSE: Compact Vectorized Representation of Local Static Environments for Reliable Obstacle Detection
Lian et al. Study on obstacle detection and recognition method based on stereo vision and convolutional neural network
Zhang et al. Road segmentation using point cloud BEV based on fully convolution network
Liu et al. Fusenet: 3d object detection network with fused information for lidar point clouds
Zhang et al. Real time object detection based on FPGA with big data
CN111597665B (zh) 一种基于网络分区的层次网络嵌入方法
Tian et al. Multi-Scale Dilated Sparse Convolution for 3D Point Cloud Object Detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant