CN115308746A - 点云数据的滤噪方法、装置和自动驾驶车辆 - Google Patents
点云数据的滤噪方法、装置和自动驾驶车辆 Download PDFInfo
- Publication number
- CN115308746A CN115308746A CN202210969240.7A CN202210969240A CN115308746A CN 115308746 A CN115308746 A CN 115308746A CN 202210969240 A CN202210969240 A CN 202210969240A CN 115308746 A CN115308746 A CN 115308746A
- Authority
- CN
- China
- Prior art keywords
- point cloud
- grid
- cloud data
- small object
- grids
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001914 filtration Methods 0.000 title claims abstract description 71
- 238000000034 method Methods 0.000 title claims abstract description 71
- 238000012545 processing Methods 0.000 claims abstract description 32
- 238000009792 diffusion process Methods 0.000 claims abstract description 27
- 238000013507 mapping Methods 0.000 claims abstract description 12
- 238000004590 computer program Methods 0.000 claims description 12
- 239000007787 solid Substances 0.000 claims description 7
- 238000002372 labelling Methods 0.000 claims 1
- 238000004422 calculation algorithm Methods 0.000 description 14
- 238000005070 sampling Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 230000007613 environmental effect Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 241000256626 Pterygota <winged insects> Species 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000001208 nuclear magnetic resonance pulse sequence Methods 0.000 description 3
- 239000000523 sample Substances 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000000691 measurement method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 239000010893 paper waste Substances 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 230000010363 phase shift Effects 0.000 description 2
- 230000003252 repetitive effect Effects 0.000 description 2
- 230000000717 retained effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000000725 suspension Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
- G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
- G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
- G01S7/36—Means for anti-jamming, e.g. ECCM, i.e. electronic counter-counter measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W2050/0001—Details of the control system
- B60W2050/0043—Signal treatments, identification of variables or parameters, parameter estimation or state estimation
- B60W2050/0052—Filtering, filters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Remote Sensing (AREA)
- Theoretical Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Computer Networks & Wireless Communication (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Human Computer Interaction (AREA)
- Automation & Control Theory (AREA)
- Electromagnetism (AREA)
- Image Processing (AREA)
Abstract
一种点云数据的滤噪方法、装置和自动驾驶车辆,所述方法包括:获取雷达采集的点云数据,并将所述点云数据映射到三维体素栅格中;确定每个三维体素栅格对应的点云点数量,并滤除所述点云点数量小于第一阈值的三维体素栅格中的点云数据;计算每个三维体素栅格的空间体积率,并将所述空间体积小于第二阈值的三维体素栅格标记为潜在小物体栅格;对所述潜在小物体栅格进行扩散查找,以确定所述潜在小物体栅格中与实体障碍物栅格相连的伪小物体栅格,并将除所述伪小物体栅格标记为真实小物体栅格。本发明的滤噪方法能够由车载图像处理单元并行执行,大幅度提高了运算速度。
Description
技术领域
本发明涉及自动驾驶车辆领域,更具体地,涉及一种点云数据的滤噪方法、装置和自动驾驶车辆。
背景技术
近几年来,自动驾驶技术发展迅速,精准避障能力在复杂场景中尤为重要。随着传感器精度的提升,自动驾驶车辆能感知到的颗粒度也越来越小,能感知的数据也越来越多。但在众多数据中,存在多个与主车避障无关的噪声数据。此时,如果能够执行快速滤噪运算,不仅能减轻下游模块的运算量,同时也能在不影响自动驾驶安全性的情况下,减少车辆由于噪声导致的避障急刹,提升车辆自动驾驶的流畅度。
发明内容
在发明内容部分中引入了一系列简化形式的概念,这将在具体实施方式部分中进一步详细说明。本发明的发明内容部分并不意味着要试图限定出所要求保护的技术方案的关键特征和必要技术特征,更不意味着试图确定所要求保护的技术方案的保护范围。
针对现有技术的不足,本发明实施例第一方面提出了一种点云数据的滤噪方法,所述方法用于车载图像处理单元,所述方法包括:
获取雷达采集的点云数据,并将所述点云数据映射到三维体素栅格中;
确定所述三维体素栅格中每个体素栅格对应的点云点数量,并滤除所述点云点数量小于第一阈值的体素栅格对应的点云数据;
计算每个所述体素栅格的空间体积率,并将所述空间体积小于第二阈值的体素栅格标记为潜在小物体栅格;
对所述潜在小物体栅格进行扩散查找,以确定所述潜在小物体栅格中与实体障碍物栅格相连的伪小物体栅格,并将除所述伪小物体栅格以外的潜在小物体栅格标记为真实小物体栅格,以及将与所述真实小物体栅格对应的点云数据标记为噪声数据。
在一些实施例中,所述方法还包括:根据所述点云数据与所述三维体素栅格的映射关系,滤除所述真实小物体栅格对应的点云数据。
在一些实施例中,所述方法还包括:所述对所述潜在小物体栅格进行扩散查找,以确定所述潜在小物体栅格中与实体障碍物栅格相连的伪小物体栅格,包括:
对所述潜在小物体栅格进行一次或多次卷积扩散,使所述潜在小物体栅格中的伪小物体栅格与所述实体障碍物栅格相连;
在一些实施例中,所述方法还包括:所述对所述潜在小物体栅格进行扩散查找,以确定所述潜在小物体栅格中与实体障碍物栅格相连的伪小物体栅格,包括:
对所述实体障碍物栅格进行一次或多次卷积扩散,使所述实体障碍物栅格与所述潜在小物体栅格中的伪小物体栅格相连。
在一些实施例中,所述方法还包括:所述计算每个所述体素栅格的空间体积率,包括:
对每个所述体素栅格进行三维卷积,以得到所述体素栅格的空间体积率。
在一些实施例中,所述方法还包括:所述将所述点云数据映射到三维体素栅格中,包括:
通过所述车载图像处理单元的多个并行运算单元,并行地建立所述点云数据与所述三维体素栅格的映射关系。
在一些实施例中,所述方法还包括:所述确定所述三维体素栅格中每个体素栅格对应的点云点数量,并滤除所述点云点数量小于第一阈值的体素栅格对应的点云数据,包括:
通过所述车载图像处理单元的多个并行运算单元,并行地遍历每个所述体素栅格,以滤除所述点云点数量小于第一阈值的体素栅格对应的点云数据。
在一些实施例中,所述方法还包括:所述计算每个所述体素栅格的空间体积率,并将所述空间体积小于第二阈值的体素栅格标记为潜在小物体栅格,包括:
通过所述车载图像处理单元的多个并行运算单元,并行地遍历每个所述体素栅格,以标记所述潜在小物体栅格。
在一些实施例中,所述方法还包括:所述对所述潜在小物体栅格进行扩散查找,包括:
通过所述车载图像处理单元的多个并行运算单元,并行地对每个所述潜在小物体栅格进行所述扩散查找。
本发明实施例第二方面提供一种点云数据的滤噪装置,所述装置包括存储器和图形处理单元,所述存储器上存储有由所述图形处理单元运行的计算机程序,所述计算机程序在被所述图形处理单元运行时执行如上所述的点云数据的滤噪方法。
本发明实施例第三方面提供一种自动驾驶车辆,所述自动驾驶车辆包括:车身;搭载在所述车身上的雷达,所述雷达用于采集点云数据;如上所述的点云数据的滤噪装置,连接所述雷达,用于执行如上所述的点云数据的滤噪方法,以对所述点云数据进行滤噪。
本发明实施例第四方面提供一种存储介质,所述存储介质上存储有计算机程序,所述计算机程序在运行时执行如上所述的点云数据的滤噪方法。
本发明实施例的点云数据的滤噪方法、装置、自动驾驶车辆和存储介质以三维体素栅格为单位进行滤噪,不同体素栅格间相互独立,车载图像处理单元能够并行执行不同体素栅格的运算,大幅度提高了运算速度。
附图说明
通过结合附图对本发明的实施例进行更详细的描述,本发明的上述以及其它目的、特征和优势将变得更加明显。附图用来提供对本发明实施例的进一步理解,并且构成说明书的一部分,与本发明实施例一起用于解释本发明,并不构成对本发明的限制。在附图中,相同的参考标号通常代表相同部件或步骤。
图1为根据本发明一个实施例的点云数据的滤噪方法的示意性流程图;
图2为根据本发明一个实施例的点云数据的滤噪装置的示意性框图;
图3为根据本发明一个实施例的自动驾驶车辆的示意性框图。
具体实施方式
为了使得本申请的目的、技术方案和优点更为明显,下面将参照附图详细描述根据本申请的示例实施例。显然,所描述的实施例仅仅是本申请的一部分实施例,而不是本申请的全部实施例,应理解,本申请不受这里描述的示例实施例的限制。基于本申请中描述的本申请实施例,本领域技术人员在没有付出创造性劳动的情况下所得到的所有其它实施例都应落入本申请的保护范围之内。
在下文的描述中,给出了大量具体的细节以便提供对本申请更为彻底的理解。然而,对于本领域技术人员而言显而易见的是,本申请可以无需一个或多个这些细节而得以实施。在其他的例子中,为了避免与本申请发生混淆,对于本领域公知的一些技术特征未进行描述。
应当理解的是,本申请能够以不同形式实施,而不应当解释为局限于这里提出的实施例。相反地,提供这些实施例将使公开彻底和完全,并且将本申请的范围完全地传递给本领域技术人员。
在此使用的术语的目的仅在于描述具体实施例并且不作为本申请的限制。在此使用时,单数形式的“一”、“一个”和“所述/该”也意图包括复数形式,除非上下文清楚指出另外的方式。还应明白术语“组成”和/或“包括”,当在该说明书中使用时,确定所述特征、整数、步骤、操作、元件和/或部件的存在,但不排除一个或更多其它的特征、整数、步骤、操作、元件、部件和/或组的存在或添加。在此使用时,术语“和/或”包括相关所列项目的任何及所有组合。
为了彻底理解本申请,将在下列的描述中提出详细的结构,以便阐释本申请提出的技术方案。本申请的可选实施例详细描述如下,然而除了这些详细描述外,本申请还可以具有其他实施方式。
现有的技术方案对于滤波算法,基本上有两种方案,第一种是对稀疏随机噪声的过滤;第二种是点云密集型小物体的过滤。通过过滤算法对感知到的“噪声”做合理过滤,减少非安全性避障,增加车辆行驶的平稳性。
自动驾驶的点云数据量非常大,对系统硬件的要求也非常高,同时传感器由于环境因素会产生各种噪声,不利于车辆流畅地自动驾驶,所以在感知的前/后会对噪声进行过滤。
目前的过滤算法主要有两种,第一种是针对由于环境导致传感器内部产生的稀疏随机噪声,该方法通常在感知模块前端完成,在接收到点云数据后,以点云数据点为单元进行过滤。该方法虽然支持并行化,但无法滤除特定场景下的“噪声”,例如,雪天、雨天、大风刮落落叶的场景。
第二种是针对在特定场景下的由于环境外部因素产生的“噪声”,该方法通常在感知对点云感知聚类成物体后进行过滤。但该方法只能在点云聚类后,根据物体的体积、空间位置,才能对“噪声”物体过滤,在进行聚类时,“噪声”参与了运算过程,导致了冗余计算,并且该方法不支持并行化。
不使用滤波的自动驾驶系统容易由于噪声造成急刹。但如果同时使用上述两种滤波方法,不仅会产生冗余的运算,同时也会非常的耗时。
针对上述问题,本发明实施例提出了一种点云数据的滤噪方法,该算法能在极短的时间内从点云数据中过滤掉与自动驾驶安全性无关的雷达内部噪声和小物体噪声,并且该算法支持GPU并行加速,可部署在无人驾驶车辆有限算力的计算单元上,能够在不增加额外运算设备的情况下,利用车载GPU芯片并行加速,在极短时间内过滤非安全性噪声,减轻下游额外的运算,增加自动驾驶流畅度。下面参照附图来描述本发明实施例提出的点云数据的滤噪方法和自动驾驶车辆。
首先参见图1,图1示出了根据本发明实施例的点云数据的滤噪方法100的示意性流程图。本发明实施例的点云数据的滤噪方法100可以用于自动驾驶车辆,自动驾驶车辆也可以称为无人驾驶车辆,是不需要驾驶员执行驾驶操作、能够代替驾驶员自动完成车辆行驶任务的智能车辆。自动驾驶车辆上配置有雷达,其通过雷达采集的点云数据识别车辆周围的障碍物,从而实现避障。如图1所示,本发明实施例的点云数据的滤噪方法100包括如下步骤:
在步骤S110,获取雷达采集的点云数据,并将所述点云数据映射到三维体素栅格中;
在步骤S120,确定所述三维体素栅格中每个体素栅格对应的点云点数量,并滤除所述点云点数量小于第一阈值的体素栅格对应的点云数据;
在步骤S130,计算每个所述体素栅格的空间体积率,并将所述空间体积小于第二阈值的体素栅格标记为潜在小物体栅格;
在步骤S140,对所述潜在小物体栅格进行扩散查找,以确定所述潜在小物体栅格中与实体障碍物栅格相连的伪小物体栅格,并将除所述伪小物体栅格以外的潜在小物体栅格标记为真实小物体栅格。
本发明实施例的点云数据的滤噪方法100实现于车载图像处理单元(GraphicsProcessing Unit,图形处理器),车载图像处理单元与车辆的雷达有线连接或无线连接,以获取雷达采集的点云数据。GPU独特的硬件结构使其支持大规模并行运算,本发明实施例的滤噪方法100基于并行化思想构建,尤其适用于GPU的并行运算。
示例性地,车辆的雷达可以是激光雷达,并且激光雷达既可以是规则化重复扫描的激光雷达,也可以是有非重复扫描特性的扫描轨迹复杂的激光雷达。雷达用于感测车辆外部的环境信息,例如,环境目标的距离信息、方位信息、反射强度信息、速度信息等。点云数据至少包括距离信息和方位信息。
作为示例,雷达可以包括发射模块、接收模块、采样模块和运算模块。其中,发射模块可以发射光脉冲序列(例如激光脉冲序列)。接收模块可以接收经过被探测物反射的光脉冲序列,并对该光脉冲序列进行光电转换,以得到电信号,再对电信号进行处理之后可以输出给采样模块。采样模块可以对电信号进行采样,以获取采样结果。运算模块可以基于采样模块的采样结果,以确定雷达与被探测物之间的距离。
除了上述模块,雷达还可以包括扫描模块,用于将发射模块出射的至少一路激光脉冲序列改变传播方向出射。扫描模块可以包括多个光学元件,用于改变光束的传播路径,其中,该光学元件可以通过对光束进行反射、折射、衍射等等方式来改变光束传播路径。示例性地,扫描模块中的各光学元件可以通过旋转将光投射至不同的方向,如此对雷达周围的空间进行扫描。
在一种实现方式中,雷达可以通过测量雷达和探测物之间光传播的时间,即光飞行时间(Time-of-Flight,TOF),来探测探测物到雷达的距离。或者,雷达也可以通过其他技术来探测探测物到雷达的距离,例如基于相位移动(phase shift)测量的测距方法,或者基于频率移动(frequency shift)测量的测距方法等,本发明实施例对此不做限制。
雷达获取的点云数据中通常存在着噪声。本发明实施例仍然将噪声分成了两部分:第一部分为雷达内部噪声,第二部分为外部环境噪声。雷达内部噪声,通常是由于内在传感器缺陷或外部环境温度/湿度等,在点云数据中零星产生的噪声,通常此类噪声在空间中分布非常稀疏。雷达的外部噪声通常是由特定环境、物体产生的非安全性噪声,例如落叶、飞虫、废纸屑,这部分噪声通常是小而密集的点云,同时在空间中处于悬浮状态。
本发明实施例的噪声过滤方法基于并行化思想构建,主要通过三个阶段对潜在的噪声进行扩散过滤,分别为:1)雷达内部噪声过滤,2)潜在噪声小物体扫描,3)噪声扩散回归。
具体地,首先将点云数据投影到三维体素栅格中。三维体素栅格是在三维空间中划分的多个体积空间,每个体积空间为一个体素,体素是体积元素(Volume Pixel)的简称。示例性地,三维体素栅格可以是感兴趣区域内的三维体素栅格。感兴趣区域可以根据实际需要来进行选择,例如对于行驶的车辆来说,感兴趣区域可以是车辆四周一定范围内的区域。超出该范围的物体暂时不需要关注,因而可以保留处于感兴趣区域内的点云点,舍弃处于感兴趣区域外的点云点。然后,可以将上述感兴趣区域划分为Nx*Ny*Nz大小的体素矩阵,其中Nx为沿x轴划分的体素个数,Ny为沿y轴划分的体素个数,Nz为沿z轴划分的体素个数。由于本发明实施例的方法实现于车载GPU,因此,可以通过车载GPU的多个并行运算单元,并行地建立点云数据与三维体素栅格的映射关系,从而大幅度提高运算速度。
在将点云数据投影到三维体素栅格以后,首先对雷达内部产生的稀疏噪点进行过滤,利用噪点稀疏的特性,并通过计算栅格中数据点的数量,将稀疏噪声与有密集点云的物体做区分。具体地,在噪声所处的三维体素栅格中,其点云点数量稀少;而在真实物体所处的三维体素栅格中,由于有多束激光扫描到了该物体,其点云点密集且连续,点云数量较多。因此,可以确定每个三维体素栅格的点云点数量,并过滤掉点云点数量小于第一阈值的三维体素栅格中的点云数据。通过设立合理的阈值,即可将真实物体与雷达内部的噪声区分开来,从而达到过滤雷达内部噪声的目的。
在该步骤中,同样可以通过车载图像处理单元的多个并行运算单元,并行地遍历每个体素栅格,以确定每个体素栅格中点云点的数量,从而并性地滤除点云点数量小于第一阈值的体素栅格对应的点云数据,以提高该步骤的运算速度。
在过滤掉雷达内部噪声之后,识别剩余的点云数据中的潜在小物体,小物体包括落叶、飞虫、废纸屑等。由于小物体为真实物体,雷达会有多个密集点云束打到该物体上,因此无法被第一阶段的雷达内部噪声过滤算法过滤掉。但小物体的体积较小,大概率不会对车辆行驶造成安全隐患,过滤掉小物体产生的点云数据的目的主要是减少后续的运算量。本发明实施例在不使用聚类算法的前提下,计算每个体素栅格的空间体积率,根据其空间体积识别潜在小物体对应的体素栅格,为了便于描述,将其称为潜在小物体栅格。
具体地,以体素栅格为目标,通过对每个体素栅格进行三维卷积,计算每个体素栅格在特定子空间中的占有率来反映栅格簇的空间体积。通过对体素栅格进行三维卷积,可以在每个体素栅格的相邻体素栅格中,确定存在点云数据的有效体素栅格,并得到有效体素栅格在相邻体素栅格中所占的比例,进而确定体素栅格的空间体积率。由于小物体对应的是在子空间中体积较小的体素栅格,因此,可以将空间体积低于第二阈值的体素栅格确定为潜在小物体对应的体素栅格。
在本发明实施例中,对每个体素栅格进行三维卷积的步骤由车载图像处理单元并行执行。由于各个体素栅格的三维卷积完全独立,因此,通过GPU并行执行该步骤能够大幅度减少运算时间。
识别到潜在小物体对应的潜在小物体栅格之后,执行第三阶段噪声扩散回归的步骤。具体地,在潜在小物体的点云数据中,事实上存在着部分有价值的数据,例如障碍物的边缘,这对于障碍物准确的大小/方向的描述有很大的帮助,因此,第三阶段的主要目的是区分真实小物体噪声(例如落叶、飞虫、废纸屑等)与伪小物体噪声(例如马路边缘、枝丫等)。伪小物体噪声通常与高空间占有率的物体相连,而真实小物体噪声往往是完全悬空的,处于漂浮态。因此,可以根据潜在小物体栅格是否与实体障碍物栅格相邻,来区分潜在小物体栅格中的真实小物体栅格与伪小物体栅格。
在一些实施例中,可以对所有潜在小物体所在的体素栅格进行卷积扩散查找,从而将物体高空间占有率的信息逐渐扩散至相临的伪小物体噪声。其中,可以对潜在小物体栅格进行一次或多次卷积扩散,使潜在小物体栅格中的伪小物体栅格与所述实体障碍物栅格相连,或者,可以对实体障碍物栅格进行一次或多次卷积扩散,使实体障碍物栅格与潜在小物体栅格中的伪小物体栅格相连。即可以从伪小物体栅格扩散到实体障碍物栅格,或者从实体障碍物栅格扩散到伪小物体栅格。示例性地,实体障碍物栅格为未被标记为潜在小物体栅格的体素栅格。
通过多次扩散查找后,伪小物体噪声所处的体素栅格将会被标记为存在高空间占有率的实体障碍物栅格。反之,对于真实小物体噪声,由于其不与任何高空间占有率的实体障碍物的体素栅格相邻,经扩散查找后体素栅格的分类信息将不会被更新。因此,通过扩散查找可以将伪小物体栅格从潜在小物体栅格的列表中滤除,仅保留真实小物体栅格。
由于在第一阶段建立了点云数据到三维体素栅格的映射,在确定真实小物体栅格后,可以根据点云数据与三维体素栅格的映射关系,将与真实小物体栅格对应的点云数据标记为噪声数据。之后,还可以滤除真实小物体栅格对应的点云数据。由此,无需聚类即可对点云数据中的真实小物体噪声进行滤除。
在本发明实施例中,可以通过车载图像处理单元的多个并行运算单元,并行地对每个潜在小物体栅格进行扩散查找。由于各个体素栅格的扩散查找完全独立,因此,通过GPU并行执行该步骤能够大幅度减少运算时间。
在上述算法中,假设点云数据中存在N个点云点,可投影至M个三维体素栅格的空间中的K个体素栅格中,其中M>>N>K。因此,第一阶段对每个点云的遍历投影将花费O(N)的运算,第二、三阶段是基于三维体素栅格的遍历操作,因此每个阶段将花费O(K)的运算。最后将利用点云数据与三维体素栅格的运算关系,将噪声栅格中的点云数据一一删除,在并行化算法中,将花费O(N)的运算。整个过程将需要O(2N+2KL)的运算。
由于上述算法在对不同体素栅格进行运算时完全独立,因此可通过GPU高度并行运算。在具备J个并行运算单元的GPU中,上述运算过程在单位时间内将需要O(2N/J+2KL/J)的时间完成过滤算法。由于GPU的可并行单元极多,即J的数值较大,因此整个算法的耗时非常短,能在极短时间内完成噪声过滤。
综上所述,本发明实施例的点云数据的滤噪方法100融合了GPU可高度并行的优点,通过解耦串行依赖,设计高度并行化了滤噪算法,可以在输入数据层面对点云数据中的噪声进行快速过滤,减少后续下游模块的冗余计算,减少因为非安全性障碍物导致的急刹,增加自动驾驶系统车辆驾驶的流畅性。
本发明实施例还提供一种点云数据的滤噪装置,参见图2,点云数据的滤噪装置200包括存储器210和图形处理单元220,存储器210上存储有由图形处理单元220运行的计算机程序,计算机程序在被图形处理单元220运行时执行点云数据的滤噪方法100。
示例性地,存储器210可以包括一个或多个计算机程序产品,所述计算机程序产品可以包括各种形式的计算机可读存储介质,例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。图形处理单元220可以运行存储器210存储的所述程序指令,以实现本文所述的本发明实施例中(由图形处理单元实现)的功能以及/或者其它期望的功能。由于图像处理单元220包括多个并行运算单元,因此可以并行地执行上述方法中各步骤的运算,在极短时间内过滤非安全性噪声,减轻下游额外的运算,增加自动驾驶流畅度。
本发明实施例还提供一种自动驾驶车辆,该自动驾驶车辆可以用于实现上文所述的点云数据的滤噪方法100。该自动驾驶车辆是不需要驾驶员执行驾驶操作、能够代替驾驶员自动完成车辆行驶任务的智能车辆;自动驾驶车辆也可以具有人工驾驶功能。参见图3,图3示出了根据本发明实施例的自动驾驶车辆的示意性框图。
如图3所示,自动驾驶车辆包括车身300、雷达310和滤噪装置320,雷达310用于采集点云数据,并且可以包括一个或多个雷达。滤噪装置320与雷达310有线或无线连接,以接收雷达310采集的点云数据。滤噪装置320可以是如上文参照图2所描述的点云数据的滤噪装置,用于执行如上所述的点云数据的滤噪方法100,以滤除点云数据中的噪声,具体包括雷达内部产生的离散的噪声,以及外部环境产生的小物体噪声。需要说明的是,自动驾驶车辆还包括其他组成结构,本发明实施例对此不做限制。滤噪装置320执行的点云数据的滤噪方法100可以参照上文,在此不做赘述。
此外,根据本发明实施例,还提供了一种计算机存储介质,在所述计算机存储介质上存储了程序指令,在所述程序指令被计算机或处理器运行时用于执行本发明实施例的点云数据的滤噪方法100的相应步骤,其具体细节可以参见上文。所述计算机存储介质例如可以包括智能电话的存储卡、平板电脑的存储部件、个人计算机的硬盘、只读存储器(ROM)、可擦除可编程只读存储器(EPROM)、便携式紧致盘只读存储器(CD-ROM)、USB存储器、或者上述存储介质的任意组合。所述计算机可读存储介质可以是一个或多个计算机可读存储介质的任意组合。
综上所述,本发明实施例的点云数据的滤噪方法、装置、自动驾驶车辆和存储介质以三维体素栅格为单位进行滤噪,不同体素栅格间相互独立,车载图像处理单元能够并行执行不同体素栅格的运算,大幅度提高了运算速度。
尽管这里已经参考附图描述了示例实施例,应理解,上述示例实施例仅仅是示例性的,并且不意图将本申请的范围限制于此。本领域普通技术人员可以在其中进行各种改变和修改,而不偏离本申请的范围和精神。所有这些改变和修改意在被包括在所附权利要求所要求的本申请的范围之内。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
在本申请所提供的几个实施例中,应该理解到,所揭露的设备和方法,可以通过其它的方式实现。例如,以上所描述的设备实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个设备,或一些特征可以忽略,或不执行。
在此处所提供的说明书中,说明了大量具体细节。然而,能够理解,本申请的实施例可以在没有这些具体细节的情况下实践。在一些实例中,并未详细示出公知的方法、结构和技术,以便不模糊对本说明书的理解。
类似地,应当理解,为了精简本申请并帮助理解各个发明方面中的一个或多个,在对本申请的示例性实施例的描述中,本申请的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而,并不应将该本申请的方法解释成反映如下意图:即所要求保护的本申请要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说,如相应的权利要求书所反映的那样,其发明点在于可以用少于某个公开的单个实施例的所有特征的特征来解决相应的技术问题。因此,遵循具体实施方式的权利要求书由此明确地并入该具体实施方式,其中每个权利要求本身都作为本申请的单独实施例。
本领域的技术人员可以理解,除了特征之间相互排斥之外,可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述,本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外,本领域的技术人员能够理解,尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征,但是不同实施例的特征的组合意味着处于本申请的范围之内并且形成不同的实施例。例如,在权利要求书中,所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本申请的各个部件实施例可以以硬件实现,或者以在一个或者多个处理器上运行的软件模块实现,或者以它们的组合实现。本领域的技术人员应当理解,可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本申请实施例的一些模块的一些或者全部功能。本申请还可以实现为用于执行这里所描述的方法的一部分或者全部的装置程序(例如,计算机程序和计算机程序产品)。这样的实现本申请的程序可以存储在计算机可读介质上,或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到,或者在载体信号上提供,或者以任何其他形式提供。
应该注意的是上述实施例对本申请进行说明而不是对本申请进行限制,并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中,不应将位于括号之间的任何参考符号构造成对权利要求的限制。本申请可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中,这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
以上所述,仅为本申请的具体实施方式或对具体实施方式的说明,本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本申请的保护范围之内。本申请的保护范围应以权利要求的保护范围为准。
Claims (12)
1.一种点云数据的滤噪方法,其特征在于,所述方法用于车载图像处理单元,所述方法包括:
获取雷达采集的点云数据,并将所述点云数据映射到三维体素栅格中;
确定所述三维体素栅格中每个体素栅格对应的点云点数量,并滤除所述点云点数量小于第一阈值的体素栅格对应的点云数据;
计算每个所述体素栅格的空间体积率,并将所述空间体积小于第二阈值的体素栅格标记为潜在小物体栅格;
对所述潜在小物体栅格进行扩散查找,以确定所述潜在小物体栅格中与实体障碍物栅格相连的伪小物体栅格,并将除所述伪小物体栅格以外的潜在小物体栅格标记为真实小物体栅格,以及将与所述真实小物体栅格对应的点云数据标记为噪声数据。
2.根据权利要求1所述的点云数据的滤噪方法,其特征在于,所述方法还包括:
根据所述点云数据与所述三维体素栅格的映射关系,滤除所述真实小物体栅格对应的点云数据。
3.根据权利要求1所述的点云数据的滤噪方法,其特征在于,所述对所述潜在小物体栅格进行扩散查找,以确定所述潜在小物体栅格中与实体障碍物栅格相连的伪小物体栅格,包括:
对所述潜在小物体栅格进行一次或多次卷积扩散,使所述潜在小物体栅格中的伪小物体栅格与所述实体障碍物栅格相连。
4.根据权利要求1所述的点云数据的滤噪方法,其特征在于,所述对所述潜在小物体栅格进行扩散查找,以确定所述潜在小物体栅格中与实体障碍物栅格相连的伪小物体栅格,包括:
对所述实体障碍物栅格进行一次或多次卷积扩散,使所述实体障碍物栅格与所述潜在小物体栅格中的伪小物体栅格相连。
5.根据权利要求1所述的点云数据的滤噪方法,其特征在于,所述计算每个所述体素栅格的空间体积率,包括:
对每个所述体素栅格进行三维卷积,以得到所述体素栅格的空间体积率。
6.根据权利要求1所述的点云数据的滤噪方法,其特征在于,所述将所述点云数据映射到三维体素栅格中,包括:
通过所述车载图像处理单元的多个并行运算单元,并行地建立所述点云数据与所述三维体素栅格的映射关系。
7.根据权利要求1所述的点云数据的滤噪方法,其特征在于,所述确定所述三维体素栅格中每个体素栅格对应的点云点数量,并滤除所述点云点数量小于第一阈值的体素栅格对应的点云数据,包括:
通过所述车载图像处理单元的多个并行运算单元,并行地遍历每个所述体素栅格,以滤除所述点云点数量小于第一阈值的体素栅格对应的点云数据。
8.根据权利要求1所述的点云数据的滤噪方法,其特征在于,所述计算每个所述体素栅格的空间体积率,并将所述空间体积小于第二阈值的体素栅格标记为潜在小物体栅格,包括:
通过所述车载图像处理单元的多个并行运算单元,并行地遍历每个所述体素栅格,以标记所述潜在小物体栅格。
9.根据权利要求1所述的点云数据的滤噪方法,其特征在于,所述对所述潜在小物体栅格进行扩散查找,包括:
通过所述车载图像处理单元的多个并行运算单元,并行地对每个所述潜在小物体栅格进行所述扩散查找。
10.一种点云数据的滤噪装置,其特征在于,所述装置包括存储器和图形处理单元,所述存储器上存储有由所述图形处理单元运行的计算机程序,所述计算机程序在被所述图形处理单元运行时执行权利要求1-9中任一项所述的点云数据的滤噪方法。
11.一种自动驾驶车辆,其特征在于,所述自动驾驶车辆包括:
车身;
搭载在所述车身上的雷达,所述雷达用于采集点云数据;
如权利要求10所述的点云数据的滤噪装置,连接所述雷达,用于执行权利要求1-8中任一项所述的点云数据的滤噪方法,以对所述点云数据进行滤噪。
12.一种存储介质,所述存储介质上存储有计算机程序,所述计算机程序在运行时执行如权利要求1-9中任一项所述的点云数据的滤噪方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210969240.7A CN115308746A (zh) | 2022-08-12 | 2022-08-12 | 点云数据的滤噪方法、装置和自动驾驶车辆 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210969240.7A CN115308746A (zh) | 2022-08-12 | 2022-08-12 | 点云数据的滤噪方法、装置和自动驾驶车辆 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115308746A true CN115308746A (zh) | 2022-11-08 |
Family
ID=83862330
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210969240.7A Pending CN115308746A (zh) | 2022-08-12 | 2022-08-12 | 点云数据的滤噪方法、装置和自动驾驶车辆 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115308746A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117496165A (zh) * | 2024-01-03 | 2024-02-02 | 吉咖智能机器人有限公司 | 雨雪噪点过滤方法、装置、电子设备及存储介质 |
-
2022
- 2022-08-12 CN CN202210969240.7A patent/CN115308746A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117496165A (zh) * | 2024-01-03 | 2024-02-02 | 吉咖智能机器人有限公司 | 雨雪噪点过滤方法、装置、电子设备及存储介质 |
CN117496165B (zh) * | 2024-01-03 | 2024-03-12 | 吉咖智能机器人有限公司 | 雨雪噪点过滤方法、装置、电子设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7069927B2 (ja) | 物体認識装置、及び物体認識方法 | |
US9037403B2 (en) | Intensity map-based localization with adaptive thresholding | |
US9910136B2 (en) | System for filtering LiDAR data in vehicle and method thereof | |
CN113496290A (zh) | 使用采用模拟对象增强的图像训练机器学习模型 | |
CN111192295B (zh) | 目标检测与跟踪方法、设备和计算机可读存储介质 | |
WO2019007263A1 (zh) | 车载传感器的外部参数标定的方法和设备 | |
CN112154356B (zh) | 点云数据处理方法及其装置、激光雷达、可移动平台 | |
CN111382768A (zh) | 多传感器数据融合方法和装置 | |
CN111079680B (zh) | 临时交通信号灯检测方法、装置和自动驾驶设备 | |
US8972093B2 (en) | Lane-based localization | |
JP2015155903A (ja) | 自動運転システム、自動運転の方法及びコンピューティング装置 | |
CN112015178B (zh) | 一种控制方法、装置、设备及存储介质 | |
CN111383480A (zh) | 用于交通工具的危险预警的方法、装置、设备和介质 | |
CN113924459B (zh) | 用于车辆导航的动态传感器范围检测 | |
CN109444904A (zh) | 定位测试数据的生成方法、装置、设备及存储介质 | |
CN112327308A (zh) | 物体检测方法、装置、系统及设备 | |
JP2021514457A (ja) | 自律車両のための雨フィルタリング技法 | |
CN113433946A (zh) | 一种防撞预警方法、装置、系统、电子设备以及存储介质 | |
CN111580116A (zh) | 一种车载系统的目标检测性能的评价方法和电子设备 | |
CN115205803A (zh) | 自动驾驶环境感知方法、介质及车辆 | |
CN114763997A (zh) | 车辆采集到的雷达点云数据的处理方法、装置及电子设备 | |
CN111445472A (zh) | 激光点云地面分割方法、装置、计算设备及存储介质 | |
CN115308746A (zh) | 点云数据的滤噪方法、装置和自动驾驶车辆 | |
JP2023015284A (ja) | 推定装置 | |
CN114675295A (zh) | 一种障碍物判定的方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |