CN112199991B - 一种应用于车路协同路侧感知的仿真点云滤波方法和系统 - Google Patents
一种应用于车路协同路侧感知的仿真点云滤波方法和系统 Download PDFInfo
- Publication number
- CN112199991B CN112199991B CN202010879197.6A CN202010879197A CN112199991B CN 112199991 B CN112199991 B CN 112199991B CN 202010879197 A CN202010879197 A CN 202010879197A CN 112199991 B CN112199991 B CN 112199991B
- Authority
- CN
- China
- Prior art keywords
- point cloud
- data
- point
- cloud data
- filtering
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001914 filtration Methods 0.000 title claims abstract description 87
- 238000004088 simulation Methods 0.000 title claims abstract description 65
- 238000000034 method Methods 0.000 title claims abstract description 42
- 230000008447 perception Effects 0.000 title claims abstract description 35
- 238000012360 testing method Methods 0.000 claims abstract description 36
- 230000035040 seed growth Effects 0.000 claims description 27
- 238000004590 computer program Methods 0.000 claims description 12
- 238000005070 sampling Methods 0.000 claims description 6
- 230000003068 static effect Effects 0.000 claims description 6
- 238000013519 translation Methods 0.000 claims description 5
- 238000012545 processing Methods 0.000 claims description 3
- 238000004891 communication Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 7
- 238000012549 training Methods 0.000 description 5
- 238000001514 detection method Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000002372 labelling Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000009467 reduction Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明实施例提供一种应用于车路协同路侧感知的仿真点云滤波方法和系统，该方法包括：提取仿真交通环境中各物体模型在路测激光雷达下点云数据和标签；对所述点云数据进行过滤，剔除点云数据中的地面点，并基于所述标签将对应的物体模型从点云数据中分割，得到标签对应的物体框；若判断获知所述物体框中的点云数量低于预设阈值，则删除物体框对应的标签；基于数据增强算法对剩余的点云数据进行数据扩展。应用于车路协同路侧感知领域标注数据成本高、采集数据场景单一的问题，仿真平台可以模拟多种场景的路侧雷达，过滤算法按照雷达特性对标签过滤，提高了仿真数据的准确性，使得路侧感知算法可以使用更加准确的仿真数据。
Description
技术领域
本发明实施例涉及智能交通技术领域，尤其涉及一种应用于车路协同路侧感知的仿真点云滤波方法和系统。
背景技术
车路协同是自动驾驶中重要的组成部分及发展方向。如图1所示通过通讯协议，将路侧感知传感器(摄像头、激光雷达、毫米波雷达等)的感知结果与自动驾驶汽车车载感知传感器的感知结果进行融合与分析，从而克服单一车载感知时出现的视觉盲区、遮挡等问题，增强了感知的范围与准确性，达到全域感知效果。
感知算法是通过对传感器的数据进行分析，从而识别道路、车辆位置和障碍物信息的算法，近年来随着深度学习在目标检测领域取得一系列突破，基于深度学习的路侧感知算法也逐渐成为主流，而基于深度学习的路侧感知算法往往需要大量的有标签的训练数据，且为了提高算法的泛化性需要在不同路侧场景下采集数据，这些数据的采集、标注需要巨大的时间、人力成本。
仿真点云是通过模拟激光雷达在环境中获得点云数据，由于路侧感知算法要求的数据标注成本高，如何在训练中替代真实的数据就成为了一个重要的研究方向，目前生成仿真点云主要有三种方法：(1)基于真实数据生成：通过生成式对抗网络(GenerativeAdversarial Networks，GAN)学习原始点云数据特性，从而模拟出原始点云中没有的天气、光照等场景下的点云；(2)基于模拟器生成：通过仿真平台模拟真实场景，然后在模拟的场景中设置雷达模型，虚拟雷达发出激光检测来获取当前环境的动静态信息，然后生成激光点云；(3)基于结构化数据生成增强数据：方向较多，有基于虚拟数据生成增强现实数据的方法，也有基于图片生成点云数据的方法。基于真实数据生成的方法依赖于原始数据，基于结构化数据的生成增强数据方法需要依赖其它模态的数据，而在路侧感知时候往往需要模拟多场景数据，基于模拟器生成的点云数据可以不受限于原始数据并可以模拟各种场景，且随着无人驾驶仿真环境LGSVL、Carla、AirSim等仿真平台对自动驾驶的支持，仿真平台的仿真效果也越来越好。
算法训练需要带有标注的点云数据，而模拟器中只要设置了物体就会出现标签，而无论激光雷达是否会扫描到该物体上，这种标签会使得算法误检率增加，查全率降低。模拟器模拟的是理想状态下的激光雷达，并没有考虑雷达能量强度、空气对激光衰减等因素，所以模拟的点云本身就有一定不准确性。
发明内容
本发明实施例提供一种应用于车路协同路侧感知的仿真点云滤波方法和系统，提高了仿真数据的准确性，使得路侧感知算法可以使用更加准确的仿真数据。
第一方面，本发明实施例提供一种应用于车路协同路侧感知的仿真点云滤波方法，包括：
提取仿真交通环境中各物体模型在路测激光雷达下点云数据和标签；
对所述点云数据进行过滤，剔除点云数据中的地面点，并基于所述标签将对应的物体模型从点云数据中分割，得到标签对应的物体框；若判断获知所述物体框中的点云数量低于预设阈值，则删除物体框对应的标签；
基于数据增强算法对剩余的点云数据进行数据扩展。
作为优选的，提取仿真交通环境中各物体模型在路测激光雷达下点云数据和标签，具体包括：
基于无人驾驶仿真环境LGSVL平台模拟路测激光雷达所处的真实静态环境，得到仿真交通环境；
在所述仿真交通环境中仿真交通参与者的物体模型，所述交通参与者包括机动车辆、行人和非机动车辆；
基于实际路测激光雷达的位姿设置路测激光雷达的位置，以仿真路测激光雷达下的仿真交通环境，运行LGSVL平台，获得各物体模型在路测激光雷达下的点云数据和标签。
作为优选的，所述实际路测激光雷达的位姿包括路测激光的高度和倾角度。
作为优选的，对所述点云数据进行过滤，剔除点云数据中的地面点，具体包括：
将所述点云数据投影到极坐标下并进行栅格化，遍历每个栅格内的最高点与最低点，基于随机抽样一致算法RANSAC拟合地面点，将所述地面点作为种子生长算法的初始种子点；
遍历极坐标下的每个栅格，基于预先设置的地面点绝对高度和高度差阈值过来地面点栅格；
基于种子生长算法，以极坐标纵向进行种子生长，满足种子生长条件的点云则为地面点，剔除点云数据中的地面点。
作为优选的，所述标签包括类别信息、id信息、框体信息、位置偏移信息、角度偏移信息；类别信息为物体模型类别，id信息为物体唯一标识符，框体信息包括交通参与者框体的长、宽、高，位置偏移信息包括交通参与者框体中心距离雷达坐标系x、y、z轴的距离，交通偏移信息包括绕雷达坐标系x、y、z旋转的角度。
作为优选的，基于数据增强算法对剩余的点云数据进行数据扩展，具体包括：
对剩余的点云数据进行镜面翻转、旋转和平移处理，得到扩展后的点云数据。
第二方面，本发明实施例提供一种应用于车路协同路侧感知的仿真点云滤波系统，包括模拟点云模块、过滤模块和点云生成模块；
模拟点云模块，用于提取仿真交通环境中各物体模型在路测激光雷达下点云数据和标签；
过滤模块，用于对所述点云数据进行过滤，剔除点云数据中的地面点，并基于所述标签将对应的物体模型从点云数据中分割，得到标签对应的物体框；若判断获知所述物体框中的点云数量低于预设阈值，则删除物体框对应的标签；
点云生成模块，用于基于数据增强算法对剩余的点云数据进行数据扩展。
作为优选的，所述过滤模块包括点云过滤单元和标签过滤单元；
所述点云过滤单元，用于将所述点云数据投影到极坐标下并进行栅格化，遍历每个栅格内的最高点与最低点，基于随机抽样一致算法RANSAC拟合地面点，将所述地面点作为种子生长算法的初始种子点；
遍历极坐标下的每个栅格，基于预先设置的地面点绝对高度和高度差阈值过来地面点栅格；
基于种子生长算法，以极坐标纵向进行种子生长，满足种子生长条件的点云则为地面点，剔除点云数据中的地面点；
所述标签过滤单元，用于通过标签可以将物体模型从点云数据中分割出来，得到物体框，通过判断物体框中是否有点云来过滤该标签，若判断获知物体框对应的点云少于预设阈值则过滤掉对应的标签。
第三方面，本发明实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如本发明第一方面实施例所述应用于车路协同路侧感知的仿真点云滤波方法的步骤。
第四方面，本发明实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如本发明第一方面实施例所述应用于车路协同路侧感知的仿真点云滤波方法的步骤。
本发明实施例提供的一种应用于车路协同路侧感知的仿真点云滤波方法和系统，该方法包括：提取仿真交通环境中各物体模型在路测激光雷达下点云数据和标签；对所述点云数据进行过滤，剔除点云数据中的地面点，并基于所述标签将对应的物体模型从点云数据中分割，得到标签对应的物体框；若判断获知所述物体框中的点云数量低于预设阈值，则删除物体框对应的标签；基于数据增强算法对剩余的点云数据进行数据扩展。通过仿真平台模拟路侧点云，再通过过滤算法对模拟点云进行过滤，并对过滤后的点云进行数据增强扩展数据，应用于车路协同路侧感知领域标注数据成本高、采集数据场景单一的问题，仿真平台可以模拟多种场景的路侧雷达，过滤算法按照雷达特性对标签过滤，提高了仿真数据的准确性，使得路侧感知算法可以使用更加准确的仿真数据。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为车路协同系统示意图；
图2为根据本发明实施例的应用于车路协同路侧感知的仿真点云滤波方法示意图；
图3为根据本发明实施例的地面点过滤算法流程图；
图4为根据本发明实施例的标签格式示意图；
图5为根据本发明实施例的应用于车路协同路侧感知的仿真点云滤波系统示意图；
图6为根据本发明实施例的实体结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本申请实施例中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。
本申请实施例中的术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。本申请的描述中，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列部件或单元的系统、产品或设备没有限定于已列出的部件或单元，而是可选地还包括没有列出的部件或单元，或可选地还包括对于这些产品或设备固有的其它部件或单元。本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
仿真点云是通过模拟激光雷达在环境中获得点云数据，由于路侧感知算法要求的数据标注成本高，如何在训练中替代真实的数据就成为了一个重要的研究方向，现有技术中，算法训练需要带有标注的点云数据，而模拟器中只要设置了物体就会出现标签，而无论激光雷达是否会扫描到该物体上，这种标签会使得算法误检率增加，查全率降低。模拟器模拟的是理想状态下的激光雷达，并没有考虑雷达能量强度、空气对激光衰减等因素，所以模拟的点云本身就有一定不准确性。
因此，本发明实施例提供一种应用于车路协同路侧感知的仿真点云滤波方法和系统，通过仿真平台模拟路侧点云，再通过过滤算法对模拟点云进行过滤，并对过滤后的点云进行数据增强扩展数据，应用于车路协同路侧感知领域标注数据成本高、采集数据场景单一的问题，仿真平台可以模拟多种场景的路侧雷达，过滤算法按照雷达特性对标签过滤，提高了仿真数据的准确性，使得路侧感知算法可以使用更加准确的仿真数据。以下将通过多个实施例进行展开说明和介绍。
图2为本发明实施例提供一种应用于车路协同路侧感知的仿真点云滤波方法，包括：
提取仿真交通环境中各物体模型在路测激光雷达下点云数据和标签；
对所述点云数据进行过滤，剔除点云数据中的地面点，并基于所述标签将对应的物体模型从点云数据中分割，得到标签对应的物体框；若判断获知所述物体框中的点云数量低于预设阈值，则删除物体框对应的标签；
基于数据增强算法对剩余的点云数据进行数据扩展。
具体的，本实施例中，通过仿真平台模拟路侧点云，再通过过滤算法对模拟点云进行过滤，并对过滤后的点云进行数据增强扩展数据，应用于车路协同路侧感知领域标注数据成本高、采集数据场景单一的问题，仿真平台可以模拟多种场景的路侧雷达，过滤算法按照雷达特性对标签过滤，提高了仿真数据的准确性，使得路侧感知算法可以使用更加准确的仿真数据。
在一个实施例中，提取仿真交通环境中各物体模型在路测激光雷达下点云数据和标签，具体包括：
基于无人驾驶仿真环境LGSVL平台模拟路测激光雷达所处的真实静态环境，得到仿真交通环境；
在所述仿真交通环境中仿真交通参与者的物体模型，所述交通参与者包括机动车辆、行人和非机动车辆；
基于实际路测激光雷达的位姿设置路测激光雷达的位置，以仿真路测激光雷达下的仿真交通环境，运行LGSVL平台，获得各物体模型在路测激光雷达下的点云数据和标签。
具体的，本实施例主要分为三步，第一步利用LGSVL平台仿真出路侧激光雷达所处的真实静态环境，第二步在上述的仿真环境中利用仿真平台库中的物体模型(动态)，设置大车、小车、行人等交通参与者，第三步在仿真环境中根据实际雷达的位姿来设置雷达位置，主要包括路侧雷达的高度、倾斜角度等，通过上述三步即可仿真路侧激光雷达测试的环境，再通过在仿真平台的运行，就可以获得物体在该激光雷达下的点云数据与标签。
在一个实施例中，所述实际路测激光雷达的位姿包括路测激光的高度和倾角度。
在一个实施例中，对所述点云数据进行过滤，剔除点云数据中的地面点，具体包括：
将所述点云数据投影到极坐标下并进行栅格化，遍历每个栅格内的最高点与最低点，基于随机抽样一致算法RANSAC拟合地面点，将所述地面点作为种子生长算法的初始种子点；
遍历极坐标下的每个栅格，基于预先设置的地面点绝对高度和高度差阈值过来地面点栅格；
基于种子生长算法，以极坐标纵向进行种子生长，满足种子生长条件的点云则为地面点，剔除点云数据中的地面点。
具体的，在本实施例中，由于第一步仿真中只要设置了交通参与者就会有标签生成，而路侧感知算法只需要激光雷达扫描到的物体的数据，没有被雷达扫描的物体标签会增加感知算法的噪声降低算法的鲁棒性，所以需要根据雷达的物体特性对标签进行过滤。包括地面点过滤和标签过滤。
在地面点过滤算法中，如图3中所示，将点云数据投影到极坐标系下并栅格化，再遍历点云获得每个栅格内的最高点与最低点，同时利用RANSAC(随机抽样一致性)算法拟合地面点，拟合的地面点作为种子生长点算法的初始种子点。再遍历极坐标下每个栅格，由于地面点具有几何特性，所以利用提前设置的地面点绝对高度、高度差阈值来过滤地面点栅格，然后再利用种子生长方法，以极坐标纵向进行种子生长，满足种子生长点条件的则为地面点。
在一个实施例中，如图4中所示，所述标签包括类别信息、id信息、框体信息、位置偏移信息、角度偏移信息；类别信息为物体模型类别，id信息为物体唯一标识符，框体信息包括交通参与者框体的长、宽、高(对应框体信息中的bx,by,bz)，位置偏移信息包括交通参与者框体中心距离雷达坐标系x、y、z轴的距离(对应tx、ty.tz)，交通偏移信息包括绕雷达坐标系x、y、z旋转的角度(对应图中的roll、pitch、yaw)。
在一个实施例中，基于数据增强算法对剩余的点云数据进行数据扩展，具体包括：
对剩余的点云数据进行镜面翻转、旋转和平移处理，得到扩展后的点云数据。
具体的，在本实施例中，原始点云经过过滤算法后，得到新的点云与标签，为了加强路侧感知算法的泛化性，还需对点云进行数据增强算法，通过对点云镜面翻转、旋转、平移扩增数据。
本发明实施例还提供一种应用于车路协同路侧感知的仿真点云滤波系统，基于上述各实施例中的应用于车路协同路侧感知的仿真点云滤波方法，如图5中所示，包括模拟点云模块10、过滤模块20和点云生成模块30；
模拟点云模块10，用于提取仿真交通环境中各物体模型在路测激光雷达下点云数据和标签；
该模拟点云模块10是利用LGSVL仿真平台模拟感知算法中的路侧激光雷达来实现的，主要分为三步，第一步利用平台仿真出路侧激光雷达所处的真实静态环境，第二步在上述的仿真环境中利用仿真平台库中的物体模型，设置大车、小车等交通参与者，第三步在仿真环境中根据实际雷达的位姿来设置雷达位置，主要包括路侧雷达的高度、倾斜角度等，通过上述三步即可仿真路侧激光雷达测试的环境，再通过在仿真平台的运行，就可以获得物体在该激光雷达下的点云数据与标签；
过滤模块20，用于对所述点云数据进行过滤，剔除点云数据中的地面点，并基于所述标签将对应的物体模型从点云数据中分割，得到标签对应的物体框；若判断获知所述物体框中的点云数量低于预设阈值，则删除物体框对应的标签；
该过滤模块20的作用是对上述仿真出来的点云与标签进行过滤。由于第一步仿真中只要设置了交通参与者就会有标签生成，而路侧感知算法只需要激光雷达扫描到的物体的数据，没有被雷达扫描的物体标签会增加感知算法的噪声降低算法的鲁棒性，所以需要根据雷达的物体特性对标签进行过滤。该算法主要有两部分组成，地面点过滤算法与标签过滤算法。
点云生成模块30，用于基于数据增强算法对剩余的点云数据进行数据扩展。原始点云经过过滤算法后，得到新的点云与标签，为了加强路侧感知算法的泛化性，还需对点云进行数据增强算法，通过对点云镜面翻转、旋转、平移扩增数据。
在一个实施例中，所述过滤模块20包括点云过滤单元201和标签过滤单元202；
所述点云过滤单元201，用于将所述点云数据投影到极坐标下并进行栅格化，遍历每个栅格内的最高点与最低点，基于随机抽样一致算法RANSAC拟合地面点，将所述地面点作为种子生长算法的初始种子点；
遍历极坐标下的每个栅格，基于预先设置的地面点绝对高度和高度差阈值过来地面点栅格；
基于种子生长算法，以极坐标纵向进行种子生长，满足种子生长条件的点云则为地面点，剔除点云数据中的地面点；
所述标签过滤单元202，用于通过标签可以将物体模型从点云数据中分割出来，得到物体框，通过判断物体框中是否有点云来过滤该标签，若判断获知物体框对应的点云少于预设阈值则过滤掉对应的标签。
基于相同的构思，本发明实施例还提供了一种实体结构示意图，如图6所示，该服务器可以包括：处理器(processor)810、通信接口(Communications Interface)820、存储器(memory)830和通信总线840，其中，处理器810，通信接口820，存储器830通过通信总线840完成相互间的通信。处理器810可以调用存储器830中的逻辑指令，以执行如上述各实施例所述应用于车路协同路侧感知的仿真点云滤波方法的步骤。例如包括：
提取仿真交通环境中各物体模型在路测激光雷达下点云数据和标签；
对所述点云数据进行过滤，剔除点云数据中的地面点，并基于所述标签将对应的物体模型从点云数据中分割，得到标签对应的物体框；若判断获知所述物体框中的点云数量低于预设阈值，则删除物体框对应的标签；
基于数据增强算法对剩余的点云数据进行数据扩展。
此外，上述的存储器830中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
基于相同的构思，本发明实施例还提供一种非暂态计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序包含至少一段代码，该至少一段代码可由主控设备执行，以控制主控设备用以实现如上述各实施例所述应用于车路协同路侧感知的仿真点云滤波方法的步骤。例如包括：
提取仿真交通环境中各物体模型在路测激光雷达下点云数据和标签；
对所述点云数据进行过滤，剔除点云数据中的地面点，并基于所述标签将对应的物体模型从点云数据中分割，得到标签对应的物体框；若判断获知所述物体框中的点云数量低于预设阈值，则删除物体框对应的标签；
基于数据增强算法对剩余的点云数据进行数据扩展。
基于相同的技术构思，本申请实施例还提供一种计算机程序，当该计算机程序被主控设备执行时，用以实现上述方法实施例。
所述程序可以全部或者部分存储在与处理器封装在一起的存储介质上，也可以部分或者全部存储在不与处理器封装在一起的存储器上。
基于相同的技术构思，本申请实施例还提供一种处理器，该处理器用以实现上述方法实施例。上述处理器可以为芯片。
综上所述，本发明实施例提供的一种应用于车路协同路侧感知的仿真点云滤波方法和系统，该方法包括：提取仿真交通环境中各物体模型在路测激光雷达下点云数据和标签；对所述点云数据进行过滤，剔除点云数据中的地面点，并基于所述标签将对应的物体模型从点云数据中分割，得到标签对应的物体框；若判断获知所述物体框中的点云数量低于预设阈值，则删除物体框对应的标签；基于数据增强算法对剩余的点云数据进行数据扩展。通过仿真平台模拟路侧点云，再通过过滤算法对模拟点云进行过滤，并对过滤后的点云进行数据增强扩展数据，应用于车路协同路侧感知领域标注数据成本高、采集数据场景单一的问题，仿真平台可以模拟多种场景的路侧雷达，过滤算法按照雷达特性对标签过滤，提高了仿真数据的准确性，使得路侧感知算法可以使用更加准确的仿真数据。
本发明的各实施方式可以任意进行组合，以实现不同的技术效果。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘SolidStateDisk)等。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，该流程可以由计算机程序来指令相关的硬件完成，该程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法实施例的流程。而前述的存储介质包括：ROM或随机存储记忆体RAM、磁碟或者光盘等各种可存储程序代码的介质。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (8)
1.一种应用于车路协同路侧感知的仿真点云滤波方法，其特征在于，包括：
提取仿真交通环境中各物体模型在路测激光雷达下点云数据和标签；
对所述点云数据进行过滤，剔除点云数据中的地面点，并基于所述标签将对应的物体模型从点云数据中分割，得到标签对应的物体框；若判断获知所述物体框中的点云数量低于预设阈值，则删除物体框对应的标签；
基于数据增强算法对剩余的点云数据进行数据扩展；
对所述点云数据进行过滤，剔除点云数据中的地面点，具体包括：
将所述点云数据投影到极坐标下并进行栅格化，遍历每个栅格内的最高点与最低点，基于随机抽样一致算法RANSAC拟合地面点，将所述地面点作为种子生长算法的初始种子点；
遍历极坐标下的每个栅格，基于预先设置的地面点绝对高度和高度差阈值过来地面点栅格；
基于种子生长算法，以极坐标纵向进行种子生长，满足种子生长条件的点云则为地面点，剔除点云数据中的地面点。
2.根据权利要求1所述的应用于车路协同路侧感知的仿真点云滤波方法，其特征在于，提取仿真交通环境中各物体模型在路测激光雷达下点云数据和标签，具体包括：
基于无人驾驶仿真环境LGSVL平台模拟路测激光雷达所处的真实静态环境，得到仿真交通环境；
在所述仿真交通环境中仿真交通参与者的物体模型，所述交通参与者包括机动车辆、行人和非机动车辆；
基于实际路测激光雷达的位姿设置路测激光雷达的位置，以仿真路测激光雷达下的仿真交通环境，运行LGSVL平台，获得各物体模型在路测激光雷达下的点云数据和标签。
3.根据权利要求2所述的应用于车路协同路侧感知的仿真点云滤波方法，其特征在于，所述实际路测激光雷达的位姿包括路测激光的高度和倾角度。
4.根据权利要求1所述的应用于车路协同路侧感知的仿真点云滤波方法，其特征在于，所述标签包括类别信息、id信息、框体信息、位置偏移信息、角度偏移信息；类别信息为物体模型类别，id信息为物体唯一标识符，框体信息包括交通参与者框体的长、宽、高，位置偏移信息包括交通参与者框体中心距离雷达坐标系x、y、z轴的距离，交通偏移信息包括绕雷达坐标系x、y、z旋转的角度。
5.根据权利要求1所述的应用于车路协同路侧感知的仿真点云滤波方法，其特征在于，基于数据增强算法对剩余的点云数据进行数据扩展，具体包括：
对剩余的点云数据进行镜面翻转、旋转和平移处理，得到扩展后的点云数据。
6.一种应用于车路协同路侧感知的仿真点云滤波系统，其特征在于，包括模拟点云模块、过滤模块和点云生成模块；
模拟点云模块，用于提取仿真交通环境中各物体模型在路测激光雷达下点云数据和标签；
过滤模块，用于对所述点云数据进行过滤，剔除点云数据中的地面点，并基于所述标签将对应的物体模型从点云数据中分割，得到标签对应的物体框；若判断获知所述物体框中的点云数量低于预设阈值，则删除物体框对应的标签；
点云生成模块，用于基于数据增强算法对剩余的点云数据进行数据扩展；
所述过滤模块包括点云过滤单元和标签过滤单元；
所述点云过滤单元，用于将所述点云数据投影到极坐标下并进行栅格化，遍历每个栅格内的最高点与最低点，基于随机抽样一致算法RANSAC拟合地面点，将所述地面点作为种子生长算法的初始种子点；
遍历极坐标下的每个栅格，基于预先设置的地面点绝对高度和高度差阈值过来地面点栅格；
基于种子生长算法，以极坐标纵向进行种子生长，满足种子生长条件的点云则为地面点，剔除点云数据中的地面点；
所述标签过滤单元，用于通过标签可以将物体模型从点云数据中分割出来，得到物体框，通过判断物体框中是否有点云来过滤该标签，若判断获知物体框对应的点云少于预设阈值则过滤掉对应的标签。
7.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至5任一项所述应用于车路协同路侧感知的仿真点云滤波方法的步骤。
8.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至5任一项所述应用于车路协同路侧感知的仿真点云滤波方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010879197.6A CN112199991B (zh) | 2020-08-27 | 2020-08-27 | 一种应用于车路协同路侧感知的仿真点云滤波方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010879197.6A CN112199991B (zh) | 2020-08-27 | 2020-08-27 | 一种应用于车路协同路侧感知的仿真点云滤波方法和系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112199991A CN112199991A (zh) | 2021-01-08 |
| CN112199991B true CN112199991B (zh) | 2024-04-30 |
Family
ID=74006249
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010879197.6A Active CN112199991B (zh) | 2020-08-27 | 2020-08-27 | 一种应用于车路协同路侧感知的仿真点云滤波方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112199991B (zh) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112816954B (zh) * | 2021-02-09 | 2024-03-26 | 中国信息通信研究院 | 一种基于真值的路侧感知系统评测方法和系统 |
| CN113255504B (zh) * | 2021-05-19 | 2022-07-22 | 燕山大学 | 一种基于深度学习的路侧视角超视距全域融合感知系统 |
| CN114283090A (zh) * | 2021-12-27 | 2022-04-05 | 深圳朗道智通科技有限公司 | 一种地面滤除方法、设备、存储介质及计算机程序产品 |
| CN114332818B (zh) * | 2021-12-28 | 2024-04-09 | 阿波罗智联(北京)科技有限公司 | 障碍物的检测方法、装置和电子设备 |
| CN114279453B (zh) * | 2022-03-04 | 2022-07-19 | 智道网联科技(北京)有限公司 | 基于车路协同的自动驾驶车辆定位方法、装置及电子设备 |
| CN114812435B (zh) * | 2022-04-29 | 2023-10-20 | 苏州思卡信息系统有限公司 | 一种车辆三维点云数据滤波方法 |
| CN115292913A (zh) * | 2022-07-22 | 2022-11-04 | 上海交通大学 | 一种面向车路协同的路测感知仿真系统 |
| CN115205501B (zh) * | 2022-08-10 | 2023-05-23 | 小米汽车科技有限公司 | 路面状况的显示方法、装置、设备及介质 |
Citations (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102103202A (zh) * | 2010-12-01 | 2011-06-22 | 武汉大学 | 一种融合影像的机载激光雷达数据半监督分类方法 |
| CN104298998A (zh) * | 2014-09-28 | 2015-01-21 | 北京理工大学 | 一种3d点云的数据处理方法 |
| CN105787469A (zh) * | 2016-03-25 | 2016-07-20 | 广州市浩云安防科技股份有限公司 | 行人监控和行为识别的方法和系统 |
| CN105844064A (zh) * | 2016-05-23 | 2016-08-10 | 厦门亿力吉奥信息科技有限公司 | 基于激光点云数据的三维变电站半自动重建方法 |
| CN106204705A (zh) * | 2016-07-05 | 2016-12-07 | 长安大学 | 一种基于多线激光雷达的3d点云分割方法 |
| CN108010092A (zh) * | 2017-12-26 | 2018-05-08 | 哈尔滨工业大学 | 一种基于低空摄影测量的城市高密度区太阳能利用潜力评估方法 |
| CN108596860A (zh) * | 2018-05-10 | 2018-09-28 | 芜湖航飞科技股份有限公司 | 一种基于三维激光雷达的地面点云分割方法 |
| CN108983248A (zh) * | 2018-06-26 | 2018-12-11 | 长安大学 | 一种基于3d激光雷达及v2x的网联车定位方法 |
| CN109003326A (zh) * | 2018-06-05 | 2018-12-14 | 湖北亿咖通科技有限公司 | 一种基于虚拟世界的虚拟激光雷达数据生成方法 |
| CN109271893A (zh) * | 2018-08-30 | 2019-01-25 | 百度在线网络技术（北京）有限公司 | 一种仿真点云数据的生成方法、装置、设备及存储介质 |
| CN109683175A (zh) * | 2018-12-24 | 2019-04-26 | 广州文远知行科技有限公司 | 激光雷达配置方法、装置、设备和存储介质 |
| CN109714729A (zh) * | 2018-12-21 | 2019-05-03 | 广州中国科学院软件应用技术研究所 | 一种基于车路协同系统的数字标牌通信方法、装置、计算机设备及可读存储介质 |
| CN109711410A (zh) * | 2018-11-20 | 2019-05-03 | 北方工业大学 | 一种三维物体快速分割和识别方法、装置及系统 |
| CN109960857A (zh) * | 2019-02-28 | 2019-07-02 | 东软睿驰汽车技术（沈阳）有限公司 | 一种激光雷达的仿真方法、装置及仿真平台 |
| CN110084116A (zh) * | 2019-03-22 | 2019-08-02 | 深圳市速腾聚创科技有限公司 | 路面检测方法、装置、计算机设备和存储介质 |
| CN110969624A (zh) * | 2019-11-07 | 2020-04-07 | 哈尔滨工程大学 | 一种激光雷达三维点云分割方法 |
| CN110987464A (zh) * | 2019-11-08 | 2020-04-10 | 同济大学 | 一种用于车辆在环测试的传感器测试环境舱及测试方法 |
| CN111462134A (zh) * | 2020-03-31 | 2020-07-28 | 武汉大学 | 高分遥感影像和激光雷达点云融合的单木分割方法及系统 |
| CN111461138A (zh) * | 2020-03-05 | 2020-07-28 | 云南电网有限责任公司玉溪供电局 | 一种基于LiDAR点云数据的电力线自动提取方法 |
| CN111507982A (zh) * | 2019-06-28 | 2020-08-07 | 浙江大学 | 一种基于深度学习的点云语义分割方法 |
| CN111541990A (zh) * | 2020-04-30 | 2020-08-14 | 重庆车辆检测研究院有限公司 | 一种车路协同系统测试数据的采集系统、方法及装置 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8244026B2 (en) * | 2008-01-09 | 2012-08-14 | Tiltan Systems Engineering Ltd. | Apparatus and method for automatic airborne LiDAR data processing and mapping using data obtained thereby |
| US8605093B2 (en) * | 2010-06-10 | 2013-12-10 | Autodesk, Inc. | Pipe reconstruction from unorganized point cloud data |
| CN109284280B (zh) * | 2018-09-06 | 2020-03-24 | 百度在线网络技术（北京）有限公司 | 仿真数据优化方法、装置及存储介质 |
| US11170299B2 (en) * | 2018-12-28 | 2021-11-09 | Nvidia Corporation | Distance estimation to objects and free-space boundaries in autonomous machine applications |
-
2020
- 2020-08-27 CN CN202010879197.6A patent/CN112199991B/zh active Active
Patent Citations (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102103202A (zh) * | 2010-12-01 | 2011-06-22 | 武汉大学 | 一种融合影像的机载激光雷达数据半监督分类方法 |
| CN104298998A (zh) * | 2014-09-28 | 2015-01-21 | 北京理工大学 | 一种3d点云的数据处理方法 |
| CN105787469A (zh) * | 2016-03-25 | 2016-07-20 | 广州市浩云安防科技股份有限公司 | 行人监控和行为识别的方法和系统 |
| CN105844064A (zh) * | 2016-05-23 | 2016-08-10 | 厦门亿力吉奥信息科技有限公司 | 基于激光点云数据的三维变电站半自动重建方法 |
| CN106204705A (zh) * | 2016-07-05 | 2016-12-07 | 长安大学 | 一种基于多线激光雷达的3d点云分割方法 |
| CN108010092A (zh) * | 2017-12-26 | 2018-05-08 | 哈尔滨工业大学 | 一种基于低空摄影测量的城市高密度区太阳能利用潜力评估方法 |
| CN108596860A (zh) * | 2018-05-10 | 2018-09-28 | 芜湖航飞科技股份有限公司 | 一种基于三维激光雷达的地面点云分割方法 |
| CN109003326A (zh) * | 2018-06-05 | 2018-12-14 | 湖北亿咖通科技有限公司 | 一种基于虚拟世界的虚拟激光雷达数据生成方法 |
| CN108983248A (zh) * | 2018-06-26 | 2018-12-11 | 长安大学 | 一种基于3d激光雷达及v2x的网联车定位方法 |
| CN109271893A (zh) * | 2018-08-30 | 2019-01-25 | 百度在线网络技术（北京）有限公司 | 一种仿真点云数据的生成方法、装置、设备及存储介质 |
| CN109711410A (zh) * | 2018-11-20 | 2019-05-03 | 北方工业大学 | 一种三维物体快速分割和识别方法、装置及系统 |
| CN109714729A (zh) * | 2018-12-21 | 2019-05-03 | 广州中国科学院软件应用技术研究所 | 一种基于车路协同系统的数字标牌通信方法、装置、计算机设备及可读存储介质 |
| CN109683175A (zh) * | 2018-12-24 | 2019-04-26 | 广州文远知行科技有限公司 | 激光雷达配置方法、装置、设备和存储介质 |
| CN109960857A (zh) * | 2019-02-28 | 2019-07-02 | 东软睿驰汽车技术（沈阳）有限公司 | 一种激光雷达的仿真方法、装置及仿真平台 |
| CN110084116A (zh) * | 2019-03-22 | 2019-08-02 | 深圳市速腾聚创科技有限公司 | 路面检测方法、装置、计算机设备和存储介质 |
| CN111507982A (zh) * | 2019-06-28 | 2020-08-07 | 浙江大学 | 一种基于深度学习的点云语义分割方法 |
| CN110969624A (zh) * | 2019-11-07 | 2020-04-07 | 哈尔滨工程大学 | 一种激光雷达三维点云分割方法 |
| CN110987464A (zh) * | 2019-11-08 | 2020-04-10 | 同济大学 | 一种用于车辆在环测试的传感器测试环境舱及测试方法 |
| CN111461138A (zh) * | 2020-03-05 | 2020-07-28 | 云南电网有限责任公司玉溪供电局 | 一种基于LiDAR点云数据的电力线自动提取方法 |
| CN111462134A (zh) * | 2020-03-31 | 2020-07-28 | 武汉大学 | 高分遥感影像和激光雷达点云融合的单木分割方法及系统 |
| CN111541990A (zh) * | 2020-04-30 | 2020-08-14 | 重庆车辆检测研究院有限公司 | 一种车路协同系统测试数据的采集系统、方法及装置 |
Non-Patent Citations (4)
| Title |
|---|
| Augmented LiDAR simulator for autonomous driving;Fang J等;《IEEE Robotics and Automation Letters》;第5卷(第2期);1931-1938 * |
| Quantifying data augmentation for lidar based 3d object detection;Hahner M等;《arXiv:2004.01643v1》;1-7 * |
| 模拟激光雷达点云在路侧感知算法中的应用;邹凯等;《计算机系统应用》;第30卷(第6期);246-254 * |
| 面向车路协同的路侧感知仿真系统;郭云鹏等;《计算机系统应用》;第30卷(第5期);92-98 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112199991A (zh) | 2021-01-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112199991B (zh) | 一种应用于车路协同路侧感知的仿真点云滤波方法和系统 | |
| US11455565B2 (en) | Augmenting real sensor recordings with simulated sensor data | |
| US11487988B2 (en) | Augmenting real sensor recordings with simulated sensor data | |
| CN109509260B (zh) | 动态障碍物点云的标注方法、设备及可读介质 | |
| CN111123920A (zh) | 一种自动驾驶仿真测试场景生成方法和装置 | |
| CN113009506B (zh) | 一种虚实结合的实时激光雷达数据生成方法、系统及设备 | |
| CN112382079B (zh) | 一种面向车路协同的路侧感知模拟仿真方法和系统 | |
| US20240017747A1 (en) | Method and system for augmenting lidar data | |
| JP6850324B2 (ja) | マルチモデルに基づく障害物分布シミュレーション方法、装置、端末及びプログラム | |
| CN109584294A (zh) | 一种基于激光点云的路面点云提取方法和装置 | |
| CN113640822B (zh) | 一种基于非地图元素过滤的高精度地图构建方法 | |
| CN109508579B (zh) | 用于获取虚拟点云数据的方法及装置 | |
| CN111275633A (zh) | 基于图像分割的点云去噪方法、系统、装置和存储介质 | |
| JP6850325B2 (ja) | 確率プロットに基づく障害物分布シミュレーション方法、装置、端末、記憶媒体、及びプログラム | |
| CN112348737A (zh) | 模拟图像生成的方法、电子设备及存储介质 | |
| CN112860575A (zh) | 一种交通环境融合感知在环的自动驾驶算法仿真测试方法 | |
| CN114882316A (zh) | 目标检测模型训练方法、目标检测方法及装置 | |
| CN111881121B (zh) | 一种自动驾驶数据填充方法和装置 | |
| CN112639822B (zh) | 一种数据处理方法及装置 | |
| CN116309943B (zh) | 一种停车场语义地图路网构建方法、装置及电子设备 | |
| CN117423087A (zh) | 三维目标检测方法、装置、终端及计算机可读存储介质 | |
| CN112712098A (zh) | 图像数据处理方法及装置 | |
| CN115857685A (zh) | 一种感知算法数据闭环方法及相关装置 | |
| CN111738051B (zh) | 点云处理方法、装置、计算机设备和存储介质 | |
| CN115346081A (zh) | 基于多数据融合的输电线路点云数据分类方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |