CN114596555A - 障碍物点云数据筛选方法、装置、电子设备及存储介质 - Google Patents
障碍物点云数据筛选方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN114596555A CN114596555A CN202210495936.0A CN202210495936A CN114596555A CN 114596555 A CN114596555 A CN 114596555A CN 202210495936 A CN202210495936 A CN 202210495936A CN 114596555 A CN114596555 A CN 114596555A
- Authority
- CN
- China
- Prior art keywords
- point cloud
- obstacle
- cloud cluster
- cluster
- screened
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Optical Radar Systems And Details Thereof (AREA)
- Traffic Control Systems (AREA)
Abstract
本公开提供一种障碍物点云数据筛选方法、装置、电子设备及存储介质。该方法应用于无人驾驶设备,即自动驾驶设备或无人车,包括:获取原始数据片段,从原始数据片段中提取与目标区域的位置相对应的障碍物点云簇;根据标注结果得到不同障碍物类别的障碍物点云簇,将障碍物点云簇转换至参考坐标系下;利用障碍物点云簇对分类模型进行训练,并利用训练后的分类模型对目标点云簇进行分类,得到目标点云簇的障碍物类别;计算目标点云簇与每个待筛选点云簇之间的矢量距离,基于矢量距离进行相似性排序,基于排序结果确定与目标点云簇的障碍物类别相同的待筛选点云簇。本公开能够对指定类别的障碍物点云进行自动筛选,提升点云数据的筛选效果和效率。
Description
技术领域
本公开涉及无人驾驶技术领域,尤其涉及一种障碍物点云数据筛选方法、装置、电子设备及存储介质。
背景技术
无人驾驶车辆是一种集环境感知、规划决策、多等级辅助驾驶等功能于一体的综合系统,无人驾驶车辆,也称自动驾驶车辆、无人车。自动驾驶的感知算法主要依赖于深度学习,而深度学习算法的性能依赖于大量丰富的标注数据。如果某一类障碍物的检测效果较差,存在漏检或者误检,说明当前的检测算法对该类物体的检测性能较差,需要向训练数据中添加更多的该类数据。因此,在海量数据中找到该类别障碍物的点云数据,是提升无人车感知能力的关键。
现有技术中,在海量数据中筛选指定类别障碍物的点云数据通常采用以下两种方式,第一种方式是人为筛选,人工通过可视化的方法,挑选出存在指定类别障碍物的点云数据,这种方式不仅费时费力,而且不适用于在海量数据中筛选点云数据的场景;第二种方式是目标检测器筛选,通过已有数据训练目标检测器,从而对新数据中目标障碍物的位置和类别进行检测,但是这种方式依赖于标注数据的丰富性,对点云数量较少的类别检测效果较差,不能达到较好的筛选效果,也降低了筛选效率。
发明内容
有鉴于此,本公开实施例提供了一种障碍物点云数据筛选方法、装置、电子设备及存储介质,以解决现有技术存在的对指定类别障碍物的点云数据筛选耗时长,筛选效果差,筛选效率低的问题。
本公开实施例的第一方面,提供了一种障碍物点云数据筛选方法,包括:获取由无人车采集到的点云数据组成的原始数据片段,并从预置的地图信息中获取目标区域,从原始数据片段中提取出与目标区域的位置相对应的障碍物点云簇;基于预设的障碍物类别对障碍物点云簇进行标注,根据标注结果得到属于不同障碍物类别的障碍物点云簇,并将不同障碍物类别的障碍物点云簇转换至参考坐标系下;利用参考坐标系下的障碍物点云簇对分类模型进行训练,并利用训练后的分类模型对目标点云簇进行分类,得到目标点云簇对应的障碍物类别;计算目标点云簇与待筛选数据集中每一个待筛选点云簇之间的矢量距离,基于矢量距离对待筛选点云簇进行相似性排序,基于相似性排序的结果确定与目标点云簇的障碍物类别相同的待筛选点云簇。
本公开实施例的第二方面,提供了一种障碍物点云数据筛选装置,包括:获取模块,被配置为获取由无人车采集到的点云数据组成的原始数据片段,并从预置的地图信息中获取目标区域,从原始数据片段中提取出与目标区域的位置相对应的障碍物点云簇;转换模块,被配置为基于预设的障碍物类别对障碍物点云簇进行标注,根据标注结果得到属于不同障碍物类别的障碍物点云簇,并将不同障碍物类别的障碍物点云簇转换至参考坐标系下;训练模块,被配置为利用参考坐标系下的障碍物点云簇对分类模型进行训练,并利用训练后的分类模型对目标点云簇进行分类,得到目标点云簇对应的障碍物类别;筛选模块,被配置为计算目标点云簇与待筛选数据集中每一个待筛选点云簇之间的矢量距离,基于矢量距离对待筛选点云簇进行相似性排序,基于相似性排序的结果确定与目标点云簇的障碍物类别相同的待筛选点云簇。
本公开实施例的第三方面,提供了一种电子设备,包括存储器,处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行程序时实现上述方法的步骤。
本公开实施例的第四方面,提供了一种计算机可读存储介质,该计算机可读存储介质存储有计算机程序,该计算机程序被处理器执行时实现上述方法的步骤。
本公开实施例采用的上述至少一个技术方案能够达到以下有益效果:
通过获取由无人车采集到的点云数据组成的原始数据片段,并从预置的地图信息中获取目标区域,从原始数据片段中提取出与目标区域的位置相对应的障碍物点云簇;基于预设的障碍物类别对障碍物点云簇进行标注,根据标注结果得到属于不同障碍物类别的障碍物点云簇,并将不同障碍物类别的障碍物点云簇转换至参考坐标系下;利用参考坐标系下的障碍物点云簇对分类模型进行训练,并利用训练后的分类模型对目标点云簇进行分类,得到目标点云簇对应的障碍物类别;计算目标点云簇与待筛选数据集中每一个待筛选点云簇之间的矢量距离,基于矢量距离对待筛选点云簇进行相似性排序,基于相似性排序的结果确定与目标点云簇的障碍物类别相同的待筛选点云簇。本公开实现海量数据中对指定类别障碍物点云数据的自动化筛选,无需人为筛选和判断,降低点云数据筛选的耗时,并且不依赖于标注数据的丰富性,提升点云数据的筛选效果和筛选效率。
附图说明
为了更清楚地说明本公开实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本公开的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它的附图。
图1是本公开实施例提供的障碍物点云数据筛选方法的流程示意图;
图2是本公开实施例提供的相似性计算方法的流程示意图;
图3是本公开实施例提供的障碍物点云数据筛选装置的结构示意图;
图4是本公开实施例提供的电子设备的结构示意图。
具体实施方式
以下描述中,为了说明而不是为了限定,提出了诸如特定系统结构、技术之类的具体细节,以便透彻理解本公开实施例。然而,本领域的技术人员应当清楚,在没有这些具体细节的其它实施例中也可以实现本公开。在其它情况中,省略对众所周知的系统、装置、电路以及方法的详细说明,以免不必要的细节妨碍本公开的描述。
如前述内容,无人驾驶车辆,也称自动驾驶车辆、无人车或轮式移动机器人,是融合环境感知、路径规划、状态识别和车辆控制等多元一体的集成化、智能化的新时代技术产物。伴随着无人驾驶技术的快速发展,自动驾驶车辆的应用场景和范围也逐渐扩大,例如包括无人配送车、无人零售车、无人清扫车、无人巡逻车等等。常规的无人驾驶技术中,通过感知模块采集环境信息、车辆行驶信息、障碍物信息等,将感知模块采集的信息作为决策规划模块的输入,决策规划模块对输入的信息进行分析和处理,并最终为车辆规划出一条满足各种约束条件(如安全性、平顺性、车辆本身的动力学约束等)的轨迹。
另外,对于无人驾驶运动规划来说,车辆在行驶过程中需要不断地处理周围障碍物,通过安装在自动驾驶车辆上的数据采集装置,比如摄像头、雷达等感知设备,实时获取车辆周边的障碍物信息。对障碍物信息进行处理之后传输给规划模块,由规划模块根据障碍物信息对自动驾驶车辆的行驶路径进行规划。
近几年,随着自动驾驶受到人们越来越多的关注,但是在实际开发中,自动驾驶仍然面临着各种各样的挑战。比如在自动驾驶的感知技术领域,自动驾驶的感知算法主要依赖于深度学习,而深度学习算法的性能又依赖于大量丰富的标注数据。如果在车辆测试过程中发现对某一类障碍物的检测效果较差,存在漏检或者误检等,说明当前的检测算法对该类物体的检测性能较差,需要向训练数据中添加更多的该类障碍物的点云数据。因此,如何在路测采集的海量数据中,找到存在该类别障碍物的点云数据,是提升无人车感知能力的关键。
无人车上安装的激光雷达作为自动驾驶中的一种重要的传感器,对自动驾驶系统的感知有不可忽略的影响,但是受激光点云数据标注难度大、价格高等因素的影响,激光点云数据的标注量还远远不能满足感知算法的需要,因此,亟需提供一种能够在海量的点云数据中筛选出指定类别的障碍物点云数据的方法。
在传统的点云数据筛选方案中,对海量数据中的指定类别障碍物的点云数据进行筛选时,通常采用以下两种方式:第一种方式是人为筛选,人工通过可视化的方法,挑选出存在指定类别障碍物的点云数据,然后对挑选出来的点云数据进行标注,然而这种方式不仅费时费力,而且不适用于在海量数据中筛选点云数据的场景;第二种方式是目标检测器筛选,使用已有的标注数据,通过深度学习的方法训练目标检测器,利用训练好的目标检测器对新数据中目标障碍物的位置和类别进行检测,但是这种方法依赖于标注数据的丰富性,需要标注数据集中涵盖大量的各类数据,实际场景中各类别障碍物的点云数据服从长尾分布,从而导致目标检测器对标注数据集中点云数量较多的类别检测效果较好,但对于点云数量较少的类别检测效果较差,甚至会将其检测为背景,因此不能达到较好的筛选效果。
有鉴于此,本公开实施例提供一种障碍物点云数据筛选方法,获取路测或者无人车运营时采集的点云数据所组成的原始数据片段,并从原始数据片段中提取感兴趣区域内的所有障碍物点云簇,通过设计相似性计算算法,计算目标点云簇与待筛选数据集中每一个待筛选点云簇之间的矢量距离,矢量距离能够表征不同类别障碍物的点云簇之间的相似度,将矢量距离按照从小到大的顺序进行排序,选择排序结果中前若干个的矢量距离对应的待筛选点云簇,将选择出来的待筛选点云簇作为与目标点云簇具有相同障碍物类别的点云数据,从而实现基于给定的目标点云簇从待筛选数据集中筛选相同类别的点云簇,最后将依据目标点云簇的障碍物类别对筛选出来的点云簇进行类别标注。本公开技术方案无需人为筛选和判断,实现点云数据的自动化筛选,从而降低点云数据筛选的耗时,并且不依赖于标注数据的丰富性,提升点云数据的筛选效果和筛选效率。接下来结合具体实施例对本公开技术方案进行详细说明。
图1是本公开实施例提供的障碍物点云数据筛选方法的流程示意图。图1的障碍物点云数据筛选方法可以由自动驾驶系统中的电子设备或者服务器执行。如图1所示,该障碍物点云数据筛选方法具体可以包括:
S101,获取由无人车采集到的点云数据组成的原始数据片段,并从预置的地图信息中获取目标区域,从原始数据片段中提取出与目标区域的位置相对应的障碍物点云簇;
S102,基于预设的障碍物类别对障碍物点云簇进行标注,根据标注结果得到属于不同障碍物类别的障碍物点云簇,并将不同障碍物类别的障碍物点云簇转换至参考坐标系下;
S103,利用参考坐标系下的障碍物点云簇对分类模型进行训练,并利用训练后的分类模型对目标点云簇进行分类,得到目标点云簇对应的障碍物类别;
S104,计算目标点云簇与待筛选数据集中每一个待筛选点云簇之间的矢量距离,基于矢量距离对待筛选点云簇进行相似性排序,基于相似性排序的结果确定与目标点云簇的障碍物类别相同的待筛选点云簇。
具体地,点云数据(point cloud data)可以认为是在一个三维坐标系统中的一组向量,在自动驾驶技术中,利用安装在无人车上的激光雷达对道路环境进行实时扫描,采集道路环境对应的点云数据,这其中就包含道路中障碍物的点云数据。点云数据以点的形式记录,每一个点包含有三维坐标,也可能含有颜色信息或反射强度信息。本公开实施例的原始数据片段是由多帧点云数据组成的数据片段,比如将多帧点云数据进行拼接组合得到原始数据片段。
进一步地,点云簇可以认为是利用点云聚类的方式将原始点云群根据一定的特征进行分割得到的一系列的点云簇。障碍物点云簇即原始数据片段中障碍物对应的点云簇。需要特别强调的是,本公开实施例中指定类别的障碍物是指在实际路测中,通过人为可视化的方式筛选时,检测效果比较差的一些障碍物,比如公交站台、锥桶、大卡车等不常见障碍物。
根据本公开实施例提供的技术方案,通过获取由无人车采集到的点云数据组成的原始数据片段,并从预置的地图信息中获取目标区域,从原始数据片段中提取出与目标区域的位置相对应的障碍物点云簇;基于预设的障碍物类别对障碍物点云簇进行标注,根据标注结果得到属于不同障碍物类别的障碍物点云簇,并将不同障碍物类别的障碍物点云簇转换至参考坐标系下;利用参考坐标系下的障碍物点云簇对分类模型进行训练,并利用训练后的分类模型对目标点云簇进行分类,得到目标点云簇对应的障碍物类别;计算目标点云簇与待筛选数据集中每一个待筛选点云簇之间的矢量距离,基于矢量距离对待筛选点云簇进行相似性排序,基于相似性排序的结果确定与目标点云簇的障碍物类别相同的待筛选点云簇。本公开实现海量数据中对指定类别障碍物点云数据的自动化筛选,无需人为筛选和判断,降低点云数据筛选的耗时,并且不依赖于标注数据的丰富性,提升点云数据的筛选效果和筛选效率。
在一些实施例中,获取由无人车采集到的点云数据组成的原始数据片段,并从预置的地图信息中获取目标区域,包括:在无人车的运行过程中,利用安装在无人车上的激光雷达采集道路环境对应的点云数据,利用点云数据生成原始数据片段,并从地图信息中获取目标区域;其中,原始数据片段是由多帧点云数据拼接而成的数据片段,目标区域为预设的地图信息中的感兴趣区域。
具体地,本公开实施例用于生成原始数据片段的点云数据包括路测场景、指定场景、运营场景下采集到的点云数据,点云数据是利用激光雷达对道路环境进行扫描得到的点云形式的数据,将点云数据作为文件进行存储。在获得点云数据之后,将多帧点云数据按照拼接组合的方式得到原始数据片段,因此原始数据片段中包含多帧由无人车采集到的点云数据。
在一些实施例中,从原始数据片段中提取出与目标区域的位置相对应的障碍物点云簇,包括:基于地图信息中的感兴趣区域,对原始数据片段进行点云检测,得到感兴趣区域中的障碍物对应的边界框,并对边界框中的点云数据进行提取,得到障碍物点云簇;和/或,利用分割方式对原始数据片段执行分割操作,得到障碍物点云簇。
具体地,在生成原始数据片段之后,为了减少感兴趣区域之外的背景点云对筛选效果的影响,需要先从地图信息中获取感兴趣区域,并在感兴趣区域内提取障碍物点云簇。在实际应用中,地图信息可以包括高精地图信息,高精地图信息是预先获取并存储到自动驾驶系统中的信息,高精度地图可以认为是精度更高、数据维度更多的电子地图。高精度地图的定位精度可以精确到厘米级别,高精度地图中除了包括道路信息之外,还包括与交通相关的周围静态信息。
进一步地,本公开实施例的感兴趣区域也可以称为ROI(regions of interest)区域,ROI区域可以是预先通过高精地图信息标记的区域,比如道路两侧一定范围内的区域等。对原始数据片段中ROI区域内的障碍物点云簇进行提取时,可以采用以下方式中的一种或者两种的组合,其中,第一种方式是使用点云检测技术对原始数据片段进行检测,得到ROI区域内各个障碍物对应的边界框,对边界框中的点云进行提取,即可得到障碍物点云簇;第二种方式是利用分割技术直接从原始数据片段中分割得到障碍物点云簇。
在一些实施例中,在根据标注结果得到属于不同障碍物类别的障碍物点云簇之后,该方法还包括:对每个障碍物点云簇中的点云数量进行判断,将点云数量小于数量阈值的障碍物点云簇进行过滤,保留点云数量大于或等于数量阈值的障碍物点云簇,并将过滤后的障碍物点云簇转换至参考坐标系下。
具体地,根据预设的障碍物类别对ROI区域内提取得到的障碍物点云簇进行标注,从而确定不同障碍物点云簇对应的障碍物类别,每一种障碍物类别可以认为是一个子类。在提取出ROI区域内的所有子类的障碍物点云簇之后,为了避免数据的模糊性对分类模型的判别产生影响,需要将全部障碍物点云簇中点云数量过少的点云簇进行过滤,只保留点云数量大于或等于数量阈值的障碍物点云簇。
进一步地,在将过滤后得到的障碍物点云簇转换至参考坐标系时,可以将障碍物点云簇中所有障碍物的中心点设置为坐标原点,得到统一参考坐标系下的不同类别的障碍物点云簇。
本公开实施例在对自动驾驶的激光点云数据集中的指定类别的障碍物进行搜索时,通过设计一种相似性计算方法,利用该相似性计算方法从待筛选数据集中自动筛选出与指定点云簇(即目标点云簇)具有相同类别的障碍物点云簇。下面结合附图以及具体实施例,对目标点云簇与待筛选点云簇之间的相似度计算过程进行详细描述。图2是本公开实施例提供的相似性计算方法的流程示意图。如图2所示,该相似性计算方法主要包括以下内容:
S201,根据对障碍物点云簇的标注结果,获取所有子类对应的点云簇;
S202,过滤掉点云数量较少的点云簇,以免数据的模糊性对分类模型的判别结果产生影响;
S203,统一将所有的点云簇转换至参考坐标系下,即将所有障碍物的中心点设置为坐标原点;
S204,使用点云簇及其对应的标签训练分类器;
S205,利用矢量距离函数计算目标点云簇与待筛选点云簇之间的矢量距离;
S206,按照矢量距离进行排序,选择相似度最大的前K个点云簇,并进行可视化确认。
下面结合具体实施例对上述相似性计算方法的实现过程进行详细说明。
在一些实施例中,利用参考坐标系下的障碍物点云簇对分类模型进行训练,包括:将转换至参考坐标系下的障碍物点云簇作为样本,将障碍物点云簇标注的障碍物类别作为标签,将样本及标签组成训练集,利用训练集对分类模型进行训练,其中,分类模型为采用点云目标检测网络所构建的网络模型。
具体地,在得到统一参考坐标系下的不同类别的障碍物点云簇之后,使用障碍物点云簇及其对应的标签来训练分类模型,即将障碍物点云簇作为训练数据,将障碍物点云簇标注的障碍物类别作为训练数据的标签,根据训练数据及标签生成样本训练集,利用样本训练集对分类模型进行训练,使训练后的分类模型可以对不同子类的点云簇进行区分。
进一步地,本公开实施例的分类模型可以采用基于Pointpillars点云目标检测网络所构建的分类网络模型。Pointpillars由三大部分组成,即利用pillars的方式将点云转化为稀疏伪图像,使用2D网络进行特征的学习,以及使用SSD检测头进行Bbox的回归。Pointpillars对不同类别的点云簇进行检测和区分时具有明显的速度优势和更高的精度。
在一些实施例中,计算目标点云簇与待筛选数据集中每一个待筛选点云簇之间的矢量距离,包括:基于目标点云簇中每一个点云数据对应的向量,对目标点云簇中全部点云数据的向量进行叠加,得到目标点云簇对应的向量;基于待筛选点云簇中每一个点云数据对应的向量,对待筛选点云簇中全部点云数据的向量进行叠加,得到待筛选数据集中每一个待筛选点云簇对应的向量;分别计算目标点云簇的向量与每一个待筛选点云簇的向量之间的距离,将距离作为目标点云簇与待筛选点云簇之间的矢量距离,其中,矢量距离用于表征目标点云簇与待筛选点云簇之间的相似度。
具体地,本公开实施例利用相似性计算算法,从待筛选数据集中选择出与所给的目标点云簇相似的点云数据。通过计算目标点云簇与待筛选数据集中每一个待筛选点云簇之间的矢量距离,将矢量距离作为表征目标点云簇与待筛选点云簇之间相似度的指标。在实际应用中,在进行矢量距离计算之前,设计一个用于计算矢量距离的函数,并确定距离阈值,使得同一子类的两个障碍物之间的距离小于阈值,不同子类的两个障碍物之间的距离大于阈值。通过以上算法,使得两个点云簇之间的距离越小,则相似性越大,因此,通过计算矢量距离,基于矢量距离和阈值可以区分不同子类下的点云簇。
在一些实施例中,基于矢量距离对待筛选点云簇进行相似性排序,基于相似性排序的结果确定与目标点云簇的障碍物类别相同的待筛选点云簇,包括:将矢量距离按照由小至大的方式进行相似性排序,从相似性排序的结果中选择前若干个相似度的矢量距离,获取前若干个相似度的矢量距离对应的待筛选点云簇,并将待筛选点云簇的障碍物类别设置成目标点云簇对应的障碍物类别。
具体地,在计算得到目标点云簇与待筛选数据集中每一个待筛选点云簇之间的矢量距离之后,将全部的矢量距离按照从小到大的顺序进行排序,矢量距离越小表示该矢量距离对应的待筛选点云簇与目标点云簇之间就越相似。因此,通过统计计算目标点云簇与每个待筛选点云簇之间的矢量距离,实现对待筛选点云簇的相似度排序,根据排序结果选择前K个相似度最大的待筛选点云簇,并将这些待筛选点云簇对应的障碍物类别标注成与目标点云簇相同的障碍物类别,从而找到与目标点云簇相似的点云簇。
根据本公开实施例提供的技术方案,本公开实施例通过设计一种相似性计算方法,使相似性算法具有区分两个子类点云数据的能力,利用该算法自动筛选出存在指定类型的障碍物的数据,并且不依赖于已有标注数据中的障碍物类型的分布情况。另外,基于相似性计算得到的矢量距离,对待筛选点云簇按照与目标点云簇之间的相似度进行排序,根据排序结果得到与所给障碍物点云(即目标点云簇)最为相似的点云数据,无需人为进行筛选和判断;利用该算法可以寻找待筛选数据集中与所给的任意点云簇相似的数据,即使标注数据中没有该类点云障碍物,相似性算法也可以把与所给障碍物最相似的点云数据输出。
下述为本公开装置实施例,可以用于执行本公开方法实施例。对于本公开装置实施例中未披露的细节,请参照本公开方法实施例。
图3是本公开实施例提供的障碍物点云数据筛选装置的结构示意图。如图3所示,该障碍物点云数据筛选装置包括:
获取模块301,被配置为获取由无人车采集到的点云数据组成的原始数据片段,并从预置的地图信息中获取目标区域,从原始数据片段中提取出与目标区域的位置相对应的障碍物点云簇;
转换模块302,被配置为基于预设的障碍物类别对障碍物点云簇进行标注,根据标注结果得到属于不同障碍物类别的障碍物点云簇,并将不同障碍物类别的障碍物点云簇转换至参考坐标系下;
训练模块303,被配置为利用参考坐标系下的障碍物点云簇对分类模型进行训练,并利用训练后的分类模型对目标点云簇进行分类,得到目标点云簇对应的障碍物类别;
筛选模块304,被配置为计算目标点云簇与待筛选数据集中每一个待筛选点云簇之间的矢量距离,基于矢量距离对待筛选点云簇进行相似性排序,基于相似性排序的结果确定与目标点云簇的障碍物类别相同的待筛选点云簇。
在一些实施例中,图3的获取模块301在无人车的运行过程中,利用安装在无人车上的激光雷达采集道路环境对应的点云数据,利用点云数据生成原始数据片段,并从地图信息中获取目标区域;其中,原始数据片段是由多帧点云数据拼接而成的数据片段,目标区域为预设的地图信息中的感兴趣区域。
在一些实施例中,图3的获取模块301基于地图信息中的感兴趣区域,对原始数据片段进行点云检测,得到感兴趣区域中的障碍物对应的边界框,并对边界框中的点云数据进行提取,得到障碍物点云簇;和/或,利用分割方式对原始数据片段执行分割操作,得到障碍物点云簇。
在一些实施例中,图3的转换模块302在根据标注结果得到属于不同障碍物类别的障碍物点云簇之后,对每个障碍物点云簇中的点云数量进行判断,将点云数量小于数量阈值的障碍物点云簇进行过滤,保留点云数量大于或等于数量阈值的障碍物点云簇,并将过滤后的障碍物点云簇转换至参考坐标系下。
在一些实施例中,图3的训练模块303将转换至参考坐标系下的障碍物点云簇作为样本,将障碍物点云簇标注的障碍物类别作为标签,将样本及标签组成训练集,利用训练集对分类模型进行训练,其中,分类模型为采用点云目标检测网络所构建的网络模型。
在一些实施例中,图3的筛选模块304基于目标点云簇中每一个点云数据对应的向量,对目标点云簇中全部点云数据的向量进行叠加,得到目标点云簇对应的向量;基于待筛选点云簇中每一个点云数据对应的向量,对待筛选点云簇中全部点云数据的向量进行叠加,得到待筛选数据集中每一个待筛选点云簇对应的向量;分别计算目标点云簇的向量与每一个待筛选点云簇的向量之间的距离,将距离作为目标点云簇与待筛选点云簇之间的矢量距离,其中,矢量距离用于表征目标点云簇与待筛选点云簇之间的相似度。
在一些实施例中,图3的筛选模块304将矢量距离按照由小至大的方式进行相似性排序,从相似性排序的结果中选择前若干个相似度的矢量距离,获取前若干个相似度的矢量距离对应的待筛选点云簇,并将待筛选点云簇的障碍物类别设置成目标点云簇对应的障碍物类别。
应理解,上述实施例中各步骤的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本公开实施例的实施过程构成任何限定。
图4是本公开实施例提供的电子设备4的结构示意图。如图4所示,该实施例的电子设备4包括:处理器401、存储器402以及存储在该存储器402中并且可以在处理器401上运行的计算机程序403。处理器401执行计算机程序403时实现上述各个方法实施例中的步骤。或者,处理器401执行计算机程序403时实现上述各装置实施例中各模块/单元的功能。
示例性地,计算机程序403可以被分割成一个或多个模块/单元,一个或多个模块/单元被存储在存储器402中,并由处理器401执行,以完成本公开。一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段,该指令段用于描述计算机程序403在电子设备4中的执行过程。
电子设备4可以是桌上型计算机、笔记本、掌上电脑及云端服务器等电子设备。电子设备4可以包括但不仅限于处理器401和存储器402。本领域技术人员可以理解,图4仅仅是电子设备4的示例,并不构成对电子设备4的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件,例如,电子设备还可以包括输入输出设备、网络接入设备、总线等。
处理器401可以是中央处理单元(Central Processing Unit,CPU),也可以是其它通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器402可以是电子设备4的内部存储单元,例如,电子设备4的硬盘或内存。存储器402也可以是电子设备4的外部存储设备,例如,电子设备4上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。进一步地,存储器402还可以既包括电子设备4的内部存储单元也包括外部存储设备。存储器402用于存储计算机程序以及电子设备所需的其它程序和数据。存储器402还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中,上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。另外,各功能单元、模块的具体名称也只是为了便于相互区分,并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述或记载的部分,可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本公开的范围。
在本公开所提供的实施例中,应该理解到,所揭露的装置/计算机设备和方法,可以通过其它的方式实现。例如,以上所描述的装置/计算机设备实施例仅仅是示意性的,例如,模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口,装置或单元的间接耦合或通讯连接,可以是电性,机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本公开各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读存储介质中。基于这样的理解,本公开实现上述实施例方法中的全部或部分流程,也可以通过计算机程序来指令相关的硬件来完成,计算机程序可以存储在计算机可读存储介质中,该计算机程序在被处理器执行时,可以实现上述各个方法实施例的步骤。计算机程序可以包括计算机程序代码,计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质可以包括:能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、电载波信号、电信信号以及软件分发介质等。需要说明的是,计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如,在某些司法管辖区,根据立法和专利实践,计算机可读介质不包括电载波信号和电信信号。
以上实施例仅用以说明本公开的技术方案,而非对其限制;尽管参照前述实施例对本公开进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本公开各实施例技术方案的精神和范围,均应包含在本公开的保护范围之内。
Claims (10)
1.一种障碍物点云数据筛选方法,其特征在于,包括:
获取由无人车采集到的点云数据组成的原始数据片段,并从预置的地图信息中获取目标区域,从所述原始数据片段中提取出与所述目标区域的位置相对应的障碍物点云簇;
基于预设的障碍物类别对所述障碍物点云簇进行标注,根据标注结果得到属于不同障碍物类别的障碍物点云簇,并将所述不同障碍物类别的障碍物点云簇转换至参考坐标系下;
利用所述参考坐标系下的障碍物点云簇对分类模型进行训练,并利用训练后的分类模型对目标点云簇进行分类,得到所述目标点云簇对应的障碍物类别;
计算所述目标点云簇与待筛选数据集中每一个待筛选点云簇之间的矢量距离,基于所述矢量距离对所述待筛选点云簇进行相似性排序,基于所述相似性排序的结果确定与所述目标点云簇的障碍物类别相同的待筛选点云簇。
2.根据权利要求1所述的方法,其特征在于,所述获取由无人车采集到的点云数据组成的原始数据片段,并从预置的地图信息中获取目标区域,包括:
在所述无人车的运行过程中,利用安装在所述无人车上的激光雷达采集道路环境对应的点云数据,利用所述点云数据生成所述原始数据片段,并从所述地图信息中获取目标区域;
其中,所述原始数据片段是由多帧点云数据拼接而成的数据片段,所述目标区域为预设的所述地图信息中的感兴趣区域。
3.根据权利要求2所述的方法,其特征在于,所述从所述原始数据片段中提取出与所述目标区域的位置相对应的障碍物点云簇,包括:
基于所述地图信息中的感兴趣区域,对所述原始数据片段进行点云检测,得到所述感兴趣区域中的障碍物对应的边界框,并对所述边界框中的点云数据进行提取,得到所述障碍物点云簇;和/或,利用分割方式对所述原始数据片段执行分割操作,得到所述障碍物点云簇。
4.根据权利要求1所述的方法,其特征在于,在所述根据标注结果得到属于不同障碍物类别的障碍物点云簇之后,所述方法还包括:
对每个所述障碍物点云簇中的点云数量进行判断,将点云数量小于数量阈值的障碍物点云簇进行过滤,保留点云数量大于或等于所述数量阈值的障碍物点云簇,并将过滤后的所述障碍物点云簇转换至参考坐标系下。
5.根据权利要求1所述的方法,其特征在于,所述利用所述参考坐标系下的障碍物点云簇对分类模型进行训练,包括:
将转换至所述参考坐标系下的障碍物点云簇作为样本,将所述障碍物点云簇标注的障碍物类别作为标签,将所述样本及所述标签组成训练集,利用所述训练集对所述分类模型进行训练,其中,所述分类模型为采用点云目标检测网络所构建的网络模型。
6.根据权利要求1所述的方法,其特征在于,所述计算所述目标点云簇与待筛选数据集中每一个待筛选点云簇之间的矢量距离,包括:
基于所述目标点云簇中每一个点云数据对应的向量,对所述目标点云簇中全部点云数据的向量进行叠加,得到所述目标点云簇对应的向量;
基于所述待筛选点云簇中每一个点云数据对应的向量,对所述待筛选点云簇中全部点云数据的向量进行叠加,得到所述待筛选数据集中每一个所述待筛选点云簇对应的向量;
分别计算所述目标点云簇的向量与每一个所述待筛选点云簇的向量之间的距离,将所述距离作为所述目标点云簇与所述待筛选点云簇之间的矢量距离,其中,所述矢量距离用于表征所述目标点云簇与所述待筛选点云簇之间的相似度。
7.根据权利要求1所述的方法,其特征在于,所述基于所述矢量距离对所述待筛选点云簇进行相似性排序,基于所述相似性排序的结果确定与所述目标点云簇的障碍物类别相同的待筛选点云簇,包括:
将所述矢量距离按照由小至大的方式进行相似性排序,从所述相似性排序的结果中选择前若干个相似度的矢量距离,获取所述前若干个相似度的矢量距离对应的待筛选点云簇,并将所述待筛选点云簇的障碍物类别设置成所述目标点云簇对应的障碍物类别。
8.一种障碍物点云数据筛选装置,其特征在于,包括:
获取模块,被配置为获取由无人车采集到的点云数据组成的原始数据片段,并从预置的地图信息中获取目标区域,从所述原始数据片段中提取出与所述目标区域的位置相对应的障碍物点云簇;
转换模块,被配置为基于预设的障碍物类别对所述障碍物点云簇进行标注,根据标注结果得到属于不同障碍物类别的障碍物点云簇,并将所述不同障碍物类别的障碍物点云簇转换至参考坐标系下;
训练模块,被配置为利用所述参考坐标系下的障碍物点云簇对分类模型进行训练,并利用训练后的分类模型对目标点云簇进行分类,得到所述目标点云簇对应的障碍物类别;
筛选模块,被配置为计算所述目标点云簇与待筛选数据集中每一个待筛选点云簇之间的矢量距离,基于所述矢量距离对所述待筛选点云簇进行相似性排序,基于所述相似性排序的结果确定与所述目标点云簇的障碍物类别相同的待筛选点云簇。
9.一种电子设备,包括存储器,处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现权利要求1至7中任一项所述的方法。
10.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210495936.0A CN114596555B (zh) | 2022-05-09 | 2022-05-09 | 障碍物点云数据筛选方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210495936.0A CN114596555B (zh) | 2022-05-09 | 2022-05-09 | 障碍物点云数据筛选方法、装置、电子设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114596555A true CN114596555A (zh) | 2022-06-07 |
CN114596555B CN114596555B (zh) | 2022-08-30 |
Family
ID=81820517
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210495936.0A Active CN114596555B (zh) | 2022-05-09 | 2022-05-09 | 障碍物点云数据筛选方法、装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114596555B (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20210209792A1 (en) * | 2020-06-22 | 2021-07-08 | Beijing Baidu Netcom Science And Technology Co., Ltd. | Positioning Method, Electronic Device and Computer Readable Storage Medium |
CN114821248A (zh) * | 2022-07-01 | 2022-07-29 | 深圳大学 | 面向点云理解的数据主动筛选标注方法和装置 |
CN114842455A (zh) * | 2022-06-27 | 2022-08-02 | 小米汽车科技有限公司 | 障碍物检测方法、装置、设备、介质、芯片及车辆 |
CN115861426A (zh) * | 2023-01-13 | 2023-03-28 | 江苏金恒信息科技股份有限公司 | 物料取样方法、装置、计算机设备和存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112528781A (zh) * | 2020-11-30 | 2021-03-19 | 广州文远知行科技有限公司 | 一种障碍物检测方法、装置、设备和计算机可读存储介质 |
WO2021134296A1 (zh) * | 2019-12-30 | 2021-07-08 | 深圳元戎启行科技有限公司 | 障碍物检测方法、装置、计算机设备和存储介质 |
CN113468941A (zh) * | 2021-03-11 | 2021-10-01 | 长沙智能驾驶研究院有限公司 | 障碍物检测方法、装置、设备及计算机存储介质 |
CN113569812A (zh) * | 2021-08-31 | 2021-10-29 | 东软睿驰汽车技术(沈阳)有限公司 | 未知障碍物的识别方法、装置和电子设备 |
CN113888748A (zh) * | 2021-09-27 | 2022-01-04 | 北京经纬恒润科技股份有限公司 | 一种点云数据处理方法及装置 |
-
2022
- 2022-05-09 CN CN202210495936.0A patent/CN114596555B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021134296A1 (zh) * | 2019-12-30 | 2021-07-08 | 深圳元戎启行科技有限公司 | 障碍物检测方法、装置、计算机设备和存储介质 |
CN112528781A (zh) * | 2020-11-30 | 2021-03-19 | 广州文远知行科技有限公司 | 一种障碍物检测方法、装置、设备和计算机可读存储介质 |
CN113468941A (zh) * | 2021-03-11 | 2021-10-01 | 长沙智能驾驶研究院有限公司 | 障碍物检测方法、装置、设备及计算机存储介质 |
CN113569812A (zh) * | 2021-08-31 | 2021-10-29 | 东软睿驰汽车技术(沈阳)有限公司 | 未知障碍物的识别方法、装置和电子设备 |
CN113888748A (zh) * | 2021-09-27 | 2022-01-04 | 北京经纬恒润科技股份有限公司 | 一种点云数据处理方法及装置 |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20210209792A1 (en) * | 2020-06-22 | 2021-07-08 | Beijing Baidu Netcom Science And Technology Co., Ltd. | Positioning Method, Electronic Device and Computer Readable Storage Medium |
US11713970B2 (en) * | 2020-06-22 | 2023-08-01 | Beijing Baidu Netcom Science Technology Co., Ltd. | Positioning method, electronic device and computer readable storage medium |
CN114842455A (zh) * | 2022-06-27 | 2022-08-02 | 小米汽车科技有限公司 | 障碍物检测方法、装置、设备、介质、芯片及车辆 |
CN114842455B (zh) * | 2022-06-27 | 2022-09-09 | 小米汽车科技有限公司 | 障碍物检测方法、装置、设备、介质、芯片及车辆 |
CN114821248A (zh) * | 2022-07-01 | 2022-07-29 | 深圳大学 | 面向点云理解的数据主动筛选标注方法和装置 |
CN115861426A (zh) * | 2023-01-13 | 2023-03-28 | 江苏金恒信息科技股份有限公司 | 物料取样方法、装置、计算机设备和存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN114596555B (zh) | 2022-08-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN114596555B (zh) | 障碍物点云数据筛选方法、装置、电子设备及存储介质 | |
CN107563372B (zh) | 一种基于深度学习ssd框架的车牌定位方法 | |
Börcs et al. | Instant object detection in lidar point clouds | |
Ma et al. | Capsule-based networks for road marking extraction and classification from mobile LiDAR point clouds | |
JP2019149150A (ja) | 点群データを処理するための方法及び装置 | |
CN111626217A (zh) | 一种基于二维图片和三维点云融合的目标检测和追踪方法 | |
Balali et al. | Multi-class US traffic signs 3D recognition and localization via image-based point cloud model using color candidate extraction and texture-based recognition | |
CN111179300A (zh) | 障碍物检测的方法、装置、系统、设备以及存储介质 | |
CN104134222A (zh) | 基于多特征融合的车流监控图像检测和跟踪系统及方法 | |
CN112825192B (zh) | 基于机器学习的对象辨识系统及其方法 | |
EP2813973B1 (en) | Method and system for processing video image | |
CN113408584B (zh) | Rgb-d多模态特征融合3d目标检测方法 | |
US20240017747A1 (en) | Method and system for augmenting lidar data | |
Börcs et al. | Fast 3-D urban object detection on streaming point clouds | |
CN112419505A (zh) | 一种结合语义规则和模型匹配的车载点云道路杆状物自动提取方法 | |
Ghahremannezhad et al. | Automatic road detection in traffic videos | |
Wen et al. | Multi-scale context feature and cross-attention network-enabled system and software-based for pavement crack detection | |
Börcs et al. | A model-based approach for fast vehicle detection in continuously streamed urban LIDAR point clouds | |
Zhang et al. | A front vehicle detection algorithm for intelligent vehicle based on improved gabor filter and SVM | |
Morales Rosales et al. | On-road obstacle detection video system for traffic accident prevention | |
CN112946603B (zh) | 一种基于激光雷达的道路养护检测系统及其检测方法 | |
Afdhal et al. | Evaluation of benchmarking pre-trained cnn model for autonomous vehicles object detection in mixed traffic | |
CN113052118A (zh) | 基于高速快球摄像机实现场景变换视频分析检测的方法、系统、装置、处理器及存储介质 | |
Liu et al. | A lightweight lidar-camera sensing method of obstacles detection and classification for autonomous rail rapid transit | |
Dekker et al. | Point Cloud Analysis of Railway Infrastructure: A Systematic Literature Review |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |