CN117635850A - 一种数据处理方法及装置 - Google Patents
一种数据处理方法及装置 Download PDFInfo
- Publication number
- CN117635850A CN117635850A CN202210950399.4A CN202210950399A CN117635850A CN 117635850 A CN117635850 A CN 117635850A CN 202210950399 A CN202210950399 A CN 202210950399A CN 117635850 A CN117635850 A CN 117635850A
- Authority
- CN
- China
- Prior art keywords
- type
- laser
- cloud data
- point cloud
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title abstract description 13
- 230000003068 static effect Effects 0.000 claims abstract description 45
- 238000000034 method Methods 0.000 claims abstract description 36
- 238000001514 detection method Methods 0.000 claims description 41
- 230000011218 segmentation Effects 0.000 claims description 29
- 238000012545 processing Methods 0.000 claims description 18
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 238000004590 computer program Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 9
- 230000006872 improvement Effects 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 230000018109 developmental process Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 239000003550 marker Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000002787 reinforcement Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 229920001296 polysiloxane Polymers 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 239000010979 ruby Substances 0.000 description 1
- 229910001750 ruby Inorganic materials 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/05—Geographic models
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Remote Sensing (AREA)
- Computer Graphics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本说明书公开了一种数据处理方法及装置,先确定若干单帧点云数据中各激光点的类型,以及根据各帧点云数据确定点云数据集,该类型包含动态类型、静态类型以及待定类型,然后对包围该点云数据集的三维包围框框进行体素划分,针对每个体素,确定包含动态类型的激光点的体素作为动态体素,确定不存在静态类型的激光点的动态体素中待定类型的激光点的类型为动态类型,最后去除各动态体素中动态类型的激光点,得到处理后的点云数据集以构建高精地图。通过对合并得到的点云数据集进行体素划分,并根据各体素中包含的激光点,确定各体素中待定类型的激光点的类型,提高了对属于动态物体的激光点的识别准确率。
Description
技术领域
本申请涉及计算机技术领域,尤其涉及一种数据处理方法及装置。
背景技术
目前,随着自动驾驶技术的发展,对高精地图的应用也在发展。在高精地图的构建过程中,由于单帧点云数据中的激光点较为稀疏,通常先通过采集设备采集多帧点云数据,然后对多帧点云数据进行拼接得到点云数据集。从而基于点云数据集提取地图元素并绘制高精地图。
发明内容
本说明书实施例提供的一种数据处理方法及装置,用于至少部分的解决现有技术中存在的问题。
本说明书采用下述技术方案:
本说明书提供了一种数据处理方法,包括:
确定若干单帧点云数据中各激光点的类型,以及根据各帧点云数据确定点云数据集,所述类型包含动态类型、静态类型以及待定类型;
确定包围所述点云数据集的三维包围框,根据预设的体素大小,对所述三维包围框进行体素划分,分别确定划分得到的各体素中包含的激光点;
针对每个体素,确定包含动态类型的激光点的体素作为动态体素;
若所述动态体素中不存在静态类型的激光点,则确定所述动态体素中待定类型的激光点的类型为动态类型;
去除所述动态体素中动态类型的激光点,得到处理后的点云数据集,以根据处理后的点云数据集构建高精地图。
可选地,确定若干单帧点云数据中各激光点的类型,具体包括:
将各单帧点云数据分别输入目标检测模型进行目标检测,确定检测得到的各目标对应的激光点以及各目标对应的类型,以确定各单帧点云数据中各激光点的第一类型;
将各单帧点云数据分别输入语义分割模型进行语义分割,确定各单帧点云数据中各激光点的第二类型;
针对各单帧点云数据的每个激光点,根据该激光点的所述第一类型和所述第二类型,确定该激光点的类型。
可选地,确定各单帧点云数据中各激光点的第一类型,具体包括:
确定各单帧点云数据中检测得到的各目标以外的所有激光点的第一类型为待定类型;
针对所述目标检测模型检测得到的每个目标,确定所述目标检测模型输出该目标对应的第一预测类型时的第一置信度;
判断所述第一置信度是否大于预设的第一置信度阈值;
若是,则确定该目标对应的各激光点的第一类型为该目标对应的第一预测类型;
若否,则确定该目标对应的各激光点的第一类型为待定类型。
可选地,确定各单帧点云数据中各激光点的第二类型,具体包括:
针对所述语义分割模型输出的每个激光点,确定所述语义分割模型输出该激光点的第二预测类型时的第二置信度;
判断所述第二置信度是否大于预设的第二置信度阈值;
若是,则确定该激光点的第二类型为该激光点的预测类型;
若否,则确定该激光点的第二类型为待定类型。
可选地,根据该激光点的所述第一类型和所述第二类型,确定该激光点的类型,具体包括:
判断该激光点是否为所述目标检测模型检测得到的各目标包含的激光点;
若是,则确定该激光点的类型为该激光点的第一类型;
若否,则确定该激光点的类型为该激光点的第二类型。
可选地,确定划分得到的各体素中包含的激光点,具体包括:
确定所述点云数据集中各激光点的三维坐标;
根据各激光点的三维坐标以及预设的体素大小,确定各激光点落入的体素,以确定划分得到的各体素中包含的激光点。
可选地,根据各帧点云数据确定点云数据集,具体包括:
根据采集设备采集各单帧点云数据时的采集位置,对各单帧点云数据进行坐标转换,将各单帧点云数据转换至世界坐标系;
合并各单帧点云数据,确定点云数据集。
本说明书提供了一种数据处理装置,包括:
获取模块,用于确定若干单帧点云数据中各激光点的类型,以及根据各帧点云数据确定点云数据集,所述类型包含动态类型、静态类型以及待定类型;
体素划分模块,用于确定包围所述点云数据集的三维包围框,根据预设的体素大小,对所述三维包围框进行体素划分,分别确定划分得到的各体素中包含的激光点;
体素分类模块,用于针对每个体素,确定包含动态类型的激光点的体素作为动态体素;
确定模块,用于若所述动态体素中不存在静态类型的激光点,则确定所述动态体素中待定类型的激光点的类型为动态类型;
处理模块,用于去除所述动态体素中动态类型的激光点,得到处理后的点云数据集,以根据处理后的点云数据集构建高精地图。
本说明书采用的上述至少一个技术方案能够达到以下有益效果:
在本说明书提供的数据处理方法,先确定若干单帧点云数据中各激光点的类型,以及根据各帧点云数据确定点云数据集,该类型包含动态类型、静态类型以及待定类型,然后对包围该点云数据集的三维包围框框进行体素划分,针对每个体素,确定包含动态类型的激光点的体素作为动态体素,确定不存在静态类型的激光点的动态体素中待定类型的激光点的类型为动态类型,最后去除各动态体素中动态类型的激光点,得到处理后的点云数据集以构建高精地图。通过对合并得到的点云数据集进行体素划分,并根据各体素中包含的激光点,确定各体素中待定类型的激光点的类型,提高了对属于动态物体的激光点的识别准确率。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1为本说明书提供的一种数据处理的流程示意图;
图2为本说明书提供的一种数据处理的装置示意图;
图3为本说明书提供的一种实现数据处理方法的电子设备示意图。
具体实施方式
为使本说明书的目的、技术方案和优点更加清楚,下面将结合本说明书具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然,所描述的实施例仅是本申请一部分实施例,而不是全部的实施例。基于说明书中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
目前,采用语义分割的方法确定的各单帧点云数据中每个点的类型不够准确,使得根据语义分割结果去除各单帧点云数据中属于动态物体的激光点后,各单帧点云数据中还残留有属于动态物体的激光点,从而拼接得到的点云数据集中会残留有属于动态物体的拖影,影响后续高精地图的构建。
以下结合附图,详细说明本申请各实施例提供的技术方案。
图1为本说明书中一种数据处理的流程示意图,具体包括以下步骤:
S100:确定若干单帧点云数据中各激光点的类型,以及根据各帧点云数据确定点云数据集,所述类型包含动态类型、静态类型以及待定类型。
一般的,在构建高精地图时,业务平台的服务器可先获取若干单帧点云数据,确定若干单帧点云数据中各激光点的类型,然后合并各单帧点云数据得到点云数据集,根据确定出的各激光点的类型,将点云数据集中属于动态物体的激光点进行去除处理,即可根据处理后的点云数据集提取地图元素并绘制高精地图。
基于此,在本说明书一个或多个实施例中,业务平台的服务器可先确定若干单帧点云数据中各激光点的类型,以及根据各帧点云数据确定点云数据集。
其中,各单帧点云数据可以是采集设备预先采集的一段时间内的点云数据,采集设备可将采集到的各单帧点云数据存储在存储设备中,业务平台的服务器可从该存储设备中获取各单帧点云数据。当然,各单帧点云还可以是服务器从其他数据平台中获取的,本说明书对此不做限制。
在获取到各单帧点云数据后,业务平台的服务器可先对各单帧点云数据进行初步分类,确定各单帧点云数据中各激光点的类型,后续可进一步根据初步分类结果确定各激光点中属于动态物体的激光点并进行去除。这里所说的类型包含动态类型、静态类型以及待定类型。当某激光点的类型为动态类型时,表示该激光点属于动态物体,换句话说,该激光点是由采集设备发射的激光打在动态物体上形成的。当某激光点的类型为静态类型时,表示该激光点属于静态物体,即,该激光点是由采集设备发射的激光打在静态物体上形成的。当某激光点的类型为动态类型时,表示无法确定该激光点的类型,或无法确定该激光点属于动态物体还是静态物体,或者确定的激光点的类型的置信度较低,可以确定该激光点的类型为待定类型。
具体通过何种方式确定各单帧点云数据中各激光点的类型,本说明书对此不做限制。例如,可以是通过语义分割模型、目标检测模型等确定各激光点的类型,对此已有较为成熟的技术,此处不再赘述。
本说明书中提到的服务器可以是设置于业务平台的服务器,或能够执行本说明书方案的诸如台式机、笔记本电脑等设备。为了方便说明,下面仅以服务器为执行主体进行说明。
通过上述获取到各单帧点云数据后,在本说明书一个或多个实施例中,服务器可根据采集设备采集各单帧点云数据时的采集位置,对各单帧点云数据进行坐标转换,将各单帧点云数据转换至世界坐标系,然后合并各单帧点云数据得到点云数据集。
一般的,采集设备在采集并存储点云数据时,通常是基于采集设备进行采集,并存储各激光点相对于采集设备的相对位置信息以及采集时刻的采集位置。通常该采集位置为世界坐标系下采集设备的三维坐标。因此,在合并各单帧点云时,需要基于采集设备采集各单帧点云数据时的采集位置,对各激光点相对于采集设备的相对位置信息进行坐标转换,将各激光点转换到世界坐标下,得到世界坐标系下,各激光点的三维坐标,从而便于后续处理。
这里说的合并,可以是对各单帧点云数据进行点云拼接,即,将各单帧点云数据中包含的各激光点合并为一个点云数据集。当然,还可以预设位置范围,将各单帧点云数据中落入该预设位置范围中的激光点作为点云数据集。本说明书对如何确定点云数据集不做限制。
需要说明的是,得到的点云数据集中仍然保留有各激光点的属性,例如,各激光点的三维坐标、RGB色彩、类型等中的一种或多种。
S102:确定包围所述点云数据集的三维包围框,根据预设的体素大小,对所述三维包围框进行体素划分,分别确定划分得到的各体素中包含的激光点。
通过上述确定点云数据集后,服务器可基于得到的点云数据集,对该点云数据集进行划分,从而可逐一对划分得到的各部分点云数据进行处理。
具体的,服务器可先根据该点云数据集中各激光点的三维坐标,确定包围该点云数据集的三维包围框,然后根据预设的体素大小,对该三维包围框进行体素划分,并分别确定划分得到的各体素中包含的激光点。
其中,确定包围点云数据集的三维包围框时,服务器可根据该点云数据集中各激光点的三维坐标,确定在世界坐标系下,各个维度处于边界的边界激光点,然后,根据各维度的边界激光点确定包围该点云数据集的三维包围框。
体素的大小具体如何设置,可根据需要确定。在本说明书一个或多个实施例中,可通过以下公式确定体素在各维度的单位大小:
Sizex=Sizey<Sizez
式中,Sizex表示体素在x轴维度的单位大小,Sizey表示体素在y轴维度的单位大小,Sizez表示体素在z轴维度的单位大小。
例如,为了尽可能避免在水平方向上,将属于动态物体和静态物体的激光点划分至同一体素中,可将体素的底面设置为较小的尺寸,即,基于世界坐标系将体素在x轴维度和y轴维度的单位大小设置为较小的数值。如,底面可设置为5cm×5cm。而在垂直方向上,通常在某一水平位置的垂直方向上,各激光点的类型大概率相同,则可将体素的高度设置为较大的尺寸,即,基于世界坐标系将体素在z轴维度的单位大小设置为较大的数值。如,高度可设置为10cm。当然,此处仅为举例说明,本说明书对此不做限制。
对三维包围框进行体素划分后,服务器可根据该点云数据集中各激光点的三维坐标,以及预设的体素大小,确定各激光点落入的体素。
可通过以下公式计算每个激光点落入的体素:
其中,三个公式类似,只是在不同维度的体现,因此,以x轴维度为例进行说明,Voxelx表示体素在x轴维度的序号,Pointx表示激光点的三维坐标中x轴维度的坐标值,Sizex表示体素在x轴维度的单位大小,表示向下取整。根据激光点的三维坐标中x轴维度的坐标值,与体素在x轴维度的单位大小的比值,对该比值进行向下取整即可确定该激光点落入的体素在x轴维度的序号。另外两个公式与此同理,此处不再一一赘述。
通过上述三个公式,即可确定各激光点落入的体素在不同维度的序号,从而可确定各激光点落入的体素,换句话说,即确定了各体素中包含的激光点。
S104:针对每个体素,确定包含动态类型的激光点的体素作为动态体素。
S106:若所述动态体素中不存在静态类型的激光点,则确定所述动态体素中待定类型的激光点的类型为动态类型。
S108:去除所述动态体素中动态类型的激光点,得到处理后的点云数据集,以根据处理后的点云数据集构建高精地图。
通过上述确定划分得到的各体素中包含的激光点后,在本说明书一个或多个实施例中,服务器可先针对每个体素,根据该体素中包含的激光点的类型,确定该体素的类型。
由上述可知,激光点的类型包含三种,分别为动态类型、静态类型以及待定类型。则每个体素中的包含的激光点的类型存在7中组合情况。即,包含其中一种,或包含其中任意两种,或三种全包含的情况。于是,服务器可确定包含动态类型的激光点的体素作为动态体素。确定其余体素为静态体素。
对于每个动态体素,服务器可进一步判断该动态体素中是否存在静态类型的激光点,若该动态体素中存在静态类型的激光点,则说明该体素处于动态物体和静态物体的交界处,只需去除该体素中属于动态物体的激光点即可,其余的激光点可视为静态类型的激光点。
若该动态体素中不存在静态类型的激光点则说明该体素处于采集空间中的空闲区域,这里说的空闲区域是指不存在静态物体的区域,例如道路上,或道路两边的人行道,而在交通场景中,动态物体通常是交替占据空闲区域的,因此,当动态体素中不存在静态类型的激光点时,可确定该体素中的所有激光点的类型为动态类型,即,确定该动态体素中的待定类型的激光点的类型为动态类型。
具体的,服务器可通过标记符标记不存在静态类型的激光点的动态体素,对存在静态类型的激光点的动态体素则不进行标记。然后将各被标记的动态体素中的各激光点的类型确定为动态类型。其中,具体采用何种标记符可根据需要设置,本说明书对此不做限制。例如,可为每个动态体素设置一个标识,该标识的取值可为0或1,可将标识为0作为未进行标记,标识为1作为被标记。
对于每个静态体素,可将静态体素中包含的各激光点视为静态类型的激光点,静态体素中各激光点的类型无需调整。
最后,服务器可去除各动态体素中动态类型的激光点,保留动态体素中的其余激光点以及各静态体素中包含的激光点。得到处理后的点云数据集,以根据处理后的点云数据集构建高精地图。
基于图1所示的数据处理方法,先确定若干单帧点云数据中各激光点的类型,以及根据各帧点云数据确定点云数据集,该类型包含动态类型、静态类型以及待定类型,然后对包围该点云数据集的三维包围框框进行体素划分,针对每个体素,确定包含动态类型的激光点的体素作为动态体素,确定不存在静态类型的激光点的动态体素中待定类型的激光点的类型为动态类型,最后去除各动态体素中动态类型的激光点,得到处理后的点云数据集以构建高精地图。通过对合并得到的点云数据集进行体素划分,并根据各体素中包含的激光点,确定各体素中待定类型的激光点的类型,提高了对属于动态物体的激光点的识别准确率。
此外,在本说明书一个或多个实施例中,步骤S100中,由于语义分割模型在对点云数据进行语义分割确定各点的类型时,一般不考虑空间一致性,于是,对于非连续的可数物体(如,行人、车辆等),语义分割模型通常难以将属于该可数物体的全部激光点划分为同一种类型或同一目标。而目标检测模型识别得到的目标通常为非连续的可数物体,目标检测模型在识别出目标后,通过采用包围框包围目标的方式,确定识别得到的目标对应的激光点,通常可较为准确的确定属于可数物体的激光点。
基于此,业务平台的服务器可先将各单帧点云数据分别输入目标检测模型进行目标检测,确定检测得到的各目标对应的激光点以及各目标对应的类型,以确定各单帧点云数据中各激光点的第一类型。然后,服务器可将各单帧点云数据分别输入语义分割模型进行语义分割,确定各单帧点云数据中各激光点的第二类型,针对单帧点云数据的每个激光点,根据该激光点的第一类型和第二类型,确定该激光点的类型。
通过上述方式可基于目标检测模型确定属于可数物体的激光点及其类型,基于语义分割模型确定属于连续的不可数的背景类物体(如,绿化、路面等)的激光点及其类型,能够更准确的确定点云数据集中各激光点的类型。
进一步地,在本说明书一个或多个实施例中,服务器通过目标检测模型确定各单帧点云数据中各激光点的第一类型时,目标检测模型通常会输出检测得到的目标的包围框、该目标对应的类型以及置信度。当置信度较高时,说明目标检测模型的识别结果较为准确,可信度较高,当置信度较低时,说明目标检测模型的识别结果较差,可信度较低。则服务器可通过预设的置信度阈值对识别得到的目标进行滤除。
服务器可先针对该目标检测模型检测得到的每个目标,确定该目标检测模型输出该目标对应的第一预测类型时的第一置信度,并判断该第一置信度是否大于预设的第一置信度阈值,若是,则确定该目标对应的各激光点的第一类型为该目标对应的第一预测类型,若否,则确定该目标对应的各激光点的第一类型为待定类型。然后确定各单帧点云数据中检测得到的各目标以外的所有激光点的第一类型为待定类型。
其中,第一预测类型可以包含动态类型、静态类型。所说的第一置信度阈值可根据需要确定,本说明书对此不做限制。例如,为了提高召回目标的准确度,可设置较高的第一置信度阈值(如,95%)。则通过目标检测模型确定各单帧点云数据中各激光点的第一类型时,可得到较为准确的动态类型的激光点以及静态类型的激光点。后续可对待定类型的激光点进行针对性处理,即可较为准确的去除属于动态物体的激光点。对于目标检测模型检测得到的目标之外的激光点可先设置为待定类型,后续通过语义分割模型确定目标之外的激光点的类型。
对应的服务器针对单帧点云数据的每个激光点,根据该激光点的第一类型和第二类型,确定该激光点的类型时,服务器可判断该激光点的第一类型是否为待定类型,若是,则确定该激光点的类型为该激光点的第二类型,若否,则确定该激光点的类型为该激光点的第一类型。也就是说,对于非连续的可数物体,可将目标检测模型给出的目标中,置信度大于预设的第一置信度阈值的目标对应的激光点的第一类型作为最终结果。而对于目标检测模型分类结果中待定类型的激光点,服务器可将语义分割模型给出的分类结果作为最终结果。
另外,在本说明书一个或多个实施例中,对于服务器语义分割模型确定单帧点云数据中各激光点的第二类型时,语义分割模型通常会输出各激光点的类型以及置信度。当置信度较高时,说明语义分割模型的识别结果较为准确,可信度较高,当置信度较低时,说明语义分割模型的识别结果较差,可信度较低。则服务器可通过预设的置信度阈值对各点进行滤除,只保留可信度较高的点的类型。
服务器可先针对该语义分割模型输出的每个激光点,确定该语义分割模型输出该激光点的第二预测类型时的第二置信度,然后判断该第二置信度是否大于预设的第二置信度阈值,若是,则确定该激光点的第二类型为该激光点的预测类型,若否,则确定该激光点的第二类型为待定类型。
其中,第二预测类型可以包含动态类型、静态类型。所说的第二置信度阈值可根据需要确定,例如,为了提高确定得到的各激光点的类型的准确度,可设置较高的第二置信度阈值(如,98%)。则通过目标检测模型确定各单帧点云数据中各激光点的第二类型时,可得到较为准确的动态类型的激光点以及静态类型的激光点。后续可对待定类型的激光点进行针对性处理,即可较为准确的去除属于动态物体的激光点。当然,该第二置信度阈值可与上述第一置信度阈值取相同大小的值,本说明书对此不做限制。
更进一步地,在本说明书一个或多个实施例中,服务器针对单帧点云数据的每个激光点,根据该激光点的第一类型和第二类型,确定该激光点的类型时,对于非连续的可数物体,可将目标检测模型的分类结果作为最终结果。而对于目标检测模型无法选定的连续的不可数的背景类物体,可将语义分割模型的分类结果作为最终结果。
于是,当目标检测模型不通过置信度阈值来对检测得到的目标进行滤除时,服务器可针对单帧点云数据的每个激光点,判断该激光点是否为目标检测模型检测得到的各目标包含的激光点,若是,则确定该激光点的类型为该激光点的第一类型,若否,则确定该激光点的类型为该激光点的第二类型。
当然,当目标检测模型通过置信度阈值来对检测得到的目标进行滤除时,服务器可针对单帧点云数据的每个激光点,判断该激光点是否为滤除后的各目标包含的激光点,若是,则确定该激光点的类型为该激光点的第一类型,若否,则确定该激光点的类型为该激光点的第二类型。从而确定更为准确地确定各激光点类型。
需要说明的是,本申请中所有获取信号、信息或数据的动作都是在遵照所在地国家相应的数据保护法规政策的前提下,并获得由相应装置所有者给予授权的情况下进行的。
本说明书提供的数据处理方法,可应用于训练确定数据关系的强化学习模型。该强化学习模型可基于知识图谱确定提示模板,避免了上下文语境的差异对预训练语言模型预测准确度的影响,后续结合知识图谱对各预测结果进行筛选,从而确定较为准确的数据关系。
以上为本说明书的一个或多个实施例提供的数据处理方法,基于同样的思路,本说明书还提供了相应的数据处理装置,如图2所示。
图2为本说明书提供的一种数据处理装置示意图,包括:
获取模块200,用于确定若干单帧点云数据中各激光点的类型,以及根据各帧点云数据确定点云数据集,所述类型包含动态类型、静态类型以及待定类型;
体素划分模块202,用于确定包围所述点云数据集的三维包围框,根据预设的体素大小,对所述三维包围框进行体素划分,分别确定划分得到的各体素中包含的激光点;
体素分类模块204,用于针对每个体素,确定包含动态类型的激光点的体素作为动态体素;
确定模块206,用于若所述动态体素中不存在静态类型的激光点,则确定所述动态体素中待定类型的激光点的类型为动态类型;
处理模块208,用于去除所述动态体素中动态类型的激光点,得到处理后的点云数据集,以根据处理后的点云数据集构建高精地图。
可选地,所述获取模块200,将各单帧点云数据分别输入目标检测模型进行目标检测,确定检测得到的各目标对应的激光点以及各目标对应的类型,以确定各单帧点云数据中各激光点的第一类型,将各单帧点云数据分别输入语义分割模型进行语义分割,确定各单帧点云数据中各激光点的第二类型,针对各单帧点云数据的每个激光点,根据该激光点的所述第一类型和所述第二类型,确定该激光点的类型。
可选地,所述获取模块200,确定各单帧点云数据中检测得到的各目标以外的所有激光点的第一类型为待定类型,针对所述目标检测模型检测得到的每个目标,确定所述目标检测模型输出该目标对应的第一预测类型时的第一置信度,判断所述第一置信度是否大于预设的第一置信度阈值,若是,则确定该目标对应的各激光点的第一类型为该目标对应的第一预测类型,若否,则确定该目标对应的各激光点的第一类型为待定类型。
可选地,所述获取模块200,针对所述语义分割模型输出的每个激光点,确定所述语义分割模型输出该激光点的第二预测类型时的第二置信度,判断所述第二置信度是否大于预设的第二置信度阈值,若是,则确定该激光点的第二类型为该激光点的预测类型,若否,则确定该激光点的第二类型为待定类型。
可选地,所述获取模块200,判断该激光点是否为所述目标检测模型检测得到的各目标包含的激光点,若是,则确定该激光点的类型为该激光点的第一类型,若否,则确定该激光点的类型为该激光点的第二类型。
可选地,所述体素划分模块202,确定所述点云数据集中各激光点的三维坐标,根据各激光点的三维坐标以及预设的体素大小,确定各激光点落入的体素,以确定划分得到的各体素中包含的激光点。
可选地,所述获取模块200,根据采集设备采集各单帧点云数据时的采集位置,对各单帧点云数据进行坐标转换,将各单帧点云数据转换至世界坐标系,合并各单帧点云数据,确定点云数据集。
本说明书还提供了一种计算机可读存储介质,该存储介质存储有计算机程序,计算机程序可用于执行上述图1提供的数据处理方法。
本说明书还提供了图3所示的电子设备的结构示意图。如图3所述,在硬件层面,该电子设备包括处理器、内部总线、网络接口、内存以及非易失性存储器,当然还可能包括其他业务所需要的硬件。处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行,以实现上述图1提供的数据处理方法。
当然,除了软件实现方式之外,本说明书并不排除其他实现方式,比如逻辑器件异或软硬件结合的方式等等,也就是说以下处理流程的执行主体并不限定于各个逻辑单元,也可以是硬件或逻辑器件。
在20世纪90年代,对于一个技术的改进可以很明显地区分是硬件上的改进(例如,对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而,随着技术的发展,当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此,不能说一个方法流程的改进就不能用硬件实体模块来实现。例如,可编程逻辑器件(Programmable Logic Device,PLD)(例如现场可编程门阵列(Field Programmable GateArray,FPGA))就是这样一种集成电路,其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片PLD上,而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且,如今,取代手工地制作集成电路芯片,这种编程也多半改用“逻辑编译器(logic compiler)”软件来实现,它与程序开发撰写时所用的软件编译器相类似,而要编译之前的原始代码也得用特定的编程语言来撰写,此称之为硬件描述语言(Hardware Description Language,HDL),而HDL也并非仅有一种,而是有许多种,如ABEL(Advanced Boolean Expression Language)、AHDL(Altera Hardware DescriptionLanguage)、Confluence、CUPL(Cornell University Programming Language)、HDCal、JHDL(Java Hardware Description Language)、Lava、Lola、MyHDL、PALASM、RHDL(RubyHardware Description Language)等,目前最普遍使用的是VHDL(Very-High-SpeedIntegrated Circuit Hardware Description Language)与Verilog。本领域技术人员也应该清楚,只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中,就可以很容易得到实现该逻辑方法流程的硬件电路。
控制器可以按任何适当的方式实现,例如,控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application Specific Integrated Circuit,ASIC)、可编程逻辑控制器和嵌入微控制器的形式,控制器的例子包括但不限于以下微控制器:ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20以及Silicone Labs C8051F320,存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道,除了以纯计算机可读程序代码方式实现控制器以外,完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件,而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至,可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
上述实施例阐明的系统、装置、模块或单元,具体可以由计算机芯片或实体实现,或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的,计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
为了描述的方便,描述以上装置时以功能分为各种单元分别描述。当然,在实施本说明书时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白,本说明书的实施例可提供为方法、系统或计算机程序产品。因此,本说明书可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本说明书可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本说明书可以在由计算机执行的计算机可执行指令的一般上下文中描述,例如程序模块。一般地,程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书,在这些分布式计算环境中,由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中,程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于系统实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
以上所述仅为本说明书的实施例而已,并不用于限制本说明书。对于本领域技术人员来说,本说明书可以有各种更改和变化。凡在本说明书的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本说明书的权利要求范围之内。
Claims (8)
1.一种数据处理方法,其特征在于,包括:
确定若干单帧点云数据中各激光点的类型,以及根据各帧点云数据确定点云数据集,所述类型包含动态类型、静态类型以及待定类型;
确定包围所述点云数据集的三维包围框,根据预设的体素大小,对所述三维包围框进行体素划分,分别确定划分得到的各体素中包含的激光点;
针对每个体素,确定包含动态类型的激光点的体素作为动态体素;
若所述动态体素中不存在静态类型的激光点,则确定所述动态体素中待定类型的激光点的类型为动态类型;
去除所述动态体素中动态类型的激光点,得到处理后的点云数据集,以根据处理后的点云数据集构建高精地图。
2.如权利要求1所述的方法,其特征在于,确定若干单帧点云数据中各激光点的类型,具体包括:
将各单帧点云数据分别输入目标检测模型进行目标检测,确定检测得到的各目标对应的激光点以及各目标对应的类型,以确定各单帧点云数据中各激光点的第一类型;
将各单帧点云数据分别输入语义分割模型进行语义分割,确定各单帧点云数据中各激光点的第二类型;
针对各单帧点云数据的每个激光点,根据该激光点的所述第一类型和所述第二类型,确定该激光点的类型。
3.如权利要求2所述的方法,其特征在于,确定各单帧点云数据中各激光点的第一类型,具体包括:
确定各单帧点云数据中检测得到的各目标以外的所有激光点的第一类型为待定类型;
针对所述目标检测模型检测得到的每个目标,确定所述目标检测模型输出该目标对应的第一预测类型时的第一置信度;
判断所述第一置信度是否大于预设的第一置信度阈值;
若是,则确定该目标对应的各激光点的第一类型为该目标对应的第一预测类型;
若否,则确定该目标对应的各激光点的第一类型为待定类型。
4.如权利要求2所述的方法,其特征在于,确定各单帧点云数据中各激光点的第二类型,具体包括:
针对所述语义分割模型输出的每个激光点,确定所述语义分割模型输出该激光点的第二预测类型时的第二置信度;
判断所述第二置信度是否大于预设的第二置信度阈值;
若是,则确定该激光点的第二类型为该激光点的预测类型;
若否,则确定该激光点的第二类型为待定类型。
5.如权利要求3所述的方法,其特征在于,根据该激光点的所述第一类型和所述第二类型,确定该激光点的类型,具体包括:
判断该激光点是否为所述目标检测模型检测得到的各目标包含的激光点;
若是,则确定该激光点的类型为该激光点的第一类型;
若否,则确定该激光点的类型为该激光点的第二类型。
6.如权利要求1所述的方法,其特征在于,确定划分得到的各体素中包含的激光点,具体包括:
确定所述点云数据集中各激光点的三维坐标;
根据各激光点的三维坐标以及预设的体素大小,确定各激光点落入的体素,以确定划分得到的各体素中包含的激光点。
7.如权利要求1所述的方法,其特征在于,根据各帧点云数据确定点云数据集,具体包括:
根据采集设备采集各单帧点云数据时的采集位置,对各单帧点云数据进行坐标转换,将各单帧点云数据转换至世界坐标系;
合并各单帧点云数据,确定点云数据集。
8.一种数据处理装置,其特征在于,包括:
获取模块,用于确定若干单帧点云数据中各激光点的类型,以及根据各帧点云数据确定点云数据集,所述类型包含动态类型、静态类型以及待定类型;
体素划分模块,用于确定包围所述点云数据集的三维包围框,根据预设的体素大小,对所述三维包围框进行体素划分,分别确定划分得到的各体素中包含的激光点;
体素分类模块,用于针对每个体素,确定包含动态类型的激光点的体素作为动态体素;
确定模块,用于若所述动态体素中不存在静态类型的激光点,则确定所述动态体素中待定类型的激光点的类型为动态类型;
处理模块,用于去除所述动态体素中动态类型的激光点,得到处理后的点云数据集,以根据处理后的点云数据集构建高精地图。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210950399.4A CN117635850B (zh) | 2022-08-09 | 2022-08-09 | 一种数据处理方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210950399.4A CN117635850B (zh) | 2022-08-09 | 2022-08-09 | 一种数据处理方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117635850A true CN117635850A (zh) | 2024-03-01 |
CN117635850B CN117635850B (zh) | 2024-10-25 |
Family
ID=90016794
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210950399.4A Active CN117635850B (zh) | 2022-08-09 | 2022-08-09 | 一种数据处理方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117635850B (zh) |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20190011566A1 (en) * | 2017-07-04 | 2019-01-10 | Baidu Online Network Technology (Beijing) Co., Ltd. | Method and apparatus for identifying laser point cloud data of autonomous vehicle |
CN111311709A (zh) * | 2020-02-05 | 2020-06-19 | 北京三快在线科技有限公司 | 一种生成高精地图的方法及装置 |
CN111427979A (zh) * | 2020-01-15 | 2020-07-17 | 深圳市镭神智能系统有限公司 | 基于激光雷达的动态地图构建方法、系统及介质 |
CN111882611A (zh) * | 2020-07-17 | 2020-11-03 | 北京三快在线科技有限公司 | 一种地图构建方法及装置 |
US20210042557A1 (en) * | 2019-08-07 | 2021-02-11 | Here Global B.V. | Method, apparatus and computer program product for three dimensional feature extraction from a point cloud |
CN113126115A (zh) * | 2021-04-06 | 2021-07-16 | 北京航空航天大学杭州创新研究院 | 基于点云的语义slam方法、装置、电子设备和存储介质 |
CN113470089A (zh) * | 2021-07-21 | 2021-10-01 | 中国人民解放军国防科技大学 | 一种基于三维点云的跨域协同定位和建图方法及系统 |
US20220180088A1 (en) * | 2020-12-07 | 2022-06-09 | Shenzhen Deeproute.Ai Co., Ltd | Object detection network and method |
-
2022
- 2022-08-09 CN CN202210950399.4A patent/CN117635850B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20190011566A1 (en) * | 2017-07-04 | 2019-01-10 | Baidu Online Network Technology (Beijing) Co., Ltd. | Method and apparatus for identifying laser point cloud data of autonomous vehicle |
US20210042557A1 (en) * | 2019-08-07 | 2021-02-11 | Here Global B.V. | Method, apparatus and computer program product for three dimensional feature extraction from a point cloud |
CN111427979A (zh) * | 2020-01-15 | 2020-07-17 | 深圳市镭神智能系统有限公司 | 基于激光雷达的动态地图构建方法、系统及介质 |
CN111311709A (zh) * | 2020-02-05 | 2020-06-19 | 北京三快在线科技有限公司 | 一种生成高精地图的方法及装置 |
CN111882611A (zh) * | 2020-07-17 | 2020-11-03 | 北京三快在线科技有限公司 | 一种地图构建方法及装置 |
US20220180088A1 (en) * | 2020-12-07 | 2022-06-09 | Shenzhen Deeproute.Ai Co., Ltd | Object detection network and method |
CN113126115A (zh) * | 2021-04-06 | 2021-07-16 | 北京航空航天大学杭州创新研究院 | 基于点云的语义slam方法、装置、电子设备和存储介质 |
CN113470089A (zh) * | 2021-07-21 | 2021-10-01 | 中国人民解放军国防科技大学 | 一种基于三维点云的跨域协同定位和建图方法及系统 |
Non-Patent Citations (2)
Title |
---|
YUXIANG SUN: "《PointMoSeg: Sparse Tensor-Based End-to-End Moving-Obstacle Segmentation in 3-D Lidar Point Clouds for Autonomous Driving》", 《IEEE》, 28 December 2020 (2020-12-28) * |
丁超: "《基于激光雷达的大范围环境地图构建与重定位》", 《中国优秀硕士学位论文全文数据库》, 15 February 2020 (2020-02-15) * |
Also Published As
Publication number | Publication date |
---|---|
CN117635850B (zh) | 2024-10-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111311709B (zh) | 一种生成高精地图的方法及装置 | |
CN111508258B (zh) | 一种定位方法及装置 | |
CN112036462B (zh) | 一种模型训练以及目标检测的方法及装置 | |
CN111639682A (zh) | 基于点云数据的地面分割方法及装置 | |
CN113887608B (zh) | 一种模型训练的方法、图像检测的方法及装置 | |
CN111238450B (zh) | 视觉定位方法及装置 | |
CN114295119B (zh) | 一种构建地图的方法及装置 | |
CN112327864A (zh) | 一种无人驾驶设备的控制方法及控制装置 | |
CN111797711A (zh) | 一种模型训练的方法及装置 | |
CN115880685A (zh) | 一种基于votenet模型的三维目标检测方法和系统 | |
CN114440903A (zh) | 一种高精地图构建方法、装置、存储介质及电子设备 | |
CN117197781B (zh) | 一种交通标志识别的方法、装置、存储介质及电子设备 | |
CN113887351B (zh) | 一种用于无人驾驶的障碍物检测方法及障碍物检测装置 | |
CN113674424B (zh) | 一种电子地图绘制的方法及装置 | |
CN116721399B (zh) | 一种量化感知训练的点云目标检测方法及装置 | |
CN111426299B (zh) | 一种基于目标物的景深进行测距的方法及装置 | |
CN112818968A (zh) | 一种目标物分类方法及装置 | |
CN117635850B (zh) | 一种数据处理方法及装置 | |
CN114429576A (zh) | 一种生成训练样本的方法及装置 | |
CN112712595B (zh) | 一种生成仿真环境的方法及装置 | |
CN111881817B (zh) | 一种提取特定区域的方法、装置、存储介质及电子设备 | |
CN112329547A (zh) | 一种数据处理方法及装置 | |
CN116721118B (zh) | 一种基于点云的飞行器安全降落点的选择方法及装置 | |
CN111104908A (zh) | 一种道路边沿确定方法及装置 | |
CN116740197B (zh) | 一种外参的标定方法、装置、存储介质及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant |