CN112700455A

CN112700455A - 一种激光点云数据生成方法、装置、设备及介质

Info

Publication number: CN112700455A
Application number: CN202011585322.9A
Authority: CN
Inventors: 陈义飞; 赵亚丽; 于春磊
Original assignee: Beijing Chaoxing Future Technology Co ltd
Current assignee: Beijing Chaoxing Future Technology Co ltd
Priority date: 2020-12-28
Filing date: 2020-12-28
Publication date: 2021-04-23

Abstract

本发明实施例公开一种激光点云数据生成方法、装置、设备及介质，其中，激光点云数据生成方法包括：从原始场景点云数据集中提取不同类别的目标点云及其标签信息，所述标签信息中包含有所述目标点云的位置信息和朝向信息；从所述原始场景点云数据集中提取无目标的背景场景点云；将预设数量比例的不同类别的目标点云进行位置变换，所述位置变换包括平移和旋转；将经过位置变换后的目标点云放置到所述背景场景点云中地面区域对应的位置，以形成新的场景点云；对所述新的场景点云进行位置变换和去遮挡处理，得到目标场景点云数据集。通过采用上述技术方案，大规模地扩充了场景数据集，同时解决了多类别样本的不均衡问题。

Description

一种激光点云数据生成方法、装置、设备及介质

技术领域

本发明实施例涉及自动驾驶技术领域，具体而言，涉及一种激光点云数据生成方法、装置、设备及介质。

背景技术

近年来，自动驾驶对于激光雷达的需求程度很大，基于深度学习的3D点云感知方案也越来越多。大部分感知方案都是基于深度学习的点云目标检测网络实现的，而点云目标检测网络的训练特别依赖大规模的点云数据集。

从数据的角度，现有开源的大部分数据集的数据规模比较小，且数据集中各类样本的数量相差很大，主要原因如下：一是三维点云场景采集与标注成本比较高；另外数据采集场景中车辆目标出现的频次远远大于人类目标。数据规模小会导致数据层面上对深度学习目标检测网络检测性能的限制，而不同尺寸目标样本不均衡的问题会导致深度学习模型检测不同类别目标时性能差异明显，主要表现为各类目标检测性能较差，限制了自动驾驶领域3D感知算法的准确性和泛化性。

现有计算机视觉领域中有一些基本的数据增强方法。在对深度学习目标检测网络训练时一般用随机的参数变换来增强现有数据，虽然这种数据增强带来的扰动对网络的训练有一定的效果，但无法增加场景的多样性，无法从根本上增加样本数据量来提升网络的检测效果。

发明内容

本发明实施例提供一种激光点云数据生成方法、装置、设备及介质，大规模地扩充了场景数据集，同时解决了多类别样本的不均衡问题。

第一方面，本发明实施提供了一种激光点云数据生成方法，包括：

可选的，从原始场景点云数据集中提取不同类别的目标点云及其标签信息，所述标签信息中包含有所述目标点云的位置信息和朝向信息；

从所述原始场景点云数据集中提取无目标的背景场景点云；

将预设数量比例的不同类别的目标点云进行位置变换，所述位置变换包括平移和旋转；

将经过位置变换后的目标点云放置到所述背景场景点云中地面区域对应的位置，以形成新的场景点云；

对所述新的场景点云进行位置变换和去遮挡处理，得到目标场景点云数据集。

可选的，所述将预设数量比例的不同类别的目标点云进行位置变换，包括：

根据所述位置信息，统计不同朝向和不同位置的目标点云的数量分布；

基于所述数量分布，将预设数量比例的不同类别的目标点云进行位置变换。

可选的，所述背景场景点云中地面区域对应的位置，通过如下方式得到：

基于点云的地面分割法，从所述原始场景点云数据集中分割出地面区域BEV鸟瞰图区域；

将所述鸟瞰图区域映射到所述背景场景点云中，得到用于放置目标点云的地面区域所在的位置。

可选的，所述方法还包括：

将所述原始点云数据集和所述目标场景点云数据集作为训练样本，对预设神经网络模型进行训练。

第二方面，本发明实施例还提供了一种激光点云数据生成装置，包括：

目标提取模块，被配置为从原始场景点云数据集中提取不同类别的目标点云及其标签信息，所述标签信息中包含有所述目标点云的位置信息和朝向信息；

背景提取模块，被配置为从所述原始场景点云数据集中提取无目标的背景场景点云；

位置变化模块，被配置为将预设数量比例的不同类别的目标点云进行位置变换，所述位置变换包括平移和旋转；

场景形成模块，被配置为将经过位置变换后的目标点云放置到所述背景场景点云中地面区域对应的位置，以形成新的场景点云；

目标场景生成模块，被配置为对所述新的场景点云进行位置变换和去遮挡处理，得到目标场景点云数据集。

可选的，所述位置变化模块，具体被配置为：

可选的，所述装置还包括：

模型训练模块，被配置为将所述原始点云数据集和所述目标场景点云数据集作为训练样本，对预设神经网络模型进行训练。

第三方面，本发明实施例还提供了一种计算设备，包括：

存储有可执行程序代码的存储器；

与所述存储器耦合的处理器；

所述处理器调用所述存储器中存储的所述可执行程序代码，执行本发明任意实施例所提供的激光点云数据生成方法。

第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明任意实施例所提供的激光点云数据生成方法。

本发明实施例提供的技术方案，通过将原始场景点云数据集中的目标点云进行位置变化，增加了目标形态的多样性。通过将原始场景点云数据集中的各类目标点云与背景场景点云基于一定的规则进行重新放置组合，并对重新组合后的场景点云进行位置变换，大规模地扩充了场景数据集，同时解决了多类别样本的不均衡问题。

本发明实施例的创新点包括：

1、通过将原始场景点云数据集中的目标点云进行位置变化，增加了目标形态的多样性，在一定程度上提高了神经网络模型的泛化能力，是本发明实施例的创新点之一。

2、通过将原始场景点云数据集中的各类目标点云与背景场景点云基于一定的规则进行重新放置组合，并对重新组合后的场景点云进行位置变换，大规模地扩充了场景数据集，同时解决了多类别样本的不均衡问题。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1a为本发明一个实施例提供的一种点云场景数据的生成方法示意图；

图1b为本发明一个实施例提供的一种激光点云数据生成方法的流程示意图；

图2为本发明一个实施例提供的一种激光点云数据生成装置的结构框图；

图3是本发明一个实施例提供的一种计算设备的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，本发明实施例及附图中的术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。

本发明实施例公开了一种激光点云数据生成方法、装置、设备及介质。为了更加清楚、明白地解释本发明各实施例的内容，下面先对本发明实施例的实现原理进行简单介绍：

图1a为本发明实施例提供的一种点云场景数据的生成方法示意图。如图1a所示，标签文件和场景点云数据集表示已标注的点云数据。通过从已标注的点云数据集中进行目标提取，可得到不同类别的目标点云数据集。通过统计不同朝向、不同位置的点云数量分布，可将不同类别，即不同尺寸的目标点云设置为比例均衡一致，然后可将这些目标点云进行平移和旋转操作，以增加目标点云的多样性。此外，通过从以已标注的点云数据集中进行地面点分割，可得到动态区域BEV(Bird’s Eye View)数据集。将该区域映射到场景中，可得到放置目标点云的地面位置。另外，通过从已标注的点云数据中进行目标移除，可得到点云背景数据集。

进一步的，通过将平移和旋转后的目标点云无碰撞、无重叠地放置在点云背景的对应的地面位置，可形成新的场景点云。通过将该新的场景点云进行旋转、平移和去遮挡操作，可使新的场景更加真实。

下面，对本发明实施例提供的激光点云数据生成方法进行详细介绍。

图1b为本发明一个实施例提供的一种激光点云数据生成方法的流程示意图，该方法可应用于神经网络模型的样本生成过程中，该神经网络模型可用于自动驾驶时对目标对象的识别过程中。本实施例提供的激光点云数据生成方法可通过激光点云数据生成装置来执行，该装置可通过软件和/或硬件的方式来实现，如图1b所示，该方法包括：

110、从原始场景点云数据集中提取不同类别的目标点云及其标签信息。

其中，原始场景点云数据集表示已标注的点云数据，这些点云数据的标注信息包括目标点云的位置信息和朝向信息，该标注信息存储于标签文件中。其中，位置信息为目标点云到传感器(本实施例中为雷达)在X、Y和Z轴这三个方向上的距离；朝向信息表示目标点云在XY平面、YZ平面和XZ平面的角度。

本实施例中，不同类别的目标点云可包括自动驾驶车辆行车过程中所遇到的车辆、行人和交通标志等。

进一步的，在得到目标点云后，可根据目标点云的位置信息，统计不同朝向和不同位置的目标点云的数量分布，从而可确定出目标在距离雷达不同位置时的朝向和点数分布。

120、从原始场景点云数据集中提取无目标的背景场景点云。

本实施例中，步骤110和120的执行顺序不存在先后之分，可以顺序进行，也可以同时进行，本实施例对此不作具体限定。

130、将预设数量比例的不同类别的目标点云进行位置变换。

其中，位置变换包括平移和旋转等。由于点云的稀疏性、无序性，其在三维空间中是相互独立的。本实施例对目标点云进行旋转平移操作相当于仿真场景目标的转向与移动，这样不影响目标的结构完整性，同时增加了目标形态的多样性。在一定程度上提高了神经网络模型的泛化能力。

本实施例中，设置预设数量比例是为了保证不同类别目标的数量比例均衡一致，从而保证生成点云场景中各类目标的均衡性。例如，这样设置可以使得总的数据集中行人、骑行人等尺寸相对较小的目标点云的数量，与车辆等尺寸相对较大的目标点云的数量保持均衡。

具体的，在根据目标点云的位置信息确定出不同朝向和不同位置的目标点云的数量分布后，可基于该数量分布，将预设数量比例的不同类别的目标点云进行位置变换，从而可使得场景中数量比例均衡的目标点云的多样性得到提升。

140、将经过位置变换后的目标点云放置到背景场景点云中地面区域对应的位置，以形成新的场景点云。

其中，背景场景点云中地面区域对应的位置，可通过如下方式得到：

基于点云的地面分割法，从原始场景点云数据集中分割出动态区域BEV(Bird’seye view)数据集，用于表示可放置目标的3D区域鸟瞰图区域；将该鸟瞰图区域映射到背景场景点云中，可得到用于放置目标点云的地面区域所在的位置。

示例性的，目标点云的放置规则可以为在每帧点云场景中放置数量比例一致的目标，以保证各类目标的均衡性；在目标放置时还应避免目标间和目标场景间的重叠与碰撞，保证与点云场景的真实客观性，这样就可以形成新的场景点云。

150、对新的场景点云进行位置变换，得到目标场景点云数据集。

其中，对新的场景点云的位置变换可包括平移和旋转变换，相当于仿真自车的转向与移动，增加场景的多样性。

根据激光雷达工作原理，激光在首次碰到物体表面时就会返回一个可能的激光点，因此场景遮挡区域只会在面向激光雷达的首次接触面处产生点云。本实施例中去遮挡操作消除了在放置目标、旋转和平移过程中产生的点云遮挡问题，使生成的新点云场景更加真实有效。

本实施例提供的技术方案，通过将原始场景点云数据集中的目标点云进行位置变化，增加了目标形态的多样性。通过将原始场景点云数据集中的各类目标点云与背景场景点云基于一定的规则进行重新放置组合，并对重新组合后的场景点云进行位置变换，大规模地扩充了场景数据集，同时解决了多类别样本的不均衡问题。

进一步的，在生成目标场景点云数据集之后，可将该目标场景点云数据集和原始场景点云数据集作为训练样本，输入到预设神经网络模型中进行模型训练，以提高神经网络模型的检测功能，使得神经网络模型对于目标的识别效率得到提升，泛化性能也得到优化。

图2为本发明一个实施例提供的一种激光点云数据生成装置的结构框图，如图2所示，该装置包括：目标提取模块210、背景提取模块220、位置变化模块230、场景形成模块240和目标场景生成模块250；其中，

目标提取模块210，被配置为从原始场景点云数据集中提取不同类别的目标点云及其标签信息，所述标签信息中包含有所述目标点云的位置信息和朝向信息；

背景提取模块220，被配置为从所述原始场景点云数据集中提取无目标的背景场景点云；

位置变化模块230，被配置为将预设数量比例的不同类别的目标点云进行位置变换，所述位置变换包括平移和旋转；

场景形成模块240，被配置为将经过位置变换后的目标点云放置到所述背景场景点云中地面区域对应的位置，以形成新的场景点云；

目标场景生成模块250，被配置为对所述新的场景点云进行位置变换和去遮挡处理，得到目标场景点云数据集。

可选的，所述位置变化模块，具体被配置为：

可选的，所述装置还包括：

本发明实施例所提供的激光点云数据生成装置可执行本发明任意实施例所提供的激光点云数据生成方法，具备执行方法相应的功能模块和有益效果。未在上述实施例中详尽描述的技术细节，可参见本发明任意实施例所提供的激光点云数据生成方法。

请参阅图3，图3是本发明一个实施例提供的一种计算设备的结构示意图。如图3所示，该计算设备可以包括：

存储有可执行程序代码的存储器701；

与存储器701耦合的处理器702；

其中，处理器702调用存储器701中存储的可执行程序代码，执行本发明任意实施例所提供的激光点云数据生成方法。

本发明实施例公开一种计算机可读存储介质，其存储计算机程序，其中，该计算机程序使得计算机执行本发明任意实施例所提供的激光点云数据生成方法。

在本发明的各种实施例中，应理解，上述各过程的序号的大小并不意味着执行顺序的必然先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

在本发明所提供的实施例中，应理解，“与A相应的B”表示B与A相关联，根据A可以确定B。但还应理解，根据A确定B并不意味着仅仅根据A确定B，还可以根据A和/或其他信息确定B。

另外，在本发明各实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

上述集成的单元若以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可获取的存储器中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或者部分，可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干请求用以使得一台计算机设备(可以为个人计算机、服务器或者网络设备等，具体可以是计算机设备中的处理器)执行本发明的各个实施例上述方法的部分或全部步骤。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质包括只读存储器(Read-Only Memory，ROM)、随机存储器(Random Access Memory，RAM)、可编程只读存储器(Programmable Read-only Memory，PROM)、可擦除可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)、一次可编程只读存储器(One-time Programmable Read-Only Memory，OTPROM)、电子抹除式可复写只读存储器(Electrically-Erasable Programmable Read-Only Memory，EEPROM)、只读光盘(CompactDisc Read-Only Memory，CD-ROM)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。

本领域普通技术人员可以理解：附图只是一个实施例的示意图，附图中的模块或流程并不一定是实施本发明所必须的。

本领域普通技术人员可以理解：实施例中的装置中的模块可以按照实施例描述分布于实施例的装置中，也可以进行相应变化位于不同于本实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。

Claims

1.一种激光点云数据生成方法，其特征在于，包括：

从原始场景点云数据集中提取不同类别的目标点云及其标签信息，所述标签信息中包含有所述目标点云的位置信息和朝向信息；

从所述原始场景点云数据集中提取无目标的背景场景点云；

2.根据权利要求1所述的方法，其特征在于，所述将预设数量比例的不同类别的目标点云进行位置变换，包括：

3.根据权利要求1或2所述的方法，其特征在于，所述背景场景点云中地面区域对应的位置，通过如下方式得到：

4.根据权利要求1-3任一所述的方法，其特征在于，所述方法还包括：

5.一种激光点云数据生成装置，其特征在于，包括：

6.根据权利要求5所述的装置，其特征在于，所述位置变化模块，具体被配置为：

7.根据权利要求5所述的装置，其特征在于，所述背景场景点云中地面区域对应的位置，通过如下方式得到：

8.根据权利要求5-7任一所述的装置，其特征在于，所述装置还包括：

9.一种计算设备，包括：

存储有可执行程序代码的存储器；

与所述存储器耦合的处理器；

所述处理器调用所述存储器中存储的所述可执行程序代码，执行如权利要求1-4任一所述的激光点云数据生成方法。

10.一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行如权利要求1-4任一所述的激光点云数据生成方法。