CN117437162B - 一种基于实例级序列混合的动态点云数据增强方法及装置 - Google Patents
一种基于实例级序列混合的动态点云数据增强方法及装置 Download PDFInfo
- Publication number
- CN117437162B CN117437162B CN202311779015.8A CN202311779015A CN117437162B CN 117437162 B CN117437162 B CN 117437162B CN 202311779015 A CN202311779015 A CN 202311779015A CN 117437162 B CN117437162 B CN 117437162B
- Authority
- CN
- China
- Prior art keywords
- point cloud
- cloud data
- laser point
- dynamic
- enhanced
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 82
- 238000003780 insertion Methods 0.000 claims abstract description 43
- 230000037431 insertion Effects 0.000 claims abstract description 43
- 238000011156 evaluation Methods 0.000 claims abstract description 26
- 238000004590 computer program Methods 0.000 claims description 11
- 230000002708 enhancing effect Effects 0.000 claims description 9
- 238000005192 partition Methods 0.000 claims description 3
- 230000011218 segmentation Effects 0.000 claims description 3
- 238000000638 solvent extraction Methods 0.000 claims 1
- 238000012549 training Methods 0.000 description 20
- 238000001514 detection method Methods 0.000 description 10
- 238000012986 modification Methods 0.000 description 6
- 230000004048 modification Effects 0.000 description 6
- 230000003068 static effect Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 239000000203 mixture Substances 0.000 description 5
- 238000009877 rendering Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 230000008447 perception Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000001965 increasing effect Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 239000013589 supplement Substances 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20132—Image cropping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30204—Marker
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明公开了一种基于实例级序列混合的动态点云数据增强方法及装置，其中的方法首先根据激光点云中点的高度情况对输入的待增强的激光点云数据进行位姿评估，得到符合条件的插入位置并记录；然后采用实例级增强的方法将其他激光点云数据集中的动态点云数据裁剪后粘贴到所述待增强的激光点云中符合条件的插入位置，得到增强后的激光点云数据集。本发明再实现数据增强的同时，将数据增强推广到动态，扩大数据增强的领域，使其更加具备适用性，并且在完成激光点云数据增强的同时，考虑其动态放置的合理性，做到无遮挡，无碰撞，关注放置的真实性，避免出现车辆在楼内出现的情况。
Description
技术领域
本发明涉及数据增强技术领域，尤其涉及一种基于实例级序列混合的动态点云数据增强方法及装置。
背景技术
激光雷达传感器具有精确的距离传感能力，能够捕捉环境的三维几何信息，因此被广泛应用于许多领域，尤其是自动驾驶领域。激光雷达作为高等级的自动驾驶传感器，在性能、防干扰和信息量优势明显。相比于摄像头，激光雷达的探测距离更远，距离测量精度更高，并且可以区分缓慢移动和其它静止的物体。随着高等级自动驾驶对于传感器要求的不断提升，激光雷达将作为传统传感器的重要补充，支撑自动驾驶的信息获取。
作为由激光雷达传感器扫描获得的数据，激光雷达点云，提供了对周围环境准确和强大的三维感知，对许多自主探测和导航任务至关重要。目前，处理激光雷达数据最有希望的方法是在完全监督的情况下训练神经网络，但是训练可靠的神经网络模型需要大量注释良好的训练数据，然而，创建具有详细标签的大型数据集是极其困难的，手工标注费时费力，由于点云数据本身的稀疏性，对其进行标注变得尤为困难，没有足够的注释数据来训练大型神经网络，并且跨任务和领域的可拓展性很差，这已成为激光雷达点云分析和理解的一个主要制约因素。
为解决需要大量注释良好的训练数据这一问题，已经有了两种主流方法：其一是模拟器生成合成数据的方法，其二是数据增强的方法；数据增强是一种通过计算数据的变化来丰富训练集，从而有效地减少对更多带注释数据的需求的方法。传统的全局数据的增强通常是通过几何变换来实现的，例如平移、旋转和对已经标记的样本进行缩放，该方法旨在通过修改和创建新的训练样本来扩大训练的分布，已被广泛研究用于2D图像，并在训练有限的训练图像时训练出强大的深度神经网络模型。但由于它没有考虑激光雷达传感器的独特扫描机制和捕获点数据的特定属性，因此不能被很好地应用于雷达点云。因此衍生出了局部的对象增强方法，并已成为主流，目前主流的局部增强方法有三种：
(一)基于“复制-粘贴”的数据增强
为解决激光雷达学习问题, Yan等人在2018年的论文SECOND(稀疏嵌入卷积检测)中提出了一种新的数据增强方法，大大提高了收敛速度和性能。此外，该方法通过最大限度地利用点云数据中存在的丰富三维信息来解决基于三维卷积检测中的挑战，通过对现有卷积网络架构进行若干改进，将空间稀疏卷积网络引入到基于激光雷达的检测中，用于提取信息，SECOND基于此功能集成了一种新的数据增强形式，生成一个包含对象属性和相关ground truth点云数据的数据库。然后在训练期间将从该数据库中采样的对象引入点云。所提出的SECOND检测器由三个部分组成：（1）体素特征提取器；（2）稀疏卷积中间层；（3）RPN。
SECOND检测器以原始点云作为输入，将其转换为体素特征和坐标，并应用两个VFE(体素特征编码)层和一个线性层，然后，应用稀疏卷积神经网络，最后，RPN生成检测。该方法通过遵循中所描述的简单过程来获得点云数据的体素表示，使用体素特征编码(VFE)层来提取体素特征，通过稀疏卷积算法和规则生成算法构建稀疏卷积中间提取器。
在进行数据增强时，首先，从训练数据集中生成了一个包含所有ground truth标签及其相关点云数据(ground truth三维包围框内的点)的数据库。然后，在训练过程中，从这个数据库中随机选择几个ground truth对象，通过插入的方式将它们引入到当前的训练点云中。使用这种方法，可以大大增加每个点云ground truth对象的数量，并模拟存在于不同场景中的对象。使用这种“复制-粘贴”的方法可以很有效地增加数据集。
(二)PolarMix框架
Xiao等人在2022年提出了PolarMix模型用以沿着激光雷达对点进行裁剪、编辑和混合, 它可以有效地缓解不同感知任务和场景下的数据约束。PolarMix丰富了点云分布，并通过两种交叉扫描增强策略，沿着扫描方向切割、编辑和混合点云，保持了点云的保真度。第一种是场景级交换，交换沿方位轴切割的两个激光雷达扫描的点云区域。第二个是实例级的旋转和粘贴，从一个激光雷达扫描中裁剪点对象实例，旋转多个角度(创建多个副本)，并将旋转的点对象实例粘贴到其他扫描中，PolarMix的目标是通过剪切和混合两个训练样本来生成新的训练样本，生成的训练样本用于具有原有损失函数的网络训练。
(三)基于渲染的增强框架
FANG等人于2021年提出了一个基于渲染的雷达增强框架(即LiDAR- Aug)来丰富训练数据，提高基于雷达的三维目标检测器的性能。在该框架中解决了最重要的问题:在哪里以及如何将障碍物插入到真实的背景框架中。
该方法使用轻量级方法“ValidMap”来生成增强对象的姿势，同时避免碰撞，以实现更合理的障碍物放置。最后，利用渲染技术将增强的对象组合到真实的背景帧中，从而自动执行遮挡约束。
输入的原始雷达点云后，首先点云被发送到“位姿生成”模块。然后将障碍物模型插入到采样位姿下的场景中，通过“渲染模块”将插入的模型渲染到原始背景上，生成增强的雷达点云。然后，利用增强的激光雷达数据并验证其在三维目标检测任务中的有效性。
LiDAR-Aug主要由两个模块组成，位姿生成模块和渲染模块。位姿生成模块为了保证增强对象与背景场景的一致性，还需要考虑前景对象与背景场景之间的碰撞检测。这意味着当前帧中被占用的雷达点将被移除。然而，由于增强的对象是直接从其他场景复制的，因此会产生不适合现实生活的增强场景，例如灌木丛中的人，穿过墙壁的汽车或建筑物内的自行车手。
渲染模块：首先，将激光束与物体表面相交，受新插入的障碍物的影响，需要更新交点。将插入的障碍物投影到当前帧上，生成物体图和深度图。对象图决定对象是否存在，深度图存储对象的深度值。所有的激光都能在映射矩阵中找到相应的像素点。如果物体贴图中对应的像素值无效，光线将不会更新。否则，它将直接通过查找深度图中的深度值进行更新。激光可以从地图中找到相应的像素。从对象性映射中，决定每条射线是否更新范围，根据深度图更新每条射线的距离值。
由此可知，现有技术的数据增强方法存在仅局限于静态数据，并且未考虑位置的合理性的技术问题。
发明内容
本发明提供了一种基于实例级序列混合的动态点云数据增强方法及装置，用以解决或者至少部分解决现有技术中的数据增强方法存在的仅局限于静态数据，并且未考虑位置的合理性的技术问题。
为了解决上述技术问题，本发明第一方面提供了一种基于实例级序列混合的动态点云数据增强方法，包括：
根据激光点云中点的高度情况对输入的待增强的激光点云数据进行位姿评估，得到符合条件的插入位置并记录；
采用实例级增强的方法将其他激光点云数据集中的动态点云数据裁剪后粘贴到所述待增强的激光点云中符合条件的插入位置，得到增强后的激光点云数据集。
在一种实施方式中，根据激光点云中点的高度情况对输入的待增强的激光点云数据进行位姿评估，包括：
生成输入的待增强的激光点云的鸟瞰图，划分为不同的支柱，每一个支柱对应一部分激光点云数据；
根据不同支柱中激光点云中点的高度分布，将支柱划分不同的状态；
根据划分的状态，对输入的待增强的激光点云的插入位置进行位姿评估，得到符合条件的插入位置并记录。
在一种实施方式中，根据不同支柱中激光点云中点的高度分布，将支柱划分不同的状态，采用的策略包括：
其中，L为平面拟合估计的道路平面方程，Z为表示激光点云中点的高度数组，X和Y为x轴和y轴的坐标值，δ和γ为阈值超参数，length(Z)表示数组Z中元素的数量，即Z的长度，max(Z)表示数组Z中元素的最大值，min(Z)表示数组Z中元素的最小值，mean(Z)表示数组Z中元素的平均值，mean(L(X, Y))表示通过平面拟合得到的道路平面的平均值，abs（）表示求绝对值；表示支柱的划分状态，/>表示空，/>表示有效，/>表示无效。
在一种实施方式中，根据划分的状态，对输入的待增强的激光点云的插入位置进行位姿评估，得到符合条件的插入位置并记录，包括：
当激光点云划分的支柱状态为空或者无效时，则不符合条件；
当激光点云划分的所有支柱状态均为有效时，则符合条件，得到符合条件的插入位置并记录。
在一种实施方式中，采用实例级增强的方法将其他激光点云数据集中的动态点云数据裁剪后粘贴到所述待增强的激光点云中符合条件的插入位置，包括：
从其他激光点云数据集中选取动态点云数据；
将选取出的动态点云数据进行实例级裁剪后粘贴到所述待增强的激光点云中符合条件的插入位置。
在一种实施方式中，将选取出的动态点云数据进行实例级裁剪后粘贴到所述待增强的激光点云中符合条件的插入位置，包括：
其中，表示实例级旋转粘贴方法，C表示其他激光点云数据集的实例级粘贴类列表，类列表中存储可插入的动态点云数据，/>和/>分别表示待增强的激光点云和其他激光点云，/>和/>分别表示待增强的激光点云的标签和其他激光点云的标签，/>是一个二进制掩码，用以指示从其他激光点云中裁剪出哪些语义类的动态实例。
在一种实施方式中，二进制掩码的获得方式为：
对其他激光点云进行语义分割，并将其他激光点云中包含的点云数据按照其所属的语义类别进行标记；
根据需要裁剪的语义类别，创建一个二进制掩码MB C，其中，其他激光点云B中的每个动态实例都有一个对应的二进制值，所有的二进制值构成二进制掩码MB C，当二进制值为1时，表示该动态实例属于需要被裁剪出来的语义类别，当二进制值为0时，表示该动态实例不属于需要被裁剪出来的语义类别。
基于同样的发明构思，本发明第二方面提供了一种基于实例级序列混合的动态点云数据增强装置，包括：
位姿评估模块，用于根据激光点云中点的高度情况对输入的待增强的激光点云数据进行位姿评估，得到符合条件的插入位置并记录；
插入模块，用于采用实例级增强的方法将其他激光点云数据集中的动态点云数据裁剪后粘贴到所述待增强的激光点云中符合条件的插入位置，得到增强后的激光点云数据集
基于同样的发明构思，本发明第三方面提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现第一方面所述的方法。
基于同样的发明构思，本发明第四方面提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现第一方面所述的方法。
相对于现有技术，本发明的优点和有益的技术效果如下：
本发明提出了一种基于实例级序列混合的动态点云数据增强方法及装置，首先根据激光点云中点的高度情况对输入的待增强的激光点云数据进行位姿评估，充分考虑了插入位置的真实性，然后采用实例级增强的方法将其他激光点云数据集中的动态点云数据裁剪后粘贴到所述待增强的激光点云中符合条件的插入位置，实例级增强的方法对待增强的激光点云数据集的每个样本（动态点云数据）进行独立的增强操作，而不是应用相同的变换到整个数据集，充分考虑了动态点云序列的增强，因此可以使得数据增强后的激光点云数据集更符合实际情况，大大改善了数据增强的效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例中基于实例级序列混合的动态点云数据增强方法的流程图；
图2为本发明实施例中基于实例级序列混合的动态点云数据增强装置的结构框图。
具体实施方式
本申请发明人通过大量的研究与实践发现，现有技术中对于模拟器生成合成数据来说，模拟器本身昂贵、耗时，而且难以推广到不同的场景，并且模拟数据与真实数据之间存在明显的领域差异。传统的数据增强不能增强相邻点云扫描的局部结构或关系。它们都不能很好地用于雷达点云，因为它没有考虑激光雷达传感器的独特扫描机制(例如，通过连续360度扫描)和捕获点数据的特定属性。基于“复制-粘贴”的增强技术并没有考虑增强后数据的真实性，增强后的车辆可能出现在路牙等不符合实际情况的位置；LiDAR-Aug虽然丰富了训练数据，提高了三维探测器的性能,附加对象在障碍物模型的基础上进行渲染，但是其只考虑了静态物体而没有研究动态物体的增强； PolarMix从一次 LiDAR 扫描中裁剪点对象实例，将它们旋转多个角度，并将旋转的点对象实例粘贴到其他扫描，但是该方法没有考虑粘贴位置的真实性，也没有考虑动态点云序列的增强。
针对现有技术中的上述问题，本发明主要从以下两方面进行改进，（1）针对当前缺少关注的动态点云增强，提出一种基于实例级序列混合的动态点云增强方法。激光点云数据面临稀疏、不规则等特点，因此传统的数据增强任务并不适用，本发明在实现数据增强的同时，将数据增强推广到动态，扩大数据增强的领域，使其更加具备适用性。
（2）提出适用于动态点云数据增强的高效合理性评估方法。本发明在完成激光点云数据增强的同时，考虑其动态放置的合理性，做到无遮挡，无碰撞，关注放置的真实性，避免出现车辆在楼内出现的情况。
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1
本发明实施例提供了一种基于实例级序列混合的动态点云数据增强方法，请参见图1，该方法包括：
S1：根据激光点云中点的高度情况对输入的待增强的激光点云数据进行位姿评估，得到符合条件的插入位置并记录；
S2：采用实例级增强的方法将其他激光点云数据集中的动态点云数据裁剪后粘贴到所述待增强的激光点云中符合条件的插入位置，得到增强后的激光点云数据集。
具体来说，本发明将现有的静态激光点云数据增强推广到动态上，在进行数据增强前，首先进行插入位置的位姿评估，根据激光点云中点的高度情况对输入的待增强的激光点云数据进行位姿评估，从而选取更加真实、合理的插入位置；在这之后进行实例级增强，将一个点云（其他激光点云）中某一对象的动态点云数据粘贴到待增强的激光点云中。
具体实施过程中，在待增强的激光点输入后先对其进行位姿评估，即判断哪些位置适合插入。其中要参考现实因素，例如不能在建筑物内出现车辆，不能在路牙上出现汽车等等，根据激光点云的高度情况来进行判断；之后进行数据增强，通过实例级增强的方法（对数据集中的每个样本进行独立的增强操作，而不是应用相同的变换到整个数据集，生成与原始样本有关的变体）将其它激光点云里某一对象的动态点云数据裁剪后粘贴到经过评估的符合条件的插入位置进行数据增强。
在一种实施方式中，根据激光点云中点的高度情况对输入的待增强的激光点云数据进行位姿评估，包括：
生成输入的待增强的激光点云的鸟瞰图，划分为不同的支柱，每一个支柱对应一部分激光点云数据；
根据不同支柱中激光点云中点的高度分布，将支柱划分不同的状态；
根据划分的状态，对输入的待增强的激光点云的插入位置进行位姿评估，得到符合条件的插入位置并记录。
具体来说，划分为不同的支柱后，删除孤立的像素，具体实施时，如果一个像素点周围没有其它像素点，则将该像素点删除。
在一种实施方式中，根据不同支柱中激光点云中点的高度分布，将支柱划分不同的状态，采用的策略包括：
其中，L为平面拟合估计的道路平面方程，Z为表示激光点云中点的高度数组，X和Y为x轴和y轴的坐标值，δ和γ为阈值超参数，length(Z)表示数组Z中元素的数量，即Z的长度，max(Z)表示数组Z中元素的最大值，min(Z)表示数组Z中元素的最小值，mean(Z)表示数组Z中元素的平均值，mean(L(X, Y))表示通过平面拟合得到的道路平面的平均值，表示求绝对值；/>表示支柱的划分状态，/>表示空，/>表示有效，/>表示无效。
具体来说，length(Z)=0时，表示数组Z中没有元素，也就是Z为空，在这种情况下，为空；max(Z) - min(Z)<δ：这个条件要求Z中的数值范围（最大值与最小值之差）小于δ，物理含义为Z中的高度变化不太大，高度变化在可接受的范围内；abs(mean(Z) - mean(L(X, Y)))<γ：这个条件要求Z的平均值与通过平面拟合得到的道路平面的平均值之间的绝对差小于γ，物理含义为Z的高度平均值与道路平面的高度平均值之间的差异在可接受的范围内。
在一种实施方式中，根据划分的状态，对输入的待增强的激光点云的插入位置进行位姿评估，得到符合条件的插入位置并记录，包括：
当激光点云划分的支柱状态为空或者无效时，则不符合条件；
当激光点云划分的所有支柱状态均为有效时，则符合条件，得到符合条件的插入位置并记录。
具体来说，在支柱的状态进行划分后，根据支柱的状态来选取符合条件的插入位置。实际应用过程中，若某部分道路（激光点云所包含的对象）的状态为连续有效（即道路上所划分的支柱均为有效状态）则认定该道路较为平整，则可以在该位置插入动态的汽车或行人。若道路状态为有效而非连续有效，则认为该道路上存在车辆或其它障碍物，则不在该位置插入。
在一种实施方式中，采用实例级增强的方法将其他激光点云数据集中的动态点云数据裁剪后粘贴到所述待增强的激光点云中符合条件的插入位置，包括：
从其他激光点云数据集中选取动态点云数据；
将选取出的动态点云数据进行实例级裁剪后粘贴到所述待增强的激光点云中符合条件的插入位置。
具体来说，本发明采用实例级的粘贴方式将其他激光点云数据集中的动态数据粘贴到待增强的激光点云场景中，首先从数据集（激光点云B）中选取合适的动态数据，例如从现有的NuScenes数据集中选取一辆动态运行的车辆，考虑其运行时间，保障在粘贴后不与其它车辆重叠，则该车为可利用的合适的动态数据，找到包含该车辆标签的代码，然后将其剪切，之后粘贴到由动态评估模块评估好的符合条件的插入位置（激光点云A）中，从而对激光点云A进行数据增强。
在一种实施方式中，将选取出的动态点云数据进行实例级裁剪后粘贴到所述待增强的激光点云中符合条件的插入位置，包括：
其中，表示实例级旋转粘贴方法，C表示其他激光点云数据集的实例级粘贴类列表，类列表中存储可插入的动态点云数据，/>和/>分别表示待增强的激光点云和其他激光点云，/>和/>分别表示待增强的激光点云的标签和其他激光点云的标签，/>是一个二进制掩码，用以指示从其他激光点云中裁剪出哪些语义类的动态实例。
具体来说，在其他激光点云数据集选取到合适的动态数据后，将其储存到C中，可以得到实例级粘贴的类列表。
在一种实施方式中，二进制掩码的获得方式为：
对其他激光点云进行语义分割，并将其他激光点云中包含的点云数据按照其所属的语义类别进行标记；
根据需要裁剪的语义类别，创建一个二进制掩码MB C，其中，其他激光点云B中的每个动态实例都有一个对应的二进制值，所有的二进制值构成二进制掩码MB C，当二进制值为1时，表示该动态实例属于需要被裁剪出来的语义类别，当二进制值为0时，表示该动态实例不属于需要被裁剪出来的语义类别。
实施例2
基于同样的发明构思，本实施例公开了一种基于实例级序列混合的动态点云数据增强装置，请参见图2，该装置包括：
位姿评估模块201，用于根据激光点云中点的高度情况对输入的待增强的激光点云数据进行位姿评估，得到符合条件的插入位置并记录；
插入模块202，用于采用实例级增强的方法将其他激光点云数据集中的动态点云数据裁剪后粘贴到所述待增强的激光点云中符合条件的插入位置，得到增强后的激光点云数据集。
本发明在进行数据增强操作之前，先将待增强的激光点云数据集输入位姿评估模块进行位姿评估，具体地，可以通过对点云鸟瞰图进行支柱划分，孤立像素删除，之后根据点的高度不同划分支柱的状态，若状态为无效，则认为该地方存在路牙、障碍等其它情况，该位置不适合插入；若该道路状态为连续有效，则认为该位置可以插入，将其记录储存，便于后续操作。之后，通过插入模块将数据集B（其他激光点云数据集中）中的动态数据进行实例级的剪切，之后将剪切的数据粘贴到数据集A（待增强的激光点云数据集）中经由位姿评估模块记录好的位置中去，即完成操作，得到增强后的数据集。为了验证增强的效果，具体实施方式中可以利用增强的数据集训练目标检测、目标跟踪等下游任务，来与增强前数据集训练得到的模型进行准确率的比较，若准确率得到提高，则认为增强的效果良好。
介于当前主流技术只考虑到了点云数据的静态增强而没有推广到动态，而目标检测本身是一个动态的过程，其存在着大量的动态数据集，本发明提出的方法的实现可以适用于当今自动驾驶任务的大部分场景，助力训练出更具准确度的激光雷达，推动自动驾驶汽车的普及。目前主流的数据增强方法都没有考虑到动态点云数据位姿放置的真实性问题，这样虽然数据达到了增强的目的，但是仍有较大的问题，本方法设置动态点云数据位姿评估模块，考虑增强后数据的真实性，做到无遮挡，无碰撞的数据增强，有利于提升激光雷达的准确度，提高自动驾驶的安全性。
激光雷达作为传统传感器的重要补充，是支撑自动驾驶信息获取的重要工具。自动驾驶技术的迅速发展，对于传感器的要求不断提升，激光雷达优秀的传感能力和捕捉信息能力，提供了对周围环境的准确感知，本研究成果可用于激光雷达传感器扫描所得的激光雷达点云的数据增强，对其下游任务如目标检测、目标跟踪准确性的提高具有重要意义，还可以应用到自动驾驶等任务中，提高对车辆周围环境的实时感知力和判断力,为自动驾驶系统提供了高精度、高可靠性的环境感知能力，对于实现安全、高效和可靠的自动驾驶技术具有重要的作用。
由于本发明实施例2所介绍的装置为实施本发明实施例1中基于实例级序列混合的动态点云数据增强方法所采用的装置，故而基于本发明实施例1所介绍的方法，本领域所属人员能够了解该装置的具体结构及变形，故而在此不再赘述。凡是本发明实施例1中方法所采用的装置都属于本发明所欲保护的范围。
实施例3
基于同一发明构思，本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如实施例1中所述的方法。
由于本发明实施例3所介绍的计算机可读存储介质为实施本发明实施例1中基于实例级序列混合的动态点云数据增强方法所采用的计算机可读存储介质，故而基于本发明实施例1所介绍的方法，本领域所属人员能够了解该计算机可读存储介质的具体结构及变形，故而在此不再赘述。凡是本发明实施例1的方法所采用的计算机可读存储介质都属于本发明所欲保护的范围。
实施例4
基于同一发明构思，本申请还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行上述程序时实现实施例1中的方法。
由于本发明实施例4所介绍的计算机设备为实施本发明实施例1中基于实例级序列混合的动态点云数据增强方法所采用的计算机设备，故而基于本发明实施例1所介绍的方法，本领域所属人员能够了解该计算机设备的具体结构及变形，故而在此不再赘述。凡是本发明实施例1中方法所采用的计算机设备都属于本发明所欲保护的范围。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。显然，本领域的技术人员可以对本发明实施例进行各种改动和变型而不脱离本发明实施例的精神和范围。这样，倘若本发明实施例的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (7)
1.一种基于实例级序列混合的动态点云数据增强方法，其特征在于，包括：
根据激光点云中点的高度情况对输入的待增强的激光点云数据进行位姿评估，得到符合条件的插入位置并记录；
从其他激光点云数据集中选取动态点云数据；
采用实例级增强的方法将其他激光点云数据集中的动态点云数据裁剪后粘贴到所述待增强的激光点云中符合条件的插入位置，得到增强后的激光点云数据集；
其中，采用实例级增强的方法将其他激光点云数据集中的动态点云数据裁剪后粘贴到所述待增强的激光点云中符合条件的插入位置的方式为：将选取出的动态点云数据进行实例级裁剪后粘贴到所述待增强的激光点云中符合条件的插入位置，
具体公式为：
其中，表示实例级旋转粘贴方法，C表示其他激光点云数据集的实例级粘贴类列表，类列表中存储可插入的动态点云数据，/>和/>分别表示待增强的激光点云和其他激光点云，/>和/>分别表示待增强的激光点云的标签和其他激光点云的标签，/>是一个二进制掩码，用以指示从其他激光点云中裁剪出哪些语义类的动态实例；
二进制掩码的获得方式为：
对其他激光点云进行语义分割，并将其他激光点云中包含的点云数据按照其所属的语义类别进行标记；
根据需要裁剪的语义类别，创建一个二进制掩码MB C，其中，其他激光点云B中的每个动态实例都有一个对应的二进制值，所有的二进制值构成二进制掩码MB C，当二进制值为1时，表示该动态实例属于需要被裁剪出来的语义类别，当二进制值为0时，表示该动态实例不属于需要被裁剪出来的语义类别。
2.如权利要求1所述的基于实例级序列混合的动态点云数据增强方法，其特征在于，根据激光点云中点的高度情况对输入的待增强的激光点云数据进行位姿评估，包括：
生成输入的待增强的激光点云的鸟瞰图，划分为不同的支柱，每一个支柱对应一部分激光点云数据；
根据不同支柱中激光点云中点的高度分布，将支柱划分不同的状态；
根据划分的状态，对输入的待增强的激光点云的插入位置进行位姿评估，得到符合条件的插入位置并记录。
3.如权利要求2所述的基于实例级序列混合的动态点云数据增强方法，其特征在于，根据不同支柱中激光点云中点的高度分布，将支柱划分不同的状态，采用的策略包括：
其中，L为平面拟合估计的道路平面方程，Z为表示激光点云中点的高度数组，X和Y为x轴和y轴的坐标值，δ和γ为阈值超参数，length(Z)表示数组Z中元素的数量，即Z的长度，max(Z)表示数组Z中元素的最大值，min(Z)表示数组Z中元素的最小值，mean(Z)表示数组Z中元素的平均值，mean(L(X, Y))表示通过平面拟合得到的道路平面的平均值，abs（）表示求绝对值；表示支柱的划分状态，/>表示空，/>表示有效，/>表示无效。
4.如权利要求3所述的基于实例级序列混合的动态点云数据增强方法，其特征在于，根据划分的状态，对输入的待增强的激光点云的插入位置进行位姿评估，得到符合条件的插入位置并记录，包括：
当激光点云划分的支柱状态为空或者无效时，则不符合条件；
当激光点云划分的所有支柱状态均为有效时，则符合条件，得到符合条件的插入位置并记录。
5.一种基于实例级序列混合的动态点云数据增强装置，其特征在于，基于权利要求1所述的基于实例级序列混合的动态点云数据增强方法实现，该装置包括：
位姿评估模块，用于根据激光点云中点的高度情况对输入的待增强的激光点云数据进行位姿评估，得到符合条件的插入位置并记录；
插入模块，用于采用实例级增强的方法将其他激光点云数据集中的动态点云数据裁剪后粘贴到所述待增强的激光点云中符合条件的插入位置，得到增强后的激光点云数据集。
6.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至4中任一项权利要求所述的方法。
7.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至4中任一项权利要求所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311779015.8A CN117437162B (zh) | 2023-12-22 | 2023-12-22 | 一种基于实例级序列混合的动态点云数据增强方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311779015.8A CN117437162B (zh) | 2023-12-22 | 2023-12-22 | 一种基于实例级序列混合的动态点云数据增强方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117437162A CN117437162A (zh) | 2024-01-23 |
| CN117437162B true CN117437162B (zh) | 2024-03-08 |
Family
ID=89556939
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311779015.8A Active CN117437162B (zh) | 2023-12-22 | 2023-12-22 | 一种基于实例级序列混合的动态点云数据增强方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117437162B (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114946178A (zh) * | 2020-01-10 | 2022-08-26 | Lg电子株式会社 | 点云数据发送装置、点云数据发送方法、点云数据接收装置和点云数据接收方法 |
| CN115928988A (zh) * | 2022-12-27 | 2023-04-07 | 东宁晟（北京）数字科技有限公司 | 一种自适应装配式墙面系统及其数字化装配方法 |
| CN116385292A (zh) * | 2023-03-24 | 2023-07-04 | 辽宁工程技术大学 | 一种IMU辅助的LiDAR动态点云剔除方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114930863B (zh) * | 2020-01-09 | 2023-08-08 | Lg电子株式会社 | 点云数据发送装置、点云数据发送方法、点云数据接收装置和点云数据接收方法 |
-
2023
- 2023-12-22 CN CN202311779015.8A patent/CN117437162B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114946178A (zh) * | 2020-01-10 | 2022-08-26 | Lg电子株式会社 | 点云数据发送装置、点云数据发送方法、点云数据接收装置和点云数据接收方法 |
| CN115928988A (zh) * | 2022-12-27 | 2023-04-07 | 东宁晟（北京）数字科技有限公司 | 一种自适应装配式墙面系统及其数字化装配方法 |
| CN116385292A (zh) * | 2023-03-24 | 2023-07-04 | 辽宁工程技术大学 | 一种IMU辅助的LiDAR动态点云剔除方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117437162A (zh) | 2024-01-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112199991B (zh) | 一种应用于车路协同路侧感知的仿真点云滤波方法和系统 | |
| Fang et al. | Lidar-aug: A general rendering-based augmentation framework for 3d object detection | |
| Wu et al. | Mars: An instance-aware, modular and realistic simulator for autonomous driving | |
| CN111489368B (zh) | 利用实例分割检测基于cnn的伪3d边界的方法及装置 | |
| US20230005278A1 (en) | Lane extraction method using projection transformation of three-dimensional point cloud map | |
| CN111402414A (zh) | 一种点云地图构建方法、装置、设备和存储介质 | |
| CN113640822B (zh) | 一种基于非地图元素过滤的高精度地图构建方法 | |
| US20240017747A1 (en) | Method and system for augmenting lidar data | |
| KR20180059188A (ko) | 딥 러닝을 이용한 동적 장애물이 없는 배경 위주의 3차원 지도 생성 방법 | |
| CN112859110B (zh) | 一种基于三维激光雷达的定位导航方法 | |
| CN111007534A (zh) | 一种利用十六线激光雷达的障碍物检测方法及系统 | |
| JP2024511043A (ja) | モデル注入を用いた点群データ拡張のためのシステム、および方法 | |
| CN115100616A (zh) | 点云目标检测方法、装置、电子设备及存储介质 | |
| CN114549542A (zh) | 视觉语义分割方法、装置及设备 | |
| CN116523970B (zh) | 基于二次隐式匹配的动态三维目标跟踪方法及装置 | |
| CN117437162B (zh) | 一种基于实例级序列混合的动态点云数据增强方法及装置 | |
| CN117036607A (zh) | 基于隐式神经渲染的自动驾驶场景数据生成方法及系统 | |
| CN116245943A (zh) | 基于web的连续帧点云数据标注方法及装置 | |
| CN111338336B (zh) | 一种自动驾驶方法及装置 | |
| CN113870412A (zh) | 一种航空场景图像的处理方法、装置以及电子设备 | |
| CN115937454B (zh) | 一种在大规模城市场景中自动摆放树木模型的方法和装置 | |
| CN113177984B (zh) | 基于稀疏直接法的语义要素测距方法、装置和电子设备 | |
| CN118037958A (zh) | 一种封闭场景数据增强的点云生成方法 | |
| Chu et al. | Removing past data of dynamic objects using static Velodyne LiDAR sensor | |
| CN117935221A (zh) | 障碍物信息的确定方法、装置和感知模型的训练方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |