CN111968133A - 自动驾驶场景下的三维点云数据实例分割方法及系统 - Google Patents

自动驾驶场景下的三维点云数据实例分割方法及系统 Download PDF

Info

Publication number
CN111968133A
CN111968133A CN202010760281.6A CN202010760281A CN111968133A CN 111968133 A CN111968133 A CN 111968133A CN 202010760281 A CN202010760281 A CN 202010760281A CN 111968133 A CN111968133 A CN 111968133A
Authority
CN
China
Prior art keywords
point cloud
point
column
dimensional
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010760281.6A
Other languages
English (en)
Inventor
熊红凯
左琛
戴文睿
李成林
邹君妮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jiaotong University
Original Assignee
Shanghai Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jiaotong University filed Critical Shanghai Jiaotong University
Priority to CN202010760281.6A priority Critical patent/CN111968133A/zh
Publication of CN111968133A publication Critical patent/CN111968133A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Abstract

本发明提供了一种自动驾驶场景下的三维点云数据实例分割方法及系统，包括：利用目标物体的空间位置信息对室外街道场景进行初步识别与划分，形成感兴趣区域点云视柱；对感兴趣区域点云视柱提取包含物体的视柱点云与同分布的负样本视柱背景点云，形成视柱点云数据集；提取视柱点云数据集中每一个视柱点云包含物体的高维语义特征信息，同时引入带权重的多分类焦点损失函数，得到视柱内每一个点云所属的类别，实现对点云数据的实例分割。本发明提出的自动驾驶场景下的三维点云数据实例分割方法及系统，可以有效的增强目标细节特征表达，从而增强对点云困难样本的预测能力，提升了自动驾驶场景下点云实例分割的表现。

Description

自动驾驶场景下的三维点云数据实例分割方法及系统
技术领域
本发明涉及计算机视觉技术领域，具体地，涉及一种适用于自动驾驶场景下的三维点云数据实例分割方法及系统。
背景技术
随着激光雷达等3D传感器在无人驾驶、机器人项目中的应用，三维数据越来越受到学术界和工业界的重视。点云是一种重要的三维数据表示形式，它通过直接测量获取，与人类观察世界的方式相仿，能够最大程度地保留物体的真实三维结构信息。基于点云的计算机视觉任务更是有着重要的实际意义，如何构建数学模型表示、处理和分析点云数据成为当前自动驾驶领域亟待解决的问题。
对三维点云数据实例分割问题来说，目前如何实现高质量的室外大场景实例分割仍是一个尚未解决的问题。首先，点云数据格式具有不规则性与高度的稀疏性，如何有效提取点云包含的信息仍有待探究。其次，室外的点云场景包含开阔空间中经扫描的所有物体表面点，因此存在大量的非目标背景噪声，使得目标物体识别十分困难。
早期的基于自动驾驶激光点云的分割算法将问题分解为地面的去除和前景物体的聚类，算法流程是首先以迭代的方式提取地面，例如随机抽样一致性算法，而后利用点云的结构特征对其余非地面的点进行聚类。早期的算法虽然考虑了滤除背景噪声，然而过多的依赖于手动选择特征，而且迭代的算法精确度和效率不稳定，无法应用在无人驾驶场景。
近期Wu等人在《IEEE International Conference on Robotics and Automation(ICRA),2018,pp.1887–1893》发表了题为“Squeezeseg:Convolutional neural nets withrecurrent crf for real-time road-object segmentation from 3d lidar pointcloud”的文章，该文章提出基于深度学习框架的道路目标分割的算法，使用投影的方式将点云转化为球面表示的图形，而后使用二维卷积神经网络进行学习和预测，从而实现点云的语义分割，在此基础上加入深度信息进一步处理，能够实现实例分割。该文章把点云信息的特征选取和语义预测结合在一起，能够使二维卷积神经网络应用在三维点云数据上，算法不需要人工的特征选择，泛化性较强。然而，该算法中三维向二维的投影造成了不可弥补的信息丢失，导致卷积神经网络的学习能力有限。此外，复杂的背景噪声严重的影响了目标物体的识别，使得总体的分割准确度很低，因此该算法的性能有待提高，即使提升了运算速率，依旧离无人驾驶应用非常遥远。
此外，经调研还发现，当前点云分割算法表现出类别间极大的不均衡性，模型对于简单样本过拟合，对于困难样本欠拟合，导致物体平均识别准确度较低，目前仍没有针对提升点云困难样本实例分割的有效算法。
发明内容
本发明针对现有技术中存在的上述缺陷，提供了一种适用于自动驾驶场景下的三维点云数据实例分割方法及系统。
本发明是通过以下技术方案实现的。
根据本发明的一个方面，提供了一种自动驾驶场景下的三维点云数据实例分割方法，包括：
利用目标物体的空间位置信息对室外街道场景进行初步识别与划分，形成感兴趣区域点云视柱；对感兴趣区域点云视柱提取包含物体的视柱点云与同分布的负样本视柱背景点云，形成视柱点云数据集；
提取视柱点云数据集中每一个视柱点云包含物体的高维语义特征信息，同时引入带权重的多分类焦点损失函数，得到每一个视柱点云所属的类别，实现对视柱点云数据实例分割。
优选地，所述利用目标物体的空间位置信息对室外街道场景进行初步识别与划分，形成感兴趣区域点云视柱，包括：
将原始点云数据作为输入，通过基于三维点云目标检测的方法进行感兴趣区域的提取，预测点云空间鸟瞰图上物体的位置与类别信息，将感兴趣区域映射回点云空间中，提取出带有类别置信度先验信息的视柱点云，即得到感兴趣区域点云视柱。
优选地，所述对感兴趣区域点云视柱提取包含物体的视柱点云与同分布的负样本视柱背景点云，形成视柱点云数据集，包括：
采用交叉验证方法提取感兴趣区域点云视柱中同分布的正样本与负样本物体点云视柱。
优选地，所述交叉验证方法为：
对感兴趣区域点云视柱采用k折交叉验证法，将点云视柱随机抽样为数量相等的k个数据组D1,D2,……Dk，使用D1数据组作为训练集训练得到感兴趣区域提案网络模型M1，使用D2数据组作为验证集经过模型M1产生候选区域H1，再令D2作为训练数据，训练得到模型M2，D1作为验证数据生成候选区域H2；合并H1,H2,……Hk，则得到了所需的训练数据集H，由此引入可学习的正样本及与其推理过程同分布的负样本数据集，即得到视柱点云数据集。
优选地，所述提取视柱点云数据集中每一个视柱点云包含物体的高维语义特征信息，包括：
将每一个视柱点云转换成点云数量统一的张量，得到采样数据；
对采样数据中的每个点进行局部特征结合，找出每个点的局部区域；
对每个点的局部区域进行基于三维点的局部特征提取，得到高维语义特征信息。
优选地，所述将每一个视柱点云转换成点云数量统一的张量，得到采样数据，包括：
采用最远点采样算法进行均匀采样，以一个点云作为初始查询点，遍历剩余点云并选取欧式距离最远点保留；
以已经取出的点集作为查询点，计算剩余点到点集所有点的最短距离作为测量值，选取测量值最大的点保留；
循环上述过程，直到采样到目标数量为止，得到采样数据。
优选地，所述对每个点的局部区域进行局部特征提取，得到高维语义特征信息，包括：
对每一个提取出的局部区域，通过共享参数的多层感知结构进行特征提取，将每个点抽象至1024维的特征，得到的特征即为高维语义特征信息。
优选地，在进行局部特征提取过程中，还包括：
增加感兴趣区域点云视柱的类别相关置信度分数，作为类别先验来辅助实例分割分类器，从而提升点云语义信息预测的速度和准确率；使用类别相关置信度分数一位有效编码格式级联每一个局部特征，避免过强的先验信息导致无法提取点云的高级语义特征，同时增加对先验预测的容错率；
优选地，通过卷积层构成的类别分类器逐点判断每一个局部特征所属的类别，即得到每一个视柱点云所属的类别。
优选地，所述带权重的多分类焦点损失函数
Figure BDA0002612884580000031
为：
Figure BDA0002612884580000041
其中，n表示类别的数量，ci表示类别，α为类别相关权重，γ为调制因子，
Figure BDA0002612884580000042
表示对于类别ci，样本预测为正的概率。
根据本发明的另一个方面，提供了一种自动驾驶场景下的三维点云数据实例分割系统，包括：交叉验证的视柱提取模块和基于三维点的多分类焦点损失实例分割模块，其中：
所述交叉验证的视柱提取模块，利用目标物体的空间位置信息对室外街道场景进行初步识别与划分，形成感兴趣区域点云视柱；对感兴趣区域点云视柱提取包含物体的视柱点云与同分布的负样本视柱背景点云，形成视柱点云数据集；
所述多分类焦点损失实例分割模块，提取视柱点云数据集中每一个视柱点云包含物体的高维语义特征信息，同时引入带权重的多分类焦点损失函数，得到每一个视柱点云所属的类别，实现对视柱点云数据实例分割。
优选地，所述交叉验证视柱提取模块，将原始点云数据作为输入，通过基于三维点云数据目标检测的方法进行感兴趣区域的提取，预测点云空间鸟瞰图上物体的位置与类别信息，将感兴趣区域映射回点云空间中，提取出带有类别置信度先验信息的视柱点云，即得到感兴趣区域点云视柱。
优选地，所述交叉验证视柱提取模块，采用交叉验证方法提取感兴趣区域点云视柱中同分布的正样本与负样本物体点云视柱。
优选地，所述交叉验证方法为：
对感兴趣区域点云视柱采用k折交叉验证法，将点云视柱随机抽样为数量相等的k个数据组D1,D2,……Dk，使用D1数据组作为训练集训练得到感兴趣区域提案网络模型M1，使用D2数据组作为验证集经过模型M1产生候选区域H1，再令D2作为训练数据，训练得到模型M2，D1作为验证数据生成候选区域H2；合并H1,H2,……Hk，则得到了所需的训练数据集H，由此引入可学习的正样本及与其推理过程同分布的负样本数据集，即得到视柱点云数据集。
优选地，所述多分类焦点损失实例分割模块，包括：
采样层，所述采样层将每一个视柱点云转换成点云数量统一的张量，得到采样数据；
组合层，所述组合层对采样数据中的每个点进行局部特征结合，找出每个点的局部区域；
特征提取层，所述特征提取层对每个点的局部区域进行基于三维点的局部特征提取，得到高维语义特征信息；
类别分类器，所述类别分类器逐点判断每一个局部特征所属的类别，即得到每一个视柱点云所属的类别。
优选地，所述采样层将每一个视柱点云转换成点云数量统一的张量，得到采样数据，包括：
采用最远点采样算法进行均匀采样，以一个点云作为初始查询点，遍历剩余点云并选取欧式距离最远点保留；
以已经取出的点集作为查询点，计算剩余点到点集所有点的最短距离作为测量值，选取测量值最大的点保留；
循环上述过程，直到采样到目标数量为止，得到采样数据。
优选地，所述特征提取层对每个点的局部区域进行局部特征提取，得到高维语义特征信息，包括：
对每一个提取出的局部区域，通过共享参数的多层感知结构进行特征提取，将每个点抽象至1024维的特征，得到的特征即为高维语义特征信息。
优选地，在进行局部特征提取过程中，还包括：
增加感兴趣区域点云视柱的类别相关置信度分数，作为类别先验来辅助实例分割分类器，从而加速点云实例分割的收敛；但考虑到感兴趣区域类别预测的不准确性，使用类别相关置信度分数一位有效编码格式级联每一个局部特征，避免过强的先验信息导致无法提取点云的高级语义特征，同时增加对先验预测的容错率。
类别预测先验信息可以加速对点云语义信息预测的收敛，但考虑到感兴趣区域视柱预测的不可靠性，置信度分数越低则物体预测准确率越低，使用置信度分数一位有效编码格式级联每个视柱特征，可以避免语义分割网络过于依赖先验信息而无法对三维点云进行高层级特征的捕捉。
优选地，所述类别分类器通过卷积层构成。
优选地，所述带权重的多分类焦点损失函数
Figure BDA0002612884580000052
为：
Figure BDA0002612884580000051
其中，n表示类别的数量，ci表示类别，α为类别相关权重，γ为调制因子，
Figure BDA0002612884580000053
表示对于类别ci，样本预测为正的概率。
由于采用了上述技术方案，本发明具有如下至少一项的有益效果：
本发明提供的自动驾驶场景下的三维点云数据实例分割方法及系统，提出了一种基于三维点的实例分割方法，通过逐点级分辨率的网络提取物体的精细化语义结构特征，并使该实例分割方法聚焦于挖掘困难样本特征。具体地，首先通过点云目标检测算法结合交叉验证的思想提取包含负样本的感兴趣视柱，以提高分割方法的泛化性。然后采用基于三维点的点云分割算法挖掘视柱点云细节特征结构，引入带权重的多分类焦点损失函数使分割方法聚焦于对困难样本的特征学习。
本发明提供的自动驾驶场景下的三维点云数据实例分割方法及系统，有效提升对感兴趣物体的注意力；通过感兴趣提案方法增强目标物体的显著性，并且通过点云视柱的提取滤除大部背景噪声，从而使语义信息预测范围集中于较大可能存在感兴趣物体的区域内，有助于提升实例分割的准确度。
本发明提供的自动驾驶场景下的三维点云数据实例分割方法及系统，有效提升对困难样本特征的挖掘；通过感兴趣提案方法滤除大部背景噪声，并且通过交叉验证引入负样本增强分割模型的泛化性，通过直接基于三维点云的特征提取方式保留物体的局部细节特征，增强对点云困难样本的预测能力，从而提升自动驾驶场景下点云实例分割的表现。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为本发明一优选实施例中自动驾驶场景下的三维点云数据实例分割方法的流程图；
图2为本发明一优选实施例中数据集交叉验证方法示意图；
图3为本发明一优选实施例点云视柱标准化过程示意图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。
本发明一实施例提供了一种适用于自动驾驶场景下的三维点云数据实例分割方法，该方法提出基于三维点的实例分割方法，通过逐点级分辨率的网络提取物体的精细化语义结构特征，并使方法聚焦于挖掘困难样本特征。具体地，首先通过点云目标检测算法结合交叉验证的思想提取包含负样本的感兴趣视柱，以提高分割方法的泛化性。然后采用基于三维点的点云分割挖掘视柱点云细节特征结构，引入带权重的多分类焦点损失函数使分割方法聚焦于对困难样本的特征学习。
该方法包括如下步骤：
步骤1，利用目标物体的空间位置信息对室外街道场景进行初步识别与划分，形成感兴趣区域点云视柱；对感兴趣区域点云视柱提取包含物体的视柱点云与同分布的负样本视柱背景点云，形成视柱点云数据集；
步骤2，提取视柱点云数据集中每一个视柱点云包含物体的高维语义特征信息，同时引入带权重的多分类焦点损失函数，得到每一个视柱点云所属的类别，实现对视柱点云数据实例分割。
作为一优选实施例，步骤1中，利用目标物体的空间位置信息对室外街道场景进行初步识别与划分，形成感兴趣区域点云视柱，包括：
将原始点云数据作为输入，通过基于三维点云数据目标检测的方法进行感兴趣区域的提案，预测点云空间鸟瞰图上物体的位置与类别信息，将感兴趣区域映射回点云空间中，提取出带有类别置信度先验信息的视柱点云，即得到感兴趣区域点云视柱，从而滤除大部背景噪声，增强前景目标物体的显著性。
作为一优选实施例，步骤1中，对感兴趣区域点云视柱提取包含物体的视柱点云与同分布的负样本视柱背景点云，形成视柱点云数据集，包括：
采用交叉验证方法提取感兴趣区域点云视柱中同分布的正样本与负样本物体点云视柱。
作为一优选实施例，步骤1中，交叉验证方法为：
对感兴趣区域点云视柱采用k折交叉验证法，将点云视柱随机抽样为数量相等的k个数据组D1,D2,……Dk，使用D1数据组作为训练集训练得到感兴趣区域提案网络模型M1，使用D2数据组作为验证集经过模型M1产生候选区域H1，再令D2作为训练数据，训练得到模型M2，D1作为验证数据生成候选区域H2；合并H1,H2,……Hk，则得到了所需的训练数据集H，由此引入可学习的正样本及与其推理过程同分布的负样本数据集，即得到视柱点云数据集，增强了方法的泛化性。
作为一优选实施例，步骤2中，提取视柱点云数据集中每一个视柱点云包含物体的高维语义特征信息，包括：
步骤2.1，将每一个视柱点云转换成点云数量统一的张量，得到采样数据；
步骤2.2，对采样数据中的每个点进行局部特征结合，找出每个点的局部区域；
步骤2.3，对每个点的局部区域进行基于三维点的局部特征提取，得到高维语义特征信息。
该实施例中，以提取出的感兴趣区域点云视柱作为输入，通过基于三维点的实例分割方法对点云视柱进行精细的实例分割预测。
该实施例中，采用基于三维点的实例分割，直接提取物体的高维语义细节信息(即高维语义特征信息)，同时引入带权重的多分类焦点损失函数，使方法聚焦于学习困难样本，平衡类别样本的数量不均衡与分割难度不均衡的问题，提升点云实例分割的总体性能。
作为一优选实施例，步骤2.1中，将每一个视柱点云转换成点云数量统一的张量，得到采样数据，包括：
采用最远点采样算法进行均匀采样，以一个点云作为初始查询点，遍历剩余点云并选取欧式距离最远点保留；
以已经取出的点集作为查询点，计算剩余点到点集所有点的最短距离作为测量值，选取测量值最大的点保留；
循环上述过程，直到采样到目标数量为止，得到采样数据。
作为一优选实施例，步骤2.3中，对每个点的局部区域进行局部特征提取，得到高维语义特征信息，包括：
对每一个提取出的局部区域，通过共享参数的多层感知结构进行特征提取，将每个点抽象至1024维的特征，得到的特征即为高维语义特征信息。
该实施例中，通过多层卷积神经网络构成的深度学习模型，直接对感兴趣区域点云视柱进行基于三维点的特征提取，可以保留目标物体拓扑结构信息与局部细节特征，从而实现更准确地实例分割。
作为一优选实施例，步骤2.3中，在进行局部特征提取过程中，还包括：
增加感兴趣区域点云视柱的类别相关置信度分数，作为类别先验信息来辅助实例分割分类器；使用类别相关置信度分数一位有效编码格式级联每一个局部特征。类别预测先验信息可以加快对点云语义信息预测的效率，但考虑到感兴趣区域视柱预测的不可靠性，置信度分数越低则物体预测准确率越低，使用置信度分数一位有效编码格式级联每个视柱特征，避免语义分割网络过于依赖先验信息而无法对三维点云进行高层级特征的捕捉。最终，通过卷积层构成的类别分类器来逐点判断其所属的类别。
作为一优选实施例，步骤2中，通过卷积层构成的类别分类器逐点判断每一个局部特征所属的类别，即得到每一个视柱点云所属的类别。
作为一优选实施例，步骤2中，带权重的多分类焦点损失函数
Figure BDA0002612884580000092
为：
Figure BDA0002612884580000091
其中，n表示类别的数量，ci表示类别，α为类别相关权重，γ为调制因子，
Figure BDA0002612884580000093
表示对于类别ci，样本预测为正的概率。
该实施例中，在多类别焦点损失函数中，通过调整类别相关权重平衡不同类别间由于样本数量不均衡引起的网络表达能力差异，通过改变调制因子使网络减少对简单样本的注意力，聚焦于困难样本的学习，从而提升对困难样本的识别能力。
本发明另一实施例提供了一种自动驾驶场景下的三维点云数据实例分割系统，包括：交叉验证的视柱提取模块和基于三维点的多分类焦点损失实例分割模块，其中：
交叉验证的视柱提取模块，利用目标物体的空间位置信息对室外街道场景进行初步识别与划分，形成感兴趣区域点云视柱；对感兴趣区域点云视柱提取包含物体的视柱点云与同分布的负样本视柱背景点云，形成视柱点云数据集；
多分类焦点损失实例分割模块，提取视柱点云数据集中每一个视柱点云包含物体的高维语义特征信息，同时引入带权重的多分类焦点损失函数，得到每一个视柱点云所属的类别，实现对视柱点云数据实例分割。
作为一优选实施例，交叉验证视柱提取模块，将原始点云数据作为输入，通过基于三维点云的目标检测算法进行感兴趣区域提案，预测点云空间鸟瞰图上物体的位置与类别信息，将感兴趣区域映射回点云空间中，提取出带有类别置信度先验信息的视柱点云，即得到感兴趣区域点云视柱。
作为一优选实施例，交叉验证视柱提取模块，采用交叉验证方法提取感兴趣区域点云视柱中同分布的正样本与负样本物体点云视柱。
作为一优选实施例，交叉验证方法为：
对感兴趣区域点云视柱采用k折交叉验证法，将点云视柱随机抽样为数量相等的k个数据组D1,D2,……Dk，使用D1数据组作为训练集训练得到感兴趣区域提案网络模型M1，使用D2数据组作为验证集经过模型M1产生候选区域H1，再令D2作为训练数据，训练得到模型M2，D1作为验证数据生成候选区域H2；合并H1,H2,……Hk，则得到了所需的训练数据集H，由此引入可学习的正样本及与其推理过程同分布的负样本数据集，即得到视柱点云数据集。
作为一优选实施例，多分类焦点损失实例分割模块，包括：
采样层，采样层将每一个视柱点云转换成点云数量统一的张量，得到采样数据；
组合层，组合层对采样数据中的每个点进行局部特征结合，找出每个点的局部区域；
特征提取层，特征提取层对每个点的局部区域进行基于三维点的局部特征提取，得到高维语义特征信息；
类别分类器，类别分类器逐点判断每一个局部特征所属的类别，即得到每一个视柱点云所属的类别。
作为一优选实施例，采样层将每一个视柱点云转换成点云数量统一的张量，得到采样数据，包括：
采用最远点采样算法进行均匀采样，以一个点云作为初始查询点，遍历剩余点云并选取欧式距离最远点保留；
以已经取出的点集作为查询点，计算剩余点到点集所有点的最短距离作为测量值，选取测量值最大的点保留；
循环上述过程，直到采样到目标数量为止，得到采样数据。
作为一优选实施例，特征提取层对每个点的局部区域进行局部特征提取，得到高维语义特征信息，包括：
对每一个提取出的局部区域，通过共享参数的多层感知结构进行特征提取，将每个点抽象至1024维的特征，得到的特征即为高维语义特征信息。
作为一优选实施例，在进行局部特征提取过程中，还包括：
增加感兴趣区域点云视柱的类别相关置信度分数，作为类别先验信息来辅助实例分割分类器，加快实例分割算法的收敛；使用类别相关置信度分数一位有效编码格式级联每一个局部特征，使得网络不会过度依赖先验信息，能够提取高层语义特征。
作为一优选实施例，类别分类器通过卷积层构成；
作为一优选实施例，带权重的多分类焦点损失函数
Figure BDA0002612884580000102
为：
Figure BDA0002612884580000101
其中，n表示类别的数量，ci表示类别，α为类别相关权重，γ为调制因子，
Figure BDA0002612884580000111
表示对于类别ci，样本预测为正的概率。
下面结合附图，对本发明上述实施例所提供的技术方案进一步详细描述。
如图1所示，交叉验证的视柱提取过程，通过利用目标物体的空间位置信息对室外街道场景进行初步的识别与划分，提取出包含物体的视柱点云与同分布的负样本视柱背景点云；多分类焦点损失实例分割过程，采用基于三维点的实例分割，直接提取视柱点云中物体的高维语义细节信息，同时引入带权重的多分类焦点损失函数，使网络聚焦于学习困难样本，平衡类别样本的数量不均衡与分割难度不均衡的问题，提升点云实例分割的总体性能。
1.交叉验证感兴趣视柱提取
在室外场景下，背景信息占据了点云大部分的空间，使得目标物体信息高度稀疏，严重影响了目标物体的识别与分割预测。针对这一问题，本发明上述实施例首先对感兴趣目标区域(Regions Of Interests,ROI)进行检测、识别，在此基础上对大场景进行粗糙分割，获取感兴趣点云视柱。
在本发明上述实施例中，感兴趣区域提案步骤，可以采用Lang等人在《Proceedings of the IEEE Conference on Computer Vision and PatternRecognition，2019，pp.12697–12705》发表的题为“PointPillars:Fast encoders forobject detection from point clouds”的文章所提出的点云目标检测方法实现，该方法使用一种新颖的编码方式，使用点云竖直柱形区域的特征进行点云格式化，以预测对象的三维边界框。该方法使其兼具优异的检测性能和高速的运算能力，柱形编码结构通过特征学习获得点云结构的表达，而不是依靠固定规则的编码，因此可以提取更完整的点云信息。此外，通过在柱形点云而不是体素结构进行学习，无需手动调整垂直方向特征的合并。
本发明上述实施例中，交叉验证步骤，目的为引入同分布的正负样本视柱点云，从而增强实例分割模型的泛化性。如图2所示，k折交叉验证将除去统一的测试集外的训练集平均分成k组，将其中一组数据作为验证集，其他k-1组数据作为训练集，进行模型训练与验证，得到模型M1。将每一段数据都依次设置为验证集，一共进行k次模型训练，此时得到的所有模型为M1,M2,...,Mk。将其对应的验证集经过模型得到的评估指标求均值，则得到整个模型的平均性能指标。k折交叉验证法能够充分应用训练数据，得到不同的训练网络，可以有效的避免过拟合与欠拟合地发生。例如，本发明实施例可以对训练集样本运用2折交叉验证，产生基于所有训练样本的预测区域，其中包括预测正样本区域与错误预测负样本区域，结合组成与推理阶段同分布的点云视柱训练数据集，用于实例分割模型的训练。具体算法为：将原始训练数据集随机抽样为数量相等的两部分D1,D2，使用D1数据组作为训练集训练得到感兴趣区域提案网络模型M1，使用D2数据组作为验证集经过模型M1产生候选区域H1，再令D2作为训练数据，训练得到模型M2,D1作为验证数据生成候选区域H2。合并H1,H2，则得到了所需的训练数据集H，由此引入可学习的正样本及与推理过程同分布的负样本数据集，作为后端模块的输入，增强了模型的泛化性。
如图3所示，本发明上述实施例中，视柱提取步骤，将获取的鸟瞰视角感兴趣矩形区域为参照，其中(w,l)表示区域包围框的宽度和长度，以r搜索比率对包围区域进行松弛，以保证物体边界的完整性。对原始点云空间生成x-y平面的蒙板(r×w)×(r×l)，竖直z方向不做限制，来提取柱状点云。为避免视柱坐标的离散性对形态学特征提取造成干扰，对点云视柱采用欧式距离进行坐标归一化，通过平面旋转使物体在保持欧式距离不变的情况下分布在同一轴向上，在此选择前视角的中心轴线方向。具体的，参照图3所示，以(x,y,z)表示图3中物体原位置1内任意点的坐标，(x0,y0,z0)表示物体几何中心点坐标，将点云视柱绕z轴旋转至其几何中心点在x轴正半轴上，即位置2所示，(x1,y1,z1)表示标准化后的任意点云坐标，角度θ表示原位置1几何中心点与x轴正向的夹角，则旋转公式为：
Figure BDA0002612884580000121
经标准化的视柱分布在视角正前方轴向且为独立样本，保留每个视柱自身的朝向角，如图3中物体位置2所示。此时点云坐标代表物体距原点的欧式距离，消除了坐标偏移的干扰，实现视柱坐标标准化。
2.多分类焦点损失实例分割
如图1所示，多分类焦点损失实例分割模型输入数据为经过交叉验证模型的输出视柱点云数据集，通过语义特征预测每个点属于相应类别的概率得分。每个视柱中只包含一个物体，或者是检测错误区域的背景噪声。因此，模型的任务是学习各个物体的几何形状特征，区分不同类别物体以及背景噪声。参照Qi等人在《Advances in neural informationprocessing systems，2017，pp.5099--5108》发表的题目为“Pointnet++:Deephierarchical feature learning on point sets in a metric space”的文章，本发明上述实施例中多分类焦点损失实例分割模块可以由采样层、组合层、特征提取层和分类器几部分组成。
输入点云视柱可表示为(ni,c)，其中ni表示第i柱体内的点云数量，稠密视柱中包含数量较多的点云，若对每一点进行特征抽取，计算量会十分庞大且冗余，稀疏点云视柱包含点云较少，在网络学习中容易引入偏差。因此，通过采样层将视柱转换成点云数量统一的张量。本文采用最远点采样算法进行均匀采样，以一个点云作为初始查询点，遍历剩余点云并选取欧式距离最远点保留。接下来以已经取出的点集作为查询点，计算剩余点到点集所有点的最短距离作为测量值，选取测量值最大的点保留，循环直到采样到目标数量为止。最远点采样法有利于保留物体的局部结构特征，能够更好的覆盖整个采样空间。
数据采样后，经过组合层结合局部特征。在二维图像中，像素点的局部特征选用其邻域内设定曼哈顿距离范围中的像素点，同理在点云中，一个点的局部可以根据给定半径的球形空间划定。组合层根据球形聚合的方法找出每个点的局部区域，以便网络提取物体的局部特征信息。
本发明上述实施例中，在特征提取层中使用基于点的深度学习网络，对每个提取出的局部区域，通过共享参数的多层感知机结构进行特征提取，将每个点抽象至1024维的特征，高维特征能够实现点云三维信息的挖掘与物体细节语义特征提取。在提取的特征中增加对于ROI视柱的类别相关置信度编码，作为类别先验辅助实例分割分类器。考虑到ROI视柱预测的不可靠性，置信度分数越低则物体预测准确率越低，本实施例使用置信度分数一位有效编码格式级联每个视柱特征，避免语义分割网络过于依赖先验信息而无法对三维点云进行高层级特征的捕捉。最终，通过卷积层构成的类别分类器来逐点判断其所属的类别。
本发明上述实施例中，经过语义信息提取的网络模型最后转化为多类别的分类问题。在模型中引入多类别的带权重的焦点损失函数，公式表达为：
Figure BDA0002612884580000131
其中n表示类别的数量，ci表示类别，α为类别相关权重，γ为调制因子，
Figure BDA0002612884580000132
表示对于类别ci，样本预测为正的概率。在多类别焦点损失函数中，通过调整类别相关权重平衡不同类别间由于样本数量不均衡引起的网络表达能力差异，通过改变调制因子使网络减少对简单样本的注意力，聚焦于困难样本的学习，从而提升对困难样本的识别能力。
本发明上述实施例提供的适用于自动驾驶场景下的三维点云数据实例分割方法及系统，交叉验证感兴趣视柱提取过程通过目标空间位置信息对物体进行初步的区域划分，可以滤除大范围场景噪声提升目标物体的显著性，交叉验证的思想可保留同分布的负样本，提取的视柱数据作为实例分割模块的输入。在多分类焦点损失实例分割过程采用直接对原始三维点云进行特征提取的实例分割模型，提取物体拓扑结构信息与高维的语义细节特征，同时引入带权重焦点损失函数改善样本的学习难度不均衡性。本发明上述实施例提出的自动驾驶场景下的三维点云数据实例分割方法及系统，基于三维点的两阶段实例分割算法可以有效的增强目标细节特征表达，从而增强对点云困难样本的预测能力，提升了自动驾驶场景下点云实例分割的表现。
本发明上述实施例提供的适用于自动驾驶场景下的三维点云数据实例分割方法及系统，提出基于三维点的实例分割模型，通过逐点级分辨率的网络提取物体的精细化语义结构特征，并使模型聚焦于挖掘困难样本特征，实现了精确的点云道路目标实例分割，有效的提升了点云困难样本的识别与分割，实现高质量的自动驾驶场景下点云实例分割。
需要说明的是，本发明提供的方法中的步骤，可以利用系统中对应的模块、装置、单元等予以实现，本领域技术人员可以参照系统的技术方案实现方法的步骤流程，即，系统中的实施例可理解为实现方法的优选例，在此不予赘述。
本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统及其各个装置以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统及其各个装置以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同功能。所以，本发明提供的系统及其各项装置可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构；也可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。

Claims (10)

1.一种自动驾驶场景下的三维点云数据实例分割方法，其特征在于，包括：
利用目标物体的空间位置信息对室外街道场景进行初步识别与划分，形成感兴趣区域点云视柱；对感兴趣区域点云视柱提取包含物体的视柱点云与同分布的负样本视柱背景点云，形成视柱点云数据集；
提取视柱点云数据集中每一个视柱点云包含物体的高维语义特征信息，同时引入带权重的多分类焦点损失函数，得到每一个视柱点云所属的类别，实现对视柱点云数据实例分割。
2.根据权利要求1所述的自动驾驶场景下的三维点云数据实例分割方法，其特征在于，所述利用目标物体的空间位置信息对室外街道场景进行初步识别与划分，形成感兴趣区域点云视柱，包括：
将原始点云数据作为输入，通过基于三维点云目标检测的方法进行感兴趣区域的提取，预测点云空间鸟瞰图上物体的位置与类别信息，将感兴趣区域映射回点云空间中，提取出带有类别置信度先验信息的视柱点云，即得到感兴趣区域点云视柱。
3.根据权利要求1所述的一种适用于自动驾驶场景下的三维点云数据实例分割方法，其特征在于，所述对感兴趣区域点云视柱提取包含物体的视柱点云与同分布的负样本视柱背景点云，形成视柱点云数据集，包括：
采用交叉验证方法提取感兴趣区域点云视柱中同分布的正样本与负样本物体点云视柱；其中，所述交叉验证方法为：
对感兴趣区域点云视柱采用k折交叉验证法，将点云视柱随机抽样为数量相等的k个数据组D1,D2,……Dk，使用D1数据组作为训练集训练得到感兴趣区域提案网络模型M1，使用D2数据组作为验证集经过模型M1产生候选区域H1，再令D2作为训练数据，训练得到模型M2，D1作为验证数据生成候选区域H2；合并H1,H2,……Hk，则得到了所需的训练数据集H，由此引入可学习的正样本及与其推理过程同分布的负样本数据集，即得到视柱点云数据集。
4.根据权利要求1所述的自动驾驶场景下的三维点云数据实例分割方法，其特征在于，所述提取视柱点云数据集中每一个视柱点云包含物体的高维语义特征信息，包括：
将每一个视柱点云转换成点云数量统一的张量，得到采样数据；
对采样数据中的每个点进行局部特征结合，找出每个点的局部区域；
对每个点的局部区域进行基于三维点的局部特征提取，得到高维语义特征信息。
5.根据权利要求4所述的自动驾驶场景下的三维点云数据实例分割方法，其特征在于，还包括如下任意一项或任意多项：
-所述将每一个视柱点云转换成点云数量统一的张量，得到采样数据，包括：
采用最远点采样算法进行均匀采样，以一个点云作为初始查询点，遍历剩余点云并选取欧式距离最远点保留；
以已经取出的点集作为查询点，计算剩余点到点集所有点的最短距离作为测量值，选取测量值最大的点保留；
循环上述过程，直到采样到目标数量为止，得到采样数据；
-所述对每个点的局部区域进行局部特征提取，得到高维语义特征信息，包括：
对每一个提取出的局部区域，通过共享参数的多层感知结构进行特征提取，将每个点抽象至1024维的特征，得到的特征即为高维语义特征信息；
-在进行局部特征提取过程中，还包括：
增加感兴趣区域点云视柱的类别相关置信度分数，作为类别先验来辅助实例分割分类器，从而提升点云语义信息预测的速度和准确率；使用类别相关置信度分数一位有效编码格式级联每一个局部特征，避免过强的先验信息导致无法提取点云的高级语义特征，同时增加对先验预测的容错率；
-通过卷积层构成的类别分类器逐点判断每一个局部特征所属的类别，即得到每一个视柱点云所属的类别。
6.根据权利要求1所述的自动驾驶场景下的三维点云数据实例分割方法，其特征在于，所述带权重的多分类焦点损失函数
Figure FDA0002612884570000021
为：
其中，n表示类别的数量，ci表示类别，α为类别相关权重，γ为调制因子，
Figure FDA0002612884570000023
表示对于类别ci，样本预测为正的概率。
7.一种自动驾驶场景下的三维点云数据实例分割系统，其特征在于，包括：交叉验证的视柱提取模块和基于三维点的多分类焦点损失实例分割模块，其中：
所述交叉验证的视柱提取模块，利用目标物体的空间位置信息对室外街道场景进行初步识别与划分，形成感兴趣区域点云视柱；对感兴趣区域点云视柱提取包含物体的视柱点云与同分布的负样本视柱背景点云，形成视柱点云数据集；
所述多分类焦点损失实例分割模块，提取视柱点云数据集中每一个视柱点云包含物体的高维语义特征信息，同时引入带权重的多分类焦点损失函数，得到每一个视柱点云所属的类别，实现对视柱点云数据实例分割。
8.根据权利要求7所述的自动驾驶场景下的三维点云数据实例分割系统，其特征在于，所述交叉验证视柱提取模块，还包括如下任意一项或任意多项：
-将原始点云数据作为输入，通过基于三维点云数据目标检测的方法进行感兴趣区域的提取，预测点云空间鸟瞰图上物体的位置与类别信息，将感兴趣区域映射回点云空间中，提取出带有类别置信度先验信息的视柱点云，即得到感兴趣区域点云视柱；
-采用交叉验证方法提取感兴趣区域点云视柱中同分布的正样本与负样本物体点云视柱；其中，所述交叉验证方法为：
对感兴趣区域点云视柱采用k折交叉验证法，将点云视柱随机抽样为数量相等的k个数据组D1,D2,……Dk，使用D1数据组作为训练集训练得到感兴趣区域提案网络模型M1，使用D2数据组作为验证集经过模型M1产生候选区域H1，再令D2作为训练数据，训练得到模型M2，D1作为验证数据生成候选区域H2；合并H1,H2,……Hk，则得到了所需的训练数据集H，由此引入可学习的正样本及与其推理过程同分布的负样本数据集，即得到视柱点云数据集。
9.根据权利要求7所述的自动驾驶场景下的三维点云数据实例分割方法，其特征在于，所述多分类焦点损失实例分割模块，包括：
采样层，所述采样层将每一个视柱点云转换成点云数量统一的张量，得到采样数据；
组合层，所述组合层对采样数据中的每个点进行局部特征结合，找出每个点的局部区域；
特征提取层，所述特征提取层对每个点的局部区域进行基于三维点的局部特征提取，得到高维语义特征信息；
类别分类器，所述类别分类器逐点判断每一个局部特征所属的类别，即得到每一个视柱点云所属的类别。
10.根据权利要求9所述的自动驾驶场景下的三维点云数据实例分割方法，其特征在于，还包括如下任意一项或任意多项：
-所述采样层将每一个视柱点云转换成点云数量统一的张量，得到采样数据，包括：
采用最远点采样算法进行均匀采样，以一个点云作为初始查询点，遍历剩余点云并选取欧式距离最远点保留；
以已经取出的点集作为查询点，计算剩余点到点集所有点的最短距离作为测量值，选取测量值最大的点保留；
循环上述过程，直到采样到目标数量为止，得到采样数据；
-所述特征提取层对每个点的局部区域进行局部特征提取，得到高维语义特征信息，包括：
对每一个提取出的局部区域，通过共享参数的多层感知结构进行特征提取，将每个点抽象至1024维的特征，得到的特征即为高维语义特征信息；
-在进行局部特征提取过程中，还包括：
增加感兴趣区域点云视柱的类别相关置信度分数，作为类别先验信息来辅助实例分割分类器；使用类别相关置信度分数一位有效编码格式级联每一个局部特征，避免过强的先验信息导致无法提取点云的高级语义特征，同时增加对先验预测的容错率；
-所述类别分类器通过卷积层构成；
-所述带权重的多分类焦点损失函数
Figure FDA0002612884570000041
为：
Figure FDA0002612884570000042
其中，n表示类别的数量，ci表示类别，α为类别相关权重，γ为调制因子，
Figure FDA0002612884570000043
表示对于类别ci，样本预测为正的概率。
CN202010760281.6A 2020-07-31 2020-07-31 自动驾驶场景下的三维点云数据实例分割方法及系统 Pending CN111968133A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010760281.6A CN111968133A (zh) 2020-07-31 2020-07-31 自动驾驶场景下的三维点云数据实例分割方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010760281.6A CN111968133A (zh) 2020-07-31 2020-07-31 自动驾驶场景下的三维点云数据实例分割方法及系统

Publications (1)

Publication Number Publication Date
CN111968133A true CN111968133A (zh) 2020-11-20

Family

ID=73363282

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010760281.6A Pending CN111968133A (zh) 2020-07-31 2020-07-31 自动驾驶场景下的三维点云数据实例分割方法及系统

Country Status (1)

Country Link
CN (1) CN111968133A (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112465844A (zh) * 2020-12-29 2021-03-09 华北电力大学 一种用于图像语义分割的多类别损失函数及其设计方法
CN112907605A (zh) * 2021-03-19 2021-06-04 南京大学 用于实例分割的数据增强方法
CN113177477A (zh) * 2021-04-29 2021-07-27 湖南大学 一种基于三维点云分析的目标检测识别方法
CN113298822A (zh) * 2021-05-18 2021-08-24 中国科学院深圳先进技术研究院 点云数据的选取方法及选取装置、设备、存储介质
CN113470049A (zh) * 2021-07-06 2021-10-01 吉林省田车科技有限公司 一种基于结构化彩色点云分割的完整目标提取方法
CN113706480A (zh) * 2021-08-13 2021-11-26 重庆邮电大学 一种基于关键点多尺度特征融合的点云3d目标检测方法
CN114359562A (zh) * 2022-03-20 2022-04-15 宁波博登智能科技有限公司 一种四维点云自动语义分割标注系统及方法
CN114565644A (zh) * 2022-03-02 2022-05-31 湖南中科助英智能科技研究院有限公司 三维运动目标检测方法、装置和设备
CN114937265A (zh) * 2022-07-25 2022-08-23 深圳市商汤科技有限公司 点云检测方法和模型训练方法、装置、设备及存储介质
CN115205311A (zh) * 2022-07-15 2022-10-18 小米汽车科技有限公司 图像处理方法、装置、车辆、介质及芯片
WO2024016524A1 (zh) * 2022-07-20 2024-01-25 之江实验室 基于独立非均匀增量采样的网联车位置估计方法及装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104318613A (zh) * 2014-10-27 2015-01-28 祁海江 一种3d空间精准取点方法
CN109410307A (zh) * 2018-10-16 2019-03-01 大连理工大学 一种场景点云语义分割方法
CN110197215A (zh) * 2019-05-22 2019-09-03 深圳市牧月科技有限公司 一种自主驾驶的地面感知点云语义分割方法
CN110660062A (zh) * 2019-08-31 2020-01-07 南京理工大学 一种基于PointNet的点云实例分割方法及系统
CN111160328A (zh) * 2020-04-03 2020-05-15 速度时空信息科技股份有限公司 一种基于语义分割技术的交通标线自动提取的方法
WO2020108311A1 (zh) * 2018-11-29 2020-06-04 北京市商汤科技开发有限公司 目标对象3d检测方法、装置、介质及设备
CN111275026A (zh) * 2020-03-23 2020-06-12 复旦大学 一种三维点云联合语义和实例分割的方法
KR20200080970A (ko) * 2018-12-27 2020-07-07 포항공과대학교 산학협력단 이차원 의미론적 분할 정보의 점진적인 혼합을 통한 삼차원 복원 모델의 의미론적 분할 방법

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104318613A (zh) * 2014-10-27 2015-01-28 祁海江 一种3d空间精准取点方法
CN109410307A (zh) * 2018-10-16 2019-03-01 大连理工大学 一种场景点云语义分割方法
WO2020108311A1 (zh) * 2018-11-29 2020-06-04 北京市商汤科技开发有限公司 目标对象3d检测方法、装置、介质及设备
KR20200080970A (ko) * 2018-12-27 2020-07-07 포항공과대학교 산학협력단 이차원 의미론적 분할 정보의 점진적인 혼합을 통한 삼차원 복원 모델의 의미론적 분할 방법
CN110197215A (zh) * 2019-05-22 2019-09-03 深圳市牧月科技有限公司 一种自主驾驶的地面感知点云语义分割方法
CN110660062A (zh) * 2019-08-31 2020-01-07 南京理工大学 一种基于PointNet的点云实例分割方法及系统
CN111275026A (zh) * 2020-03-23 2020-06-12 复旦大学 一种三维点云联合语义和实例分割的方法
CN111160328A (zh) * 2020-04-03 2020-05-15 速度时空信息科技股份有限公司 一种基于语义分割技术的交通标线自动提取的方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
CHEN ZUO ET AL.,: ""Det2Seg: A Two-Stage Approach for Road Object Segmentation from 3D Point Clouds"", 《IEEEXPLORE》, pages 2 - 3 *
牛辰庚;刘玉杰;李宗民;李华;: "基于点云数据的三维目标识别和模型分割方法", 图学学报, no. 02 *
顾军华;李炜;董永峰;: "基于点云数据的分割方法综述", 燕山大学学报, no. 02 *

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112465844A (zh) * 2020-12-29 2021-03-09 华北电力大学 一种用于图像语义分割的多类别损失函数及其设计方法
CN112907605A (zh) * 2021-03-19 2021-06-04 南京大学 用于实例分割的数据增强方法
CN112907605B (zh) * 2021-03-19 2023-11-17 南京大学 用于实例分割的数据增强方法
CN113177477A (zh) * 2021-04-29 2021-07-27 湖南大学 一种基于三维点云分析的目标检测识别方法
CN113298822A (zh) * 2021-05-18 2021-08-24 中国科学院深圳先进技术研究院 点云数据的选取方法及选取装置、设备、存储介质
CN113470049B (zh) * 2021-07-06 2022-05-20 吉林省田车科技有限公司 一种基于结构化彩色点云分割的完整目标提取方法
CN113470049A (zh) * 2021-07-06 2021-10-01 吉林省田车科技有限公司 一种基于结构化彩色点云分割的完整目标提取方法
CN113706480B (zh) * 2021-08-13 2022-12-09 重庆邮电大学 一种基于关键点多尺度特征融合的点云3d目标检测方法
CN113706480A (zh) * 2021-08-13 2021-11-26 重庆邮电大学 一种基于关键点多尺度特征融合的点云3d目标检测方法
CN114565644A (zh) * 2022-03-02 2022-05-31 湖南中科助英智能科技研究院有限公司 三维运动目标检测方法、装置和设备
CN114359562A (zh) * 2022-03-20 2022-04-15 宁波博登智能科技有限公司 一种四维点云自动语义分割标注系统及方法
CN115205311A (zh) * 2022-07-15 2022-10-18 小米汽车科技有限公司 图像处理方法、装置、车辆、介质及芯片
CN115205311B (zh) * 2022-07-15 2024-04-05 小米汽车科技有限公司 图像处理方法、装置、车辆、介质及芯片
WO2024016524A1 (zh) * 2022-07-20 2024-01-25 之江实验室 基于独立非均匀增量采样的网联车位置估计方法及装置
CN114937265A (zh) * 2022-07-25 2022-08-23 深圳市商汤科技有限公司 点云检测方法和模型训练方法、装置、设备及存储介质
CN114937265B (zh) * 2022-07-25 2022-10-28 深圳市商汤科技有限公司 点云检测方法和模型训练方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
CN111968133A (zh) 自动驾驶场景下的三维点云数据实例分割方法及系统
Adarsh et al. YOLO v3-Tiny: Object Detection and Recognition using one stage improved model
Xie et al. Multilevel cloud detection in remote sensing images based on deep learning
CN111626217B (zh) 一种基于二维图片和三维点云融合的目标检测和追踪方法
Jalal et al. Scene Semantic recognition based on modified Fuzzy c-mean and maximum entropy using object-to-object relations
Wang et al. Data-driven based tiny-YOLOv3 method for front vehicle detection inducing SPP-net
John et al. Saliency map generation by the convolutional neural network for real-time traffic light detection using template matching
CN111310631B (zh) 一种旋翼作业飞行机器人目标跟踪方法及系统
Geng et al. Using deep learning in infrared images to enable human gesture recognition for autonomous vehicles
Vaquero et al. Dual-branch CNNs for vehicle detection and tracking on LiDAR data
Wang et al. An overview of 3d object detection
CN117157678A (zh) 用于基于图的全景分割的方法和系统
Yang et al. Vision-based power line segmentation with an attention fusion network
Nguyen et al. Real-time vehicle detection using an effective region proposal-based depth and 3-channel pattern
Fan et al. Improvement of object detection based on faster R-CNN and YOLO
Juyal et al. Deep learning methods for object detection in autonomous vehicles
Ward et al. RGB-D image-based object detection: from traditional methods to deep learning techniques
Milioto et al. Fast instance and semantic segmentation exploiting local connectivity, metric learning, and one-shot detection for robotics
Munoz Inference Machines Parsing Scenes via Iterated Predictions
Luo et al. Dense-tnt: Efficient vehicle type classification neural network using satellite imagery
Shi et al. Lidar-based place recognition for autonomous driving: A survey
Barodi et al. An enhanced artificial intelligence-based approach applied to vehicular traffic signs detection and road safety enhancement
Yin et al. Pse-match: A viewpoint-free place recognition method with parallel semantic embedding
Li et al. Fast object detection from unmanned surface vehicles via objectness and saliency
Wu et al. Realtime single-shot refinement neural network with adaptive receptive field for 3D object detection from LiDAR point cloud

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination