CN112580438A - 一种三维场景下的点云识别方法 - Google Patents

一种三维场景下的点云识别方法 Download PDF

Info

Publication number
CN112580438A
CN112580438A CN202011351977.XA CN202011351977A CN112580438A CN 112580438 A CN112580438 A CN 112580438A CN 202011351977 A CN202011351977 A CN 202011351977A CN 112580438 A CN112580438 A CN 112580438A
Authority
CN
China
Prior art keywords
point cloud
point
curvature
change
sampling
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011351977.XA
Other languages
English (en)
Inventor
管贻生
朱蕾
陈炜楠
何力
张宏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong University of Technology
Original Assignee
Guangdong University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong University of Technology filed Critical Guangdong University of Technology
Priority to CN202011351977.XA priority Critical patent/CN112580438A/zh
Publication of CN112580438A publication Critical patent/CN112580438A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds

Abstract

本发明公开了一种三维场景下的点云识别方法，以激光雷达扫描仪获取的原始点云数据作为输入，利用点云的局部几何曲率变化特征，对点云曲率变化明显的部分进行针对性的分类采样处理，进而将点云划分为语义级别上有意义的部分，并将采样得到的特征点标记为预定义的对象类别，从而识别点云环境中不同的物体。本发明利于提高三维点云的分割精度，驱动移动机器人在三维点云场景中更有效地识别不同的物体。

Description

一种三维场景下的点云识别方法
技术领域
本发明涉及三维点云数据处理的技术领域，尤其涉及到一种三维场景下的点云识别方法。
背景技术
在三维场景识别领域，点云通常被用于对象的可视化，该种表达已经成为3D数据的代表。
在移动机器人技术领域，区分环境中不同物体的点云，常用的方法是语义分割。
目前应用于点云语义分析的代表性特征点采样方法包括随机采样、均匀采样、k近邻采样、迭代最远点采样等。然而在实际应用中，以上的采样方法均基于点云的坐标位置信息而忽视了点云物体的几何形状特征信息，精度较低。
发明内容
本发明的目的在于克服现有技术的不足，提供一种识别精度高的三维场景下的点云识别方法。
为实现上述目的，本发明所提供的技术方案为：
一种三维场景下的点云识别方法，以激光雷达扫描仪获取的原始点云数据作为输入，利用点云的局部几何曲率变化特征，对点云曲率变化明显的部分进行针对性的分类采样处理，进而将点云划分为语义级别上有意义的部分，并将采样得到的特征点标记为预定义的对象类别，从而识别点云环境中不同的物体。
进一步地，利用局部平面拟合的方法，获取离散的点云局部几何曲率变化特征，具体包括：
1)通过历遍点云中所有点个体以及给定的统计半径r，对点云所在位置进行邻域设定；
2)根据设定的邻域范围，计算邻域内点云坐标位置的均值以及标准差，从而得到该点云集合的协方差矩阵C：
Figure BDA0002801571430000021
上式中，
Figure BDA0002801571430000022
为点云邻域均值，pi为点云个体；
3)计算协方差矩阵的升序特征值(λ1,λ2,λ3)以及对应特征向量(ν1,ν2,ν3)，得到点云邻域的延申方向；
4)基于各延申方向所对应的特征值，提取其最小特征值λ1作为点云平面法向ν1所对应延申模量，并计算最小特征值与三个特征值之和的比例γ：
Figure BDA0002801571430000023
从而利用该比例γ代表该点云与平面的拟合程度，该比例越小，说明点云邻域的法向延申程度越不明显，从而其平面拟合度越高，对应曲率也越小；反之亦然。
进一步地，针对三维物体两个面相交的交界处的曲率发生突变的情况，以局部曲率变化提取三维物体中两个面的交线，从而刻画物体的形状信息；
对于点云个体pi，求pi与以其为球心，给定的统计半径r的球内所有点的曲率差；为了避免噪声影响，取球内最大的三个曲率差的均值，来定义pi在其局部的曲率变化；每个点的信息包含了除原始输入的x,y,z坐标外，还有曲率变化Cchange。
进一步地，所述步骤S3的具体过程如下：
对点云进行曲率计算过程中，对整体点云进行划分并分块预测；该划分过程，基于给定的划分分辨率进行均匀划分；对于每个划分得到区域，设定该区域的固定采样数目；各子块的采样合并后送入神经网络进行语义标记预测。
进一步地，基于划分结果，对点云中个体进行历遍检索，比较各点曲率变化与给定阈值大小；根据所得到曲率变化的比较结果，判断对该区域是否为物体中两个面的交界，进行基于曲率变化的采样；
而在曲率变化大的区域，通过最大曲率变化采样方法进行采样，具体过程如下：
首先在曲率变化大的区域随机采样一个点G1,然后在区域内通过所有点的曲率变化值Cchange与G1的曲率变化Cchange1做差，寻找最大的差值，其对应的点记作G2，将G1、G2作为集合G；
接着，逐点求解曲率变化大的区域中剩余的点云个体的Cchange与集合G中的点云个体Cchange的最大差值，并将这些差值中，最小的所对应的曲率变化大的区域中的点云个体记作Gj，将其并入集合G中；以此更新G，直到G中包含用户设置的采样数量。
进一步地，在曲率变化小的区域，采用迭代最远点采样方法进行降采样，将两个区域分别采样的点聚合，使得输入点云的降采样包含点云个体的位置信息和局部点之间的几何形状关联信息。
进一步地，利用深度卷积神经网络进行点云语义标注的预测，而预测过程中，与局部点云的曲率特征结合，增强点云的局部特征关联，实现环境中的各种物体分类以及目标物体的分割。
与现有技术相比，本方案原理及优点如下：
本方案以激光雷达扫描仪获取的原始点云数据作为输入，利用点云的局部几何曲率变化特征，对点云曲率变化明显的部分进行针对性的分类采样处理，进而将点云划分为语义级别上有意义的部分，并将采样得到的特征点标记为预定义的对象类别，从而识别点云环境中不同的物体。
本方案利于提高三维点云的分割精度，驱动移动机器人在三维点云场景中更有效地识别不同的物体。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的服务作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一种三维场景下的点云识别方法中基于曲率变化的点云降采样的原理流程图。
具体实施方式
下面结合具体实施例对本发明作进一步说明：
本发明实施例所述的一种三维场景下的点云识别方法，包括以下步骤：
S1、以激光雷达扫描仪获取的原始点云数据；
S2、计算点云的曲率变化；(如图1所示，下述的步骤S2和S3为基于曲率变化的点云降采样的过程)
其中，利用局部平面拟合的方法，获取离散的点云局部几何曲率变化特征，具体包括：
1)通过历遍点云中所有点个体以及给定的统计半径r，对点云所在位置进行邻域设定；
2)根据设定的邻域范围，计算邻域内点云坐标位置的均值以及标准差，从而得到该点云集合的协方差矩阵C：
Figure BDA0002801571430000041
上式中，
Figure BDA0002801571430000042
为点云邻域均值，pi为点云个体；
3)计算协方差矩阵的升序特征值(λ1,λ2,λ3)以及对应特征向量(ν1,ν2,ν3)，得到点云邻域的延申方向；
4)基于各延申方向所对应的特征值，提取其最小特征值λ1作为点云平面法向ν1所对应延申模量，并计算最小特征值与三个特征值之和的比例γ：
Figure BDA0002801571430000051
从而利用该比例γ代表该点云与平面的拟合程度，该比例越小，说明点云邻域的法向延申程度越不明显，从而其平面拟合度越高，对应曲率也越小；反之亦然。
由于三维物体的两个面相交的交界处的曲率发生突变，本实施例以局部曲率变化提取三维物体中两个面的交线，从而刻画物体的形状信息。对于点云个体pi，求pi与以其为球心，给定的统计半径r的球内所有点的曲率差。为了避免噪声影响，取球内最大的三个曲率差的均值，来定义pi在其局部的曲率变化。因此，经此步骤处理后此时每个点的信息包含了除原始输入的x,y,z坐标外，还有曲率变化Cchange
S3、对点云曲率变化明显的部分进行针对性的分类采样处理；
对点云进行识别过程中，对整体点云进行划分并分块预测；该划分过程，基于给定的划分分辨率进行均匀划分；对于每个划分得到区域，设定该区域的固定采样数目；
基于划分结果，对点云中个体进行历遍检索，比较各点曲率变化与给定阈值大小；根据所得到曲率变化的比较结果，判断对该区域是否为物体中两个面的交界，进行基于曲率变化的采样；
其中，在曲率变化大(HCV)的区域，通过(LCVS)最大曲率变化采样方法进行采样，具体过程如下：
首先在曲率变化大的区域随机采样一个点G1,然后在区域内通过所有点的曲率变化值Cchange与G1的曲率变化Cchange1做差，寻找最大的差值，其对应的点记作G2，将G1、G2作为集合G；
接着，逐点求解曲率变化大的区域中剩余的点云个体的Cchange与集合G中的点云个体Cchange的最大差值，并将这些差值中，最小的所对应的曲率变化大的区域中的点云个体记作Gj，将其并入集合G中；以此更新G，直到G中包含用户设置的采样数量。
而在曲率变化小(LCV)的区域，采用迭代最远点(FPS)采样方法进行降采样，将两个区域分别采样的点聚合，使得输入点云的降采样包含点云个体的位置信息和局部点之间的几何形状关联信息。
S4、利用神经网络将点云训练的特征表达，并将其与局部点云的曲率特征结合，增强点云的局部特征关联，实现环境中的各种物体分类以及目标物体的分割；
在所得到的语义分割结果中，如若语义信息表明该区域为“地板”“地毯”等移动机器人导航可达区域，则在其自主导航轨迹规划过程，给予更大的路径可达权重，从而提高导航成功率。另一方面，对于语义识别为“墙壁”“橱柜”等不可达障碍时，则给予较小的路劲规划权重，实现智能避障。同时，利用所得到的物体语义信息，对潜在的操作对象进行记录，如“水杯”“遥控器”等移动机器人可操作对象，保留其空间信息，从而为进一步的服务操作提供支持。总而言之，利用各点云语义信息，为移动机器人的导航以及操作提供先验，从而实现高精的点云语义分割以及鲁棒可靠的移动机器人自主导航。
以上所述之实施例子只为本发明之较佳实施例，并非以此限制本发明的实施范围，故凡依本发明之形状、原理所作的变化，均应涵盖在本发明的保护范围内。

Claims (7)

1.一种三维场景下的点云识别方法，其特征在于，以激光雷达扫描仪获取的原始点云数据作为输入，利用点云的局部几何曲率变化特征，对点云曲率变化明显的部分进行针对性的分类采样处理，进而将点云划分为语义级别上有意义的部分，并将采样得到的特征点标记为预定义的对象类别，从而识别点云环境中不同的物体。
2.根据权利要求1所述的一种三维场景下的点云识别方法，其特征在于，利用局部平面拟合的方法，获取离散的点云局部几何曲率变化特征，具体包括：
1)通过历遍点云中所有点个体以及给定的统计半径r，对点云所在位置进行邻域设定；
2)根据设定的邻域范围，计算邻域内点云坐标位置的均值以及标准差，从而得到该点云集合的协方差矩阵C：
Figure FDA0002801571420000011
上式中，
Figure FDA0002801571420000012
为点云邻域均值，pi为点云个体；
3)计算协方差矩阵的升序特征值(λ1,λ2,λ3)以及对应特征向量(ν1,ν2,ν3)，得到点云邻域的延申方向；
4)基于各延申方向所对应的特征值，提取其最小特征值λ1作为点云平面法向ν1所对应延申模量，并计算最小特征值与三个特征值之和的比例γ：
Figure FDA0002801571420000013
从而利用该比例γ代表该点云与平面的拟合程度，该比例越小，说明点云邻域的法向延申程度越不明显，从而其平面拟合度越高，对应曲率也越小；反之亦然。
3.根据权利要求2所述的一种三维场景下的点云识别方法，其特征在于，针对三维物体两个面相交的交界处的曲率发生突变的情况，以局部曲率变化提取三维物体中两个面的交线，从而刻画物体的形状信息；
对于点云个体pi，求pi与以其为球心，给定的统计半径r的球内所有点的曲率差；为了避免噪声影响，取球内最大的三个曲率差的均值，来定义pi在其局部的曲率变化；每个点的信息包含了除原始输入的x,y,z坐标外，还有曲率变化Cchange。
4.根据权利要求3所述的一种三维场景下的点云识别方法，其特征在于，对点云进行识别过程中，对整体点云进行划分并分块预测；该划分过程，基于给定的划分分辨率进行均匀划分；对于每个划分得到区域，设定该区域的固定采样数目；各子块的采样合并后送入神经网络进行语义标记预测。
5.根据权利要求4所述的一种三维场景下的点云识别方法，其特征在于，基于划分结果，对点云中个体进行历遍检索，比较各点曲率变化与给定阈值大小；根据所得到曲率变化的比较结果，判断对该区域是否为物体中两个面的交界，进行基于曲率变化的采样；
其中，在曲率变化大的区域，通过最大曲率变化采样方法进行采样，具体过程如下：
首先在曲率变化大的区域随机采样一个点G1,然后在区域内通过所有点的曲率变化值Cchange与G1的曲率变化Cchange1做差，寻找最大的差值，其对应的点记作G2，将G1、G2作为集合G；
接着，逐点求解曲率变化大的区域中剩余的点云个体的Cchange与集合G中的点云个体Cchange的最大差值，并将这些差值中，最小的所对应的曲率变化大的区域中的点云个体记作Gj，将其并入集合G中；以此更新G，直到G中包含用户设置的采样数量。
6.根据权利要求5所述的一种三维场景下的点云识别方法，其特征在于，在曲率变化小的区域，采用迭代最远点采样方法进行降采样，将两个区域分别采样的点聚合，使得输入点云的降采样包含点云个体的位置信息和局部点之间的几何形状关联信息。
7.根据权利要求6所述的一种三维场景下的点云识别方法，其特征在于，利用深度卷积神经网络进行点云语义标注的预测，而预测过程中，与局部点云的曲率特征结合，增强点云的局部特征关联，实现环境中的各种物体分类以及目标物体的分割。
CN202011351977.XA 2020-11-26 2020-11-26 一种三维场景下的点云识别方法 Pending CN112580438A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011351977.XA CN112580438A (zh) 2020-11-26 2020-11-26 一种三维场景下的点云识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011351977.XA CN112580438A (zh) 2020-11-26 2020-11-26 一种三维场景下的点云识别方法

Publications (1)

Publication Number Publication Date
CN112580438A true CN112580438A (zh) 2021-03-30

Family

ID=75123775

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011351977.XA Pending CN112580438A (zh) 2020-11-26 2020-11-26 一种三维场景下的点云识别方法

Country Status (1)

Country Link
CN (1) CN112580438A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113420846A (zh) * 2021-08-24 2021-09-21 天津云圣智能科技有限责任公司 点云分割方法、装置及终端设备
CN115453570A (zh) * 2022-09-13 2022-12-09 北京踏歌智行科技有限公司 一种多特征融合的矿区粉尘滤除方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109325998A (zh) * 2018-10-08 2019-02-12 香港理工大学 一种基于点云数据的室内3d建模方法、系统及相关装置
CN110633749A (zh) * 2019-09-16 2019-12-31 无锡信捷电气股份有限公司 基于改进视点特征直方图的三维点云识别方法
CN111915730A (zh) * 2020-07-20 2020-11-10 北京建筑大学 一种顾及语义从点云自动生成室内三维模型的方法及系统
CN111968121A (zh) * 2020-08-03 2020-11-20 电子科技大学 一种基于实例嵌入与语义融合的三维点云场景分割方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109325998A (zh) * 2018-10-08 2019-02-12 香港理工大学 一种基于点云数据的室内3d建模方法、系统及相关装置
CN110633749A (zh) * 2019-09-16 2019-12-31 无锡信捷电气股份有限公司 基于改进视点特征直方图的三维点云识别方法
CN111915730A (zh) * 2020-07-20 2020-11-10 北京建筑大学 一种顾及语义从点云自动生成室内三维模型的方法及系统
CN111968121A (zh) * 2020-08-03 2020-11-20 电子科技大学 一种基于实例嵌入与语义融合的三维点云场景分割方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
陈境焕 等: ""基于深度学习的零件点云分割算法研究"", 机电工程, vol. 37, no. 3, 31 March 2020 (2020-03-31), pages 326 - 331 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113420846A (zh) * 2021-08-24 2021-09-21 天津云圣智能科技有限责任公司 点云分割方法、装置及终端设备
CN115453570A (zh) * 2022-09-13 2022-12-09 北京踏歌智行科技有限公司 一种多特征融合的矿区粉尘滤除方法

Similar Documents

Publication Publication Date Title
CN111563442B (zh) 基于激光雷达的点云和相机图像数据融合的slam方法及系统
CN111060115B (zh) 一种基于图像边缘特征的视觉slam方法及系统
CN110226186B (zh) 表示地图元素的方法和装置以及定位的方法和装置
CN112526513B (zh) 基于聚类算法的毫米波雷达环境地图构建方法及装置
CN111444767B (zh) 一种基于激光雷达的行人检测和追踪方法
CN106780631B (zh) 一种基于深度学习的机器人闭环检测方法
KR101495333B1 (ko) 장애물 검출 장치 및 방법
CN107133966B (zh) 一种基于采样一致性算法的三维声纳图像背景分割方法
CN112489081B (zh) 一种视觉目标跟踪方法及装置
CN111523447B (zh) 车辆跟踪方法、装置、电子设备及存储介质
CN114926699B (zh) 一种室内三维点云语义分类方法、装置、介质及终端
CN112561960B (zh) 一种基于轨迹相似性度量学习的多目标跟踪重定位方法
JP7224682B1 (ja) 自律走行のための３次元多重客体検出装置及び方法
CN112580438A (zh) 一种三维场景下的点云识别方法
CN111783722B (zh) 一种激光点云的车道线提取方法和电子设备
CN111738319B (zh) 一种基于大规模样本的聚类结果评价方法及装置
CN115620261A (zh) 基于多传感器的车辆环境感知方法、系统、设备及介质
CN114119991A (zh) 一种目标检测的方法、装置、电子设备及存储介质
CN110634142B (zh) 一种复杂车路图像边界优化方法
Drews et al. Fast and adaptive 3d change detection algorithm for autonomous robots based on gaussian mixture models
CN110598711A (zh) 一种结合分类任务的目标分割方法
CN112200248B (zh) 一种基于dbscan聚类的城市道路环境下的点云语义分割方法、系统及存储介质
CN116452826A (zh) 基于机器视觉的遮挡情况下煤矸石轮廓估计方法
CN116664851A (zh) 一种基于人工智能的自动驾驶数据提取方法
CN114022705B (zh) 一种基于场景复杂度预分类的自适应目标检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination