CN113177477A - 一种基于三维点云分析的目标检测识别方法 - Google Patents

一种基于三维点云分析的目标检测识别方法 Download PDF

Info

Publication number
CN113177477A
CN113177477A CN202110474980.9A CN202110474980A CN113177477A CN 113177477 A CN113177477 A CN 113177477A CN 202110474980 A CN202110474980 A CN 202110474980A CN 113177477 A CN113177477 A CN 113177477A
Authority
CN
China
Prior art keywords
point cloud
point
local
cloud data
clouds
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110474980.9A
Other languages
English (en)
Inventor
刘理
王耀南
张辉
廖德
钟杭
缪志强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan University
Original Assignee
Hunan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan University filed Critical Hunan University
Priority to CN202110474980.9A priority Critical patent/CN113177477A/zh
Publication of CN113177477A publication Critical patent/CN113177477A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/005—Tree description, e.g. octree, quadtree
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/64—Analysis of geometric attributes of convexity or concavity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30264—Parking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Geometry (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于三维点云分析的目标检测识别方法，包括以下步骤：获取原始点云数据；对原始点云数据进行八叉树下采样，得到多个局部点云区域；根据八叉树的半径搜索算法和预设的最大间隔距离对多个局部点云区域进行距离判断得到判断结果，根据判断结果对多个局部点云区域进行标记，通过标签连通域算法对标记后的局部点云区域进行局部点云相连，得到带有标签点云的局部区域块状点云；对带有标签点云的局部区域块状点云进行三维点云的特征提取得到每个区域块状点云的特征信息，根据预设的分类模型，并基于提取的点云特征信息，对局部区域块状点云进行分类，当检测到存在目标物点云时，完成目标检测识别。可实现对物体整体局部目标的检测。

Description

一种基于三维点云分析的目标检测识别方法
技术领域
本发明涉及计算机视觉领域，尤其涉及一种基于三维点云分析的目标检测识别方法。
背景技术
在无人驾驶、机器人目标识别与导航避障、车辆自动充电机器人、自动智能泊车等众多实际应用领域中，物体识别技术的应用均十分广泛。
现阶段的物体识别，仅局限于物体整体的检测，但是，随着越来越多的视觉高性能检测需求出现，其要求目标检测技术不仅仅局限于物体整体的检测，还需要精确地获取目标物体上具体的局部信息，从而进行重要部位的信息提取，因此，本发明从实际应用出发，提出一种基于三维点云分析的目标检测识别方法。
发明内容
针对以上技术问题，本发明提供一种基于三维点云分析的目标检测识别方法，可实现对物体整体局部目标的检测。
在一个实施例中，一种基于三维点云分析的目标检测识别方法，方法包括以下步骤：
步骤S100：获取原始点云数据；
步骤S300：对原始点云数据进行八叉树下采样，得到多个局部点云区域；
步骤S400：根据八叉树的半径搜索算法和预设的最大间隔距离对多个局部点云区域进行距离判断得到判断结果，根据判断结果对多个局部点云区域进行标记，通过标签连通域算法对标记后的局部点云区域进行局部点云相连，得到带有标签点云的局部区域块状点云；
步骤S600：对带有标签点云的局部区域块状点云进行三维点云的特征提取得到每个局部区域块状点云的点云特征信息，根据预设的分类模型，并基于提取的点云特征信息，对局部区域块状点云进行分类，根据分类后的局部区域块状点云检测到存在目标物点云时，完成目标检测识别。
优选地，步骤S100和步骤S300之间，还包括：
步骤S200：对原始点云数据进行过滤处理得到过滤后的点云数据。
优选地，步骤S200包括：
步骤S210：根据预设的裁剪条件对原始点云数据进行点云裁剪得到裁剪后的点云数据，其中，预设的裁剪条件为裁剪判别区域坐标阈值，或裁剪判别平行平面距离值；
步骤S220：对裁剪后的点云数据经过离散滤波器和半径滤波器进行离散点和边缘点过滤得到过滤后的点云数据。
优选地，当预设的裁剪条件为裁剪判别区域坐标阈值时，步骤S210为当原始点云数据的坐标值满足裁剪判别区域坐标阈值，则保留该原始点云数据；
当预设的裁剪条件为裁剪判别平行平面距离值时，步骤S210包括：获取原始点云数据分别到两判别平行平面的第一平面距离和第二平面距离；当第一平面距离和第二平面距离均小于裁剪判别平行平面距离值时，则保留该原始点云数据。
优选地，步骤S300包括：
步骤S310：将原始点云数据分为八个长宽高相等的子集区域小块，对八个长宽高相等的子集区域小块不断进行八叉树划分，直到最小的子集区域小块的大小尺寸为预设的大小尺寸；
步骤S320：过滤子集区域小块内少于三个点的点云数据；
步骤S330：根据每个子集区域小块内的点云数据计算得到重心点坐标，重心点坐标代表区域体素点云，每一区域体素点云代表一个局部点云区域，从而得到多个局部点云区域。
优选地，步骤S400包括：
步骤S410：通过八叉树的半径搜索算法，以任意区域体素点云为圆心进行半径搜索得到搜索范围内的区域体素点云；
步骤S420：获取各搜索范围内的区域体素点云的坐标信息，根据各搜索范围内的区域体素点云的坐标信息得到各搜索范围内的区域体素点云与作为圆心的区域体素点云间的距离信息；
步骤S430：根据各搜索范围内的区域体素点云与作为圆心的区域体素点云间的距离信息和预设的最大间隔距离进行判断得到判断结果，根据判断结果对各搜索范围内的区域体素点云进行标记；
步骤S440：以未标记的任何一个区域体素点云作为圆心，重复步骤S410至步骤S430,直至所有区域体素点云完成标记；
步骤S450：通过标签连通域算法分别对带有一样标记的区域体素点云连接，得到多个带有不同标记的区域连通块状的点云数据，其中，以任意区域体素点云为圆心进行半径搜索时的半径大于预设的最大间隔距离，预设的最大间隔距离大于预设的大小尺寸。
优选地，步骤S430包括：当搜索范围内的区域体素点云与作为圆心的区域体素点云间的距离信息小于预设的最大间隔距离时，将距离小于预设的最大间隔距离的搜索范围内的区域体素点云和作为圆心的区域体素点云进行相同的标记；
当搜索范围内的区域体素点云与首个带标记的区域体素点云间的距离信息大于预设的最大间隔距离时，将距离大于预设的最大间隔距离的搜索范围内的区域体素点云和作为圆心的区域体素点云进行不同的标记。
优选地，步骤S600之前，还包括步骤S500：
步骤S500：预先对分类器进行训练，得到预设的分类模型。
优选地，步骤S600包括：
步骤S610：将带有不同标记的区域连通块状的点云数据进行平面化处理；
步骤S620：根据预设的聚类分割对象的特征对处理后的带有不同标记的区域连通块状的点云数据进行特征提取，得到每个区域连通块状点云的特征信息；
步骤S630：根据每个区域连通块状点云的特征信息和预设的分类模型，得到带人工标签的区域连通块状点云实现分类，根据分类后的带人工标签的区域连通块状点云进行边界框检测回归，当检测到存在目标物点云时，完成目标检测识别。
优选地，步骤S600之后，还包括：
步骤S700：将目标物的点云数据投影至点云拟合平面上，通过凸包算法进行轮廓提取得到轮廓点点云，根据轮廓点点云进行轮廓点信息提取完成目标物局部信息计算。
上述基于三维点云分析的目标检测识别方法，通过对原始点云数据进行八叉树下采样得到多个局部点云区域实现局部分割，根据八叉树的半径搜索算法和预设的最大间隔距离对多个局部点云区域进行距离判断得到判断结果，根据判断结果对多个局部点云区域进行标记，通过标签连通域算法对标记后的局部点云区域进行局部点云相连，得到带有标签点云的局部区域块状点云，实现目标聚类，通过对带有标签点云的局部区域块状点云进行三维点云的特征提取得到每个区域块状点云的特征信息，根据预设的分类模型对点云特征信息进行分类，根据分类后的局部区域块状点云检测到存在目标物点云时，完成目标检测识别。
附图说明
图1为本发明第一种实施例提供的一种基于三维点云分析的目标检测识别方法的流程图；
图2为本发明采用八叉树划分的结构图；
图3为本发明第二种实施例提供的一种基于三维点云分析的目标检测识别方法的流程图；
图4为本发明提供的一种基于三维点云分析的目标检测识别方法的总体流程框图；
图5为本发明实现聚类分割检测的实验图。
具体实施方式
为了使本技术领域的人员更好地理解本发明的技术方案，下面结合附图对本发明作进一步的详细说明。
在一个实施例中，如图1所示，提供了一种基于三维点云分析的目标检测识别方法，本发明中，后续将以车辆局部车轮作为实际检测目标进行说明，方法包括以下步骤：
步骤S100：获取原始点云数据。
具体地，使用激光雷达传感器、深度摄像头、激光扫描仪等传感器对物体表面进行扫描或拍摄，获得基于传感器坐标系下的原始点云坐标数据。其中，原始点云数据为三维点云数据，其数据含义是空间物体通过激光雷达、深度摄像头等传感器采集的数据统称，所包含的信息主要表现在空间点上，由不同的传感器获取的点云数据也同样包含不同的信息。
步骤S300：对原始点云数据进行八叉树下采样，得到多个局部点云区域。
具体地，为了降低点云数据的数据量，本发明采用八叉树算法，利用八叉树特性完成点云区域分割，将整体点云转换为局部点云区域。
在一个实施例中，步骤S300包括：
步骤S310：将原始点云数据分为八个长宽高相等的子集区域小块，对八个长宽高相等的子集区域小块不断进行八叉树划分，直到最小的子集区域小块的大小尺寸为预设的大小尺寸。
具体地，如图2所示，八叉树算法是一种数据结构，将整体数据分为八个长宽高相等的子集区域小块，由人为设置指定小块大小换而言之即为整体数据的深度尺寸，此作用是将点云数据不断进行八叉树划分，直到最小的子集区域小块的大小尺寸为预设的大小尺寸，其目的是将一个偌大的数据用不断细划分为一个个指定深度的方格区域表示。
步骤S320：过滤子集区域小块内少于三个点的点云数据。
步骤S330：根据每个子集区域小块内的点云数据计算得到重心点坐标，重心点坐标代表区域体素点云，每一区域体素点云代表一个局部点云区域，从而得到多个局部点云区域。
具体地，如图2所示，借助八叉树算法，本发明将每个方格区域内的点云数据进行重心计算，并以其重心点作为八叉树的体素点云，以达到点云下采样的目的，使用八叉树结构还能够将对子集区域与父级区域相关联，这对后续的标签连通域算法的速度提供基础。本发明将点云数据作为八叉树的输入点云数据，设定指定的八叉树深度尺寸Θ，并将子集区域少于三个点的点云数据过滤，以区域内的点云计算重心点坐标，将其代表为区域体素点云，则能够得到八叉树划分后的体素点云数据。
步骤S400：根据八叉树的半径搜索算法和预设的最大间隔距离对多个局部点云区域进行距离判断得到判断结果，根据判断结果对多个局部点云区域进行标记，通过标签连通域算法对标记后的局部点云区域进行局部点云相连，得到带有标签点云的局部区域块状点云。
具体地，通过八叉树的半径搜索算法，就可以获得区域体素点云之间的距离关系，然后通过预设的最大间隔距离去做判断，实现对多个局部点云区域进行标记，通过标签连通域算法对标记后的局部点云区域进行局部点云相连，即将相同标记的局部点云区域相连，最终会形成带有标签点云的局部区域块状点云。
在一个实施例中，步骤S400包括：
步骤S410：通过八叉树的半径搜索算法，以任意区域体素点云为圆心进行半径搜索得到搜索范围内的区域体素点云。
步骤S420：获取各搜索范围内的区域体素点云的坐标信息，根据各搜索范围内的区域体素点云的坐标信息得到各搜索范围内的区域体素点云与作为圆心的区域体素点云间的距离信息。
步骤S430：根据各搜索范围内的区域体素点云与作为圆心的区域体素点云间的距离信息和预设的最大间隔距离进行判断得到判断结果，根据判断结果对各搜索范围内的区域体素点云进行标记。
在一个实施例中，步骤S430包括：当搜索范围内的区域体素点云与作为圆心的区域体素点云间的距离信息小于预设的最大间隔距离时，将距离小于预设的最大间隔距离的搜索范围内的区域体素点云和作为圆心的区域体素点云进行相同的标记；当搜索范围内的区域体素点云与首个带标记的区域体素点云间的距离信息大于预设的最大间隔距离时，将距离大于预设的最大间隔距离的搜索范围内的区域体素点云和作为圆心的区域体素点云进行不同的标记。
步骤S440：以未标记的任何一个区域体素点云作为圆心，重复步骤S410至步骤S430，直至所有区域体素点云完成标记。
步骤S450：通过标签连通域算法分别对带有一样标记的区域体素点云连接，得到多个带有不同标记的区域连通块状的点云数据，其中，以任意区域体素点云为圆心进行半径搜索时的半径大于预设的最大间隔距离，预设的最大间隔距离大于预设的大小尺寸。
具体地，本发明借助标签连通域算法的思路，以点与点的空间距离信息作为判定标准，通过八叉树的半径搜索算法，以任意区域体素点云为圆心进行半径搜索，若搜索到的下一个区域体素点云与作为圆心的区域体素点云间的距离信息小于设定的距离阈值D(对应预设的最大间隔距离)，则将此搜索到的区域体素点云进行相同标记，而大于D的区域体素点云则由不同的标记进行区分，然后接着以未标记的任何一个区域体素点云作为圆心及性能半径搜索，由此递归搜索，直至搜索不到下一个区域体素点云，最终完成整个点云数据的标记，这样将会得到带有不同标记的区域连通块状的点云数据，从而达到聚类效果。其中，D值必须要大于八叉树深度尺寸Θ，搜索半径要稍大于D值。
步骤S600：对带有标签点云的局部区域块状点云进行三维点云的特征提取得到每个局部区域块状点云的点云特征信息，根据预设的分类模型，并基于提取的点云特征信息对局部区域块状点云进行分类，根据分类后的局部区域块状点云检测到存在目标物点云时，完成目标检测识别。
具体地，将带标签点云的局部区域块状点云做3D点云的特征提取，主要获取每个区域块状的点云特征信息，输送至已经训练好的SVM(Support Vector Machine，支持向量机)分类器模型即预设的分类模型内，主要目的是用于预测预期点云的类别，进而完成局部点云检测识别。
在一个实施例中，步骤S600包括：
步骤S610：将带有不同标记的区域连通块状的点云数据进行平面化处理。
步骤S620：根据预设的聚类分割对象的特征对处理后的带有不同标记的区域连通块状的点云数据进行特征提取，得到每个区域连通块状点云的特征信息。
步骤S630：根据每个区域连通块状点云的特征信息和预设的分类模型，得到带人工标签的区域连通块状点云实现分类，根据分类后的带人工标签的区域连通块状点云进行边界框检测回归，当检测到存在目标物点云时，完成目标检测识别。
具体地，得到连通域分析后的带有不同标记的区域连通块状的点云数据(即聚类点云)，则需要根据聚类分割对象的特征进行特征提取，可以选取物体形状特征、边缘特征、曲面特征等系列特征，需要根据实际检测的对象进行采取合适的特征提取方案，本发明采用NARF(Normal Aligned Radial Feature)特征作为轮廓特征，因为聚类点云是三维空间数据，先将聚类点云进行平面化处理，然后进行NARF特征提取操作，找到NARF关键点之后即可利用不同点云特征，从而确定不同聚类数据之间信息，根据预设的分类模型得到带人工标签的区域连通块状点云达到分类效果，根据分类后的带人工标签的区域连通块状点云进行边界框检测回归，当检测到存在目标物点云时，完成目标检测识别；进一步地，当检测到不存在目标物点云时，返回步骤S100。
在一个实施例中，如图3、4所示，步骤S100和步骤S300之间，还包括步骤S200：对原始点云数据进行过滤处理得到过滤后的点云数据。
具体地，可以理解，当对原始点云数据进行过滤处理后，那步骤S300都是在基于过滤后的点云数据的基础上进行后续步骤，即前面的步骤S300中的原始点云数据要对应理解为过滤后的点云数据。
在一个实施例中，步骤S200包括：
步骤S210：根据预设的裁剪条件对原始点云数据进行点云裁剪得到裁剪后的点云数据，其中，预设的裁剪条件为裁剪判别区域坐标阈值，或裁剪判别平行平面距离值。
具体地，针对不同实际场景区域，实现点云裁剪，其裁剪目的是过滤掉不需要检测识别的三维点、降低计算量。点云裁剪的方式主要有两种：第一种为原始坐标系裁剪，通过点云坐标的X、Y、Z坐标值判断实现过滤；第二种是通过三维点到平面距离的空间判断来完成过滤。
进一步地，当预设的裁剪条件为裁剪判别区域坐标阈值时，步骤S210为当原始点云数据的坐标值满足裁剪判别区域坐标阈值，则保留该原始点云数据；当预设的裁剪条件为裁剪判别平行平面距离值时，步骤S210包括：获取原始点云数据分别到两判别平行平面的距离，设定为第一平面距离和第二平面距离；当第一平面距离和第二平面距离均小于裁剪判别平行平面距离值时，则保留该原始点云数据。
具体地，针对具体物体点云进行裁剪，由实际物体距传感器位置进行简单的区域判定，如停车场中车辆识别中的大致区域划分。其中裁剪方法一：设定裁剪判别区域阈值δ(δx，δy，δz)，当原始点云数据坐标信息Pi(Xi，Yi，Zi)中的坐标值均满足δ即可保留Pi；裁剪方法二：设定裁剪判别平行平面信息Π0、Π1，则可计算出两平面的距离dis(Π0，Π1)。若Pi到Π0、Π1的两距离d0i、d1i均小于dis(∏0，Π1)，即可保留Pi。
步骤S220：对裁剪后的点云数据经过离散滤波器和半径滤波器进行离散点和边缘点过滤得到过滤后的点云数据。
具体地，裁剪后的点云数据，需要经过离散滤波器、半径滤波器实现离散点、边缘点过滤，目的让点云数据表现更加清晰，避免噪声点对后续检测识别算法产生错误检测。
进一步地，离散滤波器主要作用是去除稀疏离群的噪声点，具体做法是对每个点的领域采用统计学的方法进行分析，主要是设定指定阈值，然后去除不满足设定阈值的点，通过点与其邻近点的空间邻域U分布，并计算邻域U中的中心点u、方差σ，其中：
Figure BDA0003046708080000081
Figure BDA0003046708080000082
利用所求的所有点的距离方差来定义标准范围，从而将不满足其标准范围的点云进行过滤。其中m(Xi，Yi，Zi)表示去除前的点云数据，则去除之后的点云数据n(Xi，Yi，Zi)判断标准为：
Figure BDA0003046708080000083
其中T表示设定的方差邻域阈值，其大小取决于邻域内点云数量大小。
本发明采用KNN(K-Nearest Neighbor)近邻搜索算法进行点云邻域搜索，因此，离散滤波器主要涉及的阈值参数为KNN近邻数量K0、方差邻域系数T0。半径滤波器描述的是一种基于近邻半径搜索的过滤方法，主要是以点Pi(Xi，Yi，Zi)为圆心、设定指定搜索半径值R0为半径做区域圆，并以设定的圆内数量K1作为判定条件，当搜索圆内数量小于指定K1时，则去除Pi。
在一个实施例中，如图3所示，步骤S600之前，还包括步骤S500：
步骤S500：预先对分类器进行训练，得到预设的分类模型。
具体地，对相同物体，从各个不同角度、不同场景、不同环境下进行物体扫描，在经历步骤S300、步骤S400处理之后得到的标签点云集进行人工定义标注，离线保存聚类点云，再使用步骤S600对相同标签的点云数据进行特征提取，建立标签数据集，并将聚类噪声作为负样本加入数据集中，设定训练的数学模型，并采用SVM(Support Vector Machine)分类器实现特定物体的分类训练，最后分类器训练出一个数学分类模型即得到预设的分类模型。此时的分类模型的作用即可对未训练的聚类点云进行检测框回归，简而言之，就是对后续的聚类点云即带有标签点云的局部区域块状点云进行标签预测，从而达到检测目的。
在一个实施例中，如图3所示，步骤S600之后，还包括：
步骤S700：将目标物的点云数据投影至点云拟合平面上，通过凸包算法进行轮廓提取得到轮廓点点云，根据轮廓点点云进行轮廓点信息提取完成目标物局部信息计算。
具体地，通过分类器完成训练之后，利用分类模型可以完成物体的识别检测，进而可以进行测量、测距、局部信息估计等一系列操作。后续计算需要根据实际物体的具体表现采取不同的计算方案。
在一个详细的实施例中，以车辆局部车轮作为实际检测目标，整个基于三维点云分析的目标检测识别方法具体步骤如下：
步骤S100：使用激光雷达传感器对于指定区域车辆进行扫描。
步骤S210：根据实际车辆距激光雷达传感器的大概距离进行点云裁剪，设定裁剪方案一的阈值δ1(1,-3,-1.5)与δ2(5,3,2)，将车辆点云坐标Pi(Xi,Yi,Zi)不满足δ1与δ2条件进行过滤，处理后得到点云的空间大小为4×6×3.5m。
步骤S220：离散滤波器主要作用是去除稀疏离群的噪声点，具体做法是对每个点的领域采用统计学的方法进行分析，主要是设定指定阈值，然后去除不满足设定阈值的点，通过点与其邻近点的空间邻域U分布，并计算邻域U中的中心点u、方差σ，其中：
Figure BDA0003046708080000101
Figure BDA0003046708080000102
利用所求的所有点的距离方差来定义标准范围，从而将不满足其标准范围的点云进行过滤。其中m(Xi，Yi，Zi)表示去除前的点云数据，则去除之后的点云数据n(Xi，Yi，Zi)判断标准为：
Figure BDA0003046708080000103
其中T表示设定的方差邻域阈值，其大小取决于邻域内点云数量大小。
本发明采用KNN(K-Nearest Neighbor)近邻搜索算法进行点云邻域搜索，因此，离散滤波器主要涉及的阈值参数为KNN近邻数量K0、方差邻域系数T0。半径滤波器描述的是一种基于近邻半径搜索的过滤方法，主要是以点Pi(Xi，Yi，Zi)为圆心、设定指定搜索半径值R0为半径做区域圆，并以设定的圆内数量K1作为判定条件，当搜索圆内数量小于指定K1时，则去除Pi。
本发明根据实际场景设定离散滤波器参数，其中KNN近邻搜索数量K0＝30、方差邻域系数T0＝1.5，完成离散点滤波，实现清晰化点云，为了保证检测物体的轮廓特征，本发明在离散滤波之后采用半径滤波器，设定半径滤波器参数，搜索半径R0＝0.03m，邻域点云数量阈值K1＝30。
步骤S300：根据八叉树结构特性，将滤波后的点云数量进行八叉树下采样，设定八叉树深度尺寸Θ＝0.015m，此时下采样处理之后，能获得最多267×400×233个八叉树区域，以区域内的点云计算重心点坐标，将其代表为区域体素，则能够得到八叉树划分后的体素点云数据，依然通过判定最小子集区域内的点少于3的部分区域块进行过滤。因此，实际的下采样后的点云数据远远少于原始点云数据。
步骤S400：通过八叉树得到的重心点云数据，利用八叉树的半径搜索算法进行重心点搜索，设定最大间隔距离D＝0.02m，将小于设定的距离阈值D的区域点云进行相同标签的标记，而大于D的区域之间则由不同的标记进行区分，直至所有体素点云都标记完成，这样将会得到带有不同标记的区域连通块状的点云数据，从而达到聚类效果，此时的点云数据为聚类点云数据，由不同标签进行表示，其中车轮、车身的点云已经完成分割。
步骤S500：对相同物体，从各个不同角度、不同场景、不同环境下进行物体扫描，在经历步骤S200-步骤S400处理之后得到的标签点云集进行人工定义标注，离线保存聚类点云，再使用步骤S600对相同标签的点云数据进行特征提取，建立标签数据集。在本发明实例过程中，人工标注车轮点云作为正样本点云数据，并将聚类噪声作为负样本加入数据集中，本发明根据实际场景采用非线性数学分类模型进行分类器训练，从而得到一个含人工标签的数学分类模型即对应预设的分类模型，记为M。
步骤S600：针对每个聚类点云进行NARF特征提取，利用平面信息完成轮廓信息查找，并分别找出车轮、车身的轮廓不同特征信息，如图5所示，车轮的NARF特征近似于圆，而车身的NARF特征近似于带凹信息的曲线，其他聚类点云的NARF特征则属于噪声聚类。在后续采集新的原始点云数据之后，经过步骤S200-步骤S400的三维点云处理之后，将不同聚类点云输送至含人工标签的数学分类模型M进行预测回归，即可输出带人工标签的聚类点云，则此时的点云数据即可根据轮廓特征及标签信息绘制检测框，当检测到存在车轮点云时，完成物体的检测识别。
步骤S700：由于本发明采用的是车辆位置的具体估计，因此，在完成车轮点云的检测回归之后，本发明针对车轮点云的形状特征，进行轮廓判别，从实际应用进行判断，车轮可以近似为一个空间圆。因此，在完成后续车轮测量时，本发明采用平面投影操作将车轮点云数据投影至点云拟合出来的平面上，利用凸包算法完成轮廓提取，进而将车轮轮廓点云进行计算出的中心点作为车轮空间平面圆心，由轮廓点云到中心点的距离均值作为半径，绘制车轮轮廓，所展示的结果如图5所示。其中，凸包算法讲述的是一个几何图形学上的概念算法，以最小多边形将已知数据包围住，最小多边形所形成的数据表现为其轮廓数据A。由此，其中空间平面圆的圆心坐标O、半径r为：
Figure BDA0003046708080000111
Figure BDA0003046708080000112
其中，a(Xi，Yi，Zi)属于轮廓数据A中的点云数据，进而完成车轮信息提取，本发明不仅对整个车辆完成分割检测，也将车辆的局部信息完成计算测量，在实践中，为无人驾驶、自动泊车等领域提供基础。
以上对本发明所提供的一种基于三维点云分析的目标检测识别方法进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (10)

1.一种基于三维点云分析的目标检测识别方法，其特征在于，所述方法包括以下步骤：
步骤S100：获取原始点云数据；
步骤S300：对所述原始点云数据进行八叉树下采样，得到多个局部点云区域；
步骤S400：根据八叉树的半径搜索算法和预设的最大间隔距离对所述多个局部点云区域进行距离判断得到判断结果，根据所述判断结果对所述多个局部点云区域进行标记，通过标签连通域算法对标记后的局部点云区域进行局部点云相连，得到带有标签点云的局部区域块状点云；
步骤S600：对所述带有标签点云的局部区域块状点云进行三维点云的特征提取得到每个局部区域块状点云的点云特征信息，根据预设的分类模型，并基于所述提取的点云特征信息，对局部区域块状点云进行分类，根据分类后的局部区域块状点云检测到存在目标物点云时，完成目标检测识别。
2.根据权利要求1所述的方法，其特征在于，步骤S100和步骤S300之间，还包括：
步骤S200：对所述原始点云数据进行过滤处理得到过滤后的点云数据。
3.根据权利要求2所述的方法，其特征在于，步骤S200包括：
步骤S210：根据预设的裁剪条件对所述原始点云数据进行点云裁剪得到裁剪后的点云数据，其中，预设的裁剪条件为裁剪判别区域坐标阈值，或裁剪判别平行平面距离值；
步骤S220：对所述裁剪后的点云数据经过离散滤波器和半径滤波器进行离散点和边缘点过滤得到过滤后的点云数据。
4.根据权利要求3所述的方法，其特征在于，当预设的裁剪条件为裁剪判别区域坐标阈值时，步骤S210为当所述原始点云数据的坐标值满足裁剪判别区域坐标阈值，则保留该原始点云数据；
当预设的裁剪条件为裁剪判别平行平面距离值时，步骤S210包括：获取所述原始点云数据分别到两判别平行平面的距离，设定为第一平面距离和第二平面距离；当所述第一平面距离和所述第二平面距离均小于所述裁剪判别平行平面距离值时，则保留该原始点云数据。
5.根据权利要求1所述的方法，其特征在于，步骤S300包括：
步骤S310：将所述原始点云数据分为八个长宽高相等的子集区域小块，对所述八个长宽高相等的子集区域小块不断进行八叉树划分，直到最小的子集区域小块的大小尺寸为预设的大小尺寸；
步骤S320：过滤所述子集区域小块内少于三个点的点云数据；
步骤S330：根据所述每个子集区域小块内的点云数据计算得到重心点坐标，所述重心点坐标代表区域体素点云，每一区域体素点云代表一个局部点云区域，从而得到多个局部点云区域。
6.根据权利要求5所述的方法，其特征在于，步骤S400包括：
步骤S410：通过八叉树的半径搜索算法，以任意区域体素点云为圆心进行半径搜索得到搜索范围内的区域体素点云；
步骤S420：获取各所述搜索范围内的区域体素点云的坐标信息，根据各所述搜索范围内的区域体素点云的坐标信息得到各所述搜索范围内的区域体素点云与作为圆心的区域体素点云间的距离信息；
步骤S430：根据各所述搜索范围内的区域体素点云与作为圆心的区域体素点云间的距离信息和预设的最大间隔距离进行判断得到判断结果，根据所述判断结果对各搜索范围内的区域体素点云进行标记；
步骤S440：以未标记的任何一个区域体素点云作为圆心，重复步骤S410至步骤S430,直至所有区域体素点云完成标记；
步骤S450：通过标签连通域算法分别对带有一样标记的区域体素点云连接，得到多个带有不同标记的区域连通块状的点云数据，其中，以任意区域体素点云为圆心进行半径搜索时的所述半径大于预设的最大间隔距离，所述预设的最大间隔距离大于所述预设的大小尺寸。
7.根据权利要求6所述的方法，其特征在于，步骤S430包括：当所述搜索范围内的区域体素点云与作为圆心的区域体素点云间的距离信息小于所述预设的最大间隔距离时，将距离小于所述预设的最大间隔距离的搜索范围内的区域体素点云和作为圆心的区域体素点云进行相同的标记；
当所述搜索范围内的区域体素点云与首个带标记的区域体素点云间的距离信息大于所述预设的最大间隔距离时，将距离大于所述预设的最大间隔距离的搜索范围内的区域体素点云和作为圆心的区域体素点云进行不同的标记。
8.根据权利要求1所述的方法，其特征在于，步骤S600之前，还包括步骤S500：
步骤S500：预先对分类器进行训练，得到预设的分类模型。
9.根据权利要求6所述的方法，其特征在于，步骤S600包括：
步骤S610：将带有不同标记的区域连通块状的点云数据进行平面化处理；
步骤S620：根据预设的聚类分割对象的特征对处理后的带有不同标记的区域连通块状的点云数据进行特征提取，得到每个区域连通块状点云的特征信息；
步骤S630：根据所述每个区域连通块状点云的特征信息和预设的分类模型，得到带人工标签的区域连通块状点云实现分类，根据分类后的带人工标签的区域连通块状点云进行边界框检测回归，当检测到存在目标物点云时，完成目标检测识别。
10.根据权利要求1所述的方法，其特征在于，步骤S600之后，还包括：
步骤S700：将目标物的点云数据投影至点云拟合平面上，通过凸包算法进行轮廓提取得到轮廓点点云，根据所述轮廓点点云进行轮廓点信息提取完成目标物局部信息计算。
CN202110474980.9A 2021-04-29 2021-04-29 一种基于三维点云分析的目标检测识别方法 Pending CN113177477A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110474980.9A CN113177477A (zh) 2021-04-29 2021-04-29 一种基于三维点云分析的目标检测识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110474980.9A CN113177477A (zh) 2021-04-29 2021-04-29 一种基于三维点云分析的目标检测识别方法

Publications (1)

Publication Number Publication Date
CN113177477A true CN113177477A (zh) 2021-07-27

Family

ID=76925278

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110474980.9A Pending CN113177477A (zh) 2021-04-29 2021-04-29 一种基于三维点云分析的目标检测识别方法

Country Status (1)

Country Link
CN (1) CN113177477A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113744416A (zh) * 2021-08-06 2021-12-03 中国科学院计算技术研究所 一种基于遮罩的全局点云滤波方法、设备和存储介质
CN114087989A (zh) * 2021-11-19 2022-02-25 江苏理工学院 汽车缸体工件定位孔圆心三维坐标测量方法及系统
CN115830262A (zh) * 2023-02-14 2023-03-21 济南市勘察测绘研究院 一种基于对象分割的实景三维模型建立方法及装置
CN116844068A (zh) * 2023-09-01 2023-10-03 山东省地质矿产勘查开发局第五地质大队（山东省第五地质矿产勘查院） 建筑测绘方法、系统、计算机设备及存储介质
CN116883404A (zh) * 2023-09-07 2023-10-13 泰州市乐太食品有限公司 一种用于食品生产包装的标签贴合效果检测方法
CN116912312A (zh) * 2023-09-15 2023-10-20 湖南大学 一种面向复杂曲面构件的三维孔类定位方法
CN117934858A (zh) * 2024-03-21 2024-04-26 之江实验室 一种点云的处理方法、装置、存储介质及电子设备

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016201671A1 (zh) * 2015-06-18 2016-12-22 北京大学深圳研究生院 一种三维点云的局部特征提取方法及装置
CN106529573A (zh) * 2016-10-14 2017-03-22 北京联合大学 一种结合三维点云分割和局部特征匹配的实时物体检测方法
CN107123161A (zh) * 2017-06-14 2017-09-01 西南交通大学 一种基于narf和fpfh的接触网零全网三维重建方法
CN110009727A (zh) * 2019-03-08 2019-07-12 深圳大学 一种具有结构语义的室内三维模型自动重构方法及系统
CN110232329A (zh) * 2019-05-23 2019-09-13 星际空间（天津）科技发展有限公司 基于深度学习的点云分类方法、装置、存储介质及设备
CN110344621A (zh) * 2019-06-13 2019-10-18 武汉大学 一种面向智能车库的车轮点云检测方法
CN110415362A (zh) * 2019-07-31 2019-11-05 易思维（杭州）科技有限公司 重叠点云融合方法
CN110490893A (zh) * 2019-07-18 2019-11-22 广州大学 一种快速欧式距离点云分割方法
CN110969624A (zh) * 2019-11-07 2020-04-07 哈尔滨工程大学 一种激光雷达三维点云分割方法
CN111199206A (zh) * 2019-12-30 2020-05-26 上海眼控科技股份有限公司 三维目标检测方法、装置、计算机设备及存储介质
CN111239766A (zh) * 2019-12-27 2020-06-05 北京航天控制仪器研究所 基于激光雷达的水面多目标快速识别跟踪方法
CN111680542A (zh) * 2020-04-17 2020-09-18 东南大学 基于多尺度特征提取和Pointnet神经网络的钢卷点云识别与分类方法
CN111968133A (zh) * 2020-07-31 2020-11-20 上海交通大学 自动驾驶场景下的三维点云数据实例分割方法及系统

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016201671A1 (zh) * 2015-06-18 2016-12-22 北京大学深圳研究生院 一种三维点云的局部特征提取方法及装置
CN106529573A (zh) * 2016-10-14 2017-03-22 北京联合大学 一种结合三维点云分割和局部特征匹配的实时物体检测方法
CN107123161A (zh) * 2017-06-14 2017-09-01 西南交通大学 一种基于narf和fpfh的接触网零全网三维重建方法
CN110009727A (zh) * 2019-03-08 2019-07-12 深圳大学 一种具有结构语义的室内三维模型自动重构方法及系统
CN110232329A (zh) * 2019-05-23 2019-09-13 星际空间（天津）科技发展有限公司 基于深度学习的点云分类方法、装置、存储介质及设备
CN110344621A (zh) * 2019-06-13 2019-10-18 武汉大学 一种面向智能车库的车轮点云检测方法
CN110490893A (zh) * 2019-07-18 2019-11-22 广州大学 一种快速欧式距离点云分割方法
CN110415362A (zh) * 2019-07-31 2019-11-05 易思维（杭州）科技有限公司 重叠点云融合方法
CN110969624A (zh) * 2019-11-07 2020-04-07 哈尔滨工程大学 一种激光雷达三维点云分割方法
CN111239766A (zh) * 2019-12-27 2020-06-05 北京航天控制仪器研究所 基于激光雷达的水面多目标快速识别跟踪方法
CN111199206A (zh) * 2019-12-30 2020-05-26 上海眼控科技股份有限公司 三维目标检测方法、装置、计算机设备及存储介质
CN111680542A (zh) * 2020-04-17 2020-09-18 东南大学 基于多尺度特征提取和Pointnet神经网络的钢卷点云识别与分类方法
CN111968133A (zh) * 2020-07-31 2020-11-20 上海交通大学 自动驾驶场景下的三维点云数据实例分割方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
一抹烟霞: "PCL——（6）八叉树Octree", 《博客园》 *
刘春成: "基于点云数据的柱状目标变化检测", 《中国优秀硕士学位论文全文数据库-基础科学辑》 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113744416A (zh) * 2021-08-06 2021-12-03 中国科学院计算技术研究所 一种基于遮罩的全局点云滤波方法、设备和存储介质
CN113744416B (zh) * 2021-08-06 2024-03-05 中国科学院计算技术研究所 一种基于遮罩的全局点云滤波方法、设备和存储介质
CN114087989A (zh) * 2021-11-19 2022-02-25 江苏理工学院 汽车缸体工件定位孔圆心三维坐标测量方法及系统
CN114087989B (zh) * 2021-11-19 2023-09-22 江苏理工学院 汽车缸体工件定位孔圆心三维坐标测量方法及系统
CN115830262A (zh) * 2023-02-14 2023-03-21 济南市勘察测绘研究院 一种基于对象分割的实景三维模型建立方法及装置
CN116844068A (zh) * 2023-09-01 2023-10-03 山东省地质矿产勘查开发局第五地质大队（山东省第五地质矿产勘查院） 建筑测绘方法、系统、计算机设备及存储介质
CN116844068B (zh) * 2023-09-01 2023-12-26 山东省地质矿产勘查开发局第五地质大队（山东省第五地质矿产勘查院） 建筑测绘方法、系统、计算机设备及存储介质
CN116883404A (zh) * 2023-09-07 2023-10-13 泰州市乐太食品有限公司 一种用于食品生产包装的标签贴合效果检测方法
CN116883404B (zh) * 2023-09-07 2023-12-26 泰州市乐太食品有限公司 一种用于食品生产包装的标签贴合效果检测方法
CN116912312A (zh) * 2023-09-15 2023-10-20 湖南大学 一种面向复杂曲面构件的三维孔类定位方法
CN116912312B (zh) * 2023-09-15 2023-12-01 湖南大学 一种面向复杂曲面构件的三维孔类定位方法
CN117934858A (zh) * 2024-03-21 2024-04-26 之江实验室 一种点云的处理方法、装置、存储介质及电子设备

Similar Documents

Publication Publication Date Title
CN113177477A (zh) 一种基于三维点云分析的目标检测识别方法
CN110942000B (zh) 一种基于深度学习的无人驾驶车辆目标检测方法
CN111260683B (zh) 一种三维点云数据的目标检测与跟踪方法及其装置
He et al. Color-based road detection in urban traffic scenes
CN108052880B (zh) 交通监控场景虚实车道线检测方法
CN107767383B (zh) 一种基于超像素的道路图像分割方法
Gomez et al. Traffic lights detection and state estimation using hidden markov models
CN112825192B (zh) 基于机器学习的对象辨识系统及其方法
CN111580131B (zh) 三维激光雷达智能车在高速公路上识别车辆的方法
CN110379168B (zh) 一种基于Mask R-CNN的交通车辆信息获取方法
CN115049700A (zh) 一种目标检测方法及装置
CN114359876B (zh) 一种车辆目标识别方法及存储介质
CN113989784A (zh) 一种基于车载激光点云的道路场景类型识别方法及系统
CN112541889A (zh) 一种多层级模型的复杂纹理对象表面缺陷检测方法
Poggenhans et al. A universal approach to detect and classify road surface markings
CN111783722B (zh) 一种激光点云的车道线提取方法和电子设备
CN117058646B (zh) 基于多模态融合鸟瞰图的复杂道路目标检测方法
CN114863376A (zh) 一种基于车载激光点云数据的道路标线分割方法及系统
CN112666573B (zh) 一种矿区卸载区车后方挡土墙及障碍物的检测方法
CN112435336B (zh) 一种弯道类型识别方法、装置、电子设备及存储介质
CN115760898A (zh) 一种混合高斯域下道路抛洒物的世界坐标定位方法
Prahara et al. Vehicle pose estimation for vehicle detection and tracking based on road direction
CN114049542A (zh) 一种动态场景下基于多传感器的融合定位方法
CN113781389A (zh) 一种基于深度图的多视角货物掩膜方法
Oliveira et al. Clustering LiDAR Data with K-means and DBSCAN.

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210727