CN115147813A - 基于物体空间特征的稀疏点云处理方法、系统、设备及介质 - Google Patents

基于物体空间特征的稀疏点云处理方法、系统、设备及介质 Download PDF

Info

Publication number
CN115147813A
CN115147813A CN202210828038.2A CN202210828038A CN115147813A CN 115147813 A CN115147813 A CN 115147813A CN 202210828038 A CN202210828038 A CN 202210828038A CN 115147813 A CN115147813 A CN 115147813A
Authority
CN
China
Prior art keywords
point cloud
candidate target
clusters
sparse point
spatial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210828038.2A
Other languages
English (en)
Inventor
崔峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zongmu Technology Shanghai Co Ltd
Original Assignee
Zongmu Technology Shanghai Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zongmu Technology Shanghai Co Ltd filed Critical Zongmu Technology Shanghai Co Ltd
Priority to CN202210828038.2A priority Critical patent/CN115147813A/zh
Publication of CN115147813A publication Critical patent/CN115147813A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于物体空间特征的稀疏点云处理方法、系统、设备及介质，所述稀疏点云处理方法包括：获取车辆周边环境中障碍物的稀疏点云，并对所述稀疏点云进行聚类；预判聚类结果中单个聚类的候选目标类型；通过候选目标类型的先验信息将获取的聚类进行关联融合，以形成聚类簇；将聚类簇的空间特征与所述候选目标类型的空间特征约束进行比对，若所述聚类簇的空间特征符合所述候选目标类型的空间特征约束时，则确认障碍物的类型与所述候选目标类型一致。本发明通过对属于同一个物体的稀疏点云的多个聚类进行关联融合，达到准确描述物体轮廓特征的效果。

Description

基于物体空间特征的稀疏点云处理方法、系统、设备及介质
技术领域
本发明属于自动泊车技术领域，涉及一种识别方法，特别是涉及一种基于物体空间特征的稀疏点云处理方法、系统、设备及介质。
背景技术
全自动泊车辅助系统APA(Auto Parking Assist)和自主代客泊车系统AVP(Automated Valet Parking)都使用AVM(环视)和USS(超声波雷达)感知泊车环境。由环视相机感知到的视觉特征点云和由USS感知到的USS点云都是稀疏点云，目前上述稀疏点云处理技术主要分为三步：第一，点融合；第二，基于空间距离或密度对点云聚类；第三，以聚类结果为单位进行划线。之后下游模块基于点云处理结果完成车位释放和规划控制。
但是通过上述处理后，由于同一个物体的稀疏点云往往呈现出间断分布，所以同一个物体的稀疏点云通常会被分为多个聚类，而出现同一个物体由多段不连续的线段组成现场，导致无法充分准确地描述物体的轮廓特征。其次，现有处理方法难以区分点云中的噪点，从而导致物体的轮廓线受到噪点的影响错误地描述物体的轮廓特征。
因此，如何提供一种基于物体空间特征的稀疏点云处理方法、系统、设备及介质，以解决现有技术在处理稀疏点云时会将其处理为多个聚类，而出现同一个物体由多段不连续的线段组成，导致无法充分准确地描述物体的轮廓特征等缺陷，实已成为本领域技术人员亟待解决的技术问题。
发明内容
鉴于以上所述现有技术的缺点，本发明的目的在于提供一种基于物体空间特征的稀疏点云处理方法、系统、设备及介质，用于解决现有技术在处理稀疏点云时会将其处理为多个聚类，而出现同一个物体由多段不连续的线段组成，导致无法充分准确地描述物体的轮廓特征的问题。
为实现上述目的及其他相关目的，本发明一方面提供一种基于物体空间特征的稀疏点云处理方法，包括：获取车辆周边环境中障碍物的稀疏点云，并对所述稀疏点云进行聚类；预判聚类结果中单个聚类的候选目标类型；通过候选目标类型的先验信息将获取的聚类进行关联融合，以形成聚类簇；将聚类簇的空间特征与所述候选目标类型的空间特征约束进行比对，若所述聚类簇的空间特征符合所述候选目标类型的空间特征约束时，则确认障碍物的类型与所述候选目标类型一致。
于本发明的一实施例中，在确认障碍物的类型后，所述基于物体空间特征的稀疏点云处理方法还包括：判断所述障碍物的稀疏点云是否存在噪点，若是，则去除所述噪点；若否，则结束进程。
于本发明的一实施例中，对所述稀疏点云进行聚类的步骤包括：提取聚类结果中单个聚类及其主分布方向，并检测包围单个聚类的最小外接矩形。
于本发明的一实施例中，预判聚类结果中单个聚类的候选目标类型的步骤包括：将所述最小外接矩形内单个聚类的关键几何特征与预设的候选目标类型的关键几何特征进行比较，若两者相符，则预判该单个聚类的目标类型为所述候选目标类型；其中，预设的候选目标类型的关键几何特征包括最小外接矩形的长度、宽度、点在最小外接矩形中位置的分布。
于本发明的一实施例中，通过候选目标类型的先验信息将获取的聚类进行关联融合，以形成聚类簇的步骤包括：根据候选目标类型的先验信息，膨胀出关联区域；查找位于该关联区域内的所有单个聚类；将查找到的所有单个聚类关联起来，以融合成与该候选目标类型关联的聚类簇。
于本发明的一实施例中，将聚类簇的空间特征与所述候选目标类型的空间特征约束进行比对的步骤包括：将关联区域内的所有单个聚类进行聚类与聚类之间划线，以拟合出所述聚类簇的空间特征；判断所述聚类簇的空间特征是否符合所述候选目标类型的空间特征约束；若是，则确认障碍物的类型与所述候选目标类型一致；若否，则取消关联区域内的所有单个聚类的关联融合，并返回预判聚类结果中单个聚类的候选目标类型的步骤，重新预判单个聚类的候选目标类型。
于本发明的一实施例中，所述候选目标类型的空间特征约束包括候选目标的尺寸及聚类与聚类之间划线区域内不存在点云。
本发明另一方面提供一种基于物体空间特征的稀疏点云处理系统，包括：聚类模块，用于获取车辆周边环境中障碍物的稀疏点云，并对所述稀疏点云进行聚类；预判模块，用于预判聚类结果中单个聚类的候选目标类型；关联融合模块，用于通过候选目标类型的先验信息将获取的聚类进行关联融合，以形成聚类簇；类型确认模块，用于将聚类簇的空间特征与所述候选目标类型的空间特征约束进行比对，若所述聚类簇的空间特征符合所述候选目标类型的空间特征约束时，则确认障碍物的类型与所述候选目标类型一致。
本发明又一方面提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现所述基于物体空间特征的稀疏点云处理方法。
本发明最后一方面提供一种基于物体空间特征的稀疏点云处理设备，包括：处理器及存储器；
所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述基于空间特征的点云类型识别设备执行如权利要求1至7中任一项所述基于物体空间特征的稀疏点云处理方法。
如上所述，本发明的基于物体空间特征的稀疏点云处理方法、系统、设备及介质，具有以下有益效果：
第一，本发明通过对属于同一个物体的稀疏点云的多个聚类进行关联融合，可以达到准确描述物体轮廓特征的效果；
第二，本发明通过利用点云实例分割得到的语义信息去除噪点，解决车位被压缩等问题，并向下游提供点云的类型信息。
附图说明
图1显示为本发明的应用场景示意图。
图2A显示为本发明的基于物体空间特征的稀疏点云处理方法于一实施例中的流程示意图。
图2B显示为本发明的基于物体空间特征的稀疏点云处理方法中S23的实施流程示意图。
图3A显示为本发明的稀疏点云聚类的示例图。
图3B显示为本发明的包围单个聚类的最小外接矩形的示例图。
图4A显示为本发明的垂直障碍车的关键几何特征的示例图。
图4B显示为本发明的立柱的关键几何特征示例图。
图5A显示为本发明的预判为垂直障碍车的关联区域示例图。
图5B显示为本发明的预判为立柱的关联区域示例图。
图6A显示为本发明的垂直车位障碍车的目标类型确认中间过程示意图。
图6B显示为本发明的目标类型确认为垂直车位障碍车效果图。
图7A显示为本发明的一去噪示例图。
图7B显示为本发明的另一去噪示例图。
图8显示为本发明的基于物体空间特征的稀疏点云处理于一实施例中的原理结构示意图。
元件标号说明
8 基于物体空间特征的稀疏
点云处理系统
81 聚类模块
82 预判模块
83 关联融合模块
84 类型确认模块
85 去噪模块
S21～S27 步骤
S231～S233 步骤
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
本发明所述基于物体空间特征的稀疏点云处理方法、系统、设备及介质的技术原理为：首先利用同一个物体稀疏点云的多个聚类中类型特征最明显的聚类完成类型预猜测，然后利用类型的先验轮廓信息完成聚类的关联融合和目标类型确认，这样就达到了对稀疏点云实例分割的目的，从而让稀疏点云具备了语义信息，具备语义信息的点云就具备了连续划线和去除噪点的条件。
实施例一
本实施例提供一种基于物体空间特征的稀疏点云处理方法，包括：
获取车辆周边环境中障碍物的稀疏点云，并对所述稀疏点云进行聚类；
预判聚类结果中单个聚类的候选目标类型；
通过候选目标类型的先验信息将获取的聚类进行关联融合，以形成聚类簇；
将聚类簇的空间特征与所述候选目标类型的空间特征约束进行比对，若所述聚类簇的空间特征符合所述候选目标类型的空间特征约束时，则确认障碍物的类型与所述候选目标类型一致。
以下将结合图示对本实施例所提供基于物体空间特征的稀疏点云处理方法进行详细描述。本实施例所述基于物体空间特征的稀疏点云处理方法可以应用于自动泊车辅助系统和自主代客泊车系统，在例如，如图1所示应用场景中准确识别出现在车辆周边环境中的障碍物，以协助车辆顺利泊车。
请参阅图2A，显示为基于物体空间特征的稀疏点云处理方法于一实施例中的流程示意图。如图2A所示，所述基于物体空间特征的稀疏点云处理方法具体包括以下步骤：
S21，获取车辆周边环境中障碍物的稀疏点云，并对所述稀疏点云进行聚类。
在本实施例中，通过超声波雷达或环视相机感知车辆周边环境中障碍物的稀疏点云(USS点云或视觉特征点云)。
在实际应用中，所述对所述稀疏点云进行聚类包括基于形状，距离，密度等聚类方法。
于本实施例中，所述对所述稀疏点云进行聚类包括提取聚类结果中单个聚类及其主分布方向，并检测出包围聚类结果的最小外接矩形。
具体地，通过计算点与点之间的距离，若所计算的距离小于等于距离阈值时，则将此类点云聚类在一起，形成多个单个聚类，例如，图3A中所示A，B，C及D是图中多个单个聚类中的四个单个聚类。
通过RANSAC(Random sample consensus)算法提取单个聚类中点的主分布方向，如图3B中矩形框中所示点。
通过PCA(Principal Component Analysis)算法检测图3B中包围单个聚类的最小外接矩形及计算出所述最小外接矩形长边和短边方向。
S22，预判聚类结果中单个聚类的候选目标类型。
在本实施例中，所述S22包括：将所述最小外接矩形内单个聚类的关键几何特征与预设的候选目标类型的关键几何特征进行比较，若两者相符，则预判该单个聚类的目标类型为所述候选目标类型。在本实施例中，预设的候选目标类型的关键几何特征包括最小外接矩形的长度、宽度、点在最小外接矩形中位置的分布等等。
在本实施例中，预存的候选目标类型可以包括垂直障碍车、立柱、墙体等。所述候选目标类型的关键几何特征包括头部、尾部、主体等特征。
例如，垂直障碍车的车头包括较为完整的点云，且具有明显的曲线特征，这是由车头流线型设计决定的，是垂直障碍车的关键几何特征。请参阅图4A，显示为垂直障碍车的关键几何特征的示例图。
例如，立柱的关键几何特征为一段直线，请参阅图4B，显示为立柱的关键几何特征示例图。
S23，通过候选目标类型的先验信息将获取的聚类进行关联融合，以形成聚类簇。
请参阅图2B，显示为S23的实施流程示意图。如图2B所示，所述S23包括：
S231，根据候选目标类型的先验信息，膨胀出关联区域。在本实施例中，所述候选目标类型的先验信息包括候选目标类型的基本尺寸信息、基本轮廓特征等。
例如，预判单个聚类的候选目标类型为垂直障碍车时，根据垂直障碍车的先验轮廓特征为矩形，垂直障碍车的基本尺寸信息长度一般在4米到5米，矩形宽度2米左右等信息膨胀出一个呈矩形的关联区域，例如，如图5A所示的阴影区域。
例如，预判单个聚类的候选目标类型为立柱时，根据立柱的先验轮廓特征为矩形，例如，如图5B所示的阴影区域。
S232，查找位于该关联区域内的所有单个聚类。
继续参阅图5A，查找到该关联区域内聚类E、F、G，将聚类E、F、G认为是同属于一辆车的其它聚类。
S233，将查找到的所有单个聚类关联起来，以融合成与该候选目标类型关联的聚类簇。
S24，将聚类簇的空间特征与所述候选目标类型的空间特征约束进行比对，以判断所述聚类簇的空间特征是否符合所述候选目标类型的空间特征约束；若是，则执行S25；若否，则执行S26，即取消关联区域内的所有单个聚类的关联融合，退出进程。在本实施例中，所述候选目标类型的空间特征约束包括候选目标的尺寸及聚类与聚类之间划线区域内不存在点云。
在本实施例中，所述S24包括：
S241，将关联区域内的所有单个聚类进行聚类与聚类之间划线，以拟合出所述聚类簇的空间特征。
例如，候选目标类型为垂直障碍车时，所述S241包括：
步骤一，利用车身位置的聚类拟合车体方向，如图6A所示。在本实施例中，由于车身位置的聚类分布在车的前，后，左，右四处，拟合的车体方向不唯一，图6A中的线条H和I即为拟合直线，每得到一条拟合线，就以这条拟合线作为车身的边界线，从而确定车体的方向；
步骤二，根据步骤一中确定的车体方向调整垂直障碍车猜测的矩形的宽度和方向，如图6B中的三条线段M，N，O构成的矩形(在本实施例中，为了区分车体的方向，省略一条短边)；
S242，根据拟合出所述聚类簇的空间特征，判断所述聚类簇的空间特征是否符合所述候选目标类型的空间特征约束。
例如，候选目标类型为垂直障碍车时，所述S242包括：
步骤三，判断步骤二中形成的矩形的大小是否符合候选目标类型为垂直障碍车时给定的先验长宽约束(长度一般在4米到5米，宽度2米左右)，并且判定矩形框的内部是否存在点(这个区域可以设定参数调整)；
步骤四，若符合垂直障碍车时给定的先验长宽约束，则转入S25，即认为目标类型确认完成。
S25，若所述聚类簇的空间特征符合所述候选目标类型的空间特征约束时，则确认障碍物的类型与所述候选目标类型一致。
S27，判断所述障碍物的稀疏点云是否存在噪点，若是，则去除所述噪点；若否，则结束进程。在本实施例中，由于难以区分点云中的噪点，从而导致物体的轮廓线受到噪点的影响错误地描述物体的轮廓特征。因此，为了解决该技术问题，本实施例利用类型的先验轮廓信息完成聚类的关联融合和目标类型确认，以便达到对稀疏点云实例分割的目的，而通过点云分割得到的语义信息可以去除噪点，以解决车位被压缩等问题，并向下游提供点云的类型信息。请参阅图7A和图7B所示，被排除在所提取的语义信息(箭头P所指为语义信息)外的点为噪点(箭头Q所指的点为噪点)。
本实施例所述基于物体空间特征的稀疏点云处理方法具有以下技术效果：
第一，所述基于物体空间特征的稀疏点云处理方法通过对属于同一个物体的稀疏点云的多个聚类进行关联融合，可以达到准确描述物体轮廓特征的效果；
第二，所述基于物体空间特征的稀疏点云处理方法通过利用点云实例分割得到的语义信息去除噪点，解决车位被压缩等问题，并向下游提供点云的类型信息。
本实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如图2A所述的基于物体空间特征的稀疏点云处理方法。
在任何可能的技术细节结合层面，本申请可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本申请的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是(但不限于)电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
这里所描述的计算机可读程序可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。用于执行本申请操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、集成电路配置数据或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本申请的各个方面。
实施例二
本实施例提供一种基于物体空间特征的稀疏点云处理系统，包括：
聚类模块，用于获取车辆周边环境中障碍物的稀疏点云，并对所述稀疏点云进行聚类；
预判模块，用于预判聚类结果中单个聚类的候选目标类型；
关联融合模块，用于通过候选目标类型的先验信息将获取的聚类进行关联融合，以形成聚类簇；
类型确认模块，用于将聚类簇的空间特征与所述候选目标类型的空间特征约束进行比对，若所述聚类簇的空间特征符合所述候选目标类型的空间特征约束时，则确认障碍物的类型与所述候选目标类型一致。
以下将结合图示对本实施例所提供的基于物体空间特征的稀疏点云处理系统进行详细描述。请参阅图8，显示为基于物体空间特征的稀疏点云处理系统于一实施例中的原理结构示意图。如图8所示，所述基于物体空间特征的稀疏点云处理系统8包括：聚类模块81、预判模块82、关联融合模块83、类型确认模块84及去噪模块85。
所述聚类模块81用于获取车辆周边环境中障碍物的稀疏点云，并对所述稀疏点云进行聚类。
在本实施例中，通过超声波雷达或环视相机感知车辆周边环境中障碍物的稀疏点云(USS点云或视觉特征点云)。
在实际应用中，所述聚类模块81包括基于形状，距离，密度等聚类方法对所述稀疏点云进行聚类。
于本实施例中，所述聚类模块81用于提取聚类结果中单个聚类及其主分布方向，并检测出包围聚类结果的最小外接矩形。
具体地，所述聚类模块81通过计算点与点之间的距离，若所计算的距离小于等于距离阈值时，则将此类点云聚类在一起，形成多个单个聚类。
所述聚类模块81通过RANSAC(Random sample consensus)算法提取单个聚类中点的主分布方向。
所述聚类模块81通过PCA(Principal Component Analysis)算法检测包围单个聚类的最小外接矩形及计算出所述最小外接矩形长边和短边方向。
所述预判模块82用于预判聚类结果中单个聚类的候选目标类型。
在本实施例中，所述预判模块82将所述最小外接矩形内单个聚类的关键几何特征与预设的候选目标类型的关键几何特征进行比较，若两者相符，则预判该单个聚类的目标类型为所述候选目标类型。在本实施例中，预设的候选目标类型的关键几何特征包括最小外接矩形的长度、宽度、点在最小外接矩形中位置的分布。
在本实施例中，预存的候选目标类型可以包括垂直障碍车、立柱、墙体等。所述候选目标类型的关键几何特征包括头部、尾部、主体等特征。
所述关联融合模块83用于通过候选目标类型的先验信息将获取的聚类进行关联融合，以形成聚类簇。
具体地，所述关联融合模块83根据候选目标类型的先验信息，膨胀出关联区域；查找位于该关联区域内的所有单个聚类；将查找到的所有单个聚类关联起来，以融合成与该候选目标类型关联的聚类簇。在本实施例中，所述候选目标类型的先验信息包括候选目标类型的基本尺寸信息、基本轮廓特征等。
所述类型确认模块84用于将聚类簇的空间特征与所述候选目标类型的空间特征约束进行比对，以判断所述聚类簇的空间特征是否符合所述候选目标类型的空间特征约束；若是，则确认障碍物的类型与所述候选目标类型一致；若否，则取消关联区域内的所有单个聚类的关联融合，结束该处理系统的运行。在本实施例中，所述候选目标类型的空间特征约束包括候选目标的尺寸及聚类与聚类之间划线区域内不存在点云。
在本实施例中，所述类型确认模块84还用于将关联区域内的所有单个聚类进行聚类与聚类之间划线，以拟合出所述聚类簇的空间特征；根据拟合出所述聚类簇的空间特征，判断所述聚类簇的空间特征是否符合所述候选目标类型的空间特征约束。
所述去噪模块85用于判断所述障碍物的稀疏点云是否存在噪点，若是，则去除所述噪点；若否，则结束进程。在本实施例中，由于难以区分点云中的噪点，从而导致物体的轮廓线受到噪点的影响错误地描述物体的轮廓特征。因此，为了解决该技术问题，本实施例利用类型的先验轮廓信息完成聚类的关联融合和目标类型确认，以便达到对稀疏点云实例分割的目的，而通过点云分割得到的语义信息可以去除噪点，以解决车位被压缩等问题，并向下游提供点云的类型信息。
需要说明的是，应理解以上系统的各个模块的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现；也可以全部以硬件的形式实现；还可以部分模块通过处理元件调用软件的形式实现，部分模块通过硬件的形式实现。例如，x模块可以为单独设立的处理元件，也可以集成在上述系统的某一个芯片中实现，此外，也可以以程序代码的形式存储于上述系统的存储器中，由上述系统的某一个处理元件调用并执行以上x模块的功能。其它模块的实现与之类似。此外这些模块全部或部分可以集成在一起，也可以独立实现。这里所述的处理元件可以是一种集成电路，具有信号的处理能力。在实现过程中，上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。
例如，以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(ApplicationSpecificIntegratedCircuit，简称ASIC)，或，一个或多个微处理器(digitalsingnalprocessor，简称DSP)，或，一个或者多个现场可编程门阵列(FieldProgrammableGateArray，简称FPGA)等。再如，当以上某个模块通过处理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，例如中央处理器(CentralProcessingUnit，简称CPU)或其它可以调用程序代码的处理器。再如，这些模块可以集成在一起，以片上系统(system-on-a-chip，简称SOC)的形式实现。
实施例三
本实施例提供一种基于物体空间特征的稀疏点云处理设备，该处理设备包括：处理器、存储器、收发器、通信接口和系统总线；存储器和通信接口通过系统总线与处理器和收发器连接并完成相互间的通信，存储器用于存储计算机程序，通信接口用于和其他设备进行通信，处理器和收发器用于运行计算机程序，使处理设备执行如上基于物体空间特征的稀疏点云处理方法的各个步骤。
上述提到的系统总线可以是外设部件互连标准(PeripheralPomponentInterconnect，简称PCI)总线或扩展工业标准结构(ExtendedIndustryStandardArchitecture，简称EISA)总线等。该系统总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。通信接口用于实现数据库访问装置与其他设备(例如客户端、读写库和只读库)之间的通信。存储器可能包含随机存取存储器(RandomAccessMemory，简称RAM)，也可能还包括非易失性存储器(non-volatilememory)，例如至少一个磁盘存储器。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field－Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
本发明所述的基于物体空间特征的稀疏点云处理方法的保护范围不限于本实施例列举的步骤执行顺序，凡是根据本发明的原理所做的现有技术的步骤增减、步骤替换所实现的方案都包括在本发明的保护范围内。
本发明还提供一种基于物体空间特征的稀疏点云处理系统，所述基于物体空间特征的稀疏点云处理系统可以实现本发明所述的基于物体空间特征的稀疏点云处理方法，但本发明所述的基于物体空间特征的稀疏点云处理方法的实现装置包括但不限于本实施例列举的基于物体空间特征的稀疏点云处理系统的结构，凡是根据本发明的原理所做的现有技术的结构变形和替换，都包括在本发明的保护范围内。
综上所述，本发明基于物体空间特征的稀疏点云处理方法、系统、设备及介质具有以下有益效果：
第一，本发明通过对属于同一个物体的稀疏点云的多个聚类进行关联融合，可以达到准确描述物体轮廓特征的效果；
第二，本发明通过利用点云实例分割得到的语义信息去除噪点，解决车位被压缩等问题，并向下游提供点云的类型信息。所以，本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (10)

1.一种基于物体空间特征的稀疏点云处理方法，其特征在于，包括：
获取车辆周边环境中障碍物的稀疏点云，并对所述稀疏点云进行聚类；
预判聚类结果中单个聚类的候选目标类型；
通过候选目标类型的先验信息将获取的聚类进行关联融合，以形成聚类簇；
将聚类簇的空间特征与所述候选目标类型的空间特征约束进行比对，若所述聚类簇的空间特征符合所述候选目标类型的空间特征约束时，则确认障碍物的类型与所述候选目标类型一致。
2.根据权利要求1所述的基于物体空间特征的稀疏点云处理方法，其特征在于，在确认障碍物的类型后，所述基于物体空间特征的稀疏点云处理方法还包括：
判断所述障碍物的稀疏点云是否存在噪点，若是，则去除所述噪点；若否，则结束进程。
3.根据权利要求1所述的基于物体空间特征的稀疏点云处理方法，其特征在于，对所述稀疏点云进行聚类的步骤包括：
提取聚类结果中单个聚类及其主分布方向，并检测包围单个聚类的最小外接矩形。
4.根据权利要求3所述的基于物体空间特征的稀疏点云处理方法，其特征在于，预判聚类结果中单个聚类的候选目标类型的步骤包括：
将所述最小外接矩形内单个聚类的关键几何特征与预设的候选目标类型的关键几何特征进行比较，若两者相符，则预判该单个聚类的目标类型为所述候选目标类型；其中，预设的候选目标类型的关键几何特征包括最小外接矩形的长度、宽度、点在最小外接矩形中位置的分布。
5.根据权利要求1或4所述的基于物体空间特征的稀疏点云处理方法，其特征在于，通过候选目标类型的先验信息将获取的聚类进行关联融合，以形成聚类簇的步骤包括
根据候选目标类型的先验信息，膨胀出关联区域；
查找位于该关联区域内的所有单个聚类；
将查找到的所有单个聚类关联起来，以融合成与该候选目标类型关联的聚类簇。
6.根据权利要求4所述的基于物体空间特征的稀疏点云处理方法，其特征在于，将聚类簇的空间特征与所述候选目标类型的空间特征约束进行比对的步骤包括：
将关联区域内的所有单个聚类进行聚类与聚类之间划线，以拟合出所述聚类簇的空间特征；
判断所述聚类簇的空间特征是否符合所述候选目标类型的空间特征约束；若是，则确认障碍物的类型与所述候选目标类型一致；若否，则取消关联区域内的所有单个聚类的关联融合，退出进程。
7.根据权利要求6所述的基于物体空间特征的稀疏点云处理方法，其特征在于，所述候选目标类型的空间特征约束包括候选目标的尺寸及聚类与聚类之间划线区域内不存在点云。
8.一种基于物体空间特征的稀疏点云处理系统，其特征在于，包括：
聚类模块，用于获取车辆周边环境中障碍物的稀疏点云，并对所述稀疏点云进行聚类；
预判模块，用于预判聚类结果中单个聚类的候选目标类型；
关联融合模块，用于通过候选目标类型的先验信息将获取的聚类进行关联融合，以形成聚类簇；
类型确认模块，用于将聚类簇的空间特征与所述候选目标类型的空间特征约束进行比对，若所述聚类簇的空间特征符合所述候选目标类型的空间特征约束时，则确认障碍物的类型与所述候选目标类型一致。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1至7中任一项所述基于物体空间特征的稀疏点云处理方法。
10.一种基于物体空间特征的稀疏点云处理设备，其特征在于，包括：处理器及存储器；
所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述基于空间特征的点云类型识别设备执行如权利要求1至7中任一项所述基于物体空间特征的稀疏点云处理方法。
CN202210828038.2A 2022-07-13 2022-07-13 基于物体空间特征的稀疏点云处理方法、系统、设备及介质 Pending CN115147813A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210828038.2A CN115147813A (zh) 2022-07-13 2022-07-13 基于物体空间特征的稀疏点云处理方法、系统、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210828038.2A CN115147813A (zh) 2022-07-13 2022-07-13 基于物体空间特征的稀疏点云处理方法、系统、设备及介质

Publications (1)

Publication Number Publication Date
CN115147813A true CN115147813A (zh) 2022-10-04

Family

ID=83411478

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210828038.2A Pending CN115147813A (zh) 2022-07-13 2022-07-13 基于物体空间特征的稀疏点云处理方法、系统、设备及介质

Country Status (1)

Country Link
CN (1) CN115147813A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117872354A (zh) * 2024-03-11 2024-04-12 陕西欧卡电子智能科技有限公司 一种多毫米波雷达点云的融合方法、装置、设备及介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117872354A (zh) * 2024-03-11 2024-04-12 陕西欧卡电子智能科技有限公司 一种多毫米波雷达点云的融合方法、装置、设备及介质
CN117872354B (zh) * 2024-03-11 2024-05-31 陕西欧卡电子智能科技有限公司 一种多毫米波雷达点云的融合方法、装置、设备及介质

Similar Documents

Publication Publication Date Title
US11037305B2 (en) Method and apparatus for processing point cloud data
Muhammad et al. Deep learning for safe autonomous driving: Current challenges and future directions
JP6561199B2 (ja) レーザ点群に基づく都市道路の認識方法、装置、記憶媒体及び機器
JP6670071B2 (ja) 車両用画像認識システム、及び対応法
CN108027877B (zh) 用于非障碍区检测的系统和方法
US20200334638A1 (en) Method and apparatus for processing loss assessment data for car insurance and processing device
Suhr et al. Full-automatic recognition of various parking slot markings using a hierarchical tree structure
CN111782584B (zh) 建筑图纸预处理系统、方法、电子设备及存储介质
CN109558854B (zh) 障碍物感知方法、装置、电子设备及存储介质
CN115782867B (zh) 轨迹碰撞风险评估方法、装置、电子设备和存储介质
CN111402161A (zh) 点云障碍物的去噪方法、装置、设备和存储介质
Gluhaković et al. Vehicle detection in the autonomous vehicle environment for potential collision warning
CN115346192A (zh) 基于多源传感器感知的数据融合方法、系统、设备及介质
Ozgunalp Robust lane‐detection algorithm based on improved symmetrical local threshold for feature extraction and inverse perspective mapping
Zaarane et al. Real‐Time Vehicle Detection Using Cross‐Correlation and 2D‐DWT for Feature Extraction
CN115147813A (zh) 基于物体空间特征的稀疏点云处理方法、系统、设备及介质
US20220171975A1 (en) Method for Determining a Semantic Free Space
CN109635641B (zh) 道路边界线的确定方法、装置、设备和存储介质
CN114241448A (zh) 障碍物航向角的获取方法、装置、电子设备及车辆
CN113674317A (zh) 一种高位视频的车辆跟踪方法及装置
CN115601435B (zh) 车辆姿态检测方法、装置、车辆及存储介质
Lee et al. Vehicle tracking iterative by Kalman-based constrained multiple-kernel and 3-D model-based localization
CN114495049A (zh) 识别车道线的方法和装置
CN113313654A (zh) 激光点云滤波去噪方法、系统、设备及存储介质
Fu et al. Behavior analysis of distant vehicles using LIDAR point cloud

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination