CN110663060A - 一种用于表示环境元素的方法、装置、系统、以及车辆/机器人 - Google Patents

一种用于表示环境元素的方法、装置、系统、以及车辆/机器人 Download PDF

Info

Publication number
CN110663060A
CN110663060A CN201780091068.7A CN201780091068A CN110663060A CN 110663060 A CN110663060 A CN 110663060A CN 201780091068 A CN201780091068 A CN 201780091068A CN 110663060 A CN110663060 A CN 110663060A
Authority
CN
China
Prior art keywords
point
gaussian distribution
local
cell
points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780091068.7A
Other languages
English (en)
Other versions
CN110663060B (zh
Inventor
马克西米利安·德姆林
江万里
李千山
徐红山
塞巴斯蒂安·格兰索
许涛
李建朋
吕抒涵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bayerische Motoren Werke AG
Original Assignee
Bayerische Motoren Werke AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bayerische Motoren Werke AG filed Critical Bayerische Motoren Werke AG
Publication of CN110663060A publication Critical patent/CN110663060A/zh
Application granted granted Critical
Publication of CN110663060B publication Critical patent/CN110663060B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/005—Tree description, e.g. octree, quadtree
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/143—Segmentation; Edge detection involving probabilistic approaches, e.g. Markov random field [MRF] modelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G06V10/422—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation for representing the structure of the pattern or shape of an object therefor
    • G06V10/426—Graphical representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Remote Sensing (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

提供一种由计算机实现的用于表示环境元素的方法100，该方法包括：101从传感器接包括表示至少一个环境元素的至少一个点云的扫描数据；102将该点云分割成点簇；103将该点簇划分为分级网格；104为每个该分级网格的每个单元中的点建立高斯分布；以及105基于该高斯分布构建表示该环境元素的高斯混合模型。还提供了一种用于表示环境元素的装置，系统和车辆/机器人。

Description

一种用于表示环境元素的方法、装置、系统、以及车辆/机器人
技术领域
本发明涉及车辆/机器人定位的领域，更具体地，涉及一种用于表示环境元素的方法、装置、系统、以及车辆/机器人。
背景技术
车辆/机器人的定位技术已经被研究多年，而且许多提议的益处已经在各种应用中得到了证明。在这项技术中，重要的是将车辆/机器人获取的实时点云中的点或点云图中的点分割为点簇，并对点簇进行建模以表示物理世界中的环境元素。用于表示环境元素，诸如分层的SGM(签名高斯混合模型)模型之类的分层模型可以帮助实现细节的渐进级别，并且可以提高用于匹配和识别的算法的效率。对于此处使用的分层SGM模型，相关的在先技术包括：
[1]区域生长NDT：使用3D空间中的区域增长算法对点云进行分割，以及使用NDT(正态分布变换)模型对每个点云的簇进行建模。
[2]多层NDT：使用八叉树分割点云，并在每个单元中使用一个NDT模型来拟合点。
参考：
[1]达斯，阿伦和史蒂文L.瓦斯兰德"使用分割区域生长的NDT扫描配准。"国际机器人研究杂志33.13(2014):1645-1663.
[2]茨汉和哈坎"用于快速和远程扫描匹配的3D多层正态分布变换。"智能与机器人系统杂志71.1(2013):85-108.
但是，这写在先文献(例如“区域生长NDT”和“多层NDT”)通常通过3D网格单元将点云分割，这可能会导致单元边界不连续。此外，网格单元以均等的方式划分点云，其中，点云的两个独立部分可能会意外落入一个单元中并被错误地建模。因此，生成的模型可能很容易变得不准确。
发明内容
鉴于上述内容，需要提供一种用于表示环境元素的方法和装置，系统以及车辆/机器人，其能够从点云中更准确地分割点簇，从而可以建立更准确的模型来表示环境元素。
本发明的一方面在于提供一种用于表示环境元素的新颖方法和装置。
本发明的另一方面在于提供一种系统。
本发明的另一方面在于提供一种车辆/机器人。
根据本发明的一个实施例，提供了一种由计算机实现的用于表示环境元素的方法，包括：101从传感器接收包括表示至少一个环境元素的至少一个点云的扫描数据；102将点云分割成点簇；103将点簇划分为分级网格；104为每个分级网格的每个单元中的点建立高斯分布；以及105基于高斯分布构建表示环境元素的高斯混合模型。
用于表示本发明的环境元素的上述方法使得能够从点云更精确地分割点簇，从而可以建立更精确的模型来表示环境元素。
根据本发明的一个实施例，根据上述方法，其中，102将点云分割成点簇，还包括：利用预定的平滑标准使用区域增长算法将点云分割成点簇。
根据本发明的一个实施例，根据上述方法，其中，通过以下步骤导出预定的平滑标准：201对于点云的每个点，获取其相邻点；202将相邻点转换至局部操作平面；203对于点云的每个点，计算局部表面的主曲率；204计算点云的一个点到点云的另一点的方向的表面曲率，另一点到一个点的方向的表面曲率，和从一个点到另一个点的方向的表面的扭转，以及205将预定的平滑标准确定为一个点到另一点方向的表面曲率的绝对值小于阈值，另一点到一个点的方向的表面曲率的绝对值小于阈值，以及从一个点到另一个点的方向的表面的扭转的绝对值小于阈值。
在本发明中，通过使用上述预定的平滑标准将点云分割成点簇，每个所得的点簇是2D流形，并且可以被投影到平面上。相比于现有技术中，通过3D网格单元分割点云，每个所得的点簇通常是3D流形,在本发明中通过使用预定的平滑标准进行分割点簇将更加准确，因此可以建立更加准确的模型。
根据本发明的一个实施例，根据上述方法，其中，202将相邻点转换成局部操作平面进一步包括：通过使用矩阵的特征值分解相邻点的一个点上拟合局部操作平面，并将相邻点转换至局部操作平面。
根据本发明的一个实施例，根据上述方法，其中，203对于点云的每个点，计算局部表面的主曲率，还包括：对于每个点，在局部操作平面中计算局部二次曲面参数，根据局部二次曲面参数，为局部二次曲面构造黑塞矩阵，以及计算黑塞矩阵的特征值作为局部表面的主曲率。
根据本发明的一个实施例，根据上述方法，其中
在一个点Gpi上到另一点Gpj的方向的表面曲率κij被表示为
Figure BDA0002282589650000031
在另一点Gpj上到一个点Gpi的方向的表面曲率κji被表示为
从一个点Gpi上到另一点Gpj的方向的表面的扭转τij被表示为
Figure BDA0002282589650000033
其中，
dij表示从一个点Gpi到另一个点Gpj的向量，vi1,vi2,vi3是的与一个点Gpi相关的从原始点云坐标系到局部操作平面坐标系的旋转矩阵列向量，vj1,vj2,vj3是与另一个点Gpj相关的从原始点云坐标系到与局部操作平面坐标系的旋转矩阵的列向量，Hi是与一个点Gpi相关的黑塞矩阵，Hj是与另一个点Gpj相关的黑塞矩阵。
根据本发明的一个实施例，根据上述方法，其中，其中103将点簇划分为分级网格，还包括：使用四叉树将点簇划分为分级网格。
根据本发明的一个实施例，根据上述方法，其中，104为每个分级网格的每个单元中的点建立高斯分布，还包括：基于与较高层相邻的较低层中的较高层的单元的每个子单元中点的高斯分布，为较高层的单元中的点建立高斯分布。
根据本发明的一个实施例，根据上述方法，其中，在分级网格的最低层，对于单元{p1,p2,…,pn}中的点，其中pi＝(xi,yi,zi)T，高斯分布的均值μ和协方差∑是
Figure BDA0002282589650000041
Figure BDA0002282589650000042
对于分级网格的每个较高层，通过最小化较高层的单元中点的高斯分布与较高层相邻的较低层的较高层的单元的每个子单元中点的高斯分布之间的L2距离之和，来计算较高层的单元中点的高斯分布，其中
L2＝N(0|μF-μCi,∑F+∑Ci)
其中μF和∑F分别是较高层的单元的高斯分布的均值和协方差，μCi和ΣCi是该单元的第i个子单元的高斯分布的均值和协方差。
本发明中，通过优化L2距离以获得较高层的父单元的高斯分布，与使用确定最低层的单元的高斯分布的方法直接计算高斯分布相比更有效，以及可以避免从多个原始点计算分布。此外，直接计算高斯分布不容易直接去除噪声点，以及由于如上的L2距离方法基于现有的高斯模型，因此可以更轻松地剔除不满足条件的数据(与目标分布的相似度较低的高斯分布)。
根据本发明的一个实施例，提供了一个用于表示环境元素的装置，包括：扫描数据接收模块501，被配置为从传感器接收包括表示至少一个环境元素的至少一个点云的扫描数据；点云分割模块502，被配置为将点云分割成点簇；分级网格划分模块503，被配置为将点簇划分为分级网格；高斯分布建立模块504，被配置为每个分级网格的每个单元中的点建立高斯分布；以及高斯混合模型构造模块505，被配置为基于高斯分布构建表示环境元素的高斯混合模型。
根据本发明的一个实施例，根据上述装置，其中，点云分割模块502，进一步被配置为利用预定的平滑标准使用区域增长算法将点云分割成点簇。
根据本发明的一个实施例，根据上述装置，其中，通过以下步骤导出预定的平滑标准：对于点云的每个点，201获取其相邻点；202将相邻点转换至局部操作平面；203对于点云的每个点，计算局部表面的主曲率；204计算点云的一个点到点云的另一点的方向的表面曲率，另一点到一个点的方向的表面曲率，和从一个点到另一个点的方向的表面的扭转，以及205建立预定的平滑标准为一个点到另一点方向的表面曲率的绝对值小于阈值，另一点到一个点的方向的表面曲率的绝对值小于阈值，以及从一个点到另一个点的方向的表面的扭转的绝对值小于阈值。
根据本发明的一个实施例，根据上述装置，其中，202将相邻点转换成局部操作平面进一步包括：通过使用矩阵的特征值分解在相邻点的一个点上拟合局部操作平面，并将相邻点转换至局部操作平面。
根据本发明的一个实施例，根据上述装置，其中，203对于点云的每个点，计算局部表面的主曲率还包括：对于每个点，在局部操作平面中计算局部二次曲面参数，根据局部二次曲面参数，为局部二次曲面构造黑塞矩阵，以及计算黑塞矩阵的特征值作为局部表面的主曲率。
根据本发明的一个实施例，根据上述装置，其中，在一个点Gpi上到另一点Gpj的方向的表面曲率κij被表示为
在另一点Gpj上到一个点Gpi的方向的表面曲率κji被表示为
Figure BDA0002282589650000052
从一个点Gpi上到另一点Gpj的方向的表面的扭转τij被表示为
Figure BDA0002282589650000053
其中
dij表示从一个点Gpi到另一个点Gpj的向量，vi1,vi2,vi3是与一个点Gpi相关的从原始点云坐标系到局部操作平面坐标系的旋转矩阵的列向量，vj1,vj2,vj3是与另一个点Gpj相关的从原始点云坐标系到与局部操作平面坐标系的旋转矩阵的列向量，Hi是与一个点Gpi相关的黑塞矩阵，Hj是与另一个点Gpj相关的黑塞矩阵。
根据本发明的一个实施例，根据上述装置，其中，分级网格划分模块503进一步被配置为，使用四叉树将点簇划分为分级网格。
根据本发明的一个实施例，根据上述装置，其中，高斯分布建立模块504进一步被配置为，基于与较高层相邻的较低层中的较高层的单元的每个子单元中点的高斯分布，为较高层的单元中的点建立高斯分布。
根据本发明的一个实施例，根据上述装置，其中，在分级网格的最低层，对于单元{p1,p2,…,pn}中的点，其中pi＝(xi,yi,zi)T，通过
Figure BDA0002282589650000061
Figure BDA0002282589650000062
计算高斯分布的均值μ和协方差∑。
对于分级网格的每个较高层，通过最小化较高层的单元中点的高斯分布与较高层相邻的较低层的较高层的单元的每个子单元中点的高斯分布之间的L2距离之和，来计算较高层的单元中点的高斯分布，
L2＝N(0|μF-μCi,∑F+∑Ci)
其中，μF和∑F分别是较高层的单元的高斯分布的均值和协方差，μCi和∑Ci是该单元的第i个子单元的高斯分布的均值和协方差。
根据本发明的一个实施例，提供了一个用于表示环境元素的系统600，包括：传感器601，检测至少一个环境元素并且输出包括至少一个点云的扫描数据；以及上述用于表示环境元素的装置。
根据本发明的一个实施例，提供了一种车辆/机器人，包括用于表示上述环境元素的系统。
本发明提供了一种效果，使得能够从点云更准确地分割点簇，从而可以建立更精确的模型来表示环境元素。
根据下文给出的详细描述，本发明进一步的适用范围将变得显而易见。然而，应理解的是尽管示出了本发明的优选实施例，因为在本发明的精神和范围内的各种改变和修改对于本领域技术人员而言将是显而易见的，详细描述和特定的实施例仅通过说明书的方式给出。
附图说明
通过结合附图和以下实施例的详细描述，本发明的上述和其他方面以及优点将变得显而易见，该附图以示例的方式示出了本发明的原理。
图1示出了根据本发明的一个实施例的由计算机实现的用于表示环境元素的一个方法100的高水平流程图；
图2示出了根据本发明的一个实施例的由计算机实现的用于推导预定的平滑标准的方法200的高水平流程图；
图3(a)示出了当使用四叉树将一个点簇分割成三层分级网格时，分级网格的最高层(第一层)的示意图；
图3(b)示出了当使用四叉树将点簇分割成三层分级网格时，与分级网格的最高层相邻的下层(第二层)的示意图；
图3(c)示出了当使用四叉树将点簇分割成三层分级网格时，与分级网格的第二层相邻的下层(第三层，最低层)的示意图；
图4示出了用于为图3所示的网格400中的点建立高斯分布的示意图。
图5示出了根据本发明的一个实施例的用于表示环境元素的一个装置500的结构图；
图6示出了根据本发明的一个实施例的用于表示环境元素的一个系统600的结构图；
图7示出了根据本发明的一个实施例的一个车辆/机器人700的结构图；以及
图8示出了根据本发明的一个实施例的计算机设备的框图，该计算机设备是可以应用于本发明的各方面的硬件设备的一个示例。
具体实施方式
在以下的具体描述中，阐述了许多具体细节以提供对所描述的实施例的透彻理解。然而，对于本领域的技术人员而言显而易见的是，可以在没有一些或所有这些具体细节的情况下实践所描述的实施例。在其他实施例中，未详细描述众所周知的结构或处理步骤，以避免不必要地使本发明的概念变得模糊。
本公开的总体思想是提供一种用于表示环境元素的新颖的方法和装置，系统以及车辆/机器人。
首先参考图1，图1示出了根据本发明的一个实施例的由计算机实现的用于表示环境元素的方法100的高水平流程图。如图1所示，根据本发明的实施例的由计算机实现的用于表示环境元素的方法100包括：101从传感器接收包括表示至少一个环境元素的至少一个点云的扫描数据；102将点云分割成点簇；103将点簇划分为分级网格；104为每个分级网格的每个单元中的点建立高斯分布；以及105基于高斯分布构建表示环境元素的高斯混合模型。
在下文中，将详细描述根据本发明的实施例的由计算机实现的用于表示环境元素的方法100。
方法100开始于101从传感器接收包括表示至少一个环境元素的至少一个点云的扫描数据。
如本文所使用的，传感器是可以获取物理世界中的环境信息的单元。传感器检测至少一个环境元素并输出包括至少一个点云的扫描数据，该至少一个点云表示至少一个环境元素。
通常，传感器包括激光雷达LiDAR(光成像，检测和测距)，相机，雷达和超声波传感器。
激光雷达LiDAR是一种光学遥感技术，可以通过使用诸如激光之类的光来测量到目标的距离或目标的其他属性。激光雷达LiDAR可以通过测量对象表面上的大量点来创建点云，并将点云作为数据输出。点云中的激光数据点可以指示物体在环境中相对于传感器的位置信息和/或关于传感器环境的其他信息。
诸如静态相机，摄像机等的相机被配置为捕获车辆所处的环境的多个图像。照相机可以能够在红外，可见和/或紫外频率范围内记录图像。相机可以被配置为生成指示环境中物体的距离和/或朝向的二维图像。
雷达可以表示利用无线电信号来感测物体的物体检测系统。除了感测物体之外，雷达还可以被配置为执行数字信号处理，并且可以被配置为感测物体的范围，高度，速度和/或朝向。
超声波传感器是一种利用超声波特性开发的传感器，该特性主要使用直接反射的检测模式。位于传感器前面的要检测的对象通过将发射的声波部分地传回传感器的接收器来导致对象被检测到。通常，超声波传感器被配置为检测物体的距离和/或方向。
然后，方法100执行到方法102，将点云分割成点簇。这里，可以通过利用如下所述的预定的平滑标准使用区域增长算法来生成点云中的点簇。即，利用预定的平滑标准使用区域增长算法将点云分割成点簇。
参考图2，图2示出了根据本发明的一个实施例的由计算机实现的用于推导出上述预定的平滑标准的方法200的高水平流程图。如图2所示，根据本发明的一个实施例的由计算机实现的用于推导出上述预定的平滑标准的方法200包括：201对于点云的每个点，获取它的相邻点；202将相邻点转换至局部操作平面；203对于点云的每个点，计算局部表面的主曲率；204计算点云的一个点到点云的另一点的方向的表面曲率，另一点到一个点的方向的表面曲率，和从一个点到另一个点的方向的表面的扭转，以及205建立预定的平滑标准为一个点到另一点方向的表面曲率的绝对值小于阈值，另一点到一个点的方向的表面曲率的绝对值小于阈值，以及从一个点到另一个点的方向的表面的扭转的绝对值小于阈值。
替代地，可以理解为，可以通过但不限于如图2所示的步骤来推导预定的平滑标准。
在下文中，将详细描述根据本发明的实施例的由计算机实现的用于导出上述平滑度的预定标准的方法200。
方法200开始于201，针对点云的每个点，获得其相邻点。在此，对于每一个点云的点Gp，获取的其相邻点可以表示为
Figure BDA0002282589650000091
其中
Gp＝(x,y,z)T, (1)
Figure BDA0002282589650000092
上述公式(1)和(2)示出了点Gp和相邻点
Figure BDA0002282589650000093
在原始点云坐标系中的坐标。
如本文所使用的，如果点云是有序的，则可以通过直接索引来找到每个点的相邻点，或者如果点云是无序的，则可以通过使用K-D树来找到每个点的相邻点。在此，“有序的”是指有序地存储点云的点，例如相对于传感器的激光扫描顺序，换句话说，点云的点之间的相对位置关系是已知的。相反，“无序的”是指点云的点被无序地存储，换言之，点云的点之间的相对位置关系是未知的。
然后，方法200执行到方法202，将相邻点转换至局部操作平面。在此，可以通过使用矩阵C的特征值分解来拟合在相邻点的点p处的局部操作平面，其中
Figure BDA0002282589650000094
在上述公式(3)中，
Figure BDA0002282589650000095
以及R是从原始点云坐标系到本地操作平面坐标系的旋转矩阵，其中
R＝(v1 v2 v3). (5)
在此，v1,v2和v3是列向量。
然后，相邻点
Figure BDA0002282589650000101
可以通过以下公式(6)将相邻点转换为局部操作平面坐标系
Figure BDA0002282589650000102
然后，方法200到203，对于点云的每个点，计算局部表面的主曲率。
具体地，对于点Gp，表示为
Figure BDA0002282589650000103
Figure BDA0002282589650000104
Figure BDA0002282589650000105
其中，上述公式(7)示出了局部操作平面坐标系中的点Gp的坐标。
然后，通过执行以下公式(10)，在局部操作平面中计算局部二次曲面参数{axx,axy,ayy}，
(axx,axy,ayy)T＝(ATA)-1ATb， (10)
接下来，根据上述局部二次曲面参数，为局部二次曲面构造黑塞(Hessian)矩阵H，如以下公式(11)所示，
Figure BDA0002282589650000106
然后，通过公式(12)，对H进行特征值分解，
Figure BDA0002282589650000107
通过执行上述公式(12)计算出的κ1和κ2是H的特征值，同时是点Gp处的局部表面的主曲率。
接着，方法200到204，计算点云的一个点到点云的另一点的方向的表面曲率，另一点到一个点的方向的表面曲率，和从一个点到另一个点的方向的表面的扭转。
具体地，将Gpi的主曲率表示为κi1,κi2，将Gpj的主曲率表示为κj1,κj2，以及将上述公式(5)中的矩阵R的列向量表示为Gpi的vi1,vi2,vi3以及Gpj的vj1,vj2,vj3，将上述公式(11)中的矩阵H表示为Gpi的Hi以及Gpj的Hj。表示为
Figure BDA0002282589650000111
其中，κij表示在Gpi到Gpj的方向的表面曲率，dij表示在Gpi到Gpj的向量
Figure BDA0002282589650000112
其中，κji表示在Gpj到Gpi方向的表面曲率，
Figure BDA0002282589650000113
其中，τij表示从Gpi到Gpj的方向的表面的扭转，τji表示从Gpj到Gpi方向的表面的扭转。
接着，方法200结束于205，建立预定的平滑标准为一个点到另一点方向的表面曲率的绝对值小于阈值，另一点到一个点的方向的表面曲率的绝对值小于阈值，以及从一个点到另一个点的方向的表面的扭转的绝对值小于阈值。具体地，例如，对于Gpi和Gpj，建立的预定的平滑标准如以下公式(16)所示：
Figure BDA0002282589650000114
其中κth和τth是上述的阈值。
如本文中所使用的，在本发明中，通过使用上述预定的平滑标准将点云分割成点簇，每个所得的点簇是2D流形，并且可以被投影到平面上。相比于现有技术中，通过3D网格单元分割点云，每个所得的点簇通常是3D流形,在本发明中通过使用预定的平滑标准进行分割点簇将更加准确，因此可以建立更加准确的模型。
回到图1，然后，方法100执行到103，将点簇划分为分级网格。在这里，通过使用四叉树将点簇划分为分级网格。更具体地，对于每个点簇，使用四叉树将簇划分为分级网格。如上所述，由于使用预定的平滑标准对点云进行了分割，因此每个所得的点簇都是2D流形，可以被投影到平面上，因此可以在投影平面上执行四叉树划分。但是，在将要描述的以下计算中，仍将对这些点使用3D中的原始位置。
通常，对于通过使用四叉树分割点簇的分级网格，分级网格的最高层具有一个单元，并且可以通过将分级网格的相邻的更高层中的每个单元划分为四个单元，获得接下来每一层分级网格的单元，即，在分级网格的相邻层中的分级网格的较高层的一个单元(父单元)对应于分级网格的较低层的四个单元(子单元)。例如，当将点簇划分为分级网格的各层时，分级网格的最高层将具有一个单元(父单元)，而随后的分级网格的较低层将相应地分别具有4个单元，16个单元，64个单元。例如，图3(a)示出了当使用四叉树将一个点簇分割成三层分级网格时，分级网格的最高层(第一层)的示意图。图3(b)示出了当使用四叉树将点簇分割成三层分级网格时，与分级网格的最高层相邻的下层(第二层)的示意图。图3(c)示出了当使用四叉树将点簇分割成三层分级网格时，与分级网格的第二层相邻的下层(第三层，最低层)的示意图。作为一个示例，如图3(b)和图3(c)所示，图3(b)的分级网格中的单元400(父单元)对应于在图3(c)的分级网格中的四个单元401、402、403、404(子单元)。另外，可以理解的是，通过步骤103，分级网格中的一些单元可能没有属于其的点。
然后，方法100执行到104，根据高斯分布的定义为每个分级网格的每个单元中的点建立高斯分布，众所周知，二维空间中的高斯分布的几何形状类似于椭圆形，以及在三维空间中的高斯分布的几何形状类似于椭圆体。
在本发明中，104为每个分级网格的每个单元中的点建立高斯分布，还包括基于与较高层相邻的较低层中较高层的单元的每个子单元中点的高斯分布，为较高层的单元中的点建立高斯分布。
具体地，在分级网格的最低层，对于属于单元{p1,p2,…,pn}其中pi＝(xi,yi,zi)T的点，对应于该单元的高斯分布N(μ,∑)的均值μ和协方差∑通过以下公式(17)和(18)获得，
Figure BDA0002282589650000121
Figure BDA0002282589650000122
此外，对于分级网格的每个较高层，将分级网格的较高层的与具有属于其的点的单元相对应的高斯分布表示为N(μF,∑F)，以及将较高层相邻的较低层中的上方单元(父单元)的与具有属于其的点的子单元相对应的高斯分布表示为N(μC1,∑C1),N(μC2,∑C2),…,N(μCm,∑Cm),m≤4。
将两个高斯分布N(μF,∑F)和N(μCi,∑Ci)之间的距离L2表示为
L2＝N(0|μF-μCi,∑F+∑Ci) (19)
通过调整与父单元相对应的高斯分布N(μF,∑F)的均值μF和协方差∑F来最小化高斯分布N(μF,∑F)与父单元的子单元的高斯分布N N(μC1,∑C1),N(μC2,∑C2),…,N(μCm,ΣCm),m≤4之间的L2距离之和，以获得高斯分布N(μF,ΣF)的均值μF和协方差ΣF。
图4示出了用于为图3所示的网格400中的点建立高斯分布的示意图。例如，如图4所示，与单元400相对应的高斯分布为N(μF,ΣF)，和与父单元400的子单元401，402，403，404相对应的高斯分布分别是N(μC1,ΣC1)，N(μC2,∑C2)，N(μC3,∑C3)，N(μC4,∑C4)。使用上述公式(19)计算高斯分布N(μF,∑F)和高斯分布N(μC1,ΣC1)，N(μC2,ΣC2)，N(μC3,ΣC3)，N(μC4,ΣC4)之间的L2距离，以及通过调整均值μF和协方差ΣF来最小化上述L2距离之和来确定高斯分布N(μF,∑F)。
如本文中所使用的，由上述公式(19)所示的L2距离表达式表示当高斯分布的自变量为零时的概率密度值。该L2距离用值0-1的范围测量两个高斯分布的相异度。当值为0时，两个高斯分布完全相同，而当值为1时，两个高斯分布完全不相同。
替代地，也可以直接使用用于确定最低层的单元的高斯分布的方法来计算较高层的父单元的高斯分布。但是，通过如上述的优化L2距离以获得较高层的父单元的高斯分布，与使用确定最低层的单元的高斯分布的方法直接计算高斯分布相比更有效，以及可以避免从多个原始点计算分布。此外，直接计算高斯分布不容易直接去除噪声点，以及由于如上所述的L2距离方法基于现有的高斯模型，因此可以更轻松地剔除不满足条件的数据(与目标分布的相似度较低的高斯分布)。
接着，方法100结束于105，基于高斯分布构建表示环境元素的高斯混合模型。
具体地，对于分级网格的每一层，基于与分级网格的这一层的一个或多个单元相对应的已建立的一个或多个高斯分布，构造高斯混合模型。因此，对于为每个点簇划分的分级网格的多个层，将构建多个高斯混合模型，其中一个高斯混合模型对应于分级网格的一层。在这里，对于一个点簇，一个与分级网格的一层相对应的高斯混合模型代表了一个精度等级，以及可以从所有高斯混合模型中为点簇选择一个具有所需精度等级的高斯混合模型。
如本文所使用的，所构造的高斯混合模型用于表示环境元素。具体地，将生成用于识别环境元素的签名，以及构建包括高斯混合模型和签名的签名高斯混合模型。
图5示出了根据本发明的一个实施例的用于表示环境元素的一个装置500的结构图。
如图5所示，装置500可以包括：扫描数据接收模块501，被配置为从传感器接收包括表示至少一个环境元素的至少一个点云的扫描数据；点云分割模块502，被配置为将点云分割成点簇；分级网格划分模块503，被配置为将点簇划分为分级网格；高斯分布建立模块504，被配置为为每个分级网格的每个单元中的点建立高斯分布；以及高斯混合模型构造模块505，被配置为基于高斯分布构建表示环境元素的高斯混合模型。
值得注意的是，装置500的扫描数据接收模块501，点云分割模块502，分级网格划分模块503，高斯分布建立模块504和高斯混合模型构造模块505可以配置为执行方法100中的相应操作，以及针对方法100的描述同样适用于装置500。
根据本发明的一个实施例，其中，点云分割模块502进一步被配置为利用预定的平滑标准使用区域增长算法将点云分割成点簇。
根据本发明的一个实施例，其中，通过图2所示的步骤导出预定的平滑标准：对于点云的每个点，201获取其相邻点；202将相邻点转换至一个局部操作平面；203对于点云的每个点，计算局部表面的主曲率；204计算点云的一个点到点云的另一点的方向的表面曲率，另一点到一个点的方向的表面曲率，和从一个点到另一个点的方向的表面的扭转，以及205将建立预定的平滑标准为一个点到另一点方向的表面曲率的绝对值小于阈值，另一点到一个点的方向的表面曲率的绝对值小于阈值，以及从一个点到另一个点的方向的表面的扭转的绝对值小于阈值。
根据本发明的一个实施例，其中，202将相邻点转换成局部操作平面进一步包括：通过使用矩阵的特征值分解拟合在相邻点的一个点的局部操作平面到，并将相邻点转换至局部操作平面。
根据本发明的一个实施例，根据上述的装置，其中，203对于点云的每个点，计算局部表面的主曲率还包括：对于每个点，在局部操作平面中计算局部二次曲面参数，根据局部二次曲面参数，为局部二次曲面构造黑塞矩阵(Hessian矩阵)，以及计算黑塞矩阵的特征值作为局部表面的主曲率。
根据本发明的一个实施例，根据上述的装置，其中，在一个点Gpi上到另一点Gpj的方向的表面曲率κij被表示为
Figure BDA0002282589650000141
在另一点Gpj上到一个点Gpi的方向的表面曲率κji被表示为
Figure BDA0002282589650000151
从一个点Gpi上到另一点Gpj的方向的表面的扭转τij被表示为
Figure BDA0002282589650000152
其中
dij表示从一个点Gpi到另一个点Gpj的向量，vi1,vi2,vi3是从原始点云坐标系到局部操作平面坐标系的旋转矩阵的与一个点Gpi相关的列向量，vj1,vj2,vj3是从原始点云坐标系到与局部操作平面坐标系的旋转矩阵的与另一个点Gpj相关的列向量，Hi是与一个点Gpi相关的黑塞矩阵(Hessian矩阵)，Hj是与另一个点Gpj相关的黑塞矩阵。
根据本发明的一个实施例，根据上述的装置，其中，分级网格划分模块503进一步被配置为，使用四叉树将点簇划分为分级网格。
根据本发明的一个实施例，根据上述的装置，其中，高斯分布建立模块504进一步被配置为，基于与较高层相邻的较低层中较高层的单元的每个子单元中点的高斯分布，为较高层的单元中的点建立高斯分布。
根据本发明的一个实施例，根据上述的装置，其中，在分级网格的最低层，对于单元{p1,p2,…,pn}其中pi＝(xi,yi,zi)T中的点，通过
Figure BDA0002282589650000153
Figure BDA0002282589650000154
计算高斯分布的均值μ和协方差Σ，
对于分级网格的每个较高层，通过最小化较高层的单元中点的高斯分布之间的L2距离之和，用与较高层相邻的较低层的较高层单元的每个子单元中点的高斯分布，来计算较高层的单元中点的高斯分布，其中
L2＝N(0|μF-μCi,∑F+∑Ci)
其中μF和∑F分别是较高层的单元的高斯分布的均值和协方差，μCi和∑Ci是该单元的第i个子单元的高斯分布的均值和协方差。
图6示出了根据本发明的一个实施例的用于表示环境元素的一个系统600的结构图。用于表示环境元素的系统600可以包括：传感器601，检测至少一个环境元素并且输出包括至少一个点云的扫描数据；以及如图5所示的装置500。
图7示出了根据本发明的一个实施例的一个车辆/机器人700的结构图。车辆/机器人700可以包括用于表示如图6所示的环境元素的系统600。
根据本发明的一个实施例，提供根据本发明的一个实施例的用于表示环境元素的装置。用于表示环境元素的装置可以包括：存储器，其内存储有计算机可执行指令；以及处理器，与该存储器耦合，以及被配置为：从传感器接收包括表示至少一个环境元素的至少一个点云的扫描数据；将点云分割成点簇；将点簇划分为分级网格；为每个分级网格的每个单元中的点建立高斯分布；以及基于高斯分布构建表示环境元素的高斯混合模型。
根据本发明的一个实施例，提供了一种存储有指令的非暂时性存储介质，该指令在被执行时使处理器实施根据本发明的一个实施例的由计算机实现的用于表示环境元素的方法，包括：用于从传感器接收包括表示至少一个环境元素的至少一个点云的扫描数据的指令；用于将点云分割成点簇的指令；用于将点簇划分为分级网格的指令；用于为每个分级网格的每个单元中的点建立高斯分布的指令；以及用于基于高斯分布构建表示环境元素高斯混合模型的指令。
图8示出了根据本发明的一个实施例的计算机设备的框图，该计算机设备是可以应用于本发明的各方面的硬件设备的一个示例。
参考图8，现在将描述一种计算机设备800，该计算机设备800是可以应用于本发明的各方面的硬件设备的一个示例。计算机设备800可以是被配置为用于实现处理和/或计算的任何机器，可以是但不限于工作站，服务器，台式计算机，笔记本电脑，平板计算机，个人数字助理，智能手机，车载计算机或它们之间的任何组合。前述的各种装置/服务器/客户端设备可以全部或至少部分地由计算机设备800或类似设备或系统来实现。
计算机设备800可以包括可能经由一个或多个接口与总线801连接或通信的组件。例如，计算机设备800可以包括总线801，一个或多个处理器802，一个或多个输入设备804和一个或多个输出设备805。该一个或多个处理器802可以是任何种类的处理器并且可以包括但不限于一个或多个通用处理器和/或一个或多个专用处理器(例如专门的处理芯片)。输入设备804可以是任何类型的能够向计算设备输入信息的设备，并且可以包括但不限于鼠标，键盘，触摸屏，麦克风和/或远程控制器。输出设备805可以是可以任何类型的能够呈现信息的设备，并且可以包括但不限于显示器，扬声器，视频/音频输出终端，振动器和/或打印机。计算机设备800还可以包括非暂时性存储设备803或者与之连接，该非暂时性存储设备803可以是非暂时性的并且能够实现数据存储的任何存储设备，并且可以包括但不限于磁盘驱动器，光存储设备，固态存储器，软盘，软磁盘，硬盘，磁带或任何其他磁性介质，光盘或任何其他光学介质，ROM(只读存储器)，RAM(随机存取存储器)高速缓冲存储器和/或任何其他存储芯片或盒式磁带，和/或计算机可以从中读取数据，指令和/或代码的任何其他介质。非暂时性存储设备803可以是从接口分离的。非暂时性存储设备803可以具有用于实现上述方法和步骤的数据/指令/代码。计算机设备800还可以包括通信设备806。通信设备806可以是任何类型的能够实现与外部设备和/或与网络进行通信的设备或系统，并且可以包括但不限于调制解调器，调制解调器，通信设备或系统。网卡，红外通信设备，无线通信设备和/或芯片组，例如蓝牙设备，1302.11设备，WiFi设备，WiMax设备，蜂窝通信设施和/或类似设备。
当计算机设备800用作车载设备时，它也可以连接到外部设备，例如GPS接收器，用于感测不同环境数据的传感器，例如加速度传感器，车轮速度传感器，陀螺仪。以这种方式，计算机设备800例如可以接收指示车辆的行驶状况的位置数据和传感器数据。当计算机设备800用作车载设备时，它也可以连接到其他设备(例如发动机系统，雨刮器，防抱死制动系统等)，以控制车辆的行驶和操作。
此外，非暂时性存储设备803可以具有地图信息和软件组件，从而处理器802可以执行路线引导处理。此外，输出设备805可以包括用于显示地图，显示车辆的定位标记以及显示表示车辆的行驶状况的图像的显示器。输出设备805还可以包括扬声器或与耳机的接口用于音频引导。
总线801可以包括但不限于工业标准架构(ISA)总线，微通道架构(MCA)总线，增强型ISA(EISA)总线，视频电子标准协会(VESA)局部总线和外部设备互连(PCI)总线。特别地，对于车载设备，总线801还可以包括控制器局域网(CAN)总线或者为汽车上的应用所设计的其他架构。
计算机设备800还可以包括工作存储器807，该工作存储器可以是任何种类的能够存储对处理器802的工作有用的指令和/或数据的工作存储器，并且可以包括但不限于随机存取存储器和/或只读存储设备。
软件组件可以位于工作存储器807中，包括但不限于操作系统808，一个或多个应用程序809，驱动程序和/或其他数据和代码。用于实现上述描述的方法和步骤的指令可以包含在一个或多个应用程序809中，并且上述各种装置/服务器/客户端设备的装置/单元/组件可以通过处理器802读取并执行一个或多个应用程序809的指令来实现。
还可以认识到的是，可以根据具体需求进行变化。例如，也可以使用定制的硬件，和/或特定组件可以在硬件，软件，固件，中间件，微代码，硬件描述语言或其任意组合来实现。此外，可以采用与其他计算机设备，例如网络输入/输出设备等的连接。例如，可以通过具有汇编语言或硬件编程语言(例如，VERILOG，VHDL，C++)的编程硬件(例如，包括现场可编程门阵列(FPGA)和/或可编程逻辑阵列(PLA)的可编程逻辑电路)利用本发明的逻辑和算法来实现本发明的方法和设备的部分或者全部。
如上所述，本发明的用于表示环境元素的方法和装置，系统以及车辆/机器人使得能够从点云中对点簇进行更准确的分割，从而可以建立更准确的模型来表示环境元素。
尽管到目前为止已经参考附图描述了本发明的各方面，但是上述方法，系统和设备仅是示例性的例子，并且本发明的范围不限于这些方面，而是仅由所附的权利要求及其等同物来限定。各种组件可以被省略或可以被等同组件替代。另外，可以在本发明中所描述的顺序不同的顺序实现该步骤。此外，可以以各种方式组合各种组件。同样重要的是，随着技术的发展，所描述的许多组件可以被在本发明之后出现的等同组件所替代。

Claims (20)

1.一种由计算机实现的用于表示环境元素的方法，其特征在于，所述方法包括：
从传感器接收(101)包括表示至少一个环境元素的至少一个点云的扫描数据；
将所述点云分割(102)成点簇；
将所述点簇划分(103)为分级网格；
为每个所述分级网格的每个单元中的点建立(104)高斯分布；以及
基于所述高斯分布构建(105)表示所述环境元素的高斯混合模型。
2.根据权利要求1所述的方法，其特征在于，将所述点云分割(102)成点簇还包括：利用预定的平滑标准使用区域增长算法将所述点云分割成所述点簇。
3.根据权利要求2所述的方法，其特征在于，通过以下步骤导出所述预定的平滑标准：
对于所述点云的每个点，获取(201)所述每个点的相邻点；
将所述相邻点转换(202)至局部操作平面；
对于所述点云的所述每个点，计算(203)局部表面的主曲率；
计算(204)所述点云的一个点到所述点云的另一点的方向的表面曲率，所述另一点到所述一个点的方向的表面曲率，和从所述一个点到所述另一个点的方向的表面的扭转，以及
建立(205)所述预定的平滑标准为所述一个点到所述另一点方向的所述表面曲率的绝对值小于阈值，所述另一点到所述一个点的方向的所述表面曲率的绝对值小于阈值，以及从所述一个点到所述另一个点的方向的表面的扭转的绝对值小于阈值。
4.根据权利要求3所述的方法，其特征在于，将所述相邻点转换(202)成局部操作平面，还包括：
通过使用矩阵的特征值分解在所述相邻点的一个点上拟合所述局部操作平面，以及
将所述相邻点转换至所述局部操作平面。
5.根据权利要求3所述的方法，其特征在于，对于所述点云的每个点，计算(203)所述局部表面的主曲率，还包括：
对于每个点，在所述局部操作平面中计算局部二次曲面参数，根据所述局部二次曲面参数，为局部二次曲面构造黑塞矩阵，以及
计算所述黑塞矩阵的特征值作为所述局部表面的所述主曲率。
6.根据权利要求3所述的方法，其特征在于，在所述一个点Gpi上到所述另一点Gpj的方向的所述表面曲率κij被表示为
Figure FDA0002282589640000021
在所述另一点Gpj上到所述一个点Gpi的方向的所述表面曲率κji被表示为
Figure FDA0002282589640000022
从所述一个点Gpi上到所述另一点Gpj的方向的所述表面的扭转τij被表示为
Figure FDA0002282589640000023
其中，dij表示所述从一个点Gpi到所述另一个点Gpj的向量，vi1，vi2，vi3是与所述一个点Gpi相关的从原始点云坐标系到局部操作平面坐标系的旋转矩阵的列向量，vj1，vj2，vj3是与所述另一个点Gpj相关的从所述原始点云坐标系到所述局部操作平面坐标系的旋转矩阵的列向量，Hi是与所述一个点Gpi相关的黑塞矩阵，Hj是与所述另一个点Gpj相关的黑塞矩阵。
7.根据权利要求1-6中任一项所述的方法，其特征在于，将所述点簇划分(103)为分级网格，还包括：使用四叉树将所述点簇划分为所述分级网格。
8.根据权利要求1-7中任一项所述的方法，其特征在于，为每个所述分级网格的每个单元中的点建立(104)高斯分布，还包括：基于与较高层相邻的较低层中的所述较高层的单元的每个子单元中点的高斯分布，为所述较高层的所述单元中的点建立高斯分布。
9.根据权利要求8所述的方法，其特征在于，在所述分级网格的最低层，对于单元{p1，p2，...，pn}中的点，其中pi＝(xi，yi，zi)T，所述高斯分布的均值μ和协方差∑是
Figure FDA0002282589640000031
Figure FDA0002282589640000032
对于所述分级网格的每个较高层，通过最小化所述较高层的所述单元中点的高斯分布与所述较高层相邻的所述较低层的所述较高层的所述单元的每个子单元中点的高斯分布之间的L2距离之和，来计算所述较高层的单元中点的高斯分布，其中
L2＝N(0|μF-μCi，∑F+∑Ci)
其中，μF和∑F分别是所述较高层的所述单元的所述高斯分布的均值和协方差，μCi和∑Ci是所述单元的第i个子单元的所述高斯分布的均值和协方差。
10.一个用于表示环境元素的装置，其特征在于，包括：
扫描数据接收模块501，被配置为从传感器接收包括表示至少一个环境元素的至少一个点云的扫描数据；
点云分割模块502，被配置为将所述点云分割成点簇；
分级网格划分模块503，被配置为将所述点簇划分为分级网格；
高斯分布建立模块504，被配置为每个所述分级网格的每个单元中的点建立高斯分布；以及
高斯混合模型构造模块505，被配置为基于所述高斯分布构建表示环境元素的高斯混合模型。
11.根据权利要求10所述的装置，其特征在于，点云分割模块502进一步被配置为利用预定的平滑标准使用区域增长算法将所述点云分割成所述点簇。
12.根据权利要求10所述的装置，其特征在于，通过以下步骤导出预定的平滑标准：
对于所述点云的每个点，获取(201)所述每个点的相邻点；
将所述相邻点转换(202)至局部操作平面；
对于所述点云的所述每个点，计算(203)局部表面的主曲率；
计算(204)所述点云的一个点到所述点云的另一点的方向的表面曲率，所述另一点到所述一个点的方向的表面曲率，和从所述一个点到所述另一个点的方向的表面的扭转，以及
建立(205)预定的平滑标准为所述一个点到所述另一点方向的所述表面曲率的绝对值小于阈值，所述另一点到所述一个点的方向的所述表面曲率的绝对值小于阈值，以及从所述一个点到所述另一个点的方向的所述表面的扭转的绝对值小于阈值。
13.根据权利要求12所述的装置，其特征在于，将所述相邻点转换(202)至局部操作平面进一步包括：
通过使用矩阵的特征值分解在所述相邻点的一个点上拟合所述局部操作平面，以及
将所述相邻点转换至所述局部操作平面。
14.根据权利要求12所述的装置，其特征在于，对于所述点云的每个点，计算(203)所述局部表面的主曲率还包括：
对于每个点，在所述局部操作平面中计算局部二次曲面参数，根据所述局部二次曲面参数，为局部二次曲面构造黑塞矩阵，以及
计算所述黑塞矩阵的特征值作为所述局部表面的所述主曲率。
15.根据权利要求12所述的装置，其特征在于，所述在一个点Gpi上到所述另一点Gpj的方向的所述表面曲率κij被表示为
Figure FDA0002282589640000041
在所述另一点Gpj上到所述一个点Gpi的方向的所述表面曲率κji被表示为
Figure FDA0002282589640000042
从所述一个点Gpi上到所述另一点Gpj的方向的所述表面的扭转τij被表示为
Figure FDA0002282589640000043
其中，dij表示从所述一个点Gpi到所述另一个点Gpj的向量，vi1，vi2，vi3是与所述一个点Gpi相关的从原始点云坐标系到局部操作平面坐标系的旋转矩阵的列向量，vj1，vj2，vj3是与所述另一个点Gpj相关的从所述原始点云坐标系到与所述局部操作平面坐标系的旋转矩阵的列向量，Hi是与所述一个点Gpi相关的黑塞矩阵，Hj是与所述另一个点Gpj相关的黑塞矩阵。
16.根据权利要求10-15中任一项所述的装置，其特征在于，分级网格划分模块503进一步被配置为，使用四叉树将所述点簇划分为所述分级网格。
17.根据权利要求10-16中任一项所述的装置，其特征在于，高斯分布建立模块504进一步被配置为，基于与较高层相邻的较低层中的所述较高层的单元的每个子单元中点的高斯分布，为所述较高层的所述单元中的点建立高斯分布。
18.根据权利要求17所述的装置，其特征在于，在所述分级网格的最低层，对于单元{p1，p2，...，pn}中的点，其中pi＝(xi，yi，zi)T，通过
Figure FDA0002282589640000051
Figure FDA0002282589640000052
计算高斯分布的均值μ和协方差∑；
对于所述分级网格的每个较高层，通过最小化所述较高层的所述单元中点的高斯分布与所述较高层相邻的所述较低层的所述较高层的所述单元的每个子单元中点的高斯分布之间的L2距离之和，来计算所述较高层的所述单元中点的高斯分布，其中
L2＝N(0|μF-μCi，∑F+∑Ci)
其中，μF和∑F分别是所述较高层的所述单元的所述高斯分布的均值和协方差，μCi和∑Ci是所述单元的第i个子单元的所述高斯分布的均值和协方差。
19.一个用于表示环境元素的系统600，其特征在于，包括：
传感器601，用于检测至少一个环境元素并且输出包括至少一个点云的扫描数据；以及
权利要求9-16中任一项所述的用于表示环境元素的装置。
20.一种车辆/机器人，其特征在于，包括权利要求19所述的用于表示环境元素的系统。
CN201780091068.7A 2017-05-25 2017-05-25 一种用于表示环境元素的方法、装置、系统、以及车辆/机器人 Active CN110663060B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2017/085817 WO2018214084A1 (en) 2017-05-25 2017-05-25 Method and apparatus for representing environmental elements, system, and vehicle/robot

Publications (2)

Publication Number Publication Date
CN110663060A true CN110663060A (zh) 2020-01-07
CN110663060B CN110663060B (zh) 2023-08-08

Family

ID=64395131

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780091068.7A Active CN110663060B (zh) 2017-05-25 2017-05-25 一种用于表示环境元素的方法、装置、系统、以及车辆/机器人

Country Status (4)

Country Link
US (1) US11216951B2 (zh)
EP (1) EP3631755B1 (zh)
CN (1) CN110663060B (zh)
WO (1) WO2018214084A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112504123A (zh) * 2020-12-07 2021-03-16 重庆顺泰铁塔制造有限公司 一种用于输电塔板件自动化检测设备和方法

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11538168B2 (en) * 2018-06-15 2022-12-27 Bayerische Motoren Werke Aktiengesellschaft Incremental segmentation of point cloud
CN111754515B (zh) * 2019-12-17 2024-03-01 北京京东乾石科技有限公司 堆叠物品的顺序抓取方法和装置
KR20210112106A (ko) * 2020-03-04 2021-09-14 한국전자통신연구원 과수원 환경에서의 모바일 로봇 자율 주행을 위한 방법 및 장치
CN113048920B (zh) * 2021-03-18 2023-08-01 苏州杰锐思智能科技股份有限公司 工业结构件平面度的测量方法、装置和电子设备
CN113129328B (zh) * 2021-04-22 2022-05-17 中国电子科技集团公司第二十九研究所 一种目标热点区域精细化分析方法
CN113219446A (zh) * 2021-04-30 2021-08-06 森思泰克河北科技有限公司 车内雷达占位识别方法、装置及车载雷达
CN113484875B (zh) * 2021-07-30 2022-05-24 燕山大学 一种基于混合高斯排序的激光雷达点云目标分级识别方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102248947A (zh) * 2010-05-12 2011-11-23 通用汽车环球科技运作有限责任公司 使用3-d激光测距仪的目标和车辆检测及跟踪
CN102831646A (zh) * 2012-08-13 2012-12-19 东南大学 一种基于扫描激光的大尺度三维地形建模方法
US20130089259A1 (en) * 2011-10-07 2013-04-11 Electronics And Telecommunications Research Institute Space segmentation method for 3d point clouds
US20140192050A1 (en) * 2012-10-05 2014-07-10 University Of Southern California Three-dimensional point processing and model generation
US20140267262A1 (en) * 2013-03-15 2014-09-18 Universal Systems, Ltd. Systems and methods for generating a large scale polygonal mesh
WO2016201670A1 (en) * 2015-06-18 2016-12-22 Bayerische Motoren Werke Aktiengesellschaft Method and apparatus for representing map element and method and apparatus for locating vehicle/robot
WO2017020466A1 (zh) * 2015-08-04 2017-02-09 百度在线网络技术（北京）有限公司 基于激光点云的城市道路识别方法、装置、存储介质及设备
CN106600617A (zh) * 2016-12-29 2017-04-26 中科宇图科技股份有限公司 基于曲率从Lidar点云数据提取建筑物轮廓线的方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100926760B1 (ko) * 2007-12-17 2009-11-16 삼성전자주식회사 이동 로봇의 위치 인식 및 지도 작성 방법
US8731306B2 (en) * 2008-07-29 2014-05-20 Superfish Ltd. Increasing interest point coverage in an image
CN103500338B (zh) * 2013-10-16 2016-08-10 厦门大学 基于车载激光扫描点云的道路斑马线自动提取方法
CN103711050B (zh) * 2013-12-31 2016-04-06 中交第二公路勘察设计研究院有限公司 一种激光雷达道路改扩建勘测设计方法
CN104764457B (zh) * 2015-04-21 2017-11-17 北京理工大学 一种用于无人车的城市环境构图方法
DE102016011378A1 (de) * 2016-09-21 2017-04-13 Daimler Ag Verfahren zur Selbstlokalisierung eines Fahrzeugs
US10275644B2 (en) * 2017-03-08 2019-04-30 Ricoh Company, Ltd Automatic classification of eardrum shape

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102248947A (zh) * 2010-05-12 2011-11-23 通用汽车环球科技运作有限责任公司 使用3-d激光测距仪的目标和车辆检测及跟踪
US20130089259A1 (en) * 2011-10-07 2013-04-11 Electronics And Telecommunications Research Institute Space segmentation method for 3d point clouds
CN102831646A (zh) * 2012-08-13 2012-12-19 东南大学 一种基于扫描激光的大尺度三维地形建模方法
US20140192050A1 (en) * 2012-10-05 2014-07-10 University Of Southern California Three-dimensional point processing and model generation
US20140267262A1 (en) * 2013-03-15 2014-09-18 Universal Systems, Ltd. Systems and methods for generating a large scale polygonal mesh
WO2016201670A1 (en) * 2015-06-18 2016-12-22 Bayerische Motoren Werke Aktiengesellschaft Method and apparatus for representing map element and method and apparatus for locating vehicle/robot
WO2017020466A1 (zh) * 2015-08-04 2017-02-09 百度在线网络技术（北京）有限公司 基于激光点云的城市道路识别方法、装置、存储介质及设备
CN106600617A (zh) * 2016-12-29 2017-04-26 中科宇图科技股份有限公司 基于曲率从Lidar点云数据提取建筑物轮廓线的方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
BORCS ATTILA ET AL: "Fast 3-D urban object detection on streaming point clouds", 《COMPUTER VISION-EECV 2014 WORKSHOPS,PT II》 *
H. WOO ET AL: "a new segmentation method for point cloud data", 《INTERNATIONAL JOURNAL OF MACHINE TOOLS & MANUFACTURE》 *
NAOKAZU YOKOYA ET AL: "Range image segmentation based on differential geometry_ a hybrid approach", 《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》 *
T. RABBANIA ET AL: "Segmentation of point clouds using smoothness constraint", 《ISPRS COMMISSION V SYMPOSIUM IMAGE ENGINEERING AND VISION METROLOGY》 *
XIAOHU LU ET AL: "Pairwise Linkage for Point Cloud Segmentation", 《ISPRS ANNALS OF THE PHOTOGRAMMETRY, REMOTE SENSING AND SPATIAL INFORMATION SCIENCES》 *
YUNGEUN CHOE ET AL: "Online urban object recognition in point clouds using consecutive point information for urban robotic missions", 《ROBOTICS AND AUTONOMOUS SYSTEMS》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112504123A (zh) * 2020-12-07 2021-03-16 重庆顺泰铁塔制造有限公司 一种用于输电塔板件自动化检测设备和方法

Also Published As

Publication number Publication date
EP3631755A4 (en) 2020-12-16
CN110663060B (zh) 2023-08-08
US11216951B2 (en) 2022-01-04
WO2018214084A1 (en) 2018-11-29
EP3631755A1 (en) 2020-04-08
EP3631755B1 (en) 2023-11-01
US20200090339A1 (en) 2020-03-19

Similar Documents

Publication Publication Date Title
CN110663060B (zh) 一种用于表示环境元素的方法、装置、系统、以及车辆/机器人
US10643103B2 (en) Method and apparatus for representing a map element and method and apparatus for locating a vehicle/robot
KR102126724B1 (ko) 포인트 클라우드 데이터를 복구하기 위한 방법 및 장치
CN110226186B (zh) 表示地图元素的方法和装置以及定位的方法和装置
JP6830139B2 (ja) ３次元データの生成方法、３次元データの生成装置、コンピュータ機器及びコンピュータ読み取り可能な記憶媒体
CN113412505B (zh) 用于对通过探测和测距传感器获得的点云进行有序表示和特征提取的处理单元和方法
JP5181704B2 (ja) データ処理装置、姿勢推定システム、姿勢推定方法およびプログラム
JP7305884B2 (ja) レーザーレーダーに基づく検出方法、装置及びコンピュータ読み取り可能な記憶媒体
US11538168B2 (en) Incremental segmentation of point cloud
CN112711034B (zh) 物体检测方法、装置及设备
JP2021530821A (ja) 三次元無線モデル構築を実行するための方法、装置およびコンピュータプログラム
CN114527490A (zh) 在车辆运行时检测三维结构模型
WO2021218346A1 (zh) 一种聚类的方法和装置
US20240151855A1 (en) Lidar-based object tracking
CN110720025B (zh) 移动物体的地图的选择方法、装置、系统和车辆/机器人
CN115331214A (zh) 用于目标检测的感知方法及系统
CN115131756A (zh) 一种目标检测方法及装置
WO2018120932A1 (en) Method and apparatus for optimizing scan data and method and apparatus for correcting trajectory
CN113591891A (zh) 一种聚类的方法和装置
EP3944137A1 (en) Positioning method and positioning apparatus
CN112198523A (zh) 用于点云分割的方法和装置
CN112116698A (zh) 用于点云融合的方法和装置
CN116894963A (zh) 一种基于上下文聚类与多模态融合的目标检测方法和系统
CN116977997A (zh) 基于准密度树结构的freespace实时检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant