CN112313703B - 点云的增量分割 - Google Patents
点云的增量分割 Download PDFInfo
- Publication number
- CN112313703B CN112313703B CN201880094639.7A CN201880094639A CN112313703B CN 112313703 B CN112313703 B CN 112313703B CN 201880094639 A CN201880094639 A CN 201880094639A CN 112313703 B CN112313703 B CN 112313703B
- Authority
- CN
- China
- Prior art keywords
- point cloud
- gaussian mixture
- points
- signature
- mixture models
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 73
- 238000000034 method Methods 0.000 claims abstract description 34
- 238000000638 solvent extraction Methods 0.000 claims abstract description 26
- 238000013507 mapping Methods 0.000 claims abstract description 11
- 239000000203 mixture Substances 0.000 claims description 78
- 238000002310 reflectometry Methods 0.000 claims description 10
- 230000015654 memory Effects 0.000 claims description 7
- 230000009466 transformation Effects 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims description 2
- 238000009826 distribution Methods 0.000 description 28
- 238000012545 processing Methods 0.000 description 10
- 238000004891 communication Methods 0.000 description 6
- 230000003936 working memory Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 238000005192 partition Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000000844 transformation Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000010267 cellular communication Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/143—Segmentation; Edge detection involving probabilistic approaches, e.g. Markov random field [MRF] modelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
- G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Probability & Statistics with Applications (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Traffic Control Systems (AREA)
- Optical Radar Systems And Details Thereof (AREA)
- Image Analysis (AREA)
Abstract
本公开的诸示例描述了一种用于点云分割的方法,包括:从传感器接收第一帧点云;使用分割算法来对第一帧点云进行分割以获得表示第一帧点云的分割结果的第一组点簇;从传感器接收第二帧点云;将第一组点簇映射到第二帧点云;确定第二帧点云内的不属于经映射的第一组点簇的点;使用分割算法来对第二帧点云内的不属于经映射的第一组点簇的点进行分割以获得第二组点簇;以及通过组合第一组点簇和第二组点簇来生成第二帧点云的分割结果。
Description
技术领域
本公开一般涉及高级驾驶辅助系统(ADAS)或高度自动驾驶(HAD)领域,尤其涉及用于点云分割的方法和装置。
背景技术
长期以来,自动驾驶汽车一直是旨在提高汽车运输的安全性和效率的研究工作的主题。近年来,越来越复杂的传感器使自动驾驶系统更接近现实。例如,3D扫描仪(例如激光雷达,立体相机,飞行时间相机等)现已广泛用于自动驾驶系统中。这种3D扫描仪测量物体表面上的大量点,并且往往将点云作为数据文件输出。点云代表3D扫描仪已测量的点集。如本领域中已知的,点云可以用于许多目的,包括创建3D地图、对象识别和对象跟踪。为了达到这些目的,应该首先基于点云内的各个点的某些属性来对点云进行分割,以获得点云簇。然后,可以使用合适的模型来描述结果得到的点云簇,以表示特定的对象。
由于某些原因(诸如传感器视场的限制),一帧点云可能无法获得整个对象的点云。因此,通常将由传感器在时间上依次获得的多个连续的点云帧用于处理。常规地,针对每一帧点云直接分割点云。例如,对于第一帧点云,使用特定的分割方法来对整个点云进行分割。对于第二帧点云,使用相同或不同的分割方法来对整个点云进行分割,依此类推。这种办法效率不高,因为对于每一个新的点云帧,都应计算点云内的所有点以进行分割。此类计算可能消耗许多硬件资源。另外,这可能丢失点云帧之间的某些潜在相关的信息。
因此,可能期望具有一种计算效率高且节省资源的用于点云分割的改进方法。
发明内容
本公开旨在提供一种用于点云分割的方法和装置。此类方法和装置可以利用点云的连续帧之间的潜在相关信息,并且计算效率高且节省资源。
根据本公开的第一示例性实施例,提供了一种用于点云分割的方法,该方法包括:从传感器接收第一帧点云;使用分割算法来对第一帧点云进行分割以获得表示第一帧点云的分割结果的第一组点簇;从传感器接收第二帧点云;将第一组点簇映射到第二帧点云;确定第二帧点云内的不属于经映射的第一组点簇的点;使用分割算法来对第二帧点云内的不属于经映射的第一组点簇的点进行分割以获得第二组点簇;以及通过组合第一组点簇和第二组点簇来生成第二帧点云的分割结果。
根据本公开的第二示例性实施例,提供了一种用于点云分割的装置,该装置包括:接收单元,其配置成从传感器接收第一帧点云;分割单元,其配置成使用分割算法来对第一帧点云进行分割以获得表示第一帧点云的分割结果的第一组点簇;该接收单元被进一步配置成从传感器接收第二帧点云;映射单元,其配置成将第一组点簇映射到第二帧点云;确定单元,其配置成确定第二帧点云内的不属于经映射的第一组点簇的点;该分割单元被进一步配置成使用分割算法来对第二帧点云内的不属于经映射的第一组点簇的点进行分割以获得第二组点簇;以及生成单元,其配置成通过组合第一组点簇和第二组点簇来生成第二帧点云的分割结果。
根据本公开的第三示例性实施例,提供了一种用于点云分割的装置,该装置包括:存储器,在该存储器中存储有计算机可执行指令;以及处理器,该处理器耦合至该存储器并且被配置成:从传感器接收第一帧点云;使用分割算法来对第一帧点云进行分割以获得表示第一帧点云的分割结果的第一组点簇;从传感器接收第二帧点云;将第一组点簇映射到第二帧点云;确定第二帧点云内的不属于经映射的第一组点簇的点;使用分割算法来对第二帧点云内的不属于经映射的第一组点簇的点进行分割以获得第二组点簇;以及通过组合第一组点簇和第二组点簇来生成第二帧点云的分割结果。
根据本公开的第四示例性实施例,提供了一种其上存储有指令的非瞬态机器可读存储介质,这些指令在被执行时使处理器实现用于点云分割的方法。
根据本公开的第五示例性实施例,提供了一种供在车辆中使用的系统,该系统包括传感器以及用于点云分割的装置。
根据本公开的第六示例性实施例,提供了一种车辆,该车辆包括供在该车辆中使用的系统。
提供本概述以便以简化的形式介绍以下在详细描述中进一步描述的概念的选集。本概述并非旨在标识出要求保护的主题内容的关键特征或必要特征,亦非旨在限定要求保护的主题内容的范围。诸示例的附加的方面、特征和/或优点将在下面的描述中部分地阐述,并且部分地从描述中将是显而易见的,或者可以通过本公开的实践而获知。
附图简述
结合附图,通过以下对示例性实施例的详细描述,本公开的上述和其它方面和优点将变得显而易见,这些附图作为示例解说了本公开的原理。注意,附图不一定按比例绘制。
图1解说了根据现有技术的示例性点云分割。
图2解说了根据本公开的示例性实施例的点云的增量分割的示例。
图3(a)-(c)解说了根据本公开的示例性实施例的使用签名高斯混合模型来表示点簇的示例。
图4解说了根据本公开的示例性实施例的点云的增量分割的另一示例。
图5解说了根据本公开的示例性实施例的用于点云分割的示例性方法的流程图。
图6解说了根据本公开的示例性实施例的用于点云分割的示例性装置的框图。
图7解说了根据本公开的示例性实施例的供在车辆中使用的示例性系统的框图。
图8解说了根据本公开的示例性实施例的其中可应用本公开的一般硬件环境。
详细描述
在以下详细描述中,阐述了许多具体细节以提供对所描述的示例性实施例的透彻理解。然而,对于本领域技术人员显而易见的是,可以在没有一些或所有这些具体细节的情况下实践所描述的实施例。在其他示例性实施例中,未详细描述众所周知的结构或处理步骤,以避免不必要地使本公开的概念模糊。
在说明书中使用的术语“车辆”是指汽车、飞机、直升机、轮船等。说明书中使用的术语“A或B”是指“A和B”和“A或B”,而不是意味着A和B是排他的,除非另有说明。
点云是空间中的一组数据点。点云通常由传感器生成,该传感器测量围绕它的对象的外表面上的大量的点。点云内的每个点可以具有三维坐标(x,y,z)和其他信息(例如颜色信息,反射强度,法线方向等)。点云可以用于许多目的,包括创建3D地图、对象识别和对象跟踪。为了达到这些目的,应该首先基于点云内的各个点的某些属性来对点云进行分割,以确定哪些点属于特定对象。由于某些原因(诸如传感器视场的限制),一帧点云可能无法获得整个对象的点云。因此,通常将由传感器在时间上依次获得的点云的多个连续帧用于处理。
图1解说了根据现有技术的示例性点云分割。为了便于说明,图1仅示出了由传感器(例如,安装在车辆顶部的激光雷达)在时间上顺序获得的两帧点云。应该注意的是,传感器通常每秒可以获得许多帧点云。
如图1的左侧所示,第一帧点云“帧1”可以在时间t1由传感器获得。在帧1中,为了便于解说,仅描绘了24个点。应当注意,一帧点云可以包含数百或数千个点。为了对帧1进行分割,可以采用各种公知的分割算法。这些分割算法可以包括K-均值算法、K-最近邻居算法、GMM算法和/或区域增长算法。在分割之后,帧1可以被分割成三个点簇,它们被示出在图1中的虚线圆110、112和114内。第一点簇110可以包括18个点。第二点簇112可以包括4个点。第三点簇114可以包括2个点。每个点簇可以具有诸如长度、宽度、厚度、取向或主轴比之类的属性,并且可以指示该点簇内的点属于同一对象。
在时间t2,例如,传感器可能自t1以来已在笛卡尔坐标系中的X-Y平面中旋转了一定角度,并且可以获得第二帧点云“帧2”。帧2也可以使用以上提及的分割算法来分割,并且可被分割成三个点簇120、122和124。第四点簇120可以包括9个点。第五点簇122可以包括9个点。第六点簇124可以包括2个点。如从图1的右侧可以看出,帧2内的所有点都参与了分割过程,这可能会消耗许多处理资源。
实际上,由于现有传感器每秒可以获取许多帧,因此点云的每两个连续帧可能有很多重叠。例如,帧1中的点簇110内的点和帧2中的点簇120内的点可以部分重叠并且实际上表示相同的对象。然而,这种关系没有反映在图1所示的办法中。换言之,这种办法不计及各个点云帧之间的潜在相关信息。
根据本公开,提议了一种创新性概念,其利用连续点云帧之间的潜在相关信息并且计算上高效且节省资源。在本公开中,此概念被称为点云的增量分割。
图2解说了根据本公开的示例性实施例的点云的增量分割的示例。类似于图1,帧1可被分割成三个点簇110、112和124。在获得帧2之后,帧1中的三个点簇110、112和124可根据坐标转换来映射到帧2。通常,点云帧中的每个点具有与传感器在获得该点云帧时的位置相关联的笛卡尔坐标系中的三维坐标(x,y,z)。帧1的笛卡尔坐标系的原点可能与帧2的笛卡尔坐标系的原点不同,例如由于车辆的移动。因此,为了将帧1中的点簇映射到帧2,可以基于帧1中的点簇内的点的坐标信息以及帧1的笛卡尔坐标系与帧2的笛卡尔坐标系之间的相对关系来执行坐标转换。例如,如果车辆在获得帧1的时间与获得帧2的时间之间在帧1的笛卡尔坐标系的x方向上移动了1m,则帧1内的点的x坐标例如需要减小1,以便将帧1中的点簇映射到帧2。在另一示例中,帧1和帧2内的所有点的坐标信息可以被转换成共用全局坐标系中的坐标信息(例如,经度、纬度、海拔)以供进一步处理。
在图2中,经映射的点簇被标示为110’、112’和114’。虚线圆210、220和230内的点是帧2中获得的真实点。如图2中所示,图2中的虚线圆210内的所有点与经映射的点簇110’重叠。因此,不需要针对虚线圆210内的所有点执行分割。虚线圆220内的4个点与经映射的点簇112’重叠。因此,仅虚线圆220内的其他5个点需要被分割。虚线圆230内没有点与任何经映射的点簇重叠,并且因此虚线圆230内的所有点需要被分割。总体来说,图2中的20个点中的仅7个点需要被分割,这可导致显著的资源节省。
在图2中的这7个点已被分割之后,可以存在5个点簇110’、112’、240、114’和230。随后,可以根据某些准则来确定这些点簇是否可被融合。例如,由于点簇114’和230彼此接近并且它们的点具有相似的平整度,因此这两个点簇可被融合成一个点簇260。作为另一示例,点簇112’和240彼此接近并且它们的点具有相似的反射率。因此,这两个点簇可被组合成一个点簇250。最后,存在表示帧2的分割结果的总共3个点簇110’、250和260。
在本公开的一方面,点簇的形状可以单独地或组合地通过几何图元来近似。例如,点簇可以对应于物理世界中沿道路的树。点簇的形状可以近似于作为树的树干的矩形图元和作为树的树冠的三角形图元的形状。在一示例中,几何图元可以包括以下至少一者:线段、弧段、螺旋段、平面矩形、平面三角形、平面圆形/球面、平面椭圆、球体曲面片、柱体曲面片、3D立方体、3D球体和3D圆柱体。众所周知,任何几何形状都可以单独或组合地通过几何图元来表示。
此外,在本公开的一方面,点簇的形状可以通过签名高斯混合(SGM)模型来表示。SGM模型在PCT公开WO 2016201670A中详细描述,其通过援引整体纳入于此。
如在公开WO 2016201670A中讨论的,一种用于表示点簇的方法可以包括:(a)生成点簇的高斯混合模型;(b)生成用于标识该点簇的签名;以及(c)生成用于表示该点簇的SGM模型。
高斯混合模型是一种包括数个高斯分布的密度模型。
例如,典型的一维高斯混合模型可以采用如下式(1)的形式:
其中,K为在高斯混合模型中包含的高斯分布的数量,πk为第k个高斯分布的组合权重,并且p(x|k)为第k个高斯分布的概率密度函数,该概率密度函数由第k个高斯分布的均值μk和方差bk来定义。具体而言,典型的一维高斯分布(即,高斯分布的概率密度函数)可采用如下式(2)的形式:
其中μk为均值并且pk为方差。
因此,生成点簇的高斯混合模型可以涉及以下过程:给定被认为满足好似混合模型的数据点,确定(a)高斯混合模型中包含的高斯分布的数量、(b)高斯混合模型中的每个高斯分布的组合权重以及(c)每个高斯分布的均值μk和方差tk参数。
在此,仅解说一维高斯混合模型的示例形式和一维高斯分布的示例形式。然而,二维和三维高斯混合模型具有相似的形式并且为本领域技术人员所熟知。
根据高斯分布的定义,已知二维空间中的高斯分布的几何形状类似于椭圆形的形状,而三维空间中的高斯分布的几何形状类似于椭圆体的形状。
在一示例中,点簇的高斯混合模型可以通过使用几何图元的高斯混合模型来近似点簇的形状而生成。注意,可使用点簇的几何信息或者点簇的其他信息来确定点簇的形状。点簇的高斯混合模型可以通过使用几何图元的高斯混合模型来单独地或组合地生成。作为示例,点簇具有与平面椭圆形图元的形状近似的形状。该形状可以基于点簇的几何参数、通过使用平面椭圆形图元的高斯混合模型来生成。作为另一示例,点簇具有与三角形图元和线段图元的形状近似的形状。该形状可以基于点簇的几何参数、通过使用三角形图元的高斯混合模型和线段图元的高斯混合模型的组合来生成。
几何图元的高斯混合模型可以包括一个或多个高斯分布,其中每个高斯分布具有特定的均值、方差和组合权重。高斯混合模型中的高斯分布的数量可基于精度要求来选择。几何图元的高斯混合模型可以通过几何图元的几何参数来表达。
点簇的高斯混合模型可以例如经由替代法来生成,即,通过用几何图元的几何参数来代替点簇的具体几何参数。在点簇具有与若干几何图元组合的形状近似的形状的情形中,生成点簇的高斯混合模型还可以包括组合几何图元的高斯混合模型以生成点簇的高斯混合模型。
在一示例中,计算几何图元的高斯混合模型可包括对该几何图元进行采样并且然后使用由该采样得到的数据点来确定每个高斯分布的参数,诸如其具体均值、方差和组合权重。例如,高斯分布的具体均值、方差和组合权重可例如通过使用期望最大化(EM)算法来计算。
替换地,当计算属于平面图元或立体图元的几何图元的高斯混合模型时,该几何图元的边界可用于生成该几何图元的四叉树划分或八叉树划分。然后,可将高斯分布放入位于几何图元内的每个空白单元中,从而形成该几何图元的高斯混合模型。划分的数量(即,高斯混合模型内的高斯分布的数量)可以取决于精度要求。显然,放入每个空白单元中的每个高斯分布的均值为该空白单元的中心。此外,每个高斯分布的方差可基于对应空白单元的几何参数来确定。另外,高斯分布的组合权重可通过对应空白单元之间的面积比来确定。
可构想的是,可以为几何图元计算若干精度等级的高斯混合模型并且将这些高斯混合模型存储起来以便后续使用。以三角形图元为例,取决于精度要求,三角形图元可通过使用四叉树算法来由具有一个高斯分布的高斯混合模型、具有4个高斯分布的高斯混合模型、或具有11个高斯分布的高斯混合模型来表达。
在另一示例中,点簇的高斯混合模型还可以通过使用点簇的边界来计算以生成该点簇的四叉树划分,并且随后将高斯分布放入到位于该点簇内的每个空白单元中。作为替换,点簇的高斯混合模型可以通过如下方式来生成,即:使用点簇内的点来计算该点簇的高斯混合模型,例如使用EM方法。
用于标识点簇的签名可以包括该点簇的性质。例如,点簇的性质可以包括该点簇的类型、长度、宽度、厚度、取向、主轴比、反射率或平整度。在一示例中,签名可被构造为包括点簇的性质的向量。还可以构想的是,除了以上提及的那些性质之外的性质可被用于构造签名。
因此,SGM模型可以包括点簇的高斯混合模型和签名。用SGM模型来表示点簇将减少存储要求以及提高对噪声的容忍度。
图3(A)示出了具有若干对象(诸如具有树冠和树干的树、具有支柱的限速板、具有支柱的方向指示板、具有支柱和托座的路灯等)的地面实况部分。图3(B)示出了具有若干点簇的点云。例如,该点云可以通过安装在车辆顶部的激光雷达来获得。图3(C)示出了使用SGM模型来表示点云中的点簇的解说图。如图3(C)中所示,已分别通过签名高斯混合模型来表示点云中的点簇。
图4解说了根据本公开的示例性实施例的点云的增量分割的另一示例。如图4的左侧所示,在第一帧点云“帧1”内的点已被分割成三个点簇110、112和114之后,使用如以上讨论的方法来生成SGM模型410、412和414以表示这些点簇。例如,以解说性的方式用三个圆圈示出的第一SGM模型410表示第一点簇110;以解说性的方式用一个椭圆形示出的第二SGM模型412表示第二点簇112;以及以解说性的方式用一个椭圆表示的第三SGM模型414表示第三点簇114。SGM模型410、412和414中的每一者具有对应点簇的性质的签名。该签名可以包括对应点簇的长度、宽度、厚度、取向、主轴比、反射率、和/或平整度。
接下来,在传感器获得第二帧点云“帧2”之后,图1中的SGM模型410、412和414可以基于其坐标信息、根据坐标转换来映射到帧2,如参照图2类似地描述的。在图4中,经映射的SGM模型用附图标记410’、412’和414’来标示。如在图4的右侧可见,帧2中的8个点与经映射的第一SGM模型410’重叠,并且帧2中的6个点与经映射的第二SGM模型412’重叠。因此,仅帧2中的点401、402、403、404和405需要被分割。在分割之后,点401、402和403被分割成第四点簇,并且点404和405被分割成第五点簇。随后,生成第四SGM模型以表示第四点簇,并且生成第五SGM模型以表示第五点簇。可以确定第四SGM模型和/或第五SGM模型是否可以与经映射的SGM模型410’、412’和414’融合。此类确定可以基于这些SGM模型的签名的比较。例如,如果经映射的第二SGM模型接近第四SGM模型并且它们的签名指示它们具有非常相似的平整度,则这两个SGM模型可被融合成一个SGM模型420。作为另一示例,如果经映射的第三SGM模型接近第五SGM模型并且它们的签名指示它们具有非常相似的取向,则这两个SGM模型可被融合成一个SGM模型430。结果得到的SGM模型410’、420和430可以表示帧2的分割结果。
图5解说了根据本公开的示例性实施例的用于点云分割的示例性方法500的流程图。例如,方法500可以在至少一个处理电路(例如,图8的处理器804)内实现,该至少一个处理电路可以位于车载计算机系统、远程服务器、某个其他合适的装置、或者这些装置的组合中。当然,在本公开的范围内的各个方面,过程500可以由能够支持相关操作的任何合适的装置来实现。
在框510,可以从传感器接收第一帧点云(例如,图1中的帧1)。传感器可以包括激光雷达、立体相机、飞行时间相机、或者能够生成点云的任何其他设备。在一示例中,传感器可以安装在车辆顶部并且可以在平面中(例如,在笛卡尔坐标系中的X-Y平面中)旋转。在一示例中,传感器可以每秒生成数十或数百帧点云,其中点云内的每个点具有三维坐标(x,y,z)和/或其他信息(例如,颜色、反射强度、法线方向等)。
在框520,可以使用分割算法来对第一帧点云进行分割以获得表示第一帧点云的分割结果的第一组点簇(例如,图1中的点簇110、112和114)。在一示例中,分割算法可以包括K-均值算法、K-最近邻居算法、GMM算法和/或区域增长算法。在一示例中,区域增长算法的增长准则可以基于点云内的各个点的属性来定义。例如,此类属性可以包括以下至少一者:两个相邻点的距离、两个相邻点的法线方向的相似度、或者各个点的反射率的相似度。在一示例中,两个相邻点的距离可以小于0.5m、特别是小于5cm,两个相邻点的法线方向的相似度可以小于1度、特别是小于0.1度,并且各个点的反射率的相似度可以小于10%。
在本公开的一方面,第一组点簇中的每个点簇可以通过相应的SGM模型来表示。如图4中所示,第一组点簇110、112和114可以通过第一组SGM模型410、412和414来表示。每个SGM模型可以包括表示对应点簇的性质的签名,其中这些性质可以包括对应点簇的长度、宽度、厚度、取向、主轴比、反射率和/或平整度。
在框530,可以从传感器接收第二帧点云(例如,图1中的帧2)。第二帧点云和第一帧点云可以是由传感器在时间上顺序获得的两个连续的点云帧并且可以具有一些重叠。
在框540,第一组点簇可被映射到第二帧点云。在一示例中,此类映射可以根据坐标转换来执行。例如,该坐标转换可以基于第一组点簇内的点的坐标信息以及第一帧点云的笛卡尔坐标系与第二帧点云的笛卡尔坐标系之间的相对关系。在另一示例中,第一帧点云和第二帧点云内的所有点的坐标信息可以被转换成共用全局坐标系中的坐标信息(例如,经度、纬度、海拔)以供进一步处理。在图2中所示的实施例中,经映射的第一组点簇被称为点簇110’、112和114’。
在本公开的一方面,框540处的映射可以包括将第一组SGM模型映射到第二帧点云。例如,参照图4,经映射的第一组SGM模型被标示为410’、412’和414’。
在框550,可以确定第二帧点云内的不属于经映射的第一组点簇的点。此类确定可以基于第二帧点云内的点的坐标信息。例如,如图2中所示,由于虚线圆240内的点和虚线圆230内的点不与经映射的第一组点簇内的任何点簇重叠,因此这些点不属于经映射的第一组点簇中的任何点簇。
在本公开的一方面,框550处的确定可以包括确定第二帧点云内的不属于经映射的第一组SGM模型的点。例如,如图4中所示,点401、402、403、404和405不属于经映射的第一组SGM模型410’、412’和414’。
在框560,可以使用分割算法来对第二帧点云内的不属于经映射的第一组点簇的点进行分割以获得第二组点簇(例如,图2中的点簇240和230)。
在本公开的一方面,框560处的分割可以包括使用分割算法来对第二帧点云内的不属于经映射的第一组SGM模型的点进行分割以获得第二组点簇。在一示例中,第二组点簇可以使用第二组SGM模型来表示。
在框570,可以通过组合第一组点簇和第二组点簇来生成第二帧点云的分割结果。该组合可以基于比较第一组点簇和第二组点簇的属性。这些属性可以包括对应点簇的长度、宽度、厚度、取向、主轴比、反射率、和/或平整度。例如,如图2中所示的,点簇114’和230彼此接近并且它们的点具有相似的平整度,因此这两个点簇可被融合成一个点簇260。点簇112’和240彼此接近并且它们的点具有相似的反射率。因此,这两个点簇可被组合成一个点簇250。最后,存在表示帧2的分割结果的总共3个点簇110’、250和260。
在本公开的一方面,框570处的生成可以包括通过组合第一组SGM模型和第二组SGM模型来生成第二帧点云的分割结果。此类组合可以包括将第一组SGM模型中的每一者的签名与第二组SGM模型中的每一者的签名进行比较;以及基于该比较来融合第一组SGM模型和第二组SGM模型。
可任选地,在执行了框570处的操作之后,可以从传感器接收第三帧点云,并且可对第三帧点云执行类似的操作。
通过使用图5中描述的方法,仅需要对新的点云帧中的不重叠的点进行分割。因此,可以节省显著的处理资源。另外,可以保留点云帧之间的潜在相关信息。
图6解说了根据本公开的示例性实施例的用于点云分割的示例性装置600的框图。装置600的所有功能块(包括在装置600中的各种单元,无论是否在附图中示出)可以通过硬件、软件、或硬件和软件的组合来实现以执行本发明的原理。本领域技术人员应理解,图6中描述的功能块可以被组合或者划分成子块以实现如上所述的本发明的原理。因此,本文中的描述可以支持本文中描述的功能块的任何可能的组合或分割或进一步定义。
如图6中所示,根据本公开的示例性实施例,用于点云分割的装置600可以包括:接收单元610,其配置成从传感器接收第一帧点云;分割单元620,其配置成使用分割算法来对第一帧点云进行分割以获得表示第一帧点云的分割结果的第一组点簇;该接收单元610被进一步配置成从传感器接收第二帧点云;映射单元630,其配置成将第一组点簇映射到第二帧点云;确定单元640,其配置成确定第二帧点云内的不属于经映射的第一组点簇的点;该分割单元620被进一步配置成使用分割算法来对第二帧点云内的不属于经映射的第一组点簇的点进行分割以获得第二组点簇;以及生成单元650,其配置成通过组合第一组点簇和第二组点簇来生成第二帧点云的分割结果。
图7解说了根据本公开的示例性实施例的供在车辆中使用的示例性系统700的框图。系统700可以包括传感器710和用于点云分割的装置600。传感器710可以包括激光雷达、立体相机、飞行时间相机、或者能够生成点云的任何其他设备。传感器710可以每秒生成数十或数百帧点云并且向装置600提供点云帧。系统700可以安装在车辆中任何地方。
图8解说了根据本公开的示例性实施例的其中可应用本公开的一般硬件环境。
参照图8,现在将描述计算设备800,计算设备800是可应用于本公开的各方面的硬件设备的示例。计算设备800可以是配置成执行处理和/或计算的任何机器,可以是但不限于工作站、服务器、桌面型计算机、膝上型计算机、平板计算机、个人数字助理、智能电话、车载计算机、或其任何组合。以上提及的装置600可以全部或者至少部分地由计算设备800或类似设备或系统来实现。
计算设备800可以包括可能地经由一个或多个接口来与总线802连接或者与总线802处于通信的元件。例如,计算设备800可以包括总线802、以及一个或多个处理器804、一个或多个输入设备806和一个或多个输出设备808。该一个或多个处理器804可以是任何类型的处理器,并且可以包括但不限于一个或多个通用处理器和/或一个或多个专用处理器(诸如专门的处理芯片)。输入设备806可以是可将信息输入计算设备的任何类型的设备,并且可以包括但不限于鼠标、键盘、触摸屏、话筒、和/或遥控器。输出设备808可以是可呈现信息的任何类型的设备,并且可以包括但不限于显示器、扬声器、视频/音频输出终端、振动器和/或打印机。计算设备800还可以包括非瞬态存储设备810或者与非瞬态存储设备810相连接,该非瞬态存储设备810可以是为非瞬态的且可实现数据存储的任何存储设备,并且可以包括但不限于盘驱动器、光存储设备、固态存储、软盘、软磁盘、硬盘、磁带或任何其他磁性介质、光盘或任何其他光介质、ROM(只读存储器)、RAM(随机存取存储器)、高速缓存存储器和/或任何其他存储器芯片或存储器盒、和/或计算机可从其读取数据、指令和/或代码的任何其他介质。非瞬态存储设备810可以能与接口分开。非瞬态存储设备810可以具有用于实现上述方法和步骤的数据/指令/代码。计算设备800还可以包括通信设备812。通信设备812可以是能实现与外部装置和/或网络的通信的任何类型的设备或系统,并且可以包括但不限于调制解调器、网卡、红外通信设备、诸如蓝牙TM设备、1302.11设备、WiFi设备、WiMax设备、蜂窝通信设施之类的无线通信设备和/或芯片组、等等。
当计算设备800被用作车载设备时,计算设备800还可以连接至外部设备,例如GPS接收机、用于感测不同环境数据的传感器(诸如加速度传感器、车轮速度传感器、陀螺仪)、等等。以此方式,计算设备800可以例如接收指示车辆的行驶情况的位置数据和传感器数据。当计算设备800被用作车载设备时,计算设备800还可以连接至用于控制车辆的行驶和操作的其他设施(诸如引擎系统、雨刮器、制动防抱死系统等)。
另外,非瞬态存储设备810可以具有地图信息和软件元素,以使得处理器804可以执行路线引导处理。另外,输出设备806可以包括用于显示地图、车辆的位置标记以及指示车辆的行驶情况的图像的显示器。输出设备806还可以包括具有用于音频引导的耳机的扬声器或接口。
总线802可以包括但不限于工业标准架构(ISA)总线、微通道架构(MCA)总线、增强型ISA(EISA)总线、视频电子标准协会(VESA)本地总线、以及外围组件互连(PCI)总线。具体地,对于车载设备,总线802可以包括控制器局域网(CAN)总线或者被设计成用于汽车上的应用的其他架构。
计算设备800还可以包括工作存储器814,工作存储器814可以是可存储对于处理器804的工作而言有用的指令和/或数据的任何类型的工作存储器,并且可以包括但不限于随机存取存储器和/或只读存储器设备。
软件元素可以位于工作存储器814中,包括但不限于操作系统816、一个或多个应用程序818、驱动程序和/或其他数据和代码。用于执行上述方法和步骤的指令可以包括在一个或多个应用程序818中,并且以上提及的装置600的各单元可以通过处理器804读取和执行一个或多个应用程序818的指令来实现。更具体地,以上提及的装置600的分割单元620可以例如由处理器804在执行具有用于执行框520的指令的应用程序818时实现。另外,以上提及的装置600的确定单元640可以例如由处理器804在执行具有用于执行框550的指令的应用程序818时实现。以上提及的装置600的其他单元也可以例如由处理器804在执行具有用于执行以上提及的一个或多个相应步骤的指令的应用程序818时实现。软件元素的指令的可执行代码或源代码可以被存储在非瞬态计算机可读存储介质(诸如上述存储设备810)中,并且可以可能地通过编译和/或安装而被读取到工作存储器814中。软件元素的指令的可执行代码或源代码也可以从远程位置下载。
从上面的实施例中,本领域技术人员可以清楚地知道,本公开可以由具有必要硬件的软件来实现,或者由硬件、固件等来实现。基于这样的理解,本公开的实施例可以部分地以软件形式来实施。可以将计算机软件存储在诸如计算机的软盘、硬盘、光盘或闪存之类的可读存储介质中。该计算机软件包括一系列指令,以使计算机(例如,个人计算机、服务站或网络终端)执行根据本公开的相应实施例的方法或其一部分。
在整个说明书中,已经对“一个示例”或“一示例”进行了参考,这意味着在至少一个示例中包括具体描述的特征、结构或特性。因此,此类短语的使用可能涉及不止一个示例。此外,所描述的特征、结构或特性可以在一个或多个示例中以任何合适的方式组合。
然而,相关领域的技术人员可以认识到,可以在没有一个或多个特定细节的情况下,或者在其他方法、资源、材料等的情况下实践这些示例。在其他实例中,没有详细示出或描述众所周知的结构、资源或操作以避免使这些示例的各方面模糊。
尽管已经解说和描述了样例和应用,但是应当理解,这些示例不限于上述精确的配置和资源。可以对本文公开的方法和系统的布置、操作和细节进行本领域技术人员显而易见的各种修改、改变和变化,而不会脱离所要求保护的示例的范围。
Claims (11)
1.一种用于点云分割的方法,包括:
从传感器接收第一帧点云;
使用分割算法来对所述第一帧点云进行分割,以获得表示所述第一帧点云的分割结果的第一组点簇,其中所述第一组点簇中的每一者使用第一组签名高斯混合模型中的一个签名高斯混合模型来表示,其中每个签名高斯混合模型包括表示对应点簇的性质的签名;
从所述传感器接收第二帧点云;
基于坐标信息、根据坐标转换来将所述第一组签名高斯混合模型映射到所述第二帧点云;
确定所述第二帧点云内的不属于经映射的第一组签名高斯混合模型的点;
使用所述分割算法来对所述第二帧点云内的不属于所述经映射的第一组签名高斯混合模型的点进行分割,以获得第二组点簇,其中所述第二组点簇中的每一者使用第二组签名高斯混合模型中的一个签名高斯混合模型来表示;以及
通过组合所述第一组签名高斯混合模型和所述第二组签名高斯混合模型来生成所述第二帧点云的分割结果,其中所述生成包括:
将所述第一组签名高斯混合模型中的每一者的签名与所述第二组签名高斯混合模型中的每一者的签名进行比较;以及
基于所述比较来融合所述第一组签名高斯混合模型和所述第二组签名高斯混合模型。
2.根据权利要求1所述的方法,其中所述分割算法包括区域增长算法,并且其中所述区域增长算法的增长准则基于点云内的点的属性来定义。
3.根据权利要求2所述的方法,其中点云内的点的属性包括以下至少一者:两个相邻点的距离、两个相邻点的法线方向的相似度、或者各个点的反射率的相似度。
4.根据权利要求3所述的方法,其中两个相邻点的距离小于0.5m、特别是小于5cm,其中两个相邻点的法线方向的相似度小于1度、特别是小于0.1度,并且其中各个点的反射率的相似度小于10%。
5.根据权利要求1所述的方法,其中所述性质包括所述对应点簇的长度、宽度、厚度、取向、主轴比、反射率和/或平整度。
6.根据权利要求1中任一项所述的方法,其中所述传感器包括以下至少一者:激光雷达、立体相机、或者飞行时间相机。
7.一种用于点云分割的装置,包括:
接收单元,其配置成从传感器接收第一帧点云;
分割单元,其配置成使用分割算法来对所述第一帧点云进行分割,以获得表示所述第一帧点云的分割结果的第一组点簇,其中所述第一组点簇中的每一者使用第一组签名高斯混合模型中的一个签名高斯混合模型来表示,其中每个签名高斯混合模型包括表示对应点簇的性质的签名;
所述接收单元被进一步配置成从所述传感器接收第二帧点云;
映射单元,其配置成基于坐标信息、根据坐标转换来将所述第一组签名高斯混合模型映射到所述第二帧点云;
确定单元,其配置成确定所述第二帧点云内的不属于经映射的第一组签名高斯混合模型的点;
所述分割单元被进一步配置成使用所述分割算法来对所述第二帧点云内的不属于所述经映射的第一组签名高斯混合模型的点进行分割,以获得第二组点簇,其中所述第二组点簇中的每一者使用第二组签名高斯混合模型中的一个签名高斯混合模型来表示;以及
生成单元,其配置成通过组合所述第一组签名高斯混合模型和所述第二组签名高斯混合模型来生成所述第二帧点云的分割结果,其中所述生成包括:
将所述第一组签名高斯混合模型中的每一者的签名与所述第二组签名高斯混合模型中的每一者的签名进行比较;以及
基于所述比较来融合所述第一组签名高斯混合模型和所述第二组签名高斯混合模型。
8.一种用于点云分割的装置,包括:
具有存储于其中的计算机可执行指令的存储器;以及
处理器,所述处理器耦合至所述存储器并被配置成:
从传感器接收第一帧点云;
使用分割算法来对所述第一帧点云进行分割,以获得表示所述第一帧点云的分割结果的第一组点簇,其中所述第一组点簇中的每一者使用第一组签名高斯混合模型中的一个签名高斯混合模型来表示,其中每个签名高斯混合模型包括表示对应点簇的性质的签名;
从所述传感器接收第二帧点云;
基于坐标信息、根据坐标转换来将所述第一组签名高斯混合模型映射到所述第二帧点云;
确定所述第二帧点云内的不属于经映射的第一组签名高斯混合模型的点;
使用所述分割算法来对所述第二帧点云内的不属于所述经映射的第一组签名高斯混合模型的点进行分割,以获得第二组点簇,其中所述第二组点簇中的每一者使用第二组签名高斯混合模型中的一个签名高斯混合模型来表示;以及
通过组合所述第一组签名高斯混合模型和所述第二组签名高斯混合模型来生成所述第二帧点云的分割结果,其中所述生成包括:
将所述第一组签名高斯混合模型中的每一者的签名与所述第二组签名高斯混合模型中的每一者的签名进行比较;以及
基于所述比较来融合所述第一组签名高斯混合模型和所述第二组签名高斯混合模型。
9.一种具有存储于其上的指令的非瞬态机器可读存储介质,所述指令在被执行时使处理器实现根据权利要求1-6中任一项所述的方法。
10.一种供在车辆中使用的系统,包括:
传感器;以及
根据权利要求7或8所述的用于点云分割的装置。
11.一种车辆,其包括根据权利要求10所述的系统。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/CN2018/091437 WO2019237319A1 (en) | 2018-06-15 | 2018-06-15 | Incremental segmentation of point cloud |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112313703A CN112313703A (zh) | 2021-02-02 |
CN112313703B true CN112313703B (zh) | 2024-05-28 |
Family
ID=68841719
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201880094639.7A Active CN112313703B (zh) | 2018-06-15 | 2018-06-15 | 点云的增量分割 |
Country Status (4)
Country | Link |
---|---|
US (1) | US11538168B2 (zh) |
EP (1) | EP3807836A4 (zh) |
CN (1) | CN112313703B (zh) |
WO (1) | WO2019237319A1 (zh) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5957784B2 (ja) | 2013-03-28 | 2016-07-27 | 株式会社ショーワ | ステアリング装置 |
EP3846133A4 (en) * | 2018-08-30 | 2021-10-20 | Panasonic Intellectual Property Corporation of America | THREE-DIMENSIONAL DATA ENCODING PROCESS, THREE-DIMENSIONAL DATA DECODING PROCESS, THREE-DIMENSIONAL DATA ENCODING DEVICE, AND TRIDIMENSIONAL DATA DECODING DEVICE |
CN114080582B (zh) * | 2019-07-02 | 2024-03-08 | 交互数字Vc控股公司 | 用于稀疏分布式渲染的系统和方法 |
US11688082B2 (en) * | 2019-11-22 | 2023-06-27 | Baidu Usa Llc | Coordinate gradient method for point cloud registration for autonomous vehicles |
KR20220000171A (ko) * | 2020-06-25 | 2022-01-03 | 현대자동차주식회사 | 라이다 데이터 기반 객체 인식 장치 및 그의 세그먼트 병합 방법 |
CN113343840B (zh) * | 2021-06-02 | 2022-03-08 | 合肥泰瑞数创科技有限公司 | 基于三维点云的对象识别方法及装置 |
CN114299265A (zh) * | 2021-12-24 | 2022-04-08 | 北京深测科技有限公司 | 一种飞行时间相机的三维点云数据分割处理方法和系统 |
CN117635896B (zh) * | 2024-01-24 | 2024-04-05 | 吉林大学 | 基于汽车车身点云运动预测的点云拼接方法 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8620089B1 (en) * | 2009-12-22 | 2013-12-31 | Hrl Laboratories, Llc | Strip histogram grid for efficient segmentation of 3D point clouds from urban environments |
CN104700398A (zh) * | 2014-12-31 | 2015-06-10 | 西安理工大学 | 一种点云场景物体提取方法 |
WO2016023075A1 (en) * | 2014-08-13 | 2016-02-18 | Meat & Livestock Australia Limited | 3d imaging |
CN106898003A (zh) * | 2017-01-04 | 2017-06-27 | 努比亚技术有限公司 | 一种实现交互式图像分割的方法、装置及终端 |
CN107291879A (zh) * | 2017-06-19 | 2017-10-24 | 中国人民解放军国防科学技术大学 | 一种虚拟现实系统中三维环境地图的可视化方法 |
CN107292276A (zh) * | 2017-06-28 | 2017-10-24 | 武汉大学 | 一种车载点云聚类方法及系统 |
CN108062517A (zh) * | 2017-12-04 | 2018-05-22 | 武汉大学 | 基于车载激光点云的非结构化道路边界线自动提取方法 |
CN108088444A (zh) * | 2016-11-22 | 2018-05-29 | 广州映博智能科技有限公司 | 基于三维激光的室内点云地图生成系统及方法 |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120121166A1 (en) | 2010-11-12 | 2012-05-17 | Texas Instruments Incorporated | Method and apparatus for three dimensional parallel object segmentation |
CN103218817B (zh) | 2013-04-19 | 2015-11-18 | 深圳先进技术研究院 | 植物器官点云的分割方法和系统 |
CN104764457B (zh) | 2015-04-21 | 2017-11-17 | 北京理工大学 | 一种用于无人车的城市环境构图方法 |
US9582939B2 (en) * | 2015-06-11 | 2017-02-28 | Nokia Technologies Oy | Structure preserved point cloud simplification |
EP3311110A4 (en) * | 2015-06-18 | 2019-07-10 | Bayerische Motoren Werke Aktiengesellschaft | METHOD AND APPARATUS FOR REPRESENTING A CARD ELEMENT AND METHOD AND APPARATUS FOR LOCATING A VEHICLE / ROBOT |
EP3121620B1 (de) * | 2015-07-21 | 2017-12-20 | HENSOLDT Sensors GmbH | Verfahren zur segmentierung der daten eines 3d-sensors, erzeugt in gegenwart von aerosol-wolken, zur erhöhung des situationsbewusstseins und der lageerkennung von hindernissen |
CN105184852B (zh) | 2015-08-04 | 2018-01-30 | 百度在线网络技术(北京)有限公司 | 一种基于激光点云的城市道路识别方法及装置 |
DE102015014651A1 (de) * | 2015-11-12 | 2017-05-18 | Audi Ag | Verfahren zum Bereitstellen einer Spurinformation einer Fahrspur und System |
CN106846538B (zh) * | 2015-12-04 | 2019-12-03 | 杭州海康威视数字技术股份有限公司 | 过车记录处理方法和装置 |
US10482196B2 (en) * | 2016-02-26 | 2019-11-19 | Nvidia Corporation | Modeling point cloud data using hierarchies of Gaussian mixture models |
US20180136332A1 (en) * | 2016-11-15 | 2018-05-17 | Wheego Electric Cars, Inc. | Method and system to annotate objects and determine distances to objects in an image |
WO2018119606A1 (en) * | 2016-12-26 | 2018-07-05 | Bayerische Motoren Werke Aktiengesellschaft | Method and apparatus for representing a map element and method and apparatus for locating vehicle/robot |
CN110663060B (zh) * | 2017-05-25 | 2023-08-08 | 宝马股份公司 | 一种用于表示环境元素的方法、装置、系统、以及车辆/机器人 |
EP3425591B1 (en) * | 2017-07-07 | 2021-01-13 | Tata Consultancy Services Limited | System and method for tracking body joints |
WO2019195593A1 (en) * | 2018-04-05 | 2019-10-10 | Apex.AI, Inc. | Efficient and scalable three-dimensional point cloud segmentation for navigation in autonomous vehicles |
KR20200076438A (ko) * | 2018-12-19 | 2020-06-29 | 삼성전자주식회사 | 사용자의 액티비티를 추적하는 전자 장치 및 전자 장치의 동작 방법 |
-
2018
- 2018-06-15 WO PCT/CN2018/091437 patent/WO2019237319A1/en active Application Filing
- 2018-06-15 EP EP18922315.9A patent/EP3807836A4/en active Pending
- 2018-06-15 CN CN201880094639.7A patent/CN112313703B/zh active Active
- 2018-06-15 US US17/251,078 patent/US11538168B2/en active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8620089B1 (en) * | 2009-12-22 | 2013-12-31 | Hrl Laboratories, Llc | Strip histogram grid for efficient segmentation of 3D point clouds from urban environments |
WO2016023075A1 (en) * | 2014-08-13 | 2016-02-18 | Meat & Livestock Australia Limited | 3d imaging |
CN104700398A (zh) * | 2014-12-31 | 2015-06-10 | 西安理工大学 | 一种点云场景物体提取方法 |
CN108088444A (zh) * | 2016-11-22 | 2018-05-29 | 广州映博智能科技有限公司 | 基于三维激光的室内点云地图生成系统及方法 |
CN106898003A (zh) * | 2017-01-04 | 2017-06-27 | 努比亚技术有限公司 | 一种实现交互式图像分割的方法、装置及终端 |
CN107291879A (zh) * | 2017-06-19 | 2017-10-24 | 中国人民解放军国防科学技术大学 | 一种虚拟现实系统中三维环境地图的可视化方法 |
CN107292276A (zh) * | 2017-06-28 | 2017-10-24 | 武汉大学 | 一种车载点云聚类方法及系统 |
CN108062517A (zh) * | 2017-12-04 | 2018-05-22 | 武汉大学 | 基于车载激光点云的非结构化道路边界线自动提取方法 |
Non-Patent Citations (3)
Title |
---|
Incremental-Segment-Based Localization in 3-D Point Clouds;R. Dub´e, et al.;IEEE Robotics and Automation Letters;第1833页至第1835页第III. METHOD节,图2-5 * |
R. Dub´e, et al..Incremental-Segment-Based Localization in 3-D Point Clouds.IEEE Robotics and Automation Letters.2018,第1页第I. INTRODUCTION节,第2页至第4页第III. METHOD节,图2-5. * |
基于增量计算的大规模场景致密语义地图构建;江文婷;龚小谨;刘济林;;浙江大学学报(工学版)(第02期);198-204 * |
Also Published As
Publication number | Publication date |
---|---|
US11538168B2 (en) | 2022-12-27 |
EP3807836A1 (en) | 2021-04-21 |
CN112313703A (zh) | 2021-02-02 |
US20210248752A1 (en) | 2021-08-12 |
EP3807836A4 (en) | 2022-01-26 |
WO2019237319A1 (en) | 2019-12-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112313703B (zh) | 点云的增量分割 | |
US10643103B2 (en) | Method and apparatus for representing a map element and method and apparatus for locating a vehicle/robot | |
CN110226186B (zh) | 表示地图元素的方法和装置以及定位的方法和装置 | |
EP3714290B1 (en) | Lidar localization using 3d cnn network for solution inference in autonomous driving vehicles | |
EP3714285B1 (en) | Lidar localization using rnn and lstm for temporal smoothness in autonomous driving vehicles | |
US11216951B2 (en) | Method and apparatus for representing environmental elements, system, and vehicle/robot | |
WO2019113749A1 (en) | Systems and methods for identifying and positioning objects around a vehicle | |
US11144770B2 (en) | Method and device for positioning vehicle, device, and computer readable storage medium | |
CN112414417B (zh) | 自动驾驶地图生成方法、装置、电子设备及可读存储介质 | |
US20200166346A1 (en) | Method and Apparatus for Constructing an Environment Model | |
CN111664860B (zh) | 定位方法、装置、智能设备及存储介质 | |
WO2018227612A1 (en) | Methods and apparatus for selecting a map for a moving object, system, and vehicle/robot | |
WO2023009180A1 (en) | Lidar-based object tracking | |
CN115309773A (zh) | 定位方法、装置、设备、介质和车辆 | |
WO2018120932A1 (en) | Method and apparatus for optimizing scan data and method and apparatus for correcting trajectory | |
CN111542828A (zh) | 线状物识别方法及装置、系统和计算机存储介质 | |
EP3944137A1 (en) | Positioning method and positioning apparatus | |
CN112198523A (zh) | 用于点云分割的方法和装置 | |
CN112116698A (zh) | 用于点云融合的方法和装置 | |
CN118397588A (zh) | 智能驾驶汽车用摄像头场景分析方法、系统、设备及介质 | |
CN115238011A (zh) | 校验对象的定位结果的方法、装置、设备、介质和产品 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |