CN112883976A - 基于点云的语义分割方法、装置、系统及存储介质 - Google Patents

基于点云的语义分割方法、装置、系统及存储介质 Download PDF

Info

Publication number
CN112883976A
CN112883976A CN202110165797.0A CN202110165797A CN112883976A CN 112883976 A CN112883976 A CN 112883976A CN 202110165797 A CN202110165797 A CN 202110165797A CN 112883976 A CN112883976 A CN 112883976A
Authority
CN
China
Prior art keywords
sampling
point
points
point cloud
aggregation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110165797.0A
Other languages
English (en)
Inventor
江文涛
黄尚锋
夏启明
杜静
陈延行
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lop Xiamen System Integration Co ltd
Ropt Technology Group Co ltd
Original Assignee
Lop Xiamen System Integration Co ltd
Ropt Technology Group Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lop Xiamen System Integration Co ltd, Ropt Technology Group Co ltd filed Critical Lop Xiamen System Integration Co ltd
Priority to CN202110165797.0A priority Critical patent/CN112883976A/zh
Publication of CN112883976A publication Critical patent/CN112883976A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/26Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • G06F18/253Fusion techniques of extracted features

Abstract

本发明提供了一种基于点云的语义分割方法、装置、系统及存储介质,所述方法包括:获取目标对象的点云数据;依次对所述点云数据中点的不同范围进行特征聚合和采样,得到采样点的聚合特征;将所述采样点的聚合特征融合至所述采样点进行采样前的点集中,得到更新后的特征;基于所述更新后的特征得到所述待测目标的识别结果。根据本发明的方法、装置、系统及存储介质,通过利用对不同范围的点集依次进行采样和特征聚合来扩大点的感受野,使得获取更丰富的空间结构信息,以在点云语义分割上获得更好性能和效果。

Description

基于点云的语义分割方法、装置、系统及存储介质
技术领域
本发明涉及计算机视觉技术领域,更具体地涉及基于点云的语义分割。
背景技术
近年来,关于三维点云的研究发展迅速。相对于2D图像,三维点云在自动驾驶、家居机器人、三维重建等方面都有着更好的表现。然而由数据采集设备采集的三维视觉数据是高度不规则的。传统方法中,通常将三维点云数据转化为规则的数据表示,例如体素网格、多视图图像、投影。再用传统的卷积神经网络(CNN)处理这些规则数据。然而这些操作没有充分利用点云稀疏性质,导致了不必要的大内存占用和计算能力的开销。除此之外,转换为规则数据不可避免的损失点云的空间结构特征,这使得点云这一富有空间结构的信息的数据失去了其本身的特性。
发明内容
考虑到上述问题而提出了本发明。本发明提供了一种基于点云的语义分割方法、装置、系统及计算机存储介质,以解决上述问题至少之一。
根据本发明的第一方面,提供了一种基于点云的语义分割方法,包括:
获取目标对象的点云数据;
依次对所述点云数据中点的不同范围进行特征聚合和采样,得到采样点的聚合特征;
将所述采样点的聚合特征融合至所述采样点进行采样前的点集中,得到更新后的特征;
基于所述更新后的特征得到所述待测目标的识别结果。
可选地,依次对所述点云数据中点的不同范围进行特征聚合和采样,得到采样点的聚合特征,包括:
依次串行处理所述点云数据中点的不同范围进行特征聚合和采样,前一范围的处理结果作为当前范围的输入;其中,对于每个范围,
以每个点为中心建立半径为R的第一球形坐标系,将所述第一球形坐标系的球形区域划分多个第一区域并设置相应的第一权重;
基于所述第一区域的第一权重,更新所述每个点的特征;
对更新后的点进行采样,得到采样点;
基于所述采样点在所述第一球形坐标系内搜索临近点得到临近点集合,将所述临近点集合中的最大值作为所述采样点的聚合特征。
可选地,基于所述第一区域的第一权重,更新所述每个点的特征,包括:
将每个第一区域的每个点的特征和所在第一区域的权重相乘并求和,然后后除以所述范围的点的数量,以更新所述范围内的每个点的特征。
可选地,对更新后的点进行采样,得到采样点,包括:
基于所述更新后的点采样最远点采样,得到所述采样点。
可选地,不同的范围具有不同的扩张率和/或不同的第一球形坐标系的半径R。
可选地,将所述采样点的聚合特征融合至所述采样点进行采样前的点集中,得到更新后的特征,包括:
依次串行处理所述采样点的聚合特征融合至所述采样点进行采样前的点集中;其中,对于每次所述融合,
确定输入点集的采样来源点集;
以所述采样来源点集中的点为原点,在输入点集上建立第二球形坐标系,并将所述第二球形坐标系的球形区域划分为多个第二区域,并设置相应的第二权重;
基于所述第二区域的第二权重,更新所述来源范围内的每个点的特征。
可选地,所述确定输入点集的采样来源点集,包括:通过检索确定所述输入点集由所述采样来源点集进行采样得到。
根据本发明的第二方面,提供了一种基于点云的语义分割装置,包括:
点云模块,用于获取目标对象的点云数据;
特征聚合层,用于依次对所述点云数据中点的不同范围进行特征聚合和采样,得到采样点的聚合特征;
特征传播层,用于将所述采样点的聚合特征融合至所述采样点进行采样前的点集中,得到更新后的特征;
识别模块,用于基于所述更新后的特征得到所述待测目标的识别结果。
根据本发明的第三方面,提供了一种基于点云的语义分割系统,包括存储器、处理器及存储在所述存储器上且在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现根据第一方面所述方法的步骤。
根据本发明的第四方面,提供了一种计算机存储介质,其上存储有计算机程序,所述计算机程序被计算机执行时实现根据第一方面所述方法的步骤。
根据本发明实施例的基于点云的语义分割方法、装置、系统以及存储介质,通过利用对不同范围的点集依次进行采样和特征聚合来扩大点的感受野,使得获取更丰富的空间结构信息,以在点云语义分割上获得更好性能和效果。
附图说明
通过结合附图对本发明实施例进行更详细的描述,本发明的上述以及其它目的、特征和优势将变得更加明显。附图用来提供对本发明实施例的进一步理解,并且构成说明书的一部分,与本发明实施例一起用于解释本发明,并不构成对本发明的限制。在附图中,相同的参考标号通常代表相同部件或步骤。
图1是根据本发明实施例的基于点云的语义分割方法的示意流程图;
图2是根据本发明实施例的基于点云的语义分割装置的示意性框图;
图3是根据本发明实施例的球形坐标系的示例;
图4是根据本发明实施例的多个区域的二维示意图。
具体实施方式
为了使得本发明的目的、技术方案和优点更为明显,下面将参照附图详细描述根据本发明的示例实施例。显然,所描述的实施例仅仅是本发明的一部分实施例,而不是本发明的全部实施例,应理解,本发明不受这里描述的示例实施例的限制。基于本发明中描述的本发明实施例,本领域技术人员在没有付出创造性劳动的情况下所得到的所有其它实施例都应落入本发明的保护范围之内。
图卷积神经网络大概可以分为两种,即基于谱域的图卷积(spectral networks)和基于空域的图卷积(spatial networks)。前者是将两个空域上的信号通过图上的傅里叶变换转变为谱域上的信号,将两个谱域上的信号相乘后进行反傅里叶变换后得到值等价于在两个空域上的信号进行卷积的值。而图上的傅里叶变换的基由拉普拉斯矩阵确定。后者则直接在空间域上执行卷积。然后对于基于谱域的图卷积来说,其应用在点云上需要对每个点的拉普拉斯矩阵进行计算和分析。这一过程所产生的计算量是极其大的。对于现实世界的点云来说,这是比较不容易实现的。因此。在实际应用中,基于空域的图卷积比基于谱域的图卷积更有吸引力。
为了能够更好的捕捉点云的空间结构特征,对三维点云进行构建能够更大限度的去捕获稀疏点云的空间结构特征。然而,设计有效的模块,如卷积、池化和上采样层,成为基于图的卷积网络面临的主要挑战。这些模块被期望在不规则的点云上执行类似于CNN在规则图像上的像素点操作。在早期的理论研究当中,M.Defferrard等人实现了图卷积神经网络。但是,这些传统的图卷积神经网络并不能有效地处理真实世界的点云,并且在点云中并没有找到一种可行的解决方案解决这一问题。
基于空间的图卷积受到了三维空间中离散卷积核不可用的挑战。为了避免这一问题,现存的一些方法利用微型网络动态地生成每个边的过滤器。但这引起了大量的计算开销,然而若让离散核可用,那么这种情况则是可以避免的。其中Y.Li等人提出的PointCNN使用卷积核对点云进行处理。然而,它的内核实质上就是一个微型网络,这造成了很大的计算成本。除此之外,网络对邻域点的顺序很敏感,这导致网络不能适应点云尺度的变换。这最终会导致其在真实世界处理点云不会有较好的表现和性能。
基于上述考虑,本发明实施例提供了一种基于点云的语义分割方法,并将参照图1描述根据本发明实施例的基于点云的语义分割方法的示意流程图。如图1所示,一种基于点云的语义分割方法1,包括:
步骤S1-1,获取目标对象的点云数据;
步骤S1-2,依次对所述点云数据中点的不同范围进行特征聚合和采样,得到采样点的聚合特征;
步骤S1-3,将所述采样点的聚合特征融合至所述采样点进行采样前的点集中,得到更新后的特征;
步骤S1-4,基于所述更新后的特征得到所述待测目标的识别结果。
其中,传统的方法中,用于点云上的基于球形核的图卷积网络将点周围的临近空间分为若干份不同的区域,并赋予每个区域一个可学习的权重。这种操作严格的限制了点感受野的大小,同时会造成产生较大的计算量。根据本发明实施例提供的基于点云的目标识别方法,利用对不同范围的点集依次进行采样和特征聚合来扩大点的感受野,使得获取更丰富的空间结构信息。此时,对于若干份的不同区域,只有一部分的区域赋予可学习权重,其他区域则直接抛弃。通过这种方法,我们有效的减少了计算量。同时通过扩大的球形核的半径大小以增大点的感受野范围。但由于只是有选择的利用球形核部分区域,所以即使我们扩大的球形核的大小,增加了总的区域数量,但并不会较大地增加的计算量。适合广泛应用于任何需要基于点云的目标识别的场合。
参见图2,图2示出了根据本发明实施例的基于点云的语义分割装置的示意性框图。如图2所示,基于点云的语义分割装置可以包括:
点云模块101,用于获取目标对象的点云数据;
特征聚合层102-105,用于依次对所述点云数据中点的不同范围进行特征聚合和采样,得到采样点的聚合特征;
特征传播层106-109,用于将所述采样点的聚合特征融合至所述采样点进行采样前的点集中,得到更新后的特征;
输出模块110,用于基于所述更新后的特征得到所述待测目标的识别结果。
在此仅对基于点云的语义分割装置的主要功能模块进行说明,根据本发明实施例的基于点云的语义分割装置用于实现根据本发明实施例的基于点云的语义分割方法,重复的部分在此不再赘述。
下面结合图1和图2进行详细说明。
根据本发明实施例,步骤S1-1,获取目标对象的点云数据。
其中,点云数据由三维视觉传感器(如Lidar、Matterport)所产生。三维视觉传感器可以连续、自动、不接触、快速地采集大量的目标对象表面的三维点云数据。
根据本发明实施例,如图2所示,在步骤S1-1中,还可以包括:获取点云场景的点集并进行分割,得到若干个(即至少一个)点云块;
将每个点云块作为所述点云数据。
在一些实施例中,可以通过点云模块执行所述分割。
具体地,由于一个点云场景通常有上千万个激光散点,无法实现将如此大规模的点云直接输入到网络中。可以,通过点云模块将一个点云场景分割为若干块,每一块点云的数量例如大概为1万个点左右。每次将这1万左右进行随机采样得到8192个点作为输入数据按照根据本发明实施例的方法进行处理。此外,还可以将每一块点云的每个点初始特征为xyz坐标值,也可以作为输入数据按照根据本发明实施例的方法进行处理中。
根据本发明实施例,步骤S1-2,依次对所述点云数据中点的不同范围进行特征聚合和采样,得到采样点的聚合特征。
其中,步骤S1-2可以由至少一个特征聚合层执行。
在一些实施例中,所述对所述点云数据中不同范围的点集依次进行采样和特征聚合,得到所述不同范围的点集的聚合特征,包括:
依次串行处理所述点云数据中点的不同范围进行特征聚合和采样,前一范围的处理结果作为当前范围的输入;其中,对于每个范围,
以每个点为中心建立半径为R的第一球形坐标系,将所述第一球形坐标系的球形区域划分多个第一区域并设置相应的第一权重;
基于所述第一区域的第一权重,更新所述每个点的特征;
对更新后的点进行采样,得到采样点;
基于所述采样点在所述第一球形坐标系内搜索临近点得到临近点集合,将所述临近点集合中的最大值作为所述采样点的聚合特征。
在一些实施例中,基于所述第一区域的第一权重,更新所述每个点的特征,包括:
将每个第一区域的每个点的特征和所在第一区域的权重相乘并求和,然后后除以所述范围的点的数量,以更新所述范围内的每个点的特征。
在一些实施例中,对更新后的点进行采样,得到采样点,包括:
基于所述更新后的点采样最远点采样,得到所述采样点。
在一些实施例中,不同的范围具有不同的扩张率和/或不同的第一球形坐标系的半径。
具体地,如图2所示,特征聚合层模块102-105可以聚集点云数据中点的信息,使点获得更加丰富的特征。
第一个特征聚合层模块102:可以执行步骤102-1到步骤102-2,包括:
步骤102-1:建立图结构。具体地,用Pa表示上述步骤S1-1中获取的点云数据,例如包括8192个点。首先将每个点半径R=0.1m的球形区域建立球形坐标系,并对球形区域进行分块。参见图3,图3示出了根据本发明实施例的球形坐标系的示例,如图3所示,球形坐标系可以包括三个量方位角θ、仰角Φ、半径r。可以将方位角分为n等份,即每份大小为2π/n;将仰角分为p等份,即每份大小为π/p;将半径分为q等份,即每份大小为r/q。所以对于每个点在半径R=0.1m的球形区域,将这区域分为n*p*q份。又因为坐标系原点本身不输入其中任何一个区域,故将点本身独自划分为一个区域。所以每个点的球形区域一共被分为n*p*q+1份。参见图4,图4示出了根据本发明实施例的多个区域的二维示意图,如图4所示,可以对这些块区域进行编号,编号从0~n*p*q。其中,可以基于如下公式进行编号,其中编号为k:
Figure BDA0002937819600000081
Figure BDA0002937819600000082
其中,在进行球形分块和编号的同时,可以记录点云数据内有哪些点,并记录该点属于第几块区域。
步骤102-2:更新逐点特征模块。可以使用基于固定球形核的空洞卷积进行处理。定义d表示为扩张率,如图4所示,当d=1时,对编号为012345678这些区域都分别赋予一个权重;当d=2时,对编号为02468这些区域分别赋予一个权重;当d=3时,对编号为0369这些区域分别赋予一个权重。在特征聚合层102中,使用d=1的情况。设赋予权重的区域内点数的总和为count,将球形区域的每个点的特征和其对应的权重进行相乘,最后将所有点的特征按照对应通道进行相加求和后除以count更新坐标原点的新特征。坐标原点新的特征首先和其先前未更新前的特征进行拼接,即为残差连接。对于残差连接后的坐标原点的特征输入到MLP结构中以更加细化坐标原点的特征,输出仍是坐标原点的特征。可见,虽然基于空洞卷积能够加扩大感受野的范围,但是这也会导致各个区域之间会造成独立的现象。此时,可以通过加入残差网络的机制可以避免上述问题,同时也可以使得网络不过拟合。
步骤102-3:下采样点云模块。在此之前,仅仅是更新了逐点的特征,所以现在仍是8192个点,即Pa。通过使用最远点采样,对Pa进行尽可能均匀的采样得到较少的点集,用Pb表示。
步骤102-4:更新采样点特征模块。对于Pb中每一个点,在Pa的大规模点云中以Pb点为坐标原点在半径为R的区域内搜索临近点。假设点A的临近点集合为A-set,使用最大池化的方法将临近点集合A-set中同一个通道的特征选择最大的值作为点A该通道上的值,输出则为更新后点A的特征。然后,利用上述方法更新Pb中每个点的特征。
第二个特征聚合层模块103:输入为Pb的坐标以及Pb的特征。除了扩张率d=2和R=0.2m,其他参数设置与步骤102保持一致。步骤103输出采样后的点集Pc的坐标和Pc的特征。
第三个特征聚合层模块104:输入为Pc的坐标以及Pc的特征。除了扩张率d=2和R=0.4m,其他参数设置与步骤102保持一致。步骤104输出采样后的点集Pd的坐标和Pd的特征。
第四个特征聚合层模块105:输入为Pd的坐标以及Pd的特征。除了扩张率d=3和R=0.8m,其他参数设置与步骤102保持一致。步骤105输出采样后的点集Pe的坐标和Pe的特征。
根据本发明实施例,步骤S1-3,将所述采样点的聚合特征融合至所述采样点进行采样前的点集中,得到更新后的特征,包括:
依次串行处理所述采样点的聚合特征融合至所述采样点进行采样前的点集中;其中,对于每次所述融合,
确定输入点集的采样来源点集;
以所述采样来源点集中的点为原点,在输入点集上建立第二球形坐标系,并将所述第二球形坐标系的球形区域划分为多个第二区域,并设置相应的第二权重;
基于所述第二区域的第二权重,更新所述来源范围内的每个点的特征。
应了解,第一权重和第二权重可以根据需要进行设置,在此不做限制。
在一些实施例中,所述确定输入点集的采样来源点集,包括:通过检索确定所述输入点集由所述采样来源点集进行采样得到。
具体地,参见图2,特征传播模块106-109的可以将采样后点集Pe的特征传播到采样前点集Pd上。
第一个特征传播模块106:可以执行步骤106-1到步骤106-3,包括:
步骤106-1:上采样点云模块。对于输入的点集Pe,通过检索查明其是有点集Pd采样后得到的,同时获得Pd的特征。
步骤106-2:建立图结构模块。对于上采样点云模块输入的Pe的坐标和Pe的特征,以及Pd的坐标和Pd的特征。以Pd中每个点为坐标原点,在的Pe点集上建立球坐标系。其中R=0.8m,其余操作步骤与步骤102-1一致。两者不同在于步骤102-1建立的坐标系是在同一个点集上建立,步骤106-2建立的坐标系以一个点集Pd为坐标原点,在另一个点集Pe上建立坐标系。
步骤106-3:更新逐点特征模块。扩张率d=3,其他的操作与步骤102-2一致。整个模块最终输出为Pd的坐标和Pd的更新后特征。
第二个特征传播模块107:输入Pd的坐标和Pd的更新后特征。其中以Pc中每个点为坐标原点在点集Pd上建立球坐标系。在这一部分除了d=2和R=0.4m,其他操作与步骤106一致。该模块输出为Pc的坐标和Pc的更新后特征。
第三个特征传播模块108:输入Pc的坐标和Pc的更新后特征。其中以Pb中每个点为坐标原点在点集Pc上建立球坐标系。在这一部分除了d=2和R=0.2m,其他操作与步骤106一致。该模块输出为Pb的坐标和Pb的更新后特征。
第四个特征传播模块109:输入Pb的坐标和Pb的更新后特征。其中以Pa中每个点为坐标原点在点集Pb上建立球坐标系。在这一部分除了d=1和R=0.1m,其他操作与步骤106一致。该模块输出为Pa的坐标和Pa的更新后特征。
应了解,上述扩张率d和球形半径R仅为示例,并不旨在进行限制,上述扩张率d和球形半径R可以根据需要进行设置,在此不做限制。
根据本发明实施例,步骤S1-4中,基于所述更新后的特征得到所述待测目标的识别结果,可以包括:
对所述更新后的特征进行分类,得到所述识别结果。
具体地,参见图2,对于输入的Pa的坐标和Pa的特征,识别模块110可以基于一个全连接层分类网络,输入Pa的特征,输出Pa中每个点的类别。例如,该点的类别是桌子还是墙壁。
根据本发明的另一方面,提供一种基于点云的语义分割装置系统,包括存储器、以及处理器;
所述存储器存储用于实现根据本发明实施例的基于点云的语义分割方法中的相应步骤的程序代码;
所述处理器用于运行所述存储器中存储的程序代码,以执行以上根据本发明实施例的基于点云的语义分割方法的相应步骤。
在一个实施例中,在所述程序代码被所述处理器运行时执行以上根据本发明实施例的前述基于点云的语义分割方法的相应步骤。
此外,根据本发明的另一方面,还提供了一种计算机可读存储介质,在所述存储介质上存储了程序指令,在所述程序指令被计算机或处理器运行时用于执行本发明实施例的基于点云的语义分割方法的相应步骤,并且用于实现根据本发明实施例的基于点云的语义分割系统。
示例性地,所述计算机可读存储介质可以是一个或多个计算机可读存储介质的任意组合。
在一个实施例中,所述计算机程序指令在被计算机运行时可以实现根据本发明实施例的前述基于点云的语义分割方法。
由此可知,根据本发明实施例的基于点云的语义分割方法、装置、系统以及存储介质,通过利用对不同范围的点集依次进行采样和特征聚合来扩大点的感受野,使得获取更丰富的空间结构信息,以在点云语义分割上获得更好性能和效果。
尽管这里已经参考附图描述了示例实施例,应理解上述示例实施例仅仅是示例性的,并且不意图将本发明的范围限制于此。本领域普通技术人员可以在其中进行各种改变和修改,而不偏离本发明的范围和精神。所有这些改变和修改意在被包括在所附权利要求所要求的本发明的范围之内。
本领域的技术人员可以理解,除了特征之间相互排斥之外,可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述,本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
本发明的各个部件实施例可以以硬件实现,或者以在一个或者多个处理器上运行的数据模块实现,或者以它们的组合实现。本领域的技术人员应当理解,可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的物品分析设备中的一些模块的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的装置程序(例如,计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上,或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到,或者在载体信号上提供,或者以任何其他形式提供。
以上所述,仅为本发明的具体实施方式或对具体实施方式的说明,本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种基于点云的目标识别方法,其特征在于,所述方法包括:
获取目标对象的点云数据;
依次对所述点云数据中点的不同范围进行特征聚合和采样,得到采样点的聚合特征;
将所述采样点的聚合特征融合至所述采样点进行采样前的点集中,得到更新后的特征;
基于所述更新后的特征得到所述待测目标的识别结果。
2.如权利要求1所述的方法,其特征在于,依次对所述点云数据中点的不同范围进行特征聚合和采样,得到采样点的聚合特征,包括:
依次串行处理所述点云数据中点的不同范围进行特征聚合和采样,前一范围的处理结果作为当前范围的输入;其中,对于每个范围,
以每个点为中心建立半径为R的第一球形坐标系,将所述第一球形坐标系的球形区域划分多个第一区域并设置相应的第一权重;
基于所述第一区域的第一权重,更新所述每个点的特征;
对更新后的点进行采样,得到采样点;
基于所述采样点在所述第一球形坐标系内搜索临近点得到临近点集合,将所述临近点集合中的最大值作为所述采样点的聚合特征。
3.如权利要求2所述的方法,其特征在于,基于所述第一区域的第一权重,更新所述每个点的特征,包括:
将每个第一区域的每个点的特征和所在第一区域的权重相乘并求和,然后后除以所述范围的点的数量,以更新所述范围内的每个点的特征。
4.如权利要求2所述的方法,其特征在于,对更新后的点进行采样,得到采样点,包括:
基于所述更新后的点采样最远点采样,得到所述采样点。
5.如权利要求1-4中任一项所述的方法,其特征在于,不同的范围具有不同的扩张率和/或不同的第一球形坐标系的半径R。
6.如权利要求1所述的方法,其特征在于,将所述采样点的聚合特征融合至所述采样点进行采样前的点集中,得到更新后的特征,包括:
依次串行处理所述采样点的聚合特征融合至所述采样点进行采样前的点集中;其中,对于每次所述融合,
确定输入点集的采样来源点集;
以所述采样来源点集中的点为原点,在输入点集上建立第二球形坐标系,并将所述第二球形坐标系的球形区域划分为多个第二区域,并设置相应的第二权重;
基于所述第二区域的第二权重,更新所述来源范围内的每个点的特征。
7.如权利要求6所述的方法,其特征在于,所述确定输入点集的采样来源点集,包括:通过检索确定所述输入点集由所述采样来源点集进行采样得到。
8.一种基于点云的语义分割装置,其特征在于,所述装置包括:
点云模块,用于获取目标对象的点云数据;
特征聚合层,用于依次对所述点云数据中点的不同范围进行特征聚合和采样,得到采样点的聚合特征;
特征传播层,用于将所述采样点的聚合特征融合至所述采样点进行采样前的点集中,得到更新后的特征;
识别模块,用于基于所述更新后的特征得到所述待测目标的识别结果。
9.一种基于点云的语义分割系统,其特征在于,包括存储器、处理器及存储在所述存储器上且在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现根据权利要求1-7中任一项所述方法的步骤。
10.一种计算机存储介质,其上存储有计算机程序,所述计算机程序被计算机执行时实现权利要求1-7中任一项所述方法的步骤。
CN202110165797.0A 2021-02-06 2021-02-06 基于点云的语义分割方法、装置、系统及存储介质 Pending CN112883976A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110165797.0A CN112883976A (zh) 2021-02-06 2021-02-06 基于点云的语义分割方法、装置、系统及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110165797.0A CN112883976A (zh) 2021-02-06 2021-02-06 基于点云的语义分割方法、装置、系统及存储介质

Publications (1)

Publication Number Publication Date
CN112883976A true CN112883976A (zh) 2021-06-01

Family

ID=76055953

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110165797.0A Pending CN112883976A (zh) 2021-02-06 2021-02-06 基于点云的语义分割方法、装置、系统及存储介质

Country Status (1)

Country Link
CN (1) CN112883976A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113591556A (zh) * 2021-06-22 2021-11-02 长春理工大学 一种基于神经网络三体模型的三维点云语义分析方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113591556A (zh) * 2021-06-22 2021-11-02 长春理工大学 一种基于神经网络三体模型的三维点云语义分析方法

Similar Documents

Publication Publication Date Title
EP3746945B1 (en) Improving performance of neural network arrays
CN110188685B (zh) 一种基于双注意力多尺度级联网络的目标计数方法及系统
CN109685152B (zh) 一种基于dc-spp-yolo的图像目标检测方法
WO2022083536A1 (zh) 一种神经网络构建方法以及装置
Liu et al. Fg-net: A fast and accurate framework for large-scale lidar point cloud understanding
CN111028327A (zh) 一种三维点云的处理方法、装置及设备
KR101618996B1 (ko) 호모그래피를 추정하기 위한 샘플링 방법 및 영상 처리 장치
CN107301643B (zh) 基于鲁棒稀疏表示与拉普拉斯正则项的显著目标检测方法
CN112258512A (zh) 点云分割方法、装置、设备和存储介质
CN111008631B (zh) 图像的关联方法及装置、存储介质和电子装置
CN111414953A (zh) 点云分类方法和装置
CN113159232A (zh) 一种三维目标分类、分割方法
CN112529068B (zh) 一种多视图图像分类方法、系统、计算机设备和存储介质
CN111179270A (zh) 基于注意力机制的图像共分割方法和装置
CN115457492A (zh) 目标检测方法、装置、计算机设备及存储介质
CN112215199A (zh) 基于多感受野与密集特征聚合网络的sar图像舰船检测方法
CN114067075A (zh) 基于生成对抗网络的点云补全方法及装置
CN110427506B (zh) 空间数据边界处理方法、装置、计算机设备及存储介质
CN116503399A (zh) 基于yolo-afps的绝缘子污闪检测方法
WO2022191973A1 (en) Predicting geospatial measures
CN113159273B (zh) 一种神经网络的训练方法及相关设备
Lin et al. SAN: Scale-aware network for semantic segmentation of high-resolution aerial images
CN112883976A (zh) 基于点云的语义分割方法、装置、系统及存储介质
CN108507476B (zh) 用于材料表面的位移场测量方法、装置、设备及存储介质
CN112785651B (zh) 用于确定相对位姿参数的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination