CN110838122A - 点云的分割方法、装置及计算机存储介质 - Google Patents

点云的分割方法、装置及计算机存储介质 Download PDF

Info

Publication number
CN110838122A
CN110838122A CN201810935634.4A CN201810935634A CN110838122A CN 110838122 A CN110838122 A CN 110838122A CN 201810935634 A CN201810935634 A CN 201810935634A CN 110838122 A CN110838122 A CN 110838122A
Authority
CN
China
Prior art keywords
point cloud
layer
segmented
data
optimized
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810935634.4A
Other languages
English (en)
Other versions
CN110838122B (zh
Inventor
胡玮
特古斯
郭宗明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Peking University
Original Assignee
Peking University
Peking University Founder Group Co Ltd
Beijing Founder Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Peking University, Peking University Founder Group Co Ltd, Beijing Founder Electronics Co Ltd filed Critical Peking University
Priority to CN201810935634.4A priority Critical patent/CN110838122B/zh
Publication of CN110838122A publication Critical patent/CN110838122A/zh
Application granted granted Critical
Publication of CN110838122B publication Critical patent/CN110838122B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20Finite element generation, e.g. wire-frame surface description, tesselation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • G06T2207/10012Stereo images

Abstract

本发明提供了一种点云的分割方法、装置及计算机存储介质,获取待分割的点云数据,采用优化的图卷积神经网络模型对所述待分割的点云数据进行分割,输出所述待分割的点云数据的分割结果,本方案中获取待分割的点云数据之后,直接输入优化的图卷积神经网络模型进行分割,由于采用了图卷积运算,图卷积的运算量小,从而可以减小计算量,并且该经过优化的图卷积神经网络模型对点云数据能够更好的进行特征学习,提高了点云分割的准确性,从而提高了人工智能识别的准确性。

Description

点云的分割方法、装置及计算机存储介质
技术领域
本发明涉及点云分割技术领域,尤其涉及一种点云的分割方法、装置及计算机存储介质。
背景技术
点云在三维物体表示方面有着强大的性能,在无人驾驶、深度感知和语义分割等应用中是重要的一个部分,而点云分割在其中发挥着非常重要的作用。但是之前的深度学习方法并不能很好地学习点云的特征,因为点云自身固有的无序性和不规则性都很大的影响到直接端对端的学习。
传统的点云分割方法可以分为模型驱动和数据驱动两种。模型驱动方法的点云分割,包括基于边进行分割,区域扩张,模型匹配等步骤,这些步骤是基于对模型的先验信息而进行的,对噪声等干扰鲁棒性不高;数据驱动方法的点云分割,主要是从数据中学习语义,如深度学习,而典型的深度学习体系结构需要常规的输入数据格式,例如规则2D网格上的图像或3D网格上的体素,以便执行卷积和池化等操作,因此,对于不规则的三维点云,在将它们馈送到典型的卷积神经网络(Convolutional Neural Network,简称CNN)之前,需要将它们转换为规则的三维体素网格或图像集合,但是,这会在转换过程中引入量化误差,并导致产生过大体量的数据,计算量增大。
因此,如何减小计算量的同时又能够更好地进行点云分割,是本领域亟需解决的技术问题。
发明内容
有鉴于此,本申请提供了一种点云的分割方法、装置及计算机存储介质,用以提供一种既能减小计算量又能更好地进行点云分割的方案。
第一方面,本申请实施例提供了一种点云的分割方法,包括:
获取待分割的点云数据;
采用优化的图卷积神经网络模型对所述待分割的点云数据进行分割;
输出所述待分割的点云数据的分割结果。
可选的,所述优化的图卷积神经网络模型包括多个优化的图卷积特征学习层及分割层,所述每个优化后的图卷积特征学习层的算法相同;
所述采用优化的图卷积神经网络模型对所述待分割的点云数据进行分割,具体包括:
采用第一优化的图卷积特征学习层对所述待分割的点云数据进行特征学习,以获得第一层特征数据;
采用第N+1个优化的图卷积特征学习层对第N层特征数据进行学习,以获得第N+1层特征数据;
采用分割层对最后一层特征数据进行分割,以获得所述待分割点云数据的分割结果;
其中,N的取值为大于或等于1的整数。
可选的,所述采用第一优化的图卷积特征学习层对所述待分割的点云数据进行特征学习,以获得第一层特征数据,具体包括:
构建所述待分割点云数据的无向图;
将待分割点云数据与所述无向图进行图卷积运算,得到所述待分割点云数据的初始特征数据;
对所述初始特征数据进行特征学习,以获得第一层特征数据。
可选的,所述构建所述待分割点云数据的无向图,具体包括:
获取所述待分割点云数据中每个点的表征数据;
根据所述每个点的表征数据计算所述任意两点之间的距离;
将所述任意两点之间的距离作为所述任意两点之间的边的权重,根据点和边构建无向图,形成无向图对应的邻接矩阵;所述邻接矩阵的元素为对应两点之间的边的权重;
可选的,所述将待分割点云数据与所述无向图进行图卷积运算,得到所述待分割点云数据的初始特征数据,具体包括:
根据所述邻接矩阵生成无向图的拉普拉斯矩阵;
将所述拉普拉斯矩阵输入到优化的切比雪夫近似算法模型中,以在时域上计算待分割点云数据与所述无向图的卷积,获得图卷积结果。
可选的,所述对所述初始特征数据进行特征学习,以获得第一层特征数据,具体包括:
将所述图卷积结果输入到优化的ReLU激活函数模型中,进行特征学习;
从所述优化的ReLU激活函数模型中输出所述第一层特征数据。
可选的,所述采用分割层对最后一层特征数据进行分割,以获得所述待分割点云数据的分割结果,具体包括:
采用分割层中的多层感知机算法对最后一层特征数据进行分割,以获得所述待分割点云数据的分割结果。
可选的,所述采用优化的图卷积神经网络模型对所述待分割的点云数据进行分割之前,还包括:
采用训练样本对所述图卷积神经网络模型进行训练;
其中,所述图卷积神经网络模型包括:多个图卷积特征学习层及分割层。
可选的,所述采用训练样本对所述图卷积神经网络模型进行训练,具体包括:
采用训练样本对每个图卷积特征学习层进行训练。
可选的,所述采用训练样本对每个图卷积特征学习层进行训练,具体包括:
采用训练样本对每个图卷积特征学习层中的切比雪夫近似算法模型中的第一参数进行训练,得到优化后的第一参数;
对所述ReLU激活函数模型中的第二参数和第三参数进行训练,得到优化后的第二参数和第三参数。
第二方面,本申请实施例提供了一种点云的分割装置,包括:
获取模块,用于获取待分割的点云数据;
分割模块,用于采用优化的图卷积神经网络模型对所述待分割的点云数据进行分割;
输出模块,用于输出所述待分割的点云数据的分割结果。
可选的,所述优化的图卷积神经网络模型包括多个优化的图卷积特征学习层及分割层,所述每个优化后的图卷积特征学习层的算法相同;
相应的,所述分割模块,包括:
第一特征学习单元,用于采用第一优化的图卷积特征学习层对所述待分割的点云数据进行特征学习,以获得第一层特征数据;
第二特征学习单元,用于采用第N+1个优化的图卷积特征学习层对第N层特征数据进行学习,以获得第N+1层特征数据;
分割单元,用于采用分割层对最后一层特征数据进行分割,以获得所述待分割点云数据的分割结果;
其中,N的取值为大于或等于1的整数。
可选的,所述第一特征学习单元,包括:
构建子单元,用于构建所述待分割点云数据的无向图;
图卷积运算子单元,用于将待分割点云数据与所述无向图进行图卷积运算,得到所述待分割点云数据的初始特征数据;
特征学习子单元,用于对所述初始特征数据进行特征学习,以获得第一层特征数据。
可选的,所述构建子单元,具体用于获取所述待分割点云数据中每个点的表征数据;根据所述每个点的表征数据计算所述任意两点之间的距离;将所述任意两点之间的距离作为所述任意两点之间的边的权重,根据点和边构建无向图,形成无向图对应的邻接矩阵;所述邻接矩阵的元素为对应两点之间的边的权重;
可选的,所述图卷积运算子单元,具体用于根据所述邻接矩阵生成无向图的拉普拉斯矩阵;将所述拉普拉斯矩阵输入到优化的切比雪夫近似算法模型中,以在时域上计算待分割点云数据与所述无向图的卷积,获得图卷积结果。
可选的,所述特征学习子单元,具体用于将所述图卷积结果输入到优化的ReLU激活函数模型中,进行特征学习;从所述优化的ReLU激活函数模型中输出所述第一层特征数据。
可选的,所述分割单元,具体用于:
采用分割层中的多层感知机算法对最后一层特征数据进行分割,以获得所述待分割点云数据的分割结果。
可选的,所述装置还包括:
训练模块,用于在所述分割模块采用优化的图卷积神经网络模型对所述待分割的点云数据进行分割之前,采用训练样本对所述图卷积神经网络模型进行训练;其中,所述图卷积神经网络模型包括:多个图卷积特征学习层及分割层。
可选的,所述训练模块,具体用于采用训练样本对每个图卷积特征学习层进行训练。
可选的,所述训练模块,具体用于采用训练样本对每个图卷积特征学习层中的切比雪夫近似算法模型中的第一参数进行训练,得到优化后的第一参数;
所述训练模块,还具体用于对所述ReLU激活函数模型中的第二参数和第三参数进行训练,得到优化后的第二参数和第三参数。
第三方面,本申请实施例提供了一种点云的分割装置,包括:存储器和处理器;
所述存储器,用于存储计算机程序;
其中,所述处理器执行所述存储器中的计算机程序,以实现如权利要求1-10中任一项所述的方法。
第四方面,本申请实施例提供了一种计算机存储介质,所述计算机可读存储介质中存储有计算机程序,所述计算机程序被处理器执行时用于实现如权利要求1-10中任一项所述的方法。
与现有技术相比,本发明提供的点云的分割方法、装置、及计算机存储介质,获取待分割的点云数据之后,直接输入优化的图卷积神经网络模型进行分割,由于采用了图卷积运算,图卷积的运算量小,从而可以减小计算量,并且该经过优化的图卷积神经网络模型对点云数据能够更好的进行特征学习,提高了点云分割的准确性,从而提高了人工智能识别的准确性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例一提供的点云的分割方法的流程示意图;
图2为本发明实施例二提供的图卷积神经网络模型示意图;
图3为本发明实施例二提供的点云的分割方法的流程示意图;
图4为本发明实施例二提供的点云的分割方法步骤S201的流程示意图
图5为本申请实施例三提供的点云的分割装置的结构示意图;
图6为本申请实施例四提供的点云的分割装置的结构示意图;
图7为本申请实施例五提供的点云的分割装置的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
图卷积神经网络(Graph-CNN,简称GCNN)是将CNN推广到图结构,其考虑了图谱在光谱域中的卷积,以及利用了谱图理论,谱图理论主要研究图的谱性质和图的结构性质之间的关系,期望通过谱性质来刻画结构性质。基于GCNN,本申请提出了如下实施例。
实施例一
图1为本发明实施例一提供的点云的分割方法的流程示意图,如图1所示,该方法包括:
S101、获取待分割的点云数据。
S102、采用优化的图卷积神经网络模型对待分割的点云数据进行分割。
S103、输出待分割的点云数据的分割结果。
实际应用中,本实施例的执行主体可以为点云的分割装置。在实际应用中,该点云的分割装置可以通过虚拟装置,例如软件代码实现,也可以通过写入有相关执行代码的实体装置,例如,U盘实现,再或者,也可以通过集成有相关执行代码的实体装置实现,例如,芯片、智能机器人等。
结合实际场景进行示例:以本实施例的执行主体为智能机器人为例。实际应用中,以智能机器人对场景中多个三维物体进行识别为例,首先智能机器人可以通过其搭载的多种设备获取物体表面每个采样点的空间坐标,得到一个点的集合,该集合称之为点云。如智能机器人搭载是激光测距传感器,根据激光测量原理得到的点云,包括三维坐标(XYZ)和激光反射强度,如智能机器人搭载是摄像头,根据摄影测量原理得到的点云,包括三维坐标(XYZ)和颜色信息(RGB),而结合激光测量和摄影测量原理得到点云,就可以包括三维坐标、激光反射强度和颜色信息,点云的属性可以包括:空间分辨率,点位精度,表面法向量等。本申请中,获取待分割的点云数据之后,直接输入优化的图卷积神经网络模型进行分割,由于采用了图卷积运算,图卷积的运算量小,从而可以减小计算量。本申请中的GCNN是经过优化后的GCNN,优化的方式可以是对特征信号进行优化处理或者对图卷积层的数量进行优选等,优化方法可以有多种,本申请在此不做限定。通过该优化的图卷积神经网络模型可以更好地对点云数据进行特征学习,提高了点云分割的准确性。
本申请实施例提供的点云的分割方法,获取待分割的点云数据之后,直接输入优化的图卷积神经网络模型进行分割,由于采用了图卷积运算,图卷积的运算量小,从而可以减小计算量,并且该经过优化的图卷积神经网络模型对点云数据能够更好的进行特征学习,提高了点云分割的准确性,从而提高了人工智能识别的准确性。
实施例二
在上述实施例一的基础上,本申请实施例二提供的点云的分割方法中,优化的图卷积神经网络模型可以包括多个优化的图卷积特征学习层及分割层,并且每个优化后的图卷积特征学习层的算法相同;
具体地,如图2所示,优化的图卷积神经网络模型可以包括3个优化的图卷积特征学习层(第一至第三层图卷积特征学习层),并且3个图卷积特征学习层的算法相同,该网络模型中还包括1个分割层,实际应用中,还可以包括分类层,本申请在此不做限定。
相应的,图3为本发明实施例二提供的点云的分割方法的流程示意图,如图3所示,步骤S102,具体可以包括:
S201、采用第一优化的图卷积特征学习层对待分割的点云数据进行特征学习,以获得第一层特征数据。
具体地,如图2所示,将六维点云数据输入第一层图卷积特征学习层进行特征学习,可以获得输出的第一层特征数据。
S202、采用第N+1个优化的图卷积特征层对第N层特征数据进行学习,以获得第N+1层特征数据。
具体地,如图2所示,将第一层特征数据输入第一层图卷积特征学习层进行特征学习,可以获得输出的第二层特征数据,将第二层特征数据输入第三层图卷积特征学习层进行特征学习,可以获得输出的第三层特征数据,以此类推,可以理解,第N+1层特征数据相对于第N层特征数据更精确,但当第N+1层特征数据达到一定的精度后,无需设置更多的特征学习层来进行特征学习,以减少计算量。
S203、采用分割层对最后一层特征数据进行分割,以获得待分割点云数据的分割结果。
其中,N的取值为大于或等于1的整数。
为了更好的对获取的点云进行特征学习和分割,本实施例提供的点云的分割方法可以有多种实施方式。
一种实施方式中,上述步骤S201,如图4所示,具体可以包括:
S301、构建待分割点云数据的无向图。
具体地,利用谱图理论可以构建待分割点云数据的无向图,G={V,E,W},其中,V为图上顶点的集合,E为边的集合,W为带权邻接矩阵。W是一个N×N的实对称矩阵,wi,j是连接顶点i与顶点j的边的权重。
优选的,步骤S301,具体可以包括:
a、获取待分割点云数据中每个点的表征数据。
b、根据每个点的表征数据计算任意两点之间的距离。
具体地,可以根据公式exp(-β||pi-pj||2)计算任意两点之间的距离。
c、将任意两点之间的距离作为任意两点之间的边的权重,根据点和边构建无向图,形成无向图对应的邻接矩阵;所述邻接矩阵的元素为对应两点之间的边的权重。
具体地,可以根据两点之间的距离生成无向图对应的邻接矩阵A。
S302、将待分割点云数据与无向图进行图卷积运算,得到待分割点云数据的初始特征数据。
优选的,步骤S302,具体可以包括:
d、根据邻接矩阵生成无向图的拉普拉斯矩阵。
具体地,根据邻接矩阵A生成无向图的拉普拉斯矩阵
Figure BDA0001767759990000092
其中,D为度数矩阵。
e、将拉普拉斯矩阵输入到优化的切比雪夫近似算法模型中,以在时域上计算待分割点云数据与无向图的卷积,获得图卷积结果。
具体地,优化的切比雪夫近似算法模型可以为:
其中,θk为待学习参数,Tk为切比雪夫多项式,x为上一特征学习层输出的特征数据,可以理解,当特征学习层为第一层时,x为点云的初始特征数据。
S303、对初始特征数据进行特征学习,以获得第一层特征数据。
优选的,步骤S303,具体可以包括:
f、将图卷积结果输入到优化的ReLU激活函数模型中,进行特征学习;
g、从优化的ReLU激活函数模型中输出第一层特征数据。
具体地,将图卷积结果输入ReLU激活函数模型进行非线性变换,以获得第一层特征数据,ReLU激活函数模型可以为:y′=ReLU(yW+b),其中,W为带权邻接矩阵,b为偏移量。
为了更好的对点云数据进行分割,优选的,步骤S203具体可以采用分割层中的多层感知机算法(Multi-Layer Perceptron,简称MLP)对最后一层特征数据进行分割,以获得待分割点云数据的分割结果。值得一提的是本申请将特征数据平滑先验信息纳入了MLP的损失函数中,对MLP进行了优化。
具体地,在无向图G上定义的信号x,信号x相当于上述特征数据,如果满足下述条件式,那么称信号x相对于G的拓扑结构是平滑的,条件式为:
Figure BDA0001767759990000091
其中,∈是一个参数,i~j表示无向图G中相连的两个顶点。为了满足上述公式,xi和xj相对于权重较大的边时必须相似,对于权重较小的边时xi和xj可能完全不同。因此,上述公式强制x适应G的拓扑结构,从而创造了特征数据的平滑性。
为了更好的对点云数据进行分割,优选的,在步骤S102采用优化的图卷积神经网络模型对待分割的点云数据进行分割之前,还可以包括:
采用训练样本对所述图卷积神经网络模型进行训练;其中,所述图卷积神经网络模型包括:多个图卷积特征学习层及分割层。
具体的,可以采用训练样本对每个图卷积特征学习层进行训练,以优化图卷积特征学习层。
更具体的,首先,采用训练样本对每个图卷积特征学习层中的切比雪夫近似算法模型中的第一参数进行训练,得到优化后的第一参数,即待学习参数θk;其次,对ReLU激活函数模型中的第二参数和第三参数进行训练,得到优化后的第二参数和第三参数,其中,第二参数为带权邻接矩阵W和第三参数为偏移量b。
本实施例提供的点云的分割方法,通过对图卷积神经网络模型进行优化,优化后的图卷积神经网络模型对点云数据能够更好的进行特征学习,提高了点云分割的准确性,从而提高了人工智能识别的准确性。
下述为本申请装置实施例,可以用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节,请参照本申请方法实施例。
实施例三
图5为本申请实施例三提供的点云的分割装置的结构示意图。如图5所示,该装置包括:
获取模块610,用于获取待分割的点云数据。
分割模块620,用于采用优化的图卷积神经网络模型对待分割的点云数据进行分割。
输出模块630,用于输出待分割的点云数据的分割结果。
上述各个模块的详细内容参见上述图1对应的实施例中的描述。
本申请实施例提供的点云的分割装置,获取待分割的点云数据之后,直接输入优化的图卷积神经网络模型进行分割,由于采用了图卷积运算,图卷积的运算量小,从而可以减小计算量,并且该经过优化的图卷积神经网络模型对点云数据能够更好的进行特征学习,提高了点云分割的准确性,从而提高了人工智能识别的准确性。
实施例四
图6为本申请实施例四提供的点云的分割装置的结构示意图。该装置中,优化的图卷积神经网络模型包括多个优化的图卷积特征学习层及分割层,每个优化后的图卷积特征学习层的算法相同。
如图6所示,分割模块620,可以包括:
第一特征学习单元710,用于采用第一优化的图卷积特征学习层对待分割的点云数据进行特征学习,以获得第一层特征数据。
第二特征学习单元720,用于采用第N+1个优化的图卷积特征层对第N层特征数据进行学习,以获得第N+1层特征数据。
分割单元730,用于采用分割层对最后一层特征数据进行分割,以获得待分割点云数据的分割结果。
其中,N的取值为大于或等于1的整数。
优选的,第一特征学习单元710,可以包括:
构建子单元711,用于构建待分割点云数据的无向图。
图卷积运算子单元712,用于将待分割点云数据与无向图进行图卷积运算,得到待分割点云数据的初始特征数据。
特征学习子单元713,用于对初始特征数据进行特征学习,以获得第一层特征数据。
优选的,如图7所示的装置中,
构建子单元711,可以具体用于获取待分割点云数据中每个点的表征数据。根据每个点的表征数据计算任意两点之间的距离。将任意两点之间的距离作为任意两点之间的边的权重,根据点和边构建无向图,形成无向图对应的邻接矩阵;邻接矩阵的元素为对应两点之间的边的权重。
优选的,如图7所示的装置中,
图卷积运算子单元712,还可以具体用于根据邻接矩阵生成无向图的拉普拉斯矩阵。将拉普拉斯矩阵输入到优化的切比雪夫近似算法模型中,以在时域上计算待分割点云数据与无向图的卷积,获得图卷积结果。
优选的,如图7所示的装置中,
特征学习子单元711,具体可以用于将图卷积结果输入到优化的ReLU激活函数模型中,进行特征学习。从优化的ReLU激活函数模型中输出第一层特征数据。
优选的,分割单元730,具体可以采用分割层中的多层感知机算法对最后一层特征数据进行分割,以获得待分割点云数据的分割结果。
优选的,如图7所示的装置还可以包括:
训练模块640,用于在分割模块620采用优化的图卷积神经网络模型对待分割的点云数据进行分割之前,采用训练样本对图卷积神经网络模型进行训练;其中,图卷积神经网络模型包括:多个图卷积特征学习层及分割层。
优选的,训练模块640,具体用于采用训练样本对每个图卷积特征学习层进行训练。
更具体的,训练模块640,用于采用训练样本对每个图卷积特征学习层中的切比雪夫近似算法模型中的第一参数进行训练,得到优化后的第一参数;还用于对ReLU激活函数模型中的第二参数和第三参数进行训练,得到优化后的第二参数和第三参数。
上述各个模块的详细内容参见上述实施例二中的描述。
本实施例提供的点云的分割装置,通过对图卷积神经网络模型进行优化,优化后的图卷积神经网络模型对点云数据能够更好的进行特征学习,提高了点云分割的准确性,从而提高了人工智能识别的准确性。
实施例五
图7为本申请实施例五提供的点云的分割装置的结构示意图。如图7所示,本实施例提供点云的分割装置,包括:存储器810和处理器820。
存储器810,用于存储计算机程序。
其中,处理器820执行存储器810中的计算机程序,以实现如本发明实施例一至实施例二中任一项所述的方法。
实际应用中,本装置可以是智能机器人的一部分,与摄像头、激光测距传感器等设备配合使用,也可以单独使用,本申请在此不做限定。
本实施例中实现方法的详细内容参见上述各方法实施例中的描述。
实施例六
本申请实施例六提供了一种计算机存储介质,所述计算机可读存储介质中存储有计算机程序,计算机程序被处理器执行时用于实现如本发明实施例一至实施例二中任一项所述的方法。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的装置的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (14)

1.一种点云的分割方法,其特征在于,包括:
获取待分割的点云数据;
采用优化的图卷积神经网络模型对所述待分割的点云数据进行分割;
输出所述待分割的点云数据的分割结果。
2.根据权利要求1所述的方法,其特征在于,所述优化的图卷积神经网络模型包括多个优化的图卷积特征学习层及分割层,所述每个优化后的图卷积特征学习层的算法相同;
所述采用优化的图卷积神经网络模型对所述待分割的点云数据进行分割,具体包括:
采用第一优化的图卷积特征学习层对所述待分割的点云数据进行特征学习,以获得第一层特征数据;
采用第N+1个优化的图卷积特征学习层对第N层特征数据进行学习,以获得第N+1层特征数据;
采用分割层对最后一层特征数据进行分割,以获得所述待分割点云数据的分割结果;
其中,N的取值为大于或等于1的整数。
3.根据权利要求2所述的方法,其特征在于,所述采用第一优化的图卷积特征学习层对所述待分割的点云数据进行特征学习,以获得第一层特征数据,具体包括:
构建所述待分割点云数据的无向图;
将待分割点云数据与所述无向图进行图卷积运算,得到所述待分割点云数据的初始特征数据;
对所述初始特征数据进行特征学习,以获得第一层特征数据。
4.根据权利要求3所述的方法,其特征在于,所述构建所述待分割点云数据的无向图,具体包括:
获取所述待分割点云数据中每个点的表征数据;
根据所述每个点的表征数据计算所述任意两点之间的距离;
将所述任意两点之间的距离作为所述任意两点之间的边的权重,根据点和边构建无向图,形成无向图对应的邻接矩阵;所述邻接矩阵的元素为对应两点之间的边的权重。
5.根据权利要求4所述的方法,其特征在于,所述将待分割点云数据与所述无向图进行图卷积运算,得到所述待分割点云数据的初始特征数据,具体包括:
根据所述邻接矩阵生成无向图的拉普拉斯矩阵;
将所述拉普拉斯矩阵输入到优化的切比雪夫近似算法模型中,以在时域上计算待分割点云数据与所述无向图的卷积,获得图卷积结果。
6.根据权利要求5所述的方法,其特征在于,所述对所述初始特征数据进行特征学习,以获得第一层特征数据,具体包括:
将所述图卷积结果输入到优化的ReLU激活函数模型中,进行特征学习;
从所述优化的ReLU激活函数模型中输出所述第一层特征数据。
7.根据权利要求2所述的方法,其特征在于,所述采用分割层对最后一层特征数据进行分割,以获得所述待分割点云数据的分割结果,具体包括:
采用分割层中的多层感知机算法对最后一层特征数据进行分割,以获得所述待分割点云数据的分割结果。
8.根据权利要求1所述的方法,其特征在于,所述采用优化的图卷积神经网络模型对所述待分割的点云数据进行分割之前,还包括:
采用训练样本对所述图卷积神经网络模型进行训练;
其中,所述图卷积神经网络模型包括:多个图卷积特征学习层及分割层。
9.根据权利要求8所述的方法,其特征在于,所述采用训练样本对所述图卷积神经网络模型进行训练,具体包括:
采用训练样本对每个图卷积特征学习层进行训练。
10.根据权利要求9所述的方法,其特征在于,所述采用训练样本对每个图卷积特征学习层进行训练,具体包括:
采用训练样本对每个图卷积特征学习层中的切比雪夫近似算法模型中的第一参数进行训练,得到优化后的第一参数;
对所述ReLU激活函数模型中的第二参数和第三参数进行训练,得到优化后的第二参数和第三参数。
11.一种点云的分割装置,其特征在于,包括:
获取模块,用于获取待分割的点云数据;
分割模块,用于采用优化的图卷积神经网络模型对所述待分割的点云数据进行分割;
输出模块,用于输出所述待分割的点云数据的分割结果。
12.根据权利要求11所述的装置,其特征在于,所述优化的图卷积神经网络模型包括多个优化的图卷积特征学习层及分割层,所述每个优化后的图卷积特征学习层的算法相同;
相应的,所述分割模块,包括:
第一特征学习单元,用于采用第一优化的图卷积特征学习层对所述待分割的点云数据进行特征学习,以获得第一层特征数据;
第二特征学习单元,用于采用第N+1个优化的图卷积特征学习层对第N层特征数据进行学习,以获得第N+1层特征数据;
分割单元,用于采用分割层对最后一层特征数据进行分割,以获得所述待分割点云数据的分割结果;
其中,N的取值为大于或等于1的整数。
13.根据权利要求12所述的装置,其特征在于,所述第一特征学习单元,包括:
构建子单元,用于构建所述待分割点云数据的无向图;
图卷积运算子单元,用于将待分割点云数据与所述无向图进行图卷积运算,得到所述待分割点云数据的初始特征数据;
特征学习子单元,用于对所述初始特征数据进行特征学习,以获得第一层特征数据。
14.根据权利要求11所述的装置,其特征在于,所述装置还包括:
训练模块,用于在所述分割模块采用优化的图卷积神经网络模型对所述待分割的点云数据进行分割之前,采用训练样本对所述图卷积神经网络模型进行训练;其中,所述图卷积神经网络模型包括:多个图卷积特征学习层及分割层。
CN201810935634.4A 2018-08-16 2018-08-16 点云的分割方法、装置及计算机存储介质 Active CN110838122B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810935634.4A CN110838122B (zh) 2018-08-16 2018-08-16 点云的分割方法、装置及计算机存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810935634.4A CN110838122B (zh) 2018-08-16 2018-08-16 点云的分割方法、装置及计算机存储介质

Publications (2)

Publication Number Publication Date
CN110838122A true CN110838122A (zh) 2020-02-25
CN110838122B CN110838122B (zh) 2022-06-14

Family

ID=69574104

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810935634.4A Active CN110838122B (zh) 2018-08-16 2018-08-16 点云的分割方法、装置及计算机存储介质

Country Status (1)

Country Link
CN (1) CN110838122B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111369542A (zh) * 2020-03-06 2020-07-03 上海联影智能医疗科技有限公司 血管标记方法、图像处理系统和存储介质
CN111738086A (zh) * 2020-05-22 2020-10-02 上海交通大学 用于点云分割的构图方法、系统及点云分割系统、装置
CN112634281A (zh) * 2020-12-10 2021-04-09 浙江大学 一种基于图卷积网络的网格分割方法
CN113205465A (zh) * 2021-04-29 2021-08-03 上海应用技术大学 点云数据集分割方法及系统
CN113313830A (zh) * 2021-05-24 2021-08-27 华南理工大学 基于多分支图卷积神经网络的编码点云特征提取方法
CN113642712A (zh) * 2021-08-17 2021-11-12 成都视海芯图微电子有限公司 一种基于深度学习的点云数据处理器及方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103218817A (zh) * 2013-04-19 2013-07-24 深圳先进技术研究院 植物器官点云的分割方法和系统
CN103514598A (zh) * 2013-07-20 2014-01-15 北京航空航天大学 一种建筑sfm点云的自动分割方法
WO2015176305A1 (zh) * 2014-05-23 2015-11-26 中国科学院自动化研究所 人形图像分割方法
CN108319957A (zh) * 2018-02-09 2018-07-24 深圳市唯特视科技有限公司 一种基于超点图的大规模点云语义分割方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103218817A (zh) * 2013-04-19 2013-07-24 深圳先进技术研究院 植物器官点云的分割方法和系统
CN103514598A (zh) * 2013-07-20 2014-01-15 北京航空航天大学 一种建筑sfm点云的自动分割方法
WO2015176305A1 (zh) * 2014-05-23 2015-11-26 中国科学院自动化研究所 人形图像分割方法
CN108319957A (zh) * 2018-02-09 2018-07-24 深圳市唯特视科技有限公司 一种基于超点图的大规模点云语义分割方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
GUSI TE ET AL.: "RGCNN: Regularized Graph CNN for Point Cloud Segmentation", 《PROCEEDINGS OF THE 26TH ACM INTERNATIONAL CONFERENCE ON MULTIMEDIA》 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111369542A (zh) * 2020-03-06 2020-07-03 上海联影智能医疗科技有限公司 血管标记方法、图像处理系统和存储介质
CN111369542B (zh) * 2020-03-06 2023-07-28 上海联影智能医疗科技有限公司 血管标记方法、图像处理系统和存储介质
CN111738086A (zh) * 2020-05-22 2020-10-02 上海交通大学 用于点云分割的构图方法、系统及点云分割系统、装置
CN111738086B (zh) * 2020-05-22 2022-08-30 上海交通大学 用于点云分割的构图方法、系统及点云分割系统、装置
CN112634281A (zh) * 2020-12-10 2021-04-09 浙江大学 一种基于图卷积网络的网格分割方法
CN113205465A (zh) * 2021-04-29 2021-08-03 上海应用技术大学 点云数据集分割方法及系统
CN113205465B (zh) * 2021-04-29 2024-04-19 上海应用技术大学 点云数据集分割方法及系统
CN113313830A (zh) * 2021-05-24 2021-08-27 华南理工大学 基于多分支图卷积神经网络的编码点云特征提取方法
CN113313830B (zh) * 2021-05-24 2022-12-16 华南理工大学 基于多分支图卷积神经网络的编码点云特征提取方法
CN113642712A (zh) * 2021-08-17 2021-11-12 成都视海芯图微电子有限公司 一种基于深度学习的点云数据处理器及方法
CN113642712B (zh) * 2021-08-17 2023-08-08 成都视海芯图微电子有限公司 一种基于深度学习的点云数据处理器及方法

Also Published As

Publication number Publication date
CN110838122B (zh) 2022-06-14

Similar Documents

Publication Publication Date Title
CN110838122B (zh) 点云的分割方法、装置及计算机存储介质
JP6745328B2 (ja) 点群データを復旧するための方法及び装置
US20230054821A1 (en) Systems and methods for keypoint detection with convolutional neural networks
CN106204522B (zh) 对单个图像的联合深度估计和语义标注
US20200013176A1 (en) Stereo camera depth determination using hardware accelerator
US20220262093A1 (en) Object detection method and system, and non-transitory computer-readable medium
JP2019008571A (ja) 物体認識装置、物体認識方法、プログラム、及び学習済みモデル
CN112328715A (zh) 视觉定位方法及相关模型的训练方法及相关装置、设备
CN113781519A (zh) 目标跟踪方法和目标跟踪装置
US20230047211A1 (en) Method and system for automatic characterization of a three-dimensional (3d) point cloud
CN111008631A (zh) 图像的关联方法及装置、存储介质和电子装置
CN116958420A (zh) 一种数字人教师三维人脸的高精度建模方法
CN115222896A (zh) 三维重建方法、装置、电子设备及计算机可读存储介质
CN114758337A (zh) 一种语义实例重建方法、装置、设备及介质
Wang et al. Improved surface reconstruction using high-frequency details
WO2022003179A1 (en) Lidar mapping
CN110827341A (zh) 一种图片深度估计方法、装置和存储介质
CN114820755B (zh) 一种深度图估计方法及系统
CN115965788A (zh) 基于多视角图结构特征注意力卷积的点云语义分割方法
CN115908202A (zh) 基于展开式建模和多模态融合的ToF深度图像去噪方法
CN115391310A (zh) 数据迁移方法、装置、设备以及存储介质
CN115565072A (zh) 一种道路垃圾识别和定位方法、装置、电子设备及介质
CN115620082A (zh) 模型训练方法、头部姿态估计方法、电子设备及存储介质
CN115205487A (zh) 单目相机人脸重建方法及装置
CN114155406A (zh) 一种基于区域级特征融合的位姿估计方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20230328

Address after: 100871 No. 5, the Summer Palace Road, Beijing, Haidian District

Patentee after: Peking University

Address before: 100871 No. 5, the Summer Palace Road, Beijing, Haidian District

Patentee before: Peking University

Patentee before: PEKING UNIVERSITY FOUNDER GROUP Co.,Ltd.

Patentee before: BEIJING FOUNDER ELECTRONICS Co.,Ltd.