CN117496161A - 一种点云分割方法及装置 - Google Patents

一种点云分割方法及装置 Download PDF

Info

Publication number
CN117496161A
CN117496161A CN202311849507.XA CN202311849507A CN117496161A CN 117496161 A CN117496161 A CN 117496161A CN 202311849507 A CN202311849507 A CN 202311849507A CN 117496161 A CN117496161 A CN 117496161A
Authority
CN
China
Prior art keywords
node
point cloud
feature
edge
features
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311849507.XA
Other languages
English (en)
Other versions
CN117496161B (zh
Inventor
熊彪
朱睿姝
王嘉馨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University of Technology WUT
Original Assignee
Wuhan University of Technology WUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University of Technology WUT filed Critical Wuhan University of Technology WUT
Priority to CN202311849507.XA priority Critical patent/CN117496161B/zh
Publication of CN117496161A publication Critical patent/CN117496161A/zh
Application granted granted Critical
Publication of CN117496161B publication Critical patent/CN117496161B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/26Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • G06N3/0455Auto-encoder networks; Encoder-decoder networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G06V10/763Non-hierarchical techniques, e.g. based on statistics of modelling distributions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Abstract

本发明提供了一种点云分割方法及装置,其方法包括:对点云进行局部聚类,获得多个面片,并基于多个面片构建同质图结构;同质图结构包括多个节点、节点特征嵌入向量和高维边特征;基于自编码器对高维边特征进行降维,获得低维边特征,并基于低维边特征构建异质图结构;异质图结构包括多个节点、多个簇以及各簇的边特征嵌入向量,各簇包括至少一个低维边特征;基于边特征嵌入向量确定各节点的聚合节点特征;将聚合节点特征输入至分类器,确定节点的节点类型,并基于节点类型对点云进行分割。本发明采用异质图结构表示点云,从非欧几里得数据的视角重构点云,构造了点云之间的边关系,提高了点云分割的精度和准确性。

Description

一种点云分割方法及装置
技术领域
本发明涉及点云分割技术领域,具体涉及一种点云分割方法及装置。
背景技术
点云相关技术是工业测量、遥感领域等技术的基础。随着3D SLAM技术的发展,室内空间建模和精细测绘技术向自动化转型,这进一步要求了点云分割任务的准确度。例如:准确对室内空间三维点云进行分割,是准确获知室内空间的各个结构(如:墙壁、天花板和地面等),以实现室内高精度建模的前提。因此,为提高室内建模的准确性,需确保点云分割的精度和准确性。而点云呈现离散无序、非结构化的状态,在结构复杂、形态多样的场景下,这类数据往往难以处理,大大增加了分割任务开展的难度。
现有技术中点云分割算法根据数据表示可分为以下三种:1、多视图、SnapNet、Multiview-CNN等将三维数据从不同视角投影获得的二维渲染图,并沿用二维图像卷积神经网络对其进行处理。2、体素,VoxelNet提出将点云数据体素化,将其转换为空间上规则排布的栅格,采用有序存储,减小随机访问的用时,提高了运算效率。体素化后可直接采用三维卷积神经网络提取多尺度、多层次的局部特征。3、原始点云,PointNet提出了将纯点云作为输入的网络模型,保持了点云的无序性和变换不变性。
现有技术存在以下技术问题:1、多视图和体素方法会降低点云精度,且忽略了点云之间的结构信息,导致分割精度和准确性较低。2、原始点云方法无法有效提取点云特征,且弱化了相邻点之间的相关性,进一步地,机器学习主要依赖于先验知识且需假设所有数据为独立同分布,而真实世界中的数据相关性无处不在,此种处理方法无法捕捉点云这类非结构化数据丰富的邻接关系,从而忽视了点云数据的上下文语义之间的关联,导致点云分割精度和准确性较低。在室内建模场景中,点云分割精度和准确度较低时,将会导致建立的室内空间模型准确度较低。
因此,亟需提供一种点云分割方法及装置,用于解决上述技术问题。
发明内容
有鉴于此,有必要提供一种点云分割方法及装置,用以解决现有技术中存在的对点云分割时存在信息损失,导致点云分割精度和准确性较低,进而导致基于点云分割结果构建的模型准确性较低的技术问题。
一方面,本发明提供了一种点云分割方法,包括:
对点云进行局部聚类,获得多个面片,并基于所述多个面片构建同质图结构;所述同质图结构包括多个节点、节点特征嵌入向量和高维边特征;
基于自编码器对所述高维边特征进行降维,获得低维边特征,并基于所述低维边特征构建异质图结构;所述异质图结构包括所述多个节点、多个簇以及各所述簇的边特征嵌入向量,各所述簇包括至少一个低维边特征;
基于所述边特征嵌入向量确定各所述节点的聚合节点特征;
将所述聚合节点特征输入至分类器,确定所述节点的节点类型,并基于所述节点类型对所述点云进行分割。
在一些可能的实现方式中,所述对点云进行局部聚类,获得多个面片,包括:
获取所述点云的点云属性,所述点云属性包括颜色或粗糙度中的至少一种;
基于所述点云属性对所述点云进行局部聚类,获得所述多个面片。
在一些可能的实现方式中,所述基于所述多个面片构建同质图结构,包括:
将各所述面片作为所述同质图结构中的所述节点;
获取所述节点的初始特征,并将所述初始特征输入至点特征提取模型中,获得所述节点特征嵌入向量;
获取所述节点的节点位置,并基于所述节点位置和Delaunay三角网生成算法构建同质的网状结构,基于所述网状结构确定相邻节点对;
基于所述相邻节点对中各所述节点的节点特征嵌入向量确定初始边特征,并将所述初始边特征输入至边特征提取模型中,获得所述高维边特征。
在一些可能的实现方式中,所述点特征提取模型包括第一点云校准模块、第一多层感知机、第二点云校准模块、全局注意力模块以及第二多层感知机;
所述第一点云校准模块对所述初始特征进行校准,获得校准特征;
所述第一多层感知机对所述校准特征进行特征提取,获得高维特征向量;
所述第二点云校准模块用于将所述高维特征向量进行对齐处理,获得对齐特征,并将所述对齐特征与所述初始特征相加,获得中间特征向量;
所述全局注意力模块用于确定节点间相似系数,并将所述节点间相似系数与所述中间特征向量进行拼接,获得拼接特征;
所述第二多层感知机用于对所述拼接特征进行特征提取,获得所述节点特征嵌入向量。
在一些可能的实现方式中,所述自编码器包括编码器和解码器;所述基于自编码器对所述高维边特征进行降维,获得低维边特征,包括:
将所述高维边特征输入至所述编码器中进行降维,获得过渡低维边特征;
将所述过渡低维边特征输入至所述解码器中进行还原,获得过渡高维边特征;
确定所述高维边特征与所述过渡高维边特征的差值,并判断所述差值是否小于预设差值,若所述差值小于预设差值,则所述过渡低维边特征为所述低维边特征;若所述差值大于或等于预设差值,则调整所述自编码器。
在一些可能的实现方式中,所述基于所述低维边特征构建异质图结构,包括:
对所述低维边特征进行聚类,获得所述多个簇;
将各所述簇中的所述低维边特征输入至边特征提取模型中,获得各所述簇的边特征嵌入向量。
在一些可能的实现方式中,所述边特征提取模型包括依次连接的第一归一化层、升维层、激活层、分批层、空间变换层、合并层、降维层以及第二归一化层。
在一些可能的实现方式中,所述基于所述边特征嵌入向量确定各所述节点的聚合节点特征,包括:
基于节点级别自注意力模型确定节点与所述节点的邻居节点间的自注意力系数,并基于所述自注意力系数和所述初始特征确定所述节点的嵌入向量组;所述嵌入向量组包括所述节点对多个所述簇的多个嵌入向量;
基于语义级别自注意力模型对所述嵌入向量组进行自注意力学习,确定所述簇的权重;
基于所述嵌入向量组和所述权重确定所述聚合节点特征。
在一些可能的实现方式中,所述聚合节点特征为:
式中,为节点i的聚合节点特征;/>为第p簇的权重;/>为节点i对第p簇的嵌入向量;/>为取指数运算;/>为第p簇中的所有节点;/>为第p簇中的所有节点的节点个数;/>为节点i认为的第p簇的重要性;P为簇的总数量;/>为高维边特征映射到标量的权重矩阵;/>为超参数;/>为激活函数;/>为节点i的节点特征嵌入向量;/>为归一化操作;/>为节点j的初始特征;/>为节点i和节点j之间的自注意力系数;/>为共享参数;/>为将高维边特征映射到标量的操作;/>为节点j的节点特征嵌入向量;/>为拼接操作;/>为节点i和节点j之间的嵌入向量。
另一方面,本发明还提供了一种点云分割装置,包括:
同质图结构构建单元,用于对点云进行局部聚类,获得多个面片,并基于所述多个面片构建同质图结构;所述同质图结构包括多个节点、节点特征嵌入向量和高维边特征;
异质图结构构建单元,用于基于自编码器对所述高维边特征进行降维,获得低维边特征,并基于所述低维边特征构建异质图结构;所述异质图结构包括所述多个节点、多个簇以及各所述簇的边特征嵌入向量,各所述簇包括至少一个低维边特征;
聚合节点特征确定单元,用于基于所述边特征嵌入向量确定各所述节点的聚合节点特征;
点云分割单元,用于将所述聚合节点特征输入至分类器,确定所述节点的节点类型,并基于所述节点类型对所述点云进行分割。
采用上述实施例的有益效果是:本发明提供的点云分割方法,采用异质图结构表示点云,从非欧几里得数据的视角重构点云,构造了点云之间的边关系,充分捕捉了点云中邻接面片之间的关联性,刻画具有高层次抽象的邻接语义信息,消除了现有技术中损失相邻点关联性的技术问题,提高了点云分割的精度和准确性,进而提高了基于点云分割结果构建的模型准确度。
进一步地,本发明是将点云整体作为输入,而无需采用多视图或体素法表示点云,极大程度上避免了信息的损失,从而可进一步提高点云分割的精度和准确性,进而进一步提高了基于点云分割结果构建的室内空间模型准确度。
更进一步地,本发明通过自编码器对高维边特征进行降维后,基于获得的低维边特征构建异质图结构,在确保相邻面片之间的关联性的同时,大大提高了聚类的效率,进而提高了点云分割效率,从而可提高室内空间模型的构建效率。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单的介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明提供的点云分割方法的一个实施例流程示意图;
图2为本发明提供的获得多个面片的一个实施例流程示意图;
图3为本发明提供的构建同质图结构的一个实施例流程示意图;
图4为本发明提供的点特征提取模型的一个实施例结构示意图;
图5为本发明提供的获得低维边特征的一个实施例流程示意图;
图6为本发明提供的构建异质图结构的一个实施例流程示意图;
图7为本发明提供的边特征提取模型的一个实施例结构示意图;
图8为本发明图1中步骤S103的一个实施例流程示意图;
图9为本发明提供的点云分割装置的一个实施例结构示意图;
图10为本发明提供的点云分割设备的一个实施例结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述。显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整的描述。显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
应当理解,示意性的附图并未按实物比例绘制。本发明中使用的流程图示出了根据本发明的一些实施例实现的操作。应当理解,流程图的操作可以不按顺序实现,没有逻辑的上下文关系的步骤可以反转顺序或者同时实施。此外,本领域技术人员在本发明内容的指引下,可以向流程图添加一个或多个其他操作,也可以从流程图中移除一个或多个操作。附图中所示的一些方框图是功能实体,不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体,或在一个或多个硬件模块或集成电路中实现这些功能实体,或在不同网络和/或处理器系统和/或微控制器系统中实现这些功能实体。
本发明实施例中所涉及的“第一”“第二”等描述仅用于描述目的,而不能理解为指示或者暗示其相对重要性或者隐含指明所指示的技术特征的数量。因此,限定有“第一”“第二”的技术特征可以明示或者隐含地包括至少一个该特征。
在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其他实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其他实施例相结合。
本发明提供了一种点云分割方法及装置,以下分别进行说明。
图1为本发明提供的点云分割方法的一个实施例流程示意图,如图1所示,点云分割方法包括:
S101、对点云进行局部聚类,获得多个面片,并基于多个面片构建同质图结构;同质图结构包括多个节点、节点特征嵌入向量和高维边特征;
S102、基于自编码器对高维边特征进行降维,获得低维边特征,并基于低维边特征构建异质图结构;异质图结构包括多个节点、多个簇以及各簇的边特征嵌入向量,各簇包括至少一个低维边特征;
S103、基于边特征嵌入向量确定各节点的聚合节点特征;
S104、将聚合节点特征输入至分类器,确定节点的节点类型,并基于节点类型对点云进行分割。
与现有技术相比,本发明实施例提供的点云分割方法,采用异质图结构表示点云,从非欧几里得数据的视角重构点云,构造了点云之间的边关系,充分捕捉了点云中邻接面片之间的关联性,刻画具有高层次抽象的邻接语义信息,消除了现有技术中损失相邻点关联性的技术问题,提高了点云分割的精度和准确性,进而提高了基于点云分割结果构建的模型准确度。
进一步地,本发明实施例是将点云整体作为输入,而无需采用多视图或体素法表示点云,极大程度上避免了信息的损失,从而可进一步提高点云分割的精度和准确性,进而进一步提高了基于点云分割结果构建的室内空间模型准确度。
更进一步地,本发明实施例通过自编码器对高维边特征进行降维后,基于获得的低维边特征构建异质图结构,在确保相邻面片之间的关联性的同时,大大提高了聚类的效率,进而提高了点云分割效率,从而可提高室内空间模型的构建效率。
其中,步骤S101中的点云可为室内空间点云等任意场景下的点云。
需要说明的是:步骤S102中的自编码器可为LSTM(长短记忆,Long Short-TermMemory)自编码器或GRU(门控循环单元,Gate Recurrent Unit)自编码器中的任意一种。
在本发明的一些实施例中,如图2所示,步骤S101中的对点云进行局部聚类,获得多个面片,包括:
S201、获取点云的点云属性,点云属性包括颜色或粗糙度中的至少一种;
S202、基于点云属性对点云进行局部聚类,获得多个面片。
其中,当点云属性为颜色时,步骤S202具体为:将不同颜色的点云划分为不同的数据类。当点云属性为粗糙度时,步骤S202具体为:设定多个粗糙度区间,将每个粗糙度区间聚为一类。当点云属性为颜色和粗糙度时,步骤S202具体为:基于两个维度的属性设定聚类规则,基于聚类规则将点云进行局部聚类。
在本发明的一些实施例中,如图3所示,步骤S101中的基于多个面片构建同质图结构,包括:
S301、将各面片作为同质图结构中的节点;
S302、获取节点的初始特征,并将初始特征输入至点特征提取模型中,获得节点特征嵌入向量;
S303、获取节点的节点位置,并基于节点位置和Delaunay三角网生成算法构建同质的网状结构,基于网状结构确定相邻节点对;
S304、基于相邻节点对中各节点的节点特征嵌入向量确定初始边特征,并将初始边特征输入至边特征提取模型中,获得高维边特征。
其中,节点的初始特征包括但不限于节点的长度、表面积、体积等特征。
应当理解的是:Delaunay三角网生成算法为公知技术,在此不做具体赘述。
在本发明的具体实施例中,如图4所示,点特征提取模型包括第一点云校准模块、第一多层感知机(Multilayer Perceptron,MLP)、第二点云校准模块、全局注意力模块以及第二多层感知机;
第一点云校准模块对初始特征进行校准,获得校准特征;
第一多层感知机对校准特征进行特征提取,获得高维特征向量;
第二点云校准模块用于将高维特征向量进行对齐处理,获得对齐特征,并将对齐特征与初始特征相加,获得中间特征向量;
全局注意力模块用于确定节点间相似系数,并将节点间相似系数与中间特征向量进行拼接,获得拼接特征;
第二多层感知机用于对拼接特征进行特征提取,获得节点特征嵌入向量。
其中,第一点云校准模块和第二点云校准模块的网络结构为T-Net。
具体地,步骤S302具体为:首先输入第i个节点的初始特征,利用刚性变换不变性的第一点云校准模块,对点云进行校准,旋转出一个更容易用于分类的角度,即:校准特征;然后通过第一多层感知机对特征进行提取,得到高维特征向量,然后用第二点云校准模块对高维特征向量进行对齐处理,即在特征层面对点云进行变换,也涉及刚性变换不变性,再将对齐特征与点云的初始特征相加,得到中间特征向量,最后引入注意力(Attention)机制,即:利用全局注意力模块计算每两个节点间的相似系数,由此每个节点学习到了相应的全局特征,再与中间特征向量拼接获得拼接特征,接着将拼接特征输入到第二多层感知机中进行特征提取,获得节点特征嵌入向量。点特征提取模型的计算过程如下:
式中,为第i个节点的初始特征;/>为多层感知机操作;/>为校准操作;/>为全局注意力操作;/>为拼接操作;/>为中间特征向量;/>为节点特征嵌入向量。
需要说明的是:点特征提取模块的模型结构也可为PointNet、PointNet++、F-PointNet、Point Cloud Transformer等模型结构。
在本发明的一些实施例中,自编码器包括编码器和解码器;则如图5所示,步骤S102中的基于自编码器对高维边特征进行降维,获得低维边特征,包括:
S501、将高维边特征输入至编码器中进行降维,获得过渡低维边特征;
S502、将过渡低维边特征输入至解码器中进行还原,获得过渡高维边特征;
S503、确定高维边特征与过渡高维边特征的差值,并判断差值是否小于预设差值,若差值小于预设差值,则过渡低维边特征为低维边特征;若差值大于或等于预设差值,则调整自编码器。
本发明实施例通过在差值小于预设差值,将过渡低维边特征作为低维边特征,可使低维边特征具备高维边特征所含的所有信息,在实现降维的同时避免信息丢失,进而可确保点云分割精度。
在本发明的一些实施例中,如图6所示,步骤S102中的基于低维边特征构建异质图结构,包括:
S601、对低维边特征进行聚类,获得多个簇;
S602、将各簇中的低维边特征输入至边特征提取模型中,获得各簇的边特征嵌入向量。
具体地:一个边类型为一个簇,例如天花板和墙壁之间的垂直关系近似于墙壁和地板的垂直关系,窗户和墙壁的嵌入关系近似于门框和墙壁的嵌入关系,相近的邻接关系在语义层面聚集为同一类,即分为同一簇。
需要说明的是:步骤S602中的边特征提取模型与步骤S304中的边特征提取模型一致,具体地,如图7所示,边特征提取模型包括依次连接的第一归一化层、升维层、激活层、分批层、空间变换层、合并层、降维层以及第二归一化层。
在本发明的具体实施例中,低维边特征经过归一化、升维、激活后,按奇偶分为两组分批输入至空间变换层中,然后交叉点乘后合并,再经过降维、归一化,与低维边特征求和,得到边特征嵌入向量。
具体地,以第p簇的低维边特征为例,边特征提取模型的计算过程如下:
式中,为分批操作,具体为将数据按照索引的奇偶分为两组/>为激活函数;/>为归一化操作;/>为一组输入共享参数;/>为空间变换;/>为一组输出共享参数;/>为边特征嵌入向量。
初始边特征输入至边特征提取模型中进行特征提取的计算过程与上述计算过程相同,在此不作具体赘述。
在本发明的一些实施例中,如图8所示,步骤S103包括:
S801、基于节点级别自注意力模型确定节点与节点的邻居节点间的自注意力系数,并基于自注意力系数和初始特征确定节点的嵌入向量组;嵌入向量组包括节点对多个簇的多个嵌入向量;
S802、基于语义级别自注意力模型对嵌入向量组进行自注意力学习,确定簇的权重;
S803、基于嵌入向量组和权重确定聚合节点特征。
本发明实施例分别基于节点级别自注意力模型和语义级别自注意力模型对节点信息进行分层次、有差异的聚合,可进一步提高聚合出的聚合节点特征的代表性和差异性,进而进一步提高点云分割的准确度。具体地,节点级别自注意力模型的目的是计算与当前节点相邻的所有邻居节点对当前节点的重要性,语义级别自注意力模型的目的是学习每个簇的边的重要性。
在本发明的具体实施例中,聚合节点特征为:
式中,为节点i的聚合节点特征;/>为第p簇的权重;/>为节点i对第p簇的嵌入向量;/>为取指数运算;/>为第p簇中的所有节点;/>为第p簇中的所有节点的节点个数;/>为节点i认为的第p簇的重要性;P为簇的总数量;/>为高维边特征映射到标量的权重矩阵;/>为超参数;/>为激活函数;/>为节点i的节点特征嵌入向量;/>为归一化操作;/>为节点j的初始特征;/>为节点i和节点j之间的自注意力系数;/>为共享参数;/>为将高维边特征映射到标量的操作;/>为节点j的节点特征嵌入向量;/>为拼接操作;/>为节点i和节点j之间的嵌入向量。
在本发明的一些实施例中,步骤S104中的分类器为全连接层,即:基于全连接层实现聚合节点特征的分类。
综上所述,本发明实施例提供的点云分割方法,采用异质图结构表示点云,从非欧几里得数据的视角重构点云,构造了点云之间的边关系,充分捕捉了点云中邻接面片之间的关联性,即:充分捕捉了室内空间中不同类型物体之间的关联性,例如:天花板与墙壁之间为垂直关系、窗户与墙壁为嵌入关系等关联信息,刻画具有高层次抽象的邻接语义信息,消除了现有技术中损失相邻点关联性的技术问题,提高了点云分割的精度和准确性,进而提高了基于点云分割结果构建的室内空间模型准确度。
进一步地,本发明实施例是将点云整体作为输入,而无需采用多视图或体素法表示点云,极大程度上避免了信息的损失,从而可进一步提高点云分割的精度和准确性,进而进一步提高了基于点云分割结果构建的室内空间模型准确度。
更进一步地,本发明实施例通过自编码器对高维边特征进行降维后,基于获得的低维边特征构建异质图结构,在确保相邻面片之间的关联性的同时,大大提高了聚类的效率,进而提高了点云分割效率,从而可提高室内空间模型的构建效率。
为验证本发明实施例提出的点云分割算法的优越性,本发明实施例进行了时间效率和分割精度两个维度的验证。具体的:
使用自编码器降维后再聚类,相比于直接聚类,统计了50个同质图结构中边特征的聚类时间,使用本发明实施例中的自编码器的聚类平均耗时为0.36s,未降维的数据聚类平均耗时为2.05s,加速比达到5.63。
分割精度的验证结果如表1所示:
表1 不同点云分割方法在S3DIS数据集上语义分割性能对比
其中,OA(Overall Accuracy)指的是分类正确的样本个数占所有样本个数的比例,可以用来评估模型的整体分类准确率,越高表示模型在不同类别上的分割性能越好。
mIoU(Mean Intersection over Union)是指所有类别的IOU的平均值。mIoU可以用来评估模型在不同类别之间的性能差异,越高表示模型在不同类别上的分割性能越好。
mACC(Mean Accuracy)是指所有类别的像素分类正确率的平均值。mACC可以用来评估模型在不同类别之间的性能差异,并且能够反映出模型在像素分类方面的整体性能。
由表1可以看出:本发明的方法在三个维度的指标中,均具备较高值,即:本发明提出的点云分割方法在对点云进行分割时的分割精度较高。
为了更好实施本发明实施例中的点云分割方法,在点云分割方法基础之上,对应的,本发明实施例还提供了一种点云分割装置,如图9所示,点云分割装置900包括:
同质图结构构建单元901,用于对点云进行局部聚类,获得多个面片,并基于多个面片构建同质图结构;同质图结构包括多个节点、节点特征嵌入向量和高维边特征;
异质图结构构建单元902,用于基于自编码器对高维边特征进行降维,获得低维边特征,并基于低维边特征构建异质图结构;异质图结构包括多个节点、多个簇以及各簇的边特征嵌入向量,各簇包括至少一个低维边特征;
聚合节点特征确定单元903,用于基于边特征嵌入向量确定各节点的聚合节点特征;
点云分割单元904,用于将聚合节点特征输入至分类器,确定节点的节点类型,并基于节点类型对点云进行分割。
上述实施例提供的点云分割装置900可实现上述点云分割方法实施例中描述的技术方案,上述各模块或单元具体实现的原理可参见上述点云分割方法实施例中的相应内容,此处不再赘述。
如图10所示,本发明还相应提供了一种点云分割设备1000。该点云分割设备1000包括处理器1001、存储器1002及显示器1003。图10仅示出了点云分割设备1000的部分组件,但是应理解的是,并不要求实施所有示出的组件,可以替代的实施更多或者更少的组件。
处理器1001在一些实施例中可以是中央处理器(Central Processing Unit,CPU),微处理器或其他数据处理芯片,用于运行存储器1002中存储的程序代码或处理数据,例如本发明中的点云分割方法。
在一些实施例中,处理器1001可以是单个服务器或服务器组。服务器组可为集中式或分布式的。在一些实施例中,处理器1001可为本地的或远程的。在一些实施例中,处理器1001可实施于云平台。在一实施例中,云平台可包括私有云、公共云、混合云、社区云、分布式云、内部间、多重云等,或以上的任意组合。
存储器1002在一些实施例中可以是点云分割设备1000的内部存储单元,例如点云分割设备1000的硬盘或内存。存储器1002在另一些实施例中也可以是点云分割设备1000的外部存储设备,例如点云分割设备1000上配备的插接式硬盘,智能存储卡(Smart MediaCard,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。
进一步地,存储器1002还可既包括点云分割设备1000的内部储存单元也包括外部存储设备。存储器1002用于存储安装点云分割设备1000的应用软件及各类数据。
显示器1003在一些实施例中可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode,有机发光二极管)触摸器等。显示器1003用于显示在点云分割设备1000的信息以及用于显示可视化的用户界面。点云分割设备1000的部件1001-1003通过系统总线相互通信。
在一实施例中,当处理器1001执行存储器1002中的点云分割程序时,可实现以下步骤:
对点云进行局部聚类,获得多个面片,并基于多个面片构建同质图结构;同质图结构包括多个节点、节点特征嵌入向量和高维边特征;
基于自编码器对高维边特征进行降维,获得低维边特征,并基于低维边特征构建异质图结构;异质图结构包括多个节点、多个簇以及各簇的边特征嵌入向量,各簇包括至少一个低维边特征;
基于边特征嵌入向量确定各节点的聚合节点特征;
将聚合节点特征输入至分类器,确定节点的节点类型,并基于节点类型对点云进行分割。
应当理解的是:处理器1001在执行存储器1002中的点云分割程序时,除了上面的功能之外,还可实现其他功能,具体可参见前面相应方法实施例的描述。
进一步地,本发明实施例对提及的点云分割设备1000的类型不做具体限定,点云分割设备1000可以为手机、平板电脑、个人数字助理(personaldigital assistant,PDA)、可穿戴设备、膝上型计算机(laptop)等便携式点云分割设备。便携式点云分割设备的示例性实施例包括但不限于搭载IOS、android、microsoft或者其他操作系统的便携式点云分割设备。上述便携式点云分割设备也可以是其他便携式点云分割设备,诸如具有触敏表面(例如触控面板)的膝上型计算机(laptop)等。还应当理解的是,在本发明其他一些实施例中,点云分割设备1000也可以不是便携式点云分割设备,而是具有触敏表面(例如触控面板)的台式计算机。
相应地,本申请实施例还提供一种计算机可读存储介质,计算机可读存储介质用于存储计算机可读取的程序或指令,程序或指令被处理器执行时,能够实现上述各方法实施例提供的点云分割方法中的步骤或功能。
本领域技术人员可以理解,实现上述实施例方法的全部或部分流程,可以通过计算机程序来指令相关的硬件(如处理器,控制器等)来完成,计算机程序可存储于计算机可读存储介质中。其中,计算机可读存储介质为磁盘、光盘、只读存储记忆体或随机存储记忆体等。
以上对本发明所提供的点云分割方法及装置进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种点云分割方法,其特征在于,包括:
对点云进行局部聚类,获得多个面片,并基于所述多个面片构建同质图结构;所述同质图结构包括多个节点、节点特征嵌入向量和高维边特征;
基于自编码器对所述高维边特征进行降维,获得低维边特征,并基于所述低维边特征构建异质图结构;所述异质图结构包括所述多个节点、多个簇以及各所述簇的边特征嵌入向量,各所述簇包括至少一个低维边特征;
基于所述边特征嵌入向量确定各所述节点的聚合节点特征;
将所述聚合节点特征输入至分类器,确定所述节点的节点类型,并基于所述节点类型对所述点云进行分割。
2.根据权利要求1所述的点云分割方法,其特征在于,所述对点云进行局部聚类,获得多个面片,包括:
获取所述点云的点云属性,所述点云属性包括颜色或粗糙度中的至少一种;
基于所述点云属性对所述点云进行局部聚类,获得所述多个面片。
3.根据权利要求1所述的点云分割方法,其特征在于,所述基于所述多个面片构建同质图结构,包括:
将各所述面片作为所述同质图结构中的所述节点;
获取所述节点的初始特征,并将所述初始特征输入至点特征提取模型中,获得所述节点特征嵌入向量;
获取所述节点的节点位置,并基于所述节点位置和Delaunay三角网生成算法构建同质的网状结构,基于所述网状结构确定相邻节点对;
基于所述相邻节点对中各所述节点的节点特征嵌入向量确定初始边特征,并将所述初始边特征输入至边特征提取模型中,获得所述高维边特征。
4.根据权利要求3所述的点云分割方法,其特征在于,所述点特征提取模型包括第一点云校准模块、第一多层感知机、第二点云校准模块、全局注意力模块以及第二多层感知机;
所述第一点云校准模块对所述初始特征进行校准,获得校准特征;
所述第一多层感知机对所述校准特征进行特征提取,获得高维特征向量;
所述第二点云校准模块用于将所述高维特征向量进行对齐处理,获得对齐特征,并将所述对齐特征与所述初始特征相加,获得中间特征向量;
所述全局注意力模块用于确定节点间相似系数,并将所述节点间相似系数与所述中间特征向量进行拼接,获得拼接特征;
所述第二多层感知机用于对所述拼接特征进行特征提取,获得所述节点特征嵌入向量。
5.根据权利要求1所述的点云分割方法,其特征在于,所述自编码器包括编码器和解码器;所述基于自编码器对所述高维边特征进行降维,获得低维边特征,包括:
将所述高维边特征输入至所述编码器中进行降维,获得过渡低维边特征;
将所述过渡低维边特征输入至所述解码器中进行还原,获得过渡高维边特征;
确定所述高维边特征与所述过渡高维边特征的差值,并判断所述差值是否小于预设差值,若所述差值小于预设差值,则所述过渡低维边特征为所述低维边特征;若所述差值大于或等于预设差值,则调整所述自编码器。
6.根据权利要求1所述的点云分割方法,其特征在于,所述基于所述低维边特征构建异质图结构,包括:
对所述低维边特征进行聚类,获得所述多个簇;
将各所述簇中的所述低维边特征输入至边特征提取模型中,获得各所述簇的边特征嵌入向量。
7.根据权利要求6所述的点云分割方法,其特征在于,所述边特征提取模型包括依次连接的第一归一化层、升维层、激活层、分批层、空间变换层、合并层、降维层以及第二归一化层。
8.根据权利要求3所述的点云分割方法,其特征在于,所述基于所述边特征嵌入向量确定各所述节点的聚合节点特征,包括:
基于节点级别自注意力模型确定节点与所述节点的邻居节点间的自注意力系数,并基于所述自注意力系数和所述初始特征确定所述节点的嵌入向量组;所述嵌入向量组包括所述节点对多个所述簇的多个嵌入向量;
基于语义级别自注意力模型对所述嵌入向量组进行自注意力学习,确定所述簇的权重;
基于所述嵌入向量组和所述权重确定所述聚合节点特征。
9.根据权利要求8所述的点云分割方法,其特征在于,所述聚合节点特征为:
式中,为节点i的聚合节点特征;/>为第p簇的权重;/>为节点i对第p簇的嵌入向量;/>为取指数运算;/>为第p簇中的所有节点;/>为第p簇中的所有节点的节点个数;为节点i认为的第p簇的重要性;P为簇的总数量;/>为高维边特征映射到标量的权重矩阵;/>为超参数;/>为激活函数;/>为节点i的节点特征嵌入向量;/>为归一化操作;/>为节点j的初始特征;/>为节点i和节点j之间的自注意力系数;/>为共享参数;为将高维边特征映射到标量的操作;/>为节点j的节点特征嵌入向量;/>为拼接操作;/>为节点i和节点j之间的嵌入向量。
10.一种点云分割装置,其特征在于,包括:
同质图结构构建单元,用于对点云进行局部聚类,获得多个面片,并基于所述多个面片构建同质图结构;所述同质图结构包括多个节点、节点特征嵌入向量和高维边特征;
异质图结构构建单元,用于基于自编码器对所述高维边特征进行降维,获得低维边特征,并基于所述低维边特征构建异质图结构;所述异质图结构包括所述多个节点、多个簇以及各所述簇的边特征嵌入向量,各所述簇包括至少一个低维边特征;
聚合节点特征确定单元,用于基于所述边特征嵌入向量确定各所述节点的聚合节点特征;
点云分割单元,用于将所述聚合节点特征输入至分类器,确定所述节点的节点类型,并基于所述节点类型对所述点云进行分割。
CN202311849507.XA 2023-12-29 2023-12-29 一种点云分割方法及装置 Active CN117496161B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311849507.XA CN117496161B (zh) 2023-12-29 2023-12-29 一种点云分割方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311849507.XA CN117496161B (zh) 2023-12-29 2023-12-29 一种点云分割方法及装置

Publications (2)

Publication Number Publication Date
CN117496161A true CN117496161A (zh) 2024-02-02
CN117496161B CN117496161B (zh) 2024-04-05

Family

ID=89681441

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311849507.XA Active CN117496161B (zh) 2023-12-29 2023-12-29 一种点云分割方法及装置

Country Status (1)

Country Link
CN (1) CN117496161B (zh)

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102145557B1 (ko) * 2019-02-21 2020-08-18 재단법인대구경북과학기술원 이종 센서 간의 데이터 융합 장치 및 방법
CN111967271A (zh) * 2020-08-19 2020-11-20 北京大学 分析结果的生成方法、装置、设备及可读存储介质
WO2021157804A1 (ko) * 2020-02-09 2021-08-12 모션퀸㈜ 증강 현실 구현 방법 및 이를 수행하는 장치
CN113435461A (zh) * 2021-06-11 2021-09-24 中国地质大学(武汉) 一种点云局部特征提取方法、装置、设备及存储介质
CN114882256A (zh) * 2022-04-22 2022-08-09 中国人民解放军战略支援部队航天工程大学 基于几何与纹理映射的异源点云粗匹配方法
CN115019053A (zh) * 2022-06-01 2022-09-06 重庆理工大学 一种用于点云分类分割的动态图语义特征提取方法
CN115273029A (zh) * 2022-07-25 2022-11-01 上海人工智能创新中心 一种基于异构图卷积网络的智能体运动预测方法
WO2022252274A1 (zh) * 2021-05-31 2022-12-08 北京理工大学 基于PointNet网络点云分割及虚拟环境生成方法和装置
CN115512319A (zh) * 2022-09-15 2022-12-23 北京交通大学 基于异构图网络的多模态协同检测方法及系统
CN115830375A (zh) * 2022-11-25 2023-03-21 中国科学院自动化研究所 点云分类方法及装置
CN116597264A (zh) * 2023-05-17 2023-08-15 南京理工大学 融合二维图像语义的三维点云目标检测方法
CN116739940A (zh) * 2023-06-30 2023-09-12 天翼交通科技有限公司 一种点云补全的方法、装置、设备及介质
CN117036699A (zh) * 2023-07-31 2023-11-10 中央财经大学 一种基于Transformer神经网络的点云分割方法
CN117152183A (zh) * 2023-09-15 2023-12-01 山西大学 一种基于图调控网络的点云分割系统

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102145557B1 (ko) * 2019-02-21 2020-08-18 재단법인대구경북과학기술원 이종 센서 간의 데이터 융합 장치 및 방법
WO2021157804A1 (ko) * 2020-02-09 2021-08-12 모션퀸㈜ 증강 현실 구현 방법 및 이를 수행하는 장치
CN111967271A (zh) * 2020-08-19 2020-11-20 北京大学 分析结果的生成方法、装置、设备及可读存储介质
WO2022252274A1 (zh) * 2021-05-31 2022-12-08 北京理工大学 基于PointNet网络点云分割及虚拟环境生成方法和装置
CN113435461A (zh) * 2021-06-11 2021-09-24 中国地质大学(武汉) 一种点云局部特征提取方法、装置、设备及存储介质
CN114882256A (zh) * 2022-04-22 2022-08-09 中国人民解放军战略支援部队航天工程大学 基于几何与纹理映射的异源点云粗匹配方法
CN115019053A (zh) * 2022-06-01 2022-09-06 重庆理工大学 一种用于点云分类分割的动态图语义特征提取方法
CN115273029A (zh) * 2022-07-25 2022-11-01 上海人工智能创新中心 一种基于异构图卷积网络的智能体运动预测方法
CN115512319A (zh) * 2022-09-15 2022-12-23 北京交通大学 基于异构图网络的多模态协同检测方法及系统
CN115830375A (zh) * 2022-11-25 2023-03-21 中国科学院自动化研究所 点云分类方法及装置
CN116597264A (zh) * 2023-05-17 2023-08-15 南京理工大学 融合二维图像语义的三维点云目标检测方法
CN116739940A (zh) * 2023-06-30 2023-09-12 天翼交通科技有限公司 一种点云补全的方法、装置、设备及介质
CN117036699A (zh) * 2023-07-31 2023-11-10 中央财经大学 一种基于Transformer神经网络的点云分割方法
CN117152183A (zh) * 2023-09-15 2023-12-01 山西大学 一种基于图调控网络的点云分割系统

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
J. M. JURADO 等: "Semantic Segmentation of Natural Materials on a Point Cloud Using Spatial and Multispectral Features", 《SENSORS》, vol. 20, no. 8, 15 April 2020 (2020-04-15), pages 1 - 17 *
曾碧;黄文;: "一种融合多特征聚类集成的室内点云分割方法", 计算机工程, no. 03, 15 March 2018 (2018-03-15), pages 281 - 286 *
贾迪;朱宁丹;杨宁华;吴思;李玉秀;赵明远;: "图像匹配方法研究综述", 中国图象图形学报, no. 05, 16 May 2019 (2019-05-16), pages 17 - 39 *
邓安 等: "结合伪标签生成与噪声标签学习的弱监督点云分割", 计算机辅助设计与图形学学报, vol. 35, no. 2, 28 February 2023 (2023-02-28), pages 273 - 283 *

Also Published As

Publication number Publication date
CN117496161B (zh) 2024-04-05

Similar Documents

Publication Publication Date Title
Ikehata et al. Structured indoor modeling
US20240127068A1 (en) Deep learning system
US20210209797A1 (en) Point-based object localization from images
US9665791B2 (en) System and method for extracting dominant orientations from a scene
WO2020079494A1 (en) 3d scene synthesis techniques using neural network architectures
US9743019B2 (en) Multiplane panoramas of long scenes
KR101702996B1 (ko) 영상 처리를 위한 정렬 격자 및 그래프 운행
CN109255833A (zh) 基于语义先验和渐进式优化宽基线致密三维场景重建方法
WO2022193335A1 (zh) 点云数据处理方法、装置、计算机设备和存储介质
CN113177432B (zh) 基于多尺度轻量化网络的头部姿态估计方法、系统、设备及介质
Hirzer et al. Smart hypothesis generation for efficient and robust room layout estimation
CN108898669A (zh) 数据处理方法、装置、介质和计算设备
Wang et al. Fast SIFT feature matching algorithm based on geometric transformation
Stekovic et al. General 3d room layout from a single view by render-and-compare
Hasnat et al. Model-based hierarchical clustering with Bregman divergences and Fishers mixture model: application to depth image analysis
CN115375836A (zh) 基于多元置信度滤波的点云融合三维重建方法和系统
Guo et al. Line-based 3d building abstraction and polygonal surface reconstruction from images
CN114612612A (zh) 人体姿态估计方法及装置、计算机可读介质、电子设备
CN113793370B (zh) 三维点云配准方法、装置、电子设备及可读介质
CN117496161B (zh) 一种点云分割方法及装置
CN116385660A (zh) 室内单视图场景语义重建方法及系统
EP4293623A1 (en) Image depth prediction method and electronic device
CN114972146A (zh) 基于生成对抗式双通道权重分配的图像融合方法及装置
CN114972788A (zh) 一种三维点云的离群点提取方法及装置
Wang et al. Energy minimisation‐based multi‐class multi‐instance geometric primitives extraction from 3D point clouds

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant