CN111340145B - 点云数据分类方法、装置、分类设备 - Google Patents

点云数据分类方法、装置、分类设备 Download PDF

Info

Publication number
CN111340145B
CN111340145B CN202010422441.6A CN202010422441A CN111340145B CN 111340145 B CN111340145 B CN 111340145B CN 202010422441 A CN202010422441 A CN 202010422441A CN 111340145 B CN111340145 B CN 111340145B
Authority
CN
China
Prior art keywords
point cloud
information
point
cloud data
sampling
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010422441.6A
Other languages
English (en)
Other versions
CN111340145A (zh
Inventor
陈婷婷
其他发明人请求不公开姓名
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Digital Green Earth Technology Co.,Ltd.
Shenzhen lvtuzhi New Technology Co., Ltd
Original Assignee
Shenzhen Lyushi Intelligent Technology Co ltd
Beijing Greenvalley Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Lyushi Intelligent Technology Co ltd, Beijing Greenvalley Technology Co ltd filed Critical Shenzhen Lyushi Intelligent Technology Co ltd
Priority to CN202010422441.6A priority Critical patent/CN111340145B/zh
Publication of CN111340145A publication Critical patent/CN111340145A/zh
Application granted granted Critical
Publication of CN111340145B publication Critical patent/CN111340145B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/26Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请涉及一种点云数据分类方法、装置、分类设备。本申请通过计算用于反映点云基元之间关联性的基元关联信息,达到构建不同点云基元之间关联关系的目的,进而在通过基元分类模型确定每个所述点云基元的类别标签,顾及了物体层级(点云基元)的关联关系,使得原本在局部有歧义的物体能够在宏观层面得到正确的分类,提高了点云数据分类结果的准确率。

Description

点云数据分类方法、装置、分类设备
技术领域
本申请涉及点云数据处理技术领域,尤其涉及一种点云数据分类方法、装置、分类设备。
背景技术
激光扫描作为一种高科技的空间信息采集手段,具有精度高、细节丰富、采集效率高等特点,已经广泛应用于测绘、农业、林业、医疗、自动驾驶、规划设计、考古与文物保护记录等多个领域,其中,激光点云是通过激光扫描仪采集获得的数据,包括物体点三维坐标以及其它附加属性如强度值、时间等。
原始激光点云是测量范围内所有物体的采样点的集合,反应了物体总体的几何结构。而大部分应用还需要采样点的语义信息,即每个点的类别标签,如地面、植被、建筑物、车辆等。点的类别标签可以通过手动标注、半自动/自动分类算法获得。例如:在自动算法中,现有技术普遍通过分析每个点周围的邻域特征从而进行分类,然后对每个类别进行识别,从而确定每个采样点对应的类别标签。
但是,发明人在研究过程中发现,现有技术中对每个点的邻域特征进行分析的方式,只考虑到了局部信息,从而影响对点分类的精确度。
发明内容
为了解决上述现有技术中对每个点的邻域特征进行分析的方式,只考虑到了局部信息,从而影响对点分类的精确度的技术问题,本申请提供了一种点云数据分类方法、装置、分类设备。
第一方面,本申请提供了一种点云数据分类方法,所述方法包括:
确定待分类的点云数据和所述点云数据中每个采样点的特征信息;
基于每个采样点的所述特征信息将所述点云数据分割成多个点云基元,其中,所述点云基元中包含的若干个采样点的类别相同;
根据所述点云数据中每个采样点的所述特征信息确定用于反映点云基元之间关联性的基元关联信息;
将所述基元关联信息输入预设的基元分类模型中确定每个所述点云基元的类别标签,得到分类信息;
根据所述分类信息确定所述点云数据中每个所述采样点的类别标签。
可选地,所述基元分类模型包括:点网络模型和门控循环神经网络;将所述基元关联信息输入预设的基元分类模型中确定每个所述点云基元的类别标签,得到分类信息的步骤,包括:
将所述基元关联信息输入所述点网络模型提取每个所述点云基元的高维度特征,得到高维度特征信息;
将所述高维度特征信息输入所述门控循环神经网络将高维度特征信息匹配的相邻所述点云基元归类,得到分类信息。
可选地,根据所述点云数据中每个采样点的所述特征信息确定用于反映点云基元之间关联性的基元关联信息的步骤,包括:
根据所述点云数据中每个采样点的所述特征信息确定每个所述点云基元的位置信息;
根据多个所述点云基元的位置信息确定点云基元之间的相邻关系;
针对所述点云基元,根据所述点云基元中若干个所述采样点的所述特征信息确定所述点云基元的属性信息;
根据所述点云基元之间的相邻关系和每个所述点云基元的属性信息生成所述基元关联信息。
可选地,基于每个采样点的所述特征信息将所述点云数据分割成多个点云基元步骤,包括:
根据所述点云数据中每个采样点的所述特征信息构建用于反映任意两个相邻的采样点之间关联性的点关联信息;
基于所述点关联信息对所述点云数据进行分割,得到多个所述点云基元。
可选地,根据所述点云数据中每个采样点的所述特征信息构建用于反映任意两个相邻的采样点之间关联性的点关联信息的步骤,包括:
根据所述点云数据中每个采样点的所述特征信息确定所述采样点之间的相邻关系;
针对所述点云数据中每个采样点,根据所述采样点的特征信息确定所述采样点的属性信息;
根据所述采样点之间的相邻关系和每个所述采样点的属性信息生成所述点关联信息。
可选地,基于所述点关联信息对所述点云数据进行分割,得到多个所述点云基元,包括:
根据所述采样点之间的相邻关系确定存在相邻关系的采样点,并将所述存在相邻关系的采样点进行对比得到矢量差值;
依据多个存在相邻关系的采样点进行对比得到矢量差值,遍历所述点云数据对多个所述采样点进行分割,得到多个所述点云基元。
可选地,确定待分类的点云数据和所述点云数据中每个采样点的特征信息的步骤,包括:
针对每个所述采样点,搜索N个与所述采样点相邻的采样点,得到N个邻域点;
获取N个邻域点的空间信息;
将N个所述邻域点的空间信息输入特征提取模型中进行特征提取,得到所述采样点的特征信息。
第二方面,本申请提供了一种点云数据分类装置,包括:
第一确定模块,用于确定待分类的点云数据和所述点云数据中每个采样点的特征信息;
分割模块,用于基于每个采样点的所述特征信息将所述点云数据分割成多个点云基元,其中,所述点云基元中包含的若干个采样点的类别相同;
第二确定模块,用于根据所述点云数据中每个采样点的所述特征信息确定用于反映点云基元之间关联性的基元关联信息;
分类确定模块,用于将所述基元关联信息输入预设的基元分类模型中确定每个所述点云基元的类别标签,得到分类信息;
第三确定模块,用于根据所述分类信息确定所述点云数据中每个所述采样点的类别标签。
第三方面,本申请提供了一种点云数据分类设备,包括存储器、处理器,所述存储器中存储有可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述第一方面任一项所述的方法的步骤。
第四方面,本申请提供了一种具有处理器可执行的非易失的程序代码的计算机可读介质,所述程序代码使所述处理器执行第一方面任一所述方法。
本申请实施例提供的上述技术方案与现有技术相比具有如下优点:本申请包括:确定待分类的点云数据和所述点云数据中每个采样点的特征信息;基于每个采样点的所述特征信息将所述点云数据分割成多个点云基元,其中,所述点云基元中包含的若干个采样点的类别相同;根据所述点云数据中每个采样点的所述特征信息确定用于反映点云基元之间关联性的基元关联信息;将所述基元关联信息输入预设的基元分类模型中确定每个所述点云基元的类别标签,得到分类信息;根据所述分类信息确定所述点云数据中每个所述采样点的类别标签,本申请通过计算用于反映点云基元之间关联性的基元关联信息,达到构建不同点云基元之间关联关系的目的,进而在通过基元分类模型确定每个所述点云基元的类别标签,顾及了物体层级(点云基元)的关联关系,使得原本在局部有歧义的物体能够在宏观层面得到正确的分类,提高了点云数据分类结果的准确率。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本发明的实施例,并与说明书一起用于解释本发明的原理。
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,对于本领域普通技术人员而言,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种点云数据分类方法的流程图;
图2为本申请实施例提供的图1中步骤S101的流程图;
图3为本申请实施例提供的图1中步骤S102的流程图;
图4为本申请实施例提供的图3中步骤S301的流程图;
图5为本申请实施例提供的图3中步骤S302的流程图;
图6为本申请实施例提供的图1中步骤S103的流程图;
图7为本申请实施例提供的图1中步骤S104的流程图;
图8为本申请实施例提供的一种点云数据分类装置的示意图;
图9为本申请实施例提供的一种分类设备结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请的一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。
在实际应用中,采集到的激光点云数据反应了物体总体的几何结构,其中,激光点云数据包括若干个采样点,目前大部分应用还需要采样点的语义信息,即每个采样点的类别标签,如地面、植被、建筑物、车辆等,对于采样点少的点云数据样本可以采用人工批注的方式输入语义信息,但往往点云数据量庞大,所以一般采用自动标注的方式,通过分析每个采样点周围的邻域特征从而对采样点进行分类得到语义信息,但是逐个采样点进行分析,只考虑了局部信息,而没有从更加宏观的物体层面考虑空间上下文关系,即物体的相对位置关系。例如一个建筑物内部的屋顶和地面都是平面,通过局部特征分析得到信息高度一致,难以区分。但如果考虑到和墙面的相对关系则可以区分,因为地面位于墙面下,屋顶位于墙面上,所以在物体边界处容易出现分类错误的情况,分类精确度低,基于此,本发明提供了一种点云数据分类方法(即实际上是一种顾及上下文语义的激光点云多层次分割分类实施方法),如图1所示,所述方法包括:
步骤S101,确定待分类的点云数据和所述点云数据中每个采样点的特征信息;
在本发明实施例中,点云数据是指对实际物体进行扫描以后得到的若干个采样点,其中,每个采样点的三维坐标信息和属性信息(颜色值或强度值等)在扫描时都会被记录,即采样点的特征信息,本发明实施例对此不作具体限定,其他用于反映实际物体在该采样点的属性的信息也可以被记录,并保存为该采样点的特征信息。
在该步骤中,确定采样点的特征信息的方式可以采用读取的方式,或者根据采样点的属性信息以及三位坐标信息计算得到特征信息,具体实施方式可以根据实际情况而定。
步骤S102,基于每个采样点的所述特征信息将所述点云数据分割成多个点云基元;
在本发明实施例中,点云数据是多个采样点的集合,在实际应用中一组点云数据中可以包含了多个物体的采样点,所以需要根据每个采样点的特征信息对点云数据分割成多个均质的点云基元,一个基元是指相邻的属于同一类别的采样点的集合,所以点云基元中包含的若干个采样点的类别相同,另外,基元的形状和大小没有限制,具体可以根据分割结果而定。
在该步骤中,利用特征信息将点云数据分割成多个点云基元的步骤,可以利用图形分割算法,将特征相同的采样点集合成一个点云基元,从而将点云数据中的多个采样点进行分割组合,得到点云基元。
步骤S103,根据所述点云数据中每个采样点的所述特征信息确定用于反映点云基元之间关联性的基元关联信息;
在本发明实施例中,由于点云基元之间并非完全独立的,所以为了确定最佳分类方案,本发明实施根据点云数据中每个采样点的所述特征信息计算基元关联信息,以达到构建基元之间的关联关系的目的。
其中,构建基元之间关联性的基元关联信息的方法可以采用构建点云基元Graph的方式,例如:每一个点云基元作为一个Vertex(节点),相邻的基元间设置Edge(边),从而构建一个基元的Graph,并且每个点云基元都对应根据点云基元中包括的采样点的特征信息计算得到的局部特征信息,至此,构建得到的点云基元Graph即基元关联信息。
步骤S104,将所述基元关联信息输入预设的基元分类模型中确定每个所述点云基元的类别标签,得到分类信息;
在本发明实施中,分类信息是用于表示分割结果的信息,例如:点云数据中的A点云基元代表A物体,B点云基元代表B物体等等,可以采用根据包含多组基元关联信息和人工修正的分割结果的作为训练样本,利用训练样本对基元分类模型进行训练直至模型收敛,当基元分类模型的输出精度达到预设要求时,即可使用该基元分类模型对输入的基元关联信息进行分类,以确定每个所述点云基元的类别标签,得到分类信息。
步骤S105,根据所述分类信息确定所述点云数据中每个所述采样点的类别标签。
在本发明实施例中,类别标签是根据分类信息确定的,例如:a采样点属于A点云基元,根据分类信息可以确定A点云基元代表汽车,则可以确定a采样点的类别标签是“汽车中的采样点”或者“汽车”。
本发明实施例通过计算用于反映点云基元之间关联性的基元关联信息,达到构建不同点云基元之间关联关系的目的,进而在通过基元分类模型确定每个所述点云基元的类别标签,顾及了物体层级(点云基元)的关联关系,使得原本在局部有歧义的物体能够在宏观层面得到正确的分类,提高了点云数据分类结果的准确率,并且本发明实施例还通过先将点云数据进行分割的方式,把传统计算方式中逐点分类的问题分层次降为点云基元的分割及分类问题,降低了大规模上亿点云数据自动分类的计算量,提高了应用生产效率。
在本发明提供的又一实施例中,提供一种确定确定采样点特征信息信息的优选实施方式,如图2所示,步骤S101,确定待分类的点云数据和所述点云数据中每个采样点的特征信息的步骤,包括:
步骤S201,针对每个所述采样点,搜索N个与所述采样点相邻的采样点,得到N个邻域点;
步骤S202,获取N个邻域点的空间信息;
在本发明实施例中,N值是可以根据经验值确定的,在点云数据中每个采样点对应记录有空间信息,例如在实际激光扫描物体后,物体在实际空间中的物理信息会以数据的形式保存在采样点对应的空间信息(例如三维坐标矢量,以及其它的颜色值或强度值等等)中。
步骤S203,将N个所述邻域点的空间信息输入特征提取模型中进行特征提取,得到所述采样点的特征信息。
在本发明实施例中,特征提取模型的选取可以根据实际情况而定,例如:在激光点云分类计算的实际应用中,空间信息包括采样点的三维坐标矢量,以及其它属性值矢量(例如颜色值或强度值等等),针对每个采样点,将与采样点相邻的N个邻域点的空间信息输入到STN(Spatial Transformer Network,空间转换网络)中,由于STN加在卷积网络中能够使总体网络具有平移、旋转不变性,所以能够提高输出结果的准确性;其次再将STN输出的中间结果输入MLP(Multi-Layer Perceptron,多层感知器)进行继续处理,通过深层非线性网络,实现复杂函数逼近,从而提取中间结果的本质特征;然后将MLP输出的中间结果输入到Max-Pooling(最大池化)进行最大池化处理,使用池化处理可以使得中间结果特征即参数变少的同时,使得特征具有不变性(不旋转、不平移、不伸缩等)和稳定性;最后将Max-Pooling输出的中间结果再使用第二个MLP,着重提取当前采样点和领域的相对特征,一般设置输出一个4维的矢量,即得到了该采样点的特征信息。
在本发明实施例中,根据点云数据中的每个采样点的特征信息包括Embedding(神经网络中的“嵌入感念”),其原理是将原始数据通过神经网络降维,从而只保留所关注的特征,一般来说降维后得到4维数据处理的效果最佳,不仅能够保留尽可能多的保留所需的特征,还能够更加清晰的反映不同物体之间的边界,上述4维的数值是经过大量研究试验出来的有效的经验值(太高则计算量太大,太少则特征不足以分割基元)。
本发明实施例利用发明人自主布局的神经网路结果对包含多维度信息的采样点特征进行提取,不仅顾及了采样点邻域的点,还在尽可能减少特征拟合的情况下,精简神经网络,便于对海量采样点特性信息的进行提取,提高计算效率。
在本发明提供的又一实施例中,还提供了一种将点云数据分割的优选实施方式,如图3所示,步骤S102,基于每个采样点的所述特征信息将所述点云数据分割成多个点云基元步骤,包括:
步骤S301,根据所述点云数据中每个采样点的所述特征信息构建用于反映任意两个相邻的采样点之间关联性的点关联信息;
在本发明实施例中,为了综合考虑采样点领域的点的特征信息,本发明实施例通过构建用于反映任意两个相邻的采样点之间关联性的点关联信息,达到将相邻的采样点相关联的目的,进一步,如图4所示,步骤S301,根据所述点云数据中每个采样点的所述特征信息构建用于反映任意两个相邻的采样点之间关联性的点关联信息的步骤,包括:
步骤S401,根据所述点云数据中每个采样点的所述特征信息确定所述采样点之间的相邻关系;
步骤S402,针对所述点云数据中每个采样点,根据所述采样点的特征信息确定所述采样点的属性信息;
步骤S403,根据所述采样点之间的相邻关系和每个所述采样点的属性信息生成所述点关联信息。
本发明实施例利用构建点Graph的思想,对点云里面的所有采样点构建一个Graph(图),其中每一个采样点作为一个Vertex(节点,即针对所述点云数据中每个采样点,根据所述采样点的特征信息确定所述采样点的属性信息),在相邻的两个点之间加Edge(边,即根据所述点云数据中每个采样点的所述特征信息确定所述采样点之间的相邻关系),并且每个Vertex保存有采样点的特征信息,最后,再根据采样点之间的相邻关系和每个所述采样点的属性信息生成所述点关联信息生成点关联信息。
步骤S302,基于所述点关联信息对所述点云数据进行分割,得到多个所述点云基元。
在本发明实施例中,基于所述点关联信息对所述点云数据进行分割的方式具体可以使用Graph-cut(图割)算法,进一步地,如图5所示,步骤S302,基于所述点关联信息对所述点云数据进行分割,得到多个所述点云基元,包括:
步骤S501,根据所述采样点之间的相邻关系确定存在相邻关系的采样点,并将所述存在相邻关系的采样点进行对比得到矢量差值;
步骤S502,依据多个存在相邻关系的采样点进行对比得到矢量差值,遍历所述点云数据对多个所述采样点进行分割,得到多个所述点云基元。
在本发明实施例中,可以将相邻Edge中两个采样点的特征信息对比得到矢量差值,然后将差异较大的部分设置较大的能量数值;在对比差异较小的部分设置较低的能量数值,从而达到整体能量最小的目的,分割最优的结果,得到多个所述点云基元。在实际应用中,本发明实施例通过在基元分割中引入的Graph-Cut分割算法,设置能量的时候,根据采样点的特征信息(最佳为4维的矢量)的对比性,设置不同的能量。进而用Graph-Cut算法来分割(总体能量最优化),利用基于对比性的基元分割优化了物体边界,解决了现有技术对物体边界区分不清的难点,因此提高了分割的有效性。此外Graph-Cut并不只是2D图像的分割算法,只是在图像用的比较多而已。本质上,只要一个分割任务能够列成Vertex、Edge组成的Graph,并能够设置能量最优化的方式,都是Graph-Cut。
在本发明提供的又一实施例中,还提供了一种基于Graph-Cut方法构建基元关联信息的方式,如图6所示,步骤S103,根据所述点云数据中每个采样点的所述特征信息确定用于反映点云基元之间关联性的基元关联信息的步骤,包括:
步骤S601,根据所述点云数据中每个采样点的所述特征信息确定每个所述点云基元的位置信息;
步骤S602,根据多个所述点云基元的位置信息确定点云基元之间的相邻关系;
步骤S603,针对所述点云基元,根据所述点云基元中若干个所述采样点的所述特征信息确定所述点云基元的属性信息;
步骤S604,根据所述点云基元之间的相邻关系和每个所述点云基元的属性信息生成所述基元关联信息。
本发明实施例利用构建点Graph的思想,对多个点云基元构建一个Graph(图),其中每一个点云基元作为一个Vertex(节点,即根据所述点云基元中若干个所述采样点的所述特征信息确定所述点云基元的属性信息),在相邻的两个点之间加Edge(边,即先根据所述点云数据中每个采样点的所述特征信息确定每个所述点云基元的位置信息;再根据多个所述点云基元的位置信息确定点云基元之间的相邻关系),并且每个Vertex保存有点云基元的属性信息,最后,根据所述点云基元之间的相邻关系和每个所述点云基元的属性信息生成所述基元关联信息,从而达到利用基元Graph和GRU在基元之间传递信息的目的,通过顾及了物体层级的长距上下文关系,使得原本在局部有歧义的物体能够在宏观层面得到正确的分类,提高了实际数据处理流程中的准确率。
发明人在实际应用中发现,即便已经确定了点云基元之间的关系,但是可能由于点云基元之间的关系复杂(对比度低)或者数量庞大,所以也难以从错综复杂的点云基元的集合中将点云基元分类,基于此,在本发明提供的又一实施例中,如图7所示,所述基元分类模型包括:点网络模型和门控循环神经网络;步骤S104,将所述基元关联信息输入预设的基元分类模型中确定每个所述点云基元的类别标签,得到分类信息的步骤,包括:
步骤S701,将所述基元关联信息输入所述点网络模型提取每个所述点云基元的高维度特征,得到高维度特征信息;
在本发明实施例中,设置点网络模型的目的是将每一个基元降采样为K个点,得到他们的高维度特征(例如:三维坐标矢量,以及颜色值或强度值等属性值),如果不够将剩余维度设置为空白矢量,最终得到包含每个点云基元的高维度特征和每个点云基元特征的高纬度特征信息,本发明实施例利用点网络模型能够从无序点云中提取点云基元的高维度的特征,可以理解为在不拟合特征的情况下,尽可能提取所关注的特征信息,以满足分类任务的需求。
步骤S702,将所述高维度特征信息输入所述门控循环神经网络将高维度特征信息匹配的相邻所述点云基元归类,得到分类信息。
在本发明实施例中,将上一步点网络模型输出的高维度特征信息输入到GRU(Gated Recurrent Unit-门控循环单元)网络中进行处理,获得最终分类结果。具体地,由于GRU网络可以接受一个当前的输入和另外节点传递下来的Hidden State(隐状态),这个隐状态包含了其它节点的信息(即另一个点云基元传递的信息),特别的,每个点云基元所对应的GRU需要与其它相邻点云基元的GRU相连(与点云基元Graph中的Edge对应),所以,相连的GRU能够互相传递信息,从而达到顾及空间上下文的目的,再结合当前输入和其它节点的隐藏状态,即可考虑所有节点之间的上下文联系,最终输出层与每个点云基元的匹配的分类信息,因此本发明实施例最终通过将所述高维度特征信息输入所述门控循环神经网络将高维度特征信息匹配的相邻所述点云基元归类,顾及了物体层级(点云基元)的关联关系,使得原本在局部有歧义的物体能够在宏观层面得到正确的分类,达到提高了点云数据分类结果的准确率的目的。
在本发明提供的又一实施例中还提供了一种点云数据分类装置,如图8所示,包括:
第一确定模块01,用于确定待分类的点云数据和所述点云数据中每个采样点的特征信息;
分割模块02,用于基于每个采样点的所述特征信息将所述点云数据分割成多个点云基元,其中,所述点云基元中包含的若干个采样点的类别相同;
第二确定模块03,用于根据所述点云数据中每个采样点的所述特征信息确定用于反映点云基元之间关联性的基元关联信息;
分类确定模块04,用于将所述基元关联信息输入预设的基元分类模型中确定每个所述点云基元的类别标签,得到分类信息;
第三确定模块05,用于根据所述分类信息确定所述点云数据中每个所述采样点的类别标签。
在本发明的又一实施例中,还提供一种分类设备,包括:处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的程序时,实现方法实施例所述的通道方法。
本发明实施例提供的分类设备,处理器通过执行存储器上所存放的程序实现了通过计算用于反映点云基元之间关联性的基元关联信息,达到构建不同点云基元之间关联关系的目的,进而在通过基元分类模型确定每个所述点云基元的类别标签,顾及了物体层级(点云基元)的关联关系,使得原本在局部有歧义的物体能够在宏观层面得到正确的分类,提高了点云数据分类结果的准确率,并且本发明实施例还通过先将点云数据进行分割的方式,把传统计算方式中逐点分类的问题分层次降为点云基元的分割及分类问题,降低了大规模上亿点云数据自动分类的计算量,提高了应用生产效率。
上述分类设备提到的通信总线1140可以是外设部件互连标准(PeripheralComponentInterconnect,简称PCI)总线或扩展工业标准结构(ExtendedIndustryStandardArchitecture,简称EISA)总线等。该通信总线1140可以分为地址总线、数据总线、控制总线等。为便于表示,图9中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
通信接口1120用于上述分类设备与其他设备之间的通信。
存储器1130可以包括随机存取存储器(RandomAccessMemory,简称RAM),也可以包括非易失性存储器(non-volatilememory),例如至少一个磁盘存储器。可选的,存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器1110可以是通用处理器,包括中央处理器(CentralProcessingUnit,简称CPU)、网络处理器(NetworkProcessor,简称NP)等;还可以是数字信号处理器(DigitalSignalProcessing,简称DSP)、专用集成电路(ApplicationSpecificIntegratedCircuit,简称ASIC)、现场可编程门阵列(Field-ProgrammableGateArray,简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本发明的又一实施例中,还提供一种计算机可读存储介质,所述计算机可读存储介质上存储有信息传输方法的程序,所述信息传输方法的程序被处理器执行时实现方法实施例所述的信息传输方法的步骤。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机程序指令时,全部或部分地产生按照本发明实施例的流程或功能。计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘SolidStateDisk(SSD))等。
需要说明的是,在本文中,诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅是本发明的具体实施方式,使本领域技术人员能够理解或实现本发明。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。

Claims (8)

1.一种点云数据分类方法,其特征在于,所述方法包括:
确定待分类的点云数据和所述点云数据中每个采样点的特征信息;
基于每个采样点的所述特征信息将所述点云数据分割成多个点云基元,其中,所述点云基元中包含的若干个采样点的类别相同;
根据所述点云数据中每个采样点的所述特征信息确定用于反映点云基元之间关联性的基元关联信息;
将所述基元关联信息输入预设的基元分类模型中确定每个所述点云基元的类别标签,得到分类信息;
根据所述分类信息确定所述点云数据中每个所述采样点的类别标签;
所述基元分类模型包括:点网络模型和门控循环神经网络;将所述基元关联信息输入预设的基元分类模型中确定每个所述点云基元的类别标签,得到分类信息的步骤,包括:
将所述基元关联信息输入所述点网络模型提取每个所述点云基元的高维度特征,得到高维度特征信息;
将所述高维度特征信息输入所述门控循环神经网络将高维度特征信息匹配的相邻所述点云基元归类,得到分类信息。
2.根据权利要求1所述的点云数据分类方法,其特征在于,根据所述点云数据中每个采样点的所述特征信息确定用于反映点云基元之间关联性的基元关联信息的步骤,包括:
根据所述点云数据中每个采样点的所述特征信息确定每个所述点云基元的位置信息;
根据多个所述点云基元的位置信息确定点云基元之间的相邻关系;
针对所述点云基元,根据所述点云基元中若干个所述采样点的所述特征信息确定所述点云基元的属性信息;
根据所述点云基元之间的相邻关系和每个所述点云基元的属性信息生成所述基元关联信息。
3.根据权利要求1所述的点云数据分类方法,其特征在于,基于每个采样点的所述特征信息将所述点云数据分割成多个点云基元步骤,包括:
根据所述点云数据中每个采样点的所述特征信息构建用于反映任意两个相邻的采样点之间关联性的点关联信息;
基于所述点关联信息对所述点云数据进行分割,得到多个所述点云基元。
4.根据权利要求3所述的点云数据分类方法,其特征在于,根据所述点云数据中每个采样点的所述特征信息构建用于反映任意两个相邻的采样点之间关联性的点关联信息的步骤,包括:
根据所述点云数据中每个采样点的所述特征信息确定所述采样点之间的相邻关系;
针对所述点云数据中每个采样点,根据所述采样点的特征信息确定所述采样点的属性信息;
根据所述采样点之间的相邻关系和每个所述采样点的属性信息生成所述点关联信息。
5.根据权利要求4所述的点云数据分类方法,其特征在于,基于所述点关联信息对所述点云数据进行分割,得到多个所述点云基元,包括:
根据所述采样点之间的相邻关系确定存在相邻关系的采样点,并将所述存在相邻关系的采样点进行对比得到矢量差值;
依据多个存在相邻关系的采样点进行对比得到矢量差值,遍历所述点云数据对多个所述采样点进行分割,得到多个所述点云基元。
6.根据权利要求1所述的点云数据分类方法,其特征在于,确定待分类的点云数据和所述点云数据中每个采样点的特征信息的步骤,包括:
针对每个所述采样点,搜索N个与所述采样点相邻的采样点,得到N个邻域点;
获取N个邻域点的空间信息;
将N个所述邻域点的空间信息输入特征提取模型中进行特征提取,得到所述采样点的特征信息。
7.一种点云数据分类装置,其特征在于,包括:
第一确定模块,用于确定待分类的点云数据和所述点云数据中每个采样点的特征信息;
分割模块,用于基于每个采样点的所述特征信息将所述点云数据分割成多个点云基元,其中,所述点云基元中包含的若干个采样点的类别相同;
第二确定模块,用于根据所述点云数据中每个采样点的所述特征信息确定用于反映点云基元之间关联性的基元关联信息;
分类确定模块,用于将所述基元关联信息输入预设的基元分类模型中确定每个所述点云基元的类别标签,得到分类信息;所述基元分类模型包括:点网络模型和门控循环神经网络;将所述基元关联信息输入预设的基元分类模型中确定每个所述点云基元的类别标签,得到分类信息的步骤,包括:
将所述基元关联信息输入所述点网络模型提取每个所述点云基元的高维度特征,得到高维度特征信息;
将所述高维度特征信息输入所述门控循环神经网络将高维度特征信息匹配的相邻所述点云基元归类,得到分类信息;
第三确定模块,用于根据所述分类信息确定所述点云数据中每个所述采样点的类别标签。
8.一种点云数据分类设备,包括存储器、处理器,所述存储器中存储有可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现上述权利要求1至6任一项所述的方法的步骤。
CN202010422441.6A 2020-05-19 2020-05-19 点云数据分类方法、装置、分类设备 Active CN111340145B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010422441.6A CN111340145B (zh) 2020-05-19 2020-05-19 点云数据分类方法、装置、分类设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010422441.6A CN111340145B (zh) 2020-05-19 2020-05-19 点云数据分类方法、装置、分类设备

Publications (2)

Publication Number Publication Date
CN111340145A CN111340145A (zh) 2020-06-26
CN111340145B true CN111340145B (zh) 2020-08-25

Family

ID=71186506

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010422441.6A Active CN111340145B (zh) 2020-05-19 2020-05-19 点云数据分类方法、装置、分类设备

Country Status (1)

Country Link
CN (1) CN111340145B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112488190A (zh) * 2020-11-30 2021-03-12 深圳供电局有限公司 一种基于深度学习的点云数据分类方法及系统
CN113870160B (zh) * 2021-09-10 2024-02-27 北京交通大学 一种基于变换器神经网络的点云数据处理方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8040355B2 (en) * 2007-07-23 2011-10-18 Disney Enterprises, Inc. Three-dimensional location-based texture transfers
CN101701818B (zh) * 2009-11-05 2011-03-30 上海交通大学 远距离障碍的检测方法
US20190266793A1 (en) * 2018-02-23 2019-08-29 Lowe's Companies, Inc. Apparatus, systems, and methods for tagging building features in a 3d space
CN110400304B (zh) * 2019-07-25 2023-12-12 腾讯科技(深圳)有限公司 基于深度学习的物体检测方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN111340145A (zh) 2020-06-26

Similar Documents

Publication Publication Date Title
US10885352B2 (en) Method, apparatus, and device for determining lane line on road
Grilli et al. A review of point clouds segmentation and classification algorithms
WO2022166400A1 (zh) 一种处理三维点云的方法、装置、设备以及存储介质
JP6802331B2 (ja) 車線処理方法及び装置
Li et al. Location recognition using prioritized feature matching
CN108764006B (zh) 一种基于深度强化学习的sar图像目标检测方法
CN110766051A (zh) 一种基于神经网络的肺结节形态学分类方法
CN108052966A (zh) 基于卷积神经网络的遥感图像场景自动提取和分类方法
El‐Sayed et al. Plane detection in 3D point cloud using octree‐balanced density down‐sampling and iterative adaptive plane extraction
Canaz Sevgen et al. An improved RANSAC algorithm for extracting roof planes from airborne lidar data
CN110879961B (zh) 利用车道模型的车道检测方法和装置
CN111340145B (zh) 点云数据分类方法、装置、分类设备
CN110738132B (zh) 一种具备判别性感知能力的目标检测质量盲评价方法
Crosilla et al. LiDAR data filtering and classification by skewness and kurtosis iterative analysis of multiple point cloud data categories
CN114693855B (zh) 一种点云数据的处理方法和装置
Wang et al. Voxel segmentation-based 3D building detection algorithm for airborne LIDAR data
Kang et al. Primitive fitting based on the efficient multibaysac algorithm
Ding et al. Efficient vanishing point detection method in unstructured road environments based on dark channel prior
CN115019163A (zh) 基于多源大数据的城市要素识别方法
US20230281350A1 (en) A Computer Implemented Method of Generating a Parametric Structural Design Model
Mehltretter et al. Aleatoric uncertainty estimation for dense stereo matching via CNN-based cost volume analysis
Li et al. A novel 3D point cloud segmentation algorithm based on multi-resolution supervoxel and MGS
Carrilho et al. Extraction of building roof planes with stratified random sample consensus
CN116258877A (zh) 土地利用场景相似度变化检测方法、装置、介质及设备
Kalyani et al. Deep learning-based detection and classification of adenocarcinoma cell nuclei

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20211103

Address after: 518101 809, building 1, Xinyi Lingyu R & D center, No. 30, Honglang North Second Road, Xingdong community, Xin'an street, Bao'an District, Shenzhen, Guangdong Province

Patentee after: Shenzhen lvtuzhi New Technology Co.,Ltd.

Address before: Room 2301-2308, floor 3, building 2, incubator, Dongbeiwang Software Park, Haidian District, Beijing 100094

Patentee before: BEIJING GREENVALLEY TECHNOLOGY Co.,Ltd.

Patentee before: SHENZHEN LYUSHI INTELLIGENT TECHNOLOGY Co.,Ltd.

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20220113

Address after: Room 2301-2308, third floor, building 2, incubator, Zhongguancun Software Park, Dongbeiwang, Haidian District, Beijing 100094

Patentee after: BEIJING GREENVALLEY TECHNOLOGY Co.,Ltd.

Patentee after: Shenzhen lvtuzhi New Technology Co., Ltd;

Address before: 518101 809, building 1, Xinyi Lingyu R & D center, No. 30, Honglang North Second Road, Xingdong community, Xin'an street, Bao'an District, Shenzhen, Guangdong Province

Patentee before: Shenzhen lvtuzhi New Technology Co.,Ltd.

TR01 Transfer of patent right
CP01 Change in the name or title of a patent holder

Address after: Room 2301-2308, third floor, building 2, incubator, Zhongguancun Software Park, Dongbeiwang, Haidian District, Beijing 100094

Patentee after: Beijing Digital Green Earth Technology Co.,Ltd.

Patentee after: Shenzhen lvtuzhi New Technology Co., Ltd

Address before: Room 2301-2308, third floor, building 2, incubator, Zhongguancun Software Park, Dongbeiwang, Haidian District, Beijing 100094

Patentee before: BEIJING GREENVALLEY TECHNOLOGY Co.,Ltd.

Patentee before: Shenzhen lvtuzhi New Technology Co., Ltd

CP01 Change in the name or title of a patent holder