CN111582140A - 一种基于激光测量点云的室内物体提取方法 - Google Patents
一种基于激光测量点云的室内物体提取方法 Download PDFInfo
- Publication number
- CN111582140A CN111582140A CN202010366160.3A CN202010366160A CN111582140A CN 111582140 A CN111582140 A CN 111582140A CN 202010366160 A CN202010366160 A CN 202010366160A CN 111582140 A CN111582140 A CN 111582140A
- Authority
- CN
- China
- Prior art keywords
- node
- main section
- adjacent
- nodes
- indoor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/35—Categorising the entire scene, e.g. birthday party or wedding scene
- G06V20/36—Indoor scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于激光测量点云的室内物体提取方法,属于地图制图技术领域,首先基于区域生长算法对室内输入点云进行分割,将输入的点云转化为类平面单元,再根据分割后类平面单元之间的邻接关系,形成邻接图;并提取邻接图内节点和边的几何特征与邻接关系;根据提取的邻接图特征,以一种超图分割方法,实现室内物体的要素分割与分类。本发明通过类平面单元之间的邻接关系,将点云的室内物体分割问题,转换为室内邻接图匹配问题;通过图与图的链接,将室内邻接图匹配问题,转换为超图分割问题,并以超图内边与节点的对称性,实现超图分割。本发明可以快速高效的实现点云的室内物体分割与分类,可以更好的处理室内复杂环境下的点云数据。
Description
技术领域
本发明属于地图制图技术领域,特别涉及一种基于激光测量点云的室内物体提取方法。
背景技术
随着经济活动的快速发展,建筑物的数量大幅增加,人类的室内活动显著增长。与此同时,建筑物内部结构也呈现大型化、复杂化趋势。因此,人们对室内环境的了解和认知需求也随之不断提升,室内场景理解与识别引发了广泛的关注。室内物体提取与识别,作为室内场景理解的基础部分与主要组成部分,对于室内环境的认知与理解上具有重要意义。
通过点云实现室内物体的分割与分类一直以来都是研究的热点,目前的方法大致分为两类:一类是基于深度学习(或机器学习)的分类分割方法,该类方法虽然可以取得良好的效果,但其针对不同的室内环境需要不同的分类样本集,为分割与分类带来众多麻烦;另一类是假设所有的物体与地面保持垂直,不存在倒放、斜放的物体,该类方法大大限制了室内环境,从而导致在真实场景中分类精度不高。
运用传统方法对室内物体直接进行分类与分割,费时费力。随激光传感器技术发展,基于激光点云进行室内物体识别具有速度快、精度高等优势,成为室内场景理解与识别的研究热点。然而,通过室内三维点云进行室内物体分割与分类还存在若干问题,如由于室内设施相互遮挡导致的墙面数据大面积缺失,由于室内的窗户、玻璃等强反射面导致的噪声,通过深度学习方法的室内物体识别需要大量样本,通过提取平面为主的物体识别无法保证物体识别精度,以及目前方法无法摆脱曼哈顿空间假设等问题。这些问题都给基于点云的室内物体分割与分类带来了困难。
发明内容
为了解决上述技术问题,本发明提出了一种在多楼层室内场景中,以含噪声、遮挡的点云数据为输入数据,实现点云的分割与分类,为之后的室内场景理解提供基础。
本发明所采用的技术方案为:
一种基于激光测量点云的室内物体提取方法,包括以下步骤:
步骤1,利用区域生长算法对室内点云进行类平面分割,得到分割后的类平面点簇;
步骤2,对每一个类平面点簇做邻域分析,并连接相邻类平面点簇,生成邻接图集;
步骤3,针对每个邻接图提取图中的节点属性与边属性,节点属性包括主截面标识、类平面中心点与主截面节点描述子,边属性包括主边标识与边描述子;主截面标识为邻接图中相邻节点最多的节点,将该节点定义为主截面节点,主边标识为连接主截面中心点与其他类平面中心点的边;
步骤4,根据提取的每个邻接图的节点属性与边属性,计算任意两个邻接图的相似性,根据相似性以超图分割的方法进行图分割和图匹配;
步骤5,对步骤4处理后的邻接图,沿主截面节点的法向量方向上下延伸,做主截面包围盒,将包围盒内未分类的点云加入主截面所在类别,完成室内物体的提取。
其中,步骤4具体包括以下步骤:
步骤4.1,从邻接图集中任取两个邻接图,计算两个邻接图对应主截面节点的几何相似性,若两个邻接图主截面节点的几何相似性大于阈值,则将两个邻接图归为一类,得到粗分类集合GS={Gs1,Gs2,…Gsh},h表示粗分类的聚类数目;
步骤4.2,针对每一类Gsi∈GS,任取两个邻接图,以超图分割的方法对两个邻接图进行匹配,找到两个邻接图中对称节点,并删除非对称节点。
其中,步骤4.1中节点的几何相似性计算公式如下:
式中,vA和分别为两个邻接图对应的主截面节点,表示对应的主截面节点描述子F1,F2,F3,F4和F5的相似度大小,F1为节点的外接矩形面积l*w,F2为节点的外接矩形长宽比:w/l,F3为节点的点簇面积与节点外接矩形面积的比值,F4为节点的点簇法向量,F5为节点中心点到外接矩形的距离比该距离与外接矩形长、宽之和:d/(l+w+d),其中d表示主截面中心点沿主截面法向量到外接矩形的距离,w表示主截面节点的外接矩形的宽度,l表示主截面节点的外接矩形的长度;为主截面节点vA的节点描述子,为主截面节点的节点描述子。
其中,步骤4.2具体为:
针对每一类Gsi∈GS,任取两个邻接图G(E,V)与Gt(Et,Vt),G(E,V)的节点数V少于Gt(Et,Vt)的节点数,将两个邻接图G(E,V)与Gt(Et,Vt)的主截面通过一个边连接,形成超图SG,从超图SG对称轴的两方分别对应任选多对节点进行节点相似度计算,找到超图SG中相似度最大的对应节点,若相似度最大值大于阈值,则该对应节点为同一类型物体,保留两个邻接图中为同一类型物体的对应节点,删除两个邻接图中的其余节点;
节点相似度Score计算公式如下:
ws+wc=1
相对于现有技术,本发明的有益效果为:
本发明提供了一种基于激光测量点云的室内物体提取方法,该方法不需要额外的训练样本集,也可以取得良好的分割分类效果。本发明可以快速高效的实现点云的室内物体分割与分类,可以更好的处理室内复杂环境下的点云数据。
附图说明
图1为本发明实施例的方法流程图;
图2为本发明实施例的输入的原始点云;
图3为本发明实施例中室内物体邻接图示意图;
图4为本发明实施例中两物体邻接图组成超图的示意图;
图5为本发明实施例中输入点云的房间一分类结果图;
图6为本发明实施例中输入点云的房间二分类结果图。
具体实施方法
为了便于本领域普通技术人员理解和实施本发明,下面结合附图及实施例对本发明作进一步的详细描述,应当理解,此处所描述的实施示例仅用于说明和解释本发明,并不用于限定本发明。
通过点云进行室内场景理解一直以来都是研究的热点与难点。在此背景下,本发明提供了一种基于室内三维点云的不使用训练样本直接进行室内物体的分割与分类的方法。
见图1,本发明实施例提供的一种基于激光测量点云的室内物体提取方法,包括以下步骤:
步骤1,利用区域生长算法对室内点云进行类平面分割,得到分割后的类平面点簇;具体为:
输入室内点云P={P1,P2,…Pn},输入的原始点云如图2所示,n表示输入点云的点数,对输入点云,利用区域生长算法对点云进行类平面分割,并保存分割后的类平面点簇Pc={Pc1,Pc2,…Pcm},m表示分割后的点簇数量,区域生长算法见下述文件[1]使用平滑约束对点云进行分割。
[1]Rabbani,T.;Heuvel,F.A.V.D.;Vosselman,G.Segmentation of pointclouds using smoothness constraint.Int.Arch.Photogramm.RemoteSens.Spat.Inf.Sci.2006,36,248–253
步骤2,对每一个类平面点簇做邻域分析,并连接相邻类平面点簇,生成邻接图集;
顺序选取一个类平面点簇Pci,再选取另外一个类平面点簇Pcj,判断两个类平面点簇的距离是否小于阈值ε,若是则连接相邻类平面点簇,否则重新选取类平面点簇进行判断,直至遍历完成所有的类平面点簇,生成邻接图集;其中,阈值ε范围在0.05-0.5m,默认值为0.2m;
步骤3,提取邻接图的节点属性与边属性,节点属性主要由主截面标识(若该节点在邻接图中,连接节点最多,则该节点为主截面,主截面一般是桌子的上表面、椅子的座面等)与节点描述子组成,边属性由主边标识(连接主截面与普通节点的边)与边描述子组成;包括以下子步骤:
步骤3.1,根据观察,一个物体中的主截面(如桌子的上表面,椅子的座面,灯管的管状面)均占据相对较大的面积,能覆盖大多物体结构,且在物体中大多结构与其相连接。因此,对每个邻接图,提取邻接图中连接节点最多的节点,并将该节点定义为主截面,与主截面相连的定义为主边,生成的室内物体邻接图如图3所示。
步骤3.2,提取邻接图的节点属性,节点属性包含三个部分:主截面标识(0为非主截面,1为主截面),类平面中心点center以及主截面节点描述子。主截面节点描述子包含属性如表1所示。表中d表示主截面中心点沿节点的法向量到外接矩形的距离,w主截面节点的表示外接矩形的宽度,l表示主截面节点的外接矩形的长度。
表1节点描述子
步骤3.3,提取邻接图的边属性,边属性包含主边标识与边描述子。主边标识为连接主截面中心点与其他类平面中心点的边,边描述子包含属性如表2所示。
表2边描述子
步骤4,根据提取的每个邻接图的节点属性与边属性,计算任意两个邻接图的相似性,根据相似性以超图分割的方法进行图分割和图匹配;
包括以下子步骤:
步骤4.1,从邻接图集中任取两个邻接图,计算两个邻接图对应主截面节点的几何相似性,若两个邻接图主截面节点的几何相似度大于阈值γ,则将两个邻接图归为一类,得到粗分类集合GS={Gs1,Gs2,…Gsh},h表示粗分类的聚类数目;其中,阈值γ选定范围在0.1-0.3,默认值为0.1;
节点的几何相似性计算公式如下:
步骤4.2,针对每一类Gsi∈GS,任取两个邻接图G(E,V)与Gt(Et,Vt),G(E,V)的节点数|V|少于Gt(Et,Vt)的节点数,将两个邻接图G(E,V)与Gt(Et,Vt)的主截面通过一个边连接,形成超图SG,如图4所示;从超图SG对称轴的左右两方分别对应任选多对节点进行节点相似度计算,找到超图SG的相似度最大值,以及使相似度最大的对应(多对)节点对,若最大相似度大于阈值w,则该对应节点为同一类型物体,保留两个邻接图中为同一类型物体的对应节点,删除两个邻接图中的其余节点;其中,阈值w选定范围在0.1-0.3,默认值为0.1;
节点相似度Score计算公式如下:
ws+wc=1
步骤5,最终,对步骤4处理后的邻接图,沿主截面的法向量方向上下延伸,做主截面外接长方体,将包围盒内未分类的点云簇,加入主截面所在类别,完成室内物体分类,最终的室内物体的分类结果如图5,图6所示。
以上所述仅为本发明中的一个实施例,并不用于限制本发明。凡在本发明的精神与原则之内,所做的任何修改,改进等,均应包含在本发明的保护范围之内。
Claims (4)
1.一种基于激光测量点云的室内物体提取方法,其特征在于,包括以下步骤:
步骤1,利用区域生长算法对室内点云进行类平面分割,得到分割后的类平面点簇;
步骤2,对每一个类平面点簇做邻域分析,并连接相邻类平面点簇,生成邻接图集;
步骤3,针对邻接图集中的每个邻接图,提取图中的节点属性与边属性,节点属性包括主截面标识、类平面中心点与主截面节点描述子,边属性包括主边标识与边描述子;主截面标识为邻接图中相邻节点最多的节点,将该节点定义为主截面节点,主边标识为连接主截面中心点与其他类平面中心点的边;
步骤4,根据提取的每个邻接图的节点属性与边属性,计算任意两个邻接图的相似性,根据相似性以超图分割的方法进行图分割和图匹配;
步骤5,对步骤4处理后的邻接图,沿主截面节点的法向量方向上下延伸,做主截面包围盒,将包围盒内未分类的点云加入主截面所在类别,完成室内物体的提取。
2.根据权利要求1所述的基于激光测量点云的室内物体提取方法,其特征在于,步骤4具体包括以下步骤:
步骤4.1,从邻接图集中任取两个邻接图,计算两个邻接图对应主截面节点的几何相似性,若两个邻接图主截面节点的几何相似性大于阈值,则将两个邻接图归为一类,得到粗分类集合GS={Gs1,Gs2,…Gsh},h表示粗分类的聚类数目;
步骤4.2,针对每一类Gsi∈GS,任取两个邻接图,以超图分割的方法对两个邻接图进行匹配,找到两个邻接图中对称节点,并删除非对称节点。
3.根据权利要求2所述的基于激光测量点云的室内物体提取方法,其特征在于,步骤4.1中节点的几何相似性计算公式如下:
4.根据权利要求2所述的基于激光测量点云的室内物体提取方法,其特征在于,步骤4.2具体为:
针对每一类Gsi∈GS,任取两个邻接图G(E,V)与Gt(Et,Vt),G(E,V)的节点数|V|少于Gt(Et,Vt)的节点数,将两个邻接图G(E,V)与Gt(Et,Vt)的主截面通过一个边连接,形成超图SG,从超图SG对称轴的两方分别对应任选多对节点进行节点相似度计算,找到超图SG的相似度最大值,以及使相似度最大的对应节点对,若相似度最大值大于阈值,则该对应节点对为同一类型物体,保留两个邻接图中为同一类型物体的对应节点,删除两个邻接图中的其余节点;
节点相似度Score计算公式如下:
ws+wc=1
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010366160.3A CN111582140B (zh) | 2020-04-30 | 2020-04-30 | 一种基于激光测量点云的室内物体提取方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010366160.3A CN111582140B (zh) | 2020-04-30 | 2020-04-30 | 一种基于激光测量点云的室内物体提取方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111582140A true CN111582140A (zh) | 2020-08-25 |
CN111582140B CN111582140B (zh) | 2023-01-24 |
Family
ID=72122771
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010366160.3A Active CN111582140B (zh) | 2020-04-30 | 2020-04-30 | 一种基于激光测量点云的室内物体提取方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111582140B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114783068A (zh) * | 2022-06-16 | 2022-07-22 | 深圳市信润富联数字科技有限公司 | 姿态识别方法、装置、电子装置和存储介质 |
CN115273645A (zh) * | 2022-08-09 | 2022-11-01 | 南京大学 | 一种室内面要素自动聚类的地图制图方法 |
WO2024005042A1 (ja) * | 2022-06-28 | 2024-01-04 | ソニーグループ株式会社 | 情報処理方法、情報処理装置及びコンピュータプログラム |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106600622A (zh) * | 2016-12-06 | 2017-04-26 | 西安电子科技大学 | 一种基于超体素的点云数据分割方法 |
CN107862738A (zh) * | 2017-11-28 | 2018-03-30 | 武汉大学 | 一种基于移动激光测量点云进行室内结构化三维重建方法 |
CN110443810A (zh) * | 2019-07-17 | 2019-11-12 | 北京建筑大学 | 基于快速邻接体素查询的点云平面分割方法 |
-
2020
- 2020-04-30 CN CN202010366160.3A patent/CN111582140B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106600622A (zh) * | 2016-12-06 | 2017-04-26 | 西安电子科技大学 | 一种基于超体素的点云数据分割方法 |
CN107862738A (zh) * | 2017-11-28 | 2018-03-30 | 武汉大学 | 一种基于移动激光测量点云进行室内结构化三维重建方法 |
CN110443810A (zh) * | 2019-07-17 | 2019-11-12 | 北京建筑大学 | 基于快速邻接体素查询的点云平面分割方法 |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114783068A (zh) * | 2022-06-16 | 2022-07-22 | 深圳市信润富联数字科技有限公司 | 姿态识别方法、装置、电子装置和存储介质 |
CN114783068B (zh) * | 2022-06-16 | 2022-11-15 | 深圳市信润富联数字科技有限公司 | 姿态识别方法、装置、电子装置和存储介质 |
WO2024005042A1 (ja) * | 2022-06-28 | 2024-01-04 | ソニーグループ株式会社 | 情報処理方法、情報処理装置及びコンピュータプログラム |
CN115273645A (zh) * | 2022-08-09 | 2022-11-01 | 南京大学 | 一种室内面要素自动聚类的地图制图方法 |
CN115273645B (zh) * | 2022-08-09 | 2024-04-09 | 南京大学 | 一种室内面要素自动聚类的地图制图方法 |
Also Published As
Publication number | Publication date |
---|---|
CN111582140B (zh) | 2023-01-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111582140B (zh) | 一种基于激光测量点云的室内物体提取方法 | |
CN111915730B (zh) | 一种顾及语义从点云自动生成室内三维模型的方法及系统 | |
CN112070769B (zh) | 一种基于dbscan的分层点云分割方法 | |
CN107146280B (zh) | 一种基于切分的点云建筑物重建方法 | |
CN113379898B (zh) | 一种基于语义分割的三维室内场景重建方法 | |
Khoshelham et al. | 3D modelling of interior spaces: Learning the language of indoor architecture | |
CN110827398B (zh) | 基于深度神经网络的室内三维点云自动语义分割方法 | |
CN109816772B (zh) | 一种由cad户型文件快速生成虚拟现实场景的处理方法 | |
CN112288857A (zh) | 一种基于深度学习的机器人语义地图物体识别方法 | |
CN111986322B (zh) | 一种基于结构分析的点云室内场景布局重建方法 | |
CN114926699B (zh) | 一种室内三维点云语义分类方法、装置、介质及终端 | |
CN103955710B (zh) | 类地重力场环境下单目视觉空间识别方法 | |
CN109034065B (zh) | 一种基于点云的室内场景物体提取方法 | |
CN110111343A (zh) | 一种基于改进模糊c均值的中智学图像分割方法及装置 | |
CN109801295A (zh) | 基于二次限制区域生长法的图像分割方法 | |
CN112396641A (zh) | 一种基于全等二基线匹配的点云全局配准方法 | |
CN114119902A (zh) | 一种基于无人机倾斜三维模型的建筑物提取方法 | |
CN114842139A (zh) | 一种基于空间分析的建筑三维数字化模型构建方法 | |
Mehranfar et al. | A hybrid top-down, bottom-up approach for 3D space parsing using dense RGB point clouds | |
Thiemann et al. | 3D-symbolization using adaptive templates | |
CN112200248B (zh) | 一种基于dbscan聚类的城市道路环境下的点云语义分割方法、系统及存储介质 | |
CN116071530B (zh) | 一种基于机载激光点云的建筑物屋顶体素化分割方法 | |
CN104077603A (zh) | 类地重力场环境下室外场景单目视觉空间识别方法 | |
CN109117841B (zh) | 基于笔画宽度变换与卷积神经网络的场景文本检测方法 | |
CN112989470B (zh) | 一种基于点云数据的室内空间布局提取方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |