CN117422810B - 结构与参数引导的室内要素规则化与关系推理方法及终端 - Google Patents
结构与参数引导的室内要素规则化与关系推理方法及终端 Download PDFInfo
- Publication number
- CN117422810B CN117422810B CN202311746821.5A CN202311746821A CN117422810B CN 117422810 B CN117422810 B CN 117422810B CN 202311746821 A CN202311746821 A CN 202311746821A CN 117422810 B CN117422810 B CN 117422810B
- Authority
- CN
- China
- Prior art keywords
- elements
- space
- regularization
- indoor
- relationship
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 102
- 238000004422 calculation algorithm Methods 0.000 claims description 19
- 239000013598 vector Substances 0.000 claims description 19
- 230000011218 segmentation Effects 0.000 claims description 10
- 230000004931 aggregating effect Effects 0.000 claims description 6
- 239000000284 extract Substances 0.000 claims description 5
- 238000012946 outsourcing Methods 0.000 claims description 5
- 238000005259 measurement Methods 0.000 claims description 4
- 238000010276 construction Methods 0.000 abstract description 5
- 238000000605 extraction Methods 0.000 description 10
- 238000004590 computer program Methods 0.000 description 6
- 230000000877 morphologic effect Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 4
- 238000011084 recovery Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 230000004927 fusion Effects 0.000 description 3
- 230000001788 irregular Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 239000000969 carrier Substances 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000011229 interlayer Substances 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/005—General purpose rendering architectures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/04—Inference or reasoning models
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Computer Graphics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Processing Or Creating Images (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了结构与参数引导的室内要素规则化与关系推理方法及终端，方法包括：获取空间要素的三维点云数据，通过空间剖分方法得到分割后的空间要素边界集合；将所述三维点云数据投影到二维空间，通过空间要素规则化重建方法得到规则化之后的空间要素边界；根据所述规则化之后的空间要素边界，通过层级关系推理和空间关系推理方法构建室内结构化模型；本发明提出新的构建结构和参数引导的空间要素规则化与关系推理的方法，提高实现复杂室内空间规则化模型构建的自动化程度，提升室内三维基础模型重建的效率，同时通过关系嵌入实现室内结构化模型的表达能力的提升。
Description
技术领域
本发明涉及三维场景建模技术领域，尤其涉及的是结构与参数引导的室内要素规则化与关系推理方法及终端。
背景技术
在室内环境中，室内场景结构化模型是机器人智能任务规划和执行的核心基础，在机器人智能任务中起到人-机-环境交互的桥梁作用。它是将现实物理世界中的物体形态、属性、功能及相互关系映射到数字空间，形成全要素几何、语义和关系的准确描述，该模型能够促使机器人更加有效地理解、规划、执行室内智能任务。
但对场景要素进行实例分割和分类，还停留在对象级语义理解层面，并未系统性考虑室内场景的结构化描述方法。此外，一些研究学者致力于构建室内结构化三维模型，并探索了多种方法，包括室内平面图恢复、矢量模型构建、城市语义模型（CityGML）标准化模型构建, 以及建筑信息模型（Industry Foundation Classes，IFC）重建等。这些方法可以自动提取建筑结构要素（例如墙面、天花板、梁、柱等）或恢复楼层空间布局，可用于火灾疏散、室内导航等位置服务应用。但是，这类方法主要关注建筑物结构要素的提取和重建，缺乏对室内细粒度要素信息和深层次要素关系的理解和表达。
因此，现有技术还有待改进。
发明内容
本发明要解决的技术问题在于，针对现有技术缺陷，本发明提供一种结构与参数引导的室内要素规则化与关系推理方法及终端，以解决传统的室内空间结构化表达过程中缺乏重要的要素关系的技术问题。
本发明解决技术问题所采用的技术方案如下：
第一方面，本发明提供一种结构与参数引导的室内要素规则化与关系推理方法，包括：
获取空间要素的三维点云数据，通过空间剖分方法得到分割后的空间要素边界集合；
将所述三维点云数据投影到二维空间，通过空间要素规则化重建方法得到规则化之后的空间要素边界；
根据所述规则化之后的空间要素边界，通过层级关系推理和空间关系推理方法构建室内结构化模型。
在一种实现方式中，所述获取空间要素的三维点云数据，通过空间剖分方法得到分割后的空间要素边界集合，包括：
获取所述空间要素的所述三维点云数据，通过点云分割算法得到平面基元；
根据所述平面基元的法向量信息将所述平面基元分为垂直平面基元、水平平面基元以及倾斜平面基元；
将所述水平平面基元按照高程排序，并将最低的平面基元提取为地板平面，将最高的平面基元提取为屋顶平面；
根据面积和高程约束对所述垂直平面基元进行提取，得到墙面集合与柱面集合；
将所述地板平面、所述屋顶平面、所述墙面集合以及所述柱面集合合并，得到所述分割后的空间要素边界集合。
在一种实现方式中，所述根据法向量信息将所述平面基元分为垂直平面基元、水平平面基元以及倾斜平面基元，包括：
当所述平面基元的法向量与Z轴夹角小于10°时，将所述平面基元归类为所述水平平面基元；
当所述平面基元的法向量与Z轴夹角大于80°时，将所述平面基元归类为所述垂直平面基元；
将除所述垂直平面基元和所述水平平面基元以外的平面基元归类为所述倾斜平面基元。
在一种实现方式中，所述将所述三维点云数据投影到二维空间，通过空间要素规则化重建方法得到规则化之后的空间要素边界，包括：
将所述三维点云数据投影到二维空间，基于所述墙面集合和所述柱面集合以线面求交的方式获取分割后的网格地图；
将所述空间要素边界集合与所述网格地图叠加，并对所述网格地图中每个网格赋予对应的语义标签；
将相邻且具有相同语义的网格合并，得到所述规则化之后的空间要素边界。
在一种实现方式中，所述根据所述规则化之后的空间要素边界，通过层级关系推理和空间关系推理方法构建室内结构化模型，包括：
基于结构与参数引导的要素规则化对所述空间要素、结构要素以及实体要素进行提取和参数化重建，得到不同要素之间的层级关系；
将空间规则化重建之后的所述空间要素、所述结构要素以及所述实体要素的三维外包盒通过规则形状进行表达，得到不同要素之间的空间关系；
根据所述层级关系和所述空间关系构建所述室内结构化模型。
在一种实现方式中，所述基于结构与参数引导的要素规则化对所述空间要素、结构要素以及实体要素进行提取和参数化重建，得到不同要素之间的层级关系，包括：
将所述规则化之后的空间要素边界设为不同的结构组件，并获取所述空间要素与所述结构要素之间的层级关系；
基于三维几何求交算法计算所述结构要素与所述实体要素的层级关系；
将同楼层的所述空间要素、所述结构要素以及所述实体要素聚合形成楼层要素，并向上聚合形成建筑或复杂建筑要素。
在一种实现方式中，所述基于结构与参数引导的要素规则化对所述空间要素、结构要素以及实体要素进行提取和参数化重建，得到不同要素之间的层级关系，还包括：
根据所述实体要素、所述结构要素、所述空间要素、所述楼层要素以及所述建筑或复杂建筑要素建立室内场景要素之间的层级关系，通过图模型进行表达和存储。
在一种实现方式中，所述将空间规则化重建之后的所述空间要素、所述结构要素以及所述实体要素的三维外包盒通过规则形状进行表达，得到不同要素之间的空间关系，包括：
通过要素的质心点之间的位置关系计算要素之间的顺序关系和度量关系；
通过三维几何求交算法进行拓扑运算得到所有要素的凸包，获得要素之间的拓扑关系。
第二方面，本发明还提供一种终端，包括：处理器以及存储器，所述存储器存储有结构与参数引导的室内要素规则化与关系推理程序，所述结构与参数引导的室内要素规则化与关系推理程序被所述处理器执行时用于实现如第一方面所述的结构与参数引导的室内要素规则化与关系推理方法的操作。
第三方面，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有结构与参数引导的室内要素规则化与关系推理程序，所述结构与参数引导的室内要素规则化与关系推理程序被处理器执行时用于实现如第一方面所述的结构与参数引导的室内要素规则化与关系推理方法的操作。
本发明采用上述技术方案具有以下效果：
本发明通过获取空间要素的三维点云数据，并通过空间剖分方法得到分割后的空间要素边界集合；之后将三维点云数据投影到二维空间，通过空间要素规则化重建方法得到规则化之后的空间要素边界；最后根据规则化之后的空间要素边界，通过层级关系推理和空间关系推理方法构建室内结构化模型；本发明提出的新的构建结构和参数引导的空间要素规则化与关系推理的方法，提高了实现复杂室内空间规则化模型构建的自动化程度，提升了室内三维基础模型重建的效率，同时通过关系嵌入实现室内结构化模型的表达能力的提升。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。
图1是本发明的一种实现方式中结构与参数引导的室内要素规则化与关系推理方法的流程图。
图2是本发明的一种实现方式中规则约束的鲁棒室内空间剖分方法的示意图。
图3是本发明的一种实现方式中基于马尔科夫随机场的室内空间要素规则化重建方法的示意图。
图4是本发明的一种实现方式中室内要素间层级关系与空间关系推理的示意图。
图5是本发明的一种实现方式中构建结构和参数引导的空间要素规则化与关系推理方法的流程图。
图6是本发明的一种实现方式中终端的功能原理图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
本发明提供结构与参数引导的室内要素规则化与关系推理方法及终端。为使本发明的目的、技术方案及优点更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
示例性方法
在室内环境中，室内场景结构化模型是机器人智能任务规划和执行的核心基础，在机器人智能任务中起到人-机-环境交互的桥梁作用。它是将现实物理世界中的物体形态、属性、功能及相互关系映射到数字空间，形成全要素几何、语义和关系的准确描述，该模型能够促使机器人更加有效地理解、规划、执行室内智能任务。而对场景要素进行实例分割和分类，还停留在对象级语义理解层面，并未系统性考虑室内场景的结构化描述方法。此外，一些研究学者致力于构建室内结构化三维模型，并探索了多种方法，包括室内平面图恢复、矢量模型构建、城市语义模型（CityGML）标准化模型构建, 以及建筑信息模型（Industry Foundation Classes，IFC）重建等。这些方法可以自动提取建筑结构要素（例如墙面、天花板、梁、柱等）或恢复楼层空间布局，可用于火灾疏散、室内导航等位置服务应用。但是，这类方法主要关注建筑物结构要素的提取和重建，缺乏对室内细粒度要素信息和深层次要素关系的理解和表达。如何设计一种新的方法，解决现有室内空间结构化表达过程中缺乏重要的要素关系的难题，是三维场景建模中新的需求。
针对上述技术问题，本发明实施例提供一种结构与参数引导的室内要素规则化与关系推理方法，目的是提出新的构建结构和参数引导的空间要素规则化与关系推理方法，针对现有的室内三维结构化重建方法侧重于室内平面图的恢复，缺乏对大范围室内场景中建筑结构要素的规则化、以及“空间要素”层级和空间关系的显式表达问题，设计结构与参数引导的室内空间要素规则化与关系推理方法，实现室内空间结构恢复及深层次空间关系推理。
如图1所示，本发明实施例提供一种结构与参数引导的室内要素规则化与关系推理方法，包括以下步骤：
步骤S100，获取空间要素的三维点云数据，通过空间剖分方法得到分割后的空间要素边界集合。
在本实施例中，所述结构与参数引导的室内要素规则化与关系推理方法应用于终端中，所述终端包括但不限于：计算机以及移动终端等设备；所述终端设置有室内三维空间要素的参数化模型的训练迁移平台。
在本实施例中，提出了构建结构和参数引导的空间要素规则化与关系推理方法，实现室内空间结构要素的信息提取与关系恢复；本实施例中，提出的结构与参数引导的室内空间要素规则化与关系推理方法，包括以下步骤：1、室内复杂环境多楼层空间剖分与“空间要素”规则化重建方法；2、改进形态学算法完成复杂空间拓扑重建并实现空间要素的层级关系、空间关系的推理；3、室内三维场景图结构化模型构建。
在本实施例中，通过规则约束的鲁棒室内空间剖分方法，在复杂三维场景中，利用深度学习全景分割手段可以有效获取中小粒度的实体要素信息，但无法直接获取或推理三维空间要素及所有要素之间的层级及空间关系，例如楼层A中包含房间A，B，C或者房间A是由墙面E，F，G组成。因此，室内空间要素规则化重建是实现场景层级化划分以及室内场景中要素层级关系以及空间关系计算的基础。本实施例将以三维点云数据为基础，通过平面基元提取、空间剖分以及要素规则化方法实现复杂室内空间的层级化划分。
具体地，在本实施例的一种实现方式中，步骤S100包括以下步骤：
步骤S101，获取所述空间要素的所述三维点云数据，通过点云分割算法得到平面基元；
步骤S102，根据所述平面基元的法向量信息将所述平面基元分为垂直平面基元、水平平面基元以及倾斜平面基元。
在本实施例中，规则约束的鲁棒室内空间剖分方法如图2所示，采用随机采样一致性算法（RANSAC）平面分割方法可得到平面基元，根据法向量信息可将其分为垂直平面基元、水平平面基元以及倾斜平面基元。
具体地，在本实施例的一种实现方式中，步骤S102包括以下步骤：
步骤S102a，当所述平面基元的法向量与Z轴夹角小于10°时，将所述平面基元归类为所述水平平面基元；
步骤S102b，当所述平面基元的法向量与Z轴夹角大于80°时，将所述平面基元归类为所述垂直平面基元；
步骤S102c，将除所述垂直平面基元和所述水平平面基元以外的平面基元归类为所述倾斜平面基元。
在本实施例中，考虑到在10m范围内获取的室内三维点云容易存在2-4cm的误差，基于正切方程可计算得到最大的角度偏移将小于10°。基于此，当平面法向量/>与Z轴夹角/>时，该平面被归类为水平方向平面，当平面/>法向量/>与Z轴夹角时，该平面被归类为垂直方向平面。所述倾斜平面基元为除垂直平面基元和水平平面基元以外的平面基元。
具体地，在本实施例的一种实现方式中，步骤S100还包括以下步骤：
步骤S103，将所述水平平面基元按照高程排序，并将最低的平面基元提取为地板平面，将最高的平面基元提取为屋顶平面；
步骤S104，根据面积和高程约束对所述垂直平面基元进行提取，得到墙面集合与柱面集合；
步骤S105，将所述地板平面、所述屋顶平面、所述墙面集合以及所述柱面集合合并，得到所述分割后的空间要素边界集合。
在本实施例中，为了进一步获取天花板与地板平面，本实施例将对所有水平平面要素沿Z轴方向按照高程排序并将最低与最高平面提取为屋顶平面与地板/>平面，同时根据面积和高程约束提取墙面集合/>与柱面集合/>。最终可获取所有结构要素的平面集合/>。
在本实施例中，基于建筑结构点云进行随机采样一致性算法（RANSAC）平面基元提取结果容易存在错误平面和重复平面提取的问题，这容易导致空间剖分结果中存在过分割问题；并且基于分割后获取的墙面和柱面对空间进行剖分结果存在平面冗余，也容易导致空间剖分结果存在过分割问题。为了解决这个问题，本实施例拟采用法线和平行约束来保留最优平面基元。最终，将优化后的垂直平面投影到二维空间并计算生成二值图像，采用形态学方法对进行空间剖分实现单个楼层平面的空间切割和分离，获得分割后的空间要素边界集合。
具体地，采用法线和平行约束保留最优平面基元，对分割后得到的平面基元计算平面法向量信息，当两个平面法向量一致时，代表两个平面平行。基于此，当两个平面基元平行且距离相近时将两个平面基元合并为一个平面基元，以此保留最优平面信息。
在本实施例中，以三维点云数据为基础，通过规则约束的鲁棒室内空间剖分方法进行平面基元提取得到空间要素边界集合。
如图1所示，在本发明实施例的一种实现方式中，结构与参数引导的室内要素规则化与关系推理方法还包括以下步骤：
步骤S200，将所述三维点云数据投影到二维空间，通过空间要素规则化重建方法得到规则化之后的空间要素边界。
在本实施例中，空间要素规则化旨在获取室内空间要素准确的边缘信息。室内空间被垂直平面剖分为网格地图，具有规则的边界形状，经过空间剖分处理后可以得到各个功能空间不规则的边界形状。本实施例提出了一种基于马尔科夫随机场（MRF）模型的空间要素形状规则化方法，用于对“网格单元”和“功能空间”的不规则边界的交叉问题建模。
具体地，空间要素形状规则化的假设如下。1）网格单元与功能空间之间的交集面积越大，网格单元属于该功能空间的概率越高；2）所有落入同一功能空间的网格单元可以合并成一个规则化的“功能空间”。需要注意的是，空间的边界轮廓应符合流形假设，即每个顶点仅与两个相邻的边相连。该方法的核心是基于由垂直平面线相交产生的网格地图，恢复网格单元与“功能空间”边界形状之间的从属关系。
在本实施中，针对空间要素规则化重建问题，将融合全景分割语义与结构特征，基于改进形态学空间剖分算法与马尔可夫随机场的空间要素规则化算法实现复杂室内空间的规则化重建。
具体地，在本实施例的一种实现方式中，步骤S200包括以下步骤：
步骤S201，将所述三维点云数据投影到二维空间，基于所述墙面集合和所述柱面集合以线面求交的方式获取分割后的网格地图；
步骤S202，将所述空间要素边界集合与所述网格地图叠加，并对所述网格地图中每个网格赋予对应的语义标签；
步骤S203，将相邻且具有相同语义的网格合并，得到所述规则化之后的空间要素边界。
如图3所示，在本实施例中，如图3中的1图所示，将三维点云投影到二维空间后可以计算得到点云数据的二维边界，进而基于给定垂直平面集合与/>。如图3中的2图所示，可以通过线面求交获取分割后的网格地图/>。如图3中的3图所示，在此基础上，将空间剖分后获取的空间要素边界集合/>，与网格地图/>叠加。如图3中的4图所示，对网格地图中每个网格赋予对应的语义标签。如图3中的5图所示，每个语义标签用于表示边界与网格之间的归属关系，并将相邻且具有相同语义的网格合并。如图3中的6图所示，最后得到规则化之后的空间要素边界。
在本实施例中，采用室内复杂环境多楼层空间剖分与空间要素规则化重建方法实现室内空间要素的提取，通过基于马尔科夫随机场的室内空间要素规则化重建方法，解决“网格单元”和“功能空间”的不规则边界的交叉问题。
如图1所示，在本发明实施例的一种实现方式中，结构与参数引导的室内要素规则化与关系推理方法还包括以下步骤：
步骤S300，根据所述规则化之后的空间要素边界，通过层级关系推理和空间关系推理方法构建室内结构化模型。
在本实施例中，经过室内空间规则化及参数化重建之后可以获取建筑门窗等附属要素、结构要素、空间要素（房间、走廊等）、楼层要素以及建筑要素。本实施例拟基于重建结果恢复不同要素之间的层级及空间关系，并构建场景图模型。基于室内要素间层级关系与空间关系推理方法，可以快速构建具有几何、语义和关系的室内结构化模型。
具体地，在本实施例的一种实现方式中，步骤S300包括以下步骤：
步骤S301，基于结构与参数引导的要素规则化对所述空间要素、结构要素以及实体要素进行提取和参数化重建，得到不同要素之间的层级关系；
步骤S302，将空间规则化重建之后的所述空间要素、所述结构要素以及所述实体要素的三维外包盒通过规则形状进行表达，得到不同要素之间的空间关系；
步骤S303，根据所述层级关系和所述空间关系构建所述室内结构化模型。
如图4所示，在本实施例中，通过引入参数化描述语言，实现室内三维空间要素的参数化模型重建。在此基础上，基于室内要素层级化组织逻辑及实体布尔运算实现要素深层次关系推理。
具体地，在本实施例的一种实现方式中，步骤S301包括以下步骤：
步骤S301a，将所述规则化之后的空间要素边界设为不同的结构组件，并获取所述空间要素与所述结构要素之间的层级关系；
步骤S301b，基于三维几何求交算法计算所述结构要素与所述实体要素的层级关系；
步骤S301c，将同楼层的所述空间要素、所述结构要素以及所述实体要素聚合形成楼层要素，并向上聚合形成建筑或复杂建筑要素；
步骤S301d，根据所述实体要素、所述结构要素、所述空间要素、所述楼层要素以及所述建筑或复杂建筑要素建立室内场景要素之间的层级关系，通过图模型进行表达和存储。
在本实施例中，根据各要素之间的关系进行层级关系推理。在进行模型重建的过程中，空间要素可作为中间载体向上聚合形成楼层要素与建筑或复杂建筑要素，向下可由结构要素与实体要素组合而成。1）在结构与参数引导的要素规则化过程中主要对建筑空间要素（OSFNode）、结构要素（CEFNode）以及部分实体（门窗）要素（AEFNode）进行提取和参数化重建，其核心是通过空间剖分原理对不同楼层和不同空间进行切割，并计算得到各个空间要素的规则边界轮廓，进而将空间边界抽象为墙面、梁、板、柱等结构组件，可直接获取到空间要素与结构要素之间的层级关系；2）基于建筑模型描述逻辑，假定门窗等实体要素需要附着于墙面等结构组件上，可以基于三维几何求交算法计算结构要素与门窗实体要素的层级关系，实现门窗实体要素与结构要素的关联挂接；3）在此基础上，可以将同楼层的空间要素（OSFNode）、结构要素（CEFNode）和实体（门窗）要素（AEFNode）聚合形成楼层要素（BFNode），进而向上聚合形成建筑或复杂建筑要素（CBNode / IBNode）。基于以上流程可以建立室内场景要素的层级关系，并通过图模型进行表达和存储。
具体地，在本实施例的一种实现方式中，步骤S302包括以下步骤：
步骤S302a，通过要素的质心点之间的位置关系计算要素之间的顺序关系和度量关系；
步骤S302b，通过三维几何求交算法进行拓扑运算得到所有要素的凸包，获得要素之间的拓扑关系。
在本实施例中，根据各要素之间的位置进行空间关系推理。根据对空间关系的定义，可以将其分为顺序关系、拓扑关系和度量关系。由于室内空间规则化重建之后复杂/单体建筑要素（CBNode / IBNode）、建筑空间要素（OSFNode）、结构要素（CEFNode）以及部分实体（门窗）要素（AEFNode）的三维外包盒都可以通过规则形状进行表达。1）针对要素之间的顺序关系和度量关系，可以通过要素的质心点之间的位置关系来进行计算，例如房间A在房间B的南面，则需要计算房间B的质心点与房间A质心点连线构成的矢量所指的方向；房间A与房间B的空间距离是2米，则需要计算房间A的质心点与房间B质心点之间的距离。2）针对要素的拓扑关系，则需要计算所有要素的凸包，通过三维几何求交算法进行拓扑运算，得到要素之间的拓扑关系。例如楼梯A与楼板A的关系，则需要将楼梯A的凸包与楼板A的凸包进行求交，计算出穿越或者被穿越关系。
在本实施中，采用改进形态学算法完成复杂空间拓扑重建并实现空间要素的层级关系、空间关系的推理。并基于空间结构化模型完成室内要素的节点及关系融合，构建完整具有关系表达的室内结构化模型。基于以上室内要素间层级关系与空间关系推理方法，可以快速构建具有几何、语义和关系的室内结构化模型。该模型将具备对室内三维场景完整的几何、语义和关系描述能力，可直接支撑复杂室内空间机器智能应用。
如图5所示，在本实施例中，以三维点云数据为基础，通过平面基元提取、空间剖分以及要素规则化方法实现复杂室内空间的层级化划分，并采用改进形态学算法完成复杂空间拓扑重建并实现空间要素的层级关系、空间关系的推理。具体地，经过空间剖分与规则化获取墙面、梁、板、柱以及空间等几何参数，通过参数化重建方法建立室内空间结构模型，随后通过三维空间拓扑分析建立室内空间要素、结构要素、门窗要素的层级和空间关系。
本实施例通过上述技术方案达到以下技术效果：
本实施例以三维点云数据为基础，首先采用室内复杂环境多楼层空间剖分与空间要素规则化重建方法实现室内空间要素的提取，进而采用改进形态学算法完成复杂空间拓扑重建并实现空间要素的层级关系、空间关系的推理。并基于空间结构化模型完成室内要素的节点及关系融合，构建完整具有关系表达的室内结构化模型；本实施例提出的新的构建结构和参数引导的空间要素规则化与关系推理的方法，实现了室内空间结构要素的信息提取与关系恢复，极大程度地提高了实现复杂室内空间规则化模型构建的自动化程度，提升了室内三维基础模型重建的效率，同时通过关系嵌入实现了室内结构化模型的表达能力的提升，并实现了从对象级表达向几何、语义和关系融合表达的跨越。
示例性设备
基于上述实施例，本发明还提供一种终端，包括：通过系统总线连接的处理器、存储器、接口、显示屏以及通讯模块；其中，所述处理器用于提供计算和控制能力；所述存储器包括存储介质以及内存储器；所述存储介质存储有操作系统和计算机程序；所述内存储器为所述存储介质中的操作系统和计算机程序的运行提供环境；所述接口用于连接外部设备，例如，移动终端以及计算机等设备；所述显示屏用于显示相应的信息；所述通讯模块用于与云端服务器或移动终端进行通讯。
所述计算机程序被所述处理器执行时用以实现一种结构与参数引导的室内要素规则化与关系推理方法的操作。
本领域技术人员可以理解的是，图6中示出的原理框图，仅仅是与本发明方案相关的部分结构的框图，并不构成对本发明方案所应用于其上的终端的限定，具体的终端可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种终端，其中，包括：处理器和存储器，所述存储器存储有结构与参数引导的室内要素规则化与关系推理程序，所述结构与参数引导的室内要素规则化与关系推理程序被所述处理器执行时用于实现如上所述的结构与参数引导的室内要素规则化与关系推理方法的操作。
在一个实施例中，提供了一种计算机可读存储介质，其中，所述计算机可读存储介质存储有结构与参数引导的室内要素规则化与关系推理程序，所述结构与参数引导的室内要素规则化与关系推理程序被所述处理器执行时用于实现如上所述的结构与参数引导的室内要素规则化与关系推理方法的操作。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，计算机程序可存储于一非易失性存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本发明所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。
综上，本发明提供了一种结构与参数引导的室内要素规则化与关系推理方法、终端及存储介质，方法包括：获取空间要素的三维点云数据，通过空间剖分方法得到分割后的空间要素边界集合；将所述三维点云数据投影到二维空间，通过空间要素规则化重建方法得到规则化之后的空间要素边界；根据所述规则化之后的空间要素边界，通过层级关系推理和空间关系推理方法构建室内结构化模型；本发明提出新的构建结构和参数引导的空间要素规则化与关系推理的方法，提高实现复杂室内空间规则化模型构建的自动化程度，提升室内三维基础模型重建的效率，同时通过关系嵌入实现室内结构化模型的表达能力的提升。
应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。
Claims (9)
1.结构与参数引导的室内要素规则化与关系推理方法，其特征在于，包括：
获取空间要素的三维点云数据，通过空间剖分方法得到分割后的空间要素边界集合；
将所述三维点云数据投影到二维空间，在所述分割后的空间要素边界集合的基础上通过空间要素规则化重建方法得到规则化之后的空间要素边界；
根据所述规则化之后的空间要素边界，通过层级关系推理和空间关系推理方法构建室内结构化模型；
所述根据所述规则化之后的空间要素边界，通过层级关系推理和空间关系推理方法构建室内结构化模型，包括：
基于结构与参数引导的要素规则化对所述空间要素、结构要素以及实体要素进行提取和参数化重建，得到不同要素之间的层级关系；
将空间规则化重建之后的所述空间要素、所述结构要素以及所述实体要素的三维外包盒通过规则形状进行表达，得到不同要素之间的空间关系；
根据所述层级关系和所述空间关系构建所述室内结构化模型。
2.根据权利要求1所述的结构与参数引导的室内要素规则化与关系推理方法，其特征在于，所述获取空间要素的三维点云数据，通过空间剖分方法得到分割后的空间要素边界集合，包括：
获取所述空间要素的所述三维点云数据，通过点云分割算法得到平面基元；
根据所述平面基元的法向量信息将所述平面基元分为垂直平面基元、水平平面基元以及倾斜平面基元；
将所述水平平面基元按照高程排序，并将最低的平面基元提取为地板平面，将最高的平面基元提取为屋顶平面；
根据面积和高程约束对所述垂直平面基元进行提取，得到墙面集合与柱面集合；
将所述地板平面、所述屋顶平面、所述墙面集合以及所述柱面集合合并，得到所述分割后的空间要素边界集合。
3.根据权利要求2所述的结构与参数引导的室内要素规则化与关系推理方法，其特征在于，所述根据所述平面基元的法向量信息将所述平面基元分为垂直平面基元、水平平面基元以及倾斜平面基元，包括：
当所述平面基元的法向量与Z轴夹角小于10°时，将所述平面基元归类为所述水平平面基元；
当所述平面基元的法向量与Z轴夹角大于80°时，将所述平面基元归类为所述垂直平面基元；
将除所述垂直平面基元和所述水平平面基元以外的平面基元归类为所述倾斜平面基元。
4.根据权利要求2所述的结构与参数引导的室内要素规则化与关系推理方法，其特征在于，所述将所述三维点云数据投影到二维空间，在所述分割后的空间要素边界集合的基础上通过空间要素规则化重建方法得到规则化之后的空间要素边界，包括：
将所述三维点云数据投影到二维空间，基于所述墙面集合和所述柱面集合以线面求交的方式获取分割后的网格地图；
将所述空间要素边界集合与所述网格地图叠加，并对所述网格地图中每个网格赋予对应的语义标签；
将相邻且具有相同语义的网格合并，得到所述规则化之后的空间要素边界。
5.根据权利要求1所述的结构与参数引导的室内要素规则化与关系推理方法，其特征在于，所述基于结构与参数引导的要素规则化对所述空间要素、结构要素以及实体要素进行提取和参数化重建，得到不同要素之间的层级关系，包括：
将所述规则化之后的空间要素边界设为不同的结构组件，并获取所述空间要素与所述结构要素之间的层级关系；
基于三维几何求交算法计算所述结构要素与所述实体要素的层级关系；
将同楼层的所述空间要素、所述结构要素以及所述实体要素聚合形成楼层要素，并向上聚合形成建筑或复杂建筑要素。
6.根据权利要求5所述的结构与参数引导的室内要素规则化与关系推理方法，其特征在于，所述基于结构与参数引导的要素规则化对所述空间要素、结构要素以及实体要素进行提取和参数化重建，得到不同要素之间的层级关系，还包括：
根据所述实体要素、所述结构要素、所述空间要素、所述楼层要素以及所述建筑或复杂建筑要素建立室内场景要素之间的层级关系，通过图模型进行表达和存储。
7.根据权利要求1所述的结构与参数引导的室内要素规则化与关系推理方法，其特征在于，所述将空间规则化重建之后的所述空间要素、所述结构要素以及所述实体要素的三维外包盒通过规则形状进行表达，得到不同要素之间的空间关系，包括：
通过要素的质心点之间的位置关系计算要素之间的顺序关系和度量关系；
通过三维几何求交算法进行拓扑运算得到所有要素的凸包，获得要素之间的拓扑关系。
8.一种终端，其特征在于，包括：处理器以及存储器，所述存储器存储有结构与参数引导的室内要素规则化与关系推理程序，所述结构与参数引导的室内要素规则化与关系推理程序被所述处理器执行时用于实现如权利要求1-7中任意一项所述的结构与参数引导的室内要素规则化与关系推理方法的操作。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有结构与参数引导的室内要素规则化与关系推理程序，所述结构与参数引导的室内要素规则化与关系推理程序被处理器执行时用于实现如权利要求1-7中任意一项所述的结构与参数引导的室内要素规则化与关系推理方法的操作。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311746821.5A CN117422810B (zh) | 2023-12-19 | 2023-12-19 | 结构与参数引导的室内要素规则化与关系推理方法及终端 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311746821.5A CN117422810B (zh) | 2023-12-19 | 2023-12-19 | 结构与参数引导的室内要素规则化与关系推理方法及终端 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117422810A CN117422810A (zh) | 2024-01-19 |
| CN117422810B true CN117422810B (zh) | 2024-05-17 |
Family
ID=89525190
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311746821.5A Active CN117422810B (zh) | 2023-12-19 | 2023-12-19 | 结构与参数引导的室内要素规则化与关系推理方法及终端 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117422810B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109658506A (zh) * | 2018-11-15 | 2019-04-19 | 西南石油大学 | 一种复杂三维拓扑关系描述方法 |
| CN109815604A (zh) * | 2019-01-30 | 2019-05-28 | 中交第二公路勘察设计研究院有限公司 | 基于建筑要素拓扑关系的bim室内空间连通图构建方法 |
| CN110009727A (zh) * | 2019-03-08 | 2019-07-12 | 深圳大学 | 一种具有结构语义的室内三维模型自动重构方法及系统 |
| CN113112595A (zh) * | 2021-04-28 | 2021-07-13 | 中国科学院沈阳应用生态研究所 | 综合体实景三维模型的点线面混合立体路网自动构建方法 |
| CN115239887A (zh) * | 2022-08-26 | 2022-10-25 | 上海交通大学 | 利用室内外点云高精度重构曼哈顿建筑轴线的方法及系统 |
| CN116385660A (zh) * | 2023-04-21 | 2023-07-04 | 西安电子科技大学 | 室内单视图场景语义重建方法及系统 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110189412B (zh) * | 2019-05-13 | 2023-01-03 | 武汉大学 | 基于激光点云的多楼层室内结构化三维建模方法及系统 |
| US20230230326A1 (en) * | 2021-07-22 | 2023-07-20 | City Furniture, Inc. | System and method for creating and furnishing digital models of indoor spaces |
-
2023
- 2023-12-19 CN CN202311746821.5A patent/CN117422810B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109658506A (zh) * | 2018-11-15 | 2019-04-19 | 西南石油大学 | 一种复杂三维拓扑关系描述方法 |
| CN109815604A (zh) * | 2019-01-30 | 2019-05-28 | 中交第二公路勘察设计研究院有限公司 | 基于建筑要素拓扑关系的bim室内空间连通图构建方法 |
| CN110009727A (zh) * | 2019-03-08 | 2019-07-12 | 深圳大学 | 一种具有结构语义的室内三维模型自动重构方法及系统 |
| CN113112595A (zh) * | 2021-04-28 | 2021-07-13 | 中国科学院沈阳应用生态研究所 | 综合体实景三维模型的点线面混合立体路网自动构建方法 |
| CN115239887A (zh) * | 2022-08-26 | 2022-10-25 | 上海交通大学 | 利用室内外点云高精度重构曼哈顿建筑轴线的方法及系统 |
| CN116385660A (zh) * | 2023-04-21 | 2023-07-04 | 西安电子科技大学 | 室内单视图场景语义重建方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117422810A (zh) | 2024-01-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11544900B2 (en) | Primitive-based 3D building modeling, sensor simulation, and estimation | |
| Xu et al. | Reconstruction of scaffolds from a photogrammetric point cloud of construction sites using a novel 3D local feature descriptor | |
| CN105931294A (zh) | 一种将bim实体模型转换为多细节层次gis标准化模型的方法 | |
| CN108717729A (zh) | 一种面向虚拟地球的地形多尺度tin在线可视化方法 | |
| CN109388843B (zh) | 一种基于vtk的桁架天线的可视化系统及方法、终端 | |
| Yang et al. | Complementarity of historic building information modelling and geographic information systems | |
| CN113724401A (zh) | 一种三维模型切割方法、装置、计算机设备和存储介质 | |
| Previtali et al. | Towards automatic reconstruction of indoor scenes from incomplete point clouds: Door and window detection and regularization | |
| CN112767405A (zh) | 一种基于图注意力网络的三维网格模型分割方法及系统 | |
| CN115797592A (zh) | 一种基于倾斜摄影三维模型自动生成建筑物体块的方法和装置 | |
| Chen et al. | 3D model-based terrestrial laser scanning (TLS) observation network planning for large-scale building facades | |
| Wen et al. | Cooperative indoor 3D mapping and modeling using LiDAR data | |
| Xu et al. | Three-dimensional object detection with deep neural networks for automatic as-built reconstruction | |
| CN115270500A (zh) | 一种布尔求差运算方法、装置及电子设备 | |
| Naserentin et al. | Digital twins for city simulation: Automatic, efficient, and robust mesh generation for large-scale city modeling and simulation | |
| CN111915720B (zh) | 一种建筑物Mesh模型到CityGML模型的自动转换方法 | |
| Zhao et al. | Completing point clouds using structural constraints for large-scale points absence in 3D building reconstruction | |
| CN117422810B (zh) | 结构与参数引导的室内要素规则化与关系推理方法及终端 | |
| CN116912817A (zh) | 三维场景模型拆分方法、装置、电子设备和存储介质 | |
| Li et al. | Combining data-and-model-driven 3D modelling (CDMD3DM) for small indoor scenes using RGB-D data | |
| CN114140508A (zh) | 一种三维重建模型生成的方法、系统、设备及可读存储介质 | |
| Xiong | Reconstructing and correcting 3d building models using roof topology graphs | |
| Vasin et al. | Geometric modeling of raster images of documents with weakly formalized description of objects | |
| Morgan et al. | Using binary space partitioning to generate urban spatial patterns | |
| CN117808987B (zh) | 室内场景三维重建方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |