CN113094460B - 一种结构层级的三维建筑物渐进式编码与传输方法及系统 - Google Patents

一种结构层级的三维建筑物渐进式编码与传输方法及系统 Download PDF

Info

Publication number
CN113094460B
CN113094460B CN202110446688.6A CN202110446688A CN113094460B CN 113094460 B CN113094460 B CN 113094460B CN 202110446688 A CN202110446688 A CN 202110446688A CN 113094460 B CN113094460 B CN 113094460B
Authority
CN
China
Prior art keywords
node
building
transmission
nodes
main
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110446688.6A
Other languages
English (en)
Other versions
CN113094460A (zh
Inventor
佘江峰
董继伟
赵强
李瑶珠
李思睿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University
Original Assignee
Nanjing University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University filed Critical Nanjing University
Priority to CN202110446688.6A priority Critical patent/CN113094460B/zh
Publication of CN113094460A publication Critical patent/CN113094460A/zh
Application granted granted Critical
Publication of CN113094460B publication Critical patent/CN113094460B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29—Geographical information databases
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00—Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Remote Sensing (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Processing Or Creating Images (AREA)

Abstract

为缓解海量的三维建筑物模型数据和有限网络资源之间的矛盾，本发明提供了一种结构层级的三维建筑物渐进式编码与传输方法及系统。本发明首先将建筑物网格分割为组件，根据表面积与体积大小提取主要组件和独立结构，再从主要组件中提取主结构和附属结构；然后根据这三种基本结构的连接关系构造结构拓扑图(STG)，利用STG将结构包装为最小的增量传输单元(传输节点)。当请求数据时，综合考虑视点位置、节点的朝向和视觉重要度来选择期望的节点，并响应客户端。实验表明本发明在编码3D建筑模型时可以更好地保持几何和拓扑特征。在传输过程中，本发明不仅有效地降低了传输负荷，而且在不同简化率下，给用户提供了一致性的建筑物外观体验。

Description

一种结构层级的三维建筑物渐进式编码与传输方法及系统
技术领域
本发明属于计算机图形学与虚拟地理环境领域，具体涉及一种结构层级的三维建筑物渐进式编码与传输方法及系统。
背景技术
地理信息系统(Geographic Information System,GIS)以地球的表层空间的物体作为研究对象，是对其数据进行采集、储存、管理、运算、分析、显示的完整过程系统。随着人们对GIS可视化需求的增加，三维GIS得到了快速发展，并逐渐应用于城市规划、地籍测量和环境监测中。近些年，由于数据共享需求的增加和互联网技术的发展，3D WebGIS的得到了广泛使用。这些应用，如Google地球，Cesium等，允许用户使用web浏览器访问三维场景，实现了十分真实的可视化效果，具有很强的开放性和灵活性，且成本较低。目前，这些应用涉及军事、教育、商业等多个领域。
三维建筑物是数字城市的重要组成，也是三维GIS中重要的可视化要素。与地形、树木这类虚拟地理环境要素相比，三维建筑物模型具有很强的人造模型属性和丰富的细节信息，而为了表达其海量的细节信息，建筑物模型通常具有很高的数据量。而对于城市级别的三维建筑物模型，其数据量更是海量的。虽然计算机硬件处理能力和网络状况都得到了大幅提高，然而三维可视化应用仍难以应对海量三维数据带来的低效的网络传输和不流畅的图形渲染的两大问题。学者们针对以上两个问题，提出了多细节层次技术(Levels ofDetail,LOD)。该方法通过将三维模型简化到不同的详细程度，按需提供给用户不同层级的模型，即近处提供详细模型，远处提供粗略模型。LOD思想被广泛使用于各大三维应用中，例如cesium三维引擎推出了3D Tiles开放规范，用于规范3D地理空间数据集的网络传输，在实际应用中产生了较好的效果。开放地理空间信息联盟(Open Geospatial Consortium,OGC)于2005年提出了CityGML标准，将三维建筑物模型由粗到细划分为5个层次，然而多层次的模型数据之间没有关联，当在网络上传输时，大量的冗余数据带来了重复传输问题，浪费了网络传输带宽。
为了解决这种离散形式的LOD带来的数据冗余问题，学者们进一步提出了渐进式传输方法。该方法的主要思路是将模型逐步简化为一个基础网格，同时记录简化掉的数据作为增量，即渐进式编码模型。在传输和场景细化的过程中，先传输基础网格用于浏览，再按需或按固定顺序传输增量来细化场景，这个过程由原来的使用精细模型替换粗糙模型变成了在粗糙模型上不断追加细节，极大的减少了离散LOD的数据重复传输问题。渐进式简化、编码、传输和重建的思想，已被广泛应用游戏、VR等领域。其中比较著名的是Hoppe于1996年提出的渐进网格(Progressive Mesh，PM),它能够把任意拓扑网格表示为一种高效、无损且具有连续分辨率的流编码，该算法通过不断追加增量流细化场景，使用户逐步的接收场景细节，避免了过长的等待时间引起的不友好的交互体验。Hoppe进一步提出了视点依赖的渐进式网格，对视觉显著性高的区域进行更大程度的细化。在漫游的过程中，那些尚未访问的场景无需加载增量，这不仅减轻了网络负担，也节省了本地储存的成本。传统的渐进式编码方法依赖模型简化操作，这些简化方法通常以基础的几何图元(点、边、三角形)为操作单元对数据量进行缩减，例如顶点聚类，边折叠等。对于三维建筑物模型，通常是使用组件逐步建立起来的，且相邻部分存在严格的规则。相比于自由曲面模型，三维建筑物模型具有很强的内部约束关系：几何约束(例如平行、共面和垂直)和拓扑约束(例如组件之间的邻接)。这些渐进式传输方法常被用于地形这类具有连续表面的模型，当把应用到建筑物模型上时可能会破坏其几何和拓扑约束，引起了不真实的外观变形、结构的认知误差和Z-fighting问题，例如图1中建筑物的两种约束被破坏，引发了视觉瑕疵。然而针对这些具有复杂组件的建筑物，保持的其内部特征的渐进式编码算法相对较少。如何保持建筑物内部的几何和拓扑特征，对三维建筑物模型进行渐进式编码和传输，需要进一步开展研究。
发明内容
发明目的：针对保持三维建筑物的内部几何拓扑特征的渐进式编码和传输，本发明公开了一种结构层级的三维建筑物渐进式编码与传输方法及系统，当传输建筑物模型时，有效的降低了传输负荷，并在各个简化率下，在建筑物外观上给用户一个更好的一致性的体验。
技术方案：为了实现上述发明目的，本发明提供的一种结构层级的三维建筑物渐进式编码与传输方法将建筑物分解为三种基本结构，根据结构连接关系构造结构拓扑图(STG)。在STG的指导下，将结构包装为最小的增量传输单元(传输节点)，建筑物被编码为传输节点。当请求数据时，综合考虑视点位置、节点的朝向和视觉重要度来选择期望的节点，并响应给客户端实现场景的细化。具体包括以下步骤：
(1)将建筑物网格分割为组件，将表面积或体积大小满足设定条件的组件提取为主要组件，剩余组件为独立结构；
(2)对主要组件进行平面聚类，根据平面之间的连接关系构建属性邻接图(AAG)，并在AAG中的进行图搜索，基于子图间的凹凸连接关系提取主结构和附属结构；
(3)计算主结构、独立结构和附属结构间的连接关系，构造结构拓扑图(STG)；
(4)基于结构拓扑图，将结构包装为最小的传输节点对三维建筑物模型进行编码，并计算视觉重要度和朝向作为用于控制传输的节点属性；
(5)在客户端请求数据时，综合考虑视点位置、节点朝向和视觉重要度来选择传输节点，并响应客户端。
进一步地，所述步骤(1)中具体包括：
(1.1)遍历模型网格内所有三角形，建立三角形集合tSet；
(1.2)从tSet中取出一个未访问的三角形t，将t设置为已访问，将其放入队列q中，并创建一个新的组件c；
(1.3)从q中取出三角形t，将其添加到组件c中，遍历t的所有未访问相邻三角形，将其设置为已访问并将其放入队列q，重复(1.3)，直到q中没有三角形为止；
(1.4)重复(1.2)和(1.3)，直到tSet中的所有三角形都被访问；至此建筑物已被分割为组件表示；
(1.5)计算每个组件的方向包围盒(OBB)的体积Vi和表面积Sj；
(1.6)根据体积大小对组件进行降序排序，从大到小的顺序对体积Vi进行累加运算得到Vsum；当Vsum≥Vtotal×t1时，停止累加，得到组件集合I；
(1.7)根据表面积大小对组件进行降序排序，从大到小的顺序对表面积Sj进行累加运算得到Ssum；当Ssum≥Stotal×t2时，停止累加，得到组件集合J；
(1.8)得到B＝{I∪J}为主要组件，其余组件为独立结构，其中，Vtotal为建筑物组件的体积累加和，Stotal为建筑物组件的表面积累加和，t1和t2为0到1的阈值，可根据建筑物组件的破碎程度自由调整。
进一步地，步骤(2)中具体包括：
(2.1)使用贪婪聚类算法将主要组件的三角形聚类成平面；
(2.2)计算平面之间的连接角度，当角度大于180度时，存在凸连接，当角度小于等于180度时，存在凹连接，根据连接关系构建属性邻接图AAG；
(2.3)在AAG中，对于一个子图g与其邻居子图n，如果的g内部都为凹连接，且g与n的所有连接为凸，或g的内部都为凸连接，且g与n的所有连接为凹，那么认为g是简单附属结构；如果n内平面数量为1，且g与n所有连接都相同，认为g为复杂附属结构；在AAG中首先提取简单附属结构并移除，将迭代进行此过程直到所有的简单附属结构都被提取，然后提取复杂附属结构；
(2.4)对移除附属结构后产生的孔洞进行三角化填补，产生孔洞三角网，并生成临时纹理来保持孔洞三角网的纹理；
(2.5)将已经提取并移除了附属结构的主要组件作为主结构，将建筑物表达为主结构，独立结构和附属结构。
进一步地，所述步骤(2.3)中当附属结构的平面的数量小于等于3时，或当简单附属结构的OBB体积大于主要组件的一半时，不提取该附属结构。
进一步地，所述步骤(3)中具体包括：
(3.1)为所有结构构建轴对齐包围盒(AABB)；
(3.2)对所有结构两两进行AABB包围盒相交判断，如果相交，则计算其是否存在相交的三角形，如存在，判定两个结构相连；
(3.3)判断是否存在未与任何结构相连的独立结构，如果存在，将独立结构沿着重心进行膨胀；
(3.4)重复(3.2)、(3.3)直到不存在未与任何结构相连的独立结构；
(3.5)根据连接关系构建结构拓扑图。
进一步地，所述步骤(4)中利用提取的结构，将三维建筑物模型编码为如下四种传输节点：主节点、叶子节点、组合节点和孔洞三角网节点；其中主节点为所有主结构合并的一个传输节点，叶子节点是STG中只有一个邻居的节点或移除叶子节点后只有一个邻居的节点，组合节点为STG中移除所有叶子节点，且主节点标记为不可连通的节点后的每一个子图中所有结构的组合，孔洞三角网节点为对移除附属结构后产生的孔洞进行填补产生的孔洞三角网对应的节点。
进一步地，所述步骤(4)中仅计算叶子节点和组合节点的视觉重要度和朝向；所述视觉重要度为节点的OBB体积；所述朝向的计算方法为：标记与主节点直接相邻的传输节点为第二层节点，并将主节点设置为不可连接的节点，计算第二层节点的朝向，并将第二层节点的朝向传递赋值给直接或间接相邻的所有节点。
进一步地，所述步骤(5)中选择传输节点的方法具体包括：
(5.1)在服务器上为每个建筑物模型维持一个数据结构，记录建筑物ID，建筑物的中心位置，主节点和六个有序列表；每个列表分别存储在六个方向上可见的节点，列表中的节点以视觉重要度大小降序组织；
(5.2)首次加载场景时，服务器发送所有建筑物的主节点及其关联的孔洞三角网节点；
(5.3)在场景中漫游时，服务器首先执行空间查询来查找在视野中的建筑物，根据每个建筑物的中心位置计算视点和每个建筑模型之间的距离，根据距离计算需要在每个建筑模型中加载的传输节点的最小视觉重要度，基于视点相对于建筑模型的位置的计算建筑物的可见朝向；
(5.4)根据最小视觉重要度，从每个建筑物的可见列表中查找可见的节点，然后基于视觉重要度大小的降序组织节点；如果尚未发送子节点的父节点，则在子节点的前面插入父节点以确保节点顺序。
进一步地，在服务器上创建哈希集合来保存已发送的传输节点，避免重复的传输；在客户端维护一个传输节点列表(TNL)，记录已添加到场景的传输节点，当新的传输节点到达时，如果新节点相关联的孔洞三角网节点存在于TNL中，则移除孔洞三角网节点。
基于相同的发明构思，本发明提供的一种结构层级的三维建筑物渐进式编码与传输系统，包括服务端和客户端，所述客户端用于发送当前的视点信息，并接收服务端发送的传输节点数据，添加到场景中进行渲染；所述服务端包括至少一台计算设备，所述计算设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述计算机程序被加载至处理器时实现所述的结构层级的三维建筑物渐进式编码与传输方法。
有益效果：与传统技术方案对比，本发明提取了建筑物的主结构、独立结构和附属结构三种基本结构，在编码三维建筑物过程中，通过以结构层次的传输节点为单元进行编码，保持了三维建筑物的几何约束和拓扑约束，避免了不真实的外观变形和认知歧义。此外，采用的视点依赖的策略大幅降低了系统传输负荷，提升了用户的浏览体验。
附图说明
图1为使用边作为编码单元，在传输不同数据量下的建筑物的外观比较图，其中(a)示意几何约束的破坏(b)示意拓扑约束的破坏。
图2为本发明实施例的技术路线图。
图3为本发明实施例中建筑物网格分割结果图，其中(a)原始的三维建筑物模型(b)网格分割结果(可见楼梯有丰富的细节，并由大量组件组成)。
图4为本发明实施例中平面贪婪聚类和附属结构提取的结果图，其中(a)主要组件(b)附属结构提取结果。
图5为本发明实施例中从AAG中提取结构示意图，其中(a)附属结构(左侧的六棱柱是一个简单附附属结构，右侧是一个复杂附属结构)(b)AAG(左侧框内对应简单附属结构，右侧框内对应于复杂附属结构)。
图6为本发明实施例中构建传输节点示意图，其中(a)三维建筑物模型的结构(b)STG(在STG中，结构被包装为不同的传输节点)。
图7为本发明实施例中传输节点的构建结果图，其中(a)结构提取结果(b)传输节点的构建结果。
图8为本发明实施例中服务器获取传输节点的流程图。
图9为模型1的结构提取结果和传输节点构建结果图，其中(a)原始模型(b)独立结构提取结果(c)附属结构提取结果(d)传输节点构建结果。
图10为模型2的结构提取结果和传输节点构建结果图，其中(a)原始模型(b)独立结构提取结果(c)附属结构提取结果(d)传输节点构建结果。
图11为模型1通过接收增量从低等级模型细化为高等级模型过程图，其中(a)几何结构的变化(b)模型1接收各类型的传输节点。
图12为模型2通过接收增量从低等级模型细化为高等级模型过程图，其中(a)几何结构的变化(b)模型2接收各类型的传输节点。
图13为本发明与QEM算法在模型3上的对比结果图，其中(a)纹理比较结果(b)几何比较结果。
图14为城市场景效果图。
图15为城市场景的顶点数据量统计对比图。
具体实施方式
下面结合附图以及具体实施方式对本发明的技术方案作进一步的介绍。
如图2所示，本发明实施例公开了一种结构层级的三维建筑物渐进式编码和传输方法。首先读取三维建筑物模型，使用广度优先搜索算法，将三维建筑物模型分割为网格间相互不连续的组件，依据体积和表面积提取主要组件和独立结构。对主要组件进行平面聚类，将具有相近法向量的三角形归为一类，根据平面的凹凸连接关系构建拓扑属性邻接图，定义了两种规则提出了附属结构和主结构。将建筑物模型分解为三种基本的结构表示，计算结构间的连接关系，构建结构拓扑图。在此基础上，基于图搜索算法构建四种传输增量(传输节点)，计算传输节点的属性，并重新组织传输节点。根据建筑物编码结果，在实时传输时，依据视点信息查询视野内建筑物，获取可见的传输节点来响应客户端。下面对各个步骤进行详细说明。
1.将建筑物网格分割为组件，根据表面积与体积大小提取主要组件和独立结构。
从抽象的角度来看，建筑模型可以被视为不同类型的组件的组合。在本发明中，组件和结构的定义是不同的。组件是一个独立的三角形网格，不包含明确的语义信息，例如图3中的雷达接收器。结构是表达特定语义的一组三角形。结构即可以直接由组件构成，也可以嵌入到组件上的一组平面。组件可以直接表达结构，例如图3的(b)中的空调，也可以包括多个结构，例如墙体和窗户，两个结构一起形成主要组件。本发明首先将建筑物分段为多个组件，然后从组件中提取结构。使用广度优先搜索算法分割建筑物得到组件，依据组件的表面积和体积，提取主要组件。具体组件分割和主要组件的提取方法为：
遍历模型网格内所有三角形，建立三角形集合tSet；从tSet中取出一个未访问的三角形t，将t设置为已访问，将其放入队列q中，并创建一个新的组件c；从q中取出三角形t，将其添加到组件c中，遍历t的所有未访问相邻三角形，将其设置为已访问并将其放入队列q，重复本步骤，直到q中没有三角形为止；重复上述步骤，直到tSet中的所有三角形都被访问；至此建筑物已被分割为组件表示。
计算每个组件的方向包围盒(OBB)的体积Vi和表面积Sj；根据体积大小对组件进行降序排序，从大到小的顺序对体积Vi进行累加运算得到Vsum；当Vsum≥Vtotal×t1时，停止累加，得到组件集合I；根据表面积大小对组件进行降序排序，从大到小的顺序对表面积Sj进行累加运算得到Ssum；当Ssum≥Stotal×t2时，停止累加，得到组件集合J；得到B＝{I∪J}为主要组件，其余组件为独立结构。其中，Vtotal为累加建筑物组件体积得到的体积累加和，Stotal为累加建筑物组件表面积得到的表面积累加和，t1和t2为0到1的阈值，可根据建筑物组件的破碎程度自由调整。
网格分割结果如图3所示，不同的颜色代表不同的组件。本发明将3D建筑模型分解为三种基本结构：主要结构，独立结构和附属结构。可以看出，建筑模型的外观主要由几个主要组件表示，其他组件起装饰作用。每个主要组件由主要结构和一些附属结构组成。主要结构通常是整个墙壁，附属的结构嵌入主要部件中，具有明显的突起和凹陷特征，如图3所示的窗口，除主要组件外，其他组件是独立结构。这些结构通常表面积小，体积小，移除这些结构不会在建筑物表面上留下孔洞。
2.对主要组件进行平面聚类，构建属性邻接图(AAG)，提取主结构和附属结构。
提取附属结构的前提是获得平面的凹凸连接关系。使用贪婪的聚类算法(具体可参考文献1[Li,Q.Q.,et al.,Geometric structure simplification of 3D buildingmodels.Isprs Journal of Photogrammetry and Remote Sensing,2013.84：p.100-113])将主要组件由三角形网格聚类为平面的集合，结果如图4的(a)所示。然后，计算平面之间的连接角度。当角度小于等于180°时，平面之间存在凹连接，当角度大于180°时，平面之间存在凸连接。根据这些连接关系，构建属性邻接图AAG。在AAG中使用图搜索算法可以有效地提取附属结构。
如图5的(a)所示，图中有两个平面集合：简单附属结构(左)和复杂附属结构(右)。在图5的(b)中，每个平面被表示为节点，边代表平面之间的连接关系。AAG中有两个附属结构：简单附属结构(左子图)和复杂附属结构(右子图)。根据提取规则，当一组平面具有相同的内部凹凸连接关系但与外部凹凸连接关系相反时(即对于AAG中一个子图g与其邻居子图n，如果的g内部都为凹连接，且g与n的所有连接为凸，或g的内部都为凸连接，且g与n的所有连接为凹)，它被识别为简单附属结构。简单附属结构广泛存在于建筑物的主要组件上，例如窗户，门等。当一组平面具有不同的内部连接关系时，无论连接关系多么复杂，只要这组平面都连接到一个平面同时和这个平面具有相同凹凸连接关系(即对于AAG中一个子图g与其邻居子图n，如果n内平面数量为1，且g与n所有连接都相同)，它都将被识别为复杂附属结构。由于简单附属结构可以嵌入到复杂附属结构上，因此首先提取简单附属结构，并从AAG中移除。迭代地执行该过程，直到移除所有简单的连接结构，然后提取复杂附属结构。当附属结构的平面的数量小于或等于3时，提取结构再传输将带来不必要的冗余，所以不提取它们。当提取到最后时，规则的墙体很容易被识别为简单附属结构，因此当简单附属结构的OBB体积大于主要组件的一半时，不提取该结构。由于附属结构是嵌入到主网格上的，所以当附属结构被移除后，会在主结构表面留下孔洞，这将对建筑物的外观造成严重的破坏。为了尽量消除移除结构带来的视觉影响，使用了基于Gao的算法(具体可参考文献2[Gao,S.,et al.,Feature suppression based CAD mesh model simplification.Computer-AidedDesign,2010.42(12)：p.1178-1188])对孔洞进行三角化填补来生成临时网格，为孔洞三角网。为了保持孔洞三角网的纹理，使用投影法生成临时纹理(具体可参考文献3[Du,Z.,etal.,Texture Optimization Methodology for 3D Building Based on SuperFace.Geomatics and Information Science of Wuhan University,2014.39(12)：p.1401-1405])。此步骤将生成具有纹理坐标的局部三角网，在产生传输附属结构的之前，以孔洞三角网代替附属结构。由于使用了纹理，此填补过程极大的保持了建筑物的外观。
3.计算结构间的连接关系，构造结构拓扑图(STG)。
至此，建筑物被分为：主结构、独立结构、附属结构。为了将结构进一步包装为传输增量，创建了结构拓扑关系图(STG)，其关键工作是判断结构之间的相交关系。由于建筑物的结构数量大，结构内部三角形数量多，直接进行相交测试将是一项十分耗时的任务。所以设计了一种方法来快速计算结构之间的连接关系，方法同时考虑到可能存在的建模误差，例如未与任何结构相交的独立结构。
首先为所有结构构建AABB包围盒。然后对所有结构两两进行AABB包围盒相交判断，如果相交，则计算其是否存在相交的三角形，如存在，判定两个结构相交。判断图中是否存在未与任何结构相连的独立结构，如果存在，将结构沿着重心放大1.1倍，即膨胀操作(具体可参考文献[Zhao,J.,et al.,Mathematical morphology-based generalization ofcomplex 3D building models incorporating semantic relationships.2012.68：p.95-111])，重复此步骤，直到STG中不存在未与任何结构相连的独立结构。根据连接关系构建结构拓扑图。
4.基于结构拓扑图提取传输节点，并计算用于控制传输的节点属性,依据属性组织传输节点。
传输节点是模型完成一次细化的所传输的最小增量单元，其由结构或结构的组合体构成。依据结构的连接关系和属性定义了四种传输节点：主节点，叶子节点，组合节点，孔洞三角网节点。
(1)主节点
主节点是在传输过程中最先传输的内容，可以被理解成最粗略的模型，由之前得到的主结构构成，如图6中的S1。将所有主结构合并为一个传输节点，为主节点。
(2)叶子节点
叶子节点是指单独表达语义，仅受到传输顺序制约的节点，如图6中的S2,S6。这类节点通常只有一个邻居，可直接从附属结构和独立结构构建，它们将按照顺序依次进行传输。首先，在结构拓扑图中搜索只有一个邻居的节点，将其标记为叶子节点，将邻居节点标记为父亲，并将其从结构拓扑图中移除，重复此步骤直到没有新的叶子节点。
(3)组合节点
组合节点是指组合表达语义，受到整体表达制约的节点。它们常由独立结构或独立结构和附属结构混合组成，例如楼梯，水塔等具有复杂结构特征的组合体，如图6中的S7,S8,S9,S10,S11，对这些独立结构采取整体传输的策略。为提取组合节点，首先，将主节点标记成不可连通的节点，以避免在遍历节点时将主节点标记成组合节点。然后，进行广度优先搜索(BFS)，将每一个连通子图构建成一个组合节点，并合并子图所有节点的数据，记录邻居为父亲节点。
(4)孔洞三角网节点
孔洞三角网节点是指移除附属结构后的填充的孔洞三角网。它随着孔洞三角网节点的父节点进行传输。
在建筑物实时传输的过程中，要优先传输视觉上更加显著的传输节点。为了衡量传输节点的视觉显著程度，定义了传输节点可见性。传输节点可见性与两个因素有关，视觉重要度和朝向。
因为主节点和孔洞三角网节点有固定的传输规则，所以只需要计算叶子节点和组合节点的视觉重要度。通常情况下，传输节点的视觉重要度由其体积表示。体积越大，视觉重要度越高。为了方便计算，直接使用传输节点的OBB体积作为视觉重要度。具有较高视觉重要度的传输节点将被优先传输。
对于建筑物而言，结构往往附于主节点的各个表面，所以该表面的朝向决定了表面连接的传输节点是否可见。如果此表面朝向与视线夹角介于(-90°，90°)，将无法看到此表面和表面上的传输节点，这种因素被称为传输节点的朝向可见性。为了进一步降低传输的数据量，仅加载朝向可见的传输节点。依据这个原则计算所有节点的朝向属性，本发明定义传输节点共有六个朝向，即上，下，左，右，前，后。主节点起到表达建筑外观的主要作用，所以其节点可见性为全方位可见。将直接与主节点相连的传输节点标记为第二层节点，首先计算第二层节点的视点朝向属性。计算方法如下：首先获取该传输节点T与主节点相交的平面集F＝{f1,f2……}，这些平面集来自网格平面贪婪聚类后的结果。然后计算平面f1法向量与正x轴单位向量的乘积m，如果m大于d，那么认为F在正x轴可见。其中d为阈值，本发明d取值0.5。判断平面集F内所有平面在六个朝向的可见性，并将可见结果赋值给T。将T的朝向可见性传递赋值给与T直接相连和间接相连的所有传输节点，从而计算所有传输节点的朝向可见性。为了实现此目标，首先将主节点标记为不可连通节点，以每个第二层节点为起点开始广度优先搜索，将第二层节点的朝向属性赋值给遍历到的所有节点。
为了加快在该过程中查找需要传输的节点，在服务端为每一栋建筑物维护了一个数据结构来重新组织传输节点顺序，记录建筑物ID，建筑物中心位置，主节点，六张有顺序的表，其中每张表中储存六个方位上可见的节点，其节点在每个列表中按照视觉重要度降序组织。
5.构建传输节点的请求与实时传输方法。
在实时传输阶段，客户端将视点信息传输至服务端，服务端根据视点，获取当前场景中需要加载的建筑物传输节点，并有序传输到客户端，客户端接收数据并进行渲染，从而实现建筑物结构层级的渐进细化。传统方法接收数据后对模型细化的单元通常是点和边，对三角形网格需要进行额外的重建工作，而本发明以结构为细化基本单元，渲染数据是直接添加到场景中的，避免了对三角网格的重建，所以该重建方法与传统方法相比更加高效。
服务器获取需要加载的传输节点的过程如图8所示。当第一次加载场景时，服务器将传输所有建筑物的主节点及其关联的孔洞三角网节点。在场景中漫游时，服务器首先执行空间查询来查询在视野中的建筑物。然后，根据每个建筑物的中心位置计算视点和每个建筑模型之间的距离。根据距离计算需要在每个建筑模型中加载的传输节点的最小视觉重要度，以及基于视点相对于建筑模型的位置，计算每个建筑物模型的可见朝向。根据最小视觉重要度，使用二分查找算法从每个建筑物的可见有序列表中找到需要传输的节点，然后根据视觉重要度大小的降序组织节点。如果尚未发送子节点的父节点，则在子节点的前面插入父节点以确保在子节点之前发送父节点。在服务器上创建哈希集合以保存已发送的传输节点，避免重复传输。
在客户端维护一个传输节点列表(TNL)，记录已添加到场景的传输节点。当新的传输节点到达时，如果新节点相关联的孔洞三角网节点存在于TNL中，则将移除孔洞三角网节点。
为了验证方法的可行性，开发了一套原型系统，该系统包括三部分，第一，预处理部分，读取模型，提取结构并创建传输节点，将传输节点数据存储到磁盘文件上。第二，服务端传输响应部分，依据接收的视点信息有序发送传输节点数据，第三，客户端部分，客户端发送当前的视点信息，并接收服务端发送的传输节点数据，添加到场景中进行渲染。实验基于OSG(OpenSceneGraph)三维引擎实现三维场景的渲染，实验使用的平台是64位的windows10操作系统，处理器为Intel Core i7-7700HQ，显卡为NVIDIA GeForce 940MX，内存为16GB。本发明从两个方面讨论结果：首先，选择了两种不同类型的经典模型展示本发明的结构提取结果，另外通过在模型3上与传统算法进行比较，以不同的简化率来展示模型3的外观。其次，统计了本发明在大型城市场景中数据加载情况。表1统计了原型系统中使用的模型数据信息。
表1建筑物模型统计信息
(1)结构提取合传输节点构建结构
为了证明算法在独立结构和附属结构上的提取能力，实验使用了两个模型，一个具有丰富的独立结构(模型1)，另一个具有丰富的附属结构(模型2)，两个模型均使用3DSmax制作而成。
图9展示了模型1的提取结果，该三维建筑为美国纽约市某街区的建筑物，在图9的(b)中，该模型拥有大量的独立结构，这些结构体积较小，起到装饰的作用。在图9中(d)的结果展示了传输节点的构建结果，建筑物包含大量的组合节点，如信号塔，广告牌等。
图10展示模型2的提取效果，该模型具有丰富的附属结构。图10中(b)表明，该建筑物几乎没有独立结构，图10中(c)展示了附属结构的提取结果，其中简单结构主要为窗户，窗户是现代建筑物上最常见的结构，复杂的现代建筑物上几乎布满了窗户。本发明也提取了部分复杂附属结构，如楼梯和天台的组合。图10中(d)表明，附属结构大多被构建成了叶子节点。
在图11的(a)和图12的(a)中，模型通过接收传输节点来进行细化。在这个过程中，模型的外观并没有出现不真实的外观变形。在图11的(b)和图12的(b)中，孔洞三角网节点临时替代了低等级建筑模型中的附属结构，保持了模型的主要主观。当接收到关联的传输节点时，孔洞三角网节点被关联节点替换
(2)与传统算法对比
现有的三维模型的渐进编码通常基于一种简化操作。QEM作为经典的简化误差度量算法，常被用于简化各类三维模型，并实现了较好的效果。为了对比建筑物模型的渐进编码结构，从而选择了QEM进行比较。
在图13的(a)中，当模型3被QEM算法简化到44％时，楼梯被部分简化了，但是本发明将楼梯构造为组合节点整体传输。当模型3被QEM简化为11％时，模型3的墙体被过度简化，而墙体通常占有较大视觉面积，具有很高的视觉重要度，基于边折叠的简化难以维持几何约束关系，例如破坏了窗户和墙体的平行关系，同时容易将墙体的三角形简化为重叠的三角形，导致产生闪烁现象(Z-fighting问题)[5]。而本发明避免了对墙体这类主结构的过度简化。仅使用54％的数据，就恢复了可见方位的全部细节。
(3)效率分析
在网络带宽固定的情况下，三维建筑物模型的传输时间主要受传输数据总量的影响。本发明使用累计传输的顶点数量作为衡量传输数据总量的指标。在城市场景中进行漫游，如图14所示，使用本发明加载了场景的全部数据，并实时统计场景中的顶点数量。
如图15所示，计算了使用离散LOD的情况下，场景中的顶点数量。其中五个层次的离散LOD的简化率分别为80％，60％，40％，20％，0％，由于离散LOD的不同等级之间模型没有关联，大量数据被重复传输。本发明在加载模型全部数据时略高于模型的总数据量，这是因为本发明中使用了孔洞三角网节点，其数据是冗余的。实验证明，本场景的冗余量为6.5％，满足大规模场景的渐进式传输的需求。
基于相同的发明构思，本发明实施例公开的一种结构层级的三维建筑物渐进式编码与传输系统，包括服务端和客户端，所述客户端用于发送当前的视点信息，并接收服务端发送的传输节点数据，添加到场景中进行渲染；所述服务端包括至少一台计算设备，所述计算设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述计算机程序被加载至处理器时实现所述的结构层级的三维建筑物渐进式编码与传输方法。

Claims (10)

1.一种结构层级的三维建筑物渐进式编码与传输方法，其特征在于，包含以下步骤：
(1)将建筑物网格分割为组件，将表面积或体积大小满足设定条件的组件提取为主要组件，剩余组件为独立结构；
(2)对主要组件进行平面聚类，根据平面之间的连接关系构建属性邻接图(AAG)，并在AAG中的进行图搜索，基于子图间的凹凸连接关系提取主结构和附属结构；
(3)计算主结构、独立结构和附属结构间的连接关系，构造结构拓扑图(STG)；
(4)基于结构拓扑图，将结构包装为最小的传输节点对三维建筑物模型进行编码，并计算视觉重要度和朝向作为用于控制传输的节点属性；
(5)在客户端请求数据时，综合考虑视点位置、节点朝向和视觉重要度来选择传输节点，并响应客户端。
2.根据权利要求1所述的结构层级的三维建筑物渐进式编码与传输方法，其特征在于，所述步骤(1)中具体包括：
(1.1)遍历模型网格内所有三角形，建立三角形集合tSet；
(1.2)从tSet中取出一个未访问的三角形t，将t设置为已访问，将其放入队列q中，并创建一个新的组件c；
(1.3)从q中取出三角形t，将其添加到组件c中，遍历t的所有未访问相邻三角形，将其设置为已访问并将其放入队列q，重复(1.3)，直到q中没有三角形为止；
(1.4)重复(1.2)和(1.3)，直到tSet中的所有三角形都被访问；至此建筑物已被分割为组件表示；
(1.5)计算每个组件的方向包围盒(OBB)的体积Vi和表面积Sj；
(1.6)根据体积大小对组件进行降序排序，从大到小的顺序对体积Vi进行累加运算得到Vsum；当Vsum≥Vtotal×t1时，停止累加，得到组件集合I；
(1.7)根据表面积大小对组件进行降序排序，从大到小的顺序对表面积Sj进行累加运算得到Ssum；当Ssum≥Stotal×t2时，停止累加，得到组件集合J；
(1.8)得到B＝{I∪J}为主要组件，其余组件为独立结构，其中，Vtotal为建筑物组件的体积累加和，Stotal为建筑物组件的表面积累加和，t1和t2为0到1的阈值，可根据建筑物组件的破碎程度自由调整。
3.根据权利要求1所述的结构层级的三维建筑物渐进式编码与传输方法，其特征在于，步骤(2)中具体包括：
(2.1)使用贪婪聚类算法将主要组件的三角形聚类成平面；
(2.2)计算平面之间的连接角度，当角度大于180度时，存在凸连接，当角度小于等于180度时，存在凹连接，根据连接关系构建属性邻接图AAG；
(2.3)在AAG中，对于一个子图g与其邻居子图n，如果的g内部都为凹连接，且g与n的所有连接为凸，或g的内部都为凸连接，且g与n的所有连接为凹，那么认为g是简单附属结构；如果n内平面数量为1，且g与n所有连接都相同，认为g为复杂附属结构；在AAG中首先提取简单附属结构并移除，将迭代进行此过程直到所有的简单附属结构都被提取，然后提取复杂附属结构；
(2.4)对移除附属结构后产生的孔洞进行三角化填补，产生孔洞三角网，并生成临时纹理来保持孔洞三角网的纹理；
(2.5)将已经提取并移除了附属结构的主要组件作为主结构，将建筑物表达为主结构，独立结构和附属结构。
4.根据权利要求3所述的结构层级的三维建筑物渐进式编码与传输方法，其特征在于，所述步骤(2.3)中当附属结构的平面的数量小于等于3时，或当简单附属结构的OBB体积大于主要组件的一半时，不提取该附属结构。
5.根据权利要求1所述的结构层级的三维建筑物渐进式编码与传输方法，其特征在于，所述步骤(3)中具体包括：
(3.1)为所有结构构建轴对齐包围盒(AABB)；
(3.2)对所有结构两两进行AABB包围盒相交判断，如果相交，则计算其是否存在相交的三角形，如存在，判定两个结构相连；
(3.3)判断是否存在未与任何结构相连的独立结构，如果存在，将独立结构沿着重心进行膨胀；
(3.4)重复(3.2)、(3.3)直到不存在未与任何结构相连的独立结构；
(3.5)根据连接关系构建结构拓扑图。
6.根据权利要求1所述的结构层级的三维建筑物渐进式编码与传输方法，其特征在于，所述步骤(4)中利用提取的结构，将三维建筑物模型编码为如下四种传输节点：主节点、叶子节点、组合节点和孔洞三角网节点；其中主节点为所有主结构合并的一个传输节点，叶子节点是STG中只有一个邻居的节点或移除叶子节点后只有一个邻居的节点，组合节点为STG中移除所有叶子节点，且主节点标记为不可连通的节点后的每一个子图中所有结构的组合，孔洞三角网节点为对移除附属结构后产生的孔洞进行填补产生的孔洞三角网对应的节点。
7.根据权利要求6所述的结构层级的三维建筑物渐进式编码与传输方法，其特征在于，所述步骤(4)中仅计算叶子节点和组合节点的视觉重要度和朝向；所述视觉重要度为节点的OBB体积；所述朝向的计算方法为：标记与主节点直接相邻的传输节点为第二层节点，并将主节点设置为不可连接的节点，计算第二层节点的朝向，并将第二层节点的朝向传递赋值给直接或间接相邻的所有节点。
8.根据权利要求1所述的结构层级的三维建筑物渐进式编码与传输方法，其特征在于，所述步骤(5)中选择传输节点的方法具体包括：
(5.1)在服务器上为每个建筑物模型维持一个数据结构，记录建筑物ID，建筑物的中心位置，主节点和六个有序列表；每个列表分别存储在六个方向上可见的节点，列表中的节点以视觉重要度大小降序组织；
(5.2)首次加载场景时，服务器发送所有建筑物的主节点及其关联的孔洞三角网节点；
(5.3)在场景中漫游时，服务器首先执行空间查询来查找在视野中的建筑物，根据每个建筑物的中心位置计算视点和每个建筑模型之间的距离，根据距离计算需要在每个建筑模型中加载的传输节点的最小视觉重要度，基于视点相对于建筑模型的位置的计算建筑物的可见朝向；
(5.4)根据最小视觉重要度，从每个建筑物的可见列表中查找可见的节点，然后基于视觉重要度大小的降序组织节点；如果尚未发送子节点的父节点，则在子节点的前面插入父节点以确保节点顺序。
9.根据权利要求8所述的结构层级的三维建筑物渐进式编码与传输方法，其特征在于，在服务器上创建哈希集合来保存已发送的传输节点，避免重复的传输；在客户端维护一个传输节点列表(TNL)，记录已添加到场景的传输节点，当新的传输节点到达时，如果新节点相关联的孔洞三角网节点存在于TNL中，则移除孔洞三角网节点。
10.一种结构层级的三维建筑物渐进式编码与传输系统，其特征在于，包括服务端和客户端，所述客户端用于发送当前的视点信息，并接收服务端发送的传输节点数据，添加到场景中进行渲染；所述服务端包括至少一台计算设备，所述计算设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述计算机程序被加载至处理器时实现根据权利要求1-9任一项所述的结构层级的三维建筑物渐进式编码与传输方法。
CN202110446688.6A 2021-04-25 2021-04-25 一种结构层级的三维建筑物渐进式编码与传输方法及系统 Active CN113094460B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110446688.6A CN113094460B (zh) 2021-04-25 2021-04-25 一种结构层级的三维建筑物渐进式编码与传输方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110446688.6A CN113094460B (zh) 2021-04-25 2021-04-25 一种结构层级的三维建筑物渐进式编码与传输方法及系统

Publications (2)

Publication Number Publication Date
CN113094460A CN113094460A (zh) 2021-07-09
CN113094460B true CN113094460B (zh) 2023-07-28

Family

ID=76679935

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110446688.6A Active CN113094460B (zh) 2021-04-25 2021-04-25 一种结构层级的三维建筑物渐进式编码与传输方法及系统

Country Status (1)

Country Link
CN (1) CN113094460B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101119485A (zh) * 2007-08-06 2008-02-06 北京航空航天大学 一种基于特征保留的三维模型递进传输方法
CN101860979A (zh) * 2010-04-23 2010-10-13 浙江工商大学 一种无线局域网络中三维模型传输和交互式绘制方法
CN103701798A (zh) * 2013-12-24 2014-04-02 秦皇岛数据产业研究院有限公司 三维模型智能渐进式传输系统及传输方法
CN108961411A (zh) * 2018-07-02 2018-12-07 南京大学 一种保持外观特征的复杂三维建筑物模型简化方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200407799A (en) * 2002-11-05 2004-05-16 Ind Tech Res Inst Texture partition and transmission method for network progressive transmission and real-time rendering by using the wavelet coding algorithm
WO2020182591A1 (en) * 2019-03-08 2020-09-17 Osram Gmbh Component for a lidar sensor system, lidar sensor system, lidar sensor device, method for a lidar sensor system and method for a lidar sensor device

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101119485A (zh) * 2007-08-06 2008-02-06 北京航空航天大学 一种基于特征保留的三维模型递进传输方法
CN101860979A (zh) * 2010-04-23 2010-10-13 浙江工商大学 一种无线局域网络中三维模型传输和交互式绘制方法
CN103701798A (zh) * 2013-12-24 2014-04-02 秦皇岛数据产业研究院有限公司 三维模型智能渐进式传输系统及传输方法
CN108961411A (zh) * 2018-07-02 2018-12-07 南京大学 一种保持外观特征的复杂三维建筑物模型简化方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Structure-Level 3D Building Model Encoding Method for Progressive Transmission;Dong J等;《ISPRS International Journal of Geo-Information》;1-20 *
SVD lossy adaptive encoding of 3D digital images for ROI progressive transmission;I Baeza等;《Image and Vision Computing》;449–457 *
三维模型的渐进式编码与流传输技术的研究;李公立等;《北京航空航天大学学报》;370-374 *

Also Published As

Publication number Publication date
CN113094460A (zh) 2021-07-09

Similar Documents

Publication Publication Date Title
Coors 3D-GIS in networking environments
CN107025685B (zh) 拓扑感知下的机载建筑屋顶点云建模方法
CN100566414C (zh) 一种基于特征保留的三维模型递进传输方法
US20050012742A1 (en) Process for managing the representation of at least one 3D model of a scene
CN102509339B (zh) 一种带纹理约束的三维模型顶点聚类简化方法
CN101082934A (zh) 网络环境下超大规模空间数据的三维可视化方法
Xie et al. Automatic simplification and visualization of 3D urban building models
CN107918957B (zh) 一种保持结构和纹理特征的三维建筑模型化简方法
Chang et al. Legible simplification of textured urban models
CN109872390B (zh) 一种海量三维模型的组织方法
Rau et al. A cost-effective strategy for multi-scale photo-realistic building modeling and web-based 3-D GIS applications in real estate
CN115661374A (zh) 一种基于空间划分和模型体素化的快速检索方法
Kim et al. Simplification of geometric objects in an indoor space
She et al. 3D building model simplification method considering both model mesh and building structure
CN116416366A (zh) 3d模型构建方法、装置和电子设备
Nguyen-Gia et al. A comparative survey of 3D GIS models
Zhu et al. CyberCity GIS (CCGIS): integration of DEMs, images, and 3D models
CN113094460B (zh) 一种结构层级的三维建筑物渐进式编码与传输方法及系统
Zhang et al. Visualization of large spatial data in networking environments
Sugihara et al. Roof report from automatically generated 3D building models by straight skeleton computation
Gold The global GIS
Zhu et al. Unified Representation of three dimensional city models
Salleh et al. 3D topological validation of compact abstract cell complexes (CACC) data structure for buildings in CityGML
Sugihara Straight skeleton for automatic generation of 3-D building models with general shaped roofs
Jie et al. LOD methods of large-scale urban building models by GPU accelerating

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant