CN112233231B - 一种基于云计算的城市三维实景漫游方法及系统 - Google Patents

一种基于云计算的城市三维实景漫游方法及系统 Download PDF

Info

Publication number
CN112233231B
CN112233231B CN202010956032.4A CN202010956032A CN112233231B CN 112233231 B CN112233231 B CN 112233231B CN 202010956032 A CN202010956032 A CN 202010956032A CN 112233231 B CN112233231 B CN 112233231B
Authority
CN
China
Prior art keywords
dimensional
model
detail
image
level
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010956032.4A
Other languages
English (en)
Other versions
CN112233231A (zh
Inventor
汪光跃
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Inspur Intelligent Technology Co Ltd
Original Assignee
Suzhou Inspur Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Inspur Intelligent Technology Co Ltd filed Critical Suzhou Inspur Intelligent Technology Co Ltd
Priority to CN202010956032.4A priority Critical patent/CN112233231B/zh
Publication of CN112233231A publication Critical patent/CN112233231A/zh
Application granted granted Critical
Publication of CN112233231B publication Critical patent/CN112233231B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29—Geographical information databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A30/00—Adapting or protecting infrastructure or their operation
    • Y02A30/60—Planning or developing urban green infrastructure

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Remote Sensing (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computer Graphics (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明提供了一种基于云计算的城市三维实景漫游方法及系统，本发明将基于倾斜摄影技术重构出的超高精度三维模型应用在虚拟漫游中，极大提升虚拟漫游真实感；通过合理的图像聚类方法，将海量图像划分为N份图像簇，每一个图像簇通过云平台作为单独的重建任务下发给具体的主机，将三维模型重建时间缩短近N倍，达到快速重建的目的；对于漫游阶段的三维模型加载问题，设计合理的LOD分块模型动态加载策略，在保证漫游视觉效果的同时，尽量减小模型可视化所造成的计算资源和内存消耗，最终实现城市大规模场景的三维实景模型实时加载以及流畅漫游。

Description

一种基于云计算的城市三维实景漫游方法及系统
技术领域
本发明涉及智慧城市技术领域，特别是一种基于云计算的城市三维实景漫游方法及系统。
背景技术
虚拟现实技术广泛应用于智慧城市的各个方面，该技术的沉浸感使得用户获得身临其境的体验，不仅有利于宣传城市的文化与风貌，还能够方便城市的建设与规划等。目前虚拟漫游系统的场景大多基于全景图像或人工辅助制作的三维模型。其中全景图像本质上还是二维的，在进行虚拟漫游展示时会出现严重的畸变，而人工辅助制作的三维模型精度非常低，真实展示效果类似于动画，并且对于城市类的大规模场景制作周期长。最近兴起的倾斜摄影技术通过无人机采集城市图像数据进行三维重建，实现工业测绘级三维场景精确还原，通过多视图重建技术，其重建过程是完全自动的，能够得到与城市1：1比例的超高精度三维模型，真实反映出地形及建筑的客观情况。
采用倾斜摄影三维模型进行城市的实景漫游系统构建主要存在两个难点：第一个难点是大规模场景的三维模型重建速度慢，通过倾斜摄影拍摄的城市空中图像通常高达数万张，海量图像数据在三维重建的过程中，特征点匹配、深度图生成、表面网格重建、表面优化等步骤需要非常高的算力，普通主机根本无法完成重建任务；第二个难点是进行虚拟漫游时大规模场景模型的加载问题，基于倾斜摄影技术生成的高细节层次三维模型，其点云的密度极高，模型的三角面片数通常会达亿万级，在模型加载过程中，很容易出现内存不足、运行卡顿以及模型切换时场景忽视等问题。
发明内容
本发明的目的是提供一种基于云计算的城市三维实景漫游方法及系统，旨在解决现有技术中三维重建速度慢以及加载困难的问题，实现缩短三维重建时间，在保证漫游视觉效果的同时，尽量减小模型可视化所造成的计算资源和内存消耗。
为达到上述技术目的，本发明提供了一种基于云计算的城市三维实景漫游方法，所述方法包括以下操作：
S1、通过倾斜摄影采集城市图像信息；
S2、通过空间聚类算法对采集到的图像进行聚类，划分为N份图像簇；
S3、云平台将每个图像簇分配给各个主机，每个主机根据收到的图像簇进行城市局部场景的三维重建，并汇总至云平台进行三维模型合并，生成高细节层次完整三维模型；
S4、通过LOD对三维模型中的密集点云逐级抽稀，获取低细节层次模型块和高细节层次模型块；
S5、在漫游过程中，动态加载LOD分块模型，根据用户的视角范围动态加载不同细节层次的模型块。
优选地，所述步骤S2具体操作为：
用三维点p表示每张图片拍摄点的标准坐标(X，Y，Z)，每一个三维点p都对应一张图像，将所有的三维点p标记为未访问，随机选择一个未访问的三维点p，并将该点标记为已访问；
判断三维点p的ε领域U(p)内是否至少有minPoints个三维点，若是则继续执行，否则将三维点p标记为噪声点，并删除该点对应的图像；
创建一个新簇Clusti，并把三维点p添加到Clusti中，对于U(p)内的每个三维点pu，若pu未访问过，则将其先标记为已访问，接着判断pu的ε领域内是否至少有minPoints个三维点，若是则将其ε领域内的所有三维点添加到U(p)中，如果pu还不是任何簇的成员，则将pu添加到Clusti中，直到U(p)内所有三维点遍历完，该步骤结束，此时形成一个图像簇Clusti；
重复执行上述后两个步骤，直到所有的三维点被标记为已访问。
优选地，所述每张图片拍摄点的标准坐标(X，Y，Z)的计算公式如下：
Figure BDA0002678627270000031
其中，K为缩放因子，Z坐标取值为高度H，WE为纬度，NS为精度。
优选地，所述步骤S3具体操作为：
云平台将每个图像簇作为子任务分配给各个主机，每台主机根据收到的图像簇进行特征点检测与匹配，接着进行局部场景的SFM；
局部场景的SFM完成后，每台主机将数据传回云平台进行重建数据合并，使用捆绑调整技术进行全局场景的SFM，完成稀疏点云重建；
云平台将每个图像簇的稀疏点云重建数据重新传入各个主机，在每台主机中进行局部场景的MVS，获得局部场景的稠密点云数据，接着执行表面网格重建、表面优化、纹理映射步骤，完成局部场景的三维重建；
各个主机将局部场景的三维模型汇总到云平台进行三维模型合并，生成整个城市的高细节层次完整三维模型。
优选地，所述步骤S5具体为：
以用户视角所在场景的位置为中心，加载除了其视线后方的其余8块高细节层次模型块；
在用户视角外层加载低细节层次模型块，低细节层次模型的加载范围涉及如下述公式：
Figure BDA0002678627270000041
其中，D为低细节层次模型块的加载距离，k表示归一化系数，Mh表示高细节层次模型块的细节级别，Ml表示低细节层次模型块的细节级别，细节级别与单位三维模型块的平均数据量成正相关，thre表示所能容忍的高、低细节层次模型块视觉效果差距的阈值，θ表示视点以及低细节层次模型块中心点的连线与用户视线方向的夹角；
当用户转动视角超过90度或者移动时，不在视角范围内的已加载模型进行隐藏，并在用户视角内层场景缺失时加载新的高细节层次模型块，外层根据上一步骤加载新的低细节层次模型块，始终保持用户视角内层有8块高细节层次模型块、外层有足够的低细节层次模型块。
优选地，所述方法还包括搭载VR设备进行虚拟漫游。
本发明还提供了一种基于云计算的城市三维实景漫游系统，所述系统包括：
数据采集模块，用于通过倾斜摄影采集城市图像信息；
图像聚类模块，用于通过空间聚类算法对采集到的图像进行聚类，划分为N份图像簇；
分布式三维重建模块，用于云平台将每个图像簇分配给各个主机，每个主机根据收到的图像簇进行城市局部场景的三维重建，并汇总至云平台进行三维模型合并，生成高细节层次完整三维模型；
LOD图像分块模块，用于通过LOD对三维模型中的密集点云逐级抽稀，获取低细节层次模型块和高细节层次模型块；
城市漫游模块，用于在漫游过程中，动态加载LOD分块模型，根据用户的视角范围动态加载不同细节层次的模型块。
优选地，所述图像的位置标准坐标的计算如下：
Figure BDA0002678627270000051
其中，K为缩放因子，Z坐标取值为高度H，WE为纬度，NS为精度。
优选地，所述空间聚类算法为DBSCAN算法。
发明内容中提供的效果仅仅是实施例的效果，而不是发明所有的全部效果，上述技术方案中的一个技术方案具有如下优点或有益效果：
与现有技术相比，本发明将基于倾斜摄影技术重构出的超高精度三维模型应用在虚拟漫游中，极大提升虚拟漫游真实感；通过合理的图像聚类方法，将海量图像划分为N份图像簇，每一个图像簇通过云平台作为单独的重建任务下发给具体的主机，从而适应分布式并行计算，将三维模型重建时间缩短近N倍，从而达到快速重建的目的；对于漫游阶段的三维模型加载问题，设计合理的LOD分块模型动态加载策略，在保证漫游视觉效果的同时，尽量减小模型可视化所造成的计算资源和内存消耗，最终实现城市大规模场景的三维实景模型实时加载以及流畅漫游。与传统的虚拟漫游方法对比，本方案能够达到更加快速部署，更加真实的漫游体验效果。
附图说明
图1为本发明实施例中所提供的一种基于云计算的城市三维实景漫游方法流程图；
图2为本发明实施例中所提供的一种基于云计算的城市三维实景漫游系统框图。
具体实施方式
为了能清楚说明本方案的技术特点，下面通过具体实施方式，并结合其附图，对本发明进行详细阐述。下文的公开提供了许多不同的实施例或例子用来实现本发明的不同结构。为了简化本发明的公开，下文中对特定例子的部件和设置进行描述。此外，本发明可以在不同例子中重复参考数字和/或字母。这种重复是为了简化和清楚的目的，其本身不指示所讨论各种实施例和/或设置之间的关系。应当注意，在附图中所图示的部件不一定按比例绘制。本发明省略了对公知组件和处理技术及工艺的描述以避免不必要地限制本发明。
下面结合附图对本发明实施例所提供的一种基于云计算的城市三维实景漫游方法及系统进行详细说明。
如图1所示，本发明公开了一种基于云计算的城市三维实景漫游方法，所述方法包括以下操作：
S1、通过倾斜摄影采集城市图像信息；
S2、通过空间聚类算法对采集到的图像进行聚类，划分为N份图像簇；
S3、云平台将每个图像簇分配给各个主机，每个主机根据收到的图像簇进行城市局部场景的三维重建，并汇总至云平台进行三维模型合并，生成高细节层次完整三维模型；
S4、通过LOD对三维模型中的密集点云逐级抽稀，获取低细节层次模型块和高细节层次模型块；
S5、在漫游过程中，动态加载LOD分块模型，根据用户的视角范围动态加载不同细节层次的模型块。
本发明实施例采用基于倾斜摄影技术和多视图三维重建技术重构出高细节层次实景三维模型。
对于数据的采集，通过无人机搭载倾斜摄影相机在城市上空进行定点拍摄，采集上万张连续的城市地形、建筑等图像信息。
原始图像存在过多噪声点，由于图像噪声点大多是无人机起飞或降落时拍摄的图像，这些图像在三维重建过程中，会严重影响到三维模型的重建效果。因此使用基于密度的空间聚类算法DBSCAN对采集到的图像进行聚类，将上万张图像划分为N份图像簇，以去除图像噪声点，每一份图像簇内部都具有较强的相关性：
每张图像都含有拍摄点的位置信息，包括纬度WE、精度NS和高度H，在空间聚类之前，将每张图像的位置信息进行标准化处理。位置坐标转换公式如下：
Figure BDA0002678627270000081
其中，K为缩放因子，Z坐标取值为高度H，从而得到每张图片拍摄点的标准坐标(X，Y，Z)。
利用DBSCAN算法根据标准坐标的空间表示对图像进行聚类分簇，具体为：
用三维点p表示标准坐标(X，Y，Z)，每一个三维点p都对应着一张图像，将所有的三维点p标记为未访问，随机选择一个未访问的三维点p，并将该点标记为已访问；
判断三维点p的ε领域U(p)内是否至少有minPoints个三维点，若是则继续执行，否则将三维点p标记为噪声点，并删除该点对应的图像；
创建一个新簇Clusti，并把三维点p添加到Clusti中，对于U(p)内的每个三维点pu，若pu未访问过，则将其先标记为已访问，接着判断pu的ε领域内是否至少有minPoints个三维点，若是则将其ε领域内的所有三维点添加到U(p)中，如果pu还不是任何簇的成员，则将pu添加到Clusti中，直到U(p)内所有三维点遍历完，该步骤结束，此时形成一个图像簇Clusti；
重复执行上述后两个步骤，直到所有的三维点被标记为已访问。
通过上述处理操作，上万张图像被划分为N份具有强相关性的图像簇。通过空间聚类算法将图像聚类为若干图像簇，可有效去除噪声点。
处理后的图像簇通过云平台进行分布式并行三维重建。将分类后的N份图像簇传入云平台，云平台把每个图像簇作为子任务分配给各个主机，每个主机使用收到的图像进行城市局部场景的三维重建，具体为：
云平台将每个图像簇作为子任务分配给各个主机，每台主机根据收到的图像簇进行特征点检测与匹配，接着进行局部场景的SFM；
局部场景的SFM完成后，每台主机将数据传回云平台进行重建数据合并，使用捆绑调整技术进行全局场景的SFM，完成稀疏点云重建；
云平台将每个图像簇的稀疏点云重建数据重新传入各个主机，在每台主机中进行局部场景的MVS，获得局部场景的稠密点云数据，接着执行表面网格重建、表面优化、纹理映射等步骤，完成局部场景的三维重建；
各个主机将局部场景的三维模型汇总到云平台进行三维模型合并，生成整个城市的高细节层次完整三维模型。
使用LOD技术对三维模型中的密集点云逐级抽稀，获取两种细节层次的三维模型：低细节层次模型和高细节层次模型，并将各个细节层次的三维模型切分为m*n块。
在Unity3D中进行LOD分块模型的动态加载，在漫游过程中，根据用户的视角范围动态的加载不同细节层次的模型块，具体为：
以用户视角所在场景的位置为中心，加载除了其视线后方的其余8块高细节层次模型块，保证用户近距离视角范围内具有更高的场景真实度；
在用户视角外层加载低细节层次模型块，低细节层次模型的加载范围涉及如下述公式：
Figure BDA0002678627270000091
其中，D为低细节层次模型块的加载距离，k表示归一化系数，Mh表示高细节层次模型块的细节级别，Ml表示低细节层次模型块的细节级别，细节级别与单位三维模型块的平均数据量成正相关，thre表示所能容忍的高、低细节层次模型块视觉效果差距的阈值，θ表示视点以及低细节层次模型块中心点的连线与用户视线方向的夹角；
当用户转动视角超过90度或者移动时，不在视角范围内的已加载模型进行隐藏，并在用户视角内层场景缺失时加载新的高细节层次模型块，外层根据上一步骤加载新的低细节层次模型块，始终保持用户视角内层有8块高细节层次模型块、外层有足够的低细节层次模型块；
对于上一步骤中隐藏的模型快，实际上还存在于内存中，当这些隐藏的模型连续两次视场切换都不在视角范围内时，就将其从内存中销毁，以节省内存资源。
通过动态切换不同细节层次的三维模型块，始终保持用户视线近距离范围内为高层次此节的三维模型块，并在外层加载低细节层次的三维模型块。由于距离越远，用户对场景细节的分辨能力越低，所以远处加载低细节层次模型块可达到同样的视觉效果，低细节层次模型块所占数量远小于高细节层次模型块，可保证用户漫游体验的同时有效降低计算资源和内存的消耗。
搭载VR设备进行虚拟漫游，搭载的VR设备包括VR头盔、手柄等，进行城市固定线路漫游或VR手柄控制的自主漫游。
本发明实施例将基于倾斜摄影技术重构出的超高精度三维模型应用在虚拟漫游中，极大提升虚拟漫游真实感；通过合理的图像聚类方法，将海量图像划分为N份图像簇，每一个图像簇通过云平台作为单独的重建任务下发给具体的主机，从而适应分布式并行计算，将三维模型重建时间缩短近N倍，从而达到快速重建的目的；对于漫游阶段的三维模型加载问题，设计合理的LOD分块模型动态加载策略，在保证漫游视觉效果的同时，尽量减小模型可视化所造成的计算资源和内存消耗，最终实现城市大规模场景的三维实景模型实时加载以及流畅漫游。与传统的虚拟漫游方法对比，本方案能够达到更加快速部署，更加真实的漫游体验效果。
如图2所示，本发明是实力还公开了一种基于云计算的城市三维实景漫游系统，所述系统包括：
数据采集模块，用于通过倾斜摄影采集城市图像信息；
图像聚类模块，用于通过空间聚类算法对采集到的图像进行聚类，划分为N份图像簇；
分布式三维重建模块，用于云平台将每个图像簇分配给各个主机，每个主机根据收到的图像簇进行城市局部场景的三维重建，并汇总至云平台进行三维模型合并，生成高细节层次完整三维模型；
LOD图像分块模块，用于通过LOD对三维模型中的密集点云逐级抽稀，获取低细节层次模型块和高细节层次模型块；
城市漫游模块，用于在漫游过程中，动态加载LOD分块模型，根据用户的视角范围动态加载不同细节层次的模型块。
对于数据的采集，通过无人机搭载倾斜摄影相机在城市上空进行定点拍摄，采集上万张连续的城市地形、建筑等图像信息。
使用基于密度的空间聚类算法DBSCAN对采集到的图像进行聚类，将上万张图像划分为N份图像簇，以去除图像噪声点，每一份图像簇内部都具有较强的相关性。
每张图像都含有拍摄点的位置信息，包括纬度WE、精度NS和高度H，在空间聚类之前，将每张图像的位置信息进行标准化处理。位置坐标转换公式如下：
Figure BDA0002678627270000121
其中，K为缩放因子，Z坐标取值为高度H，从而得到每张图片拍摄点的标准坐标(X，Y，Z)。
利用DBSCAN算法根据标准坐标的空间表示对图像进行聚类分簇。上万张图像被划分为N份具有强相关性的图像簇。通过空间聚类算法将图像聚类为若干图像簇，可有效去除噪声点。
处理后的图像簇通过云平台进行分布式并行三维重建。将分类后的N份图像簇传入云平台，云平台把每个图像簇作为子任务分配给各个主机，每个主机使用收到的图像进行城市局部场景的三维重建。
使用LOD技术对三维模型中的密集点云逐级抽稀，获取两种细节层次的三维模型：低细节层次模型和高细节层次模型，并将各个细节层次的三维模型切分为m*n块。
在Unity3D中进行LOD分块模型的动态加载，在漫游过程中，根据用户的视角范围动态的加载不同细节层次的模型块。
通过动态切换不同细节层次的三维模型块，始终保持用户视线近距离范围内为高层次此节的三维模型块，并在外层加载低细节层次的三维模型块。由于距离越远，用户对场景细节的分辨能力越低，所以远处加载低细节层次模型块可达到同样的视觉效果，低细节层次模型块所占数量远小于高细节层次模型块，可保证用户漫游体验的同时有效降低计算资源和内存的消耗。
搭载VR设备进行虚拟漫游，搭载的VR设备包括VR头盔、手柄等，进行城市固定线路漫游或VR手柄控制的自主漫游。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于云计算的城市三维实景漫游方法，其特征在于，所述方法包括以下操作：
S1、通过倾斜摄影采集城市图像信息；
S2、通过空间聚类算法对采集到的图像进行聚类，划分为N份图像簇；
S3、云平台将每个图像簇分配给各个主机，每个主机根据收到的图像簇进行城市局部场景的三维重建，并汇总至云平台进行三维模型合并，生成高细节层次完整三维模型；
S4、通过LOD对三维模型中的密集点云逐级抽稀，获取低细节层次模型块和高细节层次模型块；
S5、在漫游过程中，动态加载LOD分块模型，根据用户的视角范围动态加载不同细节层次的模型块，具体为：
以用户视角所在场景的位置为中心，加载除了其视线后方的其余8块高细节层次模型块；
在用户视角外层加载低细节层次模型块，低细节层次模型的加载范围涉及如下述公式：
Figure 879922DEST_PATH_IMAGE001
其中，D为低细节层次模型块的加载距离，k表示归一化系数，
Figure 140002DEST_PATH_IMAGE002
表示高细节层次模型块的细节级别，
Figure 641652DEST_PATH_IMAGE003
表示低细节层次模型块的细节级别，细节级别与单位三维模型块的平均数据量成正相关，thre表示所能容忍的高、低细节层次模型块视觉效果差距的阈值，θ表示视点以及低细节层次模型块中心点的连线与用户视线方向的夹角；
当用户转动视角超过90度或者移动时，不在视角范围内的已加载模型进行隐藏，并在用户视角内层场景缺失时加载新的高细节层次模型块，外层根据上一步骤加载新的低细节层次模型块，始终保持用户视角内层有8块高细节层次模型块、外层有足够的低细节层次模型块。
2.根据权利要求1所述的一种基于云计算的城市三维实景漫游方法，其特征在于，所述S2具体操作为：
S201、用三维点p表示每张图片拍摄点的标准坐标(x,y,z)，每一个三维点p都对应一张图像，将所有的三维点p标记为未访问，随机选择一个未访问的三维点p，并将该点标记为已访问；
S202、判断三维点p的ε领域U(p)内是否至少有minPoints个三维点，若是则继续执行，否则将三维点p标记为噪声点，并删除该点对应的图像；
S203、创建一个新簇
Figure 874051DEST_PATH_IMAGE004
，并把三维点p添加到
Figure 442435DEST_PATH_IMAGE004
中，对于U(p)内的每个三维点
Figure 127494DEST_PATH_IMAGE005
，若
Figure 682104DEST_PATH_IMAGE005
未访问过，则将其先标记为已访问，接着判断
Figure 565746DEST_PATH_IMAGE006
的ε领域内是否至少有minPoints个三维点，若是则将其ε领域内的所有三维点添加到U(p)中，如果
Figure 242715DEST_PATH_IMAGE005
还不是任何簇的成员，则将
Figure 602021DEST_PATH_IMAGE007
添加到
Figure 757059DEST_PATH_IMAGE004
中，直到U(p)内所有三维点遍历完，该步骤结束，此时形成一个图像簇
Figure 26366DEST_PATH_IMAGE004
；
S204、重复执行S202和S203，直到所有的三维点被标记为已访问。
3.根据权利要求2所述的一种基于云计算的城市三维实景漫游方法，其特征在于，所述每张图片拍摄点的标准坐标(x,y,z)的计算公式如下：
Figure 546340DEST_PATH_IMAGE008
其中，K为缩放因子，Z坐标取值为高度H，WE为纬度，NS为精度。
4.根据权利要求1所述的一种基于云计算的城市三维实景漫游方法，其特征在于，所述S3具体操作为：
云平台将每个图像簇作为子任务分配给各个主机，每台主机根据收到的图像簇进行特征点检测与匹配，接着进行局部场景的SFM；
局部场景的SFM完成后，每台主机将数据传回云平台进行重建数据合并，使用捆绑调整技术进行全局场景的SFM，完成稀疏点云重建；
云平台将每个图像簇的稀疏点云重建数据重新传入各个主机，在每台主机中进行局部场景的MVS，获得局部场景的稠密点云数据，接着执行表面网格重建、表面优化、纹理映射步骤，完成局部场景的三维重建；
各个主机将局部场景的三维模型汇总到云平台进行三维模型合并，生成整个城市的高细节层次完整三维模型。
5.根据权利要求1所述的一种基于云计算的城市三维实景漫游方法，其特征在于，所述方法还包括搭载VR设备进行虚拟漫游。
6.一种基于云计算的城市三维实景漫游系统，其特征在于，所述系统包括：
数据采集模块，用于通过倾斜摄影采集城市图像信息；
图像聚类模块，用于通过空间聚类算法对采集到的图像进行聚类，划分为N份图像簇；
分布式三维重建模块，用于云平台将每个图像簇分配给各个主机，每个主机根据收到的图像簇进行城市局部场景的三维重建，并汇总至云平台进行三维模型合并，生成高细节层次完整三维模型；
LOD图像分块模块，用于通过LOD对三维模型中的密集点云逐级抽稀，获取低细节层次模型块和高细节层次模型块；
城市漫游模块，用于在漫游过程中，动态加载LOD分块模型，根据用户的视角范围动态加载不同细节层次的模型块，具体为：
以用户视角所在场景的位置为中心，加载除了其视线后方的其余8块高细节层次模型块；
在用户视角外层加载低细节层次模型块，低细节层次模型的加载范围涉及如下述公式：
Figure 205992DEST_PATH_IMAGE001
其中，D为低细节层次模型块的加载距离，k表示归一化系数，
Figure 227037DEST_PATH_IMAGE002
表示高细节层次模型块的细节级别，
Figure 22955DEST_PATH_IMAGE003
表示低细节层次模型块的细节级别，细节级别与单位三维模型块的平均数据量成正相关，thre表示所能容忍的高、低细节层次模型块视觉效果差距的阈值，θ表示视点以及低细节层次模型块中心点的连线与用户视线方向的夹角；
当用户转动视角超过90度或者移动时，不在视角范围内的已加载模型进行隐藏，并在用户视角内层场景缺失时加载新的高细节层次模型块，外层根据上一步骤加载新的低细节层次模型块，始终保持用户视角内层有8块高细节层次模型块、外层有足够的低细节层次模型块。
7.根据权利要求6所述的一种基于云计算的城市三维实景漫游系统，其特征在于，所述图像的位置标准坐标的计算如下：
Figure 730142DEST_PATH_IMAGE008
其中，K为缩放因子，Z坐标取值为高度H，WE为纬度，NS为精度。
8.根据权利要求6所述的一种基于云计算的城市三维实景漫游系统，其特征在于，所述空间聚类算法为DBSCAN算法。
CN202010956032.4A 2020-09-11 2020-09-11 一种基于云计算的城市三维实景漫游方法及系统 Active CN112233231B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010956032.4A CN112233231B (zh) 2020-09-11 2020-09-11 一种基于云计算的城市三维实景漫游方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010956032.4A CN112233231B (zh) 2020-09-11 2020-09-11 一种基于云计算的城市三维实景漫游方法及系统

Publications (2)

Publication Number Publication Date
CN112233231A CN112233231A (zh) 2021-01-15
CN112233231B true CN112233231B (zh) 2022-07-08

Family

ID=74116734

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010956032.4A Active CN112233231B (zh) 2020-09-11 2020-09-11 一种基于云计算的城市三维实景漫游方法及系统

Country Status (1)

Country Link
CN (1) CN112233231B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113284227B (zh) * 2021-05-14 2022-11-22 安徽大学 一种面向大规模航拍图像的分布式运动推断结构方法
CN114742947B (zh) * 2022-04-11 2024-04-19 中国测绘科学研究院 一种适用于大范围的倾斜三维模型纹理分块重建方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10217225B2 (en) * 2016-06-01 2019-02-26 International Business Machines Corporation Distributed processing for producing three-dimensional reconstructions
CN109712242A (zh) * 2018-12-17 2019-05-03 广东工业大学 一种支持大规模三维场景虚拟漫游的模型数据组织方法
CN109949409A (zh) * 2019-03-13 2019-06-28 安徽紫薇帝星数字科技有限公司 一种可用于医疗图像数据三维重建的云计算平台
CN111599001A (zh) * 2020-05-14 2020-08-28 星际（重庆）智能装备技术研究院有限公司 基于图像三维重建技术的无人机导航地图构建系统及方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10217225B2 (en) * 2016-06-01 2019-02-26 International Business Machines Corporation Distributed processing for producing three-dimensional reconstructions
CN109712242A (zh) * 2018-12-17 2019-05-03 广东工业大学 一种支持大规模三维场景虚拟漫游的模型数据组织方法
CN109949409A (zh) * 2019-03-13 2019-06-28 安徽紫薇帝星数字科技有限公司 一种可用于医疗图像数据三维重建的云计算平台
CN111599001A (zh) * 2020-05-14 2020-08-28 星际（重庆）智能装备技术研究院有限公司 基于图像三维重建技术的无人机导航地图构建系统及方法

Also Published As

Publication number Publication date
CN112233231A (zh) 2021-01-15

Similar Documents

Publication Publication Date Title
CN108520554B (zh) 一种基于orb-slam2的双目三维稠密建图方法
CN108961390B (zh) 基于深度图的实时三维重建方法
JP6663926B2 (ja) ＤｅｅｐＳｔｅｒｅｏ：実世界の画像から新たなビューを予測するための学習
EP3570253B1 (en) Method and device for reconstructing three-dimensional point cloud
CN112233231B (zh) 一种基于云计算的城市三维实景漫游方法及系统
CN109685879B (zh) 多视影像纹理分布的确定方法、装置、设备和存储介质
EP3754469A1 (en) 3d structure engine-based computation platform
CN112734931B (zh) 一种辅助点云目标检测的方法及系统
CN112991534B (zh) 一种基于多粒度物体模型的室内语义地图构建方法及系统
CN116563493A (zh) 基于三维重建的模型训练方法、三维重建方法及装置
CN113129352A (zh) 一种稀疏光场重建方法及装置
CN114519772A (zh) 一种基于稀疏点云和代价聚合的三维重建方法及系统
CN115375836A (zh) 基于多元置信度滤波的点云融合三维重建方法和系统
CN117132737B (zh) 一种三维建筑模型构建方法、系统及设备
CN116452757B (zh) 一种复杂场景下的人体表面重建方法和系统
CN115063485B (zh) 三维重建方法、装置及计算机可读存储介质
CN116092035A (zh) 车道线检测方法、装置、计算机设备和存储介质
CN112633293B (zh) 一种基于图分割的三维稀疏点云重建图像集分类方法
WO2022041119A1 (zh) 三维点云处理方法及装置
CN113808196A (zh) 平面融合定位方法、装置、电子设备及存储介质
Han et al. 3D reconstruction of dense model based on the sparse frames using RGBD camera
CN113888633B (zh) 基于实时定位与建图算法的三维重建方法以及装置
CN116310408B (zh) 一种建立事件相机与帧相机数据关联的方法及装置
Liu et al. Fusing multiscale charts into 3D ENC systems based on underwater topography and remote sensing image
CN115311424B (zh) 一种目标场景的三维重建方法、装置、无人机及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant