CN112055216A - 一种基于Unity的倾斜摄影海量快速加载方法及装置 - Google Patents

Abstract

本发明公开了一种基于Unity的倾斜摄影海量快速加载方法及装置，主要解决现有技术中存在的现没有基于Unity的一套完整加载倾斜摄影的技术方法，导致倾斜摄影在Unity的应用受到局限的问题。该发明Unity中不直接加载原始文件，而是先将原始文件经过转换程序转换为中间文件，再加载中间文件，运行时动态生成Mesh和材质球。转换过程为提取mesh信息、提取图片、合并图片、合并mesh、裁剪层级。同时在实时渲染的过程中，根据每个mesh到相机的距离做LOD处理，将移除视野和LOD处理中的资源做卸载回收处理。通过上述方案，本发明达到了海量快速加载倾斜摄影数据的目的。

Description

一种基于Unity的倾斜摄影海量快速加载方法及装置

技术领域

本发明涉及图形渲染领域，具体地说，是涉及一种基于Unity的倾斜摄影海量快速加载方法及装置。

背景技术

倾斜摄影是指由一定倾斜角的航摄相机所获取的影像，倾斜摄影技术是国际测绘遥感领域近年发展起来的一项高新技术。通过倾斜摄影可以采集到小到单个楼栋园区，大到城市级别的影像数据，这些数据可用于渲染大量地面建筑构建智慧城市，高逼真还原城市。

倾斜摄影得到的原始数据数据量巨大，动辄上T（1TB(Trillionbyte，万亿字节，太字节)=1024GB）；倾斜摄影的后续应用首先涉及到图形渲染，既是将原始的OSGB二进制数据进行可视化显示，便于后续浏览和人机交互。

目前主要的渲染平台为Cesium、ArcGIS、SuperMap，但Unity作为国内市场占比最大的渲染引擎，并且在虚拟现实和智慧城市的应用也最为广泛，却没有提供一套完整的加载倾斜摄影的技术方法，导致倾斜摄影在Unity的应用受到局限。

发明内容

本发明的目的在于提供一种基于Unity的倾斜摄影海量快速加载方法及装置，以解决现没有基于Unity的一套完整加载倾斜摄影的技术方法，导致倾斜摄影在Unity的应用受到局限的问题。

为了解决上述问题，本发明提供如下技术方案：

一种基于Unity的倾斜摄影海量快速加载方法包括以下步骤：

S1、对倾斜摄影原始文件进行处理得到中间文件，中间文件包括数据文件和配置文件；

S2、加载步骤S1中所有配置文件，预加载数据文件；

S3、根据步骤S2加载的配置文件及预加载的数据文件进行顶层渲染，动态生成Mesh和材质球；

S4、根据步骤S3中每个mesh到相机的距离做LOD处理，将移除视野和LOD处理中的资源做卸载回收处理。

首先Unity自身作为渲染引擎，并没有提供一套基于OSGB的倾斜摄影加载方案，OSGB为倾斜摄影数据存储标准，这就直接导致倾斜摄影在Unity的应用受到的局限，但是Unity拥有优秀的三维渲染能力，能够渲染出更优质更逼真的场景效果，对城市级别的大场景渲染非常适合。

Unity加载OSGB格式的倾斜摄影数据的理论基础是，OSGB中存储了渲染三维对象的必要元素包括：顶点，纹理，索引，UV信息；但是OSGB是金字塔分层设计原则，使得原始数据文件是由很多，十万、百万量级的文件个数的小文件构成，每个文件中的内容都可以对应到在Unity渲染的一个对象，这样会导致Unity的渲染对象个数达到十万、百万甚至更多级别，从而影响到渲染效果和性能，故现无基于Unity的倾斜摄影方法。

要达到快速加载海量OSGB数据的目的，本发明中Unity不直接加载原始文件，而是先将原始文件经过转换程序转换为中间文件，再加载中间文件，运行时动态生成Mesh和材质球；转换过程为提取mesh信息、提取图片、合并图片、合并mesh、裁剪层级。同时在实时渲染的过程中，根据每个mesh到相机的距离做LOD处理，将移除视野和LOD处理中的资源做卸载回收处理，实现基于Unity的倾斜摄影海量快速加载。

进一步的，步骤S1的具体过程如下：

S101、加载倾斜摄影原始文件提取关键信息，并将这些数据信息保存在内存中；关键信息包括顶点，纹理，索引，UV信息；

S102、按设定的规则剔除倾斜摄影原始文件中不需要的数据内容，然后进行压缩保存；根据预处理的配置策略剔除掉低清晰度层级，根据需要将不必要显示的高精度数据剔除；通过该过程可以到达降低最终数据量的效果，比如降低数据量到原来的50%，这样可以对海量数据进行压缩；

S103、将步骤S101中关键信息中单个文件的多顶点信息进行合并，多贴图进行合并生成数据文件；可以降低在Unity渲染过程的渲染负荷，提高渲染效率和速度。

S104、将步骤S101中关键信息中的纹理根据配置策略对纹理图像进行像素压缩，对其中小图片到大图片合集进行合并处理，同时生成相应的图片合并索引的配置文件；

S105、根据步骤S103的数据文件和步骤S104的配置文件合并生成中间文件。

进一步的，数据文件为保存顶点，索引，UV信息的压缩二进制文件；配置文件中含金字塔结构信息，顶点合并信息，图片合并信息。

进一步的，步骤S2的具体过程如下：

S201、加载所有配置文件，保存在内存中；用于预处理和动态策略；

S202、根据步骤S201加载的配置文件通过异步多线程的方式预加载数据文件；异步多线程方式加载充分运用CPU的多核算力，提高处理能力，同时不影响渲染线程的帧率；主要输出为加载数据文件的顶点，索引，UV信息，并在内存中结构化存储。

S203、根据步骤S201加载的配置文件预加载纹理图片；将图片数据和关联的数据文件建立索引关系，提高在渲染时的材质创建效率；

S204、根据步骤S202预加载的数据文件和步骤S203加载的纹理图片进行对象预生成；对象预生成指在渲染开始前，将需要用到的内存对象，提前创建出来，并形成缓存池，增加对象复用，降低反复创建带来的开销。

进一步的，步骤S3的具体过程为：进行顶层渲染，顶层渲染的过程包括Mesh生成、材质生成和层级状态变更；顶层渲染既是将OSGB的顶层在Unity中渲染出来，其中涉及到如图右侧的几个过程：Mesh生成、材质球生成和层级状态变更。这一过程是在渲染主线程中执行，由于有了前面的异步预处理和缓存机制，能提高主线程渲染的渲染效率，达到快速加载的目的。

进一步的，步骤S4的具体过程如下：

S401、对象状态裁定：添加一个相机，相机的渲染不做呈现，仅用于判断每个渲染对象是否在渲染视口内，并做视野标记；

S402、视野距离计算：在步骤S401相机渲染视野改变时，对每个相机渲染视野内的渲染对象到相机的投影距离做计算，得到对象的矢量距离，通过配置的LOD视距设置判断该对象需要显示的动态层级；

S403、层级动态调整：结合步骤S401渲染对象的视野标记和步骤S402的动态层级，提交层级渲染请求，该请求首先分发到步骤S202中异步多线程处理过程中同数据加载过程，渲染层级数据，展示在屏幕上；

S404、资源加/卸载:步骤S403层级切换时，当前显示的层级资源需要加载在内存中，上一个不需要渲染的层级相关资源则需要卸载，以此来降低消耗。

进一步的，步骤S404资源加/卸载中还包括资源缓存策略，其包括以下几个方面：

S404-1、对象状态由视野内切换到视野外的过程中，如果对象投影到屏幕位置在屏幕尺寸向外的20%像素范围内时，缓存而不卸载；

S404-2、顶层渲染的对象始终不卸载；

S404-3、层级切换过程中当前显示层级对应的前层级和后层级不卸载；

S404-4、根据缓存内存的阈值，在阈值范围内缓存而不卸载，超过阈值范围优先卸载高渲染层级的对象。

在资源卸载过程中，由于渲染视野改变的是不确定的，那么层级切换的时机也是不确定的，所以不能单纯的直接卸载，需要结合一些策略来处理，避免出现反复加载和卸载带来的加载效率影响。

一种基于Unity的倾斜摄影海量快速加载装置包括

存储器：用于存储可执行指令；

处理器：用于执行所述存储器中存储的可执行指令，实现所述的一种基于Unity的倾斜摄影海量快速加载方法。

与现有技术相比，本发明具有以下有益效果：

（1）本发明先将原始文件经过转换程序转换为中间文件，再加载中间文件，运行时动态生成Mesh和材质球。转换过程为提取mesh信息、提取图片、合并图片、合并mesh、裁剪层级。同时在实时渲染的过程中，根据每个mesh到相机的距离做LOD处理，将移除视野和LOD处理中的资源做卸载回收处理，实现了倾斜摄影数据的海量快速加载，也提供了一种基于Unity的倾斜摄影海量快速方法。

（2）本发明数据预处理中剔除原始数据中不必要的内容降低最终数据量，比如降低数据量到原来的50%，这样可以对海量数据进行压缩；单个文件的多顶点信息进行合并，多贴图进行合并，这样可以降低在Unity渲染过程的渲染负荷，提高渲染效率和速度。

（3）本发明通过预处理和配置策略压缩原始文件，提高海量数据的加载能力；异步多线程和缓存策略，提高了Unity在数据加载和渲染时的效率。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，其中：

图1为本发明的流程示意图。

图2为数据预处理的流程示意图。

图3为数据加载及渲染的流程示意图。

图4为动态策略的流程示意图。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面将结合图1至图4对本发明作进一步地详细描述，所描述的实施例不应视为对本发明的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

对本发明实施例进行进一步详细说明之前，对本发明实施例中涉及的名词和术语进行说明，本发明实施例中涉及的名词和术语适用于如下的解释。

1、倾斜摄影

倾斜摄影技术是国际测绘领域近些年发展起来的一项高新技术，它颠覆了以往正射影像只能从垂直角度拍摄的局限，通过在同一飞行平台上搭载多台传感器，同时从一个垂直、四个倾斜等五个不同的角度采集影像，将用户引入了符合人眼视觉的真实直观世界。倾斜摄影技术对于发展智慧城市有很大的推动力，其提供的一系列的地物信息，可以构建三维城市模型，为智能化的管理提供了便利条件。

2、Unity 引擎及其应用

Unity是游戏引擎开发商，实施3D互动内容创作和运营平台，游戏开发、美术、建筑、汽车设计、影视制作在内的创作均可运用Unity实现。Unity提供一整套软件解决方案，可用于创作、运营和变现实时互动的2D和3D内容，支持平台包括手机、平板电脑、PC、游戏主机、增强现实和虚拟现实设备。

Unity广泛应用于虚拟现实，智慧城市可视化等领域，这些领域是近年发展最为快速的方向。

3、OSG、OSGB

OpenSceneGraph是一个开放源码，跨平台的图形开发包，它为诸如飞行器仿真，游戏，虚拟现实，科学计算可视化这样的高性能图形应用程序开发而设计。它基于场景图的概念，它提供一个在OpenGL之上的面向对象的框架，从而能把开发者从实现和优化底层图形的调用中解脱出来，并且它为图形应用程序的快速开发提供很多附加的实用工具。

其中OSGB是由OSG定义的倾斜摄影数据存储标准，是现有最为流行的格式。本专利中的倾斜摄影就是以OSGB格式描述。

实施例1

如图1所示，一种基于Unity的倾斜摄影海量快速加载方法包括以下步骤：

S1、对倾斜摄影原始文件进行处理得到中间文件，中间文件包括数据文件和配置文件；

S2、加载步骤S1中所有配置文件，预加载数据文件；

S3、根据步骤S2加载的配置文件及预加载的数据文件进行顶层渲染，动态生成Mesh和材质球；

S4、根据步骤S3中每个mesh到相机的距离做LOD处理，将移除视野和LOD处理中的资源做卸载回收处理。

实施例2

如图2所示，本实施例在实施例1的基础上进一步的，步骤S1的具体过程如下：

S101、加载倾斜摄影原始文件提取关键信息，并将这些数据信息保存在内存中；关键信息包括顶点，纹理，索引，UV信息；

S102、按设定的规则剔除倾斜摄影原始文件中不需要的数据内容，然后进行压缩保存；根据预处理的配置策略剔除掉低清晰度层级，根据需要将不必要显示的高精度数据剔除；通过该过程可以到达降低最终数据量的效果，比如降低数据量到原来的50%，这样可以对海量数据进行压缩；

S103、将步骤S101中关键信息中单个文件的多顶点信息进行合并，多贴图进行合并生成数据文件；可以降低在Unity渲染过程的渲染负荷，提高渲染效率和速度。

S104、将步骤S101中关键信息中的纹理根据配置策略对纹理图像进行像素压缩，对其中小图片到大图片合集进行合并处理，同时生成相应的图片合并索引的配置文件；

S105、根据步骤S103的数据文件和步骤S104的配置文件合并生成中间文件。

实施例3

本实施例在实施例2的基础上进一步的，数据文件为保存顶点，索引，UV信息的压缩二进制文件；配置文件中含金字塔结构信息，顶点合并信息，图片合并信息。

实施例4

如图3所示，本实施例在实施例1的基础上进一步的，步骤S2的具体过程如下：

S201、加载所有配置文件，保存在内存中；用于预处理和动态策略；

S202、根据步骤S201加载的配置文件通过异步多线程的方式预加载数据文件；异步多线程方式加载充分运用CPU的多核算力，提高处理能力，同时不影响渲染线程的帧率；主要输出为加载数据文件的顶点，索引，UV信息，并在内存中结构化存储。

S203、根据步骤S201加载的配置文件预加载纹理图片；将图片数据和关联的数据文件建立索引关系，提高在渲染时的材质创建效率；

S204、根据步骤S202预加载的数据文件和步骤S203加载的纹理图片进行对象预生成；对象预生成指在渲染开始前，将需要用到的内存对象，提前创建出来，并形成缓存池，增加对象复用，降低反复创建带来的开销。

实施例5

如图3所示，本实施例在实施例1的基础上进一步的，步骤S3的具体过程为：进行顶层渲染，顶层渲染的过程包括Mesh生成、材质球生成和层级状态变更；顶层渲染既是将OSGB的顶层在Unity中渲染出来，其中涉及到如图右侧的几个过程：Mesh生成、材质生成和层级状态变更。这一过程是在渲染主线程中执行，由于有了前面的异步预处理和缓存机制，能提高主线程渲染的渲染效率，达到快速加载的目的。

实施例6

如图4所示，本实施例在实施例1的基础上进一步的，步骤S4的具体过程如下：

S401、对象状态裁定：添加一个相机，相机的渲染不做呈现，仅用于判断每个渲染对象是否在渲染视口内，并做视野标记；

S402、视野距离计算：在步骤S401相机渲染视野改变时，对每个相机渲染视野内的渲染对象到相机的投影距离做计算，得到对象的矢量距离，通过配置的LOD视距设置判断该对象需要显示的动态层级；

S403、层级动态调整：结合步骤S401渲染对象的视野标记和步骤S402的动态层级，提交层级渲染请求，该请求首先分发到步骤S202中异步多线程处理过程中同数据加载过程，渲染层级数据，展示在屏幕上；

S404、资源加/卸载:步骤S403层级切换时，当前显示的层级资源需要加载在内存中，上一个不需要渲染的层级相关资源则需要卸载，以此来降低消耗。

实施例7

如图4所示，本实施例在实施例6的基础上进一步的，步骤S404资源加/卸载中还包括资源缓存策略，其包括以下几个方面：

S404-1、对象状态由视野内切换到视野外的过程中，如果对象投影到屏幕位置在屏幕尺寸向外的20%像素范围内时，缓存而不卸载；

S404-2、顶层渲染的对象始终不卸载；

S404-3、层级切换过程中当前显示层级对应的前层级和后层级不卸载；比如当前显示第13级，那么12和14层级不卸载，这样在当前层级在向前和向后切换时过度更快捷；

S404-4、根据缓存内存的阈值，在阈值范围内缓存而不卸载，超过阈值范围优先卸载高渲染层级的对象。

实施例8

一种基于Unity的倾斜摄影海量快速加载装置包括

存储器：用于存储可执行指令；

处理器：用于执行所述存储器中存储的可执行指令，实现所述的一种基于Unity的倾斜摄影海量快速加载方法。

现有主要渲染平台如下：

Cesium：他是WebGL技术+三维地球开源框架+大数据渲染，他能较好的支持倾斜摄影，国内外使用Cesium来扩展自己的webgl渲染厂商也较多。

ArcGIS：ArcGIS Pro提供了一系列的工具和多种方式对OSGB进行转换处理，最终对处理结果进行发布，可用于桌面浏览或者浏览器显示。

SuperMap：超图是基于Cesium平台之上自研的渲染框架，超图桌面应用中可以选在倾斜摄影目录，并生成配置文件，预处理完成后导入配置文件加载显示。

据统计中国智慧城市在建数量占了世界一半，随着倾斜摄影在智慧城市中应用越来越趋于普及，在实际生产中已经积累了海量的倾斜摄影数据；Unity作为国内市场占比最大的渲染引擎，并且在虚拟现实和智慧城市的应用也最为广泛，亟需一套完整的加载倾斜摄影的技术方案和实现。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (8)

1.一种基于Unity的倾斜摄影海量快速加载方法，其特征在于，包括以下步骤：

S1、对倾斜摄影原始文件进行处理得到中间文件，中间文件包括数据文件和配置文件；

S2、加载步骤S1中所有配置文件，预加载数据文件；

S3、根据步骤S2加载的配置文件及预加载的数据文件进行顶层渲染，动态生成Mesh和材质球；

S4、根据步骤S3中每个mesh到相机的距离做LOD处理，将移除视野和LOD处理中的资源做卸载回收处理。

2.根据权利要求1所述的一种基于Unity的倾斜摄影海量快速加载方法，其特征在于，步骤S1的具体过程如下：

S101、加载倾斜摄影原始文件提取关键信息，并将这些数据信息保存在内存中；关键信息包括顶点，纹理，索引，UV信息；

S102、按设定的规则剔除倾斜摄影原始文件中不需要的数据内容，然后进行压缩保存；

S103、将步骤S101中关键信息中单个文件的多顶点信息进行合并，多贴图进行合并生成数据文件；

S104、将步骤S101中关键信息中的纹理根据配置策略对纹理图像进行像素压缩，对其中小图片到大图片合集进行合并处理，同时生成相应的图片合并索引的配置文件；

S105、根据步骤S103的数据文件和步骤S104的配置文件合并生成中间文件。

3.根据权利要求2所述的一种基于Unity的倾斜摄影海量快速加载方法，其特征在于，数据文件为保存顶点，索引，UV信息的压缩二进制文件；配置文件中含金字塔结构信息，顶点合并信息，图片合并信息。

4.根据权利要求1所述的一种基于Unity的倾斜摄影海量快速加载方法，其特征在于，步骤S2的具体过程如下：

S201、加载所有配置文件，保存在内存中；

S202、根据步骤S201加载的配置文件通过异步多线程的方式预加载数据文件；

S203、根据步骤S201加载的配置文件预加载纹理图片；

S204、根据步骤S202预加载的数据文件和步骤S203加载的纹理图片进行对象预生成。

5.根据权利要求1所述的一种基于Unity的倾斜摄影海量快速加载方法，其特征在于，步骤S3的具体过程为：进行顶层渲染，顶层渲染的过程包括Mesh生成、材质球生成和层级状态变更。

6.根据权利要求4所述的一种基于Unity的倾斜摄影海量快速加载方法，其特征在于，步骤S4的具体过程如下：

S401、对象状态裁定：添加一个相机，相机的渲染不做呈现，仅用于判断每个渲染对象是否在渲染视口内，并做视野标记；

S402、视野距离计算：在步骤S401相机渲染视野改变时，对每个相机渲染视野内的渲染对象到相机的投影距离做计算，得到对象的矢量距离，通过配置的LOD视距设置判断该对象需要显示的动态层级；

S403、层级动态调整：结合步骤S401渲染对象的视野标记和步骤S402的动态层级，提交层级渲染请求，该请求首先分发到步骤S202中异步多线程处理过程中同数据加载过程，渲染层级数据，展示在屏幕上；

S404、资源加/卸载:步骤S403层级切换时，当前显示的层级资源需要加载在内存中，上一个不需要渲染的层级相关资源则需要卸载，以此来降低消耗。

7.根据权利要求6所述的一种基于Unity的倾斜摄影海量快速加载方法，其特征在于，步骤S404资源加/卸载中还包括资源缓存策略，其包括以下几个方面：

S404-1、对象状态由视野内切换到视野外的过程中，如果对象投影到屏幕位置在屏幕尺寸向外的20%像素范围内时，缓存而不卸载；

S404-2、顶层渲染的对象始终不卸载；

S404-3、层级切换过程中当前显示层级对应的前层级和后层级不卸载；

S404-4、根据缓存内存的阈值，在阈值范围内缓存而不卸载，超过阈值范围优先卸载高渲染层级的对象。

8.一种基于Unity的倾斜摄影海量快速加载装置，其特征在于，包括

存储器：用于存储可执行指令；

处理器：用于执行所述存储器中存储的可执行指令，实现如权利要求1-7任一项所述的一种基于Unity的倾斜摄影海量快速加载方法。

Images