CN113628314B - 一种虚幻引擎中摄影测量模型的可视化方法、装置和设备 - Google Patents

Abstract

本申请涉及一种虚幻引擎中摄影测量模型的可视化方法、装置和计算机设备。所述方法包括：通过获取摄影测量模型的OSGB数据，转换为虚幻引擎中的Uasset格式数据，重构虚拟四叉树，然后对重构四叉树中的节点进行二进制编码；在当前帧，实现瓦片分层加载，通过视锥体裁切，对处在视野范围内的瓦片树通过阈值筛选瓦片层级，通过二进制编码判断当前节点和上一帧请求加载的节点之间的父子关系，对当前节点进行加载，并按照预设规则对请求数据节点集合中与当前节点存在父子子父关系的请求数据节点进行异步加载或卸载。本发明在虚幻引擎中实现摄影测量模型的可视化，能够提高倾斜摄影模型实时可视化流畅度并减少内存使用。

Description

一种虚幻引擎中摄影测量模型的可视化方法、装置和设备

技术领域

本申请涉及数字孪生技术领域，特别是涉及一种虚幻引擎中摄影测量模型 的可视化方法、装置、计算机设备和存储介质。

背景技术

数字孪生城市则是面向新型智慧城市的一套复杂技术和应用体系(顾建祥 etal.,n.d.)。在智慧城市背景下，数字孪生可以针对一个地区，建立一个能够可 视化的高保真三维场景用于支持测试与决策(

et al.,2018)，因此，首 先需要构建带有位置信息的统一的空间“数据底板”，将城市真实的地理坐标在 虚拟环境中进行呈现(Mao,2014)。

倾斜摄影测量模型是实现数字孪生城市不可或缺的数据底板。由于数据量 大，无法使用一次性渲染来可视化这些数据，地理信息系统研究人员提出了很 多方法来加载这些城市场景。然而，当用户在实时渲染中快速改变视图区域时， 现有方法仍然需要过多的CPU计算和内存占用，导致渲染延迟。

发明内容

基于此，有必要针对上述技术问题，提供一种能够提高倾斜摄影模型实时 可视化流畅度并减少内存使用的虚幻引擎中摄影测量模型的可视化方法、装置、 计算机设备和存储介质。

一种虚幻引擎中摄影测量模型的可视化方法，所述方法包括：

获取摄影测量模型的OSGB数据，将所述OSGB数据转换为虚幻引擎中的 Uasset格式数据；所述OSGB数据中包括网格模型和对应的纹理图片；所述摄 影测量模型中包括多个瓦片树；

删除所述瓦片树中非四叉树划分的冗余数据，对删除了冗余数据的瓦片树 按照四叉树结构向上重构虚拟节点，得到重构四叉树；

以二进制中两位数据组合表示四叉树中四个子节点，对所述重构四叉树自 上而下递归进行二进制编码，树的深度每加深一层，二进制编码的有效位数增 加两位；

在当前帧，通过视锥体裁切得到处在视野范围内的瓦片树，遍历所述视野 范围内的瓦片树的节点，获取当前节点的所述网格模型的面积和对应的所述纹 理图片的分辨率，根据所述网格模型的面积和所述纹理图片的分辨率得到所述 当前节点对应级别的当前节点误差，当所述当前节点误差不大于屏幕显示的误 差时，请求加载所述当前节点；

获取之前帧所有请求加载的请求数据节点集合，根据所述当前节点和所述 请求数据节点集合中的请求数据节点的二进制编码，判断所述当前节点与所述 请求数据节点的父子子父关系，根据所述父子子父关系对所述当前节点进行加 载，并按照预设规则对所述请求数据节点集合中与所述当前节点存在父子子父 关系的请求数据节点进行异步加载或卸载；

根据加载的节点的Uasset格式数据实现虚幻引擎中所述摄影测量模型的可 视化。

一种虚幻引擎中摄影测量模型的可视化装置，所述装置包括：

OSGB数据获取模块，用于获取摄影测量模型的OSGB数据，将所述OSGB 数据转换为虚幻引擎中的Uasset格式数据；所述OSGB数据中包括网格模型和 对应的纹理图片；所述摄影测量模型中包括多个瓦片树；

重构四叉树构建模块，用于删除所述瓦片树中非四叉树划分的冗余数据， 对删除了冗余数据的瓦片树按照四叉树结构向上重构虚拟节点，得到重构四叉 树；

编码模块，用于以二进制中两位数据组合表示四叉树中四个子节点，对所 述重构四叉树自上而下递归进行二进制编码，树的深度每加深一层，二进制编 码的有效位数增加两位；

数据调度模块，用于在当前帧，通过视锥体裁切得到处在视野范围内的瓦 片树，遍历所述视野范围内的瓦片树的节点，获取当前节点的所述网格模型的 面积和对应的所述纹理图片的分辨率，根据所述网格模型的面积和所述纹理图 片的分辨率得到所述当前节点对应级别的当前节点误差，当所述当前节点误差 不大于屏幕显示的误差时，请求加载所述当前节点；

内存管理模块，用于获取之前帧所有请求加载的请求数据节点集合，根据 所述当前节点和所述请求数据节点集合中的请求数据节点的二进制编码，判断 所述当前节点与所述请求数据节点的父子子父关系，根据所述父子子父关系对 所述当前节点进行加载，并按照预设规则对所述请求数据节点集合中与所述当 前节点存在父子子父关系的请求数据节点进行异步加载或卸载；

可视化模块，用于根据加载的节点的Uasset格式数据实现虚幻引擎中所述 摄影测量模型的可视化。

一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序， 所述处理器执行所述计算机程序时实现以下步骤：

获取摄影测量模型的OSGB数据，将所述OSGB数据转换为虚幻引擎中的 Uasset格式数据；所述OSGB数据中包括网格模型和对应的纹理图片；所述摄 影测量模型中包括多个瓦片树；

删除所述瓦片树中非四叉树划分的冗余数据，对删除了冗余数据的瓦片树 按照四叉树结构向上重构虚拟节点，得到重构四叉树；

以二进制中两位数据组合表示四叉树中四个子节点，对所述重构四叉树自 上而下递归进行二进制编码，树的深度每加深一层，二进制编码的有效位数增 加两位；

在当前帧，通过视锥体裁切得到处在视野范围内的瓦片树，遍历所述视野 范围内的瓦片树的节点，获取当前节点的所述网格模型的面积和对应的所述纹 理图片的分辨率，根据所述网格模型的面积和所述纹理图片的分辨率得到所述 当前节点对应级别的当前节点误差，当所述当前节点误差不大于屏幕显示的误 差时，请求加载所述当前节点；

获取之前帧所有请求加载的请求数据节点集合，根据所述当前节点和所述 请求数据节点集合中的请求数据节点的二进制编码，判断所述当前节点与所述 请求数据节点的父子子父关系，根据所述父子子父关系对所述当前节点进行加 载，并按照预设规则对所述请求数据节点集合中与所述当前节点存在父子子父 关系的请求数据节点进行异步加载或卸载；

根据加载的节点的Uasset格式数据实现虚幻引擎中所述摄影测量模型的可 视化。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处 理器执行时实现以下步骤：

获取摄影测量模型的OSGB数据，将所述OSGB数据转换为虚幻引擎中的 Uasset格式数据；所述OSGB数据中包括网格模型和对应的纹理图片；所述摄 影测量模型中包括多个瓦片树；

删除所述瓦片树中非四叉树划分的冗余数据，对删除了冗余数据的瓦片树 按照四叉树结构向上重构虚拟节点，得到重构四叉树；

以二进制中两位数据组合表示四叉树中四个子节点，对所述重构四叉树自 上而下递归进行二进制编码，树的深度每加深一层，二进制编码的有效位数增 加两位；

在当前帧，通过视锥体裁切得到处在视野范围内的瓦片树，遍历所述视野 范围内的瓦片树的节点，获取当前节点的所述网格模型的面积和对应的所述纹 理图片的分辨率，根据所述网格模型的面积和所述纹理图片的分辨率得到所述 当前节点对应级别的当前节点误差，当所述当前节点误差不大于屏幕显示的误 差时，请求加载所述当前节点；

获取之前帧所有请求加载的请求数据节点集合，根据所述当前节点和所述 请求数据节点集合中的请求数据节点的二进制编码，判断所述当前节点与所述 请求数据节点的父子子父关系，根据所述父子子父关系对所述当前节点进行加 载，并按照预设规则对所述请求数据节点集合中与所述当前节点存在父子子父 关系的请求数据节点进行异步加载或卸载；

根据加载的节点的Uasset格式数据实现虚幻引擎中所述摄影测量模型的可 视化。

上述虚幻引擎中摄影测量模型的可视化方法、装置、计算机设备和存储介 质，通过获取摄影测量模型的OSGB数据，转换为虚幻引擎中的Uasset格式数据， 删除瓦片树中非四叉树划分的冗余数据，按照四叉树结构向上重构虚拟节点得 到重构四叉树，然后对重构四叉树中的节点进行二进制编码；在当前帧，通过 视锥体裁切得到处在视野范围内的瓦片树，遍历视野范围内的瓦片树的节点， 获取当前节点的网格模型的面积和对应的纹理图片的分辨率，根据网格模型的 面积和纹理图片的分辨率得到当前节点对应级别的当前节点误差，当当前节点 误差不大于屏幕显示的误差时，请求加载当前节点，通过编码判断当前节点和 上一帧请求加载的节点之间的父子关系，根据父子子父关系对当前节点进行加载，并按照预设规则对请求数据节点集合中与当前节点存在父子子父关系的请 求数据节点进行异步加载或卸载，根据加载的节点的Uasset格式数据实现虚幻 引擎中摄影测量模型的可视化。本发明合并了整个数据区域内的所有四叉树， 可以减少在不同子区域渲染数据时将数据加载到内存的耗时，对合并后的四叉 树中的节点进行二进制编码，通过对这些编码进行快速的二进制运算，可以给 出加载队列中树节点之间的父子关系，实现在异步线程中实时取消冗余数据节 点，有助于减少硬盘加载时间和可视化的整体内存占用，此外，本发明提出了 根据网格模型的面积和纹理图片的分辨率得到节点对应的级别，以实现不同生 产标准下的统一数据调度。本发明在虚幻引擎(UE)中实现大规模倾斜摄影测 量模型的可视化，提高了可视化流畅度并减少了内存使用。

附图说明

图1为一个实施例中虚幻引擎中摄影测量模型的可视化方法的流程示意图；

图2为一个实施例中倾斜摄影测量模型的瓦片金字塔模型示意图；

图3为一个实施例中删除了冗余数据的瓦片金字塔示意图；

图4为一个实施例中上层为虚拟节点下层为真实节点的重构四叉树示意图；

图5为一个实施例中自上而下递归的二进制编码过程示意图；

图6为一个实施例中视锥体裁切原理示意图；

图7为一个实施例中位运算计算父子子父关系过程示意图；

图8为一个实施例中SGPE的计算原理示意图；

图9为一个实施例中倾斜摄影测量瓦片的数据组成示意图；

图10为一个实施例中请求加载节点集合示意图；

图11为一个实施例中基于父子关系的异步加载过程示意图；

图12为一个实施例中父子关系时子节点为加载状态示意图；

图13为一个实施例中父子关系时子节点已加载状态示意图；

图14为一个实施例中子父关系时父节点未加载状态示意图；

图15为一个实施例中子父关系时父节点已加载状态示意图；

图16为一个具体实施例中虚幻引擎中摄影测量模型的可视化方法整体技术 路线图示意图；

图17为一个具体实施例中模型渲染结果示意图；

图18为一个实施例中在固定相机路径下从视野高度较高到视野高度较低的 索引效率对比结果示意图；

图19为一个实施例中从GAME和GPU两个方面对异步加载卸载和基于父 子关系异步加载卸载之间效率的对比结果示意图，其中a为Game Thread时间，b 为GPU Thread时间；

图20为一个实施例中最终帧时间的对比结果示意图；

图21为一个实施例中基于加载时间进行缓存的缓存方式和基于父子关系关 系缓存方式内存占用对比结果示意图；

图22为一个实施例中虚幻引擎中摄影测量模型的可视化装置的结构框图；

图23为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实 施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅 用以解释本申请，并不用于限定本申请。

本申请提供的虚幻引擎中摄影测量模型的可视化方法，可以应用于如下应 用环境中。其中，终端执行一种虚幻引擎中摄影测量模型的可视化方法，通过 获取摄影测量模型的OSGB数据，转换为虚幻引擎中的Uasset格式数据，重构 虚拟四叉树，然后对重构四叉树中的节点进行二进制编码；在当前帧，实现瓦 片分层加载，通过视锥体裁切，对处在视野范围内的瓦片树通过阈值筛选瓦片 层级，通过二进制编码判断当前节点和上一帧请求加载的节点之间的父子关系， 对当前节点进行加载，并按照预设规则对请求数据节点集合中与当前节点存在 父子子父关系的请求数据节点进行异步加载或卸载。其中，终端可以但不限于 是各种个人计算机、笔记本电脑和平板电脑。

在一个实施例中，如图1所示，提供了一种虚幻引擎中摄影测量模型的可 视化方法，包括以下步骤：

步骤102，获取摄影测量模型的OSGB数据，将OSGB数据转换为虚幻引 擎中的Uasset格式数据。

倾斜摄影测量模型是构建数字孪生城市场景最重要的基础数据之一，一个 城市级别的三维场景数据集可能由上亿个三角形组成。相较于基于四叉树划分 的瓦片金字塔结构，倾斜摄影测量模型在瓦片金字塔的上层部分会对根节点额 外进行模型几何抽稀和纹理降秩压缩，如图2所示，且由于每块区域的原始数 据量不同，对于不同瓦片树来说非四叉树划分层数并不相等，瓦片金字塔的下 层部分按照四叉树结构进行划分。

国内倾斜摄影数据多是以OSGB数据格式存储的，OSGB数据格式是三维 引擎定义的数据格式，使用二进制存储，可以加快计算机读取。OSGB数据中包 括网格模型和对应的纹理图片。

步骤104，删除瓦片树中非四叉树划分的冗余数据，对删除了冗余数据的瓦 片树按照四叉树结构向上重构虚拟节点，得到重构四叉树。

本发明提出了如下的重组织方法：

(1)删除非四叉树划分层级，使瓦片树都符合四叉树数据结构划分，如图3 所示。但由于不同瓦片树非四叉树划分层级取决于对应区域的数据量 大小，在删除之后不同瓦片树的深度并不一致；

(2)对所有瓦片树继续按照四叉树结构向上重构虚拟节点(按照地理范围 向上构建四叉树的节点，但无真实数据仅充当索引作用)，最终合成 一个由上层为虚拟节点下层为真实节点的一颗四叉树如图4所示。其 中层级与瓦片精细程度无关，因此不能采用与层级数相关的调度方 法。

步骤106，以二进制中两位数据组合表示四叉树中四个子节点，对重构四叉 树自上而下递归进行二进制编码，树的深度每加深一层，二进制编码的有效位 数增加两位。

本发明提出一种基于四叉树父子关系的二进制编码，节点的之间的关系通 过两次位运算获得，计算机中所有的数据以二进制的形式存储，即0、1两种状 态，位运算对二进制位进行运算，不需要便编译器的转换，相比于其他运算有 着更高的执行效率。通过这种方式可以快速判断出，已加载瓦片和当前帧请求 加载瓦片之间的父子关系，建立根据父子关系的异步加载卸载方式，进而实现 动态内存管理。

具体地，以二进制中两位组合表示四叉树中四个子节点，将二进制编码分 解为两个一组的四进制，可以表示四叉树的四个子节点，树的深度每加深一层， 编码有效位数增加2位，数值上等于对应深度的两倍。采用一种自上而下递归 的编码方式，编码过程如图5所示，最上一级节点编码有效位数为2，第二级节 点编码有效位数为4，第三级节点编码有效位数为6，以此类推。

步骤108，在当前帧，通过视锥体裁切得到处在视野范围内的瓦片树，遍历 视野范围内的瓦片树的节点，获取当前节点的网格模型的面积和对应的纹理图 片的分辨率，根据网格模型的面积和纹理图片的分辨率得到当前节点对应级别 的当前节点误差，当当前节点误差不大于屏幕显示的误差时，请求加载当前节 点。

人眼作为透视投影视点的视觉空间是一个圆锥体，视锥体用来模拟这样的 视觉空间。由于倾斜摄影模型数据量比较大，且对应瓦片数据层级关系复杂， 不能一次性全部加载入内存。当用户浏览数据时只观察到处在视锥体范围内的 瓦片，再通过场景调度原则确定所需要加载瓦片的对应细节层次，CPU计算完 成需要加载的瓦片后，将需要绘制的三角形发送给GPU，通过这一过程可以极 大地提高数据调度的效率。

例如，在图6中，我们为场景中的每个对象创建了一个包围盒。如果包围 盒没有与视锥体相交，我们就不需要将对象添加到加载队列中。因此，视锥体 裁剪可以大大降低客户端在后期场景渲染中的处理压力。

由于在同一树级别上使用了层级精度不一致的统一金字塔，因此现有技术 仅由瓦片范围定义的GE参数无法准确描述瓦片的精度。但是，瓦片由网格和纹 理组成，它们可以用来解释瓦片精度。随着层数的增加，瓦片对应的表面积越 来越小，其纹理中的像素数在相邻层级之间相似，并在多个层级之间呈现增加 趋势。因此，当节点对应级别的误差大于屏幕显示的误差，继续遍历。否则， 加载当前节点。

步骤110，获取之前帧所有请求加载的请求数据节点集合，根据当前节点和 请求数据节点集合中的请求数据节点的二进制编码，判断当前节点与请求数据 节点的父子子父关系，根据父子子父关系对当前节点进行加载，并按照预设规 则对请求数据节点集合中与当前节点存在父子子父关系的请求数据节点进行异 步加载或卸载。

当有效位数相等时，所处树的同一深度，所以一定不存在父子关系。

若有效位数不相等对任意两个节点的二进制编码取异或操作，代表对两个 节点的所有层次进行对比，相同为0，不同为1；再对结果编码左移(32-两个 节点中更小的有效编码位数)，相当于只保留深度更浅的节点层次对比结果，如 果结果不为零代表这一部分不完全相同，则不存在父子关系；如果结果为零， 则存在父子关系，整体过程如图7所示。最后判断两者的有效编码位数大小， 有效编码位数大的就是子节点，有效编码位数小的就是父节点。

可以看到这个方法仅通过两次位运算就可以得到任意两点之间的父子关 系，同时对比传统编码方法带来的额外数据内存仅仅是一个整型变量，用于记 录当前编码有效位数。

步骤112，根据加载的节点的Uasset格式数据实现虚幻引擎中摄影测量模型 的可视化。

上述虚幻引擎中摄影测量模型的可视化方法中，获取摄影测量模型的OSGB 数据，转换为虚幻引擎中的Uasset格式数据，通过删除瓦片树中非四叉树划分 的冗余数据，按照四叉树结构向上重构虚拟节点得到重构四叉树，然后对重构 四叉树中的节点进行二进制编码；在当前帧，通过视锥体裁切得到处在视野范 围内的瓦片树，遍历视野范围内的瓦片树的节点，获取当前节点的网格模型的 面积和对应的纹理图片的分辨率，根据网格模型的面积和纹理图片的分辨率得 到当前节点对应级别的当前节点误差，当当前节点误差不大于屏幕显示的误差 时，请求加载当前节点，通过编码判断当前节点和上一帧请求加载的节点之间 的父子关系，根据父子子父关系对当前节点进行加载，并按照预设规则对请求 数据节点集合中与当前节点存在父子子父关系的请求数据节点进行异步加载或 卸载，根据加载的节点的Uasset格式数据实现虚幻引擎中摄影测量模型的可视 化。本发明合并了整个数据区域内的所有四叉树，可以减少在不同子区域渲染 数据时将数据加载到内存的耗时，对合并后的四叉树中的节点进行二进制编码， 通过对这些编码进行快速的二进制运算，可以给出加载队列中树节点之间的父 子关系，实现在异步线程中实时取消冗余数据节点，有助于减少硬盘加载时间 和可视化的整体内存占用，此外，本发明提出了根据网格模型的面积和纹理图 片的分辨率得到节点对应的级别，以实现不同生产标准下的统一数据调度。本 发明在虚幻引擎(UE)中实现大规模倾斜摄影测量模型的可视化，提高了可视 化流畅度并减少了内存使用。

在其中一个实施例中，还包括：删除瓦片树中非四叉树划分的冗余数据， 对删除了冗余数据的瓦片树按照四叉树结构向上重构虚拟节点，得到重构四叉 树；虚拟节点为无数据空节点。

虚拟节点无真实数据仅充当索引作用。

在其中一个实施例中，还包括：根据网格模型的面积和纹理图片的分辨率 得到当前节点对应级别的当前节点误差为：

其中，NGPE表示当前节点误差，a表示网格模型的面积；b表示纹理图片 的分辨率。

由于在同一树级别上使用了层级精度不一致的统一金字塔，因此现有技术 中仅由瓦片范围定义的参数无法准确描述瓦片的精度。但是，瓦片由网格和纹 理组成，它们可以用来解释瓦片精度。随着层数的增加，瓦片对应的表面积越 来越小，其纹理中的像素数在相邻层级之间相似，并在多个层级之间呈现增加 趋势。因此，公式

中的NGPE代表了每个节点级别中单位像素的几何 网格面积，可以用来区分不同级别的不同网格面积的节点。

将节点投影到视锥体的近平面，计算当前视点下显示屏中每单位像素的近 似瓦片面积为：

SGPE的计算原理如图8所示，其中，SGPE表示近似瓦片面积，D表示视 锥体视点与节点之间的距离，FOV表示平截头体的视野，SR表示屏幕分辨率， Tan(·)表示正切三角函数；

以近似瓦片面积为屏幕显示的误差；

当当前节点误差不大于屏幕显示的误差时，请求加载当前节点，即当NGPE 大于SGPE时，节点对应级别的误差大于屏幕显示的误差，继续遍历。否则， 加载当前节点。这样，对于不同生产标准下的倾斜摄影测量模型，可以实现多 区域瓦片树之间的统一标准加载。此外，它们可以重组为场景树进行加载调度， 这对于融合多源数据和建立统一的空间参考具有重要意义。例如，图9说明了 18层瓦片和20层瓦片的数据。层数越深的数据NGPE值越小，沿着四叉树遍 历节点选择合适的层级。

在其中一个实施例中，还包括：获取当前节点的第一编码和请求数据节点 集合中的请求数据节点的第二编码；将第一编码和第二编码异或运算的结果左 移预设位数得到位运算结果；预设位数为第一编码和第二编码的有效编码位数 中更小的位数；判断位运算结果，若位运算结果为0，则当前节点和请求数据节 点存在父子关系，其中有效编码位数更小的为父节点；若位运算结果不为0，则 当前节点和请求数据节点不存在父子关系。遍历请求数据节点集合；若请求数 据节点集合中的请求加载节点为当前节点的子节点，将子节点从请求数据节点 集合中移除；判断子节点是否已加载，若子节点未加载，取消子节点的异步加 载任务；若子节点已加载，标记子节点并将其加入已加载子节点集合；待遍历 完请求数据节点集合后，将当前节点加入请求数据节点集合，请求异步加载当 前节点；遍历已加载子节点集合，卸载其中所有标记节点；若请求数据节点集 合中的请求加载节点为当前节点的父节点，判断父节点是否已加载，若父节点 未加载，取消父节点的异步加载任务，将当前节点加入请求数据节点集合，跳 出遍历请求数据节点集合，并请求加载当前节点；若父节点已加载，将当前节 点记录为父节点的子节点，跳出遍历请求数据节点集合，并请求加载当前节点， 待父节点的子节点全部加载完成后卸载父节点；若当前节点和请求数据节点不 存在父子关系，将当前节点加入请求数据节点集合，并请求加载当前节点。

在一个具体实施例中，将之前帧所有请求加载的节点(包括已加载节点和 未加载节点)存在onLoadctnPtrArray中，如图10所示。基于父子关系的异步加 载过程主要分为三种情况，当前帧请求节点为onLoadArray中节点的父节点：父 子关系；当前帧请求节点为onLoadArray中节点的子节点：子父关系；当前帧请 求节点与onLoadArray中节点无父子关系。整体过程如图11所示。

情况一：父子关系

遍历onLoadctnPtrArray中的节点，存在当前帧请求加载节点为父节点情况 时。

(1)如图12所示，遍历子节点未加载完成：直接取消异步任务，

onLoadctnPtrArray移除子节点，并继续遍历onLoadctnPtrArray当前节 点的其他子节点；

(2)如图13所示，遍历发现当前帧加载节点的子节点，如果已经加载完成： 标记这个节点存入thischildset集合中，并从onLoadctnPtrArray队列中 删除，直到当前帧请求加载父节点异步加载完成后，遍历thischildset 卸载所有标记节点，遍历整个onLoadctnPtrArray，重复上述两个过程。

情况二：子父关系 遍历onLoadctnPtrArray中的节点，存在当前帧请求加载节点为子节点情况 时。

(1)如图14所示，父节点未加载完成(父节点一定唯一，onLoadctnPtrArray 不会存在不同层级的同区域瓦片)：直接取消父节点任务，

onLoadctnPtrArray移除父节点，并加入当前帧请求加载的子节点，跳 出遍历；

(2)如图15所示，父节点已经加载完成：对当前帧待加载子节点标记对 应父节点(指针指向父节点)，父节点也标记已有当前帧待加载子节 点数量brochildnum，跳出遍历onLoadctnPtrArray。每当一个当前帧 待加载子节点异步加载完成，则父节点标记的brochildnum减1，直 到父节点标记的brochildnum重新为0，代表所有子节点加载完成则卸载父节点。

情况三：无父子关系

将当前节点加入请求数据节点集合，并请求加载当前节点。

基于父子关系实时异步加载卸载的优点是：

(1)传统控制缓存方法是按照时间顺序进行缓存，不考虑不同层级数据间 的关系，会出现同时在同一区域内加载多个层级的瓦片数据作为缓 存，增加了内存压力。基于父子关系的实时异步加载方法保证了不会 有存在父子关系的瓦片节点同时加载，确保同一区域只会有唯一层级 的数据加载，减轻了内存压力。

(2)在加载同一区域的连续层级时，例如相机由高处逐渐下降时，如果相 机移动速度大于层级数据渲染速度，会由粗糙到精细层级逐级进行加 载、渲染、卸载这一过程，会极大地增加实时渲染压力，基于父子关 系的实时异步加载方法，可以避免未加载的瓦片继续加载，直接在异 步过程中取消任务，提升了快速浏览时的渲染效率，根据父子关系取 消同区域不同层级瓦片通过很小的CPU计算代价节省GPU渲染可以 实现倾斜摄影测量三维场景渲染流畅度的提升。

在其中一个实施例中，还包括：对重构四叉树自上而下递归进行二进制编码； 二进制编码采用int32进行存储，可以表达最多16层的四叉树瓦片关系。

应该理解的是，虽然图1的流程图中的各个步骤按照箭头的指示依次显示， 但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的 说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执 行。而且，图1中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些 子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行， 这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或 者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

在另一个具体实施例中，提供了一种虚幻引擎中摄影测量模型的可视化方 法，整体技术路线图如图16所示，包括：

第一对OSGB数据进行解析与信息提取，将OSGB格式转换为UE的Uasset 格式；

第二对倾斜摄影模型进行重组织，分为删除非四叉树划分瓦片和向上重构 虚拟四叉树，构建父子关系四叉树编码三步；

第三实现瓦片分层加载，分为视锥体裁切获得处在视野范围内的瓦片树和 通过阈值筛选瓦片层级；

最后则是通过父子关系四叉树编码与异步加载实现内存管理。

本实施例的模型渲染结果如图17所示。本实施例还设置了三组控制实验。 第一个实验针对的是统一四叉树方法。另外两个实验针对的是基于四叉树的父 子关系编码的异步加载-卸载，分别针对可视化效率和内存使用情况。

1.索引效率对比实验：

本实验采用的实验环境CPU：inter(R)Core(TM)i7-9750H CPU@2.60GHZ。

为了对比基于块的四叉树和重构虚拟节点四叉树的场景遍历下的效率，本 实验设置了由视野高度较高到视野高度较低的固定路径作为相机轨迹，加载瓦 片有较多的粗糙层级到瓦片数量较少的精细层级，对比结果如图18所示，可以 看出随着加载层级越来越精细，重构虚拟节点的索引效率更高，适合于在大规 模HLOD的倾斜摄影模型作为索引方案。

2.可视化效率对比

本实验的实验环境为CPU:Intel(R)Core(TM)i9-10900KF CPU@3.70GHz； GPU:NVIDIA GeForce RTX 3090。

为了对比现有技术的异步加载卸载和本发明基于父子关系异步加载卸载之 间的效率对比，本实验本实验设置了同样由视野高度较高到视野高度较低的固 定路径，从三个角度进行对比试验分别是Game(the time of CPU game thread in one frame)，GPU(thetime of GPU render thread in one frame)，Frame(the time it takes to execute aframe)，由于帧时间是由每一帧的CPU thread和GPU thread共 同影响的，并由两者耗时更长的一方决定的，在本实验中我们可以发现可视化 效率瓶颈在GPU上，父子关系方法通过增加较少的CPU的计算量，判断已加 载瓦片和待加载瓦片的父子关系，减少了实时加载卸载的任务量，减少了大量 GPU的渲染时间。其中增加的CPU计算时间小于3ms,同时CPU线程时间始终 小于GPU时间而GPU线程时间降低了约30％。如图19所示，最终帧时间如图20 所示，降低了约30％，同时帧时间大部分时间维持在10ms以下，可视化效果流 畅，如图20所示。

3.内存占用对比

为了对比基于加载时间进行缓存的缓存方式和基于父子关系关系缓存方式 进行对比，在本实验中，将漫游了五处地点并从由视野高度较高到视野高度较 低移动的固定路径作为相机轨迹，以贴图和三角网内存之和作为可视化内存占 用。内存记录间隔为5s，对比图结果如图21所示，其中UE的追踪式GC算法 达到GC间隔时间(本实验中为一分钟)将会集中卸载不可达对象，因此实验中 存在间隔一分钟内存快速下降的情况，同时可以看出由于按时间缓存，在同一 区域会缓存多层级数据，缓存量会逐渐上升，而父子关系记录缓存方法缓存量 并无上升趋势，能降低50％以上的内存消耗。

在一个实施例中，如图22所示，提供了一种虚幻引擎中摄影测量模型的可 视化装置，包括：OSGB数据获取模块2202、重构四叉树构建模块2204、编码 模块2206、数据调度模块2208、内存管理模块2210和可视化模块2212，其中：

OSGB数据获取模块2202，用于获取摄影测量模型的OSGB数据，将OSGB 数据转换为虚幻引擎中的Uasset格式数据；OSGB数据中包括网格模型和对应 的纹理图片；摄影测量模型中包括多个瓦片树；

重构四叉树构建模块2204，用于删除瓦片树中非四叉树划分的冗余数据， 对删除了冗余数据的瓦片树按照四叉树结构向上重构虚拟节点，得到重构四叉 树；

编码模块2206，用于以二进制中两位数据组合表示四叉树中四个子节点， 对重构四叉树自上而下递归进行二进制编码，树的深度每加深一层，二进制编 码的有效位数增加两位；

数据调度模块2208，用于在当前帧，通过视锥体裁切得到处在视野范围内 的瓦片树，遍历视野范围内的瓦片树的节点，获取当前节点的网格模型的面积 和对应的纹理图片的分辨率，根据网格模型的面积和纹理图片的分辨率得到当 前节点对应级别的当前节点误差，当当前节点误差不大于屏幕显示的误差时， 请求加载当前节点；

内存管理模块2210，用于获取之前帧所有请求加载的请求数据节点集合， 根据当前节点和请求数据节点集合中的请求数据节点的二进制编码，判断当前 节点与请求数据节点的父子子父关系，根据父子子父关系对当前节点进行加载， 并按照预设规则对请求数据节点集合中与当前节点存在父子子父关系的请求数 据节点进行异步加载或卸载；

可视化模块2212，用于根据加载的节点的Uasset格式数据实现虚幻引擎中 摄影测量模型的可视化。

数据调度模块2208还用于根据网格模型的面积和纹理图片的分辨率得到当 前节点对应级别的当前节点误差为：

其中，NGPE表示当前节点误差，a表示网格模型的面积；b表示纹理图片 的分辨率。

数据调度模块2208还用于将节点投影到视锥体的近平面，计算当前视点下 显示屏中每单位像素的近似瓦片面积为：

其中，SGPE表示近似瓦片面积，D表示视锥体视点与节点之间的距离， FOV表示平截头体的视野，SR表示屏幕分辨率，Tan(·)表示正切三角函数；

以近似瓦片面积为屏幕显示的误差；当当前节点误差不大于屏幕显示的误 差时，请求加载当前节点。

内存管理模块2210还用于获取当前节点的第一编码和请求数据节点集合中 的请求数据节点的第二编码；将第一编码和第二编码异或运算的结果左移预设 位数得到位运算结果；预设位数为第一编码和第二编码的有效编码位数中更小 的位数；判断位运算结果，若位运算结果为0，则当前节点和请求数据节点存在 父子关系，其中有效编码位数更小的为父节点；若位运算结果不为0，则当前节 点和请求数据节点不存在父子关系。

内存管理模块2210还用于遍历请求数据节点集合；若请求数据节点集合中 的请求加载节点为当前节点的子节点，将子节点从请求数据节点集合中移除； 判断子节点是否已加载，若子节点未加载，取消子节点的异步加载任务；若子 节点已加载，标记子节点并将其加入已加载子节点集合；待遍历完请求数据节 点集合后，将当前节点加入请求数据节点集合，请求异步加载当前节点；遍历 已加载子节点集合，卸载其中所有标记节点；若请求数据节点集合中的请求加 载节点为当前节点的父节点，判断父节点是否已加载，若父节点未加载，取消 父节点的异步加载任务，将当前节点加入请求数据节点集合，跳出遍历请求数据节点集合，并请求加载当前节点；若父节点已加载，将当前节点记录为父节 点的子节点，跳出遍历请求数据节点集合，并请求加载当前节点，待父节点的 子节点全部加载完成后卸载父节点；若当前节点和请求数据节点不存在父子关 系，将当前节点加入请求数据节点集合，并请求加载当前节点。

关于虚幻引擎中摄影测量模型的可视化装置的具体限定可以参见上文中对 于虚幻引擎中摄影测量模型的可视化方法的限定，在此不再赘述。上述虚幻引 擎中摄影测量模型的可视化装置中的各个模块可全部或部分通过软件、硬件及 其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理 器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用 执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其 内部结构图可以如图23所示。该计算机设备包括通过系统总线连接的处理器、 存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提 供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。 该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存 储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口 用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一 种虚幻引擎中摄影测量模型的可视化方法。该计算机设备的显示屏可以是液晶 显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的 触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是 外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图23中示出的结构，仅仅是与本申请方案相关 的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定， 具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件， 或者具有不同的部件布置。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，该存储 器存储有计算机程序，该处理器执行计算机程序时实现上述方法实施例中的步 骤。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程 序，计算机程序被处理器执行时实现上述方法实施例中的步骤。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程， 是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于 一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述 各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、 存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。 非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程 ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可 包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限， RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步 DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM (ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、 以及存储器总线动态RAM(RDRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述 实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特 征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细， 但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的 普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改 进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权 利要求为准。

Claims (10)

1.一种虚幻引擎中摄影测量模型的可视化方法，其特征在于，所述方法包括：

获取摄影测量模型的OSGB数据，将所述OSGB数据转换为虚幻引擎中的Uasset格式数据；所述OSGB数据中包括网格模型和对应的纹理图片；所述摄影测量模型中包括多个瓦片树；

删除所述瓦片树中非四叉树划分的冗余数据，对删除了冗余数据的瓦片树按照四叉树结构向上重构虚拟节点，得到重构四叉树；

以二进制中两位数据组合表示四叉树中四个子节点，对所述重构四叉树自上而下递归进行二进制编码，树的深度每加深一层，二进制编码的有效位数增加两位；

在当前帧，通过视锥体裁切得到处在视野范围内的瓦片树，遍历所述视野范围内的瓦片树的节点，获取当前节点的所述网格模型的面积和对应的所述纹理图片的分辨率，根据所述网格模型的面积和所述纹理图片的分辨率得到所述当前节点对应级别的当前节点误差，当所述当前节点误差不大于屏幕显示的误差时，请求加载所述当前节点；

获取之前帧所有请求加载的请求数据节点集合，根据所述当前节点和所述请求数据节点集合中的请求数据节点的二进制编码，判断所述当前节点与所述请求数据节点的父子子父关系，根据所述父子子父关系对所述当前节点进行加载，并按照预设规则对所述请求数据节点集合中与所述当前节点存在父子子父关系的请求数据节点进行异步加载或卸载；

根据加载的节点的Uasset格式数据实现虚幻引擎中所述摄影测量模型的可视化。

2.根据权利要求1所述的方法，其特征在于，删除所述瓦片树中非四叉树划分的冗余数据，对删除了冗余数据的瓦片树按照四叉树结构向上重构虚拟节点，得到重构四叉树，包括：

删除所述瓦片树中非四叉树划分的冗余数据，对删除了冗余数据的瓦片树按照四叉树结构向上重构虚拟节点，得到重构四叉树；所述虚拟节点为无数据空节点。

3.根据权利要求2所述的方法，其特征在于，根据所述网格模型的面积和所述纹理图片的分辨率得到所述当前节点对应级别的当前节点误差，包括：

根据所述网格模型的面积和所述纹理图片的分辨率得到所述当前节点对应级别的当前节点误差为：

其中，NGPE表示所述当前节点误差，a表示所述网格模型的面积；b表示所述纹理图片的分辨率。

4.根据权利要求3所述的方法，其特征在于，当所述当前节点误差不大于屏幕显示的误差时，请求加载所述当前节点，包括：

将所述节点投影到视锥体的近平面，计算当前视点下显示屏中每单位像素的近似瓦片面积为：

其中，SGPE表示所述近似瓦片面积，D表示视锥体视点与所述节点之间的距离，FOV表示平截头体的视野，SR表示屏幕分辨率，Tan(·)表示正切三角函数；

以所述近似瓦片面积为屏幕显示的误差；

当所述当前节点误差不大于屏幕显示的误差时，请求加载所述当前节点。

5.根据权利要求1所述的方法，其特征在于，根据所述当前节点和所述请求数据节点集合中的请求数据节点的二进制编码，判断所述当前节点与所述请求数据节点的父子子父关系，包括：

获取所述当前节点的第一编码和所述请求数据节点集合中的请求数据节点的第二编码；

将所述第一编码和所述第二编码异或运算的结果左移预设位数得到位运算结果；所述预设位数为所述第一编码和所述第二编码的有效编码位数中更小的位数；

判断所述位运算结果，若所述位运算结果为0，则所述当前节点和所述请求数据节点存在父子关系，其中有效编码位数更小的为父节点；若所述位运算结果不为0，则所述当前节点和所述请求数据节点不存在父子关系。

6.根据权利要求5所述的方法，其特征在于，根据所述父子子父关系对所述当前节点进行加载，并按照预设规则对所述请求数据节点集合中与所述当前节点存在父子子父关系的请求数据节点进行异步加载或卸载，包括：

遍历所述请求数据节点集合；

若所述请求数据节点集合中的请求加载节点为所述当前节点的子节点，将所述子节点从所述请求数据节点集合中移除；判断所述子节点是否已加载，若所述子节点未加载，取消所述子节点的异步加载任务；若所述子节点已加载，标记所述子节点并将其加入已加载子节点集合；待遍历完所述请求数据节点集合后，将所述当前节点加入所述请求数据节点集合，请求异步加载所述当前节点；遍历所述已加载子节点集合，卸载其中所有标记节点；

若所述请求数据节点集合中的请求加载节点为所述当前节点的父节点，判断所述父节点是否已加载，若所述父节点未加载，取消所述父节点的异步加载任务，将所述当前节点加入所述请求数据节点集合，跳出遍历所述请求数据节点集合，并请求加载所述当前节点；若所述父节点已加载，将所述当前节点记录为所述父节点的子节点，跳出遍历所述请求数据节点集合，并请求加载所述当前节点，待所述父节点的子节点全部加载完成后卸载所述父节点；

若所述当前节点和所述请求数据节点不存在父子关系，将所述当前节点加入所述请求数据节点集合，并请求加载所述当前节点。

7.根据权利要求1至6任意一项所述的方法，其特征在于，对所述重构四叉树自上而下递归进行二进制编码，包括：

对所述重构四叉树自上而下递归进行二进制编码；所述二进制编码采用int32进行存储。

8.一种虚幻引擎中摄影测量模型的可视化装置，其特征在于，所述装置包括：

OSGB数据获取模块，用于获取摄影测量模型的OSGB数据，将所述OSGB数据转换为虚幻引擎中的Uasset格式数据；所述OSGB数据中包括网格模型和对应的纹理图片；所述摄影测量模型中包括多个瓦片树；

重构四叉树构建模块，用于删除所述瓦片树中非四叉树划分的冗余数据，对删除了冗余数据的瓦片树按照四叉树结构向上重构虚拟节点，得到重构四叉树；

编码模块，用于以二进制中两位数据组合表示四叉树中四个子节点，对所述重构四叉树自上而下递归进行二进制编码，树的深度每加深一层，二进制编码的有效位数增加两位；

数据调度模块，用于在当前帧，通过视锥体裁切得到处在视野范围内的瓦片树，遍历所述视野范围内的瓦片树的节点，获取当前节点的所述网格模型的面积和对应的所述纹理图片的分辨率，根据所述网格模型的面积和所述纹理图片的分辨率得到所述当前节点对应级别的当前节点误差，当所述当前节点误差不大于屏幕显示的误差时，请求加载所述当前节点；

内存管理模块，用于获取之前帧所有请求加载的请求数据节点集合，根据所述当前节点和所述请求数据节点集合中的请求数据节点的二进制编码，判断所述当前节点与所述请求数据节点的父子子父关系，根据所述父子子父关系对所述当前节点进行加载，并按照预设规则对所述请求数据节点集合中与所述当前节点存在父子子父关系的请求数据节点进行异步加载或卸载；

可视化模块，用于根据加载的节点的Uasset格式数据实现虚幻引擎中所述摄影测量模型的可视化。

9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。

Images