CN112001993A

CN112001993A - 一种面向大场景的多gpu城市仿真系统

Info

Publication number: CN112001993A
Application number: CN202010678751.4A
Authority: CN
Inventors: 刘江涛
Original assignee: Shenzhen Planning Land And Real Estate Information Center Shenzhen Spatial Geographic Information Center
Current assignee: Shenzhen Planning Land And Real Estate Information Center Shenzhen Spatial Geographic Information Center
Priority date: 2020-07-14
Filing date: 2020-07-14
Publication date: 2020-11-27

Abstract

本发明公开了一种面向大场景的多GPU城市仿真系统，基于多GPU并行实时渲染，主模块，用于完成系统配置、系统初始化、线程初始化、用户互操作控制、地形管理和资源管理；处理模块，用于对存储于主存和显存中的资源进行更新和处理；渲染模块，用于完成显存资源的加载和渲染，通过虚拟视窗进行仿真场景的多通道输出；其中，所述主控模块、处理模块、渲染模块之间相互连接。本发明基于多GPU并行实时渲染，能适用于超大场景的多GPU城市三维仿真引擎，实现大范围三维地形数据和巨量精细建筑模型数据实时渲染等特点。

Description

一种面向大场景的多GPU城市仿真系统

技术领域

本发明涉及一种面向大场景的多GPU城市仿真系统。

背景技术

三维实时面向大场景的多GPU城市仿真系统的应用环境主要是大型会议室、报告厅、展览厅等较大场所，一般用户采用弧形多通道投影屏幕、多通道背投拼接显示系统进行展示。对于大多数用户而言，城市级高精度DEM/DOM三维地形数据和精细建筑模型数据是非常巨大的，如果同时希望仿真系统支持诸如实时光照系统、高动态范围光照(HDR)、实时阴影系统、三维植物系统、大气散射效果、带真实光线反射效果的动态水面和动画系统等三维仿真技术进行实时渲染显示，只有利用多GPU-CPU的并行渲染方式，才能为城市仿真提供足够的计算和渲染能力。

然而，现有的三维实时面向大场景的多GPU城市仿真系统在多通道大场景下缺乏跨屏拾取、全屏操作等功能。同时，受Ethernet网络通讯的制约，通道间视频帧同步性能难以提高，多通道三维城市实时仿真性能提升空间有限。

发明内容

本发明的目的是针对现有技术缺陷，而提供一种面向大场景的多GPU城市仿真系统。

为了实现上述本发明的目的，采用的技术方案：

一种面向大场景的多GPU城市仿真系统，基于多GPU并行实时渲染，包括主模块，用于完成系统配置、系统初始化、线程初始化、用户互操作控制、地形管理和资源管理；处理模块，用于对存储于主存和显存中的资源进行更新和处理；渲染模块，用于完成显存资源的加载和渲染，通过虚拟视窗进行仿真场景的多通道输出；其中，所述主控模块、处理模块、渲染模块之间相互连接。

进一步地，所述主模块的流程包括：

侦测硬件系统中GPU的数量，标识每个GPU的设备识别号，检测每个GPU的运算能力；计算投影仪的数量和投影平面边缘重叠区域大小；

检测主机内存大小，为数据资源内存管理和调度模块做准备；检测主机各种输入控制设备的能力，为软件系统配置各种输入设备；

检测软件功能配置文件，初始化软件系统功能配置数据结构，配置软件操作界面；

完成各种检测和初始化操后，通知建立CPU调度线程、GPU屏幕拼接线程；

根据用户互操作，传递用户控制参数到CPU调度线程、GPU渲染线程；

若没有终止操作，持续监听用户互操作。

进一步地，所述CPU调度线程的流程包括：

根据主程序通知，为每个CPU建立的独立资源调度主线程；

根据用户互操作，计算每帧的视见区；

选择不同的并行渲染策略，启用不同的调度流程。例如，将整个投影屏幕逻辑上细分成多个独立图形渲染窗口，按每个GPU的运算能力合理到每个GPU上；

根据视见区，对地形数据和地形纹理进行处理；

根据不同的调度策略，更新把硬盘资源加载至内存缓冲区，或从内存加载资源到显存；

根据不同的调度策略，更新显示内存。

进一步地，所述GPU屏幕拼接线程的流程包括：

选择一个GPU，建立屏幕拼接线程；

在每一帧渲染前，建立并清空虚拟视窗；

接收多个GPU的渲染结果，把分割的图像在虚拟视窗中合成为完成的帧图像；

根据投影仪的数量和投影平面边缘重叠区域大小，把图像分割成多个通道输出。

所述GPU渲染线程包括立即渲染线程、延时渲染线程。

进一步地，所述立即渲染线程包括：

为每个GPU建立一个立即渲染线程；

计算渲染参数和阴影效果；

对当前GPU分配可视区域进行视锥裁切；

执行立即渲染操作。

进一步地，所述延时渲染线程包括：

为每个GPU建立多个延时渲染线程；

计算延时渲染常数；

对当前GPU分配可视区域进行视锥裁切；

对对象或特效进行并行的渲染操作；

渲染结果存储到GPU Buffer。

一种根据上述的面向大场景的多GPU城市仿真系统的多线程模型优化策略，具体为：

设Tf为数据获取时间，Tp为数据预处理时间，Ts为数据向GPU的传输时间，Tr为GPU渲染时间；

设定存在m个可用的处理器，当Tf+Tp＝Ts可用获取到最佳的性能；当Ts≥Tr时，通过增加处理器的个数可以在数据加载和渲染过程之间达到平衡。

一种根据上述的面向大场景的多GPU城市仿真系统的地形加载及渲染优化策略，具体为，采用四叉树细化等级LOD处理算法，配合DirectX11 API的曲面细分，进行地形渲染优化。

利用DirectX11的纹理阵列加载四级地形LOD数据；

通过DirectX11外壳着色器接收一种由全四边形网格计算得到的图元数据，并计算控制点的各种变换以及输入的图元各个边的细分配置，从而进行曲面细分；

其中，所述计算控制点用来定义想要得到的图形的图形参数。

一种根据上述的面向大场景的多GPU城市仿真系统的并行渲染优化策略，具体为，利用DirectX11多线程处理特性，结合CPU资源调度，采用屏幕细分和延迟渲染，对引擎渲染策略进行优化。

本发明相对于现有技术所具有突出的实质性特点和显著的进步：本发明基于多GPU并行实时渲染，适用于超大场景的多GPU城市三维仿真引擎，实现大范围三维地形数据和巨量精细建筑模型数据实时渲染，支撑多种城市实时仿真效果。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍。在所有附图中，类似的元件或部分一般由类似的附图标记标识。附图中，各元件或部分并不一定按照实际的比例绘制。

图1为本发明面向大场景的多GPU城市仿真系统的示意图；

图2为本发明核心运行的示意图；

图3为本发明DEM数字高程置换贴图；

图4为本发明不同分辨率DOM，DEM四叉树算法演示的示意图；

图5为弧形投影屏幕的效果图；

图6为本发明性能分析界面的示意图；

图7为本发明多通道三维场景的效果图；

图8为多GPU性能测试结果的示意图。

具体实施方式

为了使本技术领域的人员更好的理解本申请中的技术方案，下面将结合附图和实施例来对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请的一部分实施例，基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

实施例1：

如图1至8所示，一种面向大场景的多GPU城市仿真系统，基于多GPU并行实时渲染，包括：

主模块，用于完成系统配置、系统初始化、线程初始化、用户互操作控制、地形管理和资源管理；处理模块，用于对存储于主存和显存中的资源进行更新和处理；渲染模块，用于完成显存资源的加载和渲染，通过虚拟视窗进行仿真场景的多通道输出；其中，所述主控模块、处理模块、渲染模块之间相互连接。

主模块包括硬件监控器、互操作控制器、资源管理器和地形管理器模块。

处理模块，具有I/O线程和处理线程。处理模块为CPU处理模块。

渲染模块，包括资源线程和渲染线程。

在一些实施例中，所述主模块的流程包括：侦测硬件系统中GPU的数量，标识每个GPU的设备识别号，检测每个GPU的运算能力；计算投影仪的数量和投影平面边缘重叠区域大小；检测主机内存大小，为数据资源内存管理和调度模块做准备；检测主机各种输入控制设备的能力，为软件系统配置各种输入设备；检测软件功能配置文件，初始化软件系统功能配置数据结构，配置软件操作界面；完成各种检测和初始化操后，通知建立CPU调度线程、GPU屏幕拼接线程；根据用户互操作，传递用户控制参数到CPU调度线程、GPU渲染线程；若没有终止操作，持续监听用户互操作。

在一些实施例中，所述CPU调度线程的流程包括：根据主程序通知，为每个CPU建立的独立资源调度主线程；根据用户互操作，计算每帧的视见区；选择不同的并行渲染策略，启用不同的调度流程。例如，将整个投影屏幕逻辑上细分成多个独立图形渲染窗口，按每个GPU的运算能力合理到每个GPU上；根据视见区，对地形数据和地形纹理进行处理；根据不同的调度策略，更新把硬盘资源加载至内存缓冲区，或从内存加载资源到显存；根据不同的调度策略，更新显示内存。

在一些实施例中，所述GPU屏幕拼接线程的流程包括：选择一个GPU，建立屏幕拼接线程；在每一帧渲染前，建立并清空虚拟视窗；接收多个GPU的渲染结果，把分割的图像在虚拟视窗中合成为完成的帧图像；根据投影仪的数量和投影平面边缘重叠区域大小，把图像分割成多个通道输出。

在一些实施例中，所述GPU渲染线程包括立即渲染线程、延时渲染线程。

所述立即渲染线程包括：为每个GPU建立一个立即渲染线程；计算渲染参数和阴影效果；

对当前GPU分配可视区域进行视锥裁切；执行立即渲染操作。

所述延时渲染线程包括：为每个GPU建立多个延时渲染线程；计算延时渲染常数；对当前GPU分配可视区域进行视锥裁切；对对象或特效进行并行的渲染操作；渲染结果存储到GPU Buffer。

在一些实施例中，一种根据上述的面向大场景的多GPU城市仿真系统的多线程模型优化策略，具体为：

设Tf为数据获取时间，Tp为数据预处理时间，Ts为数据向GPU的传输时间，Tr为6PU渲染时间；

多线程模型采用按需分配机制。由主线程管理任务队列，对于每个可用的处理器分别建立子线程。当子线程完成处理任务后，从任务队列中获取下一次处理的任务。对每个GPU的资源调度，由独立CPU子程序控制，每个子程序开启一个主线程和若干子线程。I/O线程处理来自渲染线程的请求，它既要从磁盘加载数据到内存缓冲区中，又要将内存缓冲区中数据更新到GPU显存中；I/O线程与各种数据处理线程进行通信，处理渲染线程“消费”的“加锁”或“解锁”请求队列。多线程模型基于Fermi架构的特性，充分的利用多CPU的计算能力，保证多GPU的渲染时间不受限于资源处理和传输时间。如表1。

表1.线程分类及用途

在一些实施例中，一种根据上述的面向大场景的多GPU城市仿真系统的地形加载及渲染优化策略，具体为，采用四叉树细化等级LOD处理算法，配合DirectX11 API的曲面细分，进行地形渲染优化。

如图3和4所示，利用DirectX11的纹理阵列加载四级地形LOD数据，其中，最精细层：1块地形→1张纹理(4096*4096)，次级：1块地形→4张纹理(2048*2048纹理阵列)，再次级：1块地形→16张纹理(1024*1024纹理阵列)，最粗糙层：1块地形→64张纹理(512*512纹理阵列)；

将每个分层的精细分层DEM数字高程图以纹理置换贴图资源的方式载入GPU，作为本级顶点的中间顶点数据引入图元，可以极小的代价产生出非常细腻逼真的三维地形，DEM数字高程精度不受任何限制。Tessellator单元可以把一些较大的图元(primitive)分成很多更小的图元，并将这些小图元组合到一起，形成一种有序的几何图形，这种几何图形更复杂，当然也更接近现实。

带有LOD的DOM航片纹理数据，我们采用多CPU线程的生产者/消费者软件模型进行实时数据更新。其中最粗糙的一级DOM航片纹理全部一次加载到DOM内存缓冲区中，其余三级DOM航片纹理数据，依据视点位置和视距大小，动态加载到DOM内存缓冲区中，根据视点变化需要，从DOM航片纹理数据外围开始，将磁盘中DOM航片纹理数据动态更新到DOM内存缓冲区中；针对不同GPU的视点位置，将DOM内存缓冲区中纹理数据动态更新到多块图卡显存中。

在一些实施例中，一种根据上述的面向大场景的多GPU城市仿真系统的并行渲染优化策略，具体为，利用DirectX11多线程处理特性，结合CPU资源调度，采用屏幕细分和延迟渲染，对引擎渲染策略进行优化。

屏幕细分的目的是让GPU均可得到充足的渲染任务。将整个屏幕根据GPU的个数进行划分，每个GPU分别对一个细分屏幕中所有场景内容进行实时渲染和像素深度测试，然后，将所有中间图像结果输出到一个统一的像素中间窗口中，进行图像帧缓冲拼接，最终进行多通道输出。

延时渲染是一种DirectX 11新增的图形软件开发技术，它可以在一个GPU中创建多个渲染线程，分别进行各类渲染任务，最后由立即渲染线程执行GPU操作，可以有效地提高引擎实时渲染性能。本发明多种延时渲染线程，如表2。混合渲染模式中，对一个立即渲染线程和多个延时渲染线程，都进行视锥裁切，尽可能减少GPU三角面实时渲染数量。视点位置实时进行碰撞检测，避免穿墙和触地操作。

表2延迟渲染线程用途

本发明在实际环境比较任务细分渲染和屏幕细分渲染方式。采用任务细分渲染方式，就是将三维渲染场景中的渲染物体按类型进行划分，分类加载渲染物体到不同的GPU进行实时渲染，然后，将所有中间图像结果输出到一个统一的中间窗口中，按像素深度进行图像合成。

表3任务细分与窗口细分渲染比较

三维城市实时渲染要求其视频输出帧率≥25帧/s，即所有实时渲染的时间要≤40ms。对于任务细分渲染需要将多个1400*2730窗口的像素色彩数据和像素深度数据通过北桥芯片和PCI-E×16总线复制到一个统一的1400*2730像素中间窗口中，数据传输量很大，硬件开销时间的一半都消耗到总线数据传输上了。屏幕细分渲染需要将6个1400*390细分窗口的像素色彩数据通过北桥芯片和PCI_E x16位总线复制到一个统一的1400*2730像素中间窗口中。与任务细分渲染相比，屏幕细分渲染的最大特点是数据在总线中的传输量减少，硬件开销降低。

如图7所示，引擎加载深圳市全市的DEM和DOM数据和三维模型，选择视距20公里的大场景测试，并开启全部特效。该场景每帧同时渲染的多边形约为8000万个，对CPU和GPU资源消耗巨大。

如图8所示，为DirectX11默认的任务细分渲染策略及本文优化的渲染策略在不同GPU个数下的比较。从图中可以清晰的看出，对于本文的方法，当GPU个数增加时，场景的渲染帧数稳定的攀升。而默认的渲染策略，因未经优化，不能发挥多GPU的性能。

本发明针对巨量精细建筑模型数据实时渲染，多通道大场景的跨屏拾取、全屏操作等功能的要求，优化屏幕细化渲染，实时数据传输管理、可编辑城市地形等，在大范围城市三维仿真场景下，实现例如实时光照系统、高动态范围光照(HDR)、实时阴影系统、三维植物系统、大气散射效果、带真实光线反射效果的动态水面等效果。

显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之内。

Claims

1.一种面向大场景的多GPU城市仿真系统，其特征在于，基于多GPU并行实时渲染，包括

主模块，用于完成系统配置、系统初始化、线程初始化、用户互操作控制、地形管理和资源管理；

处理模块，用于对存储于主存和显存中的资源进行更新和处理；

渲染模块，用于完成显存资源的加载和渲染，通过虚拟视窗进行仿真场景的多通道输出；

其中，所述主控模块、处理模块、渲染模块之间相互连接。

2.根据权利要求1所述的面向大场景的多GPU城市仿真系统，其特征在于，所述主模块的流程包括：

若没有终止操作，持续监听用户互操作。

3.根据权利要求2所述的面向大场景的多GPU城市仿真系统，其特征在于，所述CPU调度线程的流程包括：

根据主程序通知，为每个CPU建立的独立资源调度主线程；

根据用户互操作，计算每帧的视见区；

根据视见区，对地形数据和地形纹理进行处理；

根据不同的调度策略，更新显示内存。

4.根据权利要求2所述的面向大场景的多GPU城市仿真系统，其特征在于，所述GPU屏幕拼接线程的流程包括：

选择一个GPU，建立屏幕拼接线程；

在每一帧渲染前，建立并清空虚拟视窗；

5.根据权利要求2所述的面向大场景的多GPU城市仿真系统，其特征在于，所述GPU渲染线程包括立即渲染线程、延时渲染线程。

6.根据权利要求5所述的面向大场景的多GPU城市仿真系统，其特征在于，所述立即渲染线程包括：

为每个GPU建立一个立即渲染线程；

计算渲染参数和阴影效果；

对当前GPU分配可视区域进行视锥裁切；

执行立即渲染操作。

7.根据权利要求5所述的面向大场景的多GPU城市仿真系统，其特征在于，所述延时渲染线程包括：

为每个GPU建立多个延时渲染线程；

计算延时渲染常数；

对当前GPU分配可视区域进行视锥裁切；

对对象或特效进行并行的渲染操作；

渲染结果存储到GPU Buffer。

8.一种根据权利要求1-7任一项的面向大场景的多GPU城市仿真系统的多线程模型优化策略，其特征在于，

9.一种根据权利要求1-7任一项的面向大场景的多GPU城市仿真系统的地形加载及渲染优化策略，其特征在于，采用四叉树细化等级LOD处理算法，配合DirectX11 API的曲面细分，进行地形渲染优化。

利用DirectX11的纹理阵列加载四级地形LOD数据；

10.一种根据权利要求1-7任一项的面向大场景的多GPU城市仿真系统的并行渲染优化策略，其特征在于，利用DirectX11多线程处理特性，结合CPU资源调度，采用屏幕细分和延迟渲染，对引擎渲染策略进行优化。