CN103903295A - 一种基于InfiniBand实时调度海量高精度三维场景数据的方法 - Google Patents

Abstract

本发明涉及计算机应用技术和计算机视觉领域，具体涉及一种基于InfiniBand实时调度海量高精度三维场景数据的方法，包括创建RAID磁盘阵列，将磁盘阵列柜用RAID卡连接到服务器上，使用InfiniBand网卡和网络交换机搭建好InfiniBand网络，将服务器作为节点加入到InfiniBand网络中，使用地形生成软件和源数据生成地形子模块，并将地形存放到服务器上；将所有准备好的数据和软硬件组合到一起构建成地形服务器；使用InfiniBand卡和光纤将IG主机加入到InfiniBand网络中等步骤。本发明确保系统稳定高效地运行，并在此基础上提出一种基于视锥体和时间优先级的数据预测调度算法，根据视锥体裁减预判和数据块在内存中的存在时间进行地形数据在内存中的调度与释放，从而减少系统内存消耗，提高数据调度效率。

Description

一种基于InfiniBand实时调度海量高精度三维场景数据的方法

技术领域

本发明涉及计算机应用技术和计算机视觉领域，具体涉及一种基于InfiniBand实时调度海量高精度三维场景数据的方法。

背景技术

近年来，作为计算机硬件核心器件的CPU快速发展，处理器的计算能力与存储器数据调度效率之间的差距则越来越大，这种差距在未来有继续扩大的趋势。为了减少数据传输延迟所造成的对系统性能的影响，当今大多数计算机采用分层次的存储结构。该结构的特点有：1、存储器越靠近CPU，存储容量越小，而数据访问速度越快；2、不同存储层次之间的存储器交换数据时，可以以数据块为基本单位。其中，内存至高速缓存或显存的数据传输是即时传输，传输速度较快。而从硬盘读取数据的速度则慢很多，因此硬盘与内存的数据交互速度过慢，成为影响计算机系统性能的主要瓶颈。特别是在计算机视景系统中，存在海量的场景数据，硬盘与内存的数据交互速度过慢显然无法满足计算机视景系统对场景的流程性要求。

而在硬盘与内存的数据传输是利用PCI总线实现，但是PCI总线有以下缺陷：1、由于采用了基于总线的共享传输模式，在PCI总线上不可能同时传送两组以上的数据；2、随着总线频率的提高，信号线之间的相互干扰变得越来越严重，在一块主板上布设多条总线的难度也越来越大；3、由于PCI设备采用了内存映射I/O地址的方式建立与内存的联系，热添加PCI设备变成了一件非常困难的工作，如果一块主板上支持的热插拔PCI接口越多，用户损失的内存就越多；4、PCI的总线上虽然有buffer作为数据的缓冲区，但是它不具备纠错的功能，如果在传输的过程中发生了数据丢失或损坏的情况，控制器只能触发一个NMI中断通知操作系统在PCI总线上发生了错误。

发明内容

本发明的目的在于提供一种基于InfiniBand实时调度海量高精度三维场景数据的方法，解决在计算机视景系统中硬盘与内存的数据交互速度过慢的问题。

为解决上述的技术问题，本发明采用以下技术方案：

一种基于InfiniBand实时调度海量高精度三维场景数据的方法，其特征在于：包括以下步骤：

步骤一，准备好所有的硬件，包括服务器、IG主机、RAID阵列柜、RAID卡、InfiniBand网卡、InfiniBand网络交换机、光纤线等以及视景主程序、地形生成软件和地形源数据；

步骤二，创建RAID磁盘阵列，将磁盘阵列柜用RAID卡连接到服务器上，使用InfiniBand网卡和网络交换机搭建好InfiniBand网络，将服务器作为节点加入到InfiniBand网络中，使用地形生成软件和源数据生成地形，从而构成地形服务器；

步骤三，使用InfiniBand卡和光纤将IG主机加入到InfiniBand网络中；

步骤四，在视景主程序中添加基于InfiniBand网络调度地形子模块，地形子模块负责从地形服务器中通过大规模地形调度算法将数据提取到IG中进行渲染。

更进一步的技术方案是，所述地形子模块包括四叉树索引，所述四叉树索引的构建方法是：

步骤一，构造LOD金字塔：场景数据均以纹理的形式存储，首先将场景纹理以分辨率成倍递增的方式构造为若干个层次，设某层编号为l_k，分辨率为m_k*n_k，其相邻的下一层(较精细层)编号为l_k+1，分辨率为m_k+1*n_k+1，两层的分辨率满足以下关系：

$\left\{\begin{array}{c}{m}_{k+1}=2*m_k\\ n_{k+1}=2*n_k\end{array}\right.$

构造后的所有层的纹理呈“金字塔”状；

步骤二，构造三角带地形块：金字塔中相邻层次间的地形块在数量上和位置上相互对应，设某层l_k被划分为I_k*J_k个矩形地形块，则其下一层l_k+1被划分为I_k+1*J_k+1，且满足：

$\left\{\begin{array}{c}{I}_{k+1}=2*I_k\\ J_{k+1}=2*J_k\end{array}\right.$

即下一层的地形块数量总是上一层的四倍，并且上一层中的地形块与下一层中相应位置的相邻四块地形块所对应；

步骤三，构建索引：针对金字塔中的地形块构建上下层索引和同层相邻节点索引。

更进一步的技术方案是，所述上下层索引是假设地形数据一共分为n+1层，第0层只有一个地形块；

更进一步的技术方案是，所述同层相邻节点索引是假设第k层第i行第j列的地形块节点为Lk(i,j)，Lk(i,j)为当然激活节点；

更进一步的技术方案是，所述地形子模块中数据调度的方法是：

步骤一，针对场景数据金字塔的四叉树结构，数据调度以基本地形块为单位，根据LOD思想完成地形数据的实时内外存交互；

步骤二，创建一个独立的线程用于数据在内存中的调度与释放，所述数据调度分为数据调度命令响应与内存管理；

步骤三，所创建的独立线程和主线程通过互斥机制确保系统安全稳定地运行。

根据权利要求5所述的一种基于InfiniBand实时调度海量高精度三维场景数据的方法，其特征在于：所述数据调度分为基于视锥体的数据预测调度和基于时间优先级的数据预测调度，其中

所述基于视锥体的数据预测调度是：在当前视锥体的基础上进行一个冗余扩充，形成一个缓存视锥体，所述缓存视锥体包括了随后若干帧视点可能出现的位置的可见区域数据，且数据按金字塔分层分布，金字塔从顶部至底部可见区域逐层减少，当视点发生改变时，所述缓存视锥体也随之更新，地形数据索引队列的内容根据所述缓存视锥体实时改变，并指引地形块缓存进行具体地形块的载入和释放；

所述基于时间优先级的数据预测调度方法是：将“缓存视锥体”内的地形块赋予一个“内存驻留时间”，地形块的“内存驻留时间”在其被载入内存时被初始化，而后随时间的流逝而不断减少，并且当前实际视锥体的位置越远“内存驻留时间”越小，位置越近“内存驻留时间越大”，若在视锥体内，则“内存驻留时间”不随时间变化；当地形块的“内存驻留时间”为0或超出“缓存视锥体”时，则从内存中释放。

与现有技术相比，本发明的有益效果是：

根据场景数据的相关性，在数据金字塔四叉树模型的基础上，构建了场景数据的上下层索引与同层相邻节点索引，能够方便系统快速准确地进行数据定位及读取。在外存环境支持的条件下，采用异步数据调度方式，通过渲染线程与数据调度线程并行互斥的机制，确保系统稳定高效地运行，并在此基础上提出一种基于视锥体和时间优先级的数据预测调度算法，根据视锥体裁减预判和数据块在内存中的存在时间进行地形数据在内存中的调度与释放，从而减少系统内存消耗，提高数据调度效率。

附图说明

图1为本发明一种基于InfiniBand实时调度海量高精度三维场景数据的方法的流程示意图。

图2为本发明一种基于InfiniBand实时调度海量高精度三维场景数据的方法一个实施例中地形数据的LOD金字塔示意图。

图3为本发明一种基于InfiniBand实时调度海量高精度三维场景数据的方法一个实施例中相邻层地形块的对应关系图。

图4本发明一种基于InfiniBand实时调度海量高精度三维场景数据的方法一个实施例中上下层索引关系图。

图5本发明一种基于InfiniBand实时调度海量高精度三维场景数据的方法一个实施例中同层相邻节点索引关系图。

图6本发明一种基于InfiniBand实时调度海量高精度三维场景数据的方法一个实施例中地形数据调度流程。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

InfiniBand架构是一种支持多并发链接的“转换线缆”技术，在这种技术中，每种链接都可以达到2.5Gbps的运行速度。这种架构在一个链接的时候速度是500MB/秒，四个链接的时候速度是2GB/秒，12个链接的时候速度可以达到6GB/秒。InfiniBand技术不是用于一般网络连接的，它的主要设计目的是针对服务器端的连接问题的。因此，InfiniBand技术将会被应用于服务器与服务器（比如复制，分布式工作等），服务器和存储设备（比如SAN和直接存储附件）以及服务器和网络之间（比如LAN，WANs和the Internet）的通信。

图1示出了本发明一种基于InfiniBand实时调度海量高精度三维场景数据的方法的一个实施例：一种基于InfiniBand实时调度海量高精度三维场景数据的方法，包括以下步骤：

步骤一，准备好所有的硬件，包括服务器、IG主机、RAID阵列柜、RAID卡、InfiniBand网卡、InfiniBand网络交换机、光纤线等以及视景主程序(优选Hivedis)、地形生成软件(优选Vpbmaster)和地形源数据，所述地形源数据包括纹理数据、地形高程数据等；

步骤二，创建RAID磁盘阵列，例如采用是RAID5磁盘阵列，将磁盘阵列柜用RAID卡连接到服务器上，使用InfiniBand网卡和网络交换机搭建好InfiniBand网络，将服务器作为节点加入到InfiniBand网络中，使用地形生成软件和源数据生成地形并将地形存放到服务器上，从而构成地形服务器；

步骤三，使用InfiniBand卡和光纤将IG主机加入到InfiniBand网络中；

步骤四，在视景主程序中添加基于InfiniBand网络调度地形子模块，地形子模块负责从地形服务器中通过大规模地形调度算法将数据提取到IG中进行渲染。

根据本发明一种基于InfiniBand实时调度海量高精度三维场景数据的方法的一个优选实施例，所述地形子模块包括四叉树索引，所述四叉树索引的构建方法是：

步骤一，构造LOD金字塔：场景数据均以纹理的形式存储，首先将场景纹理以分辨率成倍递增的方式构造为若干个层次，为方便描述，假设场景都是规则矩形的区域，设某层编号为l_k，分辨率为m_k*n_k，其相邻的下一层(较精细层)编号为l_k+1，分辨率为m_k+1*n_k+1，两层的分辨率满足以下关系：

$\left\{\begin{array}{c}{m}_{k+1}=2*m_k\\ n_{k+1}=2*n_k\end{array}\right.$

构造后的所有层的纹理呈“金字塔”状；如图2所示，“金字塔”最顶端为分辨率最低的l₀层，最低端则为分辨率最高的l_N层，构造LOD金字塔后场景数据量将会增加将近一倍；

步骤二，构造三角带地形块：可以把地形块理解为一个小的地形三维模型，金字塔中相邻层次间的地形块在数量上和位置上相互对应，设某层l_k被划分为I_k*J_k个矩形地形块，则其下一层l_k+1被划分为I_k+1*J_k+1，且满足：

$\left\{\begin{array}{c}{I}_{k+1}=2*I_k\\ J_{k+1}=2*J_k\end{array}\right.$

即下一层的地形块数量总是上一层的四倍，并且上一层中的地形块与下一层中相应位置的相邻四块地形块所对应。如图3，假设l_k层包含了4个地形块，则l_k+1层则包含16个地形块。两层间的地形块以“一对四”的方式对应；

步骤三，构建索引：在完成地形的金字塔以及金字塔中各层的地形块构造后，地形数据已能被渲染引擎直接调度的三维模型的形式存储于硬盘存储器中，而为了能够快速定位地形块位置，准确载入相应的地形模型，需对散列的海量地形块构建索引，为了满足地形数据的两个相关性，针对金字塔中的地形块构建上下层索引和同层相邻节点索引。

图4示出了本发明一种基于InfiniBand实时调度海量高精度三维场景数据的方法的另一个优选实施例，所述上下层索引是假设地形数据一共分为n+1层，第0层只有一个地形块，当遇到激活节点切换的需求时，系统将根据索引，通过当前激活节点查找新的激活节点的存储位置。构建上下层索引是为了应对在视点垂直方向漫游时引起的地形某区域的分辨率变化。当某区域的分辨率发生变化时，相应的激活节点将按其分布位置快速切换至上一层或下一层的相应节点。而每一层的节点与其下一层的相应节点在位置上都满足“一对四”的对应关系，因此，可用四叉树结构构建上下层索引。

图5示出了本发明一种基于InfiniBand实时调度海量高精度三维场景数据的方法的另一个优选实施例，构建同层相邻节点索引是为了在视点水平方向漫游或转向时能够快速切换同层的激活节点。每个地形块周围都有8个相邻的地形块，所述同层相邻节点索引是假设第k层第i行第j列的地形块节点为Lk(i,j)，Lk(i,j)为当然激活节点；则当视点水平移动时，其周围8个节点均有可能成为下一个激活节点。若无索引，系统则需通过遍历的方式查找下一个激活节点的位置并调入，过程非常耗时；若预先建立了由当前节点指向其相邻节点的索引，系统渲染时便可快速定位其周围节点的存储位置，并将之载入内存。

虽然构建地形数据四叉树及索引是一个极其耗时的过程，但该过程在系统运行前进行，不会影响系统运行时的效率。

图6示出了本发明一种基于InfiniBand实时调度海量高精度三维场景数据的方法的另一个优选实施例，所述地形子模块中数据调度的方法是：

步骤一，针对场景数据金字塔的四叉树结构，数据调度以基本地形块为单位，根据LOD思想完成地形数据的实时内外存交互；

步骤二，创建一个独立的线程用于数据在内存中的调度与释放，所述数据调度分为数据调度命令响应与内存管理，可以提高渲染效率；

步骤三，所创建的独立线程和主线程（负责地形渲染工作）通过互斥机制确保系统安全稳定地运行。

为了减少外存(硬盘)读取操作频率，提高调度数据效率，采用基于优先级的调度机制与数据预存的策略实现地形数据调度。

根据本发明一种基于InfiniBand实时调度海量高精度三维场景数据的方法的另一个优选实施例，所述数据调度分为基于视锥体的数据预测调度和基于时间优先级的数据预测调度，其中

所述基于视锥体的数据预测调度是：视点位置与视野方向的变化会引起视锥体的变化，从而引起渲染数据的变化。一方面视点改变使可见的地形区域发生变化，并且也使预测的随后若干帧的地形可见区域发生变化。另一方面，可见区域的LOD层次也随视点改变而变化，即当前激活节点会由于视点改变而被其父层节点或子层节点所取代。因此，需根据视锥体预测可见地形的范围及该范围内的LOD层次节点分布情况。由于视点漫游具有一定的随机性，精确预测未来的地形区域比较困难。而考虑到视点变化的连续性，可在当前视锥体的基础上进行一个冗余扩充，形成一个缓存视锥体，所述缓存视锥体包括了随后若干帧视点可能出现的位置的可见区域数据，且数据按金字塔分层分布，金字塔从顶部至底部(从低精度数据层至高精度数据层)可见区域逐层减少，当视点发生改变时，所述缓存视锥体也随之更新，地形数据索引队列的内容根据所述缓存视锥体实时改变，并指引地形块缓存进行具体地形块的载入和释放；

所述基于时间优先级的数据预测调度方法是：将“缓存视锥体”内的地形块赋予一个“内存驻留时间”，地形块的“内存驻留时间”在其被载入内存时被初始化，而后随时间的流逝而不断减少，并且当前实际视锥体的位置越远“内存驻留时间”越小，位置越近“内存驻留时间越大”，若在视锥体内，则“内存驻留时间”不随时间变化；当地形块的“内存驻留时间”为0或超出“缓存视锥体”时，则从内存中释放。假设地形块的初始“内存驻留时间”为life₀，初始时刻为t₀，该地形块在某时刻t的“内存驻留时间”计算公式如下：

life＝life₀-k*(t-t₀)*d

其中k为系数，d为地形块至视锥体的距离即d为地形块至视点的距离。通过上述方法将地形块缓存中长期未激活的节点从内存中剔除后，可根据需要将视锥体范围内的高精度地形块载入内存，以提高地形的视觉效果。

Claims (6)

1.一种基于InfiniBand实时调度海量高精度三维场景数据的方法，其特征在于：包括以下步骤： 

步骤一，准备好所有的硬件，包括服务器、IG主机、RAID阵列柜、RAID卡、InfiniBand网卡、InfiniBand网络交换机、光纤线等以及视景主程序、地形生成软件和地形源数据； 

步骤二，创建RAID磁盘阵列，将磁盘阵列柜用RAID卡连接到服务器上，使用InfiniBand网卡和网络交换机搭建好InfiniBand网络，将服务器作为节点加入到InfiniBand网络中，使用地形生成软件和源数据生成地形，从而构成地形服务器； 

步骤三，使用InfiniBand网卡和光纤将IG主机加入到InfiniBand网络中； 

步骤四，在视景主程序中添加基于InfiniBand网络调度地形子模块，地形子模块负责从地形服务器中通过大规模地形调度算法将数据提取到IG中进行渲染。 

2.根据权利要求1所述的一种基于InfiniBand实时调度海量高精度三维场景数据的方法，其特征在于：所述地形子模块包括四叉树索引，所述四叉树索引的构建方法是： 

步骤一，构造LOD金字塔：场景数据均以纹理的形式存储，首先将场景纹理以分辨率成倍递增的方式构造为若干个层次，设某层编号为l_k，分辨率为m_k*n_k，其相邻的下一层(较精细层)编号为l_k+1，分辨率为m_k+1*n_k+1，两层的分辨率满足以下关系： 

构造后的所有层的纹理呈“金字塔”状； 

步骤二，构造三角带地形块：金字塔中相邻层次间的地形块在数量上和位置上相互对应，设某层l_k被划分为I_k*J_k个矩形地形块，则其下一层l_k+1被划分为I_k+1*J_k+1，且满足： 

即下一层的地形块数量总是上一层的四倍，并且上一层中的地形块与下一层中相应位置的相邻四块地形块所对应； 

步骤三，构建索引：针对金字塔中的地形块构建上下层索引和同层相邻节点索引。 

3.根据权利要求2所述的一种基于InfiniBand实时调度海量高精度三维场景数据的方法，其特征在于：所述上下层索引是假设地形数据一共分为n+1层，第0层只有一个地形块。 

4.根据权利要求1所述的一种基于InfiniBand实时调度海量高精度三维场景数据的方法，其特征在于：所述同层相邻节点索引是假设第k层第i行第j列的地形块节点为 Lk(i,j)，Lk(i,j)为当然激活节点。 

5.根据权利要求1所述的一种基于InfiniBand实时调度海量高精度三维场景数据的方法，其特征在于：所述地形子模块中数据调度的方法是： 

步骤一，针对场景数据金字塔的四叉树结构，数据调度以基本地形块为单位，根据LOD思想完成地形数据的实时内外存交互； 

步骤二，创建一个独立的线程用于数据在内存中的调度与释放，所述数据调度分为数据调度命令响应与内存管理； 

步骤三，所创建的独立线程和主线程通过互斥机制确保系统安全稳定地运行。 

6.根据权利要求5所述的一种基于InfiniBand实时调度海量高精度三维场景数据的方法，其特征在于：所述数据调度分为基于视锥体的数据预测调度和基于时间优先级的数据预测调度，其中 

所述基于视锥体的数据预测调度是：在当前视锥体的基础上进行一个冗余扩充，形成一个缓存视锥体，所述缓存视锥体包括了随后若干帧视点可能出现的位置的可见区域数据，且数据按金字塔分层分布，金字塔从顶部至底部可见区域逐层减少，当视点发生改变时，所述缓存视锥体也随之更新，地形数据索引队列的内容根据所述缓存视锥体实时改变，并指引地形块缓存进行具体地形块的载入和释放； 

所述基于时间优先级的数据预测调度方法是：将“缓存视锥体”内的地形块赋予一个“内存驻留时间”，地形块的“内存驻留时间”在其被载入内存时被初始化，而后随时间的流逝而不断减少，并且当前实际视锥体的位置越远“内存驻留时间”越小，位置越近“内存驻留时间越大”，若在视锥体内，则“内存驻留时间”不随时间变化；当地形块的“内存驻留时间”为0或超出“缓存视锥体”时，则从内存中释放。 

假设地形块的初始“内存驻留时间”为life₀，初始时刻为t₀，该地形块在某时刻t的“内存驻留时间”计算公式如下： 

life＝life₀-k*(t-t₀)*d 

其中k为系数，d为地形块至视锥体的距离即d为地形块至视点的距离。通过上述方法将地形块缓存中长期未激活的节点从内存中剔除后，可根据需要将视锥体范围内的高精度地形块载入内存，以提高地形的视觉效果。 

Images