CN101197647A - 多通道实时三维视景渲染显示方法 - Google Patents

Abstract

多通道实时三维视景渲染显示方法是采用多机双网，在视景子网通过UDP协议进行数据传输。按照渲染帧率，将系统的时间划分为等时间间隔的桶，每一个DDU在被计算出来时就被关联上一个时间戳，这个时戳表明这个数据被关联在哪一个桶中。在每个DDU中加上的时间戳并写入其中，在接收方增加DDU缓冲区，将DDU的转发时间向后调整，当DDU的时戳与渲染时间匹配时进行渲染，有效防止了抖动。同时采用两步线性法预测各运动目标下一帧的位置和姿态：即已知第n帧和第n+1帧目标的位置，预测出第n+2帧的信息。当DDU丢失时，根据预测出的数据进行渲染。本方法成功地解决了多台微机进行多通道三维视景实时渲染中的技术难题，圆满实现了多机分布协同环境下的帧同步，平滑显示效果明显。

Description

多通道实时三维视景渲染显示方法

(一)所属技术领域

本发明涉及一种计算机三维图象仿真处理的方法，特别是视景的渲染处理，具体是多通道实时三维视景渲染显示的方法。

(二)背景技术

计算机三维图象的仿真处理，大都需要有一个渲染的过程，现有的多通道实时三维渲染显示方法有三种：

最简单的一种方式是将一个处理器实时渲染的画面分成多路信号，将多路信号分别发送给显示器阵列中的显示器。这种方式虽然可以增加显示的尺寸但是显示的分辨率却保持不变。例如一个1280×1024的三维画面被放大到占据4个1280×1024投影单元所负责的屏幕，信息的精度仍然是1280×1024只不过原信号的每一个像素被放大成了占用4个像素，只是尺寸上的放大而已，并不是2560×2048的显示。所以，这种方式仅适用于对分辨率要求不高的平面的大尺寸图形的显示，对于分辨率要求很高或非平面的多屏幕拼接例如超大分辨率大范围态势显示、CAVE和360度环幕的三维视景显示等显然是不适用的。

第二种方式是用一台功能强大的计算机使用多个图形卡进行多通道渲染。这种方式对计算机的计算能力以及渲染要求很高，计算机负载很大，例如现有的洞穴式沉浸虚拟现实环境(CAVE-Like Immersive Environment)以及国外的360度塔台模拟机产品(如Future Flight Central，NASA)通常使用SGI Onyx2工作站配置4至12个甚至更多的InfiniteReality2板，但是这种方式的硬件成本通常十分昂贵，一台SGI Onyx2工作站往往需要几十甚至上百万美金。用这种方式实现多通道三维视景实时渲染造成整个系统造价过高，限制多通道三维视景实时渲染技术的推广应用。

第三种结构是使用通过网络连接的多台微机进行协同渲染，每台微机使用一块图形卡渲染整个场景的一部分，将多台微机渲染的子场景拼接成一个完整的高分辨率场景，这种方式是一种可以满足三维视景渲染显示要求的廉价并且有效的方式。

但是，使用多台微机进行多通道三维视景实时渲染中的技术难题是：多机分布协同环境下的渲染同步问题。由于在多微机协同渲染的环境中，每台微机只负责渲染一部分视角范围内的内容，每台微机将渲染出的内容输出到一个屏幕或投影仪上，通过将多台微机的显示屏幕或投影仪输出拼接起来，形成一个大范围和广角度的高分辨率三维视景。由于每台微机是独立的，就产生了三维视景在各屏幕上显示的同步问题。当一个运动物体穿过一块屏幕的边界进入另一块屏幕，相邻两个屏幕的微机必须正确的显示以反映这个过程。两块相邻的屏幕对于运动物体穿越时产生的时间延迟或不一致的时间间隔必须在人的视觉不能感觉到的范围内。如果运动物体穿过边界，另一块相邻的屏幕却迟迟没有显示该运动物体，或者运动物体还没有穿过一块屏幕的边界，另一块屏幕就显示出来了都是多微机渲染系统所不能接受的。同时，画面割裂的问题也是必须要解决的。但是，在现有技术中，还没有能完全解决多微机渲染同步问题的有效方法。例如瑞典Cell-ITS公司DATS-Durable Aviation塔台模拟机的三维视景就是使用多台微机共同渲染，但是运动目标跨越两个屏幕时却不够平滑，会出现画面割裂现象，没有完全解决多微机渲染的同步问题。

(三)发明内容

本发明的目的是提供一种通过网络连接的多台微机进行实时协同渲染的新方法，这种方法能有效的解决多台微机共同渲染的同步问题，达到帧同步，有效解决三维运动目标跨越多机多屏不能平滑显示和画面割裂问题。

本发明的目的是这样达到的：

一种多通道实时三维视景渲染显示方法，采用多机、多屏幕，通过多通道拼接进行实时协同渲染，其特征在于：按照渲染帧率，将系统的时间划分为等时间间隔的桶，每一个动态数据包DDU在被计算出来时就被关联上一个时间戳。这个时间戳代表了这个数据被关联在哪一个桶中，同时，增加消除网络的非实时性传输抖动的防抖动处理和网络丢包现象的运动目标预测机制。

防抖动处理的方法是：在每个DDU中加上产生时间的时间戳，并写入其中，在接收方增加一个DDU缓冲区，并且将DDU的转发时间向后调整，当DDU的时戳与渲染的时间匹配时进行渲染。

运动目标预测机制的具体方法是：当DDU的时戳与渲染的时间不匹配时进行运动目标预测，采用两步线性法预测各运动目标下一帧的位置和姿态，即已知第一、第二帧目标的位置和姿态，预测出第三帧目标的位置和姿态，算法如下：

设第n帧目标的位置为X_n＝(x_n，y_n，z_n)，姿态为S_n＝(h_n，p_n，r_n)，

第n+1帧目标的位置为X_n+1＝(x_n+1，y_n+1，z_n+1)，姿态为S_n+1＝(h_n+1，p_n+1，r_n+1)，

由于每两帧信息是等时间间隔的，根据第n帧和第n+1帧的信息预测出第n+2帧的信息为：

$\left\{\begin{array}{c}{\hat{X}}_{n+2}=X_{n+1}+(X_{n+1}-X_n)\\ {\hat{S}}_{n+2}=S_{n+1}+(S_{n+1}-S_n)\end{array}\right.$

当视景客户端发现DDU丢失时，根据预测出的数据进行渲染。

数据传输协议选择是：协同渲染的多微机间通过以太网连接，视景服务器通过TCP传播协议接收状态信息，在视景子网中采用UDP协议进行数据传输、广播状态信息。

本发明的积极效果：

1按照渲染帧率，将系统的时间划分为等时间间隔的桶，每一个DDU在被计算出来时就被关联上一个时间戳。成功采用防抖动处理和运动目标预测机制，有效成功地解决了使用多台微机进行多通道三维视景实时渲染中的技术难题，圆满地完成了多机分布协同环境下的渲染同步问题，实现了帧同步，平滑显示效果十分明显。

2、有效解决了根据网络传输的实际问题。采用双网和不同的传输协议进行数据的传输和广播，使本方法的优点变得更加突出和实用。

3、系统价格低廉，渲染效果强烈。视景客户端可根据使用数量和使用要求配备合适的多通道拼接场景。应用前景十分广阔。

(四)附图说明

图1是多微机协同实时三维视景渲染系统软件结构图。

图2多微机协同渲染场景360度环幕场景拼接示意。

图3多微机协同渲染场景超高分辨率场景拼接示意图。

图4桶同步算法的基本原理。

图5多微机协同实时视景渲染DDU流向示意图。

图6抖动处理流程图。

图7改进的桶同步算法流程图。

(五)具体实施方式

基于多机分布协同的三维视景实时生成系统整体上由通过高速以太网相连接多台微机组成。系统所需的软件分置在视景服务器和视景客户端，如图1所示。完成多微机协同三维视景实时渲染的第一步是多通道拼接。

为了实现多台微机生成的场景在空间上的一致，首先要让每一台渲染微机都装载相同的场景模型、取得相同的虚拟世界数据信息，然后为不同的渲染微机设置渲染视角，每一个渲染微机渲染场景的一个部分，将每一台微机渲染出来的虚拟三维场景进行拼接，以便实现渲染场景在空间上拼接一致。在渲染的过程中有些不会改变的静态数据(例如360度塔台视景模拟机中的机场场景和全国空中态势实时显示系统中的空域背景等)，这些数据不需要实时更新，因此将其存放在视景客户端的本地硬盘。

实现空间一致的第一步就是通过视景服务器上将需要所有视景客户端共同渲染的三维环境的数据(包括场景模型以及运动目标模型等)更新至客户端本地硬盘，以保证每一台客户端都可以装载相同的SD进行渲染。

接下来根据视景客户端的数量，将其划分为相应个数的视景通道，每一个客户端负责一个视景通道中虚拟场景的渲染，根据渲染视景角度进行拼接。

附图2给出了多台微机协同渲染场景360度环幕场景拼接的实施例。视景客户端共同渲染360度三维视景，那么第m台视景客户端所要渲染的水平视场为：

这样视景客户端在视景服务器的协调和控制下便能协同完成同一场景360度的实时渲染。本例为10台微机，显示了10台微机用10个通道共同渲染360度场景的拼接示意图。这样对于静态场景(例如机场)就可以用多台微机渲染出来并拼接成一个完整的360度三维场景，实现渲染空间的一致。

附图3给出了多台微机协同渲染超高分辨率三维视景拼接的实施例。

若要使用m×n台视景客户端共同渲染超高分辨率三维视景的视角为A×B，则第(x，y)个通道渲染的水平视角为和垂直视角分别为：

$\left\{\begin{array}{c}[(x-\frac{m-1}{2}-1)\×\frac{A}{m},(x-\frac{m-1}{2})\×\frac{A}{m}],x=0,...,m-1\\ [(y-\frac{n-1}{2}-1)\×\frac{B}{n},(y-\frac{n-1}{2})\×\frac{B}{n}],y=0,...,n-1\end{array}\right.$

本例以4×4台微机为例，显示了用16通道共同渲染60度水平视角，45度垂直视角的超高分辨率三维场景，实现渲染空间的一致。

完成三维视景的拼接后，三维视景的实时渲染显示按照以下内容进行：

1、根据应用领域的不同的，相应的信号源产生系统将渲染需要用到的动态信息封装为行业相关的DDU，并将DDU使用TCP传输协议通过仿真(交互)子网发送到视景服务器。

2、数据传输协议选择：选择C/S的网络结构进行动态数据的传送。要让每台机器接收到的动态数据是同步的，也就是从视景服务器发送到视景客户端的数据必须是一致的。TCP/IP通信协议提供TCP和UDP两个主要的传输协议。TCP是一个面向连接的、基于流的、可靠的传输协议，具备无错传输、确认传输的特征、以发送数据的顺序进行传输、传输数据不重复的特征。而UDP是一个无连接的、面向数据包的、不可靠的传输协议。

为保证网络构件和视景服务器之间的可靠数据传送，网络构件与视景服务器间采用TCP传输协议。但TCP连接虽然能保证数据的可靠传输，却不能满足数据传输的实时性要求。为了保证所有视景客户端都能同时收到相同的渲染数据，在视景子网中选择UDP协议进行数据传输，使每一台视景客户端从UDP中取到代表当前状态的及时的DDU。视景客户端由收到UDP数据进行渲染时刻的控制，进行渲染。

3、采用本发明的算法，进行防抖动处理和启动运动目标预测机制。按照渲染帧率，将系统的时间划分为等时间间隔的桶，每一个DDU在被计算出来时就被关联上一个时间戳，这个时间戳表明了这个数据被关联在哪一个桶中，在视景客户端通过抖动处理消除由于TCP网络的非实时性造成的传输抖动，同时在视景客户端根据收到的帧包数据将其丢入相对应的时间桶进行渲染，如果一个桶周期到了，而相应桶中还没有装上对应的数据，则使用运动目标预测算法预测出动态帧包数据进行三维渲染。

防抖动处理和运动目标预测机制解决了由于TCP网络的非实时性造成的传输问题，实现了帧同步。所谓帧同步，是指所有用于渲染的微机在指定的时刻完成相同帧的渲染并显示。虽然使用UDP协议传输数据已经可以保证多台视景客户端在同一时间对相同的DDU进行渲染，但是，在实现时运动目标(例如塔台模拟机中的飞机、车辆)有时会出现抖动。经过对帧率的分析结果表明，这是渲染帧率不均匀引起的。而进一步的实验表明，渲染帧率的不均匀是网络抖动和UDP协议本身的不可靠性造成的。而改进的桶同步(Bucket Synchronization)算法将帧同步的问题解决得非常到位。

桶同步算法由C.Diot和L.Gautier于1999年提出，它被用在多人网络游戏MiMaze中。算法主要思想是：系统的时间被划分为固定长度的周期，对于网络上的每一个节点来说，每一个时间周期关联一个桶，所有的由发送方发送的应用数据单元ADUs被接收方节点按照对应的时间周期存放在对应的桶里，每一个桶周期结束后，一个桶里的所有ADUs被用来计算状态。见图4。

本发明对桶同步算法进行了改进，将系统的时间划分为等时间间隔的桶，每一个DDU在被计算出来时就被关联上一个时间戳，这个时间戳表明了这个数据被关联在哪一个桶中，同时增加消除网络的非实时性传输抖动的防抖动处理和网络丢包现象的运动目标预测机制，并成功地应用到C/S结构下的多微机协同三维视景渲染帧同步。此算法的详细过程参见图5、6、7。

首先在每个DDU中加上产生时间的时间戳，例如在t1时刻产生的DDU，将时间戳t1写入其中。

如果不考虑抖动，视景服务器接收到DDU后立刻使用UDP协议将其转发到视景客户端，就会造成虽然所有的微机都同步接收到了相同的动态帧包数据，但是接收到数据的时刻却不是希望被渲染的时刻，渲染出来的视景画面也将出现随机的抖动现象。为了消除网络抖动对渲染的影响，在接收方增加一个DDU缓冲区，并且将DDU的转发时间向后调整。由于转发的起点时间与消除抖动的可靠性之间是成反比的，在实际应用中应该根据网络状况以及实际需求进行选择。例如，在360度机场塔台视景模拟机中，因为其他席位雷达信号的刷新率在3秒左右，因此选择转发时间的起点为1秒，完全不会影响整个视景系统的效果，同时由于是在局域网的环境中，1秒中也足够应付网络上的抖动。

在实现多微机分布协同三维视景实时生成技术时，所有的视景客户端是使用接收到的DDU进行协同渲染，而DDU是通过UDP协议传输到视景客户端的。考虑到UDP协议本身的不可靠性，很难保证在实际应用时由于网络负载过重等原因视景客户端不会出现丢包的现象。为了解决因丢包引起的渲染不同步，在视景客户端设计了运动目标预测机制，即当帧包数据接收延迟明显延迟或丢失时，采用两步线性预测算法(Two-Step Dead Reckoning)预测各运动目标下一帧的位置和姿态。算法如下：

设第n帧目标的位置为X_n＝(x_n，y_n，z_n)，姿态为S_n＝(h_n，p_n，r_n)，

第n+1帧目标的位置为X_n+1＝(x_n+1，y_n+1，z_n+1)，姿态为S_n+1＝(h_n+1，p_n+1，r_n+1)，

因为每两帧信息是等时间间隔的，所以可以根据第n帧和第n+1帧的信息预测出第n+2帧的信息为

$\left\{\begin{array}{c}{\hat{X}}_{n+2}=X_{n+1}+(X_{n+1}-X_n)\\ {\hat{S}}_{n+2}=S_{n+1}+(S_{n+1}-S_n)\end{array}\right.$

当视景客户端发现DDU丢失时，便可使用根据上面的公式预测出的数据进行渲染。

本发明运用改进的桶同步算法，消除了网络的非实时性传输产生的抖动，解决了网络负载过重产生的丢包现象，高质量地实现了多微机协同三维视景实时显示渲染。

Claims (3)

1.一种多通道实时三维视景渲染显示方法，采用多屏幕，通过多通道拼接进行协同渲染，其特征在于：按照渲染帧率，将系统的时间划分为等时间间隔的桶，每一个DDU在被计算出来时就被关联上一个时间戳，这个时间戳表明了这个数据被关联在哪一个桶中，按照这种算法，增加了防抖动处理和防丢包的运动目标预测机制：

防抖动处理的具体方法是：在每个动态数据包DDU中加上产生时间的时间戳，并写入其中，在接收方增加一个DDU缓冲区，并且将DDU的转发时间向后调整，当DDU的时间戳与渲染的时间匹配时进行渲染；

运动目标预测机制的具体方法是：当DDU的时间戳与渲染的时间不匹配时进行运动目标预测，采用两步线性法预测各运动目标下一帧的位置和姿态，即已知第1、第2帧目标的位置和姿态，预测出第3帧目标的位置和姿态，当视景客户端发现DDU丢失时，根据预测出的数据进行渲染。

2.如权利要求1所述的多通道实时三维视景渲染显示方法，其特征在于：所述运动目标预测机制的具体算法如下：

设第n帧目标的位置为X_n＝(x_n，y_n，z_n)，姿态为S_n＝(h_n，p_n，r_n)，

第n+1帧目标的位置为X_n+1＝(x_n+1，y_n+1，z_n+1)，姿态为S_n+1＝(h_n+1，p_n+1，r_n+1)，

根据第n帧和第n+1帧的信息预测出第n+2帧的信息为：

$\left\{\begin{array}{c}{\hat{X}}_{n+2}=X_{n+1}+(X_{n+1}-X_n)\\ {\hat{S}}_{n+2}{=S}_{n+1}+(S_{n+1}-S_n)\end{array}\right.$

3.如权利要求1或2所述的多通道实时三维视景渲染显示方法，其特征在于：协同渲染的多微机间通过高速以太网连接，视景服务器通过TCP传播协议接收状态信息，在视景子网中通过UDP协议进行数据传输，广播状态信息。

Images