CN102752594A - 一种基于图像编解码与传输并行的集群渲染方法 - Google Patents

Abstract

一种基于图像编解码与传输并行的集群渲染方法，本发明通过将任务划分为独立子任务，有效平衡了不同集群节点之间的计算量，对于计算能力弱的机器也能加入到集群系统中来，有效提高了系统的扩展性；通过对子任务的渲染及传输并行的处理方式，可以有效降低了图像处理的时间消耗，通过结合图像的编解码，有效降低了网络传输开销，与传统相比，本发明的FPS更高，显示界面更加流畅，系统性能得到有效提高。

Description

一种基于图像编解码与传输并行的集群渲染方法

技术领域

本发明涉及一种集群渲染方法，尤其涉及一种基于图像编解码与传输并行的集群渲染方法。

背景技术

高真实感渲染目前已经有了越来越多的应用，在电影特效的制作，真实感场景的展示等领域都起着重要作用。高真实感渲染需要极高的计算能量，如果我们对渲染速度有较高要求，那么单机的渲染能力已经无法满足。这时候我们需要使用集群技术。

集群是一组相互独立的、通过高速网络互联的计算机，它们构成了一个组，并以单一系统的模式加以管理。一个客户与集群相互作用时，集群像是一个独立的服务器。集群可以提高处理性能、降低成本、提高可扩展性、增强可靠性。

集群技术中涉及到一个非常关键的技术，就是机器间的图像传输。网络传输是影响集群渲染系统的一个重要因素，特别是高数据量的图像数据传输，在一定程度上会降低系统的实时性。假设每个像素由RGB三个分量组成，每个分量占8位即一个字节，对于分辨率为1024*768的屏幕，当fps为30时，每秒需要传输的图像数据大小为1024*768*3*30Byte，即67.5MB，这对网络带宽造成了很大的负担，可以预计，如果fps提高或者屏幕分辨率增大时，网络传输必将成为集群渲染系统的性能瓶颈。在满足实际需要的前提下，我们必须对图像进行压缩编码，尽量减少要传输或存储的数据量。

目前已经有很多成熟的图像编解码技术。其中JPEG图像编解码技术就是一个应用非常广泛的技术。JPEG标准定义了三套不同的编码系统：一种基于DCT的有损编码系统，一种扩展的面向更大规模压缩更高精确性的编码系统和一种面向可逆压缩的无损编码系统。

JPEG的三种编码系统中，一般第一种编码系统使用较多且能满足大多数压缩方面应用需求，另一方面，因为第三种无损编码系统较为复杂且难以并行化，所以我们使用第一种基于DCT的编码算法。

传统的编解码都是通过CPU来进行处理。但该方法本身消耗的时间较大。在集群环境下，如果对实时性有要求时，该方法的时间消耗会成为影响性能的主要因素。因此需要寻求更快速的图像编解码方法。目前NVIDIA公司推出的CUDA技术，能很好的解决我们这一问题。CUDA一种通用并行计算架构，该架构使GPU能够解决复杂的计算问题。它包含了CUDA指令集架构(ISA)以及GPU内部的并行计算引擎。可以将GPU视为一个并行数据计算的设备，对所进行的计算进行分配和管理。它使用C语言为基础，可以直接以大多数人熟悉的C语言，写出在显示芯片上执行的程序，而不需要去学习特定的显示芯片的指令或是特殊的结构。

集群渲染将每帧的渲染子任务动态地划分到所有的渲染节点，针对每个节点来讲，它所承担的渲染任务就是最终渲染结果的一部份，由于目前的算法采用的基本策略是：管理机器将任务静态地或者动态地划分，并分配给每台渲染节点，每台节点会被唯一分配到一个子任务，每台渲染节点根据自己分配到的任务进行渲染，然后将渲染结果发回给管理机器，这样形成最后的一帧图像。这种算法分配导致了渲染和图像的压缩/传输是串行的，也就是说每个节点必须先进行渲染，然后将渲染结果进行压缩编码，然后才能进行传输。当渲染的结果图像是很大的分辨率，或者管理机器和渲染节点距离很远，而且网络传输占用时间较多时，容易导致渲染性能严重下降。

公开号为101587583的发明专利，公开了一种基于GPU集群的渲染农场，利用高效率低能耗GPU构建分布式并行集群渲染系统，使计算能力达到、甚至超过超级计算机的计算性能；此发明解决数字创意制作过程中批量渲染问题；通过使用该发明，可高效完成三维动漫、影视特效、建筑设计等的制作，提高渲染速度40倍以上，降低渲染农场搭建的投入成本20％～70％，节省制作过程能源消耗60％～80％。

现有技术的不足是：图像数据量过大，图像处理及传输的时间过长。

发明内容

本发明公开了一种基于图像编解码与传输并行的集群渲染方法，解决了图像数据量过大，图像处理及传输的时间过长的问题。

一种基于图像编解码与传输并行的集群渲染方法，包括如下步骤：

(1)管理服务器将渲染的总任务划分成各个独立的子任务；

(2)管理服务器将所述独立的子任务分别分配到集群中的每个集群节点；

(3)所述集群节点对分配到的子任务分别进行渲染，当某一个子任务完成渲染时，直接将所述子任务的渲染结果传送给GPU压缩线程进行图像压缩，所述GPU压缩线程将压缩结果立即传送给显示服务器；

(4)显示服务器将压缩结果传送给GPU解压线程进行图像解压，并将解压完成的结果传送到缓存器中；

(5)显示服务器将缓存器得到的所有子任务的渲染结果进行拼接，返回最终的渲染结果，并返回步骤(1)开始下一帧的计算。

所述渲染的总任务为需要渲染的图像。

所述渲染总任务的划分按照图像的像素区域，划分成独立的子像素区域，子像素区域即所述子任务。

所述集群节点为独立的PC机，在同一时间向显示服务器返回压缩结果。

所述管理服务器的分配采用动态负载平衡机制，动态负载平衡机制是用来控制各台机器的工作量的一种方式，它尽量保持不同集群节点在同一时间向显示服务器返回压缩结果。

所述集群节点的渲染工作是在GPU上进行的，GPU上具有多个并行的渲染节点，每次渲染的时候，集群节点上的CPU将需要渲染的子任务分成多个子渲染任务，每个渲染节点按照分配的子渲染任务并行渲染。

所述GPU压缩线程进行图像压缩的过程为，依次对渲染结果进行颜色空间变换、DCT计算、量化和霍夫曼编码。

所述GPU解压缩线程进行图像压缩的过程为，依次对压缩结果进行霍夫曼编码、逆量化、DCT计算和颜色空间变换。

所述的DCT变换可以消除图像的空间冗余，对于N×N像素大小的块，二维DCT计算公式如下：

$T(u,v)=\underset{x=0}{\overset{N}{\mathrm{\Σ}}}\underset{y=0}{\overset{N}{\mathrm{\Σ}}}f(x,y)\×g(x,y,u,v)$

其中， $g(x,y,u,v)=\mathrm{\α}\left(u\right)\mathrm{\α}\left(v\right)\cos \left[\frac{(2x+1)\mathrm{u\π}}{2N}\right]\cos \left[\frac{(2y+1)\mathrm{v\π}}{2N}\right]$

$\mathrm{\α}\left(u\right)=\mathrm{\α}\left(v\right)=\left\{\begin{array}{cc}\sqrt{\frac{1}{N}}& u=v=0\\ \sqrt{\frac{2}{N}}& u=v=\mathrm{1,2},...,N-1\end{array}\right.$

x，y代表图像数据矩阵内某个数值的坐标位置

u，v代表DCT变换后矩阵内某个数值的坐标位置

α(u)，α(v)表示u，v不同时的不同常数；

T(u，v)表示变换后的相应的DCT系数；

f(x，y)表示N×N像素块中坐标为(x，y)的像素值。

所述GPU压缩线程及GPU解压线程均为空闲状态时的GPU线程，所述GPU解压线程解压的过程就是所述GPU压缩线程压缩过程的逆过程。

所述缓冲器接收了所有子任务渲染后的解压结果，将这些解压结果一并发送至所述显示服务器。

所述步骤的操作为对一帧图像进行的操作。

本发明方法通过将任务划分为独立子任务，并且利用了GPU的高度并行特性和强计算能力，有效降低集群环境中，图像编解码和传输带来的开销，有效的提高系统性能。其有益效果表现在：

(1)通过任务划分，有效平衡不同集群节点之间的计算量。

(2)子任务划分的力度可以控制，对于计算能力弱的机器也能加入到集群系统中来，有效提高了系统的扩展性；

(3)通过对子任务的划分及子任务的渲染及传输并行的处理方式，有效降低了图像处理的时间消耗；

(4)通过结合图像的编解码，有效降低了网络传输开销。

附图说明

图1为用于实现本发明集群渲染的系统结构示意图。

具体实施方式

本发明通过基于图像编解码与传输并行的集群渲染方法，本发明方法使图像处理的时间开销有效降低，同时减少了网络带宽占用空间。

用于实现本发明集群渲染的系统主要由5部分构成：用于划分任务的管理服务器、用于处理子任务的集群节点、用于对子任务进行渲染及解压缩的GPU线程、用于存储子任务处理结果的缓存器、用于显示处理结果的显示服务器。

本发明的方法包括如下步骤：

(1)管理服务器对一个渲染任务为1920×1080的画面进行任务划分，可将所述的画面划分为192×108的100个任务，并对每一个子任务进行标号，分别为子任务1、子任务2、子任务3......子任务100。本实施例采用5台计算机进行协同渲染，通过动态负载平衡机制，将这100个子任务平衡地分配到这5台计算机上。在5台机计算机配置等各种计算环境都相似的情况下，这5台计算机会被均匀得分到其中的五分之一的任务，即每台计算机被分配到20个子任务。

(2)每台计算机对被分配到的子任务分别进行渲染，渲染工作是在GPU上进行的，GPU上具有多个并行的渲染节点，每次渲染的时候，CPU将需要渲染的子任务分成多个子渲染任务，每个渲染节点按照分配的子渲染任务并行渲染。

每次渲染的时候，每个渲染节点只要按照子渲染任务进行，当渲染好其中一个子任务的时候，我们利用空闲的GPU线程对子任务渲染得到的图像进行压缩。被压缩的子任务渲染结果，会立即被传输给显示服务器。这样就在渲染的同时，进行了计算结果的传输。在一台计算机上的所有子任务都渲染完成后，我们直接传输最后一个子任务的计算结果，这相当于整个网络传输时间变成了一个子任务的传输时间。本实施例中子任务为一台机器上原来任务的二十分之一，那么传输时间所占用的时间开销也为原来的二十分之一左右，这大大降低了集群中网络传输的时间开销。这样图像传输的时间得到大大地减少，很大程度地提高了渲染整体的性能。同时，由于我们对图像进行了JPEG压缩，使得整个网络带宽得以降低。

在这个过程中最为重要的一个过程就是，利用空闲GPU线程对已经计算完的子任务进行压缩。虽然普通的基于DCT的JPEG图像压缩算法具有压缩效果好的特点，但是对于高实时性的交互式集群渲染系统，该算法速度上并不能满足要求，因此本发明利用GPU技术重新设计该算法，使其满足快速实时压缩功能需求。

基于GPU的并行实时图像压缩算法的主要思想是，检查上述JPEG压缩算法编码过程中各个步骤，如果该步骤内部可以并行，则用CUDAC在GPU上实现并行计算，对于不能并行的步骤，仍然保留原先的CPU计算。然后在并行压缩和传输的同时，进行渲染任务的执行，使得压缩、传输和渲染同时进行，减少图像压缩、传输的时间开销，最大限度地增加系统的并行度和效率。

利用GPU进行图像压缩主要分为下面几个步骤：

a)颜色空间变换

由于我们的原始的图像数据是RGB格式，首先需要把它转换到YCbCr色彩空间，具体转换公式如下：

Y＝0.29900×R+0.58700×G+0.11400×B-128；

Cb＝-0.16874×R-0.33126×G+0.50000×B；

Cr＝0.50000×R+0.41869×G-0.08131×B；

显然，每个像素的转换都是相互独立的，因此可以利用CUDA进行最大化的并行。CUDA编程指南里建议每个块里最好是64到256个线程，同时考虑到JPEG标准，可以选择8×8像素大小组成一块，这样每个块里共有64个线程。转换时，首先将64个RGB像素值读入CUDA共享存储区，接着每个线程按序计算一个像素的YCrCb值，最后把计算出的YCrCb值存到全局存储区里以便供下一步的kernel(操作系统内核)访问。因为接下来的DCT和量化对于YCrCb各个分量的操作都是独立的，所以在保存的时候也将他们分开保存成独立的一维连续数组。

b)DCT计算

对于8×8像素大小的块，二维DCT计算公式如下：

$T(u,v)=\underset{x=0}{\overset{8}{\mathrm{\Σ}}}\underset{y=0}{\overset{8}{\mathrm{\Σ}}}f(x,y)\×g(x,y,u,v)$

其中， $g(x,y,u,v)=\mathrm{\α}\left(u\right)\mathrm{\α}\left(v\right)\cos \left[\frac{(2x+1)\mathrm{u\π}}{16}\right]\cos \left[\frac{(2y+1)\mathrm{v\π}}{16}\right]$

$\mathrm{\α}\left(u\right)=\mathrm{\α}\left(v\right)=\left\{\begin{array}{cc}\sqrt{\frac{1}{N}}& u=v=0\\ \sqrt{\frac{2}{N}}& u=v=\mathrm{1,2},...,N-1\end{array}\right.$

由上述三个式子可见，对一个像素进行二维DCT变换操作相当复杂，这在一定程度上限制了可并行性，为此，可以把二维DCT变换拆分为多个一维DCT变换，拆分方法如下：因为每一行的一维DCT变换是相互独立的，因此每一行可以用一个线程来计算，这样把8×8像素大小的DCT变换拆分成8个并行的线程。每个线程分别对YCrCb分量进行一维DCT变换，具体计算公式如下：

$S_i=\frac{\mathrm{\α}\left(i\right)}{2}\underset{x=0}{\overset{7}{\mathrm{\Σ}}}\cos \left(\frac{(2x+1)\mathrm{i\π}}{2N}\right)$

其中 $\mathrm{\α}\left(i\right)=\left\{\begin{array}{cc}\sqrt{\frac{1}{N}}& i=0\\ \sqrt{\frac{2}{N}}& i=\mathrm{1,2},...,N-1\end{array}\right.$

c)量化

量化过程非常简单，只需把8×8像素大小的块里各个像素除以量化表里对应元素值即可，量化表的值受压缩时设置的压缩质量系数影响。为了避免重新访问全局存储区造成的开销，可以跟DCT计算共用一个kernel(操作系统内核)，每个线程在完成8×8像素大小的块里的一行DCT变换后，继续执行量化计算。计算出的结果值保存回存储区。

d)霍夫曼编码

霍夫曼编码是一种非常有效的无损压缩算法，它根据信号出现的频率对其进行变长编码，频率越高的信号对应的编码长度越短，通过霍夫曼编码，可以去除大量的冗余信息，从而达到数据无损压缩的效果。一般的图像各个像素之间存在连续性，图像中会存在大量的冗余信息，对图像进行霍夫曼编码会有非常好的效果。霍夫曼编码过程大致可以分为四个步骤：统计信号频率信息，构建霍夫曼树，构建编码表，实际编码。

前三个步骤实际上并行可行性不是很高，本实施例的方法是对最后一个步骤即实际编码进行并行。实际编码分两个阶段，第一个阶段给每个像素分配一个线程，通过查找编码表得到码值，第二个阶段把第一个阶段得到的各个码值组合在一起。第二个阶段实际上是个循环迭代的过程，第一次迭代把两个信号编码连接在一起，接下来每次迭代都把新的码值连接到后面。

(3)当显示服务器每得到一个子任务的压缩结果，那么它将该结果传给空闲的GPU线程进行解压，解压的过程就是上述压缩过程的逆过程，同样我们将部分解压工作交给GPU进行。解压完成后，将该部分结果放入缓存器中。

(4)当缓存器得到所有子任务的计算结果时，显示服务器将所有子结果进行拼接，形成最终的结果，并将结果显示在屏幕上。当一帧画面渲染结束，显示服务器返回步骤(1)开始下一帧的渲染。

Claims (6)

1.一种基于图像编解码与传输并行的集群渲染方法，其特征在于，包括如下步骤：

(1)管理服务器将渲染的总任务划分成各个独立的子任务；

(2)管理服务器将所述独立的子任务分别分配到集群中的每个集群节点；

(3)所述集群节点对分配到的子任务分别进行渲染，当某一个子任务完成渲染时，直接将所述子任务的渲染结果传送给GPU压缩线程进行图像压缩，所述GPU压缩线程将压缩结果立即传送给显示服务器；

(4)显示服务器将压缩结果传送给GPU解压线程进行图像解压，并将解压完成的结果传送到缓存器中；

(5)显示服务器将缓存器得到的所有子任务的渲染结果进行拼接，返回最终的渲染结果，并返回步骤(1)开始下一帧的计算。

2.如权利要求1所述的基于图像编解码与传输并行的集群渲染方法，其特征在于，所述集群节点在同一时间向显示服务器返回压缩结果。

3.如权利要求1所述的基于图像编解码与传输并行的集群渲染方法，其特征在于，所述缓冲器接收了所有子任务渲染后的解压结果，将这些解压结果一并发送至所述显示服务器。

4.根据权利要求1所述的集群渲染环境中基于任务划分的图像编解码与传输并行方法，其特征在于，所述集群节点的渲染工作是在GPU上进行的，GPU上具有多个并行的渲染节点，每次渲染的时候，集群节点上的CPU将需要渲染的子任务分成多个子渲染任务，每个渲染节点按照分配的子渲染任务并行渲染。

5.根据权利要求1所述的集群渲染环境中基于任务划分的图像编解码与传输并行方法，其特征在于，所述GPU压缩线程进行图像压缩的过程为，依次对渲染结果进行颜色空间变换、DCT计算、量化和霍夫曼编码。

6.根据权利要求1所述的集群渲染环境中基于任务划分的图像编解码与传输并行方法，其特征在于，所述GPU解压线程进行图像解压的过程为，依次对渲染结果进行霍夫曼编码、逆量化、DCT计算和颜色空间变换。

Images