CN101754039A - 面向移动设备的3d参数解码系统 - Google Patents

Abstract

本发明提供了用于移动设备的可对压缩3D模型进行绘制的系统，包括用于对3D模型压缩码流进行解码的通用处理器、用于绘制的由可编程顶点处理单元和基于Tile的光栅处理单元组成的图形加速硬件。本发明的优点是：支持对压缩3D模型的绘制；顶点处理单元具有可编程功能，用户可任意修改显示的视角和模型的光影效果；基于Tile的光栅处理单元只需要很小的深度缓冲和颜色缓冲，可集成在片内，从而可以减小访问外存的带宽；兼容OpenGL ES接口；可广泛应用于手机、PDA等移动设备上的3D界面交互、3D游戏、3D导航等。

Description

面向移动设备的3D参数解码系统

技术领域

本发明涉及解码和3D显示技术领域，特别涉及一种用于移动设备的3D模型解码与绘制的系统。

背景技术

随着计算机硬件技术与图形绘制技术的迅速发展，移动设备已经引入了3D显示功能。由于增加了透视与光影效果，与2D图形显示相比，3D绘制更形象更具有真实感。因此3D图形再现技术是移动设备中的研究热点。当前，大部分移动设备用软件模拟的方法来实现3D图形的绘制，不但占用了大部分的CPU资源，增加了CPU功耗；而且图形绘制的速度和质量也受到了很大的限制。因此，用专用硬件电路来实现移动设备的3D图形绘制系统势在必行。

3D图形的绘制主要包括两个部分，分别是顶点处理单元和光栅处理单元。顶点处理单元将场景中各个模型的顶点和法线进行矩阵变换并将模型放到观察空间中；根据物体的材质、纹理以及光源的属性等参数计算顶点的光照；根据物体距离眼睛的远近计算雾化因子；然后将位于观察空间中的模型进行投影变换，变换到一个单位立方体中；随后进行裁减操作，舍弃所有在单位立方体之外的图元；最后将裁减后的图元映射到屏幕上面，并进行简单的背向面判断后送入光栅处理单元。光栅处理单元首先将顶点处理单元传来的数据送入扫描转换单元进行扫描，产生被三角面覆盖的每一个像素的位置；随后送入插值单元进行插值，算出每个像素的颜色、雾化因子、纹理坐标等等；接着将纹理坐标送入纹理贴图单元，纹理单元返回的纹理颜色与插值出来的光照颜色进行混合，并将混合的颜色送入雾化单元进行雾化混合，得到最终的像素颜色；然后通过可见性测试判断像素是否可以被看见，如果可见，则将像素的颜色写入帧缓冲；最后显示单元读取帧缓冲的内容进行显示。

为简化设计，面向移动设备的图形加速硬件常采用固定功能的顶点处理单元，主要由转换单元、光照单元以及裁减单元组成，只能实现标准的坐标转换和简单的光照功能，而且这些功能用户无法修改。固定功能的顶点处理单元限制了3D图形绘制的灵活性，同时造成了硬件资源的浪费。因此，使用处理器架构来替代固定功能的硬件模块，已经是图形硬件发展的一个重要趋势。

当前的视频编码标准都是基于波形的编码，H.264视频编码标准几乎达到了基于波形编码方法效率的极限。这种传统的视频编码方法是利用基于平移的运动块信源模型和颜色参数来描述物体的。为了进一步降低码率，近年来出现了基于3D参数的编码方案，这种方法利用3D模型、摄像机参数和纹理图像等来表示视频内容，经过压缩后进行传输。要想在解码端重建原始数据，就需要对3D模型进行解码和绘制。目前在移动设备上还缺少能够支持对这种编码方案进行解码的硬件系统。

发明内容

本发明的目的是解决现有技术存在的上述问题，提供一种可以对压缩的3D模型进行绘制的系统，以便支持3D参数的解码。

本发明主要包括用于3D模型解码和相关控制的通用处理器、可编程顶点处理单元和基于Tile的光栅处理单元，三者之间通过总线共享数据。顶点处理单元和光栅处理单元构成图形处理器，用于3D模型的绘制。通用处理器将解压后的3D模型传送到顶点处理单元，并负责启动顶点处理单元；接收到顶点数据后，顶点处理单元将顶点变换到正确的观察位置中并根据光照模型和物体表面材质计算光照；光栅单元则根据处理后的顶点数据，建立三角面，进行扫描转换和颜色填充，最终将帧缓冲中数据送到LCD中进行显示。用户可以根据需要改变顶点处理单元中的视点变换矩阵和光照模型，实现各种透视和光影效果。另外，为了降低功耗，减小电路的复杂度，在顶点处理单元和光栅处理单元中都采用了定点化的方法来设计数据通道。

本发明压缩3D模型绘制系统，其中所述的可编程顶点处理单元包括：

指令译码和控制系统：用于指令的加载和译码；

四路并行ALU单元：用于处理向量移动、向量加以及向量比较等操作；

四路并行MAD单元：用于处理向量乘、向量乘加以及向量点乘等操作；

特殊功能单元：用于计算一些非线性函数的值；

存储器单元：用于通用处理器与顶点处理单元之间的数据交换以及临时数据的存放。

本发明压缩3D模型绘制系统，其中所述的基于Tile的光栅处理单元包括：

扫描转换单元：用于产生被三角面覆盖的像素的数据，包括坐标，深度，颜色，纹理坐标和雾化因子等；

纹理单元：用于3D模型的纹理贴图；

可见性测试单元：将像素的深度与深度缓冲中的深度进行比较，通过测试的像素的颜色被写入颜色缓冲中；

颜色缓冲管理单元：对像素的各个采样点的颜色进行混合，送到最终显示的帧缓冲中。

附图说明

下面结合附图和实施例对本发明进一步说明。

图1为本发明系统的框图。

图2是在本发明系统上对压缩3D模型进行绘制的一个实例流程图。

图3为可编程顶点处理单元的框图。

图4为四路并行ALU单元的框图。

图5为四路并行MAD单元的框图。

图6为特殊功能单元的框图。

图7为基于Tile的光栅处理单元的框图。

图8是纹理单元的框图。

图9是在通用处理器上进行3DMC解码的一个实例流程图。

具体实施方式

如图1所示，本发明系统包括通用处理器、可编程顶点处理单元、光栅处理单元、SRAM控制器、DDR内存控制器、程序存储器、LCD控制器和时钟控制器。通用处理器负责对压缩的3D模型进行解码以及其他硬件设备的初始化、启动、停止等。顶点处理单元和光栅处理单元则负责对3D模型进行绘制。SRAM控制器用于管理寄存器堆文件的读写操作。程序存储器用于存储通用处理器和顶点处理器上运行程序的机器码。LCD控制器负责将光栅处理单元输出的像素发送到LCD的帧缓冲中进行显示。时钟控制器负责管理各个硬件单元的时钟信号。

由于定点计算能够节省电路面积，降低功耗，因此在顶点处理单元和光栅处理单元的数据通路中采用了定点化计算。在定点计算中，小数点位置的不同，数据所能表示的范围和精度也不一样。因此，在数据位宽一定的前提下，数据范围和数据精度相互矛盾，表示范围大精度就低，反之精度高则表示范围就小。所以在设计中，必须根据顶点处理单元和光栅处理单元的特点，选取合适的小数点位置。顶点处理单元的主要运算是坐标转换和光照计算。对于移动设备而言，屏幕的分辨率一般为QVGA，颜色的每个分量一般为5到8位，因此在顶点处理单元，颜色采用8位的精度就可以满足要求；而对于顶点坐标和法线，通过对大量3D模型绘制效果的统计，发现采用16位的精度能够得到较好的效果。对于光栅处理单元，由于移动设备屏幕的分辨率有限，屏幕坐标采用了4位的精度；与顶点处理单元一样，颜色采用了8位的精度。

在本发明系统上对一个压缩3D模型进行绘制的过程如图2所示。通用处理器首先初始化各个硬件单元，例如定时器初始值设定、启动，顶点输入寄存器清空等；然后通用处理器将顶点处理单元运行程序的机器码从主存中加载到顶点处理单元的程序存储器中；之后通用处理器读入压缩的3D模型比特流，进行解码，得到模型的顶点、三角面等数据；通用处理器通过总线接口将这些解压后的数据发送到顶点处理单元中，通过API接口设置好绘制的环境，例如光照模型、投影模式等，并启动顶点处理单元和光栅处理单元，进行绘制；最后在LCD上显示绘制出的图像。在这个过程中，用户通过可编程顶点处理单元可以改变投影模式和光照模型，例如选择透视投影还是正交投影，选择Phong光照模型还是各向异性光照模型。

为了能够兼容OpenGL ES接口，使硬件支持这些API，本发明参照OpenGL ES1.1的规范设计了顶点处理单元和光栅处理单元。对于3D模型的顶点坐标和属性而言，都可以用四维向量表示，例如顶点坐标可表示成(x，y，z，w)，顶点颜色可表示为(r，g，b，a)。因此对顶点数据的处理可以转换成四维向量的运算。为了加快向量运算，本发明采用了四路并行单指令多数据的处理器架构来设计顶点处理单元。顶点处理单元的框图如图3所示，主要包括五个部分。第一部分是指令译码和控制系统，用于指令的加载和译码；第二部分是四路并行ALU单元，用于处理向量移动、向量加以及向量比较等算术运算；第三部分是四路并行MAD单元，用于处理向量乘、向量乘加以及向量点乘等乘加运算；第四部分是特殊功能单元，用于计算诸如倒数、指数和对数等非线性函数的值；第五部分是存储单元，包括程序存储器、顶点输入寄存器、顶点输出寄存器、临时寄存器、常量寄存器和辅助寄存器，用于通用处理器和顶点处理单元之间数据的交换以及临时数据的存储。

ALU运算单元采用了4路并行的单指令多数据结构以加快计算速度，结构如图4所示。ALU运算单元的功能包括数据转移、加法和比较，这些操作全部在一个时钟周期内完成。ALU中4路32位加法器可在一个时钟周期内完成4路加法运算；选择器和控制逻辑负责实现数据转移和比较的功能。根据绘制的功能需求，MAD运算单元需要实现的功能有乘法、乘加、三维向量和四维向量的点乘。同样，为了提高速度，采用了4路并行的单指令多数据结构，如图5所示。MAD包含4个32位乘加运算单元，每一路可以独立对每一个分量进行乘加运算，最后还可以把四个分量的结果相加完成点乘操作。

在光照计算中，涉及到除法运算、指数运算以及对数运算，为了计算这些非线性函数值，需要设计一个特殊功能单元。综合考虑存储器容量、运算周期和计算精度，采用二次多项式逼近法来实现特殊函数的求值计算。将一个非线性函数分成若干段，然后用二次多项式对每一段进行逼近拟合，并将每一段的逼近多项式系数存储在一个表中。为了减小变量的范围，使得计算结果不至于溢出，在求取某个变量的函数值时，首先需要对该变量进行归一化；然后判断变量落在哪个段中，并从系数表中查出该段的系数；最后计算该变量的二次多项式值，并对结果进行调整以消除归一化的影响。特殊功能单元的结构如图6所示。

顶点处理单元将顶点变换到正确的位置，计算好顶点的光照系数并经过裁剪和背向面剔除后，光栅处理单元就可以进行扫描转换和颜色填充了。光栅处理单元完成三角面到像素的转换工作，也就是在顶点处理单元送来的三角面的三个顶点之间进行填充，使得三角面可以显示在屏幕上，需要完成的操作有扫描转换、三角面填充、纹理贴图以及可见性测试等。基于Tile的绘制方法每次只绘制屏幕上的一个小区域(Tile)，可以减少访问外部存储器的带宽，更适合用于移动设备的图形处理器中。考虑到这些因素，本发明采用基于Tile的光栅处理单元设计方案，其结构如图7所示，主要包括光栅扫描转换单元、像素FIFO、纹理单元、可见性测试单元和颜色缓冲管理单元。

光栅扫描转换单元负责三角面的填充以及像素的插值，实现屏幕坐标系下三角面到像素的转换。本发明采用了基于Tile的块扫描算法，首先通过扫描操作来测试Tile是否与三角面包围盒相交；如果相交，则将Tile细分为四个子块，再判断各个子块是否与三角面包围盒相交；然后在与三角面包围盒相交的子块中进行细分，直到细分到初始块的尺寸，找出与三角面包围盒相交的块；接着在块内逐一判断每个像素是否在三角面之内；最后将在三角面内的像素输出到像素FIFO中。其中在三角面包围盒内的块扫描，采用了Zig-Zag扫描方法，以便找到一系列与三角面相交的块。

纹理单元主要包括以下几个功能单元：纹理地址产生单元，纹理Cache单元，纹理解压单元和纹理滤波单元。其中，纹理Cache单元由两级Cache组成。纹理单元的硬件框图如图8所示。纹理单元的工作过程是：首先，经过S3TC压缩后的纹理以4×4的纹素块的方式保存在片外存储器中；纹理地址产生单元根据光栅扫描转换单元送来的纹理坐标以及纹理等级，计算纹素在内存中的存放地址，该地址的标签送入L1Cache进行比对，如果命中，直接从L1Cache中将纹素的颜色值读取出来，如果L1Cache未命中，则向L2Cache提出请求，如果L2Cache命中，则从L2Cache中提取一个纹素块进行纹理解压，解压的结果替换掉L1Cache中的某几行；否则L2Cache将通过存储器总线向片外存储器请求一个压缩块的数据；纹理滤波单元读取空间相邻的4个纹素的颜色值进行双线性滤波。

对于可见性测试单元，采用了Z-Buffer算法，其过程是：利用一个Z-Buffer(深度缓冲单元)保存离人眼最近的点的深度值，并在绘制的过程中不断进行更新；当从前级传过来的像素的深度值比Z-Buffer中相应的深度值要小，说明这个像素是可见的，需要绘制，将这个像素传入下一级的同时更新Z-Buffer中的深度值；否则这个像素是不可见的，予以抛弃。

颜色缓冲管理单元用于存储通过可见性测试的像素的颜色信息。每个单元共存储32bit的R，G，B，A四个颜色分量。在一个Tile处理结束之后，保存在颜色缓冲中的颜色数据需要拷贝到帧缓冲中，并且需要清除颜色缓冲为下一个Tile的绘制做好准备。本发明采用乒乓缓冲的方式，一个缓冲单元供光栅处理单元使用，另一个供输出控制单元使用。在光栅化进行的过程中，可以同时将上一个Tile的颜色缓冲的内容进行反走样混合并拷贝到片外帧缓冲进行显示。

为了验证本发明系统的有效性，在型号为XUPV2P的FPGA开发板上实现了本系统。开发板上的FPGA型号为XC2VP30-FF896，含有13560个Slice单元、2个PowerPC硬核、136个硬核乘法器和136个块RAM。将FPGA自带的其中一个PowerPC硬核作为通用处理器，并将FPGA上的可编程逻辑单元设计成一个可编程顶点处理单元和一个基于Tile的光栅处理单元。以一个经过MPEG-43DMC工具压缩后的模型显示为例来验证系统能否正确的进行解码和绘制。3D模型的3DMC解码过程如图9所示，首先从压缩比特流的头文件中得到顶点数据的预测模式和量化方法；然后分别解压顶点图和三角面树，得到连通信息和量化后的顶点数据；最后对顶点数据进行反量化得到顶点属性数据，从而完成解码过程。通用处理器完成比特流的解码后，就可以启动顶点处理单元和光栅处理单元进行绘制，整个过程如图2所示。为了降低通用处理器在运行中的功耗，本发明对3DMC解码程序进行了优化，主要是：(1)尽量减少动态空间的申请与释放操作。在3DMC的解码过程中，需要进行多次动态空间的分配申请与释放，这是非常耗时的操作。采用静态数组来代替这些动态存储空间，可以加快执行时间，降低功耗。(2)减少条件分支和多重循环。条件分支的硬件开销非常高，尽量采用条件移动指令代替条件分支语句。多重循环会明显降低高速缓存的性能。为最佳利用高速缓存的性能，一方面尽量在程序中减少多重循环；另一方面使引用数组的循环步进顺序按照数组在内存中排列的顺序一致起来。(3)采用定点数。当前移动设备的通用处理器大多不支持浮点类型运算，应用程序中的浮点数最终都需要转换成定点数，否则通用处理器不能处理。

Claims (8)

1.一种用于移动设备的可以对压缩的3D模型进行绘制的系统，其特征在于：包括通用处理器、可编程顶点处理单元和基于Tile的光栅处理单元，其中，所述通用处理器用于3D模型压缩码流的解码和其他硬件设备的初始化、启动、停止控制。

2.根据权利要求1所述的系统，其特征在于：其中所述可编程顶点处理单元包括：

指令译码和控制系统，用于指令的加载和译码；

四路并行ALU单元，用于处理向量移动、向量加以及向量比较操作；

四路并行MAD单元，用于处理向量乘、向量乘加以及向量点乘操作；

特殊功能单元，用于计算非线性函数的值；

存储单元，用于通用处理器与顶点处理单元之间的数据交换以及临时数据的存放。

3.根据权利要求2所述的系统，其特征在于：所述的四路并行ALU单元采用了4路并行的单指令多数据结构，可以在一个时钟周期内完成数据转移、加法和比较操作。

4.根据权利要求2所述的系统，其特征在于：所述的四路并行MAD单元采用了4路并行的单指令多数据结构，包含4个32位乘加运算单元，每一路可以独立对每一个分量进行乘加运算，最后还可以把四个分量的结果相加完成点乘操作。

5.根据权利要求2所述的系统，其特征在于：所述的特殊功能单元采用二次多项式逼近法来实现特殊函数的求值计算；将一个非线性函数分成若干段，然后用二次多项式对每一段进行逼近拟合，并将每一段的逼近多项式系数存储在一个表中，最后通过查表进行二次多项式运算得到最终计算结果。

6.根据权利要求1所述的系统，其特征在于：其中所述基于Tile的光栅处理单元包括：

光栅扫描转换单元，用于三角面的填充以及像素的插值，实现屏幕坐标系下三角面到像素的转换；

像素FIFO，用于存储所述光栅扫描转换单元输出的像素；

纹理单元，用于纹理贴图和滤波；

可见性测试单元，用于判断像素是否可见，仅将通过可见性测试的像素送入颜色缓冲管理单元，其他像素予以舍弃；

颜色缓冲管理单元，对像素的各个采样点的颜色进行混合，送到最终显示的帧缓冲中。

7.根据权利要求6所述的系统，其特征在于：所述的光栅扫描转换单元采用了基于Tile的块扫描算法，首先通过Zig-Zag扫描操作来测试Tile是否与三角面包围盒相交；如果相交，则将Tile细分为四个子块，再判断各个子块是否与三角面包围盒相交；然后在与三角面包围盒相交的子块中进行细分，直到细分到初始块的尺寸，找出与三角面包围盒相交的块；接着在块内逐一判断每个像素是否在三角面之内；最后将在三角面内的像素输出到像素FIFO中。

8.根据权利要求6所述的系统，其特征在于，所述的纹理单元包括：

纹理地址产生单元，根据光栅扫描转换单元送来的纹理坐标以及纹理等级，计算纹素(texel)在内存中的存放地址；

纹理Cache单元，由L1 Cache和L2 Cache组成，其中L1 Cache用于缓存从L2 Cache中取出并经过解压的纹素块，L2 Cache用于缓存从外部存储器中取出的压缩纹素块；

纹理解压单元，用于解压经过S3TC压缩的纹素块；

纹理滤波单元，用于双线性滤波。

Images