CN101754037A - 真三维成像引擎系统及投影方法 - Google Patents

Abstract

本发明公开真三维成像引擎系统及投影方法，计算机将三维模型数据库中的三维模型数据切成不同角度的多幅二值切片图像，再将多幅二值切片图像编码合成为一幅彩色三维显示图像；数字微镜真三维成像引擎与计算机连接，数字微镜真三维成像引擎接收彩色三维显示图像，并将彩色三维显示图像解码生成要显示的三维模型二值切片图像，再将三维模型二值切片图像生成数字光信号，再利用数字光信号转变成数字投影图像。采用视频编解码、视频处理和并行处理技术，实现了三维体素的高速传输、实时处理，精确投影，为真三维显示技术的进一步发展坚定了基础。另外本发明也提出了能够实现8级灰度彩色真三维显示的真三维成像引擎。

Description

真三维成像引擎系统及投影方法

技术领域

本发明属于立体显示技术领域，涉及真三维立体成像三维体素(voxel)的高速传输、实时处理和精确投影。

背景技术

随着科学技术的不断发展，人们已不再满足于二维的平面显示，开始追求三维的立体显示。计算机性能和处理速度的大大提高，使三维显示技术取得突破发展，目前一种比较新的三维显示技术就是真三维立体显示技术。这一技术综合应用计算机图形学、图像处理、计算机视觉、计算机辅助设计和人机交互技术等多个学科，从根本上更新了二维信息显示的概念，对信息显示技术的发展具有颠覆性影响。这项技术使被显示物体的三维图像栩栩如生，向观看者提供了完备的心理和生理的三维感知信息，为理解三维图像和其中物体之间的空间关系提供了独特的手段，因而具有极高的科学、社会和商业价值。而在真三维显示中，最核心的技术是一种被称为真三维成像引擎(Engine)的技术。所谓真三维成像引擎，是借用了机器工业的术语引擎，表明其在整个三维显示系统中的核心地位。可以把三维引擎理解为三维应用中核心的可重用模块。它是一套为三维应用而开发的核心工具，包括软件和硬件，是许多核心技术及通用功能的集成工具包，开发时，引用其框架可以衍生出来不同的具体应用。简单来说，就是能够生成三维体素或三维体元(voxel)的系统或装置，包括软件和硬件。

现阶段，在真三维体显示技术中的真三维成像引擎大都基于TI的数字光处理DLP(digital light process)技术。数字光处理技术是以一款数字微镜(digital mechanical device，DMD)芯片为中心，通过数据通信、存储、处理技术，结合FPGA、DSP微处理控制器来实现图像、视频的显示或投影的，通常应用在投影系统、高清显示、数字显示等系统中。但目前的数字光处理这种通用技术及其相关产品都无法满足真三维显示对海量数据(超亿体元)高速传输、实时处理、精确控制要求，例如TI的Discovery系列DLP工具包。此外有些三维引擎过于累赘，将数字微镜开发工具和专用功能板分离，不便于在真三维显示系统中集成，例如德国vialux公司的ALP系列功能板。

发明内容

本发明目的是根据真三维立体显示的要求，在TI数字微镜技术的基础上，设计专用的适用于真三维显示领域的8级灰度彩色及真三维成像引擎系统和投影方法。

为达成所述目的，本发明的第一方面，提供一种真三维成像引擎系统该系统含有：计算机和引擎硬件，其中：

计算机将三维模型数据库中的三维模型数据切成不同角度的多幅二值切片图像，再将多幅二值切片图像编码合成为一幅彩色三维显示图像；

数字微镜真三维成像引擎与计算机连接，数字微镜真三维成像引擎接收彩色三维显示图像，并将彩色三维显示图像解码生成要显示的三维模型二值切片图像，再将三维模型二值切片图像生成数字光信号，再利用数字光信号转变成数字投影图像。

为达成所述目的，本发明的第二方面，提供一种真三维成像引擎的数字图像投影方法，该投影方法的步骤如下：

步骤S10：启动真三维成像引擎系统，计算机启动三维模型数据库并准备加载三维数据，此时对数字微镜真三维成像引擎的投影模式进行选择，如果选择数字视频模式，则执行步骤S20；如果选择USB模式，则执行步骤S30；

步骤S20：当真三维成像引擎系统判断为数字视频模式时，计算机利用三维数据处理库的图像处理功能对三维模型的二值切片图像进行编码处理生成彩色三维显示图像，将彩色三维显示图像传输给数字微镜真三维成像引擎；

步骤S30：当真三维成像引擎系统判断为USB模式时，三维数据处理库中的三维模型的切片数据下载至数字微镜真三维成像引擎上的存储器中以备显示；

步骤S40：数字微镜真三维成像引擎接收数字视频接口组件的传输数据后，判断由计算机编码处理过的三维模型的二值切片图像是否要进行位平面分解，如果不进行位平面分解，则直接至芯片组投影，如果要进行位平面分解，则数字微镜真三维成像引擎对计算机编码处理过的三维模型的二值切片图像进行位平面分解、乒乓操作及并行流水处理；

步骤S50：将存储在存储器中的三维模型二值切片图像或者经位平面分解、乒乓操作及并行流水处理的二值图像信息数据传输至数字控制器，数字控制器对芯片组进行控制，从而形成数字投影图像。

为达成所述目的，本发明的第三方面，提供一种8级灰度彩色真三维成像引擎系统，该系统含有：计算机、图像显卡、8级灰度彩色真三维成像引擎，其中：

该计算机主板由中央处理器、北桥芯片和南桥芯片构成，该计算机与外界通过USB接口和网络接口相连，图像显卡通过插槽与计算机主板相连，图像显卡接收计算机三维模型库中的三维模型数据产生三维体素的数字视频，三维体素的数字视频通过数字视频电缆传输给8级灰度彩色真三维成像引擎，8级灰度彩色真三维成像引擎的接收器对三维体素的数字视频进行解码，然后传输给主处理器生成红绿蓝三色图像；红绿蓝三色图像分别传输给三个数字微镜芯片显示红绿蓝三色光；

所述主处理器按照两种方式工作，一种方式是主处理器对三维体素的数字视频进行24幅位平面分解，然后在24幅位平面存储器的控制器及接口模块的控制下写入存储器或读出到数字微镜芯片；

另一种方式是主处理器对三维体素的数字视频进行8幅8级灰度分解，然后分成红绿蓝三路，分别在红色像素存储器的控制器及接口模块、绿色像素存储器的控制器及接口模块和蓝色像素存储器的控制器及接口模块的控制下，分别传输给三个数字微镜芯片。

本发明的有益效果：

一种全新的基于数字视频接口(DVI)的数据传输技术，这种技术能够将计算机用OpenGL产生的RGB三色图像，通过真三维成像引擎分解为24幅二进制位图，这样使得视频传输速率提高24倍；利用数字视频接口实现了一种高速数据传输的方法，实时投影帧频可以高达4800fps，满足了真三维显示对数据传输的要求。这种技术能够将计算机用OpenGL产生的RGB三色图像，通过真三维成像引擎实时分解为24幅二进制位图，当视频输入帧频为200fps，则投影帧频可以轻松达到4800fps。采用USB2.0+DDR2SDRAM的结构，能在引擎中存储三维数据(1GBit)，这样能够离线便捷显示；

将芯片组嵌入到真三维成像引擎中，减小了体积，便于真三维显示系统的集成，精简了结构，节省了成本，同时采用开放型的设计，也方便用户自己开发；

1)采用开放式可编程高端FPGA处理器，用户可根据自己应用需要方便改写固件(firmware)。

2)利用彩色真三维成像引擎实现8灰度级彩色真三维显示。

附图说明

图1是本发明基于数字微镜的真三维成像引擎系统架构示意图；

图2是图1的三维引擎数据流程图；

图3是图1中的计算机100利用OpenGL产生源图像示例；

图4由图3分解出来的不同角度的24幅位平面二值图像；

图5是本发明中数字视频接口获取显卡130输出的要显示的三维模型的三维数据流在缓存和内存中的数据分布示意图；

图6是本发明中存储器单元230中的三维模型数据流ping-pong操作由FPGA控制处理流程框图；

图7是本发明中数字微镜引擎中三维模型数据在FPGA中实现并行流水处理的功能框图；

图8是本发明中数字微镜引擎中三维模型数据在FPGA实现并行流水处理的时序示意图；

图9是本发明中芯片组及各个芯片之间的信号通信；

图10是本发明的数字微镜成像引擎通用硬件系统组成；

图11是本发明的数字微镜三维成像引擎硬件系统框图；

图12是本发明的数字微镜三维成像引擎在应用系统中的连接示例图；

图13是本发明的基于数字微镜的三维成像引擎应用软件开发；

图14是本发明的实施例8灰度级彩色真三维成像引擎。

主要元器件或模块说明：

100：计算机；

110：操作系统(Windows或Linux)；

120：3D图像引擎(OpenGL或DirectX)；

200：数字微镜三维成像引擎硬件系统；

210：Xilinx Virtex5可编程逻辑器件(FPGA)；

211：输入数据流选择单元；

212：输出数据流选择单元；

213：ping-pang数据流输出后续处理模块；

220：芯片组；

221：数字微镜芯片；

222：数字控制器DDC3000，Xilinx Sparten3可编程逻辑器件(FPGA)；

223：DAD1000电源与复位驱动单元；

224：FPGA配置闪存；

230：SRAM帧缓存组；

231：第一存储模块    232：第二存储模块；

240：DDR2SDRAM同步动态随机存储器组；

241：DDR2SDRAM同步动态随机存储器；

242：DDR2SDRAM同步动态随机存储器；

250：数字视频接口组件；

251：数字视频接收解码器；

252：数字视频-电缆插接口；

260：USB接口组件；

261：USB控制器；

262：mini USB接口；

300：数字视频电缆(Cable)；

400：USB下载线；

500：8灰度级彩色真三维成像引擎；

510：8级灰度彩色真三维成像引擎；

511：红色像素存储器控制器及接口模块；

512：绿色像素存储器控制器及接口模块；

513：蓝色像素存储器控制器及接口模块；

514：24幅位平面存储器控制器及接口模块；

520：数字视频接收解码器；

600：数字微镜芯片板；

700：两条50pin数据传输软排线。

具体实施方式

下面结合附图详细说明本发明技术方案中所涉及的各个细节问题。应指出的是，所描述的实施例仅旨在便于对本发明的理解，而对其不起任何限定作用。

一、系统说明：

参见图1基于数字微镜的真三维成像引擎系统架构示意图，图2是图1的三维引擎数据流程图。整个真三维成像引擎由计算机100和数字微镜三维成像引擎硬件系统200构成。

计算机100包括：操作系统110、OpenGL3D图像引擎和显卡130。计算机100提供真三维显示系统要显示的内容，从三维模型数据库开始，在操作系统110下利用OpenGL或DirectX 3D图像引擎120将不同角度的24幅二值切片图像合成为一幅24bit彩色三维显示图像，这种24bit彩色三维显示图像在显卡130中利用GPU处理功能加速处理后通过数字视频接口(DVI)组件250以最小化传输差分信号(TMDS)的数据通讯方式传输给数字微镜三维成像引擎200。另外计算机100也可在操作110的配合下通过USB2.0接口下载三维模型的二值切片图像至数字微镜三维成像引擎200。

数字微镜真三维成像引擎200包括：主处理器210、芯片组220、图像缓存单元230、存储器240、数字视频(DVI)接口组件250、USB接口260、电缆300，USB下载线400，芯片组220可以选择数字微镜芯片组；图像缓存单元230可以选择SRAM帧缓存组；存储器240可以选择DDR2SDRAM同步动态随机存储器组，存储器240也可以选择DDR3SDRAM同步动态随机存储器组；USB接口260可以选择USB 2.0接口组件，USB接口260可以选择USB3.0接口组件；电缆300可以选择数字视频电缆；由于上述器件还有能适用于本发明得多种形式，在此不再赘述。

电缆300与数字视频接口组件250输入端连接，数字视频接口组件250接收电缆300按照最小化传输差分信号TMDS(Transmission MinimizedDifferential Signal)协议传输的RGB三色图像数据及时钟信号，数字视频接口组件250输出经过解码的24幅二值图像以及时钟和控制信号；

USB下载线400与USB接口260连接，USB接口260接收计算机100传输的三维模型二值切片图像数并将这些三维模型二值切片图像输出给主处理器210；

主处理器210输入端分别与图像缓存单元230、存储器240、数字视频接口组件250的输出端和USB接口260的输出端连接。主处理器210与图像缓存单元230相连接，主处理器210的输入为图像缓存单元230缓存的24bit彩色三维显示图像以及相应地址、控制信号；主处理器210与数字视频接口组件250的输出端相连接，主处理器210的输入为数字视频接口组件250输出的视频数据及时钟、控制信号；主处理器210与USB接口260的输出端相连接，接收USB接口260传输的三维模型二值切片图像，主处理器210输入端与存储器240输出连接，存储器240的输出为存储在存储器240中的三维模型二值切片图像。

主处理器210输出端分别与芯片组220、图像缓存单元230、存储器240的输入端连接。芯片组220输入端接收主处理器210输出的要显示的三维模型二值切片图像，芯片组220输出为数字光信号；图像缓存单元230的输入为主处理器210输出的要缓存的24bit彩色三维显示图像以及相应地址、时钟、控制信号，图像缓存单元230的输出为缓存在图像缓存单元230中的24bit彩色三维显示图像；存储器240的输入端为主处理器210输出的要存储的三维模型二值切片图像以及地址、时钟、控制信号。

请参见图1及图9示出的芯片组220包括：数字微镜芯片221、数字控制器222、电源与复位驱动单元223，其中：芯片组220可以选用数字微镜芯片组，数字控制器222可以选用DDC3000，Xilinx Sparten3可编程逻辑器件(FPGA)，数字控制器222也可以选用DDC4000数字控制器；电源与复位驱动单元223可以选用DAD1000电源与复位驱动，电源与复位驱动单元223也可以选择DAD2000电源及复位驱动；该芯片组220还有多种具体形式在此不再赘述；下面描述芯片组220结构关系：数字控制器222与主处理器210连接，数字控制器222接收主处理器210发送用户的高速低压差分信号(LVDS)，生成三维模型切片图像和控制信号及复位和时序信息；数字控制器222输出端分别与电源与复位驱动单元223和数字微镜芯片221相连，数字控制器222为电源与复位驱动单元223提供复位和时序信息，数字控制器222为数字微镜芯片221提供数据和控制信号，数字微镜芯片221在光源的配合下即可生产光信号，将图像投影出来。配置闪存224对数字控制器222进行初始化配置，配置闪存224为FPGA配置闪存。电源与复位驱动单元223给数字微镜芯片221提供复位控制信号及电源。

图2是由图1中所描述的真三维成像引擎系统其内部三维引擎数据的流程图，步骤如下：

步骤S10：真三维成像引擎系统开始，计算机100启动三维模型数据库，计算机100准备加载三维数据，此时应对数字微镜真三维成像引擎200的投影模式进行选择，如果选择数字视频模式(DVI模式)，则执行步骤S20；如果选择USB模式，则执行步骤S30；

步骤S20：当真三维成像引擎系统判断为数字视频模式时，计算机100利用显卡130的三维数据处理库OpenGL(Open Graphics Lib)的图像处理功能对三维模型二值切片图像进行编码处理生成24bit彩色三维显示图像，然后通过电缆300将24bit彩色三维显示图像传输给数字微镜真三维成像引擎200；

步骤S30：当真三维成像引擎系统判断为USB模式时，三维数据处理库中的三维模型的二值切片图像通过USB下载线400下载至数字微镜真三维成像引擎200上的存储器240中以备显示；

步骤S40：数字微镜真三维成像引擎200接收数字视频接口组件250的传输数据后，判断由OpenGL编码处理过的三维模型二值切片图像是否要进行位平面分解，如果不进行位平面分解，则直接至数字微镜(DMD)投影，如果要进行位平面分解，则数字微镜真三维成像引擎200对OpenGL编码处理过的三维模型二值切片图像进行位平面分解、乒乓操作及并行流水处理；

步骤S50：将存储在存储器240中的三维模型二值切片图像或者经位平面分解、乒乓操作及并行流水处理的二值图像信息数据传输至数字控制器222，数字控制器222对芯片组220进行控制，从而形成数字投影。

利用OpenGL产生源图像，为了加速图像传输效率，充分利用数字视频传输数据的特点，使位平面分解能够产生不同角度的二值图像，可以利用显卡130中GPU的OpenGL或DirectX 3D图像处理功能将三维模型二值切片图像合成为24bitRGB真彩色图像，如图3所示利用OpenGL产生源图像的示例。

二、真三维成像引擎三维数据处理主要算法设计

1、位平面分解算法

设24位真彩色图像为：I＝{I(i，j)，0＜＜i＜M，0＜＜j＜N}，I(i，j)代表原始图像的第i行、第j列像素的颜色值，i和j均为自然数，则真彩色图像I的位平面分解可定义为：

$D_{p,t}(i,j)=B_{p,t}\left(I(i,j)\right)=\left\{\begin{array}{cc}1,& \mathrm{forInt}\left(\frac{I(i,j)}{2^p}\right)\mathrm{mod}2\≡1\\ 0,& \mathrm{forInt}\left(\frac{I(i,j)}{2^p}\right)\mathrm{mod}2\≡0\end{array}\right.,$

其中D_p，t(i，j)表示彩色分量为t时第p个位平面在(i，j)处的灰度值，

表示对彩色图像I在(i，j)处的色彩值进行求余运算，取值为“0”表示全黑，取值为“1”表示全白；p＝0，1，…，7(每种颜色下总共对应8个位平面)表示彩色分量为t时的第p个位平面；t＝1，2，3表示RGB三个分量；B_p，t(·)表示图像的位平面分解操作。经过以上位平面的分解处理，真彩色图像I就被分解为：

D_p，t＝{D_p，t(i，j)，0≤i＜M，0≤j＜N}，(p＝0，1，…，7；t＝1，2，3)，于是源图像I总共被分解为24个位平面，分别为D_0，1，D_1，1，…，D_7，3，M和N分别表示位平面图像有M行N列，并且这些位平面都是0或1的二值。

请详见图4示出由图3分解出来的不同角度的24幅位平面二值图像，附图4清楚地说明了，通过位平面分解可以将一幅三色全彩色图像，分解为不同角度的24幅二值图像，使得视频传输帧频提高24倍，见表1。若视频输入帧频为200fps，则投影帧频可以达到4800fps，这足以满足大多数真三维显示的需要。

表1输入视频流频率与引擎成像帧频的比较

输入视频频率	二值图像投影帧频
		60Hz	1440fps
85Hz	2040fps
		120Hz	2880fps
150Hz	3600fps
		180Hz	4320fps
200Hz	4800fps

请同时参见图1和图5数字视频接口组件250获取的三维数据流在图像缓存单元230和存储器240中的数据分布示意图，图1中数字视频接口组件250可细分为图5中的数字视频接收解码器251和数字视频-D电缆插接口252，图像缓存单元230分三个区，分别存储RGB三色8bit位宽数据。从硬件实现角度来讲，电缆300按照最小化传输差分信号TMDS(Transmission Minimized Differential Signal)协议传输RGB三色图像数据及时钟信号，电缆300为双绞线与数字视频电缆插接口252相连，数字视频电缆插接口252将最小化传输差分信号TMDS输出到数字视频接收解码器251，由数字视频接收解码器251对最小化传输差分信号TMDS进行解码，产生24bit位图像数据：其中R[7:0]表示8bit红色分量，G[7:0]表示8bit绿色分量，B[7:0]表示蓝色分量，以及时钟Clock、控制信号Control、I2C总线显示数据通道数据DDC Data和显示数据通道时钟DDCClock，所有这些信号均被主处理器210捕获后缓存在图像缓存单元230中，与此同时主处理器210会采用一种乒乓操作和并行流水处理的方式，从图像缓存单元230中读取源图像(source image)信息生成位平面bitplane0-bitplane23，然后写入存储器240中。

为了获得良好的效果，在计算机100中应配备显存较大主频较高的显卡130。

为了实现彩色真三维显示，要求数据量很大，处理速度很高，但可以利用数字视频接口容易实现8灰度级彩色显示。利用OpenGL将8幅RGB三色图像合成一幅图像，通过数字视频传输，然后在成像引擎上分解为8幅RGB三色图像，也使得视频传输速率提高了8倍。

2、SRAM图像缓存单元230乒乓操作算法

图6示出是三维模型数据在图像缓存单元230中的数据流ping-pang操作，由主处理器210控制实现的流程框图，请参见图6，图像缓存单元230包括：第一存储模块231和第二存储模块232。主处理器210包括：输入数据流选择单元211、输出数据流选择单元212和处理模块213，处理模块213可以选用ping-pang数据流输出后续处理模块。

输入数据流选择单元211分别与第一存储模块231和第二存储模块232连接；第一存储模块231和第二存储模块232分别与输出数据流选择单元212连接；输出数据流选择单元212与处理模块213连接；数字视频解码输入数据流通过输入数据流选择单元211，被分配到两个数据流缓存第一存储模块231和第二存储模块232。在第一个缓冲周期，数据缓存到第一存储模块231，在第二个缓冲周期，通过输入数据流选择单元211的切换数据被缓存到第二存储模块232，与此同时将第一存储模块231中缓存的数据通过输出数据流选择单元212的控制，送到后级的处理模块213之中。在第三个缓冲周期，同理，输入切换到第一存储模块231，而将第二存储模块232中的数据读出，如此不断的循环，完成存储的乒乓操作。乒乓操作最大的特点是，通过输入数据流选择单元211和输出数据流选择单元212按照节拍，相互配合的切换，将经过缓冲的数据流没有时间停顿地送到后级处理模块213。因此非常适合对数据流进行流水线式处理，所以乒乓操作常用于流水线算法，完成数据的无缝缓冲和处理。在本发明中，输入数据流选择单元211和输出数据流选择单元212为2选1选择单元MUX；第一存储模块231和第二存储模块232均采用250MHz 1M×36BitPipelined SRAM静态随机存储器。

3、三维模型数据在FPGA中实现并行流水处理的算法

为了加速数据处理速度，减少数据延迟，本发明采用了并行流水处理算法，请详见图7示出主处理器210的并行流水处理功能框图，图8示出主处理器210的并行流水处理时序示意图。主处理器210包括：处理单元214、处理单元215和处理单元216为并行流水处理方式，都是在FPGA内部完成的。其中处理单元214先捕获数字视频传输的数据再将这些数据存储在图像缓存单元230(SRAM)中，接着处理单元215会从图像缓存单元230中读出像素点，再将生成的位平面写入存储器240(DDR2SDRAM)中，处理单元216读出位平面图像、驱动数字微镜芯片221显示。处理单元214、215、216独立并行工作，同时完成3帧图像的处理，按照流水线的工作方式，前一单元完成后会将同一帧数据交给下一级处理单元。这样极大地减少了数据等待的时间加速了图像的处理。

4、存储器240(DDR2SDRAM)控制器设计

存储器240为DDR2SDRAM代表第二代双倍速率同步动态随机存储器，存储器240有两个512Mbit的DDR2SDRAM 241和242共同组成。本发明采用存储器240作为引擎板上存储器，能够存储1Gbit三维数据。真三维显示系统具有系统数据吞吐率高的特点要求系统在短时间内能够传输并存储三维数据。存储器240(DDR2SDRAM)内存技术和双倍速率同步动态随机存储器(DDR)一样，采用了在时钟的上升沿和下降沿同时进行数据传输的基本方式。但是它们最大的区别在于，存储器240内存可进行4bit预读取，两倍于标准一代DDR内存的2bit预读取，这就意味着存储器240拥有两倍于一代DDR预读系统命令的数据能力。存储器240内存的另一项重要改进是在内存本身集成了信号终结器ODT(On Die Termination)。存储器240中还加入了OCD(Off-Chip Driver)技术，即所谓的离线驱动调整。此外，存储器240)通过引入Posted CAS功能解决了指令冲突问题。存储器240的操作主要通过以下控制信号给出：RAS#行地址选择、CAS#列地址选择、WE#写使能信号、CS#片选信号以及CKE时钟使能信号。存储器240具有的特点可以很好的满足真三维显示存储三维数据的需要。存储器240控制器主要在FPGA内部实现，完成对存储器240的控制，实现数据的读写。

三、硬件实现

1、芯片组220组成

续请见图1及图9示出芯片组及各个芯片之间的信号通信；芯片组220含有数字微镜(Digital Micromirror Device；DMD)芯片221是由成千上万个可以独立寻址和转动的微型光反射镜组成的电输入，光输出半导体光开关阵列，结构是世界上最复杂的，整个数字微镜芯片221由1024×768个微型光反射镜矩形排列组成。它既是一种微机电系统也是一种反射式空间光调制器(SLM)。其微型光反射镜安装在极小的铰链上，可向光源倾斜(″开″状态)或反向倾斜(″关″状态)，从而在投影表面造成或亮或暗的像素，每个微型光反射镜对应一个像素，大小为16um*16um，镜面之间的间距为1um。数字微镜芯片221上的微型光反射镜是一个二维微镜阵列，微型光反射镜与图像的二维解析点一一对应。当驱动电压信号施加于微镜与对应的电极之间时，微镜上各极板的电压随之变化，微镜根据偏置电压的不同，可向不同的方向偏转。控制信号二进制的“1”和“0”状态，分别对应于微镜+12°和-12°两个稳定状态，也就是像面上像素点的开和关。当图形数据控制信号序列被写入CMOS电路时，数字微镜芯片221对入射光进行调制，相应的图形就可以在投影面上显示。当入射光被微镜反射进光学透镜，即+12°，再投射到像面上形成一个亮的像素。当微镜偏离平衡位置-12°，入射光被反射到光吸收器上，使像面上显示出一个暗像素。本发明数字微镜芯片221采用0.7″XGA 1024×768LVDS数字微镜芯片。

芯片组220的主要功能及参数：

1)数字微镜芯片221可以选择使用0.7XGA LVDS数字微镜空间光调制器，其中：

●1024x768像素(16块)；

●+/-12度倾斜；

●高达每秒16,300幅全阵列图像的刷新率(12.8Gbs)；

●200MHz LVDS时钟频率；

●13.68umx13.68um小镜片；

●85％optical fill factor。

2)数字控制器222可以选择使用DDC3000数字控制器，其中：

●为用户提供高速LVDS数据和控制接口到数字微镜，为DAD1000电源和复位驱动单元223提供复位和时序信息；

●支持随机行寻址。

3)电源和复位驱动单元223可以选择使用DAD1000数字微镜电源和复位驱动，其中：

●产生数字微镜镜片16个块的复位控制信号。

2、数字微镜真三维成像引擎硬件系统组成：

1)数字微镜真三维成像引擎通用硬件系统组成

如图10所示为数字微镜真三维成像引擎通用硬件系统组成，数字微镜真三维成像引擎通用硬件系统一般由数字微镜芯片组和主处理器或控制器组成。数字微镜芯片组作为系统输出，主处理器和辅处理器完成和外部端口的数据交换。主处理器一般由FPGA或DSP组成，主要完成存储器(SRAM，DDR2 SDRAM)管理以及对高速端口的数据通信。辅处理器一般由CPLD或MCU组成，完成对外部低速端口的控制，闪存Flash的管理，接收外部反馈信号以及提供用户数据接口。

2)本发明硬件系统原理，图11示出详细的数字微镜真三维成像引擎硬件系统框图，图11是图1的具体化应用实例，根据算法设计部分的要求，本发明设计了数字微镜真三维显示硬件系统，在附图11中，整个数字微镜真三维引擎由两部分组成，即主驱动板和数字微镜芯片板。主驱动板主要完成数据传输、下载、存储和处理，为数字微镜芯片提供显示数据、电源以及复位驱动信号。在主驱动板中，核心处理芯片为Xilinx Virtex-5FPGA 210，完成各种数据的处理以及协调整个系统工作，具体来讲：有两路数据传输下载方式可供选择，即数字视频传输方式和USB2.0传输方式。数字视频-D电缆插接口252接收数字视频电缆传输的TMDS信号，通过数字视频接收解码器251解码，产生RGB 24位图像数据以及同步时钟和控制信号。OPB总线(On-chip Peripheral Bus)负责各个部件之间的信息传送。主处理器210内部逻辑处理单元SRAM接口控制器与DDR2SDRAM控制器分别负责产生图像缓存单元230和存储器240的地址、读写数据以及时钟同步信号。位平面生成模块完成位平面的分解。图像缓存单元230包括第一存储模块231和第二存储模块232，都可以选择SRAM静态随机存储器，作为图像缓存，完成ping-pang操作。两个512Mbit存储器241和242可以存储1Gbit的三维数据，都可以选择为DDR2SDRAM同步动态随机存储器。I2C总线完成与计算机100之间的通信。主处理器210最后生成的图像数据、控制信号以及时钟信号通过主处理器210内部的逻辑单元数字微镜接口输送到数字微镜芯片组220之一的数字控制器222。另一路可通过USB接口262下载数据，USB接口262可以选择miniUSB接口；USB控制器261可以选用USB2.0控制器261。通过USB接口262下载的数据按USB2.0协议完成数据通信，随后直接挂接到OPB总线上。数字控制器222获得数据后，按照配置闪存224预先的配置信息，输出图像数据至数字微镜芯片221，同时数字控制器222产生控制信息到电源与复位驱动器单元223，电源与复位驱动器单元223为数字微镜芯片221提供电源和复位信号，电源与复位驱动器单元223可以选择使用DAD1000数字微镜电源和复位驱动。对于主处理器210的FPGA配置程序通过JTAG口272下载至EEPROM存储器271。整个数字微镜引擎硬件系统采用+5V直流电源。

图12示出数字微镜三维成像引擎在应用系统中的连接示例。计算机100分别通过数字视频电缆300和USB下载线与数字微镜真三维成像引擎200相连，下载要显示三维模型数据，数字微镜芯片板600通过两个50pin排线与数字微镜真三维成像引擎相连，传输显示数据、控制复位信号，USB下载线400、两条50pin数据传输软排线700。

四、基于数字微镜的真三维成像引擎系统应用软件开发

为了便于应用，整合整个资源，需要设计灵活、操作简单、界面优美的软件系统。本发明的软件开发如图13所示。在图13示出的基于数字微镜的三维成像引擎应用软件开发中，用户应用程序APP由三维模型库和VC++应用程序接口API组成。在计算机上利用OpenGL或DirectX库，借助于GPU的强大计算功能完成三维数据的编码合成，然后可分两路USB和数字视频传输，灵活设计的FPGA逻辑固件，便于用户自行设计修改。USB设备固件完成计算机100与真三维成像引擎200之间的通信。FPGA逻辑固件控制FPGA正常工作。DMD三维成像引擎作为最后输出，完成用户建立的三维数据的显示。

五、8灰度级彩色真三维成像引擎系统的实现方法

为了实现彩色真三维显示，可以利用三个数字微镜芯片分别来表示RGB三色。如图14示出的8灰度级彩色真三维成像引擎。计算机100主板由中央处理器CPU、北桥南桥芯片构成，可与外界通过USB2.0接口和网络接口相连。集成有GPU的图像显卡130通过AGP插槽和计算机主板相连。由OpenGL产生的三维体素通过数字视频电缆传输给8级灰度彩色真三维成像引擎500，数字视频接收解码器520解码输入图像数据，然后传输给主处理器510。主处理器510可以按照两种方式工作，一种方式是进行24幅位平面分解，然后在24幅位平面存储器控制器及接口模块514的控制下写入DDR2SDRAM或读出到数字微镜；另一种方式是进行8幅8级灰度分解，然后分成RGB三路，分别在红色像素存储器控制器及接口模块511，绿色像素存储器控制器及接口模块512和蓝色像素存储器控制器及接口模块513的控制下，分别传输给三个数字微镜芯片显示红绿蓝三色。

以上所述，仅为本发明中的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉该技术的人在本发明所揭露的技术范围内，可理解想到的变换或替换，都应涵盖在本发明的包含范围之内，因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (10)

1.一种真三维成像引擎系统，其特征在于，该系统含有：计算机和引擎硬件，其中：

计算机将三维模型数据库中的三维模型数据切成不同角度的多幅二值切片图像，再将多幅二值切片图像编码合成为一幅彩色三维显示图像；

数字微镜真三维成像引擎与计算机连接，数字微镜真三维成像引擎接收彩色三维显示图像，并将彩色三维显示图像解码生成要显示的三维模型二值切片图像，再将三维模型二值切片图像生成数字光信号，再利用数字光信号转变成数字投影图像。

2.如权利要求1所述的真三维成像引擎系统，其特征在于，所述计算机包括：操作系统、显卡和图像引擎，其中：

在操作系统下使图像引擎产生彩色三维显示图像；利用显卡中的GPU处理功能加速处理彩色三维显示图像，将彩色三维显示图像以最小化解码传输差分信号的数据通讯方式传输。

3.如权利要求1所述的真三维成像引擎系统，其特征在于，数字微镜真三维成像引擎包含：主处理器、芯片组、图像缓存单元、存储器、数字视频接口组件和USB接口，其中：

主处理器输入端分别与数字视频接口组件和USB接口的输出端相连接，主处理器接收数字视频接口组件输出的视频数据及时钟、控制信号；主处理器或接收USB接口传输的三维模型二值切片图像；

主处理器输入端还分别与图像缓存单元和存储器的输出端连接；其中：主处理器接收缓存在图像缓存单元彩色三维显示图像图像以及相应地址、控制信号；主处理器接收存储在存储器中的三维模型二值切片图像以及相应地址、控制信号；

主处理器的输出端分别与图像缓存单元、存储器和芯片组输入端连接，其中：主处理器的输出端向图像缓存单元的输入端发送要缓存的彩色三维显示图像、彩色三维显示图像的相应地址及控制信号；主处理器的输出端向存储器输入端发送要存储的三维模型二值切片图像、三维模型二值切片图像的相应地址、时钟和控制信号；

主处理器的输出端与芯片组输入端连接，主处理器的输出端向芯片组输入端发送要显示的三维模型二值切片图像；芯片组将三维模型二值切片图像生成并输出为数字光信号。

4.如权利要求3所述的真三维成像引擎系统，其特征在于，所述数字视频接口组件接收计算机输出具有按照最小化传输差分信号协议传输的RGB三色图像数据及时钟信号的彩色三维显示图像，数字视频接口组件对最小化传输差分信号进行解码并输出彩色三维显示图像以及时钟和控制信号。

5.如权利要求3所述的真三维成像引擎系统，其特征在于，所述的芯片组包括：数字微镜芯片、数字控制器和电源与复位驱动单元，其中：

数字控制器与主处理器连接，数字控制器接收主处理器发送用户的高速低压差分信号，并将高速低压差分信号生成所要投影的三维模型二值切片图像和控制信号及复位和时序信息；

数字控制器输出端分别与电源与复位驱动单元和数字微镜芯片相连，数字控制器为电源与复位驱动单元提供复位和时序信息，数字控制器为数字微镜芯片提供所要投影的三维模型二值切片图像和控制信号，数字微镜芯片在光源的配合下生成的光信号将图像投影出来。

6.如权利要求1所述的真三维成像引擎系统，其特征在于，所述数字微镜真三维成像引擎中：主处理器选用现场可编程逻辑器件，芯片组选择数字微镜芯片组；图像缓存单元选择SRAM帧缓存组；存储器选择DDR2SDRAM同步动态随机存储器组。

7.如权利要求6所述的真三维成像引擎系统，其特征在于，所述数字微镜芯片组中：数字控制器选用DDC3000，Xilinx Sparten3可编程逻辑器件或选用DDC4000数字控制器；电源与复位驱动单元选用DAD1000电源与复位驱动或选择DAD2000电源与复位驱动；数字微镜芯片选择使用0.7″XGA LVDS数字微镜空间光调制器或选择0.55″，0.9″2×LVDS数字微镜空间光调制器。

8.如权利要求3所述的真三维成像引擎系统，其特征在于，所述主处理器对全彩色图像的位平面分解、图像缓存的乒乓操作以及并行流水处理；主处理器加速图像的处理，使投影二值图像帧频提高24倍，达到4800帧每秒。

9.一种真三维成像引擎的数字图像投影方法，其特征在于，该投影方法的步骤如下：

步骤S10：启动真三维成像引擎系统，计算机启动三维模型数据库并准备加载三维数据，此时对数字微镜真三维成像引擎的投影模式进行选择，如果选择数字视频模式，则执行步骤S20；如果选择USB模式，则执行步骤S30；

步骤S20：当真三维成像引擎系统判断为数字视频模式时，计算机利用三维数据处理库的图像处理功能对三维模型的二值切片图像进行编码处理生成彩色三维显示图像，将彩色三维显示图像传输给数字微镜真三维成像引擎；

步骤S30：当真三维成像引擎系统判断为USB模式时，三维数据处理库中的三维模型的切片数据下载至数字微镜真三维成像引擎上的存储器中以备显示；

步骤S40：数字微镜真三维成像引擎接收数字视频接口组件的传输数据后，判断由计算机编码处理过的三维模型的二值切片图像是否要进行位平面分解，如果不进行位平面分解，则直接至芯片组投影，如果要进行位平面分解，则数字微镜真三维成像引擎对计算机编码处理过的三维模型的二值切片图像进行位平面分解、乒乓操作及并行流水处理；

步骤S50：将存储在存储器中的三维模型二值切片图像或者经位平面分解、乒乓操作及并行流水处理的二值图像信息数据传输至数字控制器，数字控制器对芯片组进行控制，从而形成数字投影图像。

10.一种8级灰度彩色真三维成像引擎系统，其特征在于，该系统含有：计算机、图像显卡、8级灰度彩色真三维成像引擎，其中：计算机，该计算机主板由中央处理器、北桥芯片和南桥芯片构成，计算机与外界通过USB接口和网络接口相连，图像显卡通过插槽与计算机主板相连，图像显卡接收计算机三维模型库中的三维模型数据产生三维体素的数字视频，三维体素的数字视频通过数字视频电缆传输给8级灰度彩色真三维成像引擎，接收器对三维体素的数字视频进行解码，然后传输给主处理器生成红绿蓝三色图像；红绿蓝三色图像分别传输给三个数字微镜芯片显示红绿蓝三色光；

所述主处理器按照两种方式工作，一种方式是主处理器对三维体素的数字视频进行24幅位平面分解，然后在24幅位平面存储器的控制器及接口模块的控制下写入存储器或读出到数字微镜芯片；

另一种方式是主处理器对三维体素的数字视频进行8幅8级灰度分解，然后分成红绿蓝三路，分别在红色像素存储器的控制器及接口模块、绿色像素存储器的控制器及接口模块和蓝色像素存储器的控制器及接口模块的控制下，分别传输给三个数字微镜芯片。

Images