CN102055996B - 基于空间逐层扫描的真三维立体显示系统及其显示方法 - Google Patents
基于空间逐层扫描的真三维立体显示系统及其显示方法 Download PDFInfo
- Publication number
- CN102055996B CN102055996B CN 201010521329 CN201010521329A CN102055996B CN 102055996 B CN102055996 B CN 102055996B CN 201010521329 CN201010521329 CN 201010521329 CN 201010521329 A CN201010521329 A CN 201010521329A CN 102055996 B CN102055996 B CN 102055996B
- Authority
- CN
- China
- Prior art keywords
- voxel
- dimensional
- space
- display
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 20
- 230000003287 optical effect Effects 0.000 claims abstract description 16
- 238000005070 sampling Methods 0.000 claims abstract description 9
- 238000009877 rendering Methods 0.000 claims abstract description 6
- 238000012856 packing Methods 0.000 claims description 8
- 239000007787 solid Substances 0.000 claims description 5
- 230000009466 transformation Effects 0.000 claims description 3
- 230000011664 signaling Effects 0.000 claims description 2
- 238000013507 mapping Methods 0.000 claims 1
- 238000005516 engineering process Methods 0.000 abstract description 12
- 230000033001 locomotion Effects 0.000 abstract description 8
- 230000000694 effects Effects 0.000 abstract description 4
- 230000002688 persistence Effects 0.000 abstract description 3
- 230000000007 visual effect Effects 0.000 abstract description 2
- 239000013598 vector Substances 0.000 description 10
- 238000013461 design Methods 0.000 description 9
- 238000003384 imaging method Methods 0.000 description 8
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000009826 distribution Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- HUTDUHSNJYTCAR-UHFFFAOYSA-N ancymidol Chemical compound C1=CC(OC)=CC=C1C(O)(C=1C=NC=NC=1)C1CC1 HUTDUHSNJYTCAR-UHFFFAOYSA-N 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000003447 ipsilateral effect Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 239000011347 resin Substances 0.000 description 2
- 229920005989 resin Polymers 0.000 description 2
- 230000000717 retained effect Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- 241001269238 Data Species 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 238000005267 amalgamation Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 208000003464 asthenopia Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 229910002056 binary alloy Inorganic materials 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 230000001351 cycling effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007123 defense Effects 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000009342 intercropping Methods 0.000 description 1
- 238000004020 luminiscence type Methods 0.000 description 1
- 238000010422 painting Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000035479 physiological effects, processes and functions Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000007493 shaping process Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
Images
Landscapes
- Image Generation (AREA)
Abstract
本发明公布了一种基于空间逐层扫描的真三维立体显示系统及其显示方法，属于虚拟现实的立体显示技术。系统由控制主机，光学投影及其控制单元，双螺旋扫描屏幕和运动伺服单元构成。显示方法包括三维光栅化、切片图像渲染和光学投影显示，三维光栅化是利用规则采样栅格将物体离散成体素集合；切片渲染是确定体素与某一时刻扫描屏幕的隶属关系；在光学投影显示阶段，由旋转屏幕逐层扫描出一个立体空间，采用高速数字投影设备将三维场景离散后的二维切片图像依次投影到旋转屏幕上，基于视觉暂留效应，高速变换的切片图像被人眼融合并感知为连续完整的三维影像。
Description
技术领域
本发明涉及一种基于空间逐层扫描的真三维立体显示系统及其显示方法，属于一种人机交互领域的信息显示技术，运用于包含大量空间体数据以及对空间位置关系表达比较苛刻的场合，如虚拟仿真、科学计算可视化、医学影像、油气勘探、计算机辅助制造/设计、广告娱乐等领域。
背景技术
人类是在三维世界中感知和认识事物的，无疑空间思考和空间显示媒介对于人的思维是很重要的。当前普遍使用的平面显示器如CRT（Cathode Ray Tube，阴极射线管）显示器和LCD（Liquid Crystal Display，液晶显示器）显示器表达能力局限于平面，它通过类似油画家在画布上创作的技法，以深度暗示、阴影、透视、纹理梯度和遮挡等线索向视觉系统传达三维场景的空间信息。关于人类的深度和距离感知参见“彭聃龄编著，《普通心理学》，北京师范大学出版社，2001”。平面显示方式所呈现给人眼的实际上是三维物体在二维平面上的投影，空间印象的产生还有赖于观察者的空间判断能力和心理的想象。因此平面显示更多的是在二维平面空间内虚幻地追求三维空间的真实感。平面显示仅提供单一视点的图像，缺乏动态的视觉线索包括水平和垂直视差、运动视差和运动透视等，场景不会因观察方位的改变而改变，难以营造动态真实感。在很多情况下，二维图像不能够很好地提供适当的深度信息，这就造成了真实世界与数字世界的之间的障碍。
立体镜或多视图显示技术是目前采用较多的立体显示技术，参见“王炜，包卫东，张茂军等编著，《虚拟仿真系统导论》，国防科技大学出版社，2007”。它们采用的显示设备也是平面的，利用双目视觉原理，能够提供水平视差，需要事先准备好合适的立体图像对，从特定的方位被双眼正确的观察到立体影像，当观察方位变化时，它不会产生新的立体视图，在大范围内难以通过平面显示器模拟完全的运动视差，同时长时间观看容易使人产生视觉疲劳。
体三维显示与传统的平面显示技术有着根本的区别。体三维显示所采用显示器不再是平面的，而是将物体的立体影像显示在一个真实的三维空间内，即物体空间和显示空间是一一对应的，显示空间保留了物体完整的三维信息。因为三维影像占据真实的物理空间，这种显示器也被称为“真三维”显示器。与二维数字图像中像素的概念类似，构成真三维影像的一个体积元可被称为“体素”。体三维显示器能够为观察者提供真实的距离与深度，观察者可以直接用裸眼观察到悬浮于显示空间中的三维影像，当围绕显示器改变观察方向时，便会看到物体的不同侧面，如果观者真实的物体一样，自动满足物理深度和心理深度的需求，非常适合多个用户分享数据。
对体三维显示器的研究始于上世纪60年代，主要有两种技术路线：扫描式体显示技术和固态式体显示技术。关于体三维显示分类和详细介绍参考“Barry G. Blundell编著，《Enhanced visualization》，John Wiley & Sons，Inc，2007”。固态式体显示技术尚无合适的激励源和具有充分光转换效率的发光介质，体素被串行激活，体素总数不超过五十万，无法表述复杂的图像信息或活动的光点信息，诸多的物理和技术限制使建成的实验装置显示范围小、分辨率低、局限于简单的字母或图形静态显示，短期内不易实现大尺度、高分辨率、高亮度的真三维显示。扫描体技术应用较多，该技术利用周期性运动的靶屏扫描出一个三维空间用于立体成像。1960年左右，ITT实验室发明了一种基于高亮度阴极射线管和旋转荧光屏的体三维显示器。进入九十年代和本世纪，体三维显示技术的代表性样机有：Felix系统和Perspecta系统。”
德国D. Bahr等利用三色激光器扫描一个快速旋转的螺旋屏，通过调制器和扫描器分别控制激光的强度和偏转角度，在螺旋屏表面上产生瞬时光点，随着激光器的偏转和螺旋屏的旋转，就能在圆柱状的真实三维空间内产生许多光点。参见“Knut Langhans，Detlef Bahr，Daniel Bezecny et al．FELIX 3D display: an interactive tool for volumetric imaging[C]，Proc. SPIE，2002，4660：230-245．观察者将因为视觉暂留而感知到一个三维影像体。这种基于螺旋屏加激光扫描的Felix体三维显示系统，不需要复杂的转向光学部件即可巧妙地避免体素重叠死区。但缺点是激光扫描器的速度有限，系统只能以串行方式传输数据流，每次只能产生一个体素，这对于传送体三维显示的海量数据来说是远远不够的。
2001年美国Actuality Systems公司研制的Perspecta 3D System系统利用专用的高速DLP（Digital Light Processing，数字光处理）投影仪，将物体的二维截面序列投射到一个快速旋转的散射屏上，利用视觉暂留而融合为空间三维图像。参见“Favalora G E，Dorval R K，et al．Volumetric three dimensional display system with rasterization hardware[C]，Proc SPIE，2001，4297：227-235．”目前，该系统提供直径为10英寸的球形图像空间，二维截面的分辨率为768×768，截面总数为198，体素总数最多可达1亿，显示刷新率30 Hz，最高分辨率时可显示8种颜色，体显示系统360度可周视，大于180度俯仰视。这是目前国际上唯一的一台商品化的体三维显示系统，该系统的出现进一步促进了真三维显示技术的发展。这种方法可以解决Felix系统在数据流传输时的低带宽问题。然而为了解决因平面屏而带来的体素重叠死区，系统引入了复杂精密的光学中继转向器件，这增加了系统的制备难度和生产成本，因而设备价格十分昂贵。
国内对于体三维显示技术的研究始于本世纪初，浙江大学于2003年研制出“LED体三维显示系统”，取得了较好的体三维显示效果。参见“林远芳，刘旭，刘向东，张晓洁等．基于旋转二维发光二极管阵列的体三维显示系统[J]，光学学报，2003，23(10)：1158-1162．”但是这种显示方法采用LED（Light Emitting DiodeLight Emitting DiodeLight Emitting Diode，发光二极管） 阵列平板旋转出三维显示空间。三维图像的清晰度受到LED阵列密度的限制和LED开关时间的影响，欲产生高清晰度体三维显示系统，不但LED阵列的密度难以提高，将海量三维数据传输给旋转屏幕也很困难。同时由于该方法受限于平板旋转屏的结构，三维体素的空间分布不均匀，显示图像质量难以提高。
发明内容
本发明目的是针对现有技术存在的缺陷提供一种基于空间逐层扫描的真三维立体显示系统及其显示方法，是一种新型的三维显示终端和人机交互接口。
本发明为实现上述目的，采用如下技术方案：
本发明基于空间逐层扫描的真三维立体显示系统，其特征在于包括数据采集装置、控制主机、DMD引擎、光学投影装置、旋转螺旋面和伺服系统，其中数据采集装置的输出端依次串接控制主机、DMD引擎、光学投影装置后接旋转螺旋面的图像输入端，旋转螺旋面的位置信号输出端接伺服系统的反馈输入端，伺服系统的驱动信号输出端接旋转螺旋面的速度信号输入端，伺服系统的反馈输出端接数据采集装置的输入端。
所述伺服系统由反馈元件串接驱动电机构成。
所述的基于空间逐层扫描的真三维立体显示系统的显示方法，包括以下工作步骤：
1）模型的三维光栅化：利用规则采样栅格将物体离散成体素集合；
2）切片图像渲染：确定体素与某一时刻扫描屏幕的隶属关系并利用体绘制方法生成物体的切片图像；
3）光学投影显示：由旋转屏幕逐层扫描出一个立体空间，采用数字投影设备将三维场景离散后的二维切片图像依次投影到旋转屏幕上，切片图像被人眼融合并感知为三维影像。
所述模型的三维光栅化方法包括：
（1） 体素阵列的初始化
设置体素空间的分辨率为n×n×n，其中n为在三个正交方向上的体素数目。体素空间是一个归一化的正立方体空间，其范围为x、y、z =[-0.5，0.5]，其中 x、y、z是笛卡尔坐标系中的三个坐标轴，坐标原点位于体素空间的中心位置。体素中心为采样栅格点，体素空间初始化完毕之后，读取外部网格模型并将读取的模型并映射到体素空间内。
（2） 三维光栅化
三维光栅化对步骤（1）所述缩放到体素空间内的三维网格模型的表面进行二值体素化操作，每个体素只有一个数据值，被映射到集合{0，1}上。
所述切片图像渲染方法如下：
把离散好的体素模型转换成为N个沿z轴的两维投影，其中z轴为屏幕的转轴，方向竖直向上，N为投影数量。每个两维投影具有L×M 分辨率，L与M分别为投影图像在两个方向上的像素数目；每个两维投影的时序与显示面旋转位置同步，依次顺序进行；两维投影投射到旋转面上的N个切片图像融合成一幅三维图像，把所述整个三维图像数据沿z轴剖分成N层，每一层都具有螺旋面的形状；层与层之间不重合，相差360/N度空间旋转角；对于体素模型的任意一个体素，设d为体素中心与螺旋面之间的垂直距离，计算d，如果它与某一位置的螺旋截面之间的距离d为最小值，则该体素被该位置的螺旋面扫描显示出来，然后将属于这个螺旋面的体素投影到水平面并用抛雪球算法渲染成一副切片图像。
本发明的有益效果在于：
螺旋面结构的设计克服了旋转平面易产生不均匀空间和成像死区的缺点，有利于构造高保真的成像空间。旋转运动和螺旋面的组合是满足成像空间均匀、高利用率要求的最佳构建模式。
投影系统设计具有并行扫描激活体素的优点，利用DMD为核心的高速投影控制模块可产生高速变换的二维数据投影帧，可实现高达每帧1024×768个体素，刷新率5000帧/秒的激活量，不像以激光扫描系统为代表的串行扫描方式，每次只能产生一个体素，克服了制约产生高清晰度体三维显示的瓶颈。
相对其他基于平面显示的立体显示方式，在硬件基础上配合专门设计的图形渲染和显示方法，所呈现三维图像就像真实三维物体一样“漂浮”在三维空间中，不存在降维显示的问题，保留了物体完整的三维尺度信息，观看者无需佩戴特殊眼镜便可从不同角度观察三维影像的不同侧面，因而为视觉系统提供了完备的生理和心理的感知条件。
附图说明
图1为基于空间逐层扫描的显示系统的构成框图。
图2为系统效果示意图：
1—高速投影设备，2—图像数据，3—控制主机，
4—屏幕位置反馈信号，5—运动伺服系统，6—双螺旋屏幕。
图3为高速投影控制模块方案
1—控制主机，2—ALP-3+DMD DiscoveryTM3000 高速控制板，
3—ALP-3与DMD DiscoveryTM3000通信的高速并口，
4—DMD芯片，5—USB控制器，6—电源接口，+5V。
图4为双螺旋扫描屏幕示意图。
图5为系统软件框架。
图6为体素化原理示意图。
图7为单个体素与三维平面几何关系示意图：
C—体素的中心点，L—体素的边长，CN—平面P的法线，
图8为体素与三角形的位置关系。
图9为三维数据切割示意图。
具体实施方式
首先，按照如图1所示的系统框图进行系统布局，系统效果图如图2所示。装备数据采集卡的计算机作为控制主机执行图形渲染核心及切片图像的投影控制。
（1）硬件配置
光学投影系统采用光栅化的显示硬件配合光学系统实现高速并行的体素激活方案。投影控制模块（即图1所示DMD引擎）基于DMD Discovery??3000（美国德州仪器公司生产的DMD控制芯片组）+ ALP-3控制模块（德国ViALUX公司针对Discovery??3000设计的一种高速接口子板）设计。ALP-3 控制模块是一块基于DMD Discovery 3000 的Virtex-4 FPGA（Field Programmable Gate Array，现场可编程逻辑门阵列）逻辑控制子板，支持XGA (Extended Graphics Array，延伸绘图阵列，分辨率为1024×768)和SXGA (Super Extended Graphics Array，高级扩展图形阵列，分辨率为1400×1050)分辨率。通过并口直接连接到DMD Discovery 3000 板上，与主机之间使用USB 2.0通讯。如图3、4所示。ALP-3模块作为高速传输的用户接口，将寄存在DMD Discovery 3000 板内Virtex-4 FPGA设置为高性能通道，连接1 Gbit 板载 DDR RAM 缓存和Discovery 3000 Controller控制器。DMD芯片接受帧序列输入，由USB 2.0控制器输入数据，载入DDR RAM（Double-Data-Rate Synchronous Dynamic Random Access Memory，双通道同步动态随机存储器|），并经由高速FPGA逻辑传输给DMD控制器。加载成功后，对帧列进行调配，重复循环显示。数据加载的操作与图像序列显示互不影响，可同时进行。DMD控制器一方面接收图像数据，对数字微镜进行信息编码，另一方面，接收光源发出的连续光，利用编码信号控制微镜片跳转对各像素点光路进行通断控制，引导光源在显示屏幕上形成关于对象物的图像。利用ALP-3控制模块提供的API（Application Program Interface，应用程序接口）函数，可编程实现不同类型，二进制或灰度模式，及不同长度的XGA或SXGA帧序列图像的存储、载入和显示。控制主机发出的高速变换的图像流调制DMD芯片上的微镜阵列开启或关闭，可以控制由其反射的光线，从而调制出高速变换的图像。投射到显示空间的图像被螺旋面截获，形成可见光点。由于螺旋面连续地旋转，在不同时间投射出的图像被螺旋面在不同高度上截获。若螺旋面旋转频率大于临界闪光融合频率（约20Hz），人眼便可将连续变换的图像其感受为完整的三维影像。
控制模块可以精确控制图像切片序列的投影时序，在伺服反馈元件和数据采集装置的配合下对屏幕每转一周进行一次同步校准（在转轴过0度位置时，由编码器），保证每幅投影切片可被旋转屏准确截获，实现清晰、稳定、无闪烁的真三维立体显示。
采用双旋转螺旋面的旋转方式来构建成像空间，双屏设计的思想是单导程螺旋面（螺线沿轴心旋转360度）沿垂直的中轴平均划分成两个部分，其中一半逆向旋转180度后与另一半拼合。在被动发光激活的情况中，光束沿与中轴平行方向从下往上或从上往下激活螺旋面上人为划定的某一像素单元区域，该像素沿光束方向（轴向）在两点之间运动，拉伸成发光体素。这时由于螺旋面是空间曲面片，当它绕中心轴旋转时，相邻的片与片之间不重合，相差360/N度空间旋转角，N为所设定的螺旋屏的位置个数，螺旋面片上的像素运动情况即等价于像素沿轴向在两个相距360/N的水平面间作竖直移动，因此体素大小可以近似均等，这说明螺旋面构建了一个体素大小一致的均匀成像空间，符合设计要求。针对大型显示空间的设计要求，取螺旋面的高度H=250mm，半径L=250mm，壁厚d=3mm，以垂直中线H为路径，水平矩形L×d为轮廓，由“扫描特征”建立双屏螺旋面的三维几何模型，随后在中轴处开通孔：直径8mm，壁厚4mm。如图4所示。光学投影系统置于双螺旋屏幕的正上方，根据需要可以配置成半屏或全屏显示方式。螺旋扫描屏是接收图像数据流信息，形成三维图像的关键部件为了实现投影光线无遮挡的穿透屏幕均匀进入人眼，对材料的透明度要求高，具有各项同性的散射特点；另外还需要保证在设计转速要求下持续稳定的工作，因此材料属性必须同时满足透明度和高机械强度的双重要求。选择了半透明高强度光敏树脂、RP（Rapid Prototyping，快速成型）直接制造、双屏结构的设计方案。光敏树脂件是很高的透明度，其透射反射率，可以通过表面打磨进行调控。
（2）软件算法设计
系统的软件框架如图5所示。通过应用程序读取三维网格模型，如3DS文件或STL文件，保存模型的表面信息，包括顶点、面片及法向信息，经过必要的几何变换如旋转缩放后，将模型的表面进行三维光栅化，得到离散的体素形式。在切片图像渲染阶段，将构成离散模型的体素划分到各层螺旋面上，属于统一层螺旋面的体素利用抛雪球算法被渲染到一个平面切片图像上。
A 模型的三维光栅化
三维光栅化将模型的连续表面离散化成体素形式，采用基于欧氏距离判断的方法来确定模型表面对空间体素的占有属性。给定一个平面Π，在规则的体数据空间中，所有被该平面经过的体素集合构成了该平面的体素化表达。赋予平面一定的厚度，做法是在平面Π的两侧分别建立与其平行的另外两个平面Π 1、Π 2。通过选择平面Π 1、Π 2之间的体素，就可以实现对平面Π厚度的控制，如图6所示。
假设平面Π的一般方程为
(3.1)
平面Π 1、Π 2的方程为
(3.2)
其中，t n 为平面Π 1、Π 2到平面Π的距离，t n >0。
设体素中心在离散空间中的物理坐标为(x，y，z)，由点到平面的距离公式，可求得体素中心到平面Π的欧氏距离Dist为：
为计算简便，将法向量归一化，即，那么
如果满足条件：Dist< t n ，即
则该体素属于离散平面??。
对于三维笛卡尔采样栅格，单个体素的形状为一个立方体，如图7所示，
与
分别是产生M = 6、26的体素表面所需要的距离阈值。
三维光栅化时需要遍历模型的每个三角形面片进行离散。先将体素空间初始化并将模型归一化到体素空间内。设置体素空间的分辨率为n×n×n，其中n为在三个正交方向上的体素数目，体素空间是一个归一化的正立方体空间，其范围为x、y、z [-0.5，0.5]，其中 x、y、z是笛卡尔坐标系中的三个坐标轴，坐标原点位于体素空间的中心位置。体素中心即为采样栅格点，体素中心位于两个整数索引的中间。以三维笛卡尔采样栅格为例，根据三维采样理论，其采样矩阵可以表示为
矩阵
的行向量是采样空间的三个基向量并且是两两正交的。对体素的空间位置赋值，设设采样点即体素中心在离散空间中的逻辑坐标为(i，j，k)，物理坐标可表示为
遍历构成模型的所有三角形顶点确定三个坐标分量最小、最大值分别为：x min、 x max， y min、y max，zmin、zmax，以点P l (x min，y min，zmin)，P h (x max，y max，zmax)为对角顶点便可以构造出六面体的包围盒。最小包围盒的三个轴向跨度分别为：x max-x min、y max- y min、zmax-zmin，取其中的最大值，记为d，作为模型所放的标准。设顶点原坐标为(x，y，z)，归一化后的坐标为(x n ，y n ，z n )，对模型的每个顶点做如下的归一化处理：
通过以上计算，模型便被缩放到体积为1的正立方体采样空间内。
由于三角形是平面上的一个有界闭区域，所以在体素化时要考虑边界约束条件。在计算三角形最小包围盒内的体素到三角形的距离时，在三角形所在平面建立仿射标架， 将体素中心向该平面投影，计算投影点在仿射标架中的坐标，通过该坐标值有效判断体素与三角形的位置关系，如图8所示。记体素中心点为P，求点P到三角形ABC的距离。
令 u =
， v =
，那么
以A为基点， u ， v 为单位向量建立仿射标架，那么P的投影O可以表示为：
s，t为投影点O的仿射坐标值。若，则点O在第一象限；若
，则点O在三角形ABC的内部，反之在三角形外部。根据这个原理，可以判定点O与三角形ABC的关系。
下面利用原正交坐标系来求解向量
在仿射坐标系下的坐标值s和t。设P点在正交坐标系中的坐标为(x P ，y P ，z P )， P在平面a上的投影O的坐标为(x O ，y O ，z O )，设平面a 的方程为：
由于O是P在a上的投影，所以直线OP的方向向量与三角形ABC的法向量平行，易知三角形ABC的法向量为 n =(a，b，c)，可得直线OP的参数方程为：
带入平面方程可得：
进一步可以得到投影点O的坐标 (x O ，y O ，z O )为：
在正交直角坐标系中，向量
，
，
，故
因此，
由方程组任何两个方程都可以解得s、t的值。因为在笛卡尔正交坐标系中的点有三个坐标分量，而在我们规定的仿射坐标系中，只需要s和t两个坐标值便可确定点O。 所以，其实只要取出三维坐标当中的两个坐标分量就可以计算出s和t。在实际中，可以取绝对值小的那两个坐标分量来计算。
可以解得，
求得向量
在仿射坐标系中的坐标s、t后，根据前面的分析，在，
的前提下，当满足条件下列条件：
1) 
且
时，点O在三角形ABC的内部；
2) ，
，或
，
，或
时，点O分别位于三角形ABC的三条边上；
3) 
，，或，，或
，时，点O分别位于三角形ABC的三个顶点上。
为了使三角形完全体素化，包括三角形的内部和边界，将边界条件取为
且
。只有同时满足边界条件和距离条件的体素才是构成体素化表面的体素。
B 切片图像渲染
由于Helix-3D采用的旋转显示屏是螺旋面，需要把整个三维显示数据沿z轴（z轴为屏幕的转轴）切割成若干层，每一层都具有螺旋面的形状。层与层之间不重合，相差360/N度空间旋转角，N为所取的屏幕旋转位置的数量，等于物体切片图像的数量。图9显示了三维数据的螺旋切片操作的原理示意图。
对于任何一个非零三维体素，记为F(x i ,y i , z i )，计算与所有位置的旋转螺旋面之间的垂直距离d，如果它与某一位置的旋转螺旋面之间的距离d为最小值，则认为该体素属于该旋转螺旋面。
空间点与曲面距离的求法是，将曲面划分网格，选出空间点到网格节点的最短距离。对划分好网格L × M × N的螺旋面，L、M、N为沿三维笛卡尔坐标三个方向上的分辨率。沿x、y、z三个维度方向依次进行最邻近点的线性搜索，找出与体素距离最短的网格节点，由该节点所在的螺旋面，得出该体素与螺旋面之间的隶属关系。
最近邻点搜索算法的具体步骤如下：
1) 对于非零体素F(xi,yi,zi)，沿x方向进行搜索，找出最近邻点集，记为P{Si≈xi}；
2) 再沿y方向进行搜索，找出最近邻点集，记为L{Sj≈yj}；
3) 由P∩L确定其交点，记为Sk(Si,Sj)，沿z方向搜索最近邻点，则点Q{Sk(Si,Sj)≈zi}即为所求。
若L=M=N=n，上述算法复杂度为O（n）。由时间复杂度的比较结果来看，随着切片分辨率n的不断增大，算法时间耗费的增长程度，远小于穷举法，因此算法的执行效率也相对更高一些。
另外，可以通过最近邻点的线性搜索法，事先计算好每一个体素与各个旋转螺旋面的隶属关系，列出一张查询表，然后再利用“逆向分配”的思路，对各个螺旋面的三维空间位置做好索引，将三维物体的数据依次分配到相应的螺旋面上去，可以大大减少实时计算量。
| 体素数据编号 | 位置坐标(x,y,z) | 所隶属的螺旋面编号 |
| 1 | (30.22,25.10,214.68) | 43 |
| 2 | (95.05,48.81,5.20) | 6 |
| 3 | (2.46,130.96,78.64) | 25 |
| … | … | … |
| N | (162.04,52.74,201.25) | N |
确定体素对螺旋面的归属后，将每层螺旋面上的体素投影到水平x-y平面并用抛雪球算法渲染成一副切片图像。在抛雪球算法中，一个体素的颜色不仅写入它在切片平面上的投影像素点，而且还对该像素周围的像素产生不同程度的影响。这样可以在一定程度上削弱由于体素空间的离散而造成的显示图像的走样现象。
第一步，确定投影次序，在这里从前至后与从后至前是等价的，因为体图形与视点无关，不存在光线的阻隔问题。第二步，计算体素投影在像平面上的分布，用一个称作足迹的圆形区域来定义每个体素投影的影响范围，采用平行投影，每个体素的形状都是一样的。按照重构理论，每个溅点是三维sinc函数的投影，一种比较好的近似方法是使用高斯溅点，即用高斯函数定义程度分布，它是三维sinc函数的高斯近似投影，可以使得图像的颜色变化比较连续和平滑，减轻边界锯齿走样现象。对每层螺旋面上的体素采用平行投影，每个体素的形状都是一样的，不必对每个体素都进行投影，而可以把溅点保存为位图形式，存入体缓存中。切片图像按照螺旋截面的位置按照顺序进行编号，这样就可以在显示时按时序依次投影出来，合成一副完整的三维影像。
本发明能够在真实物理空间再现物体三维信息的立体三维显示器，问题的关键在于三维体数据的生成，基于双螺旋屏幕逐层扫描的成像空间构建和精确的投影控制与运动匹配。由于影像具有真实的物理深度，图像空间和显示空间一一对应，即显示空间本身是立体的，可以完整保留物体的三维尺度，因此称为 “真三维立体显示器”。显示系统以体素为基本显示单元构造出具有真实三维尺度的立体影像，成像方式与视点无关，三维图像浮现在真实的立体空间中，符合人眼自由立体观察要求，具备运动视差。一个或多个用户可以环绕显示器选择观察位置从而观察到物体的各个不同部分，如同观察真实物体一般。作为一种革命性的三维显示终端和人机交互接口，该立体显示系统以其独特的真三维显示环境为用户提供自由裸视、自然无约束的三维交互新感受，是一种真实、自由、人性化的显示方式，适应新一代以人为本的人机交互技术，预计在工程、科学、医学、军事、文化娱乐和商业等各个领域具有广泛的应用价值。
Claims (1)
1.一种基于空间逐层扫描的真三维立体显示系统的显示方法，所述显示系统包括数据采集装置、控制主机、DMD（Digital Micro-mirror Device，数字微镜设备）引擎、光学投影装置、旋转螺旋面和伺服系统，其中数据采集装置的输出端依次串接控制主机、DMD引擎、光学投影装置后接旋转螺旋面的图像输入端，旋转螺旋面的位置信号输出端接伺服系统的反馈输入端，伺服系统的驱动信号输出端接旋转螺旋面的速度信号输入端，伺服系统的反馈输出端接数据采集装置的输入端；所述伺服系统由反馈元件串接驱动电机构成；
所述显示方法包括以下工作步骤：
1）模型的三维光栅化：利用规则采样栅格将物体离散成体素集合；
2）切片图像渲染：确定体素与某一时刻扫描屏幕的隶属关系并渲染该时刻投影所需要的切片图像；
3）光学投影显示：由旋转屏幕逐层扫描出一个立体空间，采用光学投影装置将三维场景离散后的二维切片图像依次投影到旋转屏幕上，连续变换的一系列切片图像被人眼融合并感知为三维影像；
所述模型的三维光栅化方法包括：
（1）体素阵列的初始化
设置体素空间的分辨率为n×n×n，其中n为在三个正交方向上的体素数目；体素空间是一个归一化的正立方体空间，其范围为x、y、z∈[-0.5，0.5]，其中x、y、z是笛卡尔坐标系中的三个坐标轴，坐标原点位于体素空间的中心位置；体素中心为采样栅格点，体素空间初始化完毕之后，读取外部网格模型并将读取的模型映射到体素空间内；
（2）三维光栅化
三维光栅化对步骤（1）缩放到所述体素空间内的三维网格模型的表面进行二值体素化操作，每个体素只有一个数据值，被映射到集合{0，1}上；
所述切片图像渲染方法如下：
把离散好的体素集合转换成为N个沿z轴的两维投影，其中z轴为屏幕的转轴，方向竖直向上，N为投影数量；每个两维投影具有L×M分辨率，L与M分别为投影图像在两个方向上的像素数目；每个两维投影的时序与显示面旋转位置同步，依次顺序进行；两维投影投射到旋转面上的N个切片图像融合成一幅三维图像，把整个三维图像数据沿Z轴剖分成N层，每一层都具有螺旋面的形状；层与层之间不重合，相差360/N度空间旋转角；对于体素模型的任意一个体素，设d为体素中心与螺旋面之间的垂直距离，计算d，如果它与某一位置的螺旋截面之间的距离d为最小值，则该体素被该位置的螺旋面扫描显示出来，然后将属于这个螺旋面的体素投影到水平面并用抛雪球算法渲染成一副切片图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN 201010521329 CN102055996B (zh) | 2011-02-23 | 2011-02-23 | 基于空间逐层扫描的真三维立体显示系统及其显示方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN 201010521329 CN102055996B (zh) | 2011-02-23 | 2011-02-23 | 基于空间逐层扫描的真三维立体显示系统及其显示方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN102055996A CN102055996A (zh) | 2011-05-11 |
| CN102055996B true CN102055996B (zh) | 2013-01-23 |
Family
ID=43959854
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN 201010521329 Expired - Fee Related CN102055996B (zh) | 2011-02-23 | 2011-02-23 | 基于空间逐层扫描的真三维立体显示系统及其显示方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN102055996B (zh) |
Families Citing this family (25)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DK2732434T3 (en) * | 2011-07-15 | 2018-12-17 | 3Shape As | DETECTING A MOVABLE ITEM BY 3D SCANNING OF A RIGGET ITEM |
| CN102361497B (zh) * | 2011-11-15 | 2013-10-23 | 南京大学 | 一种空间立体视频的显示方法 |
| JP2013190671A (ja) * | 2012-03-14 | 2013-09-26 | Ricoh Co Ltd | 画像投影装置、明暗処理方法及びプログラム |
| TWI472805B (zh) * | 2013-07-15 | 2015-02-11 | Delta Electronics Inc | 立體顯示裝置與應用其之投影方法 |
| CN104423137B (zh) * | 2013-09-04 | 2018-08-10 | 联想(北京)有限公司 | 三维显示装置、显示方法和电子设备 |
| CN105677277B (zh) * | 2016-01-06 | 2018-09-11 | 重庆真测科技股份有限公司 | 一种三维可视化切片显示方法 |
| CN106162120A (zh) * | 2016-06-30 | 2016-11-23 | 联想(北京)有限公司 | 一种投影系统及投影方法 |
| EP3389265A1 (en) * | 2017-04-13 | 2018-10-17 | Ultra-D Coöperatief U.A. | Efficient implementation of joint bilateral filter |
| CN107517371A (zh) * | 2017-09-25 | 2017-12-26 | 陕西国广数码科技有限公司 | 旋转面板显示三维立体图像系统和显示方法 |
| CN108198238B (zh) * | 2018-01-30 | 2021-06-22 | 北京小米移动软件有限公司 | 全息投影设备、方法、装置及计算机可读存储介质 |
| CN108121080B (zh) * | 2018-01-31 | 2024-04-16 | 安徽省东超科技有限公司 | 一种基于往复式图像扫描的体三维显示装置及其控制方法 |
| CN108471527A (zh) * | 2018-05-10 | 2018-08-31 | 张文虎 | 一种扫描式全角度裸眼3d显示技术 |
| CN108776994B (zh) * | 2018-05-24 | 2022-10-25 | 长春理工大学 | 基于真三维显示系统的Roesser模型及其实现方法 |
| TWI671711B (zh) * | 2018-05-29 | 2019-09-11 | 崑山科技大學 | 模擬畫作於環境空間中的光線分佈之裝置及方法 |
| CN108847147A (zh) * | 2018-09-07 | 2018-11-20 | 速亿联科技发展（深圳）有限公司 | 一种旋转屏立体成像装置 |
| CN109547758A (zh) * | 2018-11-27 | 2019-03-29 | 夏志豪 | 一种可触摸式空间全息投影装置及其应用 |
| CN109448599B (zh) * | 2018-11-27 | 2019-10-15 | 黑龙江大学 | 一种空中虚拟沙盘系统及展示方法 |
| CN110364096B (zh) * | 2019-08-12 | 2024-04-05 | 张枫 | 一种体三维显示装置 |
| CN111127629A (zh) * | 2019-11-28 | 2020-05-08 | 武汉烽火信息集成技术有限公司 | 一种动态三维可视化系统及方法 |
| CN111104641B (zh) * | 2019-12-10 | 2023-07-21 | 重庆大学 | 一种三维空间内的计算机识别晶粒方法 |
| CN111070664B (zh) * | 2019-12-30 | 2022-03-04 | 上海联影医疗科技股份有限公司 | 一种3d打印切片生成方法、装置、设备和存储介质 |
| CN111292230B (zh) * | 2020-02-18 | 2023-04-28 | 上海交通大学 | 深度学习中螺旋变换数据扩增方法、系统、介质及设备 |
| CN112927334B (zh) * | 2021-02-22 | 2023-06-16 | 中铁二院工程集团有限责任公司 | 一种基于gpu的三维模型快速体素化方法 |
| CN113160241B (zh) * | 2021-03-18 | 2024-05-10 | 苏州云图健康科技有限公司 | 医学影像的容积渲染显示方法以及装置、存储介质、电子装置 |
| CN113422948B (zh) * | 2021-06-30 | 2022-07-15 | 华中科技大学 | 一种基于位置匹配的切片式三维图像显示方法及系统 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101632312A (zh) * | 2006-12-04 | 2010-01-20 | 珀莱特公司 | 用于三维显示系统的调制器装置和设备 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB0400373D0 (en) * | 2004-01-09 | 2004-02-11 | Koninkl Philips Electronics Nv | A three-dimensional display |
-
2011
- 2011-02-23 CN CN 201010521329 patent/CN102055996B/zh not_active Expired - Fee Related
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101632312A (zh) * | 2006-12-04 | 2010-01-20 | 珀莱特公司 | 用于三维显示系统的调制器装置和设备 |
Non-Patent Citations (2)
| Title |
|---|
| Jianfang Xing等.A Highly Parallel Beam-Addressed True Three-Dimensional Volumetric Display System.《Photonics Optoelectronic(SOPO),2010 Symposium on》.2010,1-5页. * |
| JP特表2007-519958A 2007.07.19 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN102055996A (zh) | 2011-05-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102055996B (zh) | 基于空间逐层扫描的真三维立体显示系统及其显示方法 | |
| CN104427325B (zh) | 快速集成图像生成方法及与用户交互的裸眼三维显示系统 | |
| US5751927A (en) | Method and apparatus for producing three dimensional displays on a two dimensional surface | |
| CN112704516B (zh) | 三维超声流体成像方法及系统 | |
| CN103337095A (zh) | 一种真实空间三维地理实体的立体虚拟显示方法 | |
| CN108573521B (zh) | 基于cuda并行计算框架的实时交互式裸眼3d显示方法 | |
| CN107483910B (zh) | 一种长距离裸眼立体显示方法及其系统 | |
| CN105093551B (zh) | 景观环境实时表现中的真三维立体显示系统及显示方法 | |
| CN107193124A (zh) | 集成成像高密度小间距led显示参数设计方法 | |
| CN105353873A (zh) | 基于三维显示的手势操控方法和系统 | |
| CN101414383B (zh) | 图像处理设备和图像处理方法 | |
| CN102361497B (zh) | 一种空间立体视频的显示方法 | |
| Geng | A volumetric 3D display based on a DLP projection engine | |
| US20090102834A1 (en) | Image processing apparatus and image processing method | |
| CN103885280A (zh) | 基于混合屏的真三维显示系统及方法 | |
| Ebert et al. | Realizing 3D visualization using crossed-beam volumetric displays | |
| CN108230433A (zh) | 3d地图散点数据展示方法及系统、信息数据处理终端 | |
| Yang et al. | Nonlinear perspective projections and magic lenses: 3D view deformation | |
| CN108230378B (zh) | 一种基于光线追踪的计算全息遮挡处理算法 | |
| CN103617593B (zh) | 三维流体物理动画引擎的实现方法及装置 | |
| CN117115398A (zh) | 一种虚实融合的数字孪生流体现象模拟方法 | |
| PP et al. | Efficient 3D visual hull reconstruction based on marching cube algorithm | |
| Favalora et al. | A multi-megavoxel volumetric 3-D display system for distributed collaboration | |
| Ali et al. | Model for wireless image correlation assisted by sensors based on 3D display technology | |
| Lomas | Enhancing Perception of Complex Sculptural Forms Using Interactive Real-time Ray Tracing |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20130123 Termination date: 20190223 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |