CN103019023B - 基于体视技术的全视角三维显示系统和方法 - Google Patents

Abstract

本发明涉及三维图像显示技术领域，具体涉及一种基于体视技术和分时复用技术来实现的互动式360°可视三维显示系统和方法。基于体视技术的全视角三维显示系统，包括一旋转平台、一投影单元、一旋转镜、一光路折转单元、一共焦透镜单元、一观察者定位单元、一空间鼠标单元、一控制单元，通过合理设计视差图像投影光路，将投影视差图像的分布空间和目标图像显示区域进行空间上的分离，并在目标图像显示区域引入可以对显示三维图像进行指示和菜单操作的空间鼠标，实现互动式的三维图像显示。

Description

基于体视技术的全视角三维显示系统和方法

技术领域

本发明涉及三维图像显示技术领域，具体涉及一种基于体视技术和分时复用技术来实现的互动式360°可视三维显示系统和方法。

背景技术

由于二维显示难以清楚准确表达第三维的深度信息，人们一直在致力于研究可显示立体场景的显示技术——三维图像显示技术。目前比主要的三维技术为体视三维图像显示技术，通过给观察者的双目提供不同视角的平面图像，由人脑合成获取三维显示效果。但由于通常意义上的体视技术是一种假三维技术，存在图像聚焦距离和汇聚距离不一致的问题，容易造成观察者视觉疲劳，且受显示系统所能提供视差图像数量的限制，现有体视技术所能实现的显示视角往往时有限的。另外一方面，就像在电脑屏幕可以使用鼠标对显示的二维图像进行鼠标指示和菜单操作一样，人们希望在显示的三维图像也可以通过一个三维鼠标对显示内容进行像点指示和菜单操作。

发明内容

本发明解决的技术问题是提供基于体视技术的全视角三维显示系统和方法，采用高频的刷新频率的光调制器器件，结合观察者定位技术，通过投影和观察者位置相关的视差图像，依靠人眼的视觉滞留，实现全视角的三维图像显示。

为解决上述技术问题，本发明采用的技术方案是：基于体视技术的全视角三维显示系统，包括：

一旋转平台，绕系统光轴旋转；

一投影单元，其包括：加载视差图像信息的二维光调制器件、控制出射光衍射角大小的衍射元件和放大上述光调制器件的输出光信息并将该放大光信息投影到上述衍射元件的转换透镜或转换透镜组，该投影单元的数量为至少一个，各组成器件根据需要固定或绕系统光轴旋转；

一旋转镜，随旋转平台绕系统光轴旋转，为反射镜或半反半透镜，数量为至少一个；虚置目标三维图像于以系统光轴为中心的目标图像显示区域内，在旋转镜旋转到某角位置时，虚置目标三维图像关于该旋转镜的镜像，作为此时投影单元需要投影视差图像的三维图像原型；

一光路折转单元，由至少一个反射镜组成，各组成器件绕系统光轴转动，该光路折转单元的数量为至少一个，各组成器件均置于投影单元光路中，折转投影光路的传输方向；

一共焦透镜单元，由共焦面的两透镜组成，置于投影单元的衍射元件后，对衍射元件成像，拉大系统器件和旋转镜之间距离，为光路的折转提供空间，该共焦透镜单元数量为至少一个，固定或绕系统光轴旋转；在上述旋转镜旋转到任一角位置时，相应投影单元的光调制器件投影的视差图像被该投影单元的衍射元件衍射，并在该衍射元件附近生成一个光分布，通过光路折转单元和共焦透镜单元的单独或共同作用，使该光分布或其像的分布空间覆盖虚置目标三维图像关于该位置旋转镜的镜像所占用空间，并使该投影单元投影的光场经该位置旋转镜反射传输给观察者；

一观察者定位单元，确定观察者双目相对显示系统的空间位置；

一空间鼠标单元，其包括：操纵手柄、带操纵手柄的三维位移平台、置于该平台上的光标单元和置于上述操纵手柄上的左右两个功能键；在上述旋转镜和目标图像显示区域空间分离的情况下，该光标单元在目标图像显示区域内引入一个光标，并以该光标作为空间鼠标对显示的图像内容进行指示，观察者通过操纵手柄控制该三维位移平台带动光标单元在目标图像显示区域内自由移动，将光标单元引入的空间鼠标指示于目标图像显示区域内的任意空间位置；

一控制单元，对处于任一角位置的旋转镜，获取虚置目标三维图像关于该旋转镜的镜像，根据观察者双目相对显示系统的空间位置，以该镜像作为原型计算旋转镜旋转到此位置时投影单元需要投影的视差图像；当旋转镜旋转到不同角位置时，控制投影单元投影相应的视差图像；在系统引入光标单元且观察者单击右功能键时，反馈光标单元的空间位置，并记录光标单元当前空间位置对应的显示图像的像点，控制投影单元投影嵌入菜单的目标三维图像关于旋转镜的镜像的视差图像；观察者移动光标单元到显示的菜单选项并单击左功能键时，控制单元判定该选项被选定，并根据选定选项的要求对目标三维图像进行后台图像处理，得到处理后的图像作为新的目标三维图像，按上述方法控制投影单元投影新的视差图像。

进一步的，所述的投影单元的转换透镜可用衍射光学元件代替。

进一步的，所述的共焦透镜单元的透镜可用衍射光学元件代替。

进一步的，所述光标单元为粗糙切割的光纤，耦合进光纤的光束出射时在光纤断面处形成一个发散光点，以该光点作为空间鼠标对该光点所在位置光场内容进行指示。

进一步的，所述光标单元为可以自行发光或反射外部投射光的物点或具有一定几何形状的结构物，如LED、OLED、高温金属球或粗糙荧光球等。

基于体视技术的全视角三维显示方法，其包括以下步骤：

a、建立xyz轴坐标，z轴为系统光轴，目标图像显示区域为以系统光轴为中心轴的圆柱体区域，虚拟放置目标三维图像于该目标图像显示区域内；

b、绕系统光轴确定N个角位置：角位置1、角位置2…角位置N；旋转镜位于任意角位置n时，虚置目标三维图像关于该旋转镜的镜像为镜像n；

c、借助光路折转单元和共焦透镜单元，或直接设计投影单元的光路，在旋转镜旋转到角位置n时，使相应投影单元的光调制器件投影的视差图像被该投影单元的衍射元件衍射所生成的光分布或其像的分布空间覆盖镜像n所占用空间；以镜像n为对象由控制系统计算对应投影单元需要投影的视差图像n；当旋转镜旋转到角位置n时，对应投影单元投影视差图像n并被角位置n处旋转镜反射传输给观察者；旋转镜旋转速度很高时，基于视觉滞留，实现全视角三维图像显示；

d、在旋转镜和目标图像显示区域在空间上没有重合的前提下，观察者通过三维位移平台可以将空间鼠标移动到显示光场的任意位置，实现显示三维图像内容的三维鼠标指示；

e、当右功能键被单击时，控制单元记录空间鼠标单元此时指示显示图像的像点，并控制投影单元投影嵌入菜单图像的目标三维图像关于旋转镜的镜像，同步骤c，实现带嵌入菜单的三维图像的显示；

f、观察者移动空间鼠标到显示菜单的某选项处，单击左功能键，控制单元判定该选项被选定，并根据选定选项的要求对目标三维图像进行图像处理后得到新的目标三维图像，采用与步骤c同样的处理方式，显示新的目标三维图像，实现互动的三维图像显示。

与现有技术相比，有益效果是：本发明通过衍射光栅控制投影图像各像点衍射角的大小，借助于高速旋转的半透半反镜或反射镜的空间扫描，基于体视技术可以在360度的范围实现全视角的三维光场显示。通过合理设计视差图像投影光路，将投影视差图像的分布空间和目标图像显示区域进行空间上的分离，并在目标图像显示区域引入可以对显示三维图像进行指示和菜单操作的空间鼠标，实现互动式的三维图像显示。

附图说明

图1是本发明的单调制器件的互动式全视角三维显示系统示意图。

图2是获取视差图像的计算方法示意图。

图3含选项图标的嵌入菜单。

图4引入共焦透镜单元的显示系统部分结构示意图。

图5旋转投影单元结构示意图。

图6多个同步旋转的投影单元的分布示意图。

10、10'：投影单元    11、11'：光调制器件

12、12'：转换透镜    13、13'：衍射元件

20、旋转平台        30、30'：旋转镜               

40、光路折转单元       41、反射镜

50、50'：共焦透镜单元   51、51'：透镜

60、空间鼠标单元        61、三维位移平台

62、光标单元            63、操纵手柄

64、左功能键            65、右功能键

70、控制单元            80、观察者定位单元

具体实施方式

本发明基于体视技术和观察者追踪技术，通过旋转镜的反射扫描，设计互动式全视角三维图像显示系统。

采用单个固定的调制器件11和单个旋转镜30的系统光路结构如图1所示：旋转平台20绕系统光轴z轴旋转；投影单元10由二维光调制器11、转换透镜12和衍射元件13组成，用来使投影单元10的光路根据需要沿折线传输的光路折转单元40由插入投影单元10光路中的两个反射镜41组成，其中衍射元件13和光路折转单元40随旋转平台20同步旋转；衍射元件13的出射光被随旋转平台20同步旋转的旋转镜30反射给观察者，该旋转镜30为半反半透镜；在旋转镜30位于任意角位置n时，各旋转器件均绕系统光轴位于同样的角位置n，此时，定义平行入射光中过转换透镜12中心的光束为主光束，其传输路径位于同一平面内，定义此平面为主平面S_n，该平行入射光经转换透镜12汇聚于点P_n；设计各光学器件的空间位置，使衍射元件13关于旋转镜30的镜像处于以光轴为中心轴的柱体目标图像显示区域，且旋转镜30占用的空间和目标图像显示区域在空间上没有重合。

观察者定位系统80确定观察者距离系统光轴距离为d，其双目相对于原点所在的高度为h。以系统光轴上距原点高度为h的点为圆心，以d为半径做圆，此圆为观察者的观察位置圆。沿光路折转单元40两个反射镜41的反射面和旋转镜30的反射面对光路经进行折叠，如图2， 其中P_n ^'为图1中的P_n点经上述三个反射面反射得到的像点。连接P_n ^'和二维光调制器11的放大像上的像素点Pixel_m，包含P_n ^' Pixel_m且平行于z轴的平面交观察位置圆于V点。连接点Pixel_m和V，交虚置待显示三维图像关于对应位置旋转镜30的镜像于P_m点，则P_m点在Pixel_m上的投影在二维光调制器11上的对应值即为需要投影的像素值。对其它像素点同样处理，即可获得旋转镜30在角位置n时投影单元10需要投影的视差图像。

选择衍射元件13，使其在包含z轴的垂直平面内有较大的衍射角，在垂直于z轴的水平面内具确定的衍射角360°/N，N为正整数。设定N个角位置，各角位置的间距为360°/N。在不同角位置时，按上述方法获取对应的视差图像。

各绕系统光轴旋转的器件同步旋转到不同角位置时，投影单元10投影对应的视差图像，当各器件的旋转速度和光调制器件11的刷新频率都很高时，基于视觉滞留效应，实现全视角的三维图像显示。

由于目标图像显示区域和旋转镜30在空间上时分离的，可以在无实物存在的目标图像显示区域内引入一个耦合了光束的光纤头。该光纤头作为光标单元62由三维位移平台61承载在目标图像显示区的三维空间内自由移动。光标单元62的出射光形成一个向四周散射的光点，可以对显示于目标图像显示区域的虚目标三维图像进行空间内容的三维指示，就像我们在电脑屏幕上用二维鼠标对二维显示内容进行指示一样。三维位移平台61的操纵手柄63上设有两个控制键：左控制键64和右控制键65。移动光标单元62指示于显示光场的某空间位置时，控制单元70记录该位置光标单元所指示显示图像的像点。单击右功能键65，控制单元70控制系统显示嵌入了空间菜单的目标三维图像。

嵌入菜单的目标三维图像，采用如下方法获得：当系统各旋转器件同步旋转到任意角位置n时，在虚置目标三维图像中过系统旋转轴且垂直于主平面S_n插入一个平面P_n，P_n中沿z轴方向画有二维菜单的选项图标。简单以含有放大、缩小、前进到下一项操作和返回到前一项操作四个选项的菜单为例，如图3所示。考虑遮掩效应，目标三维图像中对嵌入菜单的选项图案有遮掩作用的部分需要去除，即得到位置n对应的嵌入菜单的目标三维图像n。嵌入菜单的目标三维图像n关于角位置n处旋转镜30的镜像，作为三维模型，采用图2所示解释的方法获得旋转镜30在角位置n时投影单元10需要投影的嵌入菜单的三维图像的视差图像。

不同角位置对应的二维菜单的选项图标相同，对应的嵌入菜单的目标三维图像是不同的。观察者观察时双眼看到的菜单图案完全一致，会产生一定的重影，但由于各图案在空间位置上比较接近，其重影的程度可以为系统容忍。则各绕系统光轴旋转的器件同步高速旋转到不同角位置时，投影单元10投影对应的嵌入菜单的三维图像的视差图像，基于视觉滞留效应，实现全视角的嵌入菜单的三维图像显示。

对每个菜单选项，其绕z轴旋转扫描过的空间作为该选项的有效空间。移动光标单元62到某菜单选项的有效空间并单击左功能键64时，控制单元70判定该选项被选定，并以控制单元70上次记录的光标单元62所指示的显示图像的像点为中心，后台按选定选项的要求对目标三维图像做电子图像处理。处理后得到的新的三维图像作为新的三维图像，由系统按同样的方法进行显示，完成互动式的三维图像显示。

在图1中，受旋转镜30和相邻光学元件衍射元件13之间有限空间的限制，当观察者的位置相对于目标图像显示区域沿z轴负方向移动时，旋转镜30可能会部分遮挡显示的三维图像。如图4所示，在衍射元件13后沿光路设置共焦透镜单元50，可以拉大旋转镜30和相邻光学元件之间的空间，此时该相邻元件为共焦透镜单元50的透镜51。这种光路设计，可以沿z轴方向为观察者获得更大的观察区域。

在图4中，旋转镜30沿光路位于衍射元件13的后面，目标图像显示区内显示的图像为虚像，同时为了保证观察者可以看到引入的光标单元62，该旋转镜30要为半透半反镜。若空间允许，沿光路置旋转镜30位于衍射元件13前面，可以将衍射光线会聚目标图像显示区，沿光束传输方向，在目标图像显示区内衍射元件13的后面，得到实的显示图像，此时的旋转镜30可以采用反射镜，降低半透半反镜对系统入射光强的浪费。若在目标图像显示区内衍射元件13的前面部分也由图像显示，此部分图像为虚像，则整个目标图像显示区内显示的图像为部分实像和部分虚像的合成。

对于系统中的衍射元件13，在图4中，可以采用以系统光轴为中心的一个静止的圆环型衍射光栅，其衍射特性为：在包含系统光轴的平面内衍射角较大，在绕旋系统光轴的切平面内衍射角为360°/N。其尺寸需要保证各角位置时光调制器件11的放大像完全可以投影到该圆环型衍射光栅上。

受调制器件11刷新频率的限制，为实现没有明显闪烁效应的三维图像，图1所示系统选用的角位置数目不能很高，影响系统显示质量。采用多个投影单元10'，可以降低对系统调制器件11刷新频率的要求。如图5，以单个投影单元10'、一个共焦透镜单元50'和一个旋转镜30'组合作为一个旋转单元，它们共同绕系统光轴同步旋转，此处的旋转镜30'为半透半反镜。

在不同角位置时，采用如上述的同样的方法，获得该位置对应的目标三维图像和嵌入菜单的目标三维图像在此角位置对应的视差图像。设计M个旋转单元绕系统光轴对称分布，如图6，则在同一时刻，M各旋转单元各自旋转到某一角位置，各自投影其角位置对应的视差图像，可以同时显示M各视差图像，对调制器件11'刷新频率的要求下降了M倍。采用多个投影单元的显示系统，和图1所示一样，可以引入空间鼠标单元60，采用同样的方法，实现互动式的三维图像显示。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，对发明的技术方案可以做若干适合实际情况的改进。因此，本发明的保护范围不限于此，本领域中的技术人员任何基于本发明技术方案上非实质性变更均包括在本发明保护范围之内。

Claims (8)

1.基于体视技术的全视角三维显示系统，其特征在于，包括：

一旋转平台，绕系统光轴旋转；

一投影单元，其包括：加载视差图像信息的二维光调制器件、控制出射光衍射角大小的衍射元件和放大上述光调制器件的输出光信息并将该放大光信息投影到上述衍射元件的转换透镜或转换透镜组，该投影单元的数量为至少一个，各组成器件根据需要固定或绕系统光轴旋转；

一旋转镜，随旋转平台绕系统光轴旋转，为反射镜，数量为至少一个；虚置目标三维图像于以系统光轴为中心的目标图像显示区域内，在旋转镜旋转到某角位置时，虚置目标三维图像关于该旋转镜的镜像，作为此时投影单元需要投影视差图像的三维图像原型；

一光路折转单元，由至少一个反射镜组成，各组成器件绕系统光轴转动，该光路折转单元的数量为至少一个，各组成器件均置于投影单元光路中，折转投影光路的传输方向；

一共焦透镜单元，由共焦面的两透镜组成，置于投影单元的衍射元件后，对衍射元件成像，拉大旋转镜和衍射元件的距离，为光路的折转提供空间，该共焦透镜单元数量为至少一个，固定或绕系统光轴旋转；在上述旋转镜旋转到任一角位置时，相应投影单元的光调制器件投影的视差图像被该投影单元的衍射元件衍射，并在该衍射元件附近生成一个光分布，通过光路折转单元和共焦透镜单元的单独或共同作用，使该光分布或其像的分布空间覆盖虚置目标三维图像关于该位置旋转镜的镜像所占用空间，并使该投影单元投影的光场经该位置旋转镜反射传输给观察者；

一观察者定位单元，确定观察者双目相对显示系统的空间位置；

一空间鼠标单元，其包括：操纵手柄、带操纵手柄的三维位移平台、置于该平台上的光标单元和置于上述操纵手柄上的左右两个功能键；在上述旋转镜和目标图像显示区域空间分离的情况下，该光标单元在目标图像显示区域内引入一个光标，并以该光标作为空间鼠标对显示的图像内容进行指示，观察者通过操纵手柄控制该三维位移平台带动光标单元在目标图像显示区域内自由移动，将光标单元引入的空间鼠标指示于目标图像显示区域内的任意空间位置；

一控制单元，对处于任一角位置的旋转镜，获取虚置目标三维图像关于该旋转镜的镜像，根据观察者双目相对显示系统的空间位置，以该镜像作为原型计算旋转镜旋转到此位置时投影单元需要投影的视差图像；当旋转镜旋转到不同角位置时，控制投影单元投影相应的视差图像；在系统引入光标单元且观察者单击右功能键时，反馈光标单元的空间位置，并记录光标单元当前空间位置对应的显示图像的像点，控制投影单元投影嵌入菜单的目标三维图像关于旋转镜的镜像的视差图像；观察者移动光标单元到显示的菜单选项并单击左功能键时，控制单元判定该选项被选定，并根据选定选项的要求对目标三维图像进行后台图像处理，得到处理后的图像作为新的目标三维图像。

2.根据权利要求1所述的基于体视技术的全视角三维显示系统，其特征在于：所述的投影单元的转换透镜可用衍射光学元件代替。

3.根据权利要求1所述的基于体视技术的全视角三维显示系统，其特征在于：所述的光标单元为粗糙切割的光纤，耦合进光纤的光束出射时在光纤断面处形成一个发散光点，以该光点作为空间鼠标对该光点所在位置光场内容进行指示。

4.根据权利要求1所述的基于体视技术的全视角三维显示系统，其特征在于：所述的光标单元为自行发光或反射外部投射光的物点或具有一定几何形状的结构物。

5.根据权利要求4所述的基于体视技术的全视角三维显示系统，其特征在于：所述的自行发光的物点为LED或OLED。

6.根据权利要求4所述的基于体视技术的全视角三维显示系统，其特征在于：所述的自行发光的物点为高温金属球。

7.根据权利要求4所述的基于体视技术的全视角三维显示系统，其特征在于：所述的反射外部投射光的物点为粗糙荧光球。

8.一种根据权利要求1－7任一所述的基于体视技术的全视角三维显示系统的全视角三维显示方法，其特征在于该方法包括以下步骤：

a、建立xyz轴坐标，z轴为系统光轴，目标图像显示区域为以系统光轴为中心轴的圆柱体区域，虚拟放置目标三维图像于该目标图像显示区域内；

b、绕系统光轴确定N个角位置：角位置1、角位置2…角位置N；旋转镜位于任意角位置n时，虚置目标三维图像关于该旋转镜的镜像为镜像n；

c、借助光路折转单元和共焦透镜单元，或直接设计投影单元的光路，在旋转镜旋转到角位置n时，使相应投影单元的光调制器件投影的视差图像被该投影单元的衍射元件衍射所生成的光分布或其像的分布空间覆盖镜像n所占用空间；以镜像n为对象由控制系统计算对应投影单元需要投影的视差图像n；当旋转镜旋转到角位置n时，对应投影单元投影视差图像n并被角位置n处旋转镜反射传输给观察者；旋转镜旋转时，基于视觉滞留，实现全视角三维图像显示；

d、观察者通过三维位移平台可以将空间鼠标移动到显示光场的任意位置，实现显示三维图像内容的三维鼠标指示；

e、当右功能键被单击时，控制单元记录空间鼠标单元此时指示显示图像的像点，并控制投影单元投影嵌入菜单图像的目标三维图像关于旋转镜的镜像的视差图像，同步骤c，实现带嵌入菜单的三维图像的显示；

f、观察者移动空间鼠标到显示菜单的某选项处，单击左功能键，控制单元判定该选项被选定，并根据选定选项的要求对目标三维图像进行图像处理后得到新的目标三维图像，采用与步骤c同样的处理方式，显示新的目标三维图像，实现互动的三维图像显示。