CN102123291B

CN102123291B - 智能型裸眼立体显示系统及其控制方法

Info

Publication number: CN102123291B
Application number: CN 201110036830
Authority: CN
Inventors: 周建英; 王嘉辉; 王自鑫; 周延桂; 彼得·克莱伯斯; 谢向生
Original assignee: National Sun Yat Sen University
Current assignee: Guangzhou Meader Technology Co. Ltd.
Priority date: 2011-02-12
Filing date: 2011-02-12
Publication date: 2013-10-09
Anticipated expiration: 2031-02-12
Also published as: CN102123291A

Abstract

本发明公开一种智能型裸眼立体显示系统，其包括显示设备及立体图像信号源，所述立体图像信号源向显示设备同时传送图像信号，显示设备负责显示由立体图像信号源送来的视差图像，该显示设备由第一显示单元和第二显示单元组成，该图像信号包括同步显示的第一、第二立体子视频，所述第一立体子视频和第二立体子视频分别传输到所述第一显示单元和第二显示单元；还包括与所述显示设备连接的自适应装置，所述自适应装置用于实时采集观众的实况图像处理后并调整显示设备的光学投影的焦距与投影方向，将视差图像分别投影到观众对应的眼睛。本发明是一种可裸眼观看、能消除昏眩感、亮度较高、成本低、成像立体效果强的智能型裸眼立体显示系统。

Description

智能型裸眼立体显示系统及其控制方法

技术领域

本发明属于立体显示技术，具体涉及一种将自适应光学与图像识别相结合的智能型裸眼立体显示系统及其控制方法。

背景技术

随着DLP、LED、LCD等技术的发展，视频显示技术正处于不断成熟的阶段，2008年末，平面显示器件的发展遇到了瓶颈；而2010年起，显示技术在一个新的领域找到了未来的发展方向——立体显示。

立体显示的基础是人的双目视差效应，指的是双眼看到同一物体的不同影像，这不同影像间的差异在大脑中合成时会产生视觉深度，让观众感受到立体感。目前的三维显示技术可以分为分光立体眼镜显示、自动分光立体显示、全息术和体立体显示4大类。

其中，全息术和体三维显示技术虽然属于真三维显示的范畴，但是它们目前实现起来都面临很大的技术困难（SLM等核心器件性能有待提高、处理数据量大、需在较暗环境下观看等），预计在未来十年时间内还无法广泛推广。

分光立体眼镜法是利用佩戴的眼镜对图像进行选择或适配，从视差图像中分选出左、右眼的需要观察的内容，观众的双眼分别观察到相应的视差图像之后，视觉欺骗效应会在大脑中将两幅附带视差信息的画面合成为具有视觉深度（即立体感）的图像，从而实现立体显示。眼镜式的立体显示方法最大的不足就是需要佩戴特殊的眼镜。首先，眼镜的佩戴时间不可以太久，否则容易感到疲劳；其次，近视和老花人士观看时除要佩戴立体眼镜外，还需戴上近视或老花眼镜，使用起来十分不便。此外，分光立体眼镜法的成本也较高，时分眼镜立体显示中的液晶光阀眼镜的售价在1500元左右，显示终端也较同尺寸的平面显示产品高3倍左右，而光分式眼镜立体显示中需要两台显示终端，会系统造价大幅度提高。

自由分光立体显示技术，是为了克服分光立体眼镜显示方法中的致命缺陷——对眼镜的依赖，所提出的一种显示方法。自由分光立体显示主要包括以下的技术方向：

1. 双视点双图像终端系统

图1所示的立体成像系统是夏普公司的设计。单光源（Light source）发出的光经过分光器(Beam-splitter)分为两束，分别经两面反射镜反射后成为了装载了左右图像的LCD的背景光，背景光照亮LCD后，再次经过另一个分光器（Beam-Combiner），使得左眼LCD的光进入左眼，右眼LCD的光进入右眼，从而达到了双象的分离。这种方法的优点是亮度高、分辨率高，缺点是观察位置固定，只可以在特定的位置上看到立体的效果。

2. 双视点单图像终端系统

（1）视差挡板技术（又称为障栅系统）

视差挡板技术基本原理如图2所示。LCD平面A上奇偶交替地竖直的排列了分割为细条的照明亮线（白色部分，偶像素列）和暗条（黑色部分，奇像素列）。在双眼L、R和平面A之间放置一多狭缝挡板，使得左眼L只看到偶像素列的照明亮线，右眼R只看到奇像素列的暗条，反之亦然，从而实现了双象的分离。图片A的记录可采用单相机法或多相机法。两种记录方法都在照相底片前放置多狭缝板。视差挡板立体显示的缺点有：水平显示的像素数减半；显示的亮度不高；视差挡板和像素之间容易产生莫尔条纹；容易产生左右眼观察区域的反转（又称crosstalk）；观察视点比较固定。

为改进位置上的缺点，日本Sanyo公司开发出新的立体显示装置。该装置将光学挡板改为电子挡板，通过电压控制，使挡板在左右视点移动时跟着移动，同时液晶显示板、左右视区也能自动做出相应的位移。

（2）微透镜柱面立体显示方式

微透镜柱面屏是微透镜阵列板的简化模型，如图3所示。透镜柱面是由一排垂直排列的半圆形柱面透镜组成，利用每个柱面镜头对光的折射作用，将左右图像分别折射到左右眼，使左眼图像聚焦于左眼，右眼图像聚焦于右眼，从而产生深度感。该方法产生的图像丰富真实，适合大屏幕显示，运用精密的成形手段，使每个透镜的截面达到微米级，从而支持更高的分辨率。

1995年，日本Sanyo公司推出的40英寸三维投影系统即采用了经过改进的双柱镜屏技术。用两台投影机分别把左右眼视像投射到双柱面屏上，由于双柱面屏的作用，使得两种像分别达到人的左眼和右眼，从而实现立体视觉。

该方法的缺点有：观察视点比较固定；水平的像素数减半；透镜和LCD的对焦难度较大；存在左右观察视区的反转。

3 多视点系统

双视点系统由于只能显示一幅立体图像，所以只可以单人观看，而且观看位置比较固定。更接近现实的情况是实现多人从不同角度同时观看到不同的立体图像，于是人们研究了多视点系统，其中代表是PHILIPS公司。

PHILIPS公司对于立体显示技术的研究是基于传统的微柱面透镜方法工作的。其立体液晶显示器在液晶显示屏前加一层微柱状透镜网格，液晶屏的像平面位于透镜阵列的焦平面上。每一个微柱透镜对应的图像像素被分为若干个子像素，以适应不同方向的投影需要。为防止像素间的间隙放大，该公司创新地将子像素交叉地排列起来，原理如图4所示。为使每组子像素重复投射视区，该技术另一改进之处是使柱透镜与像素列成一定角度放置。这种结构的优点是：削弱左右视区交界处的黑条纹对比度和图像比例变形问题减弱。但是，因为其采用多视点显示，所以显示的分辨率将会成倍下降。另外，微透镜住网格的造价也非常的昂贵，限制了此技术的推广。

根据上面关于立体显示技术的介绍可知，目前市面上最常用的两种立体显示技术——分光立体眼镜显示和自动分光立体显示各有自身无法克服的缺点。分光立体眼镜显示技术（眼镜式立体显示）在使用时具有很大的限制，而且配戴眼镜会为观众带来不适感。

自由分光立体显示技术（裸眼式立体显示）中双视角双图像终端系统无法克服观看位置固定的缺点,而双视角单图像终端系统和多视角系统无法克服容易造成观众处于视觉盲区或者左右眼图像反转的观察区域，而产生昏眩感的缺点，以及图像亮度低、分辨率减半的限制。

因此，鉴于以上现有的立体成像技术的缺点，提供一种可裸眼观看、能消除昏眩感、亮度较高、成本低、成像立体效果强的立体显示系统实为必要。

发明内容

本发明要解决的技术问题是为了克服现有技术中的上述缺点和不足，提供一种可裸眼观看、能消除昏眩感、亮度较高、成本低、成像立体效果强的智能型裸眼立体显示系统及其控制方法。

一种智能型裸眼立体显示系统，包括显示设备、立体图像信号源，负责显示由立体图像信号源送来的视差图像，所述立体图像信号源向显示设备同时传送图像信号，该图像信号包括两组同步显示的视差子图像，分别为第一立体子视频和第二立体子视频，还包括与所述显示设备连接的自适应装置，显示设备将光学信号传输到到自适应装置，所述自适应装置用于实时采集观众的实况图像处理后并调整显示设备的光学投影，将视差图像投影到观众对应的眼睛。

该显示设备由第一显示单元和第二显示单元组成，所述第一立体子视频和第二立体子视频分别传输到所述第一显示单元和第二显示单元。

所述的自适应装置包括图像捕获系统、图像处理终端、自适应光学系统，所述自适应光学系统包括第一自适应光学系统和第二自适应光学系统；

所述第一自适应光学系统分别与所述显示设备和图像处理终端连接；

所述第二自适应光学系统分别与所述显示设备和图像处理终端连接；

所述的图像捕获系统与所述的图像处理终端连接；

所述显示设备将光学信号投影到所述的第一、第二自适应光学系统，第一、第二自适应光学系统将视差图像投影到观众对应的眼睛；所述图像捕获系统用于拍摄观众的实况图像并传输给所述图像处理终端，图像处理终端进行相应处理后，控制所述第一、第二自适应光学系统对显示设备进行调整，将视差图像投影到观众对应的眼睛。

所述的第一自适应光学系统包括第一电机和第一光学成像系统，所述第一电机与所述的显示设备连接，所述第一光学成像系统与所述的显示设备连接，所述第一电机用于调整显示设备来调整光学投影的位置，所述的第一光学成像系统用于调整光学投影的焦面；

所述的第二自适应光学系统包括第二电机和第二光学成像系统，所述第二电机与所述的显示设备连接，所述第二光学成像系统与所述的显示设备连接，所述第二电机用于调整显示设备来调整光学投影的位置，所述的第二光学成像系统用于调整光学投影的焦面。

光学成像系统相当于日常投影仪的镜头系统，它与显示设备相连，是为了将图像清晰地在观众眼内成像。

所述图像捕获系统包括图像捕获设备与拍摄辅助设备，图像捕获设备由摄像装置和成像镜头组成，用于拍摄观众的实况图像并传输给图像处理终端进行后续处理。

所述图像处理终端为计算机或单片机，当使用计算机时将图像处理终端与立体图像信号源合并，图像处理终端能接收观众的实况图像，并进行相应处理，控制第一、第二自适应光学系统进行调整，将图像投影到观众的眼睛。

所述的智能型裸眼立体显示系统所实现的控制方法，包括以下步骤：

（1）图像捕获系统实时采集观众的实况图像，并传送到图像处理终端；

（2）图像处理终端接收到观众的实况图像后，进行处理继而给出相应的命令调整第一、第二自适应光学系统；

（3）第一、第二自适应光学系统根据图像处理终端发布的命令，调整其光学投影的焦距、投影方向，使得视差图像能分别正确的投影到观众的双眼；

（4）通过立体图像信号源向显示设备同时传送两组同步的视差图像信号，显示设备显示视差图像，并经过第一、第二自适应光学系统投影给观众。

步骤（2）中还包括以下步骤：

1）图像处理终端首先对图像进行预处理，然后，图像处理终端对待处理图像进行图像分割，将每个观众作为一个独立的对象并确定观众的数量，建立播放现场的坐标体系，找出每位观众的双眼位置进行坐标标记；

2）图像处理终端将显示设备投影的焦面坐标与观众的双眼坐标进行比对；如果两个坐标一致，则不对第一、第二自适应光学系统进行调整；反之，若两个坐标不同，则认为观众的双眼位置发生改变，此时图像处理终端向第一、第二适应光学系统发出调整命令。

对于多观众的场合，需要首先通过图像处理终端测量观众的数量，在计算每一帧T_f内平均分配个每位观众的显示时间Δt，其中NΔt=T_f,N=1，2，3，4····为观众数量，播放立体视频第一帧时在第一个Δt内，自适应光学系统调整投影的焦距和角度使得观众1的左、右眼分别接收第一立体子视频和第二立体子视频；接下来第二个Δt内，自适应光学系统再次调整投影的焦距和角度使得观众2的左、右眼分别接收第一立体子视频和第二立体子视频，让观众2看到立体图像，如此类推，在一帧时间T_f内，不断改变自适应光学系统投影的焦距和角度，让所有观众都能看到立体图像，实现多人的裸眼立体显示；每帧播放完毕后，调整自适应光学系统再从第一位观众开始，向每位观众播放下一帧的立体图像。

当观众的数量发生改变，自适应光学系统重新调整显示设备的投影亮度，使得图像不会过亮或过暗。

所述的显示设备为SLM、DMD或LCOS显示芯片。

与现有技术相比，本发明有以下优点：

本发明将自适应光学、图像处理与数字成像技术相结合，实时侦测观众的位置，一旦观众进行移动，系统会随即根据观众的移动，调整投影的方向和焦距，将所需的视差信号重新准确地投影到观众的双眼，在大脑内合成立体图像。这不仅避免了观众因为观察位置的改变而进入视觉盲区或左右眼图像反转的观察区域，所造成得昏眩感，同时还能保持图像显示的亮度和分辨率，能使观众能获得最舒适的视觉效果，并具有适合大范围推广的优势。

附图说明

图1为双视点双图像终端立体成像原理图；

图2为视差挡板技术立体显示原理图；

图3为微透镜柱面立体显示方式原理图；

图4为多视点系统立体显示原理图；

图5为本发明智能型裸眼立体显示系统原理图；

图6为本发明智能型裸眼立体显示系统的立体图像信号结构图；

图7为本发明智能型裸眼立体显示系统的控制方法的流程图。

具体实施方式

本发明在SLM、DMD或者LCOS等芯片上使用相机或者摄像机作为图像捕获器件，并配合自适应光学系统使用的实现智能型裸眼的立体视频显示终端实现方法，它利用自适应光学系统和图像处理技术相结合进行追踪眼球的智能型裸眼立体显示，克服了传统裸眼立体显示技术中会出现的分辨率降低和容易产生左右眼图像反转的缺陷。

如图5至7所示，本发明公开一种智能型裸眼立体显示系统，包括显示设备、立体图像信号源，负责显示由立体图像信号源送来的视差图像，所述立体图像信号源向显示设备同时传送图像信号，该图像信号包括两组同步显示的视差子图像，分别为第一立体子视频和第二立体子视频，还包括与所述显示设备连接的自适应装置，显示设备将光学信号传输到到自适应装置，所述自适应装置用于实时采集观众的实况图像处理后并调整显示设备的光学投影，将视差图像投影到观众对应的眼睛。

所述的自适应装置包括图像捕获系统、图像处理终端、自适应光学系统，所述自适应光学系统包括第一自适应光学系统和第二自适应光学系统。所述第一自适应光学系统分别与所述显示设备和图像处理终端连接；所述第二自适应光学系统分别与所述显示设备和图像处理终端连接；所述的图像捕获系统与所述的图像处理终端连接。

所述显示设备将光学信号投影到所述的第一、第二自适应光学成系统，第一、第二自适应光学系统将视差图像投影到观众对应的眼睛；所述图像捕获系统用于拍摄观众的实况图像并传输给所述图像处理终端，图像处理终端进行相应处理后，控制所述第一、第二自适应光学系统对显示设备进行调整，将视差图像投影到观众对应的眼睛。

所述的第一自适应光学系统包括第一电机和第一光学成像系统，所述第一电机与所述的显示设备连接，所述第一光学成像系统与所述的显示设备连接，所述第一电机用于调整显示设备来调整光学投影的位置，所述的第一光学成像系统用于调整光学投影的焦面；所述的第二自适应光学系统包括第二电机和第二光学成像系统，所述第二电机与所述的显示设备连接，所述第二光学成像系统与所述的显示设备连接，所述第二电机用于调整显示设备来调整光学投影的位置，所述的第二光学成像系统用于调整光学投影的焦面。光学成像系统相当于日常投影仪的镜头系统，它与显示设备相连，是为了将图像清晰地在观众眼内成像。

所述图像捕获系统包括图像捕获设备与拍摄辅助设备，图像捕获设备由摄像装置和成像镜头组成，用于拍摄观众的实况图像并传输给图像处理终端进行后续处理。所述图像处理终端为计算机或单片机，当使用计算机时将图像处理终端与立体图像信号源合并，图像处理终端能接收观众的实况图像，并进行相应处理，控制第一、第二自适应光学系统进行调整，将图像投影到观众的眼睛。

本发明是利用自适应光学技术和图像处理技术工作的。工作原理图如图5所示。它通过两个显示单元同时显示两组应该分别单独输入观众左、右眼具有视差的第一立体子视频和第二立体子视频。本技术的关键是利用自适应光学系统的调整让这两组立体子视频能实时进入观众对应的眼睛，即使观众由于走动或摆头等原因改变双眼的位置，系统也能迅速作出调整让第一立体子视频和第二立体子视频重新准确地投影到左、右眼。

系统所实现的方法的流程如图7所示。系统工作时不间断地播放立体视频信号，同时，图像捕获系统会实时拍摄观众的实况图像，并传送到图像处理终端。图像处理终端首先对图像进行预处理（灰度化、增加对比度等），使原始图像变成能满足后续图像识别要求的待处理图像。然后，图像处理终端对待处理图像进行图像分割，将每个观众作为一个独立的对象并确定观众的数量，建立播放现场的坐标体系，找出每位观众的双眼位置进行坐标标记。图像处理终端将显示设备投影的焦面坐标与观众的双眼坐标进行比对；如果两个坐标一致，则不对第一、第二自适应光学系统进行调整；反之，若两个坐标不同，则认为观众的双眼位置发生改变，此时图像处理终端向第一、第二适应光学系统发出调整命令改变显示设备投影的角度和焦面，使得第一立体子视频和第二立体子视频能准确地投影到观众的左、右眼，并在观众的大脑中重新合成一幅具有立体感的图像。

对于多观众的场合，需要首先通过图像处理技术测量观众的数量，在计算每一帧T_f内分配个每位观众的显示时间Δt，其中NΔt=T_f,N=1，2，3，4····为观众数量。播放立体视频第一帧时在第一个Δt内，自适应光学系统调整投影的焦距和角度使得观众1的左、右眼能正确的接收第一立体子视频和第二立体子视频；接下来第二个Δt内，自适应光学系统再次调整投影的焦距和角度使得观众2的左、右眼能正确的接收第一立体子视频和第二立体子视频，让观众2看到立体图像，如此类推，在一帧时间T_f内，不断改变自适应光学系统投影的焦距和角度，让所有观众都能看到立体图像，实现多人的裸眼立体显示；每帧播放完毕后，调整自适应光学系统再从第一位观众开始，向每位观众播放下一帧的立体图像。智能型裸眼立体显示系统的立体图像信号结构如图6为所示。

此外，在每帧播放的同时或结束以后，系统拍摄观众的现场图片重新测定观众的数量和位置，即使观众的数量或位置发生变化，也可以在下一帧播放时重新让自适应光学系统将立体图像准确的投影到观众的左、右眼中。当观众的数量发生改变，系统可以重新调整显示单元的投影亮度，使得观众能观看舒适的图像，不会觉得图像过亮或过暗。

Claims

1.一种智能型裸眼立体显示系统，其特征在于，包括显示设备及立体图像信号源，所述立体图像信号源向显示设备同时传送图像信号，显示设备负责显示由立体图像信号源送来的视差图像，该显示设备由第一显示单元和第二显示单元组成，该图像信号包括同步显示的第一、第二立体子视频，所述第一立体子视频和第二立体子视频分别传输到所述第一显示单元和第二显示单元；还包括与所述显示设备连接的自适应装置，所述自适应装置用于实时采集观众的实况图像处理后并调整显示设备的光学投影的焦距与投影方向，将视差图像投影到观众的眼睛；

所述的图像捕获系统与所述的图像处理终端连接；

所述显示设备将光学信号投影到所述的第一、第二自适应光学系统，第一、第二自适应光学系统将视差图像投影到观众对应的眼睛；

所述图像捕获系统用于拍摄观众的实况图像并传输给所述图像处理终端，图像处理终端进行相应处理后，控制所述第一、第二自适应光学系统对显示设备进行调整，将视差图像投影到观众对应的眼睛。

2.根据权利要求1所述的智能型裸眼立体显示系统，其特征在于，所述的第一自适应光学系统包括第一电机和第一光学成像系统，所述第一电机与所述的显示设备连接，所述第一光学成像系统与所述的显示设备连接，所述第一电机用于调整显示设备来调整光学投影的位置，所述的第一光学成像系统用于调整光学投影的焦面；

3.根据权利要求1所述的智能型裸眼立体显示系统，其特征在于，所述图像捕获系统包括图像捕获设备与拍摄辅助设备，图像捕获设备由摄像装置和成像镜头组成，用于拍摄观众的实况图像并传输给图像处理终端进行后续处理。

4.根据权利要求1所述的智能型裸眼立体显示系统，其特征在于，所述图像处理终端为计算机或单片机，当使用计算机时将图像处理终端与立体图像信号源合并，图像处理终端接收观众的实况图像，并进行相应处理，控制第一、第二自适应光学系统进行调整，将视差图像投影到观众对应的眼睛。

5.据权利要求1所述的智能型裸眼立体显示系统，其特征在于，所述的显示设备为SLM、DMD或LCOS显示芯片。

6.根据权利要求1所述的智能型裸眼立体显示系统的控制方法，其特征在于，包括以下步骤：

7.根据权利要求6所述的控制方法，其特征在于，步骤（2）中还包括以下步骤：

8.根据权利要求7所述的控制方法，其特征在于，对于多观众的场合，需要首先通过图像处理终端测量观众的数量，在计算每一帧T_f内平均分配个每位观众的显示时间Δt，其中NΔt=T_f,N=1，2，3，4，……；N为观众数量，播放立体视频第一帧时在第一个Δt内，自适应光学系统调整投影的焦距和角度使得观众1的左、右眼分别接收第一立体子视频和第二立体子视频；接下来第二个Δt内，自适应光学系统再次调整投影的焦距和角度使得观众2的左、右眼分别接收第一立体子视频和第二立体子视频，让观众2看到立体图像，如此类推，在一帧时间T_f内，不断改变自适应光学系统投影的焦距和角度，让所有观众都能看到立体图像，实现多人的裸眼立体显示；每帧播放完毕后，调整自适应光学系统再从第一位观众开始，向每位观众播放下一帧的立体图像。

9.据权利要求8所述的控制方法，其特征在于，当观众的数量发生改变，自适应光学系统根据观众数量调整显示设备的投影亮度。