CN104820497A - 一种基于增强现实的3d交互显示系统 - Google Patents

Abstract

本发明涉及一种基于增强现实的3D交互显示系统，包括3D立体显示部分和人机交互部分，所述3D立体显示部分包括：立体摄像机，用于获取场景；图像处理装置，用于对获取场景的左右画面进行像素隔列化处理，并渲染到透明显示器上；所述透明显示器上的光栅将隔列化处理的图像分别投射到用户的左右眼中；所述人机交互部分包括：人体感应控制器，用于获得手指位置、速度和姿势的信息，并且提供位置跟踪算法；所述3D立体显示部分和人机交互部分实现虚拟空间和现实空间的统一。本发明能给用户提供一种类似于操控真实物体一样的最自然的立体的人机交互方式。

Description

一种基于增强现实的3D交互显示系统

技术领域

本发明涉及3D显示技术领域，特别是涉及一种基于增强现实的3D交互显示系统。

背景技术

在当今时代，信息技术爆炸发展。以LCD的显示系统技术也得到了飞速发展，但是，即使触摸屏技术高速发展的今天，我们的人机交互水平仍旧停留在数字信号之外。虚拟世界和现实世界仍旧隔着一层数厘米的屏幕，甚至更远。在此情形下，我们利用自动立体显示技术和显示增强技术开发直接用手指深入显示系统内部来控制显示的3D显示系统，使用户直接用双手与虚拟物体交互，从而给用户带来一种全新的人机交互体验。比如：用户可以用手在立体显示系统内部直接进行反转、放大、缩小三维立体物体，当然可以放大、缩小以及关闭窗口、浏览图片等二维操作。

传统的人机交互方式在使用过程中确定性比较强，比如按下键盘的按钮或者点击鼠标的左右键，那么计算机都己将此关联到一定的系统事件，而此过程这两个事件是存在一定的关系，方式较为单一。

发明内容

本发明所要解决的技术问题是提供一种基于增强现实的3D交互显示系统，给用户提供一种类似于操控真实物体一样的最自然的立体的人机交互方式。

本发明解决其技术问题所采用的技术方案是：提供一种基于增强现实的3D交互显示系统，包括3D立体显示部分和人机交互部分，所述3D立体显示部分包括：立体摄像机，用于获取场景；图像处理装置，用于对获取场景的左右画面进行像素隔列化处理，并渲染到透明显示器上；所述透明显示器上的光栅将隔列化处理的图像分别投射到用户的左右眼中；所述人机交互部分包括：人体感应控制器，用于获得手指位置、速度和姿势的信息，并且提供位置跟踪算法；所述3D立体显示部分和人机交互部分实现虚拟空间和现实空间的统一。

所述图像处理装置通过OpenGL投射矩阵渲染到透明显示器。

所述3D立体显示部分通过立体建模得到和真实世界等比例的模拟空间，同时将立体摄像机的位置调整到和人眼等比例的位置，将比例系数调整到最佳状态，从而实现虚拟空间和现实空间的统一。

有益效果

由于采用了上述的技术方案，本发明与现有技术相比，具有以下的优点和积极效果：本发明给用户提供一种类似于操控真实物体一样的最自然的立体的人机交互方式，用户可以直接用双手操控被操控对象，代替原来鼠标单一的左右键点击或者触摸屏的二维交互方式，将人机交互水平提到了一个新的阶段，为未来的人机交互提供了一种可能。该系统在未来的可穿戴、未来家居、会展、教育和医疗等产业有着广泛的应用前景。

附图说明

图1是perspective视角示意图；

图2是本发明的系统硬件图。

具体实施方式

下面结合具体实施例，进一步阐述本发明。应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。

本发明的实施方式涉及一种基于增强现实的3D交互显示系统，包括3D立体显示部分和人机交互部分。

3D立体显示方面，我们先通过立体摄像机获取场景，然后使用shader中的CG语言对所得左右画面进行像素隔列化处理，通过OpenGL渲染到22’透明显示器上。最后，在透明显示器上光栅将通过隔列化处理的图像分别投射到用户的左右眼中。由于人眼的双眼效应，图像经过大脑的合成，就会在屏幕后方的交互空间内形成一个与现实世界交融的虚拟的场景空间。当用户使用本系统进行交互，即当用户将双手插入立体交互空间时，由于上述的立体视觉效应，用户将会透过透明屏观察到手和虚拟物体同时存在于立体交互空间。用户也因此会有更加准确的深度定位。

所述图像处理装置通过OpenGL投射矩阵渲染到透明显示器。OpenGL的全称是：OpenGraphics Library.是个定义了一个跨编程语言、跨平台的编程接口的规格，它用于三维图像(二维的亦可)。OpenGL是一个专业的图形程序接口，是一个功能强大，调用方便的底层图形库。图形程序员利用这些指令可以创建高质量的交互式三维应用。OpenGL是一个与硬件无关的软件接口，可以在不同的平台如Windows 95、Windows NT、Unix、Linux、MacOS、OS/2之间进行移植。因此，支持OpenGL的软件具有很好的移植性，可以获得非常广泛的应用。

OpenGL投射矩阵的分析：人眼看到的空间是一个截锥体，我们需要把这个空间映射到一个标准化设备坐标系中，如图1所示。

通过归一化计算，我们可以得到从立体空间到屏幕的perspective视角的投射矩阵：

$\begin{array}{cccc}\frac{2n}{r-1}& 0& \frac{r+1}{r-1}& 0\\ 0& \frac{2n}{t-b}& \frac{t+b}{t-b}& 0\\ 0& 0& -\frac{f+n}{f-n}& -\frac{2\mathrm{fn}}{f-n}\\ 0& 0& -1& 0\end{array}$

其中，n：near截锥体的近截面，f：far截锥体的远截面，l：left截锥体的左截面，r：right截锥体的右截面，t：top截锥体的上截面，b：bottom截锥体的下截面。

通过投射矩阵输出就能够将要表现的内容渲染到摄像机上。然后，通过shader进行着色，这样就可以输出需要的图像了。其中，在shader里，对图像进行了隔列提取，输出一个三维图片。

本发明利用两个相机拍摄的图像来模拟人类的双眼看到的图像，并且利用人两眼间距和零视差的位置量，推导得出了一种“分离法”。该方法可以有效操控像素列，使得两个相机拍摄的画面经过该方法和光栅屏的作用各自正确的投射到人的两个眼睛内。

由透视法的投射矩阵的参数可得：

a＝camera.nearClipPlane*Tan(FOVrad*0.5)；    (5)

b＝camera.nearClipPlane/(zeroParallax+camera.nearClipPlane)；   (6)

其中，a为真实的单相机的left的值，b为期望的双相机的left的值。

所以，如果是单相机则其投射椎体左右边的值为：

left＝-tempAspect*a+(interaxial/2)*b；    (7)

right＝tempAspect*a+(interaxial/2)*b；    (8)

若为右相机，则：

left＝-tempAspect*a-(interaxial/2)*b；    (9)

right＝tempAspect*a-(interaxial/2)*b；    (10)

故将其左右相机的画面的簇列画面投射到主相机上时，由公式(7)(8)(9)(10)知，当左右眼的位置不同，上面公式相加结合光栅屏即可使相应的画面进入正确的左右眼。再由人大脑的分析，即可感觉到立体图像的存在。

人机交互方面，使用Leap Motion控制器获得手指位置、速度、姿势等信息。比如：用同手掌上的两根手指的距离和速度信息模拟用户在自然情况下的“捏”的手势，通过这个手势进行虚拟物体的控制。此外，Leap Motion还提供位置跟踪算法，可以根据位置跟踪的信息，将其绑定在手掌的位置上，这样，我们就可以模拟用户在自然状态下用手拿住并且拖动的状态。最后，要解决Leap Motion和虚拟场景的空间一致问题。这也是我们立体交互的核心问题。首先通过立体建模得到和真实世界等比例的模拟空间，同时也将两个虚拟摄像机的位置调整到和人眼等比例的位置。然后，我们只需要将这个比例系数调整到一个最佳的状态，即可实现虚拟空间和现实空间的统一。另外，必须说明的是，我们的对齐方式是透视(Perspective)方式视角下的对齐，所以，这就对操作者的观察位置提出了一定的要求，即：操作者需在某一特定的位置和角度观察，两空间才能真正的统一。这种立体交互方式，可以给用户提供一种全新的更加自然的交互体验，真正使人类能在无任何穿戴设备的情况下，达到用双手直接操控虚拟物体的效果，真正实现了“虚拟世界”和“现实世界”的融合。

所有可指向对象(Pointable Object)，即所有手指和工具的列表及信息；Leap传感器会给所有这些属性分配一个唯一标识(ID)，在手掌、手指、工具保持在视野范围内时，是不会改变的。根据这些ID，可以通过Frame::hand(),Frame::finger()等函数来查询每个运动对象的信息。

Leap可以根据每帧和前帧检测到的数据，生成运动信息。例如，若检测到两只手，并且两只手都朝一个方向移动，就认为是平移；若是像握着球一样转动，则记为旋转。若两只手靠近或分开，则记为缩放。

通过Leap Motion提供的SDK，我们可以方便地调用这些API，获取检测到的物理信息。通常来说，由于Leap Motion的高灵敏度和高精度，这些数据是抖动得很厉害的，需要进一步优化处理，并且识别出特定的手势。并且，Leap Motion提供丰富的姿势和其他动作识别库，比如：捏取、挤压、点触等等。这些接口的提供对开发者提供了很大的便利，使开发者不用去深入研究其内部图像读取和处理的过程，也无需了解其内部的机理。再比如：用户想做一个图像随着双手距离的变化而大小随之变化的演示应用，在之前，如果没有这些接口，那么，开发人员要深入了解Leap Motion提取图像的过程和算法，然后进行滤波和操控处理，很是麻烦。但现在有了这些接口，开发人员只需要调用一个距离的函数就可以做到物体的大小随双手距离变化而变化。这一点，也优于微软公司的Kinect体感器。

Leap Motion的数据可以和Unity3D进行完美对接。即是官方提供的SDK的plugins数据库文件。例如：Leap Motion的空间坐标系和在Unity3D中可以以相应比例进行转化。并且，Leap的坐标信息也可以以同样的方式转换到Unity3D中，这样的话，我们只需调整Leap和Unity3D的坐标系的比例系数，或者做成一个空间对应转换代码。如此一来，只需将坐标系的比例对齐就可以将Unity3D中的虚拟空间和Leap Motion中的现实坐标进行对齐。当然，这个前提是在这两者摄像机的投射方式都为透视投射的基础下的。所以，我们采用Unity3D进行leap的对接和开发。

在整个过程中，空间位置的对齐对于视觉效果有着至关重要的作用。只用空间对齐了，才能准确的进行交互，才会有深度感，立体感，以及虚实结合地交互的友好体验。而LeapMotion数据的获取和传递，直接影响着交互的连贯性。

对于空间位置对其问题，国外有很多校正的方法。我们是直接将场景与交互空间大小调成一致，通过perspective视角投射在屏上。在Leap Motion的数据处理方面，利用官方的插件进行优化，使数据具有更高的稳定性和健壮性。

本发明的系统硬件组成包括：核心控制平台、运动手势信息采集系统、交互空间、背光系统、视频音频输出模块，光栅膜如图2所示。

(1)中央处理模块

本系统采用E3825系列SOC作为核心控制系统。它是一款基于Intel BayTrail平台，为用户精心设计的高性能、低功耗EPIC规格主板。该板采用Intel E3825处理器，CPU速度可达到1.33GHz，支持多线程技术，内存采用的是板载DDR 3L 4G内存。主板采用高度集成设计，具有强大的稳定性能；超低的功耗，整合性能强劲。显示终端的显示类型丰富多样，分别为：DVI和HDMI接口，可以满足不同客户显示方面的需求。采用千兆网卡设计，具有SATA，mSATA和SD卡等多存储手段；1个COM口，采用ALC892高品质声卡，2个USB 2.0，1个USB3.0，1个SIM卡插槽，支持3G上网，并且采用64G固态硬盘，磁盘读写速度较快，支持Wi-Fi；主板支持windows 8.0 64bit和Linux yocto系统；接口丰富为客户提供更多的可选择性。板上的JTAG口可以让用户更方便的进行调试。值得一提的是，主板集成了Intel graphics 4000高性能显卡，支持Directx11,OpenGL ES 3.0，支持高分辨率显示器，具有高性能，高品质，低功耗的HD H.264解码器，可硬件加速，视频编码等。在图像处理方面性能卓越，支持3D显示效果。

(2)LCD透明屏

本系统旨在创建一个全新的交互方式，使用户能以一种最自然的方式进行人机交互，即用手直接操控虚拟模型。故采用Samsung 22’透明LCD屏，创建交互空间。本屏幕具有1680*1050的高清分辨率，画质清晰，可视角高至80°，透明度达20％，可方便地构建3D交互空间。具有HDMI数据接口，连接方便。由于该显示屏无背光，采用超亮LED灯条和漫反射组合，给LCD屏提供照明。

透明屏的显示原理是通过驱动进行调解屏幕的透光度。当颜色为白色时，透光度最大，当显示的物体的颜色为黑色时，透明度最低。这样的设计间接地提供了控制屏幕透明的可行的方法。由于本系统旨在开发一种全新的更加自然的交互方式，即用户直接可以用双手操控虚拟物体，达到现实世界和虚拟世界的融合，所以，本系统既需要看到非透明的虚拟物体以使其能给用户一种像真实物体一样存在的错觉，又需要透过透明屏幕看到屏后交互空间内的真实双手。所以，这种控制透明屏显示的原理给我们提供了一种可行的控制其显示效果的方法。

更重要的是，通过控制透明屏幕不同区域虚拟物体和背景的不同色彩，我们能够看到透明屏幕后面的真实物体和虚拟物体并存。我们知道，增强现实分为基于显示器类增强现实、透视类增强现实和基于头戴视频类增强现实。由本系统课透过透明屏幕直接看到，将虚拟信息加载在现实世界中，可知，本系统完成了了透视式增强现实，达到了虚拟世界与真实世界的融合。且使用户有强烈的科技感和逼真感。

光栅

光栅膜是自动立体显示的基础。当光栅膜与LCD相离一定的距离时，由于光栅具有部分透光和遮光的作用，使得LCD上的左右画面图像才能正确的映入人的左右眼镜。当人接收到左右画面的信息，就会在大脑合成立体视觉。

我们采用的光栅屏厚度为1.5000mm，光栅间距0.28096mm，黑白狭缝的比例为5:3，即透光缝隙为0.10536mm，遮光缝隙为0.1756mm。经过测试，该光栅屏在此参数下，当用户距离为30cm时，能使LCD上的隔列的左右画面正确的映入用户的左右眼睛中，使用户产生良好的立体视觉。

整个软件系统由两大部分组成：自动立体显示部分以及虚拟空间交互部分。

自动立体显示：是本系统的基础与核心。确定使用光栅屏后，我们就着手画面的逐列分割处理，然后就是空间的对齐。通过虚拟摄像头，获取场景中的左右画面。通过shader里的着色通道，我们可以将左右相机的画面逐列提取出来，左右交叉排列，形成逐列格式的立体画面。然后通过光栅，将左右画面正确地还原到人的左右眼，形成立体感。至此，一个立体的画面就展现在我们的眼前。但我们所做的并不止于此，我们还需要建立一个可以交互的立体空间。根据仪器的尺寸，搭建了一个虚拟的空间，虚拟摄像机放置于合适的位置。通过上述努力，得到了一个可交互的、与现实交融的虚拟空间。

虚拟空间交互：将Leap Motion体感仪置于上述交互空间中，由于现实空间和虚拟空间已经对齐，Leap Motion获得的手的数据可直接与虚拟场景进行交互。通过unity3D平台，编写脚本可以获取Leap Motion测量的数据，控制虚拟场景里的物体，进行所需要的操作。通过对Leap Motion数据信息的正确解读，计算机可以作出符合用户意图的响应。位于交互空间中的不同的场景，用来表现系统在不同的生活场景中的应用前景。

通过这两大部分的分工协作，我们就能够实现用户与立体3D物体的直接自然的交互了。经测试，这种交互方式是相当有震撼力的，可以让人真切地感受物体的位置和距离，而且还可以与之进行互动。

不难发现，本发明给用户提供一种类似于操控真实物体一样的最自然的立体的人机交互方式，用户可以直接用双手操控被操控对象，代替原来鼠标单一的左右键点击或者触摸屏的二维交互方式，将人机交互水平提到了一个新的阶段，为未来的人机交互提供了一种可能。该系统在未来的可穿戴、未来家居、会展、教育和医疗等产业有着广泛的应用前景。

Claims (3)

1.一种基于增强现实的3D交互显示系统，包括3D立体显示部分和人机交互部分，其特征在于，所述3D立体显示部分包括：立体摄像机，用于获取场景；图像处理装置，用于对获取场景的左右画面进行像素隔列化处理，并渲染到透明显示器上；所述透明显示器上的光栅将隔列化处理的图像分别投射到用户的左右眼中；所述人机交互部分包括：人体感应控制器，用于获得手指位置、速度和姿势的信息，并且提供位置跟踪算法；所述3D立体显示部分和人机交互部分实现虚拟空间和现实空间的统一。

2.根据权利要求1所述的基于增强现实的3D交互显示系统，其特征在于，所述图像处理装置通过OpenGL投射矩阵渲染到透明显示器。

3.根据权利要求1所述的基于增强现实的3D交互显示系统，其特征在于，所述3D立体显示部分通过立体建模得到和真实世界等比例的模拟空间，同时将立体摄像机的位置调整到和人眼等比例的位置，将比例系数调整到最佳状态，从而实现虚拟空间和现实空间的统一。