CN101813993A - 一种曲面显示系统以及手势识别和定位方法 - Google Patents

Abstract

一种曲面显示系统以及手势识别和定位方法：本发明公开了一种曲面显示系统以及手势识别和定位方法。该系统包括可触摸的透明球壳、投影膜、红外LED、红外透镜、红外滤镜、光学镀膜镜、投影机、红外摄像头、计算机处理器和计算机存储器。本系统利用红外LED提供红外光源，当人手触及到透明球壳外壁上时，散布在透明球壳内壁上的红外线会透过广角镜头被反射到红外摄像头中。红外摄像头可以捕捉红外图像，经过计算机处理器处理后，可以得到准确的触摸信号，并通过应用软件来执行触摸所代表的操作，本发明提供了一种有效的在曲面上进行触摸操作的设备及方法，本方法还可以应用于其他同类曲面物体表面，实现曲面触摸操作。

Description

一种曲面显示系统以及手势识别和定位方法

技术领域

本发明涉及虚拟现实领域，更具体的说本发明涉及一种会展展示中的交互显示系统，这种显示系统是一种曲面的多触点电子设备，是一种可以在曲面上自由的操作并可被识别各种手势的多点触摸电子设备，同时也公开了一种准确的多触点定位方法，具有较高的交互性和直观体验程度。

背景技术

现有的触摸技术在多种电子产品中有广泛的应用，包括移动终端设备，电子阅读设备，以及传统的大屏显示器等。触摸技术代替了传统的鼠标、键盘等人机交互设备，提供了一种更接近人类使用习惯的交互技术。

已有的触摸设备主要包括了电阻式、电容式、红外光栅式、以及超声波式四类技术。电阻式触摸技术主要是薄膜和玻璃之间的ITO材料接触传出电信号来完成，当触摸操作时，薄膜下层的ITO材料会和玻璃上层的材料相接触，然后会产生相应的电压变化，经过控制器可以得出触摸点的位置。但是电阻式触摸技术存在容易受损的缺点，即外层的薄膜容易被划伤，而且它的结构也导致屏幕光的大量损失，造成画面效果的下降。电容式触摸技术利用了人体电场会和触摸表面的导体层之间形成一个耦合电容。当触及到导体层表面时，控制系统可以分别检测出触摸位置的水平位置和垂直位置。但是电容式触摸技术容易受到外部其他导体的影响，容易产生误操作，而且外界环境温度，湿度的变化会引起整个环境电场的改变。造成设备漂移，导致计算触摸位置时不精确。红外光栅式触摸技术是在触摸外框上放置一列红外线发射管和红外线接收管，这样可以在触摸区域的表面形成一个不可见的红外线光栅，当有触摸物体触摸到表面时，控制系统会检测到红外光栅的通断变化，以此来计算触摸位置的X和Y坐标值。超声波式触摸技术和红外光栅类似，通过检测在超声波表面是否有物体阻挡来计算触摸的位置。以上两种技术无法检测多个触摸点的位置，而且当多个触摸点出现在与红外栅线水平或者垂直的位置上时，会出现触摸点个数计算的偏差。

现有的触摸技术基本只支持平面上的操作，当触摸介质分布在曲面上时，这些技术都无法准确地检测到触点的位置。因此如何提供一种精确有效的曲面多触点识别系统及方法，成为本领域急需解决的技术问题

发明内容

本发明设计提供了一种可以在曲面上实现多触点的手势识别，和触摸区域的定位的方法及其显示系统，为会展提供一种新颖的展示手段。以克服现有的传统的触摸设备的不足。

这种曲面显示系统以及手势识别和定位方法基于一个使用高透明度且导光性能好的材料制成的透明球壳，球壳作为最终的显示介质和人体的触摸介质。球壳内壁上需要铺上一层均匀的投影膜，可以让投影机在球壳上显示的图像效果更好。在球壳的底部嵌入一圈或多圈红外LED灯，提供红外线光源来均匀地照亮整个球壳。在红外LED灯下方是一个长方体底座，底座固定了上方的红外LED灯和球壳。在长方体底座中，首先需要在底部放置一个红外摄像头，摄像头中的CCD可以捕捉到上方红外LED灯反射到球壳上的光。在摄像头的上方放置红外透镜，阻挡外界可见光的进入。顶部放置一个广角镜头，可以帮助摄像头拍摄到整个画面，同时让投影机的画面均匀地投射到整个球壳上。在投影机的前面需要放置一块红外滤镜，过滤掉投影机中的红外线。为了让投影机的光路和摄像头的光路能够同时通过LED灯下方的广角镜头，需要广角镜头的下方放置一块能透过红外光，反射可见光的镀膜镜，使得红外LED灯发出的红外光在经过透明球壳反射后能够透过镀膜镜，让下方的红外摄像头拍摄到红外面的变化，同时镀膜镜可以反射投影机的图像，使得图像能够投影到整个透明球壳上

然后通过计算机处理器对图像进行分析与计算，并根据要求调用计算机存储器中数据显示相关的图像。计算机处理器通过红外摄像头采集的图像，将图像在计算机处理器中进行分析计算得到触摸的信号，计算机处理器会将触摸信号与以前保存在计算机存储器的数据进行比较，判断出触摸手势的位置、方向和速度的变化。最后计算机处理器再将触摸信号通过相应的软件接口发送给对应的终端应用软件，借助于终端软件来实现各种复杂的交互操作。

本发明所述的系统，包括：一内壁贴有投影膜且下端有圆形开口的透明球壳，作为可供触摸及投影的介质；位于所述透明球壳的所述圆形开口处的环形红外led阵列，为所述透明球壳提供分布于整个球壳内壁的均匀红外光；位于所述透明球壳的所述圆形开口下方的红外摄像头，用于采集用户在透明球壳表面触摸的红外图像；位于所述红外摄像头和所述透明球壳的所述圆形开口中间的光学镀膜镜，可以透过红外光，反射可见光；位于所述光学镀膜镜旁的光学投影机，其投影画面经所述光学镀膜镜反射，可以通过所述透明球壳的所述圆形开口，投影至所述透明球壳内壁的所述投影膜上；所述透明球壳的所述圆形开口中央的广角镜头，用于将所述光学镀膜镜反射的投影光束均匀发散至整个所述透明球壳的内壁的所述投影膜上，且可以将整个所述透明球壳表面触摸的红外图像汇聚，并透过所述光学镀膜镜，被所述红外摄像头采集；一计算机处理器及一计算机存储器，通过有线分别与所述红外摄像头和所述光学投影机连接，所述红外摄像头将采集到的所述透明球壳表面触摸的红外图像通过有线送给所述计算机处理器处理，再调用存储在所述计算机存储器中的数据，并通过有线送给所述光学投影机。

本发明中的系统其特征在于，所述透明球壳的所述圆形开口处的环形红外led阵列，安装在所述透明球壳的所述圆形开口处的球壳剖面边缘，通过所述球壳剖面的侧壁向球壳内发射红外线，所述红外线在球壳的内外壁之间进行全反射；或安装在所述透明球壳的所述圆形开口边缘，直接通过所述圆形开口，均匀发射红外线至球壳的内壁上。

进一步，还需要在所述红外摄像头的镜头前，放置一块红外透镜，用于阻挡外界的可见光和所述光学投影机的投影光线。在所述光学投影机的镜头前，放置一块红外滤镜，用于阻挡光学投影机中的红外光线进入所述透明球壳内部。

本发明还提供一种手势识别和定位方法，包括以下步骤：

S1建立所述透明球壳，安装好所述红外led阵列和所述广角镜头，再在所述广角镜头的下方依次搭建所述光学镀膜镜，所述红外摄像头和所述光学投影机，并在所述计算机存储器中预存储用户需求的投影画面。

S2所述环形红外led阵列，发射红外光线后，当用户在透明球壳外壁触摸时，产生的所述触摸的红外图像，会透过所述广角镜头和所述光学镀膜镜，被所述红外摄像头采集，并通过有线发送至所述计算机处理器中进行处理。

S3所述计算机处理器收到所述触摸的红外图像后，进行球面三维坐标和屏幕二维坐标的映射变换，然后进行图像分析与计算，得到触摸信号，并判断出触摸手势的位置、方向和速度的变化，并根据用户需求，调用存储在所述计算机存储器中的相关图像。

S4所述计算机存储器中的相关图像，经调用后，通过有线发送至所述光学投影机产生相应的投影画面，所述投影画面通过所述光学镀膜镜反射至所述广角镜头，并透过所述广角镜头，投影在所述透明球壳内壁的所述投影膜上，显示出用户所需图像。

与现有的技术比较，本发明的有益效果是：

1.本发明实现了在曲面上的无缝显示和触摸，可以识别多个触摸点和整个手势的运动变化；

2.实现了球面坐标和摄像头平面坐标、投影机平面坐标的一一对应，可以做到对触摸点的准确实时地定位；

3.发明所涉及的设备成本低廉，结构合理。

附图说明

图1为本发明的系统结构示意图

图2为本发明的红外光路示意图。

图3为本发明的“球面-平面”坐标映射示意图。

具体实施方式

下面根据图1-图3给出本发明一个较好实施例，并予以详细描述，而不是用来限定本发明的范围。

下面仔细说明该实施例：

如图1，是本发明所涉及的曲面显示系统的一个实施例的系统结构图示意图。该系统包括：一个用高透明的亚克力玻璃制作的透明球壳1，透明球壳1的内壁贴有投影幕，使得光可以均匀地散步在所述透明球壳内壁上。数十个波长为850nm的红外LED排成的环形红外led阵列2，提供散布整个球面的红外光源。环形红外led阵列2发出的红外线均匀地散布在透明球壳1的内壁上，并发生全反射。当有物体触及到透明球壳1的外壁时，红外的全反射遭到破坏，而产生红外的散射，从而产生红外图像。环形红外led阵列2下方紧贴着一个广角镜头3，能提供72°的范围成像。镜头3的下方与水平呈45°角放置着一块能够反射可见光，波长850nm红外线透过率90％以上的光学镀膜镜4。

在光学镀膜镜的水平位置上放置分辨率为1024×768的投影机6，投影机6带有红外滤镜5，可以阻挡投影机6发出的红外线。投影机6发出的图像通过光学镀膜镜4后会发生反射，按照预先设定的光路通过广角镜头3，使得投影机投射的平面图像能够很好地显示在透明球壳1上，图表1中的带箭头的虚线表示了投影机的显示光路。光学镀膜镜4的下方竖直方向上放置一个分辨率为640×480的红外摄像头7，可以拍摄到红外波段的图像，在摄像头7的镜头上需要放置一块波长850nm红外线透过率95％以上的红外透镜8，保证透明球壳1上的红外成像后能够清晰地被摄像头7拍摄，同时可以防止外界可见光的影响。

参照图2，利用了实施例1中的多触点显示系统，在图2中用虚线标示了红外的显示光路。

首先基于一个使用高透明度且导光性能好的材料制成的透明球壳1，球壳作为最终的显示介质和人体的触摸介质。球壳内壁上需要铺上一层均匀的投影膜，可以让投影机在球壳上显示的图像效果更好。在球壳的底部嵌入一圈或多圈环形红外led阵列2，提供红外线光源来均匀地照亮整个透明球壳1。在环形红外led阵列2下方是一个长方体底座，底座固定了上方的环形红外led阵列2和透明球壳1。在长方体底座中，首先需要在底部放置一个红外摄像头7，红外摄像头7中的CCD可以捕捉到上方环形红外led阵列2反射到透明球壳1上的光。在红外摄像头7的上方放置红外透镜，阻挡外界可见光的进入。顶部放置一个广角镜头3，可以帮助红外摄像头7拍摄到整个画面，同时让投影机6的画面均匀地投射到整个透明球壳1上。在投影机6的前面需要放置一块红外滤镜，过滤掉投影机6中的红外线。为了让投影机6的光路和红外摄像头7的光路能够同时通过LED灯下方的广角镜头3，需要广角镜头3的下方放置一块能透过红外光，反射可见光的光学镀膜镜4，使得红外LED灯发出的红外光在经过透明球壳反射后能够透过光学镀膜镜4，让下方的红外摄像头7拍摄到红外面的变化，同时光学镀膜镜4可以反射投影机6的图像，使得图像能够投影到整个透明球壳1上

环形红外led阵列2发出850nm波段的红外线，红外光均匀地散布在透明球壳1的内壁上并发生全反射。当有物体触摸到透明球壳1上时，红外全反射发生破坏，红外线会进行散射，造成了部分红外线透过广角镜头3垂直射向红外摄像头7。由于光学镀膜镜4可以透过红外光，所以大部分红外光可以穿过光学镀膜镜4进入下方的红外摄像头7中，从而产生实时的红外图像。

然后通过计算机处理器13对图像进行分析与计算，并根据要求调用计算机存储器中数据显示相关的图像。计算机处理器通过红外摄像头采集的图像，将图像在计算机处理器中进行分析计算得到触摸的信号，计算机处理器13会将触摸信号与以前保存在计算机存储器的数据进行比较，判断出触摸手势的位置、方向和速度的变化。最后计算机处理器13再将触摸信号通过相应的软件接口发送给对应的终端应用软件，借助于终端软件来实现各种复杂的交互操作

参看图3，为了精确地定位触摸点的位置，需要对建立摄像头平面二维坐标到球面三维坐标的一一映射。因此在构建过程中，需要将球面上任意一条直径对应的圆周上的坐标映射到球体在水平面上的圆直径坐标上，完成球面坐标系9到平面坐标系11上的坐标意义映射。在图3中，对于球面坐标系9上的任意一个坐标点10，对应着摄像头平面坐标系11上的唯一的一点。在图3中透明球壳上的三维坐标点10对应了平面坐标系11直径上的其中一点的坐标12。因此图3中列出在一个直径所对应的半圆周上，每个三维坐标点在平面坐标系11上对应的坐标关系。

Claims (5)

1.一种曲面显示系统，其特征在于，包括：一内壁贴有投影膜且下端有圆形开口的透明球壳，作为可供触摸及投影的介质；位于所述透明球壳的所述圆形开口处的环形红外led阵列，为所述透明球壳提供分布于整个球壳内壁的均匀红外光；位于所述透明球壳的所述圆形开口下方的红外摄像头，用于采集用户在透明球壳表面触摸的红外图像；位于所述红外摄像头和所述透明球壳的所述圆形开口中间的光学镀膜镜，可以透过红外光，反射可见光；位于所述光学镀膜镜旁的光学投影机，其投影画面经所述光学镀膜镜反射，可以通过所述透明球壳的所述圆形开口，投影至所述透明球壳内壁的所述投影膜上；所述透明球壳的所述圆形开口中央的广角镜头，用于将所述光学镀膜镜反射的投影光束均匀发散至整个所述透明球壳的内壁的所述投影膜上，且可以将整个所述透明球壳表面触摸的红外图像汇聚，并透过所述光学镀膜镜，被所述红外摄像头采集；一计算机处理器及一计算机存储器，通过有线分别与所述红外摄像头和所述光学投影机连接，所述红外摄像头将采集到的所述透明球壳表面触摸的红外图像通过有线送给所述计算机处理器处理，再调用存储在所述计算机存储器中的数据，并通过有线送给所述光学投影机。

2.按照权利要求1所述的曲面显示系统，其特征在于，所述透明球壳的所述圆形开口处的环形红外led阵列，安装在所述透明球壳的所述圆形开口处的球壳剖面边缘，通过所述球壳剖面的侧壁向球壳内发射红外线，所述红外线在球壳的内外壁之间进行全反射；或安装在所述透明球壳的所述圆形开口边缘，直接通过所述圆形开口，均匀发射红外线至球壳的内壁上。

3.按照权利要求1所述的曲面显示系统，其特征在于，在所述红外摄像头的镜头前，放置一块红外透镜，用于阻挡外界的可见光和所述光学投影机的投影光线。

4.按照权利要求1所述的曲面显示系统，其特征在于，在所述光学投影机的镜头前，放置一块红外滤镜，用于阻挡光学投影机中的红外光线进入所述透明球壳内部。

5.一种手势识别和定位方法，采用上述任一项所述的曲面显示系统，其特征在于，包括以下步骤：

S1建立所述透明球壳，安装好所述红外led阵列和所述广角镜头，再在所述广角镜头的下方依次搭建所述光学镀膜镜，所述红外摄像头和所述光学投影机，并在所述计算机存储器中预存储用户需求的投影画面。

S2所述环形红外led阵列，发射红外光线后，当用户在透明球壳外壁触摸时，产生的所述触摸的红外图像，会透过所述广角镜头和所述光学镀膜镜，被所述红外摄像头采集，并通过有线发送至所述计算机处理器中进行处理。

S3所述计算机处理器收到所述触摸的红外图像后，进行球面三维坐标和屏幕二维坐标的映射变换，然后进行图像分析与计算，得到触摸信号，并判断出触摸手势的位置、方向和速度的变化，并根据用户需求，调用存储在所述计算机存储器中的相关图像。

S4所述计算机存储器中的相关图像，经调用后，通过有线发送至所述光学投影机产生相应的投影画面，所述投影画面通过所述光学镀膜镜反射至所述广角镜头，并透过所述广角镜头，投影在所述透明球壳内壁的所述投影膜上，显示出用户所需图像。

Images