CN102498454B - 确定手势的显示器 - Google Patents

Abstract

一种显示系统，所述显示系统包括具有显示图像的表面116的面板110。所述系统包括三维光学传感器115。所述三维光学传感器能够包括视场135，所述视场135包括显示系统100的前表面和在所述显示系统前表面前面的体积。控制器190能够从所述三维光学传感器接收信息并且能够将来自所述三维光学传感器的该信息解释为所述体积中的对象120的手势。

Description

确定手势的显示器

背景技术

电阻触摸屏面板由通过窄间隙分开的两个薄金属导电层组成。当诸如手指之类的对象向下压在该面板的外表面上的点上时，这两个金属层在该点处被连接，而该面板然后相当于具有被连接的输出端的一对分压器。这引起电流的变化，其被登记为触摸事件并且被发送到控制器以进行处理。电容触摸屏面板是传感器，该传感器为在其中板（plate）包括以栅格图案的水平轴与垂直轴之间的重叠区域的电容器。人类身体也导电并且在传感器表面上的触摸将影响电场并且引起设备的电容的可测量的改变。

附图说明

相对于下列图来描述本发明的一些实施例：

图1是根据本发明的示例实施例的显示器；

图2a和2b是根据本发明的示例实施例的显示器；

图3是根据本发明的示例实施例的三维光学传感器；

图4是根据本发明的示例实施例的显示器；

图5A、5B以及5C是根据本发明的示例实施例的显示器；

图6是根据本发明的示例实施例的方框图；以及

图7是根据本发明的方法的示例实施例的流程图。

具体实施方式

图形用户界面（GUI）能够使用诸如鼠标之类的指向设备来移动光标。该光标能够被控制以便执行功能。例如，可以通过移动光标来执行的功能正在选择位置或者在该屏幕上移动对象。在其它实施例中，光标能够执行其它功能，诸如通过选择所显示的对象的边缘并且拖动所显示的对象的该边缘来调整所显示的对象的大小。通过计算机执行的功能取决于对接口和应用的编程。

触摸屏能够被用来在显示器上移动光标或对显示器上的对象进行移动。当用户的手或指示笔与该显示器接触时，触摸屏可以识别手势。显示器可以为在x和y方向上延伸的二维表面，但是用户存在于三维中并且能够在非处于该二维显示器表面所形成的平面中的任何方向上移动。

在一个实施例中，显示器包括三维光学传感器，其用来确定由该光学传感器捕获的对象距该光学传感器的深度。对象距该显示器的距离能够基于所测量的对象与光学传感器之间的距离来计算。

为了操纵非触摸屏上的对象，鼠标可能必须选择该对象并且通过使用菜单来操纵该对象。手势可以用来操纵触摸屏上的对象，例如用户可以展开他们的手指来对对象进行放大。在触摸屏上可用的手势可以使用户触摸显示器并且以不自然的运动（unnatural motion）使用他们的手。用户可能必须通过训练练习来学习这些不自然的运动并且可能忘记不经常使用的手势。如果用户能够在显示器前面的体积中使用自然的运动与显示屏幕上显示的对象进行交互，则该用户可能能够使用自然的移动来执行任务。例如，当某物太小以致不能观看时，用户可以通过抓握到显示器上显示的对象上并且朝向他们拉动所显示的对象以对所显示的对象进行缩放来模拟自然的运动以使其更接近于你。

在一个实施例中，显示系统包括具有显示图像的表面的面板。该显示系统还包括三维光学传感器。该三维光学传感器能够具有视场，所述视场包括该显示系统的前表面和在该显示系统的前表面前面的体积。控制器能够从该三维光学传感器接收信息并且把来自该三维光学传感器的信息解释为该体积中的对象的手势。

参考各图，图1是根据本发明的示例实施例的显示系统100。该显示系统100包括面板110，所述面板110包括用于显示图像的表面116。面板110的正面为显示图像的表面116而面板110的背面与该正面相反。例如，面板110可以为液晶显示器（liquid crystal display, LCD）面板、等离子体显示器、阴极射线管（cathode ray tube, CRT）、OLED或诸如数字光处理（digital light processing, DLP）之类的投影显示器。在一个实施例中，该三维光学传感器可以附连在该显示系统100的处于面板110的表面116的周界117之外的区域中。

三维光学传感器115能够确定位于该三维光学传感器115的视场135 中的对象距该三维光学传感器的深度。三维光学传感器115的视场135能够确定在其处能够识别出手势的的显示系统100前面的体积。在一个实施例中，在其处能够识别出手势的体积可能小于三维光学传感器115的视场135能够捕获的体积。在一个实施例中，可以使用对象的深度来确定该对象是否在距显示系统100的表面116的接触距离（contact distance）之内。如果该对象距该显示系统的距离基本上为零厘米，则控制器190可以根据该深度信息确定该对象正接触显示器。在一个实施例中，基本上为零意味着三维光学传感器的分辨率可能不能够确定与该显示器的接触，以及小于距显示系统的接触距离的对象距该三维光学传感器可能具有被控制器180确定为零的距离和与该显示系统的接触的深度信息。接触距离例如可以为距显示系统0.2厘米，然而可以为其它距离。在一个实施例中，对象的深度能够被用来确定该对象是否在该显示器的体积距离（volume distance）内，但是不在该显示器的接触距离内。例如，对象120可以是接近透明层105 的用户的手和手指120a、120b。

如果对象120a或120b在三维光学传感器115的视场135内，则来自光源125的光能够从该对象反射并且被该三维光学传感器115观看到以生成信息。可以通过连接191把该信息发送到控制器190。该信息可以包括该体积中的对象120a和120b（例如用户的手）的位置，例如x、y以及z坐标。在一个实施例中，用户能够用对象120b（例如用户的手指）接触显示器以提供对显示器上用户想要操纵的对象的选择。这允许用户操纵显示器上的特定对象而不是所有对象或无意的对象。例如如果用户接着想要对对象进行放大，则用户可以握拳并且在Z方向上移动他们的拳头。当对象被缩放到期望的距离时，用户可以张开他们的拳头以防止对该对象的进一步缩放。拳头的张开例如可以类似于用户释放他们对物理对象的抓握，且因此当用户移动他们的手时不再使该物理对象移动。

图2a是根据本发明的示例实施例的显示器。本发明包括显示器210。三维光学传感器215被附着到显示器210。计算系统280能够连接到该显示器。计算系统280可以为桌上型电脑、便携式计算机、服务器计算机、个人数字助理、蜂窝电话或其它机器。在一个实施例中，计算系统处于与该显示器所附着到的相同的底架中。在另一实施例中，计算系统与该显示器是分开的并且该显示器能够连接至该计算系统。在一个实施例中，三维光学传感器能够检测不与显示器接触的手势。例如，诸如用户的手之类的对象能够在显示器210前面的体积中做出从右至左的运动以翻动在显示器210上显示的书295 的各页。三维光学传感器215能够生成能够被计算系统280接收的信息。计算系统280中的控制器能够根据在一时间段上诸如用户的手220a之类的对象的不同放置来确定用户的手正在什么方向上移动。该控制器然后能够确定该对象的该移动是否为被计算系统识别的手势。所识别的手势是用其来对计算机系统280进行编程的手势，并且如果该对象220a被确定为正在执行该手势则在该计算系统上执行功能。例如，翻动书295中的一页可以是如果控制器确定对象在右至左的方向上横跨该显示器前面的体积移动则执行的该计算系统280中的所存储功能。

图2b是根据本发明的示例实施例的显示器。本发明包括显示器210。如果三维光学传感器215被附着到显示器210，则该三维光学传感器的视场能够包括显示器表面216。如果显示器表面被包括在三维光学传感器215的视场中，则三维光学传感器215还能够检测对该显示器表面216的触摸。例如，诸如用户的手之类的对象220b能够触摸通过计算机与功能相关联的显示器217的区域。计算机的功能例如可以是打开链接，所述链接诸如到与显示在显示器210上的书295中的短语有关的附加信息的链接。

计算系统280能够从三维光学传感器215和控制器接收信息，例如处理器能够根据该信息确定对象220b是否正接触显示器表面216以及确定与显示器表面216的接触的坐标是否为图像正被显示在具有分配给该图像的指定功能的显示器210上的显示器表面216的区域。

图3是根据本发明的示例实施例的三维光学传感器315。该三维光学传感器315能够接收从对象320反射的、来自源325的光。光源325例如可以是红外光或发射对用户不可见的光的激光光源。相对于该三维光学传感器315，光源325能够处于允许光反射离开对象320并且被三维光学传感器315捕获到的任何位置。在一个实施例中红外光能够从可以为用户的手的对象320反射并且被三维光学传感器315捕获。在三维图像中的对象被映射到不同的平面，对于每个对象而言假定Z次序、在距离上的次序。该Z次序可以使得计算机程序能够将前景对象与后景区分开并且可以使得计算机程序能够确定对象距显示器的距离。

使用诸如体视术（stereo）之类的基于三角测量的方法的二维传感器可以涉及加强图像处理以接近对象的深度。该二维图像处理使用来自传感器的数据并且对该数据进行处理以生成通常从二维传感器不可获得的数据。加强图像处理可能不被用于三维传感器，这是因为来自该三维传感器的数据包括深度数据。例如，针对渡越时间三维光学传感器的图像处理可以涉及简单查找表以将传感器读数映射到对象距显示器的距离。渡越时间传感器根据光从已知光源行进、从对象反射并且返回至该三维光学传感器花费的时间来确定对象距传感器的深度。在该图像中对象的深度能够根据不使用第二三维光学传感器来确定该图像中该对象的距离的三维光学传感器来确定。

在替代实施例中，光源能够发射结构光，所述结构光是光图案以已知角度到对象上的投射，所述光图案诸如平面、栅格或更复杂的形状。当照到表面时光图案变形的方式允许视觉系统计算在该场景中对象的深度和表面信息。积分成像（Integral Imaging）是提供全视差立体视图的技术。为了记录对象的信息，使用了与高分辨率光学传感器相结合的微透镜阵列。由于每个微透镜相对于被成像对象的不同位置的原因，该对象的多个透视图（perspective）能够被成像到光学传感器上。包含来自每个微透镜的基本图像的所记录图像能够被电传输，然后在图像处理过程中被重建。在一些实施例中，积分成像透镜能够具有不同的焦距，并且如果对象焦点对准，则对象深度基于焦点传感器来确定，或者如果对象焦点未对准则基于散焦传感器来确定。本发明的实施例不局限于已经描述的该类型的三维光学传感器，而且可以为任何类型的三维传感器。

图4是根据本发明的示例实施例的显示器。在一些GUI中，能够感测到一个以上对象420和422的显示系统400或许能够执行不会被单个对象识别的程序内的任务。例如，诸如模拟对文档边缘的抓握和例如在x方向上手420和422移动分开之类的手势可以是用于删除在显示系统400上显示的文档的手势，这是因为该手势模拟如果文档被撕成两半将会做出的运动。

在一个实施例中，存在第一三维光学传感器415和第二三维光学传感器417。第一三维光学传感器415可以具有视场455。表面416可以为可以包括透明层405的显示系统400的表面。透明层405可以是玻璃、塑料或另一透明材料。在一个示例中，在视场455内能够捕获到对象420的图像。第一三维光学传感器415可能看不见第二对象422，这是因为第一对象420可能在第一三维光学传感器415与第二对象422之间。如果从第一三维光学传感器415观看，则该视场455沿着该视场455的第一对象420以外的部分，可能被第一对象420阻挡。第二三维光学传感器417能够在其视场460内捕获包括第二对象422的深度的图像。第一三维光学传感器415能够确定第一对象420（例如用户的右手）的距离。如果通过第一三维光学传感器415对第二对象422的观看被第一对象420阻挡，则第一三维光学传感器415可能不能够确定第二对象422（例如用户的左手）的距离，但是第二三维光学传感器417可能能够确定第二对象422距第二三维光学传感器417的距离。第一三维光学传感器415和第二三维光学传感器417可以在显示系统400的角落或者这些光学传感器可以位于在该显示器中或上的任何地方，诸如顶部、底部或侧面。第一三维光学传感器和第二三维光学传感器可以连接到单个控制器490或多个控制器以接收来自三维光学传感器的信息。

图5A是根据本发明的示例实施例的显示器。三维光学传感器515具有延伸超过显示面板510的周界517的看得见区域。对象超过周界517的移动能够激活计算机系统的功能。例如，三维光学传感器515可以生成被发送至计算系统580的信息。该信息能够包括关于诸如用户的手之类的对象520a的位置的信息。在一时间段上，与对象520a的位置有关的信息能够改变。例如，如果在时间A用户的手在第一位置处并且1秒以后在时间B该用户的手在第二位置处，则该计算机可以把位置的该改变确定为在Y方向上的移动。该移动可以为被编程为在计算系统580上执行功能的手势。

在一个实施例中，用户可以通过沿着显示系统500的侧面575以向上或向下的运动移动他们的手来控制诸如音量之类的功能。该显示器的侧面可以为在面板510的周界外部的区域。可以通过用户的手沿着显示面板的侧面来控制的其它功能的示例为诸如快进和倒回之类的媒体控制以及诸如移动到下一个幻灯片或前一个幻灯片之类的呈现控制。

用户可以对在检测到一定的移动时计算机实施的功能进行编程。例如，用户可以通过从右到左在显示器之上移动他们的手以转向下一页或者从左到右以转向前一页来翻动显示器上文档的页。在另一示例中，用户可以以表示抓握屏幕上的对象并且旋转该对象以在顺时针或逆时针方向上旋转该对象的运动来移动他们的手。用户界面能够允许用户改变被三维光学传感器检测到的手运动的结果。例如，如果用户在右到左的方向上在显示器前面移动他们的手，则能够把计算机编程为把该运动解释为对页的翻动或为关闭文档。

图5B和图5C是根据本发明的示例实施例的显示系统500。在一个实施例中，用户能够使用张开的手520b接近显示器510上的显示对象518b。为了控制显示对象518b，用户能够闭合他们的手。在图5C中，用户的手是闭合的520c并且该用户的手的移动能够控制显示对象518b。例如，在图5C中用户已经在Z方向上将他们的手移动离开显示系统500。此移动可以对显示对象518b进行放大以产生显示对象518c。计算系统580能够从三维光学传感器接收信息并且使用该信息对显示对象进行放大或缩小。

图6是根据本发明的示例实施例的方框图。光学传感器模块600能够包括光源625和三维光学传感器615。光学传感器模块600能够捕获可以包括图像中的对象的高度、宽度以及深度的数据。光学传感器模块600能够连接到通信端口670以将所捕获信息传送至计算设备。通信端口670可以为计算设备上的通信端口670。例如，通信端口670可以为通用串行总线（USB）端口或IEEE 1394端口。在一个实施例中，通信端口670可以为计算设备的输入输出控制器675的一部分。输入输出控制器675能够连接至计算机可读介质685。计算设备的输入输出控制器675能够连接至控制器690。

控制器690能够通过输入输出控制器675的通信端口670来接收由三维光学传感器615捕获的数据。控制器690能够根据由三维光学传感器模块600捕获的数据确定对象距光学传感器模块600的距离。控制器690能够基于对象距三维光学传感器模块600的距离确定对象距显示器的距离。在一个实施例中，控制器690为处理器或专用集成电路（ASIC）。

包括控制器690的计算系统能够使用该信息来确定手势是否已经发生。手势为作为表达例如身体、肢、手或手指的手段的移动。该移动通过诸如手之类的对象的位置的改变来确定，如由在一时间段上由三维光学传感器615生成的信息的改变所指示的。

图7是根据本发明的方法的示例实施例的流程图。该方法通过在控制器处接收来自三维光学传感器的信息开始（在710处）。深度信息包括在三维光学传感器的视场中对象距该三维光学传感器的深度。例如，三维光学传感器可以使用渡越时间、结构光、积分成像或焦点散焦来生成深度信息。深度信息能够由计算设备接收。该计算设备例如可以为计算机系统、个人数字助理或蜂窝式电话。控制器能够确定所接收信息是否对应于大于距显示系统的接触距离的第一手势（在720处）。接触距离例如可以为距显示系统0.2厘米，但是可以为其它距离。

控制器能够确定所接收信息是否对应于小于距显示系统的表面的接触距离的第二手势（在730处）。如果该对象接触与透明层，则该对象距显示器的所计算距离为零。如果计算机接收到距离为零的信号，则如果计算机确定该对象的位置和面板上显示的图标的图像的位置彼此对应则计算机能够引起对图标的激活。例如，如果该图标被激活，则该图标能够表示将启动的程序。

上文所描述的技术可以体现在计算机可读介质中，用来配置计算系统以执行该方法。例如且在没有限制的情况下，计算机可读介质可以包括任何数目的下列项：包括磁盘和磁带存储介质的磁存储介质；诸如紧致盘介质（例如，CD-ROM、CD-R等）之类的光学存储介质和数字视频盘存储介质；全息存储器；包括诸如闪速存储器、EEPROM、EPROM、ROM之类的基于半导体的存储器单元的非易失性存储器存储介质；铁磁数字存储器；包括寄存器、缓冲器或高速缓存、主存储器、RAM等在内的易失性存储介质；以及互联网，仅举这些为例。其它新的和各种类型的计算机可读介质可以被用来存储和/或传送本文所讨论的软件模块。可以找到以许多形式的计算系统，包括但不限于大型机、微型计算机、服务器、工作站、个人计算机、笔记本、个人数字助理、各种无线设备以及嵌入式系统，仅举这些为例。

在前述描述中，阐述了许多细节以提供对本发明的理解。然而，本领域的技术人员应当理解的是，可以在没有这些细节的情况下来实践本发明。虽然已经相对于有限数目的实施例公开了本发明，但是本领域的技术人员将意识到根据其的众多修改和变体。目的是随附权利要求书覆盖如落入本发明的真实精神和范围内的这样的修改和变体。

Claims (13)

1.一种显示系统，包括：

具有显示图像的表面的面板；

包括视场的三维光学传感器，所述视场包括所述显示系统的前表面和在所述显示系统的所述前表面前面的体积；以及

控制器，其接收来自所述三维光学传感器的信息并且确定来自所述三维光学传感器的所述信息是否为所述体积中的对象的手势；

其中所述三维光学传感器确定所述三维光学传感器捕获的对象距所述光学传感器的深度，并且所述深度被包括在所述信息中。

2.根据权利要求1所述的显示系统，其中，手势正接触所述显示系统的前表面。

3.根据权利要求2所述的显示系统，其中，所述信息包括所述体积中的第一对象和接触所述前表面的第二对象。

4.根据权利要求1所述的显示系统，还包括计算机可读介质，其用来存储手势并且将所述手势与计算机功能相关联。

5.根据权利要求4所述的显示系统，其中，所述控制器访问所述计算机可读介质以确定所述功能。

6.根据权利要求1所述的显示系统，其中，所述体积在所述前表面与体积距离之间。

7.根据权利要求1所述的显示系统，其中，如果所述对象朝向所述显示系统移动，然后闭合并且移动离开所述显示系统，则来自所述三维光学传感器的信息促使所述控制器对所述表面上的图像进行放大。

8.一种确定手势的方法，包括：

在控制器处接收来自三维光学传感器的信息；

使用所述控制器确定所接收的信息是否对应于大于距显示系统的接触距离的对象的第一手势；以及

使用所述控制器确定所接收的信息是否对应于小于距所述显示系统的接触距离的对象的第二手势；

其中所述三维光学传感器确定所述三维光学传感器捕获的对象距所述光学传感器的深度，并且所述深度被包括在所述信息中。

9.根据权利要求8所述的方法，还包括如果确定的是所述第一手势对应于第一功能，则激活计算系统的所述第一功能。

10.根据权利要求8所述的方法，还包括如果确定的是所述第二手势对应于第二功能，则激活计算系统的所述第二功能。

11.根据权利要求8所述的方法，还包括将不同手势的第二信息存储在计算机可读介质中。

12.根据权利要求11所述的方法，还包括比较从所述三维光学传感器接收的信息和所述计算机可读介质中的所述第二信息。

13.根据权利要求12所述的方法，还包括通过使用所述信息对显示器上的图像进行放大。