CN103558931A - 用于远程、虚拟屏幕输入的系统和方法 - Google Patents

Abstract

一种在远程、虚拟屏幕数据输入的系统、装置和方法包括一个由接近传感器和数据通讯装置组成的外设数据输入设备（PDID）。接近传感器用于动态识别外设设备附近的目标的活动。数据连接设备用于将来自接近传感器的信号发送至连接着远程显示屏的处理器。处理器在显示屏上显示输入栏的图像，并且，当实时察觉到遮盖物时，目标的虚拟图像就覆盖了输入栏的图像。

Description

用于远程、虚拟屏幕输入的系统和方法

相关专利的交叉引用

本申请要求于2009年7月22日提交的美国临时申请专利第61/227,485号的权利，其内容通过引用结合到本文中并以此为依据。

版权和法律公告

本专利文献所公开的部分内容中包含的材料是受到版权保护的。版权所有人并没有反对有专利文件所有人做出的复制品或以在美国专利和商标局备案或记录的形式公开的专利，但保留所有版权。另外，本文中引用了第三方专利、文献或产品型号，不应被理解为因为是在先发明所使用的材料而本发明没有权利使用。

背景技术

本发明涉及输入设备和方法，尤其是用于多媒体服务、应用及设备的数据输入和发送指令的系统和方法。

众所周知，利用诸如鼠标和键盘之类的输入设备，将数据输入个人电脑（PC）或多媒体系统（诸如电视机、机顶盒、游戏机或其他电脑处理设备），通过数据总线、数据接口、无线射频、红外线、蓝牙、无线网络及数据集线器与个人电脑或其他设备相连。

将虚拟键盘与设备整合在一起，使得用户无需触碰设备就能进行输入也很常见。另外，我们还知道，用户通过穿戴数据手套实现输入。

我们也知道，单点触控和多点触控键盘或输入设备能够实现来自用户的单个或多个输入。换句话来说，单点触控接口每次能够读取一个输入，然而，多点触控每次能够读取/感应两个或更多输入。

近来，多点触控技术被应用于移动电话技术中。诸如法国的Stantum公司、瑞士的意法半导体公司、美国的赛普拉斯半导体公司、美国的安华高科技公司和美国的新思科技股份有限公司之类的公司根据移动电话客户的需求正在发展多点触控技术。多点触控输入设备使用包括电阻式、电感应、热感应、电容式或电磁感应触控和/或接近传感器之类的技术来感应或成像感应范围内存在的物体。

由加利福尼亚丘珀蒂诺的苹果公司生产的iPhone提供了一种显示屏，所述的显示屏能够响应接近感应器，在用户打电话将设备靠近脸时，使得显示屏和触摸屏处于不活动的状态。

像瑞士的Atracsys之类的公司正在开发一种非接触接口，一个或多个用户能够利用具有多点触控的设备屏幕，通过在显示器附近做手势而无需触碰它就能实现交流。

其他已知的现有技术诸如通过电容感应技术和其他电磁技术，用户的身体不需要接触多点触控感应设备，相反只需要放在足够靠近多点触控感应设备的地方以便能够解读触摸输入。例如，由华盛顿州雷德蒙市的微软研究院研发的SIDESIGHT允许用户通过在设备边上的手指活动来控制多点触控移动设备的小屏幕上的图像，而不需要触碰部件。参见由Alex Butler等人撰写于2008年10月19日公开发表的文章《SideSight：在小型设备周围的多点“触控”互动》，此文的内容通过引用结合到本文中。然而，这样的技术正在进行实际的应用，否则，将无法通过任何有效的途径应用到产品上。

当前已知的技术设备将触摸屏与基本的显示设备的屏幕整合在一起。这使得用户必须肢体上地接近基本的显示设备。这样用户的手或手指可能会阻碍观看者看到显示设备上的内容。另外，较大的显示设备会释放出有害的电磁辐射。因此，用户不希望在进行相关的互动时接近这样的设备。而且，用户希望保持一种舒适的姿势，这种姿势不是与大尺寸显示设备互动时必要的姿势。使用当前技术的设备，很可能导致用户无法选择个人习惯的姿势来与这样的设备互动。另外，当多个用户观看同一个显示设备时，这种设备便于一个用户能够原理显示设备来控制设备的显示。

因此，现在需要的是一种装置、系统和方法，给用户提供一种手段，使他们利用远程输入设备来远程触摸屏幕，这种设备是方便携带的并且是与显示设备分开的。现在需要的是一种装置、系统和方法，给用户提供一种能力，使得他或她能够直接在具有整合的多点触控表面上作出动作时便能够输入文本而不需要触碰显示屏。另外，还需要一种一种装置、系统和方法，允许用户观察虚拟键盘以及位于相对于显示设备上的虚拟键盘的正确位置上的他或她的手指的虚拟图像。

发明内容

根据本发明的实施例，一种用来远程、虚拟屏幕数据输入的外设数据输入设备（PDID或外设设备）包括接近传感器和数据通讯装置。所述的接近传感器适用于动态识别外设设备附近的目标的活动。数据通讯装置适用于将信号从接近传感器传输至连接远处显示屏的处理器。处理器在显示屏上构成输入栏的图像，并且当实时察觉到遮盖物时，目标的虚拟图像就覆盖了输入栏的图像。

在另一个实施例中，提供了一种系统和方法，包括具有接近传感子系统（PSS）、信号发射机和接口设备的外设设备，这种外设设备适用于与普通的个人电脑或多媒体系统（电视机、机顶盒、游戏机）的处理器连接、通讯及发送数据以及控制这些处理器；并且（b）在处理器上执行指令来接收外设设备输入的数据，当数据从接近感应子系统发出时，（1）通过指令在远处的显示屏上除了显示输入栏的虚拟图像外还显示了目标的虚拟图像，在一个典型的案例中，用户的手指放在相对于在显示屏上的输入栏的图像的位置上，所述的输入栏的图像的位置是根据现实世界中外设设备上的输入栏的目标的位置而再现的二维平面图，并且（2）通过指令接收外设设备输入的数据并以一种适当的方式处理所发送的数据的类别，不管是代表文字、语言还是指令输入。

尽管与本发明的优势无关，但是大量本发明的实施例既能够被用于具有整合的触摸屏的显示设备也能用于不包括触摸屏的设备。

本发明的目的是为了给用户一种在显示装置上的触摸屏的体验而并不一定要包括整合的触摸屏。取消了显示屏上的触摸屏硬件与整合有触摸屏感应器的大尺寸显示器相比，既有效的减少了硬件成本又增加了用户对适合他需求的显示设备以及外设设备组合的选择。

本发明的另一个目的是为了让用户能够远离显示的键盘的虚拟图像将数据输入虚拟键盘。通过这种方法，提供给用户一种远程使用触摸屏显示设备（相对于用户）的体验而无需肢体接触显示设备。

本发明另一个目的是使用户能够无需浏览远程输入设备而只要用户将他或她的视线注视着显示设备便能输入数据。

本发明的另一个目的是让用户更加舒适并且增加与个人电脑或多媒体设备，例如多媒体播放器，互动的灵活性。

本发明的另一个目的是让用户能够利用手或手臂给别的观看者做手势示意，例如，虽然遮挡住远离用户的显示屏，但是还是能够吸引观看者的注意。

本发明的另一个目的是通过使用虚拟键盘来避免印刷本发明的外设设备上键盘的版面设计，这些版面设计是以几个被接受的标准中的一个来设计的，通常是以语言为基础（英语、法语、德语、西班牙语、数字键盘），这样的版面设计是区域语言或从属的功能，因此这样就避免了制造、贮存及根据用户常见的地域依赖性需求分发印刷键盘使用说明的逻辑复杂性。

本发明公开了一种用于在远程显示屏上进行虚拟输入的外设设备，其特征在于，所述的外设设备包括：至少一个接近传感器，用于动态识别至少一个接近所述的外设设备的目标的活动；以及一个数据连接设备，用于将来自接近传感器的信号发送至处理器，所述的处理器连接着远程显示屏并与显示屏进行互动，从而构成：

在显示屏上显示输入栏的图像，和当实时检测到有覆盖物时，在显示屏上显示输入栏的图像上方的目标的虚拟图像。

其中，所述的目标是由用户的一只手或多只手、一根手指或多根手指、一条手臂或多条手臂、一支书写笔或多支书写笔及一个指物棒或多个指物棒组成的一组目标中的一种。

其中，至少一个所述的接近传感器被整合入至少一个传统的机械键盘中，因此，在符合规定的触碰条件时，提供按键触控激活。

其中，所述的触碰条件是指足够接近，这时，标示触碰的触碰信号被发送至处理器，因此，使得传统的键盘也具有触控板的效果。

其中，所述的接近传感器是能够从由电容传感器、红外传感器、电磁传感器、弹片开关、霍尔效应传感器、电阻变化传感器、导电变化传感器、共鸣传感器、无线电波传感器、热量检测传感器、涡电流传感器、光谱识别传感器和微气流变化传感器组成的一组接近传感器中选择的。

其中，所述的外设设备更进一步包括至少一个触控传感器。

其中，所述的外设设备更进一步包括一个多点触控输入面。

其中，所述的多点触控输入面被整合在外罩上，所述的外罩能够通过键控与主输入面分开。

其中，显示在显示器窗口上的所述的输入栏的图像是虚拟键盘的图像。

其中，显示在显示器窗口上的所述的输入栏的图像是透明的，从而使得能够看到显示屏中位于输入栏的图像下的内容。

其中，所述的处理器包括以指令集形式存在的指令，所述的指令在接近传感器检测到外设设备附近的目标时，自动激活系统。

其中，在系统自动激活时，显示屏上显示目标的图像。

其中，在系统自动激活时，在显示屏上显示输入栏的图像。

其中，从下列深度提示组成的一个深度提示组中选出一个，利用这个深度提示来形成权利要求1中存在的目标的图像：目标尺寸的变化；目标颜色和/或透明度的变化；与目标位置相对应的阴影的变化；目标阴影的颜色和/或透明度的变化；目标的阴影模糊的变化；显示将目标与输入设备表面的距离译成编码的箭头；和当目标接近或远离输入设备表面时，利用声音提示或由相关的声音系统发送的声音的变化。

其中，所述的目标的虚拟图像是简化的图像，其中只有目标的输入端被显示出来准确地指向关于输入栏的图像的方向。

其中，与所述的目标的输入端对立的一端是以简化的方式呈现出来的。

本发明进一步公开了一种用于在显示屏上再现和显示目标的输入关系的系统，其特征在于，因而允许用户通过显示的虚拟图像来实现调节互动，所述的系统包括：一个输入设备；和一个能够由处理器执行的指令集，其中，当通过处理器输入和/或从输入设备接收接近数据时，利用处理器在显示屏的窗口上形成出输入栏的图像，更进一步来说，利用处理器实时形成由输入设备检测到的目标的虚拟图像并实时将其覆盖到这种形成的图像上。

其中，所述的输入设备包括：至少一个压力式输入键盘；至少一个用于动态识别输入设备附近的目标的活动的接近传感器；和用于将与输入和/或接近数据相对应的信号发送至处理器的数据连接设备。

本发明进一步公开了一种用于提供模拟触摸屏的输入功能，将其在远程显示器上显示的方法，其特征在于，所述的方法的步骤包括：检测远程输入设备周围的一个或多个目标；利用接近数据在处理器中处理一个或多个目标的三维位置；在连接着处理器的显示屏上显示输入区域的虚拟图像；计算相关的位置并将这些相关的位置信息发送至处理器；动态实时显示一个或多个目标的虚拟图像，所述的目标所指向关于虚拟触摸屏输入设备的方向与被检测到的一个或多个目标所指向的关于现实世界里的输入设备的方向一致。

本发明进一步公开了一种至少整合了一个接近传感器的输入按键，其特征在于，所述输入按键用于确定目标的存在以及所述的目标与按键之间的大致距离，所述的接近传感器连接着处理器以处理存在信息和距离信息。

其中，所述的接近传感器适用于计算和发送目标的轨迹。

其中，所述的接近传感器是能够从一组由电容传感器、红外传感器、电磁传感器、弹片开关、霍尔效应传感器、电阻变化传感器、导电变化传感器、共鸣传感器、无线电波传感器、热量检测传感器、涡电流传感器、光谱识别传感器和微气流变化传感器组成的接近传感器中选择的。

其中，所述的输入按键的弹片按键。

其中，所述的输入按键的剪刀按键。

本发明进一步公开了一种能够在远程显示屏上实现虚拟输入的外设设备，其特征在于，所述的外设设备包括：至少一个接近传感器，所述的接近传感器适用于动态识别外设设备周围的至少一个目标；一个适用于将来自接近传感器的信号发送至处理器的数据连接设备，所述的处理器连接着远程显示屏的；和编码指令，当目标被检测到时，便进行实时覆盖，远程显示器上的目标的虚拟图像所指的方向相当于现实世界中目标指向接近传感器的方向。

本发明进一步公开了一种用于提供类似触摸屏的输入功能，并将其在远程显示器上显示的方法，其特征在于，其中输入是由远程的外设设备进行的，所述的方法的步骤包括：读取来自每个接近传感电极的接近信号；检查接近信号是否超出特征检测临界点并且，如果超出的话，那么就将它们归类为高接近信号；根据指示信号特征检测的传感电极的相应位置将高接近信号归类多个组；在每个组中识别本地最高的接近信号；和通过利用三角测量方法来处理每一个本地最高的接近信号及其邻近的接近电极信号来计算出每个信号特征的X、Y、Z轴的位置；以及在虚拟键盘上显示出每个信号特征的X、Y轴的正确坐标并利用深度提示显示相应的Z轴位置。

其中，所述的外设设备包括至少一个整合的摄像头，以及其中的方法包括下列附加的步骤：借助于整合的摄像头将目标进行归类；识别与检测到的本地最高的接近信号类似的目标的区域；登记与检测到的本地最高的接近信号类似的目标的区域；和显示在外围设备的输入区域的图像上登记的目标的图像，优选地以透明模式。

本发明进一步公开了一种能够在远程显示屏上实现虚拟输入的外设设备，其特征在于，所述的外设设备包括：至少一个接近传感器，所述的接近传感器适用于动态识别外设设备周围的至少一个目标；一个适用于将来自接近传感器的信号发送至处理器的数据连接设备，所述的处理器连接着远程显示屏的；和编码指令，当所述的编码指令在处理器中执行时，读取来自被检测到的目标的数据并且为了能够实时覆盖远程显示器上的目标的虚拟图像，利用数据连接设备发送所述的数据来进行处理，所述的虚拟图像指向的方向相当于现实世界中目标指向接近传感器的方向。

附图说明

图1是一种根据本发明的系统的实施例的透视图。

图2是透明模式下被目标遮挡的虚拟键盘的俯视图。

图3是透明模式下被目标遮挡的虚拟键盘的俯视图，这里的目标是拇指。

图4是用于根据本发明的系统和方法的实施例的外设设备的示意图。

图5是根据本发明的实施例的外设设备的框图。

图6是根据本发明的实施例的具有近距离悬停功能的触摸板模块的侧面示意图。

图7A所展示的是，位于其上部的根据察觉到的悬停在空中的手指的位置而形成的图像，其下部所展示的是相对于输入面的悬停在空中的手指。

图7B所展示的是，位于其上部的根据察觉到的接触表面的手指的位置而形成的图像，其下部所展示的是相对于输入面的接触表面的手指。

图8是展示了典型的输入类别的表格。

图9是根据本发明的第一种方法的流程图。

图10是根据本发明的三角测量步骤的示意图。

图11是根据本发明的实施例的混合触摸板模块的示意图。

图12是根据本发明的第二个可选的方法的流程图。

图13是每一个键都具有集成的光学接近检测器的键盘整列或键盘组的透视图。

本技术领域的技术人员会发现附图中说明的组件是简洁明了的，并没有必要画出它们的尺寸。例如，为了有助于更好地理解本发明及其实施例，组件的尺寸相对其它的组件会被放大。而且，本文所使用的“第一”、“第二”以及类似的词是为了区别两个类似的组件，并不是为了描述它们的顺序。此外，像在说明书和/或权利要求书中出现的“前”、“后”、“顶”和“底”以及类似的词不适用于描述它们专有的位置。本技术领域的技术人员因此能够理解这些词语是能被其他词语代替的，并且本文所描述的实施例除了那些明确的说明或其他方面的描述外也能以其它方法来实施。

元件列表

系统10

处理器12

个人电脑、机顶盒、多媒体设备14

显示屏16

输入设备、外设设备20（整个键盘）

无线集线器22

操作系统24

指令26

方法30

目标的图像32

输入栏的图像33

用户34

目标36

拇指37

主输入设备38

主输入面40

键盘输入栏42

多点触控输入面、输入面44

外罩46

辅助输入设备48

红外传感器162

单一的多点触控面45

网格 50

区域 52

接近传感子系统（PSS）54

无线收发器56

数据连接设备（DCD）58

触控板模块60

接近传感器62

触控板模块表面64

PCB66

接近传感器阵列68

薄背光板70

玻璃板72

玻璃板的上表面74

圆环75

网格76

距离d

实心圆80

网格76’

按键82

表格90

方法30

步骤一100

步骤二102

步骤三104

步骤四106

步骤五110

步骤六112

传感器114

d1

d2

d3

d4

三维接近传感模块120

PCB122

接近电极124

触控板模块126

触控板PCB128

双层ITO129

玻璃板132

摄像头138

方法140

步骤一142

步骤二144

步骤三146

步骤四150

步骤五152

步骤六154

指令156

输入设备20”

按键160

接近传感器162

圆形遮盖物164。

具体实施方式

下面的描述不是为了以任何方式来限定本发明的范围，同样，这些描述作为实际的范例并且在本发明提交后有助于描述出本发明最好的模式让发明家理解。因此，对于公开的实施例中所描述的任意组件的布局和/或功能做出的改变都不会背离本发明的精神和范围

能够适用于本发明的技术，换句话来说，就是一些适用于本文所描述的功能的基础硬件组件，已经在美国专利第7，653，883号及于2010年3月17日提交的美国临时专利第61/314,639号，标题为《用于捕捉手写批注的系统和方法》中被公开，这些内容通过引用结合到本文中。

参见图1，根据本发明的系统10包括一个相互连接的电脑处理器12（封装的，例如，装在个人电脑，机顶盒或多媒体设备14中），一个显示屏16（例如，电视机，电脑显示屏，投影仪等），一个输入设备20以及一个无线集线器22。所述的电脑处理器12和操作系统（OS）24执行指令26来进行本发明的方法30（根据图9和12所描述的方法）。为了模拟用户34在外设设备20上执行的输入功能及相应的位置，所述的指令26在操作系统24中被执行来接收并处理来自外设设备20的数据以便在显示设备16上显示目标36的图像32以及至少一个外设设备20的输入栏40的图像33。

如图所示的可选择的外设设备20的多点触控输入面44被整合入外罩46中，所述的外罩46能够通过键控与主输入设备38分开。

虽然此处所述的目标36代表用户的一根手指或多根手指，但是也能够代表很多其他事物，例如但不限于，用户的一只手或一双手、一条手臂或两条手臂、手套或戒指等物体上的标示器、一支书写笔或多支书写笔、一支铅笔或多支铅笔，一支钢笔或多支钢笔和一个指物棒或多个指物棒。

参见图2，优选的是，目标36的图像以及用于显示屏16的显示窗口的输入面40的图像是透明的（例如，以透明模式显示），这样就能够看到显示屏上目标或输入栏的图像下面的内容。

在一个输入的例子中，用户34用普通的方式将信息输入输入设备20。在另一个输入的例子中，如图3所示，当用户用手握住外设设备20、20’、20”时，用户很自然地用他或她的两根拇指37来输入文本。在这样一个例子中，用户的两根拇指37显示在显示屏16上并正好位于虚拟图像32上，这个位置正好是拇指悬停在外设设备的输入面40、44上方的位置。

在一个实施例中，外设设备20、20’含有新兴的触摸数据输入设备的功能性，例如法国的Stantum公司、瑞士的意法半导体公司、美国的赛普拉斯半导体公司、美国的安华高科技公司和美国的新思科技股份有限公司生产的设备。在另一个实施例中，外设设备20包括一个提供键盘输入栏42的触控面40，根据用户34的选择，在辅助指示设备或数字输入设备48的外罩上还包括一个可供使用触控面44。将触控面40和44分开就能够使用价格更低的单点触控面作为触控面40来输入文本，更昂贵的多点触控面44被最小化，但是还是能够通过多点触控输入在两个键盘覆盖物之间的切换来控制单点触控面40的操作模式。可选的是，当输入设备48通过无线网络与整合在外设设备20中的集线器22和/或通讯设备（没有显示）时，输入设备48是能够随意移动的。

需要注意的是其他一些接近传感器也适用于本发明的应用。传感器通过发射电磁场或静电场或电磁辐射束（例如，红外线）来工作，并寻找接收范围内的变化或可用的反馈信号。适用的传感器类型包括但不限于电感应、电容式、电容位移式、涡电流式、磁力感应、电磁感应、光电元件、激光测距仪、声纳定位、雷达、多普勒效应定位、无源热红外感应、无源光感应、离子辐射反射传感器、弹片开关、霍尔效应、电阻变化、导电变化、共鸣（例如，超声波或雷达波）、光谱识别技术和微气流变化（感应两个传感器之间相对于大流量变化的当前的气流变化）。例如，电容式或光电式传感器适用于塑料的目标，而电感式接近传感器感应金属目标，以及霍尔效应传感器感应有磁性的目标。

光学传感应用，例如，红外接近传感，包括使用光学传感电路感应光脉冲，例如，由发射器发射的红外线，一个类似用户手指的物体放在发射器（例如，激光二极管或LED）前方或上方，红外线被用户的手指反射至红外检测器（例如，光电二极管、一种能够将光转换成电流或电压的光电检测器，具体转换成电流还是电压取决于它的工作模式），检测器通常设置在发射器的邻近位置或与发射器同轴并用于检测光强度的变化。如果反射回的红外线被检测到，就会认为红外发射器附近有物体存在。如果没有检测到，那么就认为不存在物体。当检测到的光的反射点与触控面间距0毫米时，那么就被认为有物体触碰了触控面并且在触控面上无论什么动作都会被执行。在这样一个案例中，触碰的定义就是足够接近，通常是接触，认定为触碰的触碰型号发送至处理器12，因此就能使传统的键盘也享受到触控板的好处。同样是一个适合的红外接近传感器的例子，安华高科技的接近传感器是形成小型SMT封装的，具有反射功能的，非连接的传感器，这样利用模拟输出就能提供0至60毫米的检测范围。型号为APDS-9101的产品成本低，适合于在移动应用及工业控制系统中使用，整合了反射传感器、包含了红外LED以及光电晶体管，这样的设计使其能够在0至12毫米内的监测范围内检测物体并非接触的接近传感。在美国专利申请第11/418，832号，标题为《用于输入设备的光学滑块》中所描述的接近传感器，其内容通过引用结合到本文中，并且已由加利福尼亚州费力蒙特市的罗技股份公司生产，也能实现这个目的。需要注意的是，根据本发明的一个实施例中所使用红外传感器在下文中结合附图13被描述的更加详细。

电容接近传感是接近传感中一个优选的装置，利用了在它的传感范围内存在或不存在目标时传感器上的电容量的变化是可测量的这一事实。如果从表面上或原始状态上发生的变化被检测到，那么就认为存在目标。本发明中另一个可用的适合的电容接近传感器系统是由德克萨斯州奥斯丁市的飞思卡尔半导体股份有限公司生产的产品。飞思卡尔的型号为MPR08X的接近控制器控制多个接近传感器，因此允许对一个传感器几个不同的应用进行控制。由于多重电极，一个传感器就能够检测到多个点。例如，接近电容触控传感器将多个配置的触控板、滑块、旋转位置及机械按键用于用户接口。   

另外，其他的接近传感器（例如，飞思卡尔的型号为MC33794的产品）能依靠中断电场来使用，利用了一个带有非常低的谐波的低频正弦波，所述的正弦波的频率能通过外设的电阻器来调节。电磁接近传感器扫描与输入接口相邻的天线周围的区域，不断地检测天线周围的电磁场的变化。自动检测功能会在电磁场的变化与天线周围出现物体时的变化一致时进行检测，例如，所述的物体是用户的手指。为了实现多个检测，使用了多根天线。

另外，还能够使用具有固定焦点的摄像头，其中，利用图像识别技术识别由摄像头看到的图像，摄像头自身利用人工智能技术来区分感应到的物体。这里，为了进行接近检测，利用神经网络技术识别物体的图像，为每个传感器区分类似手、手指、书写笔，指物棒这样的物体或不规则的物体。触碰被定义为传感器检测不到光，例如手指覆盖住整个摄像头。这样的实施例的例子将在下文中结合附图12被描述的更为详细。在这样的实施例中，接近传感系统能够组成一个摄像头阵列或摄像头组，这样工作状态就像苍蝇的复眼一样。

超声波接近传感利用自然界中发现的技术，这种技术是由蝙蝠在飞行过程中用来辨别和避开附近的物体的。应当注意的是，当以本发明公开的内容为指导时，在本领域普通的技术人员的能力范围内对本发明进行适当修改来使用超声波接近传感。

关于磁力传感器，它包括使用金属环或具有金属，磁性物体或有目的性设置的塑料部分的用户手套，这样来优化带有这种传感器的接口的功能，产生像更加精确地检测活动等之类的有利功能。此外，一些传感器具有调节表面上的接测范围的功能或用于报告标有刻度的检测距离的装置。关于这样的检测器，它使得用户能够改变参数（通过配合电脑或外设设备上的用户接口）这样就能够根据用户的喜好使接近传感触控接口更快或更慢地检测目标。这样的接近检测器在由国际公开委员会公开的IEC60947-5-2中被提到过，其内容通过引用结合到本文中。

参见图4，是本发明的应用中一个可选的包括单个多点触控面45的外设设备20’的示意图。

可选的是，键盘输入栏或区域52的轮廓的网格50被预先印在触控面40或45上，或者触控面能够被整合入触摸显示屏中，所述的触摸显示屏中显示了键盘输入栏或区域的轮廓。电容触控屏45印有轮廓来限定键盘输入栏52，如果触碰了输入栏，就会触发输入相应所选的字母、记号或命令。此外，这样的输入栏52能够由液晶触控屏上的显示领域来限定。

现在参见图5，在一个实施例中，外设设备20、20’具有一个接近传感子系统54（PSS）、一个无线收发器（T/R）56，所述的无线收发器56用于发送和接受符合由IR、RF、“蓝牙”?、“WiFi”?制定的通讯协议的编码数据，通过数据连接设备（DCD，例如天线）58将数据和命令信号传输至处理器12，更优选的是通过无线集线器22（例如，通过一个第二数据连接设备和无线收发器）。在另一个实施例中，接近传感子系统54是可选择的，并且一个根据本发明的实施例的系统是基于触碰的（没有接近传感）。指令26在处理器12中是可执行的来接收来自外设设备20、20’数据输入。当数据从接近传感子系统54中发出后，指令26使得显示设备16上除了现实外设设备20、20’的虚拟图像（或它的输入栏42、44）外还显示了目标36的虚拟图像32，所述的显示目标36的虚拟图像32在显示屏上的位置至少是根据现实世界中的目标36相对于现实世界的外设设备20、20’的位置而再现的外设设备20、20’上的输入栏方向上的二维平面图的图像。然后指令26促使接收来自外设设备20、20’的数据输入并以适当的方式来处理数据对发送的数据进行分类，辨别是否是输入字母、单词或命令（例如，转换或控制功能）。

参见图6，在一个实施例中，外设设备20、20’包括具有附加的接近传感的触控板模块60。一个基于由加利福尼亚州圣何塞市的赛普拉斯半导体公司研发的“TRUETOUCH”?触摸屏解决方案的适合的远程多点触控设备被用于触控板模块60中。这种设备包含了电容接近手指悬停功能。

在这样一个实施例中，触控板模块60具有接近传感器62，所述的接近传感器以紧凑的接近传感器阵列或接近传感器组68的形式被整合入触控板模块表面64中。一块薄的背光板70（例如，由芬兰的Modilis公司生产的“FLEXFILM” ?厚度大约为0.3-0.4毫米）被加在接近传感器62的阵列68的上部，上面覆盖着玻璃板72（厚度大约为0.6-0.8毫米），可选的是，玻璃板上可以涂上颜色来标记输入区域，并封装在外罩（没有展示）内。

参见图7A和图7B，在上述的实施例中，接近传感器62在目标接近多点触控面74时定位目标36，在这个案例中目标为手指。圆环75指示的是与网格76上的目标36相对应的位置，当检测到没有触碰时，所述的圆环75是空心的。当检测到有物体接近时，出现圆环75，并且圆环的尺寸通常表示目标36里多点触控面74的距离d。

在图7B中，当被检测目标36触碰到多点触控面74时，表示目标位置的空心的圆环75变成实心圆80。通常，当检测到触碰时，目标36与多点触控面74之间的连接区域所指出的尺寸为它的实际尺寸或至少保持关于输入表面的相对尺寸。

处理器12解读触碰或悬停信息，如附图中所示的在网格76、76’上方的接近或触碰的动作。根据网格的位置，处理器12能够读取目标的位置，决定是否发生触碰，识别存在多少个目标36，同时也估算目标离触控接口的距离并且，当指示为触碰时（即实心圆80），决定触碰的表面有多大。

此处的外设设备20、20’包括多点触控模块60，数据输入及它的虚拟化能够像本技术领域内已有的专利中所描述的那样被实现。例如，美国专利申请第11/696，703号标题为《活动的触摸屏虚拟键盘的虚拟按键》，其内容通过引用结合到本文中，此文描述一种更加详细的操作触摸屏的方法来使一组虚拟按键活动。根据有关触摸屏上的触控输入的位置数据来决定触碰的位置，其中所述的触控输入用来使一组虚拟按键活动。每一组虚拟按键都具有一组至少含有一个按键位置与其一致的。对于每个虚拟按键来说，将决定的条件（例如物理距离）用于虚拟按键来将触碰位置与一组至少含有一个按键位置与虚拟按键相对应的位置联系起来。处理所决定的条件来确定虚拟按键中的一个。例如，所确定的一个虚拟按键是一个具有按键位置（或更多个按键位置）虚拟按键，所述的按键位置最接近触碰位置。产生一个代表着确定的虚拟按键激活的信号。产生一个代表着识别虚拟按键激活的信号。再次参见图2，信号能能够高亮或强调特别的按键82。  

参见图8，一张图表90展示了根据本发明提供的实施例中的输入的典型的分类。应该考虑到这只是一种典型、并不详细的输入分类的例子。简单的来说，为了区别外设设备20，20’的操作模式，要求在用户的身体部分上进行直接的多做。一个典型的例子是一个信号目标36被接近传感子系统54感应到，接收到的来自外设设备20，20’的输入数据被分类为输入字母、数字或标记，优选的是，这通过“SWYPE”技术（促进基于手势的输入）得到加强。在感应到两个之间有一定距离的目标36情况下，接收到的来自外设设备20，20’的输入数据被分类为是命令或宏观输入。在感应到的两个目标36很接近的情况下，接收到的来自外设设备20，20’的输入数据被分类为定点设备控制输入。这种定点输入执行一个定点子程序来处理接收得到的定点数据输入的数据，以任何已知的方式来控制显示屏上的光标。这种规定就给用户提供了一种透明输入模式。

需要注意的是，对外设设备20、20’做出的输入能够具有各种由任何适用的协议来限定的方法，并且即使能将输入与其他输入设备（例如，从标准键盘输入到眨眼检测）结合起来而产生更多新的混合方法。

美国专利申请第11/696，701号标题为《带有触摸屏的电脑操作》，其内容通过引用结合到本文中，描述了触摸屏的使用来检测大量触发虚拟键盘显示的用户输入。美国专利申请第10/903，964号标题为《用于灵敏的触摸输入设备的手势》，其内容通过引用结合到本文中，描述了用于多个复合用户输入的手势的检测，根据手势，显示所选择的虚拟键盘。美国专利第11/696，693号标题为《虚拟输入设备在触摸屏用户接口上的位移》，其内容通过引用结合到本文中，描述了在电脑的触摸屏上生成的显示。在本申请中，触摸屏与显示设备的显示屏相似并且利用类似的硬件和处理步骤就能够用来生成虚拟输入设备的显示，就像本文中所描述的外设设备或虚拟键盘的虚拟图像。

参见图9，本发明的方法30包括下列步骤，步骤100，读取来自每个接近传感电极的接近信号；步骤102，检查接近信号是否超出了特征检测临界点并将它们归类为高接近信号；步骤104，根据指示出信号特征检测的传感电极的相应位置将高接近信号归纳为组；步骤106，在每个组中，识别本地最高的接近信号；步骤110，通过处理每一个本地最高的接近信号和它邻近的接近电极信号，利用三角则两的方法来计算每个特征的X、Y、Z轴的位置；和步骤112，在虚拟键盘上显示每个特征的X、Y轴上的正确位置并利用深度线索来显示相应的Z轴位置。

现在参见图10，在本领域中利用一组接近传感器114来进行目标36的三角测量是已知的。这样的处理被用于物体的GPS定位，根据来自几个远程卫星的检测来计算物体的位置。在附图中，描述了利用四个接近传感器114来确定目标36的位置。由相应的传感器114分别测出目标 36的距离d1、d2、d3和d4。为了进行本文中所描述的追踪，根据相应的输入距离d1至d4来进行三角测量，如此在三维空间上定位目标的点116。

参见图11，在另一个实施例中，外设设备20，20’使用多个三维接近传感模块120。模块120由一个PCB122、接近传感器124、具有双层ITO的触控板模块126或一个有规律的触控板PCB、和一块玻璃板132组成。所述的PCB122上具有几个整合的接近感应器124，所述的接近传感器被设置成一个接近传感器组或接近传感器阵列（这样就能如下文所述在触控板模块126周围形成一个矩形）。触控板模块126位于具有整合的接近传感器124（或天线）的PCB122的顶部，组成触控板PCB128。可选的是，能够使用双层ITO（氧化铟锡）。然后一块玻璃板被放置在上面，并被封装在外罩（没有展示）内。通过这种方法，这样的组合能够根据检测到的传感器阵列的距离计算出目标的三维位置，并用这个结果估量附近的目标（如上文中对图10的说明）。

另一个实施例能够在目标接近触控面40、44、74时利用已知的技术来追踪目标36，所述的已知技术用于追踪不同大小的移动的物体，物体大小的范围可以从冰球到飞机。根本上来说，这些已知的技术利用雷达这样的接近传感器来测量传感器与目标之间的距离。在传感器组使用了足够数量的传感器的情况下，通过在处理器中运行计算程序，就能够解决发送出的单一目标或可能的目标的最小集合的距离信息。这种适合的追踪技术在Cavallaro等人的美国专利第6，304，665号、MacDonald的美国专利第5，506，650号、Bickert等人的国际公开号为WO2005/077466、Nuttall的美国专利第5，138，322号和Cavallaro等人的美国专利第6，292，130号中被公开，其内容通过引用结合到本文中。其中所描述的部件仅仅被最小化并且只适用于在目标接近触控面或键盘时来追踪目标。

在另一个实施例中，视频图像中的活动检测技术通过追踪穿过输入设备上方用户的手的视频图像的冷光的变化，被用于识别物体，然而，选定按键是利用传统的电容触控传感器检测到的，这一技术在内斯特股份有限公司的美国专利第6，760，061号中被公开，其内容通过引用结合到本文中。因此，将摄像头138嵌入外设设备20’’能够检测到外设设备上方目标36的位置和活动，之后结合操作处理器12和指令26’，先将目标的图像倒置（例如图12中所描述的方法的步骤154）并且在投射出理想迅速的图像前先进行处理，优选的是将显示屏16中显示的位于虚拟键盘33上方的目标的图像透明化。进行图像识别步骤（例如图12所描述的方法的步骤144和/或146），其中根据看到和归类的最接近键盘或触控接口40、44、45的特定的手指的形状来识别用户的手（之后对比已存储的典型的具有特定伸长的手指的形状）。然后，将这种特定的手指与由电容传感器检测到的最接近的物体联系起来并被记录为最接近的手指位置。因此，能够准确地将手部图像32覆盖在虚拟输入区域33上。在这种情况下，目标36的透明图像32就是摄像头138所捕捉到的实际目标的视频图像

参见图12，用于识别和投影目标36的视频图像32的方法140包括几个步骤。在第一个步骤142中，在目标36接近输入栏40、44、45、74时，目标36被摄录下来。在第二个步骤144中，利用图像识别软件识别并归类目标36的类型。在第三个步骤146中，利用图像识别软件（配合相关的子系统）将图像与一组目标类型和识别的类型的图像进行比较。在第四个步骤150中，利用接近传感器54、62、114、124定位目标36最接近输入设备面40、44、45、75的部分。在第五个步骤152中，联系由接近传感器54、62、114、124检测到的目标36的最接近输入面40、44、45、74的部分（例如，图10中116），将识别到的最接近输入面40、44、45、74的目标的部分记录为最接近的位置。在第六个步骤154中，由于需要估计来自用户的不同视点，将视频图像倒置。在第七个步骤中，目标的视频图像以透明模式精确地覆盖在输入栏上。

在另一个实施例中，处理器12包括形成指令集的指令，用于在接近传感器54、62、114、142检测到外设设备20、20’附近的目标时，自动激活系统。当自动激活系统时，在显示屏16上显示目标36的图像32。另外，可选的是，当自动激活系统时，在显示屏16上显示输入栏40、44的图像36。对外设设备20、20’附近目标36的接近检测触发了在显示屏16上至少显示外设设备的输入栏40、44、45的虚拟图像33。即使在接近传感器54、62、114、124处于睡眠模式下，这样的检测能够用于启动处于待机模式的外设设备20、20’或激活其它耗电的功能（例如，照明功能、背光模块或本地显示）。另外，当用户34看到他的虚拟手指32出现在显示屏16上时，接着就能够调整他的虚拟手指相对于虚拟输入栏33的位置而不需要看外设设备20、20’的实体或他自己的手指。

在另一个适用于让主持人利用他的手或手臂给观看者做出虚拟手势的实施例中，接近传感子系统54检测多个目标36并实时地动态地将相关的位置数据发送至个人电脑14的操作系统24，用来在虚拟外设设备33上显示多个手指，这也是为了更进一步让用户关注显示屏16来更好地理解和纠正他或她的手指手势来提高他或她的输入本发明的系统的输入量。这种将注意力集中至电脑显示屏的能力能够减少由于在输入设备与更远的电脑显示屏之间相互切换引起的眼睛疲劳。另外，这种实施例将检测到的手或手臂显示在显示屏16上，尽管该显示屏远离用户34，但是还是能引起观看者的注意，因此，这种显示促进了交流。

在另一个实施例中，本发明的系统10和方法30、140能够以习惯的方式改变显示屏16上外设设备20、20’的虚拟图像的大小，布局以及隐藏该图像，就像点击关闭、移动窗口或改变窗口大小。

在另一个实施例中，利用大量线索例如距离/深度线索，在显示屏16上显示图像36的虚拟图像32的二维视图，这些线索包括：目标尺寸的变化、目标颜色和/或透明度的变化、与目标位置相对应的阴影的变化、目标阴影的颜色和/或透明度的变化、目标的阴影模糊的变化和显示的箭头将目标与输入设备表面的距离译成编码。在当目标接近或远离外设设备20、20’时声音发生变化的情况下，也可以利用声音。

这种目标36的虚拟图像32可以是简单的抽象图，类似鼠标指针但也可以是其他的形状，例如人类手指的简化图像。适合的人类手指的虚拟图像32可以是一个长矩形（没有展示），在它的输入端呈圆形或具有一个点，这样来简单地突出虚拟图像在显示器上的虚拟方向。在这种实施例中，矩形一端的相关位置与目标的输入端的位置一致是很重要的。显示另一端仅仅只是为了给人一种视觉感（换言之，这样的图像就是一根手指）。

现在参见图13，系统10被包括在具有一个、多个或形成阵列的压力式键盘160（当前技术的键盘，例如弹片键盘或剪刀键盘）的输入设备20”中，其中光接近传感器162（例如，红外传感器）被整合入至少一个按键的中心或经由挑选的按键中。一个圆形的、透明的盖片164封装着接近传感器162放在按键160上。数据连接设备（如图5中的数据连接设备58）用于将来自接近传感器162的与输入和/或接近数据一致的信号发送至处理器12。接近传感器162，在本实施例中优选的是红外传感器，用来动态识别输入设备20”附近的目标36的活动。当由处理器12通过输入设备20”的数据连接设备接收到接近传感器162的输入和/或接近数据（包括存在、距离和可选的轨迹数据，换句话说就是三维矢量数据）时，指令集由处理器12执行。接近传感器162用于确定目标36存在的同时也确定目标36离按键160的距离以及目标的轨迹。处理器12在显示屏16的窗口上显示输入栏40、44、45的图像33。处理器12进一步实时显示目标36的虚拟图像并实时地将其覆盖到刚显示的图像上。因此，在目标36在按键附近或接近按键时，接近传感器162提高了检测压力式键盘的标准。因此，这样让用户参照显示出的虚拟图像来调整互动。

在另一个实施例中，输入设备具有一个、多个或形成阵列的压力式键盘160（当前技术的键盘，例如弹片键盘或剪刀键盘），所述的键盘整合有电容传感器62、114、124来代替红外接近传感器162，优选的是在每个按键下都有电容传感器。在这个实施例中，不需要透明的盖片，因为能够通过按键看到电容传感器并且电容传感器能够就好像没有按键那样来检测接近的目标（换句话说，按键对传感器来说是透明的）。

还有另一个实施例中，用压力传感触控面代替了接近传感器，像是法国的Stantum公司生产的多点触控面，能够利用低于临界值的光压来模拟触控面上方“悬停”的手指的滑行动作，所述的“悬停”就等同于上文中描述的“悬停”动作。用户的手指施加的压力超出压力的临界值时，就认为发生触碰并且记录相关的触碰位置的输入。这个实施例是本发明的一个低成本版本，在其他方面，为了让用户体验到本文中所描述的其他的实施例。

本发明的一个特征就是能够给用户创造远程使用触摸屏的体验，而不需要用户触碰显示器并且进一步来说，也不需要触摸屏设备。

本发明另一个特征是能够实现一对一的复制，将现实世界复制到虚拟世界中，而给用户提供了像是虚拟世界所提供的灵活多变的位置、相对应的方向等。（例如，能够在客厅里依靠在舒适的椅子边看着大屏幕电视边记录剧本的时候打字、在远离大屏幕站着工作时打字、在将大屏幕上存在的信息传递给他人或者利用具有大屏幕的电脑设备与替他人进行实时互动时打字）。

另一个特征是，本发明能让用户在远离显示的键盘的虚拟图像的情况下输入数据。

另一个特征是，本发明能让用户更舒适更灵活地与个人电脑或个人娱乐设备互动，例如多媒体播放器。

本发明包括如本文所描述的与附图相关的系统和方法。

而且，本发明的系统和方法考虑了具有与本文所描述的相似功能的产品、服务或信息的使用、销售和/或分配。

本文中提到的适用于本发明的系统或组件的供应商，这些并不能看作是在引用早于本发明的在先技术，相反这只是代表这是适合的组件的来源，其中的技术是在本发明要求的优先权日期之后获得的。换句话来说，本文所引用的适合的组件并不能看作是本发明的在先技术。

说明书和附图只是用来解释说明的，并非用于限定本发明的并且本文所描述的所有的改变都被包括在本发明的权利要求范围内，即使在申请文件中没有特别声明。例如，所使用的术语“虚拟键盘”，可以被看成包含包括了任何输入栏或由输入栏组成的阵列或组，例如，在显示屏上显示的用来与目标的手指进行虚拟互动的图标、菜单或下拉式菜单。因此，本发明的范围应该由本发明的权利要求或之后的修改或添加来确定，并且他们的法律效应等于但不仅限于上述的例子。例如，在任何方法或过程权利要求中提到的步骤能够以任何顺序来执行并不限于任何权利要求中出现的特定顺序。而且，在装置权利要求中所描述的组件和/或元件组装或有选择性的按照各种排列进行配置生产出与本发明大致上相同的产品。因此，本发明并不限于权利要求所描述的特定结构。

本文所提到的好处、其他优势和解决方案并不能看作是任何或所有权利要求中的具有决定性的、要求的或必不可少的功能或组件。

像本文中使用术语“包括”、“包含”、或这类词的任何变化，是为了提到一个非唯一的组件列表，这样本发明中的任何处理过程、方法、条款、作品或装置所包括的组件列表不仅包括其中提到的组件，也包括其他在说明书中提到的组件。使用术语“组成”或“由…组成”或“大体上由…组成”不是为了限定本发明中所列举的组件的范围，除非在文中指明。上述用于本发明实践中的组件、材料或结构具有多种组合和/或改变或着由本技术领域的技术人员进行调整做出其它的设计，但这些并不会背离本发明的基本原理。

本文所提到的专利和文章，除非有而外的说明，这些引用的范围与本身公开的内容相同。

在权利要求中描述了本发明执行的其他参数和模式。

另外，本发明应该包括所有可能的特征组合，这些组合可能会被当做新发明、创造及工业应用，其中，所述的特征在本说明书、权利要求书和/或附图中都有描述。

本文所描述的本发明的实施例可能存在多种变化和修改。尽管本文中已展示和描述了关于本发明的实施例的确切说明，但是，修改、变化和代替都已经在前面所公开的内容中被考虑到。然而上文的描述包含了许多具体细节，这些不应该被看作是本发明的限定范围，而只是本发明的一个或另一个优选的实施例的范例。在一些例子中，能够使用本发明的一些特征而无需使用其它的相应的特征。因此，应该仅仅将上文的描述看作和理解为说明和举例，本发明的精神和范围由本次申请最终发表的权利要求来限定。

Claims (5)

1.一种至少整合了一个接近传感器的输入按键，其特征在于，所述输入按键用于确定目标的存在以及所述的目标与按键之间的大致距离，所述的接近传感器连接着处理器以处理存在信息和距离信息。

2.如权利要求1所述的输入按键，其特征在于，所述的接近传感器适用于计算和发送目标的轨迹。

3.如权利要求1所述的输入按键，其特征在于，所述的接近传感器是能够从一组由电容传感器、红外传感器、电磁传感器、弹片开关、霍尔效应传感器、电阻变化传感器、导电变化传感器、共鸣传感器、无线电波传感器、热量检测传感器、涡电流传感器、光谱识别传感器和微气流变化传感器组成的接近传感器中选择的。

4.如权利要求3所述的输入按键，其特征在于，所述的输入按键的弹片按键。

5.如权利要求3所述的输入按键，其特征在于，所述的输入按键的剪刀按键。

Images