CN100409159C - 非触式人机接口 - Google Patents

Abstract

一种人机接口包括多个传感器，所述传感器包括发射器，并且所述传感器被配置成检测与在传感器附近的检测体积内的物体移动诸如用户手的姿势有关的模式，并且取决于所检测的模式向计算机设备提供输入。所述接口可以对所述传感器接收的数据执行简单的分析以便检测基本姿势，或者可以执行更复杂的分析以便检测更大范围的姿势或者更复杂的姿势。优选地是，所述传感器是红外或超声传感器，不过其它类型的传感器也可能是合适的。可以用线性、二维或三维模式布置传感器。可以调制由发射器所发射的信号以便帮助姿势识别。计算机设备可以是标准计算机，或者可以是游戏机、安全装置、家用电器或包括计算机的任何其它合适的设备。

Description

非触式人机接口

本发明涉及非触式人机接口。更具体地说，它涉及能够可以依照某种方法来检测并解释由用户所作出姿势的接口，以及用于影响计算机或计算机控制设备的操作的姿势。

鼠标是通常用在现代计算机系统上作为用于控制计算机系统操作的装置。这种装置典型情况下位于计算机键盘旁边，并且使用户能够例如选择在显示系统上所呈现的选项。这种装置的用户必须接触它，继而点击或拖动等以便执行按照计算机上运行的软件所要求的动作。通常需要知道对应于鼠标位置的指针在显示器上的位置。然而，某些软件应用并不要求这些，并且所要求来自用户的输入例如只是左键点击或右键点击以便前翻或后翻一组幻灯片，或者开始或停止在显示器上所出现的动画。如果用户正在给出表示，或者特别专注于显示器上所呈现的内容，那么可能不希望有定位鼠标以便按下合适按键的不便，为此某种姿势识别系统是有用的。

US6222465公开了一种基于姿势的计算机接口，其中借助于摄像机和图像处理软件来检测由用户作出的姿势。然而，视频系统和相关处理实现起来非常复杂且昂贵，并且对照明条件和用户的无意移动较为敏感。某些这种系统由于高处理要求，所以在用户移动和由客户端程序所进行的移动之间还有延迟。

US5990865提供了更简单的检测姿势的系统，其公开了一种电容系统，借此电容器板之间的空间定义了一个体积，能够通过电容中的变化检测到在该体积内操作者手的移动。然而问题在于其能够检测移动的分辨率非常低，并且无法知道移动的是什么。例如，所述系统难以区分大幅度的手指移动和轻微的手臂移动。此外，对于大的体积来说电容非常小因而难以测量，以致产生噪声和灵敏度问题。

依照本发明，提供了一种用于检测用户作出的姿势的人机接口装置，包括多个传感器，所述传感器包括至少一个发射器和至少两个检测器，其特征在于所述检测器被配置成检测由至少两个发射器所发射的、并且从在所述传感器附近的检测体积内的物体所反射的信号，并且把与所检测的信号有关的信息传送到电子控制系统中，其中与所述信号有关的信息用于进行处理以便检测与在所述检测体积中的物体的移动有关的模式，并且所述电子控制系统被配置成依照由所检测的模式所定义的方式来与主机系统进行通信。

所述传感器可以是能够发射或接收信号的任何合适的传感器，所述信号可以从检测体积内的物体(诸如操作者的手)反射。优选地是，所述传感器是红外或超声传感器，不过也可以使用可见传感器。这种传感器成本非常低，因此这种传感器阵列可以被装入适于非专家应用的低成本接口中。在阵列中可以近似有两个、五个、十个、二十、四十或更多的发射器和检测器。所述检测器可以配备有用于抑制背景辐射和噪声的光或电子滤波器装置。

所述传感器可以被布置在外壳内，外壳中还包含与驱动发射器(一个或多个)、接收来自所述检测器的信号以及处理所接收的信号相关联的电子元件。所述传感器可以依照线性模式、二维模式、三维模式或任何其它合适的配置布置在所述外壳内。所述外壳还可以形成诸如计算机监视器或附属项之类的其它设备的一部分，或可以形成诸如墙壁、天花板或门框的建筑物结构的一部分。传感器的布局模式可以取决于其被安装的情况。

可以由相关联的电子元件来控制传感器，以便可以解码检测器从检测体积内所接收的信号，从而识别它们来自哪个发射器。此控制可以采取调制所发射的信号的形式，或安排发射器所产生的信号频率彼此不同。所述调制可以采取脉冲调制、脉冲编码调制、频率调制、幅度调制形式或任何其它合适的调制形式。

所述电子控制设备可以被配置成解释由检测器所接收的信号以便查找表示用户所作出姿势的特定返回。姿势可以包括用户依照给定方向或方式把诸如他或她的手之类的物体置于检测体积内或在里面移动。例如，用户可以在传感器上从左到右或从右到左移动他的手。姿势还可以包括其它移动，诸如腿部或头部的移动。电子控制设备可以被编程来把从检测器接收的信号分别解释为等效于把计算机鼠标或游戏杆向右移动(或进行鼠标右键点击)或把计算机鼠标或游戏杆向左移动(或进行鼠标左键点击)，并且可以被配置成然后向计算机系统输入类似于由鼠标移动或鼠标键点击所产生的数据。依照这种方式本发明的姿势接口可以用于计算机系统中来代替鼠标上的按键。可以提供视觉或听觉反馈以便易于使用该系统。

当然，如果处理由检测器所接收信号的电子控制系统能够解析不同的姿势，那么本发明的接口能够解释比上述更复杂的姿势。电子控制系统可以是用于识别少量姿势的基本系统，或者如果要识别大量姿势或者要识别彼此只有细微差别的姿势的话所述电子控制系统可以是复杂系统。与从检测器接收的信号有关的信息可以向编程的神经网络系统提供输入以便区分被输入到接口的姿势。

传感器可以被配置成测量在检测体积内物体的范围或位置，从而能够解析更复杂的姿势。这可以使用标准技术来完成，诸如对根据所接收信号而解码的任何调制的相位比较，或所发射信号本身的相对强度。如果使用超声传感器，那么可以使用测量传播时间来测量范围。传感器也可以被配置成在平行于传感器阵列的平面上测量检测体积内物体的位置。这使所述物体的位置能够形成姿势信息的一部分。物体在位置之间移动所花费的时间——即速度——也可以形成所述姿势信息的一部分。

接口装置可以被配置成学习从用户所输入的姿势，并且还可以被配置成把特定的命令与姿势相关联，使得可以按用户希望的重新编程与给定姿势相关联的命令。

作为上述实施方式的可替换方式，传感器布置可以包括至少两个发射器和至少一个检测器。检测体积内的物体可以依照在给定时刻该物体的位置和速度来把一个或多个信号从一个或多个发射器反射到至少一个检测器。可以依照上述方式解释所接收的一个或多个信号，以便检测由物体所作出的姿势。

依照本发明的第二方面提供了一种产生用于主机系统的输入信号的方法，包括步骤：

使用至少一个发射器把至少一个信号发射到检测体积中，并且使用至少一个检测器从所述检测体积接收至少一个信号；

把任何所接收的信号传送到电子控制系统；

在所述电子控制系统内检测移动模式；

依照取决于所检测的模式的方式来与所述主机系统通信。

现在将参考下列附图仅以举例形式来更详细地描述本发明，其中：

图1图示了连接到计算机系统的本发明的第一实施例；

图2示出了第一实施例及其到计算机系统的连接的框图；并且

图3图示了按照本发明第三实施例的传感器布置；

图4图示了本发明可以利用的两个典型姿势。

图1示出了本发明的第一实施例，包括安装在外壳2中的传感器1的阵列，所述外壳2经由USB电缆4连接到计算机系统3。标准鼠标5和键盘6也连接到计算机系统3。传感器1依照“T”形状布置，并且都与包含在外壳2内的电子控制设备(未示出)通信。每个发射器传感器与其自己的检测器传感器相关联以便形成传感器对。发射器当被适当激发时以基本上准直的波束产生IR辐射，并且检测器对这种辐射敏感。检测器配备有光滤波器，以便可以降低除由发射器所发送的波长之外的波长的强度，从而抑制背景噪声。电子控制设备(未示出)被配置成驱动发射器，并且处理由检测器所接收的信号，分析所述信号以便检测是否已经有姿势输入了系统，并且如果是的话，那么检测该姿势是什么。

例如蓝牙或红外之类的无线接口也可以用来把感测部件链接到计算机系统，或者可以使用任何其它合适的装置来实现此连接。

一旦已经识别一个姿势，那么将与所述姿势相关联的命令经由USB电缆4传递到计算机系统3，其中在计算机系统3上运行的软件依照与由标准数据输入装置(诸如鼠标5或键盘6)所发送的命令类似的方式来适当地响应此命令，不过当然所述命令可以是不同的。

图2示出了关于本发明第一实施例的操作的框图。在虚线区域7内示出了与传感器的发射器端相关联的电路，而在图的其余部分10中指明了了与检测器、姿势识别器和计算机接口相关联的电路。

发射器8包括红外(IR)LED，其被配置成把IR能量发射到检测体积9中。IR LED本身由发射器驱动电路11依照标准方式来驱动。

检测器阵列被配置成从检测体积附近接收IR辐射。这些检测器13向模拟信号处理电路14继而向模拟-数字转换器(ADC)14提供所接收的信号，所述模拟-数字转换器14继而连接到姿势识别引擎16。引擎16还从姿势库17获取输入，所述姿势库17存储在训练阶段期间被输入到接口的与姿势有关的信号。命令产生器18获取来自引擎16的输出并且被连接到计算机接口19。

接口的操作如下。IR能量被发射器8发射到直接位于传感器阵列上的检测体积9中。存在于检测体积中的物体将趋于把信号反射回传感器，在此所述信号将被检测器13检测。所接收信号的相对强度可以被用作关于物体最接近哪个传感器的粗略指示器，从而对所述物体的位置给出粗略指示。任何所检测到的信号被传送到模拟信号处理和ADC 14，在那里它们被放大并转换为数字格式以便于随后的处理。从那里，把数字信号输入姿势识别引擎16。此引擎16把所接收的信号与所存储的、在训练过程期间所产生的信号相比较。如果在当前输入集和所存储的输入集之间发现充分接近的匹配，那么可以认定对应于最接近当前输入信号的所存储信号的姿势是所作出的姿势。然后把与此姿势有关的细节发送到命令产生器，所述命令产生器是把所存储的姿势与可由主机计算机(图1的项3)识别的给定命令相关联的查找表。然后借助于计算机接口19把此命令发送到计算机3。

与当前实施例相关联的训练过程如下操作。在通过由主机计算机3上运行的软件输入训练模式时，并且在姿势学习和命令关联部件20的控制下，由用户在检测体积中做出姿势样本并且对其做适当注释，例如“右移动”。然后把由这些样本所产生的数字信号存储在姿势库中。然后通过在主机计算机上所展示的命令选项中进行选择，把将与姿势相关联的命令输入到计算机。对各种姿势重复此处理并且同样存储数据，从而建立姿势和相关联命令的表。

第一实施例使用姿势识别引擎，其中使用已知的方法把当前输入数据与在姿势库中所存储的姿势数据相关联(所述已知的方法诸如在Kreysig，E的Advanced Engineering Mathematics，8th Ed，Wiley中所述)，并且选择具有最低相关距离的姿势作为最可能由用户作出的姿势。还有最大相关距离阈值，这样如果最低相关距离大于此阈值，那么不选择任何姿势。采用这种方法，减少了错误的姿势识别，开且增加了系统可靠性。

第二实施例使用更复杂的姿势识别系统，因而不需要上述形式的姿势库。此系统使用神经网络来分析来自检测器的数据输入，并且根据姿势库估算最可能的姿势，继而把与该姿势相关联的命令输入到主机计算机。因此此第二实施例在第一实施例所使用的相等存储空间中能够存储多得多的姿势。在Kohonen，T的“Self Organisation& Associative Memory”，3rd版，德国柏林，1989，Springer Verlag中可以找到用于实现本发明的合适的神经网络技术的细节。

在图3中图示了在上述实施例中所使用的发射器和检测器对的布置。这里，为了清楚只示出了四个发射器-检测器对100，不过当然在现实中可以具有更多对。每对100的发射器101输出基本上准直的IR波束103，利用在系统上所有其它发射器之间对所述波束103来说是唯一的PCM码调制来调制它。然后可以解调由检测器所接收的信号，使得所述系统能够区分来自不同发射器的信号。这对于更准确地识别物体在检测体积内的位置是有用的。IR波束的准直性降低了来自一个发射器的信号被不与该发射器相关联的检测器获得的机会，因此使解调过程更简单。

本发明的第四实施例依照比上述实施例中所描述的更简单的方式来处理从检测器所接收的信号。该实施例数字化从检测器接收的信号并且解调它们，以便在把此数据传送到主机系统之前除去施加于发射信号上的调制。然后主机计算机对所述数据进行简单分析以便提取基本模式。例如，如果此实施例是在图3的硬件系统上实现的，那么人手穿过检测体积从左到右的移动将从传感器100给出响应，接下来是从传感器100a、100b、100c给出响应。这往往依照易于按照每个传感器输出的时间进行比较来区分的方式，在数字化信号中反映。同样，从右到左的移动可能会从传感器给出对应的但是时间反向的响应。

图4示出了可以用于本发明的两个姿势。图4a示出了用户在依照本发明的接口上把手从右到左移动的俯视图。如上所述，此姿势在主机计算机上所运行的计算机程序上可具有的动作是可编程的，但是例如也可以等效于鼠标右键点击。图4b示出了第二姿势，即用户垂直向上抬起手离开接口。此姿势同样是可编程的，但是典型情况下可以用于控制例如图形显示程序的放大系数。

可以结合上述姿势或可由接口识别的任何其它姿势来使用其它姿势。例如，在用户姿势结束时的停顿，或在所述姿势之后第二次的手部移动可以被编程以便被解释为鼠标键点击或等同于按压计算机键盘上的‘输入’键。作为选择，此接口可以与附加功能元件(例如电子按键或音频输入)组合以便实现计算机鼠标键的功能。

有益地是，计算机系统可以被配置成提供视觉或听觉反馈，以便表明已经识别该姿势，或没有识别该姿势，因此需要重复该姿势。例如绿灯可以用来示出所述移动目前正在解释过程中。每当姿势完成(例如由移动中的停顿来表明时)，可以设置所述灯改变颜色，以便表明已经识别所述姿势或要求重复该姿势。

技术人员应当理解在本发明范围内可以设计其它实施例，因而本发明不应当被限制为这里所描述的实施例。例如，尽管所示出的本发明用在通用计算机系统上，然而它也可以用在专用计算设备上，诸如游戏控制台、计算机辅助设计系统、家用电器、公共信息系统、存取控制机制及其它安全系统、用户识别或任何其它合适的系统。

Claims (23)

1. 一种用于检测由用户作出的姿势的人机接口，包括多个传感器，所述传感器的每一个包括至少一个发射器和一个或多个检测器，其特征在于所述一个或多个检测器被配置成检测由至少一个发射器所发射的、并且从在所述传感器附近的检测体积内的物体所反射的信号，并且把与所检测到的信号有关的信息传送到电子控制系统中，其中与所述信号有关的信息被配置成用于进行处理，以便检测与所述在检测体积内的物体的移动有关的模式，并且所述电子控制系统被配置成依照由所检测的模式所定义的方式来与主机系统进行通信，并且其中从每个发射器发射的信号被配置成具有与由其它发射器所发射的信号不同的至少一个特征。

2. 如权利要求1所述的人机接口，其中所述传感器的每一个包括两个发射器和一个检测器。

3. 如权利要求1所述的人机接口，其中在主机计算机内实现所述电子控制系统。

4. 如权利要求1所述的人机接口，其中所述传感器的每一个包括两个检测器和一个发射器。

5. 如权利要求1到4中任何一个所述的人机接口，其中所述传感器被布置在线性阵列中。

6. 如权利要求1到4中任何一个所述的人机接口，其中所述传感器被布置在二维阵列中。

7. 如权利要求1到4中任何一个所述的人机接口，其中所述传感器被布置在三维阵列中。

8. 如权利要求1到4中任何一个所述的人机接口，其中所述至少一个特征包括以其它发射器在给定时刻不使用的频率所发射的信号。

9. 如权利要求1到4中任何一个所述的人机接口，其中利用不同于在任何其它发射器上所使用的调制信号来调制每个发射器。

10. 如权利要求1到4中任何一个所述的人机接口，其中所述发射器被配置成进行脉冲调制，以致并非所有发射器在给定时刻发射信号。

11. 如权利要求1到4中任何一个所述的人机接口，其中所述发射器被配置成进行脉冲调制，以致只有单个发射器在给定时刻发射信号。

12. 如权利要求1到4中任何一个所述的人机接口，其中所述传感器是超声传感器。

13. 如权利要求1到4中任何一个所述的人机接口，其中所述传感器是红外传感器。

14. 如权利要求1到4中任何一个所述的人机接口，其中所述接口被配置成检测传感器和在检测体积内的物体之间的距离间隔。

15. 一种产生用于主机系统的输入信号的方法，包括步骤：

使用至少一个发射器把至少一个信号发射到检测体积中；

使用至少一个检测器从所述检测体积接收至少一个信号；

把任何所接收的信号传送到电子控制系统；

在所述电子控制系统内检测移动模式；并且

以取决于所检测模式的方式来与所述主机系统通信，其中从所述至少一个发射器发射的信号具有与在给定时刻发射到所述检测体积中的所有其它信号不同的至少一个特征。

16. 如权利要求15所述的方法，还包括：

降低不由所述发射器发射但由所述检测器接收波长的强度，以便抑制背景噪声。

17. 如权利要求15所述的方法，还包括：

将所检测的移动模式与在姿势库中所存储的姿势数据进行比较；并且

根据最低相关距离把命令与所检测的模式相关联。

18. 如权利要求17所述的方法，还包括：

识别允许的最大相关距离阈值；并且

如果最低相关距离小于所述允许的最大相关距离阈值，则选择所述命令。

19. 如权利要求15所述的方法，还包括：

用唯一的调制码来调制信号；并且

解调信号以区分从不同发射器接收的信号。

20. 如权利要求15所述的方法，还包括：

把所检测的移动模式与放大操作相关联，其中所检测的移动模式包括离开至少一个发射器的动作。

21. 如权利要求15所述的方法，还包括：

把所检测的移动模式与对应于鼠标操作的输入数据相关联。

22. 如权利要求21所述的方法，其中所检测的移动模式包括停顿之后的姿势，并且所关联的输入数据是鼠标点击。

23. 如权利要求15所述的方法，还包括：

提供用户反馈以指示是否识别所检测的移动模式。

Images