CN103348305A - 姿态可控系统使用本体感受创建绝对参考系 - Google Patents

Abstract

一种系统具有用于通过用户的身体部分的预定姿态控制该系统的无接触用户接口。该用户接口具有照相机和数据处理系统。照相机捕获代表身体部分和身体部分的环境的视频数据。数据处理系统处理视频数据。数据处理系统确定所述身体部分与用户的另一个身体部分之间的当前空间关系。仅当该空间关系匹配代表预定姿态的预定空间关系时，数据处理系统才将系统设置成预定状态。

Description

姿态可控系统使用本体感受创建绝对参考系

技术领域

本发明涉及一种具有无接触用户接口的系统，该用户接口被配置用于使得用户能够在操作使用中通过用户的身体部分的预定姿态控制该系统。本发明进一步涉及一种被配置用于在这样的系统中使用的无接触用户接口，一种用于响应于用户的身体部分的预定姿态而控制系统的方法，以及操作来配置系统以使其响应于用户的身体部分的预定姿态而可控的控制软件。

背景技术

上面的前言中指明类型的姿态可控系统在本领域中是已知的，参见例如针对“Automatic control of a medical device”颁发给Bonfiglio等人的美国专利7,835,498；针对“Multi-modal video target acquisition and re-direction system and method”颁发给Cohen-Solal等人的美国专利7,028, 269；为Eves等人提交的针对“Interactive entertainment system and method of operation thereof”的美国专利申请公布20100162177，所有这些都转让给飞利浦电子（Philips Electronics），并且通过引用合并于此。

在本文中，术语“姿态”是指用户的身体部分的位置或取向，或者是指表示可由姿态可控系统解释的控制命令的位置或取向的变化（即运动）。

常规的姿态可控系统典型地具有无接触用户接口，该无接触用户接口具有用于捕获代表用户的姿态的视频数据的照相机系统并且具有耦合到照相机系统且操作来将视频数据转化成用于控制姿态可控系统的控制信号的数据处理系统。

常规的姿态可控系统典型地在以下意义上向用户提供相对控制：用户控制姿态可控系统的操作模式或状态相对于当前操作模式或当前状态的变化。换言之，用户根据来自姿态可控系统的响应于用户运动的反馈控制姿态可控系统。例如，该相对控制使得用户能够通过预定的运动控制可控参数的幅值相对于当前幅值的变化，或者从菜单中的可选择选项列表中相对于当前选择的选项选择下一个选项。用户然后使用由用户运动带来且由用户感知的当前变化的幅值或者特征作为用于经由反馈环控制该变化本身的基础。

可替换地，常规的姿态可控系统响应于用户运动经由例如姿态可控系统的图形用户接口中的显示监视器向用户提供反馈。

例如，显示监视器显示标记，例如光标、加亮区等等，其位置或取向代表姿态可控系统的当前操作模式或者当前状态。可以响应于用户的运动使得标记的位置或取向相对于显示监视器上示出的预定参考系变化。通过观看标记相对于如在显示监视器上所显示的预定参考系改变其位置或取向，用户可以在视觉反馈的引导下运动以便导向姿态可控系统的希望的操作模式或者希望的状态。

作为提供视觉反馈的另一个实例，参照索尼公司2006年推向市场的体育锻炼游戏标题“EyeToy Kinetic”。EyeToy是一种置于电视顶部并且插入到索尼公司制造的视频游戏控制台Playstation 2（PS2）中的小数字照相机。该移动敏感照相机在用户站在电视前面的同时捕获用户，并且将用户的图像放置在显示监视器的屏幕上。用户然后例如借助于控制屏幕上的他/她的图像以便让该图像与屏幕上生成的虚拟对象交互而使用他的臂、腿、头等玩游戏。

作为提供视觉反馈的又一个实例，参照用于Xbox 360视频控制台的视频游戏“Fruit Ninja Kinect”，该视频控制台装备有Kinect、移动照相机，这二者均由微软（Microsoft）制造。用户的运动由Kinect照相机拾取，并且被转化成在显示监视器的屏幕上人影的运动。游戏造成在这个案例中为虚拟水果的虚拟对象被抛到空中，并且用户必须通过他/她自身的运动控制人影以便在避开虚拟障碍物的同时切尽可能多的水果。

作为提供视觉反馈的再一个实例，参照“Kinect Adventures”，这是由微软推向市场并且被设计用于与早先提到的Kinect移动照相机结合的Xbox 360的视频游戏。“Kinect Adventures”视频游戏生成化身（类人动物的图形表示），其运动和移动由照相机拾取的用户的全身移动控制。

发明内容

本发明人已经认识到，上面已知类型之一的姿态可控系统使得用户能够在由系统响应于用户的姿态而提供的反馈的引导下控制该系统。本发明人已经认识到，这种可控性具有某些缺陷。例如，本发明人已经注意到，用户对于来自已知系统的响应于用户姿态的反馈的依赖花费时间，并且给用户能够借助于姿态控制系统的速度设置了上限。作为另一个实例，用户必须在试图借助于一个或多个姿态控制标记的运动或者图形表示的运动并且同时试图检查所引起的姿态可控系统的操作模式的变化或者状态的变化时在显示监视器上观看标记或者另一个图形表示的运动。

因此，本发明人建议引入一种更直观且更符合人体工程学的参考系，从而使得用户能够直接设置系统的多个状态中的特定状态，而不必如已知系统中所需的那样在控制期间考虑来自系统的反馈以便导向希望的特定状态。

更具体而言，本发明人提出了一种具有无接触用户接口的系统，该无接触用户接口被配置用于使得用户能够在操作使用中通过用户的身体部分的预定姿态控制该系统。该用户接口包括照相机系统和数据处理系统。照相机系统被配置用于捕获代表身体部分和身体部分的环境的视频数据。数据处理系统耦合到照相机系统。数据处理系统被配置用于处理视频数据以便：从视频数据中提取身体部分与环境中的预定参考之间的当前空间关系；确定该当前空间关系是否匹配身体部分与预定参考之间的预定空间关系，该预定空间关系表征预定姿态；并且根据当前空间关系匹配预定空间关系产生用于将系统设置成预定状态的控制命令。预定参考包括以下至少一个：用户的另一个身体部分；在用户外部且在环境内的物理对象；以及环境中的预定空间方向。

本发明中系统的控制基于使用本体感受和/或外感受性。

术语“本体感受”指的是人体的部分的相对位置和相对取向以及身体部分的运动中采用的努力的人类感觉。相应地，本体感受涉及人体从身体部分的相对位置、相对取向和相对运动接收用于感知的输入的生理能力。为了说明这点，考虑其本体感受的感觉碰巧作为沉醉、酒醉或者只是醉得像海绵的结果而受损的人。这样的人将在保持他/她的眼睛闭着的同时沿着直线行走或者利用他/她的食指触摸他/她的鼻子方面具有困难。交通警察使用该事实确定司机是否太醉而不能操作机动车辆。

术语“外感受性”涉及人类感知来自人体外部的刺激的能力。术语“外感受性”在本文中用来指人类感知人体或者其部分相对于人体外部的物理对象或物理影响的位置或取向以及感知人体或者其部分相对于人体外部的物理对象或物理影响的位置或取向的变化的能力。外感受性由例如观看沿着弹道轨迹进入他/她的方向的球并且在完全正确的时刻将他/她的腿摆动到完全正确的方向上以便将球射向球门的方向的足球运动员说明；或者由躲避来自他的对手的右直拳的拳击手说明；或者由根据他/她的汽车的速度、位置和取向相对于轨道以及相对于他/她周围的其他赛车的位置、取向的他/她的视觉感知并且根据他/她的裤子等的座椅的触觉调节他/她的汽车的当前速度和当前路径的赛车手说明，等等。

相应地，（清醒的）人感测他/她的身体的部分的相对位置和/或相对取向和/或相对运动，并且感测他/她的身体的部分相对于他/她的身体外部的他/她的环境中的物理对象的位置和/或取向和/或运动。结果，用户自己的身体或者与在用户外部且在用户的环境内的一个或多个物理对象处于一定空间关系的用户自己的身体在本发明中用作绝对参考系，该绝对参考系使得用户能够直接通过姿态选择系统的预期状态。这与用户必须依赖于来自常规姿态可控系统的反馈以便经由校正涉及常规姿态可控系统的响应的反馈环中的他/她的身体部分的运动而间接地将常规系统引导至预期状态形成对照。

例如，预定参考包括用户的另一个身体部分。该另一个身体部分用作第一个提到的身体部分相对于其定位或取向或运动的参考系。数据处理系统被配置成将例如用户的手或臂相对于用户身体的其余部分的特定位置和/或特定取向和/或特定运动解释为特定姿态。该特定姿态与将系统设置成所述多个状态中的特定状态的特定预定控制命令关联。用户的本体感受的感觉使得用户能够直观地将所述身体部分和另一个身体部分置于与预期特定预定控制命令关联的适当空间关系中。可选地，该适当空间关系包括所述用户的身体部分物理地接触用户的另一个身体部分。所述身体部分的物理接触向用户提供了附加的触觉反馈，从而进一步有利于选择要由系统采取的预期状态。

可替换地或者此外，预定参考包括由照相机系统捕获并且存在于用户外部的环境内的物理对象。该物理对象可以是一块硬件，其物理地连接到系统本身（例如系统的外壳），或者以其他方式与系统本身（例如系统的外壳）物理地集成，例如灯具的主体（例如台灯的主体）。作为另一个实例，物理对象包括不物理地连接到系统并且不以其他方式与系统物理地集成的另一种物品或商品，例如物理制品，比如椅子、花瓶或者图书；或者用户心爱的宠物。

物理制品或者宠物由用户事先选择以便用作参考。在这种情况下，需要事先对用户接口的数据处理系统编程或者以其他方式配置，以便当在视频数据中捕获了物理制品或宠物时将该物理制品或宠物解释为用户相对于其对身体部分定位或取向的参考。

可替换地或者此外，预定参考包括环境中的预定空间方向，例如由重力确定的竖直方向或水平方向，或者事先选择的另一个方向。如上面所提到的，本体感受的感觉也涉及用户在对他/她的身体的一个或多个部分定位或取向或移动中采用的努力。例如，地球表面处的重力场在定位或取向努力中引入各向异性：由于涉及的功的原因，用户将他/她的臂降低一定距离比将他/她的臂抬高相同的距离更容易。

在前面的句子中，术语“功”是物理学领域中使用的术语，并且指的是当移动一定质量时所涉及的由一定力产生的能量的量。在重力场存在的情况下对身体部分定位或取向引起外感受性刺激。例如，本发明的姿态可控系统的数据处理系统被配置成确定相对于由照相机系统捕获的用户的姿势的环境中的预定空间方向。预定空间方向可以被看成与用户面向照相机的画面中的对称线平行的方向，该线例如从用户的头延伸到用户的躯干或者用户的脚，或者该线从鼻梁经由用户鼻子的尖端延伸到用户的下巴。该对称线可以由数据处理系统通过分析视频数据而确定。作为另一个实例，照相机系统设有加速度计以便确定照相机系统捕获的视频中的重力方向。照相机系统可以将视频数据与代表重力方向的元数据一起发送至数据处理系统。

在此上下文中，考虑基于姿态的可控系统，其中姿态涉及用户的身体部分的运动，即身体部分相对于照相机的位置或取向的随着时间的变化。这样配置的系统无需静态参考位置或者静态参考取向，因为相对于照相机的变化方向或者其中变化发生的相对于照相机的空间扇区（sector）与将姿态解释为控制命令有关。形成对照的是，在本发明中，将关于如视频数据中捕获的预定参考的如视频数据中捕获的用户的身体部分的相对位置和/或相对取向和/或相对运动解释为控制命令。为了完整起见，在这里应当注意到，本发明可以使用二维或三维的代表身体部分和环境的视频数据。

本发明的系统包括例如家用电器，比如厨房照明、餐厅灯、电视机、数字视频记录器、音乐播放器、家庭娱乐系统等等。作为另一个实例，本发明的系统包括医院装备。姿态可控的医院装备使得医务人员能够在不必物理地触摸装备的情况下操作该装备，从而降低细菌或者微机体经由医院装备转移到患者的风险。作为又一个实例，本发明的系统包括其中车间工作人员使其手或衣服变脏的环境内的车间装备，所述环境例如农场，动物园，铸造厂，石油平台，用于修理和维修机动车辆、火车或者轮船等的车间。如果工作人员不必物理地触摸车间装备以便控制它，那么污垢就不会像他们必须触摸它的情况那样快速地在用户接口处累积。可替换地，工作人员将无需脱下他们的手套操作装备，从而有助于装备的用户友好性。

用户在与本发明的姿态可控系统交互中的姿态可以是例如直证的、用旗语表示的或者符号的。对于背景技术，请参见例如Karam, M., and Schraefel, M. C., (2005), “A Taxonomy of Gestures in Human Computer Interaction”, ACM Transactions on Computer-Human Interactions 2005, Technical report, Electronics and Computer Science, University of Southampton, November 2005。

直证的姿态涉及用户的指向以便在应用域的上下文中确立对象的空间地点的身份。例如，用户用他/她的右手指向他/她的左臂上的地点。于是，一方面用户左肩与该地点之间的左臂长度和另一方面该地点与用户左腕之间的左臂长度的比值可以用来指示本发明的姿态可控系统中包含的声音复现系统的希望的音量设置。

用旗语表示的姿态涉及采用身体部分（例如用户的手或臂）的静态或动态姿态的风格化字典的任何姿态表示系统。例如，用户用他/她的左手指向用户的右肘并且拍打右肘两次。该动态姿态可以在例如鼠标双击的意义上使用。

也称为图标姿态的符号姿态典型地用来说明物理的具体项目的物理属性。例如，用户将他/她的手掌心面向彼此地放在他/她的面前。然后，掌心之间的逐渐减小的距离用作例如改变由本发明的姿态可控系统中容纳的声音复现系统复现的声音的音量的控制命令。可以使得每单位时间的变化的幅值与距离在每单位时间减小的量成比例。类似地，用户可以定位他/她的右手，使得右手的掌心面向下方。减小该手相对于地板的高度于是被解释为像在上面的实例中那样相应地减小声音的音量。

本发明的系统可以被配置用于通过一个或多个预定姿态而可控，其中每个对应的姿态为静态或动态的。身体部分与预定参考之间的空间关系在静态姿态下基本上不随着时间而改变。换言之，身体部分的位置或取向不随着时间相对于预定参考足够地变化，以便再现不可由本发明系统中的无接触用户接口解释的静态姿态。静态姿态的一个实例是上面简要地讨论的直证的姿态的实例。另一方面，动态姿态由身体部分相对于预定参考的运动表征。身体部分与预定参考之间的空间关系于是由身体部分相对于预定参考的位置或取向的变化表征。动态姿态的实例是上面简要地讨论的用旗语表示的姿态的实例以及符号姿态的实例。

相应地，所述空间关系代表以下至少一个：身体部分关于预定参考的相对位置；身体部分关于预定参考的相对取向；以及身体部分关于预定参考的相对运动，即身体部分的位置和/或取向的变化。

本发明的系统可以在单个物理实体中实现，例如在单个外壳内的具有所有姿态可控功能的装置中实现。

可替换地，本发明的系统被实现为地理上分布的系统。例如，将照相机系统容纳在具有数据网络接口的移动设备（例如智能电话）中，数据处理系统包括因特网上的服务器，并且将本发明的系统的姿态可控功能容纳在具有到网络的接口的电子装备中。通过这种方式，使得移动设备的用户能够通过一个或多个姿态远程地控制装备。应当指出的是，反馈环可以用在但是不必用在用户控制本发明的系统中的装备的过程中。用户的身体部分与参考之间的空间关系，即如照相机系统捕获的相对位置和/或相对取向和/或相对运动，设置装备的希望的操作状态。

在依照本发明的系统的另一实施例中，预定参考、预定空间关系和预定状态中的至少一个是可编程的或者可重复编程的。

相应地，该另一实施例的系统可以例如由用户、由系统的安装者、由系统的制造商等等编程或者重复编程，以便依照各个用户的规定或者偏好修改或者构建系统。

本发明也涉及一种被配置用于在系统中使用的无接触用户接口，该无接触用户接口用于使得用户能够在操作使用中通过用户的身体部分的预定姿态控制该系统。该用户接口包括照相机系统和数据处理系统。照相机系统被配置用于捕获代表身体部分和身体部分的环境的视频数据。数据处理系统耦合到照相机系统并且被配置用于处理视频数据以便：从视频数据中提取身体部分与环境中的预定参考之间的当前空间关系；确定该当前空间关系是否匹配身体部分与预定参考之间的预定空间关系，该预定空间关系表征预定姿态；并且根据当前空间关系匹配预定空间关系产生用于将系统设置成预定状态的控制命令。预定参考包括以下至少一个：用户的另一个身体部分；在用户外部且在环境内的物理对象；以及环境中的预定空间方向。

本发明可以在商业上以上面指明种类的无接触用户接口的形式加以利用。这样的无接触用户接口可以安装在被配置用于在操作使用中受用户控制的任何系统处。本发明的无接触用户接口试图将身体部分与环境中的预定参考之间的当前空间关系和预定空间关系匹配。如果匹配成功，那么将当前空间关系映射到预定控制命令上以便将系统设置成与预定空间关系关联的预定状态。

在无接触用户接口的一个实施例中，预定空间关系代表以下至少一个：身体部分关于预定参考的相对位置；身体部分关于预定参考的相对取向；以及身体部分关于预定参考的相对运动。

在无接触用户接口的另一实施例中，预定参考、预定空间关系和预定状态中的至少一个是可编程的或者可重复编程的。

本发明也可以在商业上用作方法。因此，本发明也涉及一种用于响应于用户的身体部分的预定姿态而控制系统的方法。该方法包括接收代表身体部分和身体部分的环境的视频数据；以及处理视频数据。视频数据的处理包括：从视频数据中提取身体部分与环境中的预定参考之间的当前空间关系；确定该当前空间关系是否匹配身体部分与预定参考之间的预定空间关系，该预定空间关系表征预定姿态；以及根据当前空间关系匹配预定空间关系产生用于将系统设置成预定状态的控制命令。预定参考包括以下至少一个：用户的另一个身体部分；在用户外部且在环境内的物理对象；以及环境中的预定空间方向。

视频数据可以由照相机系统在运行时提供。可替换地，视频数据可以如包含在具有预记录的视频数据的电子文件中而被提供。相应地，可以将用户形成与本发明关联种类的姿态序列的视频剪辑以该序列的顺序映射到要由系统采取的状态序列上。

所述方法可以在商业上用作诸如例如因特网之类的数据网络上的网络服务。服务的订户事先规定一个或多个预定空间关系以及用于控制系统的一个或多个预定控制命令。用户也规定要将所述预定空间关系中的哪个特定空间关系映射到所述控制命令中的特定控制命令上。服务提供商创建预定空间关系和预定控制命令以及其间的对应性的数据库。用户也事先指定数据网络上的目的地地址。相应地，当用户登录进该服务并且上传或者流送代表用户的姿态和用户的环境的视频数据时，服务提供商执行如上面所详细说明的方法并且将控制命令发送至目的地地址。

在依照本发明的方法的另一实施例中，预定空间关系代表以下至少一个：身体部分关于参考的相对位置；身体部分关于参考的相对取向；以及身体部分关于预定参考的相对运动。

在依照本发明的方法的又一实施例中，预定参考、预定空间关系和预定状态中的至少一个是可编程的或者可重复编程的。

本发明也可以在商业上由软件提供商利用。因此，本发明也涉及控制软件。该控制软件如存储在计算机可读介质（例如磁盘、光碟、固态存储器等等）上那样而被提供。可替换地，该控制软件作为可以通过诸如因特网之类的数据网络下载的电子文件而被提供。该控制软件操作来配置系统以使其响应于用户的身体部分的预定姿态而可控。该控制软件包括用于处理由照相机系统捕获且代表身体部分和身体部分的环境的视频数据的第一指令。第一指令包括：用于从视频数据中提取身体部分与环境中的预定参考之间的当前空间关系的第二指令；用于确定该当前空间关系是否匹配身体部分与预定参考之间的预定空间关系的第三指令，该预定空间关系表征预定姿态；以及用于根据当前空间关系匹配预定空间关系产生用于将系统设置成预定状态的控制命令的第四指令。预定参考包括以下至少一个：用户的另一个身体部分；在用户外部且在环境内的物理对象；以及环境中的预定空间方向。

因此，该控制软件可以被提供用于安装在具有无接触用户接口的系统上，该无接触用户接口被配置用于使得用户能够在操作使用中通过用户的身体部分的预定姿态控制该系统。

在依照本发明的控制软件的另一实施例中，预定空间关系代表以下至少一个：身体部分关于参考的相对位置；身体部分关于参考的相对取向；以及身体部分关于预定参考的相对运动。

在依照本发明的方法的又一实施例中，所述控制软件包括用于对预定参考、预定空间关系和预定状态中的至少一个编程或者重复编程的第五指令。

附图说明

本发明通过实例的方式并且参照附图更详细地加以解释，在附图中：

图1为本发明的系统的框图；

图2为如视频数据中所捕获的用户的示图；

图3、图4、图5和图6为图示出依照本发明的第一姿态控制方案的示图；以及

图7和图8为图示出依照本发明的第二姿态控制方案的示图。

贯穿这些附图，相似或相应的特征由相同的附图标记指示。

具体实施方式

图1为依照本发明的系统100的框图。系统100包括无接触用户接口102，该无接触用户接口被配置用于使得用户能够在操作使用中通过用户的身体部分（例如用户的手或臂）的预定姿态控制该系统100。在该示图中，系统100被示为具有第一可控功能104和第二可控功能106。系统可以仅仅具有通过姿态可控的单个功能，或者具有超过两个功能，其中每个对应功能通过对应姿态可控。

用户接口102包括照相机系统108和数据处理系统110。照相机系统108被配置用于捕获代表身体部分和身体部分的环境的视频数据。数据处理系统110耦合到照相机系统108并且被配置用于处理接收自照相机系统108的视频数据。照相机系统108可以供应所捕获的视频数据，或者可以在向数据处理系统110供应预处理的捕获的视频数据之前首先预处理该捕获的视频数据。数据处理系统110操作来确定身体部分与环境中的预定参考之间的当前或实际空间关系。实际空间关系的实例将在下文中进一步加以讨论，并且参照图2-8进行说明。数据处理系统110操作来确定当前空间关系是否匹配代表预定姿态的预定空间关系。为了能够这样做，数据处理系统110包括数据库112。数据库112存储代表一个或多个预定空间关系的数据。数据处理系统110试图找到一方面代表视频数据中标识的当前空间关系的输入数据与另一方面存储在数据库112中且代表所述预定空间关系中的特定空间关系的数据之间的匹配。视频数据中标识的当前空间关系与数据库112中存储的特定预定空间关系之间的匹配可能不是完美的匹配。例如，考虑这样的方案，其中所述预定空间关系中的不同空间关系的任何配对之间的差异在计算上足够大，即其中数据处理系统110可以区分所述预定空间关系的任何配对。数据处理系统110于是可以使视频数据中标识的当前空间关系经受例如最佳匹配方法。在最佳匹配方法中，视频数据中的当前空间关系匹配所述预定关系中的特定关系，如果当前空间关系与该特定预定空间关系之间的差异的幅值符合一个或多个要求的话。第一要求是，该差异的幅值小于一方面当前空间关系与另一方面所述预定空间关系中的对应其他空间关系之间的对应其他差异的幅值中的每一个。例如，将当前空间关系映射到N维空间中的矢量，并且将所述预定空间关系中的每一个特定空间关系映射到N维空间中的特定其他矢量上。如所知道的，可以依照各种各样的算法（例如确定汉明距离）确定N维空间中的矢量对之间的差值。

当在本文中使用时，术语“数据库”也可以被解释为覆盖例如人工神经网络或者隐马尔科夫模型（HMM）以便确定当前空间关系是否匹配代表预定姿态的预定空间关系。

可以使用规定当前空间关系与特定预定空间关系之间的差异的幅值低于预设阈值的第二要求。可以在代表预定空间关系的矢量在N维空间中不均匀地间隔的情况下使用该第二要求。例如，考虑仅仅两个预定空间关系的集合，并且考虑由三维空间中的对应矢量代表这两个预定空间关系中的每个对应的空间关系，所述三维空间例如由沿着彼此正交的x轴、y轴和z轴的单位矢量张成的欧氏（Euclidean）三维空间。结果可能是，代表所述两个预定空间关系的这两个矢量都位于由正z坐标表征的半空间内。现在，视频数据的当前空间关系由该三维空间中的第三矢量代表。考虑其中该第三矢量位于由负z坐标表征的另一半空间内的情况。典型地，该第三矢量与所述两个预定空间关系的所述两个矢量中的特定矢量之间的差异小于该第三矢量与所述两个预定空间关系的所述两个矢量中的另一个矢量之间的另一个差异。形式上，在该第三矢量与所述两个矢量中的特定矢量之间将存在匹配。然而，很可能的是，用户的运动根本不意味着用于控制系统100的姿态。因此，第二要求（让当前空间关系与特定预定空间关系之间的差异的幅值低于预设阈值）可以用来更可靠地将用户的运动解释为控制系统100的刻意姿态。

数据处理系统110可以是被配置用于通过安装如早先所讨论的适当控制软件114而实现本发明的常规数据处理系统。

图2为如由照相机系统108产生的视频数据中所捕获的用户的示图。照相机系统108产生具有用户的火柴杆表示200的视频数据。实现技术已经由例如以色列公司Primesense有限公司创建，并且用在“Kinect”的3D感测技术、如上面所提到的来自微软的用于通过姿态控制Xbox 360视频游戏控制台的移动感测输入设备中。用户的火柴杆表示200典型地包括用户主要关节的表示。火柴杆表示200包括用户右肩的第一表示RS、用户左肩的第二表示LS、用户右肘的第三表示RE、用户左肘的第四表示LE、用户右手的第五表示RH以及用户左手的第六解释LH。用户的手、上臂和前臂的相对位置和/或取向现在可以用于控制本发明的系统100，如图3、图4、图5、图6、图7和图8中图示的。在下文中，用户解剖结构的部件的引用（肩、前臂、上臂、手、腕和肘）以及火柴杆示图中的部件的表示将可交换地使用。

为了清楚起见，在人类解剖结构中，术语“臂”指的是肩与肘之间的分段，并且术语“前臂”指的是肘与腕之间的分段。在非正式的使用中，术语“臂”经常指肩与腕之间的整个分段。贯穿本文，表述“上臂”用来指肩与肘之间的分段。

图3、图4、图5和图6图示出第一控制方案，其中用户右臂与用户左臂重叠的位置代表第一可控参数的幅值，例如由系统100的第一功能104代表的扬声器系统复现的声音的音量。重叠的位置相对于用户左臂进行解释。

在第一控制方案中，使用用户的左臂，就好像它是向导，其中滑块可以向上或向下移动，该滑块由其中在视频数据中用户的左臂和用户的右臂重叠或者彼此接触的区域代表。滑块为例如用于播放音乐的装备的用户接口中的常规控制设备，并且被配置用于将控制参数人工地设置为希望的幅值。在本发明的第一控制方案中，可以根据在何处相对于用户的左臂定位用户的右臂而将声音的音量设置为0%与100%之间的任何幅值。

在图3的示图中，在示图中表示为右肘RE与右手RH之间的杆的用户右前臂被定位在或者靠近用户左肘LE的表示。数据处理系统110被配置成将图3示图中的用户右前臂的该相对位置解释为用于将音量调节到大约50%的姿态。用户的本体感受的感觉允许快速地将用户右前臂定位在或者靠近用户左肘LE，并且使得用户能够意识到该相对位置的小变化。用户的右臂可以停靠在用户左臂上以便通过添加触觉而甚至帮助更多。

在图4的示图中，用户相对于用户左臂定位他/她的右前臂，使得用户的右手RH在左肘LE与左肩LS之间的中途停靠在用户左臂上。数据处理系统110被配置成将图4的示图中的用户右前臂的相对位置解释为用于将音量调节到大约25%的姿态。

在图5的示图中，用户相对于用户左臂定位他/她的右前臂，使得用户的右手RH在用户左手LH处或者靠近用户左手LH停靠在用户的左臂上。数据处理系统110被配置成将图5的示图中的用户右前臂的相对位置解释为用于将音量调节到大约100%的姿态。

根据图3、图4和图5的示图，可以清楚用户无需保持他/她的左臂完全笔直。正是前臂和上臂的相对位置与如数据处理系统110所解释的姿态有关。

图6的示图图示出第一方案，其现在使用相对长度作为姿态，用户的右前臂按照该相对长度延伸到用户的左臂之外以便设置第二可控参数（例如来自由系统100的第二功能106代表的可控照明器具的光束的水平方向）的幅值。假设该照明器具可以在水平面内的方向上投射光束，并且可以控制该方向以采取相对于参考方向的-60⁰与相对于参考方向的+60⁰之间的幅值。将该方向粗略地设置为参考方向通过例如定位用户的右前臂来完成，使得右前臂和用户的左臂大致在右前臂上的介于右肘RE与右手RH之间的中途的区域处重叠。然后，右前臂按照其向左延伸到左臂之外的长度大致等于右前臂按照其向右延伸到左臂之外的长度。将光束重定向到相对于参考方向的另一个角度通过用户相对于他/她的左臂移动他/她的右前臂以便改变右前臂按照其向例如右边延伸到左臂之外的长度来完成。

图6的示图也图示出第一方案，其中第一可控参数和第二可控参数同时姿态可控。考虑例如其中第一可控参数如上面参照图3、图4和图5的示图所讨论的代表由扬声器系统产生的声音的音量并且其中第二可控参数代表扬声器系统中的声音的方向性的情况。音量由右前臂与左臂之间的重叠相对于左臂的位置控制，并且方向性由右前臂按照其向左和向右延伸到左臂之外的长度的比值控制。在图6的示图中图示出的实例中，已经将音量设置为大约48%并且将方向性设置为大约66%。关于后者幅值：用户的左臂与用户的右手RH之间的距离被示为用户的左臂与用户的右肘RE之间的距离的大约二倍长。

图7和图8的示图图示出第二方案，其中数据处理系统110将用户的右前臂相对于参考方向（在这里为由箭头702指示的重力方向）的位置解释为姿态。右前臂的相对位置由火柴杆示图中重力方向702以及右肘RE与右手RH之间的分段的方向之间的角度φ代表。在图7的示图中，右前臂的相对位置使得角度φ采取比如35⁰的幅值。在图8的示图中，右前臂的相对位置使得角度φ采取比如125⁰的幅值。相应地，角度φ的幅值可以由数据处理系统110用来设置系统100的可控参数的值。

在上面的实例中，数据处理系统110使用右前臂与左臂的重叠的相对位置和/或右前臂按照其向左和向右延伸到左臂之外的长度的比值以及如由角度φ所代表的右前臂相对于重力方向的位置作为输入。数据处理系统110可以被配置成使用任何种类的输入到输出的映射以便控制一个或多个可控参数。该映射无需为比例，并且可以考虑例如人体工程学因素。例如，用户精确地将他/她的右手RH定位在靠近他/她的左肘LE的地点可能比定位在他/她的左肘LE与他/她的左肩LS的中途的地点更容易。然后，可以实现右前臂和左臂的重叠的相对位置的映射，其中如果与重叠发生在他/她的左肘LE和他/她的左肩LS的中途的情况相比，重叠发生在左肘LE附近，那么重叠的相对位置的一定变化量带来可控参数的值的幅值的更大的变化。

在图3、图4、图5、图6、图7和图8图示出的实例中，数据处理系统110被配置用于将特定相对位置映射到可控参数的特定幅值上。

可替换地，数据处理系统110被配置用于将特定相对位置映射到可选择项目集合中的特定项目的选择上。可选择项目集合的实例包括：预记录音乐片断播放列表或者预记录电影播放列表；可用于控制电子装备的状态的控制选项菜单中的控制选项集合，等等。例如，假设系统100的第一可控功能104包括视频回放功能。该视频回放功能是姿态可控的，使用左前臂作为参考。用右手RH靠近左肘LE地触摸左前臂于是被解释为：在选择的电影的电子文件的开始处启动视频回放。在左肘LE与左手LH之间的中途触摸左前臂于是被解释为：在电影的中途启动或者继续视频回放。靠近左手LH触摸左前臂于是被解释为：靠近电影的结尾启动或者继续视频回放。

在图3、图4、图5和图6中，相对于作为用户左臂的预定参考描述了用户右臂的位置。在图7和图8中，相对于作为重力方向702的预定参考描述了用户右臂的位置。应当指出的是，总体上在由用户的身体部分（例如用户的右臂、用户的左臂、用户的头、用户的左腿、用户的右腿等等）与预定参考之间的特定空间关系形成的特定姿态方面描述了本发明。该预定参考可以包括用户的另一个身体部分（例如另一臂、另一腿、用户的躯干等等）、与重力方向不同的另一个预定方向或者如由照相机系统所捕获的用户的环境内的物理对象或者其部分。所述特定空间关系可以由身体部分和预定参考的相对位置和/或相对取向和/或相对运动代表。

Claims (12)

1.一种具有无接触用户接口的系统，该无接触用户接口被配置用于使得用户能够在操作使用中通过用户的身体部分的预定姿态控制该系统，其中：

该用户接口包括照相机系统和数据处理系统；

照相机系统被配置用于捕获代表身体部分和身体部分的环境的视频数据；

数据处理系统耦合到照相机系统并且被配置用于处理视频数据以便：

从视频数据中提取身体部分与环境中的预定参考之间的当前空间关系；

确定该当前空间关系是否匹配身体部分与预定参考之间的预定空间关系，该预定空间关系表征预定姿态；并且

根据当前空间关系匹配预定空间关系产生用于将系统设置成预定状态的控制命令；

并且预定参考包括以下至少一个：

用户的另一个身体部分；

在用户外部且在环境内的物理对象；以及

环境中的预定空间方向。

2.权利要求1的系统，其中预定空间关系代表以下至少一个：

身体部分关于预定参考的相对位置；

身体部分关于预定参考的相对取向；以及

身体部分关于预定参考的相对运动。

3.权利要求1的系统，其中预定参考、预定空间关系和预定状态中的至少一个是可编程的或者可重复编程的。

4.一种被配置用于在系统中使用的无接触用户接口，用于使得用户能够在操作使用中通过用户的身体部分的预定姿态控制该系统，其中：

该用户接口包括照相机系统和数据处理系统；

照相机系统被配置用于捕获代表身体部分和身体部分的环境的视频数据；

数据处理系统耦合到照相机系统并且被配置用于处理视频数据以便：

从视频数据中提取身体部分与环境中的预定参考之间的当前空间关系；

确定该当前空间关系是否匹配身体部分与预定参考之间的预定空间关系，该预定空间关系表征预定姿态；并且

根据当前空间关系匹配预定空间关系产生用于将系统设置成预定状态的控制命令；并且

预定参考包括以下至少一个：

用户的另一个身体部分；

在用户外部且在环境内的物理对象；以及

环境中的预定空间方向。

5.权利要求4的无接触用户接口，其中预定空间关系代表以下至少一个：

身体部分关于预定参考的相对位置；

身体部分关于预定参考的相对取向；以及

身体部分关于预定参考的相对运动。

6.权利要求4的无接触用户接口，其中预定参考、预定空间关系和预定状态中的至少一个是可编程的或者可重复编程的。

7.一种用于响应于用户的身体部分的预定姿态而控制系统的方法，其中

该方法包括：

接收由照相机系统捕获且代表身体部分和身体部分的环境的视频数据；以及

处理视频数据；

视频数据的处理包括：

从视频数据中提取身体部分与环境中的预定参考之间的当前空间关系；

确定该当前空间关系是否匹配身体部分与预定参考之间的预定空间关系，该预定空间关系表征预定姿态；以及

根据当前空间关系匹配预定空间关系产生用于将系统设置成预定状态的控制命令；

并且预定参考包括以下至少一个：

用户的另一个身体部分；

在用户外部且在环境内的物理对象；以及

环境中的预定空间方向。

8.权利要求7的方法，其中预定空间关系代表以下至少一个：

身体部分关于参考的相对位置；

身体部分关于参考的相对取向；以及

身体部分关于预定参考的相对运动。

9.权利要求7的方法，其中预定参考、预定空间关系和预定状态中的至少一个是可编程的或者可重复编程的。

10.控制软件，存储在计算机可读介质上并且操作来配置系统以使其响应于用户的身体部分的预定姿态而可控，其中：

该控制软件包括用于处理由照相机系统捕获且代表身体部分和身体部分的环境的视频数据的第一指令；

第一指令包括：

用于从视频数据中提取身体部分与环境中的预定参考之间的当前空间关系的第二指令；

用于确定该当前空间关系是否匹配身体部分与预定参考之间的预定空间关系的第三指令，该预定空间关系表征预定姿态；以及

用于根据当前空间关系匹配预定空间关系产生用于将系统设置成预定状态的控制命令的第四指令；并且

预定参考包括以下至少一个：

用户的另一个身体部分；

在用户外部且在环境内的物理对象；以及

环境中的预定空间方向。

11.权利要求10的控制软件，其中预定空间关系代表以下至少一个：

身体部分关于参考的相对位置；

身体部分关于参考的相对取向；以及

身体部分关于预定参考的相对运动。

12.权利要求10的控制软件，包括用于对预定参考、预定空间关系和预定状态中的至少一个编程或者重复编程的第五指令。

Images