CN103140862A

CN103140862A - 用户界面系统及其操作方法

Info

Publication number: CN103140862A
Application number: CN2011800473230A
Authority: CN
Inventors: 瑟萨德利·阿玛斯纳杜; 亚当·奥德斯基
Original assignee: France Telecom SA
Current assignee: Orange SA
Priority date: 2010-09-30
Filing date: 2011-09-29
Publication date: 2013-06-05
Anticipated expiration: 2031-09-29
Also published as: US20130307766A1; EP2646948B1; CN103140862B; US9746927B2; EP2646948A2; WO2012042390A2; WO2012042390A3

Abstract

本发明提供用户界面（UI）的方法，该方法可以由一个或多个控制器控制并且可以包括从用户的一系列图像获得图像信息的一个或多个动作；分析图像信息以识别该用户；识别第一参考对象和第二参考对象，其至少一个与来自图像信息的该用户的各个身体部分相对应；确定第一参考对象是否已经放置在第二参考对象的阈值缩放距离内或超过第二参考对象的阈值缩放距离；当确定第一参考对象已经放置在第二参考对象的阈值缩放距离之内或超过第二参考对象的阈值缩放距离时，计算第一参考对象与第二参考对象之间的交互时间（Ti）；比较该交互时间与阈值参考时间（Trt）；以及根据比较的结果执行行动。

Description

用户界面系统及其操作方法

技术领域

本系统大体上涉及用户界面系统，更具体地涉及可以利用用户的姿势来识别身体部分的用户界面（UI）。

背景技术

最近，用户站（US）如移动站（MS）、蜂窝电话、移动电话（例如，IPHONE^TM）、个人数字助理（PDA）、黑莓^TM型装置、上网本、膝上型电脑、PAD型计算装置（例如，IPAD^TM）、个人计算机（PC）、台式计算机、电视机等已经开始包括图像捕获装置如照相机以捕获图像信息。然而，为了减少尺寸和/或重量他们不具有传统的用户输入装置，如用户可以用来容易地与US交互的硬键式键盘。因此，用户可以通过可以提供软键盘的触屏式显示器与这些装置交互。然而，这要求用户在显示器的一个手臂的长度内，这对于用户可能不太方便。

发明内容

公开了提供基于姿势的用户界面（UI）的一个或多个系统、方法、装置和/或计算机程序（在下文中，为了清楚起见，其每一个将被称为系统，除非上下文中另外指出）。本系统可以在个人环境或企业环境中与用户交互。因此，用户可以通过用户站（US）如PAD型计算装置，和/或通过如在商店、机构（例如，学校）、公共场所（例如，机场等等）、政府机关（例如，机动车辆部门等等）等等中的企业系统与本系统交互。此外，该系统可以辨别可能同时与系统交互的两个或更多用户。因此，可以为一个或多个用户以同时的方式或并行的方式执行本系统的操作动作。此外，取决于随时间推移的两个或更多身体部分之间的用户的姿势，该系统为了用户的方便可以选择和/或显示通知内容。

根据本系统的一个方面，公开了一种用户界面（UI）方法，该UI由一个或多个控制器控制。UI方法可以包括：从用户的图像序列获得图像信息的一个或多个动作；分析图像信息以识别该用户；从图像信息识别与用户的各个身体部分相对应的第一参考对象和第二参考对象；确定第一参考对象是否已经放置在第二参考对象的阈值缩放距离内或超过第二参考对象的阈值缩放距离；当确定第一参考对象已经放置在第二参考对象的阈值缩放距离之内或超过第二参考对象的阈值缩放距离时，计算第一参考对象与第二参考对象之间的交互时间（Ti）；比较交互时间与阈值参考时间（Trt）；以及根据比较的结果执行行动。

该方法还可以包括：注册第一参考对象和第二参考对象以及第一参考对象与第二参考对象之间的对应的关联的动作。此外，可以使用对象识别技术执行识别的动作。此外，识别的动作还可以包括确定图像内的一个或多个感兴趣区（ROI）的动作。

还可以设想该方法可以包括：基于第一参考对象与第二参考对象之间的关系确定行动的动作。此外，执行该行动的动作可以包括突出和呈现第二参考对象、调用应用的一个或多个动作，从而运行特定的处理代码，运行代码片段、输入命令以及类似的其他操作。

还提供用户界面（UI）系统，该UI通信系统包括：可以从用户的图像序列获得图像信息的一个或多个控制器；分析图像信息以识别该用户；识别其一个或多个与来自图像信息的用户的各个身体部分相对应的第一参考对象和第二参考对象，；确定第一参考对象是否已经放置在第二参考对象的阈值距离内或超过第二参考对象的阈值距离；当确定第一参考对象已经放置在第二参考对象的阈值距离之内或超过第二参考对象的阈值距离时，计算第一参考对象与第二参考对象之间的交互时间（Ti）；比较交互时间与阈值参考时间（Trt）；和/或基于比较的结果执行行动。

该一个或多个控制器可以包括注册第一参考对象和第二参考对象以及第一参考对象与第二参考对象之间的对应的关联。此外，根据对象识别技术，该一个或多个控制器可以识别其一个或多个与用户的各个身体部分相对应的第一参考对象和第二参考对象。此外，为了识别第一参考对象和第二参考对象，该一个或多个控制器可以确定图像内的一个或多个感兴趣区（ROI）。此外，基于第一参考对象与第二参考对象之间的关系，该一个或多个控制器可以确定行动。还可以设想根据行动该一个或多个控制器可以突出和呈现（例如，在系统的用户界面上如显示屏）第二参考对象、调用应用或输入命令。

还公开了存储在计算机可读存储器媒介上的计算机程序，该计算机程序配置为提供用户界面（UI），该计算机程序可以包括配置为从用户的图像序列如来自装置如照相机，来自持久性存储器等等的图像信息获得图像信息的程序部分；分析图像信息以识别该用户；识别其一个或多个与来自图像信息的用户的各个身体部分相对应的第一参考对象和第二参考对象；确定第一参考对象是否已经放置在第二参考对象的阈值距离内或超过第二参考对象的阈值距离；当确定第一参考对象已经放置在第二参考对象的阈值距离之内或超过第二参考对象的阈值距离时，计算第一参考对象与第二参考对象之间的交互时间（Ti）；比较交互时间与阈值参考时间（Trt）；和/或基于比较的结果执行行动。

此外，根据该计算机程序，程序部分可以配置为注册第一参考对象和第二参考对象以及第一参考对象与第二参考对象之间的对应的关联。此外，根据对象识别技术，程序部分还可以配置为识别其一个或多个与用户的各个身体部分相对应的第一参考对象和第二参考对象。此外，为了识别第一参考对象和第二参考对象，该程序部分可以配置为确定图像内的一个或多个感兴趣区（ROI）。

还可以设想该程序部分可以配置为基于第一参考对象与第二参考对象之间的关系确定行动。还可以设想程序部分可以配置为根据行动突出和呈现第二参考对象、调用应用和/或输入命令。

附图说明

以示例的方式，参照附图详细地解释了本发明，在附图中：

图1示出根据本系统的实施方式的成像系统的框图；

图2示出根据本系统的实施方式的被捕获的个体的图像的屏幕截图；

图3示出根据本系统的实施方式的、使用标准对象信息（SOI）呈现的图像；

图4示出根据本系统的实施方式的、使用标准对象信息（SOI）呈现的图像；

图5示出图像序列，该图像序列示出根据本系统的实施方式的、将手与身体区域相关联的过程；

图6示出根据本系统的实施方式的过程的流程图；

图7示出根据本系统的实施方式的、规格化手的中心位置的方法的屏幕截图；以及

图8示出根据本系统的实施方式的系统800的一部分（例如，同级，服务器，用户站等等）。

具体实施方式

以下是对示例性实施方式的描述，其与附图一起时将说明上面指出的特征与优点，以及另外的特征与优点。在下面的描述中，为了解释的目的而不是限制的目的，阐明了示例性的细节，如架构、接口、技术、元件属性等等。然而，对于本领域的技术人员显而易见的是，与这些细节不同的其他实施方式仍然应该理解为在所附权利要求的范围内。此外，为了清晰起见，省略了公知的装置、电路、工具、技术以及方法的详细描述，以免使本系统的描述模糊。另外，应该清楚地理解所包括的附图是用于说明的目，而不是表示本系统的范围。在附图中，不同的附图中相同的附图标记表示相同的元件。

为了简化本系统的描述，本文中所使用的术语“可操作地联接”、“联接”及其派生词指的是装置和/或其部分之间的连接使根据本系统的操作能够实现。例如，可操作地联接可以包括使装置和/或其部分之间的单向通信和/或双向通信路径能够实现的有线连接和/或无线连接中的一个或多个。例如，可操作地联接可以包括使控制器与一个或多个用户装置之间的通信能够实现的有线或无线联接。

本文中使用的术语“呈现（rendering）”及其派生词指的是提供内容，如可以包括，例如音频信息、视觉信息、视听信息等等的数字媒介，从而其可以由至少一个用户感觉，如视觉和/或听觉所察觉。例如，本系统可以在显示装置上呈现用户界面（UI）从而其可以由用户看到并且可以与用户交互。此外，本系统可以在呈现可听到的输出的装置（例如，扩音器，如扬声器）和呈现视觉输出的装置（例如，显示器）上呈现视听内容。为了简化以下论述，术语“内容”及其派生词将被使用并且应该被理解为包括音频内容，视觉内容，视听内容，文本内容和/或其他内容类型，除非特别指出特别的内容类型，这是可以容易理解的。

使用任何各种类型的可操作地联接至控制被显示环境如姿势识别系统的处理器（例如，控制器）的人-处理器界面装置可以实现用户与计算机环境的交互和计算机环境的操作。姿势识别系统可以单独操作或根据可以呈现在系统的显示器上的用户界面（UI）（如图形用户界面（GUI））操作。例如，用户可以使用与平面工作相关的某些姿势来操作视觉对象，例如光标，该视觉对象是用户操作位置与光标的示出位置之间的、以直接或间接映射的二维显示表面上的视觉对象。这通常被称为位置控制，其中所示出对象的运动可以与用户的运动和/或姿势在时间上相关联。

现在将详细论述根据本系统的实施方式使用图像识别方法识别各个身体部分的系统。根据本系统的实施方式，在辨识第一参考对象（例如，第一身体部分，如用户的右手）之后，系统可以辨识其他参考对象（例如，用户的其他身体部分）相对于第一身体部分（例如，手）在时间上的关系。因此，在给定的时间间隔上，本系统可以辨识，例如，用户的右手，并且可以确定与用户的右手相关联的身体部分。

图1示出根据本系统的实施方式的成像系统100的框图。成像系统100可以包括图像捕获部分102、控制部分104、对象识别部分106、存储器部分108以及显示部分110中的一个或多个，上述各部分可彼此分离或彼此组合。此外，部分102-112中的每一个可以是彼此本地或远距离地可操作地联接。因此，部分102-112可以与其他部分102-112通过例如有线或无线网络通信。

图像捕获部分102可以包括任何合适的图像捕获装置，例如照相机、摄像机、热捕获装置、深度捕获装置、运动捕获装置、身体传感装置等等。因此，图像捕获部分102可以捕获静止图像、视频图像等等，作为可以进一步处理以形成图像信息的原始图像。图像捕获部分102可以包括可以向控制部分104传输原始图像信息或图像信息的网络照相机。图像捕获部分102可以包括可以可操作地联接至控制部分104的网络照相机。

控制部分104可以控制成像系统100的全部操作。因此，控制部分104可以包括可以处理信息、传输和/或接收信息（例如，原始图像信息、图像信息、控制和/或命令信息等等）的一个或多个处理器、逻辑装置、控制器、专用集成电路（ASIC）等等，如本文中进一步所描述的。

对象识别部分106可以包括可以根据本系统的一个或多个算法处理原始图像信息的数字信号处理器（DSP）。该算法可以是例如一个或多个图像处理应用（如Intel^TM OpenCV^TM应用）的一部分。对象识别部分106可以包括硬的（例如，硬件）和/或软的（例如，软件）处理部分。对象识别部分106可以接收来自图像捕获部分102的原始图像信息，并且可以根据一个或多个对象识别方法（如HaarCascades型方法）处理原始图像信息或图像信息以形成对象识别信息（ORI），并且其可以保存在系统100的存储器，如存储器108中。

存储器108可以包括任何合适的存储器部分，其中可以存储本系统100的各种信息。因此，存储器108可以包括持久性存储器，其可以存储原始图像信息、图像信息、ORI、系统100产生的数据、用户信息（例如，用户帐户信息、注册信息等等），本系统的操作程序或应用和/或系统100适当操作所必需的其他信息。存储器108可以包括彼此位于本地或彼此远离的部分。因此，存储器108可以包括表面区域网络（surface area network）（SAN）等等。此外，存储器108通过网络可以是可达到的。

显示部分110可以包括任何合适的显示器，其为了用户方便起见可以呈现（例如，显示）内容和/或其他信息）。因此，显示器110可以包括液晶显示器（LCD）、发光二极管（LED）显示器、阴极射线管（CRT）显示器、电泳（EA）显示器等等，其为了用户的方便起见可以显示内容等。显示器部分110可以包括触摸屏显示器，利用该触摸屏显示器用户可以交互以将信息直接地输入系统100。

为方便用户，系统100还可以包括输出内容（如音频内容）的扩音器，和/或接收音频信息的麦克风。在控制部分104的控制下，扩音器和/或麦克风可以操作。

调制解调器部分112可以包括有线的或无线的调制解调器，其可以使用任何合适的协议传输和/或接收信息，如内容、原始图像信息、图像信息等等。因此，调制解调器112可以配置为上变换用于通过有线或无线链路（例如，使用天线等等）发送的信息并可以下变换接收的信息，并且向控制部分104发出所下变换的信息。

图2示出根据本系统的实施方式的捕获的个体（例如，用户）的图像200的屏幕截图。通过图像捕获部分（例如，部分102等等）捕获图像200，并且可以通过对象识别部分（例如，部分106等）处理图像200，该对象识别部分可以使用一个或多个对象识别方法（如OpenCV^TM应用、HaarCascades方法（技术）、DSP方法等等）处理图像200，以根据本系统的实施方式辨识图像200的相关部分。本系统可以使用对象识别应用，（如OpenCV^TM框架）处理图像信息，并且确定图像信息内的一个或多个感兴趣区（region of interest）（ROI）。每一个感兴趣区可以与一个区域（如矩形区域、环形区域或其他形状的感兴趣区（ROI）及其组合）相对应。下文示例性地描述了矩形形状区域并且用框206-X将其示出，然而权利要求应该理解为包括其他形状的区域，除非在本文中另有特别说明。因此，在确定与用户的身体202对应的ROI之后，本系统可以用框206-1框示该ROI。类似地，在确定与用户的手和脚相对应的ROI之后，系统分别可以用框206-2和206-3框示这些区域。

在本示例中，根据HaarCascade方法，用框206-X示出的的ROI可以与区域（如矩形区域）相对应，并且可以由位于图像200中的任何位置和/或范围、且可以例如在本示例中分别与身体、右手区域和右脚区域相对应的框206-1到206-3（一般地206-X）示出。然而，也可以设想其他区域，如矩形区域和/或其组合。根据本系统的实施方式，本系统可以发现图像或图像的序列内的所有区域。此外，根据本系统的实施方式，区域可以位于其它区域内。因此，例如，右手区域206-2和右脚矩形区域206-3分别可以位于身体矩形区域206-1内。在每一个矩形区域（例如，206-X）内，对象识别部分106可以确定该图像内的各种类Haar特征。如下文参照图7描述的，这些类的Haar特征可以涉及该图像的对应区域（例如，矩形区域）内的区域的像素和的差别。在“en.wikipedia.org/wiki/haar-like_features”进一步详细描述了类Haar特征。

为了确定ROI的位置、形状和/或尺寸，对象识别部分利用例如从系统的存储器获得的标准对象信息（SOI）可以与用户的图像信息进行比较。每一个感兴趣区可以具有包括在例如对应的可扩展标记语言（XML）文件或其它存储格式中的对应的HaarCascades信息。例如，可以在因特网上在因特网地址nuicode.com/projects/gsoc-ccv-hand/repository/revisions/44/entry/Final/haarcascade.xml得到作为XML文件的手的样本HaarCascadexml描述。可以为在本系统中示出的每一个的身体部分产生类似的XML文件。因此，在本示例中，SOI可以包括限定标准身体的解剖学区域如手、右肩、右肘、右大腿、右膝、右脚、腹部、左肩、左肘、左大腿、左膝、左脚、参考对象（例如，尺子）等等，以及对应于第一区域到第四区域（如象限）的信息。本系统可以获得HaarCascades信息并且辨识包括预期的身体和/或其部分的区域。因此，当本系统获得用户的图像序列时，其可以根据HaarCascades信息，以及第一参考对象和第二参考对象（如被限定的身体部分）之间的交互的持续时间（例如，交互时间（Ti））来确定各种信息，如ROI、第一象限到第四象限、在这些区域内的用户的各个解剖学身体部分、对象的交互（如用户的至少一个被限定的身体部分（即，第一参考对象和第二参考对象）（例如，用户右手或其他指示对象如尺子，位于右大腿上等）等等。然后系统可以根据确定的交互和/或持续时间使用该信息（例如，被限定身体部分的交互和/或Ti）确定一个或多个动作（例如，向上翻页、回车、应用调用等等）。还可以设想与交互（例如，右手放置在右大腿上）和/或交互的持续时间（例如，10秒）相关的信息可以输出到其他应用以用于另外的处理。

图3示出根据本系统的实施方式的使用SOI呈现的图像300。图像300的圈出区域的每一个可以示出与预先限定的身体部分或其他对象对应的标准对象（例如，右手、左膝等等），并且可以在一对一的基础上映射到人体。SOI可以包括可以匹配用户（如坐姿图像、站姿图像、跑姿图像等等）的图像，以使本系统可以容易地匹配用户的图像信息（例如，通过网络摄像机捕获）与对应的SOI（例如，坐姿的用户可以与坐姿的SOI文件匹配），从而本系统可以在例如一对一的基础上有效地将用户的图像信息与SOI映射。

如下文所描述的，参照图2与图3，通过确定一个或多个ROI和对应的矩形区域以及在一对一的基础上比较该一个或多个矩形区域与对应的SOI信息以确定标准对象（例如，标准化的解剖特征）的位置和/或这些标准对象之间的关系，系统可以辨别被捕获图像序列中的用户的身体的一个或多个部分（例如，一个或多个解剖特征）。因此，对象识别部分可以在一对一的基础上比较矩形Haar被识别的图像200的部分如图像200的矩形区域（206-X）与图3中示出的SOI，并且可以识别用户的身体的一个或多个部分（例如，右手、左脚、腹部等等）和/或基于该比较的用户的身体部分的位置。对象识别部分可以为图像序列的图像信息的矩形区域或每一个部分重复该过程。

此外，对象识别部分可以执行用于图像中的一个或多个身体的各个解剖特征（例如，面部特征、头、腹部、右手、右脚等等）的识别过程。因此，如果数个身体处于一个图像中，对象识别部分可以辨别每一个身体，并且然后可以辨别每一个身体的解剖特征。然后，该过程可以匹配这些特征与SOI，从而识别标准对象（例如，头、腹部、、左脚等等）。因此，该过程可以使用例如面部特征从数字图像自动地辨识和/或验证人以识别该人。对象识别部分可以使用任何合适的方法（例如，使用Haar分类器、图像应用等等）处理图像200以辨识用户、用户的解剖特征以及参考对象之间的交互，如用户的解剖特征。

为了节省资源，SOI可以保存在不同的数据库中。例如，面部信息可以是保存在面部用SOI数据库中，而一般的身体信息可以保持在身体用SOI数据库中。例如，可以捕获将手放置在用户的身体的一个或多个部分上的用户的图像或图像序列。根据本系统的实施方式，系统可以例如确定矩形Haar的中心位置，将矩形Haar的中心位置与全身关联，和/或提供用户的图像或身体全身图像，和/或使用户将手放置在其上的身体的区域突出。然后突出的区域可以与表示与突出的区域相对应的实际身体部分名称的SOI比较。因此，SOI可以包括具有身体部分的对应名称的身体的预先限定的结构。

图4示出根据本系统的实施方式的使用SOI呈现的图像400。SOI还可以限定如所示的第一区域到第四区域的区域。根据本系统的实施方式，这些区域的尺寸和形状可以取决于因素，如相对于照相机的身体的紧密度、需要识别的身体部分的数目、以及图像中的身体形状或人的特定类型。因此，系统可以检测什么时候用户将选择的解剖学特征（如右手）放置在与被限定的第一区域至第四区域（如象限）的一个或多个相对应的身体的一部分之上，并且可以确定与用户的手所放置的位置最靠近的身体部分（例如，在阈值距离内的身体部分）以及放置的持续时间。因此，例如，如果确定的是用户已经将手在对应于第一象限的身体的一部分上放置等于或超过第一阈值时间的一段时间，根据确定的交互和/或持续时间该过程可以确定一个或多个动作（例如，向上翻页、回车等等）。通过将身体分成区域，因为如本文中所描述的，在识别动作期间仅包括在识别区域中的身体部分需要被搜索，所以确定最靠近的身体部分变得更容易。

图5示出示出根据本系统的实施方式的将右手与身体502的区域相关联的过程的图像序列。在图像A中，该过程可以检测矩形Haar506-2，可以确定该Haar的中心位置，并且可以实时地将矩形Haar506-2的中心位置与身体502关联。如图像B中所示，本系统可以获得示出身体的映射的SOI，其示出第一象限至第四象限。然后，如图像C（其为后来捕获的用户的图像）中所示，假定用户的右手放置在对应于第三象限的身体区域之上，系统可以比较用户的右手的位置与图像B的SOI，并且确定用户的最靠近的身体部分。然后，如下文参照表1所描述的，系统可以确定右手与所确定的最靠近的身体部分之间的交互时间（Ti），并且基于检测的交互身体部分和TI执行适当的动作。

此外，可以设想系统可以追踪在各个时间上一系列身体部分的交互。例如，左手位于右肩上3秒以及其后在右大腿上10秒或更多等等。因此，当本系统检测随时间推移的一系列身体部分（或关于区域的部分）的交互时，系统可以根据确定的交互顺序和/或对应的持续时间确定一个或多个动作（例如，退格、向上翻页等等）。根据本系统的实施方式，这些系列还可以保存在存储器如数据库（DB）中用于后面的另外的处理和分析，并且基于这些保存的交互的系列可以与调用/运行应用相关联，使图像突出。

在下文中参照图6描述示出一个或多个例如由本系统的索引部分（和/或其他部分）执行的一个或多个操作的过程，图6示出说明根据本系统的实施方式的过程600的流程图。使用通过网络通信的一个或多个计算机可以执行过程600。过程600可以包括以下动作中的一个或多个。此外，如果需要，这些动作中的一个或多个可以组合和/或分成子动作。根据本系统，可以使用合适的图像处理方法，如使用合适的图像处理应用（例如，Intel^TMOpenCV^TM应用或类似应用）的HaarsCascade型方法执行该过程的图像处理动作。操作中，该过程可以在动作601期间开始然后进行到动作603。

在动作603期间，该过程可以接收来自图像捕获装置如网络照相机的图像信息（例如，与用户的图像序列相对应）。在执行动作603以后，该过程可以继续至动作605。在动作605期间，该过程可以确定是否在图像信息中检测到人（例如，用户）或其他预先确定的对象。在对图像信息中是否检测到人的检测中，如可以容易理解的，根据本系统的实施方式的系统可以识别身体（例如，全身）或身体部分（例如，如上躯干）。因此，如果该过程确定人被检测到，该过程可以继续至动作607。然而，如果该过程确定没有被检测到人，该过程可以重复动作603、605。通过例如处理图像信息和确定什么时候在图像信息中检测到人，该过程可以检测人。因此，当人走到网络照相机前面时，该过程可以确定在图像中检测到人。

在动作607期间，该过程可以辨识人。因此，例如，该过程可以在图像信息上执行生物统计学/身体识别过程（如面部和/或其他另一个身体识别过程）从而形成可用于辨识人的辨识信息。在执行动作607以后，该过程可以继续至动作609。在动作609期间，该过程可以确定是否该人为注册人（例如，在系统的数据库中注册的人）。因此，如果该过程确定该人为注册人，该过程可以继续至动作611。然而，如果该过程确定该人不是注册人，该过程可以继续至动作613。

根据本系统的实施方式，基于辨识信息的比较的结果（例如，来自动作607）以及注册人识别（RPI）信息（例如，从系统的存储器所获得）该过程可以确定该人是否为注册人。因此，当比较的结果指示识别信息与RPI信息相对应时，该过程可以确定所述人为注册人。如在下面表1中所示，如参考对象关联表中所述，RPI可以包括：例如，与生物统计学信息相关的信息如SOI、与身体相关联的参考对象（例如，手、脚、大腿等等），相关联的参考对象关联（例如，右手位于左大腿上、尺子位于左大腿上等等）和/或相关联的阈值参考时间（例如，持续时间，如3秒等等）。

表1

参考表1，参考对象关联可以限定在第一参考对象（例如，对象1）与第二参考对象（例如，对象2）之间，其中第一参考对象还可以称为参考点。系统可以识别第一参考对象和第二参考对象，并且可以使用根据本系统的对象识别方法追踪第一参考对象对于第二参考对象在时间上的关系。例如，参照第一参考对象（例如，右手（RH），尺子等等）与第二参考对象（例如，右大腿（RT））的交点，限定了5秒的阈值基准时间以及“回车”的动作（与键盘回车相对应）。换句话说，如果系统辨识第一参考对象与第二参考对象重叠5秒或更长时间，通过ROAT的使用系统辨识“回车”的动作。类似地，参照第一参考对象（例如，右手（RH））与第二参考对象（例如，右膝（RK））的交点，限定了3秒的阈值基准时间以及“原位”的动作（与键盘“原位”命令相对应）。此外，参照第一参考对象（例如，右手（RH））与第二参考对象（例如，左膝（LK））的交点，限定了4秒的阈值基准时间以及调用邮件应用如OutlookExpress^TM。因此，系统（例如，通过默认关系与命令的使用）和/或用户可以填写参考表。参考对象关联还可以包括距离阈值（例如，参照，缩放的LH-RK20cm），该距离阈值可以限定可以由系统使用的阈值距离，用于确定对于第一参考部分的最接近的身体部分（例如，第二对象）。因此，系统可以比较缩放的实际距离与参考距离，并且如果确定缩放的实际距离小于或等于阈值距离，系统可以确定第二身体部分为相对于第一部分的最靠近的身体部分。

此外，用户和/或系统可以限定一系列参考对象关联（例如，（RH-RK（3秒）然后RH-LK（2秒））：调用联系列表应用），RH-LK（2秒），LH-RK（10sec））：退格）等等）。可以容易地理解，根据本系统的实施方式，另一个定时可以类似地应用。

参照图6，在动作613期间，该过程可以执行注册过程并且形成与用户对应的RPI。因此，该过程可以与用户交互（例如，通过在系统的显示器上提供注册信息）以注册用户。在注册期间，该过程可以获得来自用户的生物统计学信息如用户的身体的图像等等，然后可以将该信息规格化并且包括在与用户对应的RPI中。此外，用户和/或系统可以设置/选择与用户相对应的参考对象关联（例如，参照ROAT表1）并且将该信息包括在RPI中。然而，还设想系统可以在一次注册基础上询问用户以提供对应于关联（例如，LH处于RK上）的第一对象和第二对象和/或交互时间，然后这些提供的信息可以为系统所使用。在完成动作613以后，该过程可以继续至动作611。

在动作611期间，该过程可以识别用户的身体。在识别用户的身体过程中，如可以容易理解的，根据本系统的实施方式的系统可以识别身体（例如，全身）或身体部分（例如，如上躯干）。因此，本系统可以基于用户的图像信息执行对象识别过程，以限定用于当前的框（或在预先限定的时间周期如现在时间到之前的5秒上的一系列框）的身体矩形区域（例如，206-1）。在完成动作611以后，该过程可以继续至动作615。

在动作615期间，该过程可以确定是否身体被识别。因此，如果确定身体被识别，该过程可以继续至动作617。然而，如果确定身体没有被识别，该过程可以重复动作611。为了确定身体是否被识别，该过程可以比较身体矩形区域与从本系统的存储器获得的SOI，并且确定这两者是否与彼此一致。因此，如果身体矩形区域信息与SOI一致，该过程可以确定身体被识别。然而，如果身体矩形区域信息与SOI不一致，该过程可以确定身体不被识别。通过重复动作611，可以执行具有与新的当前时间对应的新的图像信息的所述过程。

在动作617期间，该过程可以基于图像信息执行对象识别过程以识别用户的第一参考对象（例如，在当前示例中的右手矩形区域）。因此，该过程可以试图限定用于图像信息的一个或多个框（或在预先限定的时间周期（如当前时间到之前的5秒或其他时间周期）的一系列框）的手矩形区域（例如，206-2）。该过程可以为如表1中所示的每一个限定的第一参考对象这样做。在完成动作617以后，该过程可以继续至动作619。

在动作619期间，该过程可以确定第一参考对象（即当前示例中的右手参考对象）是否被识别。因此，如果确定第一参考对象（例如，当前示例中的右手参考对象）被识别，该过程可以继续至动作621。然而，如果确定第一参考对象没有识别，该过程可以重复动作617。为了确定第一参考对象是否被识别，该过程可以比较当前的第一参考对象与SOI，并且确定这两者是否与彼此一致。因此如果该过程确定当前的第一参考对象与SOI一致，该过程可以确定第一参考对象被识别。然而，如果该过程确定第一参考对象与SOI不一致，该过程可以确定第一参考对象不被识别。该过程可以为每一个限定的第一参考对象（例如，参照表1）以并行顺序或串行顺序执行动作617至645。

在动作621期间，该过程可以确定并且规格化第一参考对象（例如，在当前示例中的右手）的中心位置。图7中示出了根据本系统的实施方式的图像中的第一图像对象的规格化。

根据本系统的实施方式，可以找回与如在图像中捕获的身体的指定的尺寸相对应的适当的身体部分，而不是如上所述的识别身体/手。根据这些实施方式，身体映射的预先确定的组可以保存在非临时性存储器的数据库（DB）中。使用身体识别和人员识别，可以在捕获的图像与保持在DB中的身体部分映射之间做出“最佳适合”。如可以容易地理解的，第一参考对象可以为无生命对象，如可以用来代替第一参考对象如手的尺子或其他指示物。

在任何情况下，在完成动作621以后，该过程可以继续至动作623。在动作623期间，该过程可以追踪（例如，时间上）相对于用户的身体的第一参考对象（即，在本示例中右手）的运动以及如表1所示在本示例中的第二参考对象，然后该过程可以继续至动作625。

在动作625期间，该过程可以确定第一参考对象是否已经放置在身体（例如，如表1所示的第二参考对象）上。更具体地说，在本示例，该过程可以确定用户的右手是否已经放置在用户的身体上。因此，如果该过程确定第一参考对象（例如，用户的右手）已经放置在用户的身体上，该过程可以继续至动作627。然而，如果确定第一参考对象（即，用户的右手）没有放置在用户的身体上，该过程可以重复动作623。

在动作627期间，该过程可以开始计时器以确定可以与第一参考对象已经放置在用户的身体上的时间相对应的交互时间（TI）。在完成动作629以后，该过程可以继续至动作629。

在动作629期间，该过程可以确定Ti是否大于或等于用于第一参考对象与第二参考对象的交互的对应的阈值参考时间（Trt）。因此，如果确定Ti大于或等于对应的Trt，该过程可以继续至动作631。然而，如果确定Ti不大于或不等于对应的Trt，该过程可以重复动作623。

在动作631期间，该过程可以规格化该参考位置并且锁定该参考位置。例如，规格化过程可以包括连续地记录辨识手在身体上的运动的过程的运动捕获，并且如果对于可以在系统中限定的给定的持续时间没有手在身体上的移动，然后系统可以将手在身体上的位置存储在存储器中。在运动是连续的并且移动的情况中，系统可以等到手不再移动。根据本系统的实施方式，可以使用运动捕获技术（如OpenCV^TM）实现该功能。在完成动作631以后，该过程可以继续至动作633。在动作633期间，该过程可以将第一参考对象的位置（例如，在本示例中对应于参考点）与从系统的存储器获得的SOI的第一区域到第四区域的最靠近的接近关联。以这种方法，可以映射手在身体上的静态位置，并且可以将其与保存在存储器中的SOI相比较。因此，该过程可以获得包括如图4中所示的象限信息的SOI信息，并且可以将第一参考对象的位置与象限信息关联。在完成动作631以后，该过程可以继续至动作637。

在动作637期间，该过程可以确定第一参考对象的位置（例如，在本示例中对应于参考点）覆盖SOI信息中的第一区域至第四区域中的任何一个。因此，如果确定第一参考对象的位置覆盖第一区域至第四区域中的一个，该过程可以继续至动作639。然而，如果确定第一参考对象的位置不覆盖第一区域至第四区域中的一个，该过程可以继续至动作641。

在动作639期间，该过程可以确定第一参考对象的位置是否在存在于确定区域中的（例如，参照动作637）任何预先限定的身体部分（例如，第二参考对象）的阈值距离（TD）内。因此，如果该过程确定第一参考对象在任何预先限定的身体部分的阈值距离内，该过程可以继续至动作643。然而，如果确定第一参考对象不在任何预先限定的身体部分的阈值距离内，该过程可以继续至动作641。当确定第一参考对象与第二参考对象之间的（缩放）距离小于或等于对应的阈值距离（TD）时，该过程可以确定第一参考对象在第二参考对象的TD内。例如，可以执行参考对象的缩放，以使获得的图像缩放至用于确定第一参考对象是否在第二参考对象的TD内的保存的图像数据。相反地，该过程可能确定第一参考对象不在第二参考对象的TD内。该过程可以为第一参考对象与第二参考对象的每个组合这样做。TD可以包括可以缩放至图像信息的图像尺寸的缩放距离并且可以通过系统和/或用户设定或重置。此外，TD可以包括在用于第一参考对象与第二参考对象的对应关联的表1内（例如，参照，TD=5，其中5可以是通过系统根据图像信息进行缩放）。该过程可以基于一个或多个因素如用户离网络照相机的距离、用户相对于网络照相机的方向等等确定尺度因子。SOI可以包括尺度因子。

在动作641期间，该过程可以将当前区域（如SOI的一个象限）分为子区域，直到定位了第一参考对象与第二参考对象的最靠近的接近。例如，在锁定位置（例如，手在身体上）不是最靠近的情况下，本系统可以将图像分为子区域以进一步辨别在动作637期间存储在存储器中的预先限定的身体部分的最靠近的位置。自然地，可以重复地执行细分图像的过程直到在动作639期间，发现参考点接近预先限定的身体部分。

当该过程确定第一参考对象在预先限定的身体部分的阈值距离（TD）内时，在动作643期间，该过程可以将第二参考对象（例如，如在动作639中确定的，确定在第一参考对象的TD内的第二参考对象）设置为最靠近的参考对象。在完成动作643以后，该过程可以继续至动作645。在动作645期间，该过程可以突出第一参考对象和/或最靠近的第二参考对象。然后该过程可以在系统的显示器上提供该信息和/或采取对应的动作（例如，开始应用、滚动、键入等等）。在完成动作645以后，该过程可以继续至动作647，其中该过程可以结束。

因此，本系统可以在捕获图像序列之后使图像序列规格化以生成图像序列的图像信息。在本示例中，用户的右手可以与第一参考对象相对应。因此，在图像信息中识别用户的右手，系统可以根据本系统的实施方式使右手的中心位置规格化，如图7中示例性地示出。如本文中所描述的，第一参考对象可以是与身体部分不关联的对象，如可以用来指示第二参考对象的尺子或其他对象。

图7示出根据本系统的实施方式的规格化手的中心位置的方法的屏幕截图。随着用户的右手相对于与身体相对的一个或多个位置移动（例如，相对于第二参考对象如右手在右大腿上等等），系统可以使用任何合适的对象识别应用追踪右手相对于用户的身体的运动。如果确定用户的右手已经放置在用户的身体（例如，第二参考对象）上，系统可以启动计时器以确定对应的交互时间（Ti）。为了用户方便起见，系统可以提供信息（例如，在系统的显示器上），以通知用户将其右手在当前位置保持大于或等于对应的阈值参考时间（Trt）的时间以执行一些行动。使用SOI，系统可以确定相对于身体右手对象的位置。因此，系统可以辨识相对于可以与第一区域至第四区域相对应的用户的身体的一个或多个区域的右手的位置。因此，当用户使用其右手触摸其右大腿（例如，与图5的图像B中所示的第三象限相对应）时，系统可以选择该区域作为用于内部数据库的参考点以进行比较。因为标记区域属于第三象限，系统可以将用户的最靠近的身体部分与该参考点关联。因此，当用户的右大腿被确定为相对于用户的右手的最靠近的身体部分时，系统可以突出用户的被选择身体部分（例如右大腿），并且为了用户的方便起见在系统的显示器上显示该信息。为了增加相对于用户的身体的分辨率，系统还可以划分区域（例如第一区域至第四区域中）以实现预期的分辨率。系统可以执行该划分过程，例如，N次（例如，3次）直到根据紧密度阈值辨识出最靠近的身体部分。

图8示出根据本系统的实施方式的系统800的一部分（例如，对等节点、服务器、用户站等等）。例如，本系统的一部分可以包括：处理器810，可操作地联接至存储器820；显示器830；图像捕获部分860；以及用户输入装置880。根据本系统的实施方式，存储器820可以是用于存储应用数据以及与所述操作相关的其他数据的任何类型的非临时性存储装置。根据本系统，通过处理器810接收用于配置（例如，编程）处理器810的应用数据及其他数据以执行操作动作。根据本系统，如此配置的处理器810变成尤其适于执行的专用机器。

图像捕获部分860可以包括用于捕获图像或图像顺序的任何装置，如照相机、摄像机、网络照相机等。操作动作可以包括捕获图像数据、识别人和身体部分等等。用户输入870可以包括键盘、鼠标、轨迹球或其他装置，包括触摸式显示器，其可以是独立的或者系统的一部分，如个人电脑的一部分、个人数字助手、移动电话、机顶盒、电视机或用于通过任何可操作的链路与处理器810通信的其他装置。如本文中所描述的，用户输入装置870可以是可操作地用于与包括使在UI内的交互能够实现的处理器410交互。如本文中描述的，清楚地处理器810、存储器820、显示器830和/或用户输入装置870可以全部或部分为计算机系统或其他装置如用户装置的一部分。

本系统的方法尤其适于通过计算机软件程序执行，这种程序包括与本系统描述和/或设想的各个步骤中的一个或多个相对应的模块（例如，部分）。这种程序当然可以在计算机可读媒介中实施，如集成芯片、外围设备或存储器，如存储器820或联接至处理器810的其他非临时性存储器。

存储器820中包括的程序和/或程序部分配置处理器810，以实施方法、操作动作以及本文中公开的功能。存储器可以是分布的，例如在客户端和/或服务器、或当地与处理器810之间，处理器810（还可设置额外的处理器）也可以是分布式的或可以是单一的。存储器可以为电学的、磁的或光学的存储器，或这些或其它类型存储设备的任何组合。此外，术语“存储器”应该被足够广泛解释以包括能够从对应于处理器810可访问的非临时性存储器的可寻址空间中的地址读取或写入的任何信息。由于这个限制，通过网络可访问的信息仍然在存储器内，例如，因为根据本系统处理器810可以检索来自网络用于操作的信息。

处理器810可操作用于提供控制信号和/或响应于来自用户输入装置870，以及响应于网络的其他装置执行操作以及执行保存在存储器820中的指令。处理器810可以为专用集成电路或通用集成电路。此外，处理器810可以是用于根据本系统执行的专用处理器或可以是通用处理器，其中许多功能中的仅一个操作用于根据本系统执行。利用程序部分、多个程序部分可以操作处理器810，或者处理器810可以是利用专用集成电路或多用集成电路的硬件装置。

因此，使用对象识别方法，如HaarCascades型方法，本系统可以识别各个对象如一个或多个用户的解剖特征。为了辨识各个对象，如身体或身体部分，本系统可以参考标准对象信息（SOI）（例如，保存在SOI数据库或系统的存储器中），标准对象信息可以包括身体部分信息，如身体部分的名称（例如，脸、头发、左手、右手、右大腿、左大腿等等））及相对于彼此的位置。本系统可以在某个时间段上辨识一个或多个用户的各个被辨识对象（例如，手和大腿）之间的关系并输出该信息用于另外的处理。然后，系统可以确定一个或多个行动（例如，对应的输入如“回车”，“删除，”密码，行动，调用一个或多个应用（例如，MS.Word，OutlookExpress等等））等等，与确定的关系相关联。

虽然已经参考用于操作计算机环境的姿势输入系统描述了本系统，但是还可以设想使用其他装置如鼠标、轨迹球、键盘、触摸式显示器、定点装置（例如，笔）、触觉装置等等实现计算机环境的操作和/或用户与计算机环境的交互。本领域的普通技术人员将容易地想到本系统的另外的变型并且其由所附权利要求书所包括。

最后，以上论述旨在仅说明本系统而不应理解为使所附权利要求限于任何特别的实施方式或实施方式的组合。因此，虽然已经参考示例性实施方式描述了本系统，但是还应该理解，在不背离在所附权利要求书中阐明的本系统的更宽泛的和预期的精神和范围的情况下，本领域的普通技术人员可以设计出许多修改和替换实施方式。另外，本文中所包括的部分标题旨在利于评审而非旨在限定本系统的范围。因此，说明书和附图应以示例性的方式考虑而非旨在限定所附权利要求的范围。

在解释所附权利要求时，应该明白：

a）除在给定的权利要求中列出的元件或动作之外，词语“包括”不排除其他元件或动作的存在；

b）在元件之前的词语“一个”并不排除多个这种元件的存在；

c）权利要求中的任何参考符号不限定其范围；

d）数个“装置”可以由实施结构或功能的相同的项目或硬件或软件表示；

E）公开的元件中的任何一个可以包括硬件部分（例如，包括分离的和集成电子线路），软件部分（例如，计算机编程）及其任何组合；

f）硬件部分可以包括模拟部分和数字部分的其中之一或两者全部；

g）除非另外特别地说明，公开的装置或其部分的任何一个可以组合起来或分成另外的部分；

h）除非特别指出之外，不需要动作或步骤的特定序列；以及

i）术语“多个”元件包括两个或更多所述元件，而不意味元件数目的任何特定范围；也就是说，多个元件可以少至两个元件，并且可以包括无数的元件。

Claims

1.一种用户界面（UI）方法，所述UI由一个或多个控制器控制，所述方法包括：

从用户的一系列图像获得图像信息；

分析所述图像信息以识别所述用户；

识别第一参考对象和第二参考对象，所述第一参考对象和所述第二参考对象中的至少一个与根据所述图像信息所识别的所述用户的各个身体部分相对应；

确定所述第一参考对象是否已经被放置在所述第二参考对象的阈值缩放距离内或超过所述第二参考对象的所述阈值缩放距离；

当确定所述第一参考对象已经放置在所述第二参考对象的阈值缩放距离之内或超过所述第二参考对象的所述阈值缩放距离时，计算所述第一参考对象与所述第二参考对象之间的交互时间（Ti）；

比较所述交互时间与阈值参考时间（Trt）；以及

根据比较的结果执行行动。

2.如权利要求1所述的方法，还包括：

注册所述第一参考对象和所述第二参考对象以及所述第一参考对象与所述第二参考对象之间对应的关联。

3.如权利要求1所述的方法，其中，使用对象识别技术执行所述识别步骤。

4.如权利要求3所述的方法，其中所述识别步骤还包括：

确定所述图像内一个或多个感兴趣区（ROIs）。

5.如权利要求1所述的方法，还包括：

基于所述第一参考对象与所述第二参考对象之间的注册的关联来确定所述行动。

6.如权利要求1所述的方法，其中，所述行动包括以下的一个或多个：

突出和呈现所述第二参考对象、调用应用以及输入命令。

7.一种用户界面（UI）系统，所述UI系统包括：

一个或多个控制器，用于：

从用户的一系列图像获得图像信息；

分析所述图像信息以识别所述用户；

确定所述第一参考对象是否已经放置在所述第二参考对象的阈值距离内或超过所述第二参考对象的所述阈值距离；

当确定所述第一参考对象已经放置在所述第二参考对象的阈值距离之内或超过所述第二参考对象的所述阈值距离时，计算所述第一参考对象与所述第二参考对象之间的交互时间（Ti）；

比较所述交互时间与阈值参考时间（Trt）；以及

基于比较的结果执行行动。

8.如权利要求7所述的系统，其中，所述一个或多个控制器注册所述第一参考对象和所述第二参考对象以及所述第一参考对象与所述第二参考对象之间对应的关联。

9.如权利要求7所述的系统，其中，所述一个或多个控制器根据对象识别技术来识别与所述用户的各个身体部分相对应的所述第一参考对象和所述第二参考对象。

10.如权利要求9所述的方法，其中，为了识别所述第一参考对象和所述第二参考对象，所述一个或多个控制器确定所述图像内一个或多个感兴趣区（ROI）。

11.如权利要求7所述的系统，其中，所述一个或多个控制器基于所述第一参考对象与所述第二参考对象之间的关系确定所述行动。

12.如权利要求7所述的系统，其中，所述一个或多个控制器根据所述行动突出和呈现所述第二参考对象、调用应用或输入命令。

13.一种计算机程序，存储在计算机可读非临时性存储媒介上，所述计算机程序被配置以提供用户界面（UI），所述计算机程序包括：

程序部分，用于：

从用户的一系列图像获得图像信息；

分析所述图像信息以识别所述用户；

比较所述交互时间与阈值参考时间（Trt）；以及

基于比较的结果执行行动。

14.如权利要求13所述的计算机程序，其中，所述程序部分还注册所述第一参考对象和所述第二参考对象以及所述第一参考对象与所述第二参考对象之间对应的关联。

15.如权利要求13所述的计算机程序，其中，所述程序部分还根据对象识别技术来识别所述第一参考对象和所述第二参考对象。

16.如权利要求14所述的计算机程序，其中，为了识别所述第一参考对象和所述第二参考对象，所述程序部分还确定所述图像内一个或多个感兴趣区（ROI）。

17.如权利要求13所述的计算机程序，其中，所述程序部分还基于所述第一参考对象与所述第二参考对象之间的关系确定所述行动。

18.如权利要求13所述的计算机程序，其中，所述程序部分还根据所述行动突出和呈现所述第二参考对象、调用应用或输入命令。