CN103076877B - 使用姿势与车辆内的移动装置进行交互 - Google Patents

Abstract

这里描述了移动装置，其包括用于识别车辆内的用户做出的姿势的功能装置。该移动装置通过接收用于捕获包括交互空间内的对象的场景的图像信息来操作。所述交互空间相当于从所述移动装置朝向所述用户的方向向外投射的体积。然后，该移动装置根据该图像信息来确定用户是否在该交互空间内做出了可识别的姿势而不触摸该移动装置。该移动装置可以从作为移动装置的内部部件的摄像机装置和/或作为将移动装置固定在车辆内的安装架的部件的摄像机装置接收图像信息。在一些实施方式中，由所述移动装置和/或所述安装架提供的一个或更多个探照灯可以照亮所述交互空间。

Description

使用姿势与车辆内的移动装置进行交互

技术领域

本公开内容涉及用于使用安装在车辆中的移动装置来识别姿势的方法、用于在车辆内使用的移动装置和用于支持移动装置的安装架。

背景技术

驾驶车辆的用户面对许多分心的事物。例如，用户可能立刻将他或她的注意力从道路转移到与由车辆提供的媒体系统进行交互。或者，用户手动地与移动装置进行交互，例如，拨打和接听电话、阅读电子邮件、进行搜索等等。响应于这些活动，许多管辖区域已经颁布了禁止用户与其车辆中的移动装置手动地进行交互的法律。

用户可通过使用各种免提交互装置来减少上述类型的分心的事物。例如，用户可以使用耳机等来进行通话而不必握住移动装置。然而，这类装置没有提供用于在驾驶时用户可能面对的无数的分心的事物的通用解决方案。

发明内容

这里描述了移动装置，其包括用于识别由车辆内的用户做出的姿势的功能装置。该移动装置通过接收用于捕获包括交互空间内的对象的场景的图像信息来操作。该交互空间相当于从该移动装置朝向用户的方向向外投射规定距离的体积。然后，该移动装置根据该图像信息来确定用户是否在该交互空间内已经做出了可识别的姿势而不触摸该移动装置。该姿势包括以下各项中的一个或更多个：（a）由用户的至少一只手做出的静态姿态；和（b）由用户的所述至少一只手做出的动态动作。

在一些实施方式中，移动装置可以从作为移动装置的内部部件的摄像机装置和/或作为将移动装置固定在车辆内的安装架的部件的摄像机装置接收图像信息。

在一些实施方式中，移动装置和/或安装架可以包括一个或更多个探照灯。探照灯照亮交互空间。

在一些实施方式中，至少一个摄像机装置响应于红外光谱辐射的接收而产生图像信息。

在一些实施方式中，移动装置使用深度重建技术来提取交互空间内的对象的表示。在其它实施方式中，该移动装置通过检测图像信息内的具有增强的相对亮度的对象来提取交互空间内的对象的表示。这些对象又与由一个或更多个探照灯照亮的对象对应。

上述方案可以以各种类型的系统、部件、方法、计算机可读介质、数据结构、产品等来表现。

提供本发明内容，以便以简化形式引入概念的节选；以下在具体实施方式中进一步描述这些概念。本发明内容既不旨在标识所请求保护的主题的关键特征或者基本特征，也不旨在用来限制所请求保护的主题的范围。

附图说明

图1示出用户可以在操作车辆的同时使用姿势与移动装置进行交互的说明性环境。

图2图示车辆的内部区域。该内部区域包括使用安装架固定到车辆的表面的移动装置。

图3示出可用来将移动装置固定在车辆内的一种代表性的安装架。

图4示出使用移动装置来建立车辆内的交互空间。

图5示出用在图1的环境中的移动装置的一个说明性的实施方式。

图6示出可以由图5的移动装置使用的说明性的移动传感装置。

图7示出可以由图5的移动装置使用以呈现输出信息的说明性的输出功能装置。

图8示出与图3的安装架关联的说明性的功能装置和该功能装置可以与移动装置进行交互的方式。

图9示出关于可以由图5的移动装置提供的代表性应用和姿势识别模块的更多细节。

图10-19示出调用各种动作的说明性姿势。一些动作可以控制将媒体内容呈现给用户的方式。

图20示出用于提供提示信息和反馈信息的用户界面呈现。提示信息请求用户在特定的情景中做出从一组候选姿势中选择的姿势，而反馈信息确认已经由移动装置识别的姿势。

图21-23示出三个说明性的姿势，每个姿势涉及用户以指示性的方式触摸他或她的面部。

图24示出从用户的视角来说明图1的环境的一个操作方式的说明性过程。

图25示出用于校准移动装置以便在姿势识别模式下操作的说明性过程。

图26示出用于调整姿势识别模块的至少一个操作设定以动态修改其性能的说明性过程。

图27示出移动装置可以检测和响应于姿势的说明性过程。

图28示出可用来实施前述附图中所示出的特征的任何方面的说明性的计算功能装置。

贯穿本公开和附图，相同的附图标记用来表示相同的部件和特征。系列附图标记100表示图1中最初出现的特征，系列附图标记200表示图2中最初出现的特征，系列附图标记300表示图3中最初出现的特征等。

具体实施方式

如下组织本公开内容。A部分描述与将说明性的移动装置固定在车辆内的安装架相结合的移动装置，该移动装置具有用于检测由车辆内的用户做出的姿势的功能装置。B部分描述用于说明A部分的移动装置和安装架的操作的说明性的方法。C部分描述可用来实施A部分和B部分中所描述的特征的任何方面的说明性的计算功能装置。

作为初步的主题，一些附图在被不同地称为功能装置、模块、特征、部件等的一个或更多个结构部件的上下文中描述概念。图中示出的各个部件可以由任何物理的和有形的机构，例如由软件、硬件（例如，芯片实施的逻辑功能装置）、固件等和/或其任意组合以任何方式来实施。在一个情况下，将附图中的各个部件分离为不同的单元可以反映在实际的实施方式中使用对应的不同的物理的和有形的部件。替选地或者附加地，图中所示的任何单个部件可以由多个实际的物理部件来实现。替选地或者附加地，图中的任何两个或更多个分离部件的描述可以反映由单个实际物理部件执行的不同功能。将要描述的图28提供了关于附图中所示的功能的一个说明性的物理实施方式的附加细节。

其它附图以流程图的形式描述概念。以此形式，某些操作被描述为构成以一定顺序执行的不同块。这样的实施方式是说明性的和非限制性的。这里描述的某些块可以被分组在一起并且以单个操作来执行，某些块可被分割为多个组成块，而某些块可以以与这里所示的顺序不同的顺序来执行（包括执行块的并行方式）。流程图中所示的块可以由任何物理的和有形的机构，例如由软件、硬件(例如，芯片实施的逻辑功能装置)、固件等和/或其任意组合以任何方式来实现。

关于技术术语，短语“被配置为”包括可以将任意类型的物理的和有形的功能装置构造为执行所述操作的任何方式。功能装置可以被配置为例如使用软件、硬件(例如，芯片实施的逻辑功能装置)、固件等和/或其任意组合来执行操作。

术语“逻辑”包括用于执行任务的任何物理的和有形的功能装置。例如，流程图中所示的每个操作与用于执行该操作的逻辑部件对应。操作例如可以使用软件、硬件(例如，芯片实施的逻辑功能装置)、固件等和/或其任意组合来执行。当由计算系统来实现时，逻辑部件表示作为计算系统的物理部分的无论如何被实现的电子元件。

如果使用的话，权利要求中的短语“用于…的装置（means for）”意在援引U.S.C§112第35条第六段。除了该特定的短语之外，没有其它的语言意在援引法令的该部分的条款。

下面的说明可以将一个或更多个特征标识为“可选的”。这类声明不应被解释为可以被认为是可选的特征的穷举性表示；即，尽管未明确地标识在文本中，其它特征也可以被认为是可选的。最后，术语“示例性的”或者“说明性的”指的是许多潜在实施方式之中的一个实施方式。

A、说明性的移动装置及其使用环境

图1示出用户可以操作车辆内的移动装置的说明性的环境100。例如，图1图示对车辆106内的移动装置104进行操作的说明性的用户102和对车辆112内的移动装置110进行操作的用户108。然而，环境100可以容纳任意数量的用户、移动装置和车辆。为了使说明简单化，该部分将阐述由用户102操作的移动装置104的说明性的组成和操作方式，其中，将该移动装置104视为环境100内的任何移动装置的操作的代表。

更具体地，移动装置104在至少两个模式下操作。在手持操作模式下，用户102可以在将移动装置104握在他或她的手中的同时与移动装置104进行交互。例如，用户102可以与移动装置104的触摸输入屏和/或移动装置104的小键盘进行交互以执行任何装置功能。在姿势识别操作模式下，用户102可以通过做出根据由移动装置104捕获的图像信息而被移动装置104检测到的姿势，与移动装置104进行交互。在该模式下，用户102不需要与移动装置104进行物理接触。在一个情况下，用户102可以通过用至少一只手做出静态姿态来做出姿势。在另一个情况下，用户102可以通过以规定的方式移动至少一只手来做出动态姿势。

在各种情形下，例如当用户102正在操作车辆106时，用户102可以选择在姿势识别模式下与移动装置104进行交互。姿势识别模式很适合于在车辆106中使用，因为与手持交互操作模式相比，该模式降低了对用户102的注意力的要求。例如，用户102在做出姿势的同时不需要将他或她的注意焦点从驾驶相关的任务中转移，至少不需要在任何延长的时间段上如此。此外，用户102可以在做出姿势的同时将至少一只手保持在车辆106的方向盘上；实际上，在一些情况下，用户102可以将双手保持在方向盘上。这些原因使得与手持操作模式相比，在驾驶车辆106的同时姿势识别模式潜在地更安全和更容易使用。

移动装置104可以以任何方式来实现，并且可以执行任何功能或者功能组合。例如，移动装置104可以对应于任何类型的移动电话装置（例如智能电话装置）、书籍阅读装置、个人数字助理装置、膝上型计算装置、上网本型计算装置、平板型计算装置、便携式游戏装置、便携式媒体系统接口模块装置等。

车辆106可以对应于用于运输用户102的任何机构。例如，车辆106可以对应于任何类型的汽车、卡车、公共汽车、摩托车、小型摩托车（scooter）、自行车、飞机、船等。然而，为了便于说明，此后将假设车辆106对应于由用户102操作的私人汽车。

环境100还包括用于允许移动装置104与任何远程实体（其中“远程实体”表示相对于用户102是远程的实体）进行交互的通信管道114。例如，通信管道114可以允许用户102使用移动装置104与正在使用另一个移动装置的另一用户（例如正在使用移动装置110的用户108）进行交互。此外，通信管道114可以允许用户102与任何远程服务进行交互。一般而言，通信管道114可以表示局域网、广域网(例如因特网)或其任意组合。通信管道114可以由任何协议或者协议组合来控制。

更具体地，通信管道114可以包括作为其一部分的无线通信基础设施116。无线通信基础设施116表示使得移动装置104能够经由无线通信与远程实体进行通信的功能装置。无线通信基础设施116可以包括任何蜂窝塔、基站、中心交换站、卫星功能装置等。通信管道114还可以包括硬布线的链路、路由器、网关功能装置、名称服务器等。

环境100还包括一个或更多个远程处理系统118。远程处理系统118向用户提供任何类型的服务。在一个情况下，使用一个或更多个服务器和相关联的数据存储器可以实施远程处理系统118中的每个。例如，图1示出远程处理系统118可以包括远程处理功能装置120和相关联的系统存储器122的至少一个实例。接下来的说明将阐述远程处理功能装置120可以执行的、与车辆106内的移动装置104的操作有密切关系的说明性功能。

前进到图2，图2示出车辆106的代表性的内部区域200的一部分。安装架202将移动装置104固定在内部区域200内。在该特定示例中，用户102已经将移动装置102接近于控制面板区域204放置。更具体地，安装架202将移动装置104固定到车辆的仪表板的顶端、用户102的左侧、在车辆控制面板区域202的正上方。电源线206将由车辆106提供的任何电源的电力供应到移动装置104（直接或者间接地，如以下结合图8将描述的）。

然而，图2中示出的移动装置104的放置仅仅是代表性的，这表示用户102可以选择移动装置104的其它位置和取向。例如，用户102可以将移动装置104放置在相对于方向盘的左侧区域中，而不是方向盘的右侧区域（如图2所示）。例如，这个可能适合于将方向盘设置在车辆106的右侧的国家。替选地，用户102可以将移动装置104直接放置在方向盘后方或者方向盘上。替选地，用户102可以将移动装置104固定到车辆106的挡风玻璃。通过举例说明而不是限制来提及这些选项；移动装置104的其它放置也是可以的。

图3示出一个仅仅是代表性的安装架302，其可用来将移动装置104固定到汽车的内部区域200的某个表面。（注意，该安装架302是与图2中所示的安装架202不同类型的安装架）。不作为限制，图3的安装架302包括用于将安装架302紧固到内部区域200内的表面的任何类型的机构304。例如，机构304可以包括附连到车辆的空气运动格栅的夹具或者突出部件（未示出）。在其它情况下，机构304可以包括可以紧固到包括仪表板、挡风玻璃、控制面板区域202的正面等内部区域200的任何表面的板或其它类型的部件；在该实施方式中，机构304可以包括使用将安装架302附连到表面的任何类型的紧固件（例如，螺杆、夹具、Velcro耦合机构、滑动耦合机构、推入（snapping）耦合机构、吸力耦合机构等）。在其它情况下，安装架302还可以仅仅搁置在内部区域200的大概水平的表面上，例如仪表板的顶端，而不必紧固到该表面。为了降低这种类型的安装架在车辆106的运动期间在表面上滑动的风险，它可以包括重物部件，例如填满泥沙的可延展的基座部件。

不作为限制，图3中所示的代表性的安装架302包括从机构304伸出并且终止在支架308中的柔性臂306。支架308可以包括用于将移动装置104固定到支架308的可调节夹具机构310。在该特定场景中，用户102已经将移动装置104附连到支架308，使得其可以在纵向模式（portraitmode）下操作。但是，用户102可以替换地附连移动装置104，使得其可以在横向模式下操作(如图2所示)。

移动装置104包括任何类型的至少一个内部摄像机装置312。如这里所使用的，摄像机装置包括用于接收图像信息的任何机构。这些内部摄像机装置中的至少一个具有从移动装置104的正面314向外投射的视场。只要内部摄像机装置312通常被视为移动装置104的组成部分，内部摄像机装置312就被标识为“内部的”。

此外，移动装置104可以从一个或更多个外部摄像机装置接收图像信息。在这些摄像机装置不被视为移动装置104的组成部分的意义上来说，这些摄像机装置是外部的。例如，安装架302本身可以合并有外部摄像机功能装置316。在稍后时刻的说明中将更详细地描述外部摄像机功能装置316。概述地，外部摄像机功能装置316可以包括任意类型的一个或更多个外部摄像机装置。附加或替选地，外部摄像机功能装置316可以包括用于照亮场景的一个或更多个探照灯。附加或替选地，外部摄像机功能装置316可以包括用于处理从外部摄像机装置接收到的图像内容的任何类型的图像处理功能装置。

在一个实施方式中，成像部件318可以容纳外部摄像机功能装置316。成像部件318可以具有相对于安装架302的其它部件的任何形状和任何布置。在图3的仅仅是说明性的情况下，成像部件318对应于在支架310下方沿大致上水平取向延伸的细长条。在该仅仅是说明性的情况下，成像部件318包括孔径的线性阵列，通过孔径的线性阵列，摄像机装置接收图像内容，而探照灯发送电磁辐射。例如，在一个情况下，在成像部件318的末端上的两个孔径可以与两个相应的探照灯相关联，而中间的孔径可以与外部摄像机装置相关联。

内部区域200还可以包括与移动装置104和安装架302两者均分离的一个或更多个附加的外部摄像机装置。图3示出一个这样的说明性的外部摄像机装置320。在车辆106的任何表面上，用户102可以将分离的外部摄像机装置320放置在内部区域200内的任何位置和取向。通常，用户可以选择使用两个或更多个摄像机装置以提高移动装置检测姿势的能力（如以下将描述的）。

图4示出使用移动装置104在车辆106的内部空间200内建立交互空间402。内部空间402定义了空间体积，在该空间体积中移动装置104（和/或安装架302的处理功能装置）可以最容易地检测由用户102做出的姿势。即，在一个实施方式中，移动装置104在交互空间402之外将不检测由用户102做出的姿势。

在一个实施方式中，交互空间402对应于具有规定尺寸的通常是圆锥形的体积。该体积从移动装置104向外延伸，指向坐在车辆106的驾驶员座位中的用户102。在一个实施方式中，交互空间402从移动装置104延伸大约60厘米。该体积的末端包括车辆106的方向盘404的边缘。因此，用户102可以通过将他或她的右手406伸到交互空间中来做出姿势，然后在那个位置做出指示性的姿势。替选地，用户102可以在将双手保持在方向盘404上的同时做出指示性的姿势。

在一些实施方式中，移动装置104可以包括姿势校准模块（将要描述的）。作为一个功能，姿势校准模块可以指导用户102放置移动装置104以建立交互空间402。此外，姿势校准模块可以包括允许用户102调整交互体积402的形状、或者至少交互体积402的向外范围的设定。例如，用户102可以使用姿势校准模块来增加交互空间402的范围，以包括用户102通过用他或她的手触摸他或她的脸而做出的姿势。图8将提供关于移动装置104（和安装架302）可以建立交互空间402的不同方式的附加细节。

图5示出可用来实现移动装置104的各种部件。将以大致上从顶端到底部的方式来描述图5。首先，移动装置104包括用于经由无线通信与远程实体接收和传送信息的通信功能装置502。即，通信功能装置502可以包括允许移动装置104与通信管道114的无线通信基础设施116进行交互的收发器。

移动装置104还可以包括一个或更多个应用504的集合。应用504表示用于执行任意相应的任务的任意类型的功能装置。在一些情况下，应用504执行高级任务。为了列举代表性的示例，第一应用可以执行地图导航任务，第二应用可以执行媒体呈现任务，第三应用可以执行电子邮件交互任务等。在其它情况下，应用504执行较低级别的管理或者支持任务。可以以任何方式，例如通过可执行代码、脚本内容等或其任意组合来实现应用504。移动装置104还可以包括用于存储任何应用相关信息和其它信息的至少一个装置存储器506。在其它实施方式中，由应用504执行的操作的至少一部分可以由远程处理系统118来实现。例如，在某些实施方式中，应用504中的一些可以表示网络可访问的页面。

移动装置104还可以包括装置操作系统508。装置操作系统508提供用于进行低级别的装置管理任务的功能装置。任何应用可以依靠装置操作系统508以利用由移动装置104提供的各种资源。

移动装置104还可以包括用于接收和处理输入信息的输入功能装置510。通常，输入功能装置510包括用于从内部输入装置（其表示作为移动装置104本身的一部分的固定部件和/或可拆卸部件）接收输入信息的一些模块、和用于从外部输入装置接收输入信息的一些模块。输入功能装置510可以使用诸如硬布线连接、无线连接（例如，连接）等任何耦接技术或者耦接技术的组合从外部输入装置接收输入信息。

输入功能装置510包括用于从至少一个内部摄像机装置514和/或从至少一个外部摄像机装置516（例如，从与安装架302关联的一个或更多个摄像机装置和/或一个或更多个其它外部摄像机装置）接收图像信息的姿势识别模块512。这些摄像机装置中的任一个可以提供任意类型的图像信息。例如，在一个情况下，摄像机装置可以通过接收可见光谱辐射或者红外光谱辐射等来提供图像信息。例如，在一个情况下，摄像机装置可以通过包括带通滤波器来接收红外光谱辐射，其中带通滤波器阻碍或以其它方式减少可见光谱辐射的接收。此外，姿势识别模块512（和/或移动装置104和/或安装架302的某个其它部件）可以根据图像信息可选地产生深度信息。深度信息揭示所捕获的场景中的不同点与参考点（例如，对应于摄像机装置的位置）之间的距离。姿势识别模块512可以使用诸如飞行时间（time-of-flight）技术、结构光技术、立体技术等任何技术来产生深度信息（如以下将更详细描述的）。

在接收到图像信息后，例如姿势识别模块512可以根据仅仅原始图像信息、深度信息、或者原始图像信息和深度信息两者，确定该图像信息是否揭示了用户102已经做出了可识别的姿势。下面在图9的说明的上下文中提供了关于姿势识别模块512的说明性的组成和操作的附加细节。

输入功能装置510还可以包括车辆系统接口模块518。车辆系统接口模块518从任何车辆功能装置520接收输入信息。例如，车辆系统接口模块518可以接收由车辆的信息管理系统提供的任何类型的OBDII信息。这样的信息例如可以通过提供车辆的速度、转向状态、中断状态、发动机温度、发动机性能、里程表读数、燃油油位等，描述车辆在特定的时间点的操作状态。

输入功能装置510还可以包括用于当用户触摸接触式输入设备524时接收输入信息的触摸输入模块522。尽管未在图5中示出，输入功能装置510还可以包括任何类型的物理小键盘输入机构、任何类型的操纵杆控制机构、任何类型的鼠标装置机构等。输入功能装置510还可以包括用于从一个或更多个麦克风528接收语音命令的语音识别模块526。

输入功能装置510还可以包括一个或更多个运动传感装置530。通常，运动传感装置530确定移动装置104在任意给定时间正在移动的方式和/或在任意给定时间移动装置104的绝对和/或相对位置。立刻前进到图6，图6表示运动传感装置530可以包括加速计装置602、陀螺仪装置604、磁强计装置606、GPS装置608（或者其它的基于卫星的位置确定机构）、航位推算（dead-rckoning）位置确定装置（未示出）等中的任一个。可能装置的集合是代表性的，而不是穷举性的。

移动装置104还包括用于将信息传递给用户的输出功能装置532。立刻前进到图7，图7表示输出功能装置532可以包括装置屏幕702、一个或更多个扬声器装置704、用于将输出信息投射到表面上的投影仪装置706等中的任一个。输出功能装置532还包括使得移动装置104能够将输出信息发送到与车辆106相关联的任何外部系统的车辆接口模块708。这最终表示用户102可以经由移动装置104的媒介作用，使用姿势控制与车辆106本身相关联的任何功能装置的操作。例如，用户102可以使用移动装置104来控制媒体内容在分离的车辆媒体系统上的回放。用户102可能更喜欢直接与移动装置104而不是车辆106的系统进行交互，因为用户102大概已经熟悉移动装置104操作的方式。此外，移动装置104可以访问可提供特定于用户的信息的远程系统存储器122。移动装置104可以利用（leverage）该信息以提供对由车辆106提供的任何系统的用户定制控制。

最后，移动装置104可以可选地提供任何其它的姿势相关的服务534。例如，一些姿势相关的服务可以提供特定的基于姿势的用户接口例程，其中，任何应用例如可以通过在应用的执行期间对这些服务进行适当的调用，将所述用户接口例程集成到其功能装置中。

图8示出由（图3的）安装架302提供的功能装置可以与移动装置104进行交互的一个方式。安装架302可以包括电源802，其中，电源802例如经由由移动装置104提供的外部电源接口模块804将电力馈送到移动装置104。电源802又可以从任何外部电源，例如与车辆106相关联的电源（未示出）接收电力。在该实施方式中，电源802向安装架302和移动装置104的部件均提供电力。替选地，移动装置104和安装架302中的每个可以由分离的相应的电源供电。

安装架302可以可选地包括用于实现图4的外部摄像机功能装置316的各种部件。这样的部件可以包括一个或更多个可选的探照灯806、一个或更多个可选的外部摄像机装置808和/或图像处理功能装置810。这些部件可以与由移动装置104提供的功能装置一起工作以供应和处理图像信息。该图像信息捕获包括图4中所示的交互空间402的场景。

作为初步的解释，下面的说明将图像信息的产生中所涉及的某些部件标识为由安装架302来实现，而将某些部件标识为由移动装置104来实现。但是被描述为由安装架302执行的任何功能可以替代地（或者附加地）由移动装置104执行，反之亦然。就此而言，姿势识别模块512本身的一个或更多个部件可以由安装架302来实现。

移动装置104与安装架302一起可以使用一个或更多个技术来检测放置在交互空间402中的对象。代表性的技术描述如下。

（A）在第一情况下，移动装置104可以使用一个或更多个探照灯806将结构光朝着用户102投射到交互空间402中。结构光可以包括展现诸如点阵列的任何类型的模式的任何光。当结构光遍布在具有三维形状（例如用户的手）的对象上时，该结构光“变形”。然后，一个或更多个摄像机装置（在安装架302和/或移动装置104上）可以接收图像信息，所述图像信息捕获已经用结构光照亮的对象。图像处理功能装置810（和/或姿势识别模块512）可以处理所接收到的图像信息以导出深度信息。深度信息揭示了对象的表面上的不同点和参考点之间的距离。然后，图像处理功能装置810（和/或姿势识别模块512）可以使用该深度信息来提取在与交互空间402相关联的空间体积内所做出的任何姿势。

（B）在另一个技术中，（由安装架302和/或移动装置104提供的）两个或更多个摄像机装置可以从两个或更多个相应的观察点捕获图像信息的多个实例。然后，图像处理功能装置810（和/或姿势识别模块512）可以使用立体技术从图像信息的各种实例中提取关于所捕获的场景的深度信息。然后，图像处理功能装置810（和/或姿势识别模块512）可以使用深度信息来提取在与交互空间402相关联的空间体积内所做出的任何姿势。

（C）在又一个技术中，一个或更多个探照灯806与（由安装架302和/或移动装置104提供的）一个或更多个摄像机装置一起，可以使用飞行时间技术从场景中提取深度信息。然后，图像处理功能装置810（和/或姿势识别模块512）可以根据该场景再次重建深度信息，并且使用该深度信息提取在与交互空间402内所做出的任何姿势。

（D）在又一个技术中，一个或更多个探照灯806可以从一个或更多个不同的视点将任何频谱的电磁辐射投射到空间区域中。例如，图8示出第一探照灯将辐射向外投射以限定第一光束812，并且第二探照灯将辐射向外投射以形成第二光束814。这两个光束（812，814）在限定交互空间402的区域406中交叉。与当对象818（例如用户的手）位于区域816外部时相比，当将对象818放置在区域816中时，该对象818将接收更多量的光照。（由安装架302和/或移动装置104提供的）一个或更多个摄像机装置可以从包括区域816的场景捕获图像信息。然后，图像处理功能装置810（和/或姿势识别模块512）可以被调整为挑选图像信息内特别明亮的那些对象，这具有检测放置在区域816中的被明亮地照亮的对象的效果。以此方式，图像处理功能装置810（和/或姿势识别模块512）可以提取在交互空间402内所做出的姿势而不必在形式上导出深度信息。

还可使用其它技术来识别在交互空间402内所做出的姿势。通常，姿势识别模块512可以使用由一个或更多个摄像机装置捕获的原始（“未加工的”）图像信息、从原始图像信息导出的深度信息（或者从原始图像信息导出的任何其它信息）、或者原始图像信息和深度信息两者等来识别姿势。

探照灯806和各种内部和/或外部摄像机装置可以投射和接收电磁频谱的任何部分中的辐射。在一些情况下，例如，至少一些探照灯806可以投射红外辐射并且至少一些摄像机装置可以接收红外辐射。例如，在一个技术中，摄像机装置可以通过使用带通滤波器来接收红外辐射，其中，带通滤波器具有阻碍或者至少减少在频谱的红外部分以外的辐射（包括可见光）的效果。红外辐射的使用具有各种潜在的优点。例如，移动装置104和/或安装架302的外部摄像机功能装置316可以使用红外辐射来帮助区分在变暗的车辆内部内做出的姿势。附加地或者替选地，移动装置104和/或外部摄像机功能装置316可以使用红外辐射来有效地忽略与车辆106的内部区域内的环境可见光相关联的噪声。

最后，图8示出了允许移动装置104的输入功能装置510与安装架302的部件进行通信的接口（820,822）。

图9示出以上在图5-8的上下文中引入的关于移动装置104的部件的子集的附加信息。部件包括代表性的应用902和姿势识别模块512。如名称所暗示的，“代表性的应用”902表示可以在移动装置104上运行的应用504的集合之一。

更具体地，图9将代表性的应用902和姿势识别模块512图示为执行相应功能的分离的实体。实际上，在一个实施方式中，移动装置104可以单独提供（devote）用于执行与代表性的应用902和姿势识别模块512相关联的任务的不同部件。但是在其它情况下，移动装置104可以以任何方式将模块结合在一起，使得图9中所示的任何单个部件可以表示更大的功能装置机构内的组成部件。

为了说明上述点，考虑开发者可以创建用于在移动装置104上执行的代表性的应用902的两个不同的开发环境。在第一情况下，移动装置104实现由任何应用使用的不依赖于应用的姿势识别模块512。在这种情况下，开发者可以用这样的方式设计代表性的应用902，使得其利用由姿势识别模块512提供的服务。开发者可以参考适当的软件开发工具包(software development kit,SDK)以帮助他或她执行该任务。SDK描述姿势识别模块512的输入和输出接口及其操作方式的其它特性和约束。

在第二情况下，代表性的应用902可以将姿势识别模块512的至少一部分实现为其一部分。这意味着姿势识别模块512的至少一部分可以被视为代表性的应用902的组成部件。代表性的应用902还可以在任何方面修改姿势识别模块512的操作方式。代表性的应用902还可以在任何方面补充姿势识别模块512的操作方式。

此外，在其它实施方式中，可以由与安装架302相关联的处理功能装置810来执行姿势识别模块512的一个或更多个方面。

在任何实施方式中，代表性的应用902可以被概念化为包括应用功能装置904。应用功能装置904又可以被概念化为提供用于执行相应功能的多个动作采取模块。在一些情况下，应用采取模块可以在姿势识别模式下从用户102接收输入。响应于该输入，动作采取模块可以执行影响移动装置104和/或某个外部车辆系统的操作的某个控制动作。这种控制动作的示例将在以下提出的示例的上下文中给出。仅仅为了列举一个示例，动作采取模块可以响应于从调用媒体“快退”功能的用户102接收到指示性的“向后”姿势，执行该操作。

应用功能装置904还可以包括应用资源的集合。应用资源表示代表性的应用902可以用来提供其服务的图像内容、文本内容、音频内容等。此外，在一些情况下，开发者可提供用于在不同的相应模式下进行调用的应用资源的多个集合。例如，应用开发者可以提供当姿势识别模式已经激活时移动装置104可以呈现的用户界面图标和提示信息的集合。应用开发者可以提供用于在手持操作模式下使用的图标和提示信息的另一集合。SDK可以指定应用于每个模式的某些约束。例如，SDK可以要求用于在姿势识别模式下使用的提示信息具有至少最小的字体大小和/或间隔和/或字符长度，以便于用户在驾驶车辆106时迅速理解消息。

应用功能装置904还可以包括接口功能装置。接口功能装置定义了移动装置104的接口相关的特性。在一些情况下，例如，接口功能装置可以定义接口例程，所述接口例程管理应用功能装置904请求来自用户102的姿势、确认姿势的识别、解决输入错误等的方式。

以上列举的应用功能装置904的类型未必是互相排斥的。例如，动作采取模块的部分可以合并有接口功能装置的方面。此外，图9将应用功能装置904标识为代表性的应用902的部件。但是，代表性的应用902的任何方面可以替选地（或者附加地）由姿势识别模块512来实现。

现在前进到姿势识别模块512的说明，该功能装置包括用于使用任何图像分析技术识别姿势的姿势识别引擎906。一般而言，姿势识别引擎906通过提取表征图像信息的特征来操作，其中，所述图像信息捕获由用户做出的静态或动态的姿势。那些特征定义了特征签名（feature signature）。然后，姿势识别引擎906可以根据特征签名对已经做出的姿势进行分类。在以下说明中，一般术语“图像信息”将包括从一个或更多个摄像机装置接收到的原始图像信息、从原始图像信息导出的深度信息（和/或其它信息）、或者原始图像信息和深度信息两者。

例如，在一个仅仅是代表性的情况下，姿势识别引擎906可以通过从一个或更多个摄像机装置（514、516）接收图像信息而开始。然后，姿势识别引擎906可以从输入图像信息中减去背景信息，从而保留前景信息。然后，姿势识别引擎906可以解析前景图像信息以生成身体（body）表示信息。身体表示信息表示用户102的一个或更多个身体部分。例如，在一个实施方式中，姿势识别引擎906可以将身体表示信息表达为身体部分的精简表示，例如包括一个或更多个关节和将关节连接在一起的一个或更多个分段。在一个场景中，姿势识别引擎906可以形成仅包括最靠近移动装置104的用户102的前臂和手（例如，用户的右前臂和手）的身体表示信息。在另一个场景中，姿势识别引擎906可以形成包括用户102的整个上部躯干和头部区域的身体表示信息。

作为下一步，姿势识别引擎906可以将身体表示信息与设置在姿势信息存储器908中的候选姿势信息的多个实例进行比较。候选姿势信息的每个实例表征可被识别出的候选姿势。作为该比较的结果，姿势识别引擎906可以为每个候选姿势形成置信度分数。置信度分数传递了身体表示信息与特定的候选姿势的候选姿势信息之间的匹配的紧密性。然后，姿势识别引擎906可以选择提供最高置信度分数的候选姿势。如果该最高置信度分数超过规定的特定于环境的阈值，则姿势识别引擎906断定用户102的确已经做出了与最高置信度分数相关联的姿势。在某些情况下，姿势识别引擎906可能无法识别具有适当高的置信度分数的任何候选姿势；在该情况下，姿势识别引擎906可以避免指示已经发生匹配。可选地，移动装置104可以利用这个时机请求用户102重复有疑问的姿势，或者提供关于用户102正试图调用的命令的性质的补充信息。

姿势识别引擎906可以以不同的方式进行上述匹配。在一个情况下，姿势识别引擎906可以使用统计模型将身体表示信息和与多个候选姿势中的每个相关联的候选姿势信息进行比较。统计模型由参数信息定义。该参数信息又可以在机器学习训练处理中导出。训练模块（未示出）根据描述由许多用户做出的姿势的图像信息，连同标识用户正试图做出的实际姿势的标记一起，执行训练处理。

要重复的是，通过举例而不是限制来描述上述姿势识别技术。在其它情况下，姿势识别引擎906可以通过直接将输入图像信息与指示性的候选姿势图像信息进行比较来执行匹配，即，不必首先形成精简的身体表示信息。

在另一个实施方式中，在2009年10月21日提交的共同未决的和共同转让的美国专利申请第12/603,437号（申请’437）中描述的系统和技术也可以用来实现姿势识别906的至少一部分。申请’437标题为“PoseTracking Pipeline（姿态跟踪管道）”，并且发明人的姓名为Robert M.Craig等。

上述过程可用来识别任何类型的姿势。例如，姿势识别引擎906可被配置为识别由用户102用一个或更多个身体部分做出的静态姿势。例如，用户可以通过在交互空间402内用他或她的右手做出静态的“竖起拇指”姿态，做出一个这样的静态姿势。应用可以将该动作解释为用户102已经表达了他或她的关于某个问题或选项的赞成的表示。在静态姿势的情况下，姿势识别引擎906可以形成静态身体表示信息，并且将该信息与静态候选姿势信息进行比较。

附加地或者替选地，姿势识别引擎906可被配置为识别由用户102用一个或更多个身体部分做出的动态姿势，例如通过沿着交互空间402内的指示性的路径移动身体部分做出的动态姿势。例如，用户102可以通过在交互空间402内的圆圈内移动他或她的食指，做出一个这样的动态姿势。应用可以将该姿势解释为重复某个动作的请求。在动态姿势的情况下，姿势识别引擎906可以形成随时间变化的身体表示信息，并且将该信息与随时间变化的候选姿势信息进行比较。

在上述示例中，移动装置104将姿势与相应的动作关联。更具体地，在一些设计环境中，姿势识别引擎906可以定义在不同的应用中具有相同含义的通用姿势的集合。例如，所有应用可以普遍地将“竖起拇指”姿势解释为用户的赞成的表示。在其它设计环境中，单独的应用可以以任何特有的（特定于应用的）方式解释任何姿势。例如，应用可以将“竖起拇指”姿势解释为沿着向上的方向导航的请求。

在一些实施方式中，姿势识别引擎906根据从单个摄像机装置接收到的图像信息进行操作。如所述的，该图像信息可以使用可见光谱光（例如，RGB信息）、或者使用红外光谱辐射、或者使用某种其它种类的电磁辐射来捕获场景。在一些情况下，姿势识别引擎906（和/或安装架302的处理功能装置810）还可以使用上述技术中的任一个来处理该图像信息以提供深度信息。

在其它实施方式中，姿势识别引擎906可以接收和处理从相同类型或者不同的相应类型的两个或更多个摄像机装置获得的图像信息。姿势识别引擎906可以以不同的方式处理图像信息的两个实例。在一个情况下，姿势识别引擎906可以对（由特定的图像源提供的）图像信息的每个实例执行独立的分析，以导出关于用户102已经做出了什么姿势的特定于来源的结论、连同与该判断相关联的特定于来源的置信度分数。然后，姿势识别引擎906可以根据单独的特定于来源的结论和相关联的特定于来源的置信度分数来形成最终的结论。

例如，假定姿势识别引擎906根据从第一装置摄像机接收到的图像信息的第一实例以0.60的置信度分数断定用户102已经做出了停止姿势；还假定姿势识别引擎906根据从第二装置摄像机接收到的图像信息的第二实例以0.55的置信度分数断定用户102已经做出了停止姿势。姿势识别引擎906可以以根据两个单独的置信度分数的某种类型的联合考虑的最后置信度分数，生成用户102的确已经做出了停止姿势的最后结论。通常，在这种情况下，单独的置信度分数将组合以产生比两个原始的单独的置信度分数中的任何一个更大的最后分数。如果最后的置信度分数超过规定的阈值，则姿势识别引擎906可以假定该姿势已经令人满意地被识别出来，并且可以相应地输出该结论。在其它场景中，姿势识别引擎906可以根据从第一摄像机装置接收到的图像信息断定已经做出了第一姿势；姿势识别引擎906还可以根据从第二摄像机装置接收到的图像信息断定已经做出了第二姿势，其中第一姿势与第二姿势不同。在该情形中，由于各自的分析之间的不一致，姿势识别引擎906可以潜在地减小每个结论的置信度。

在另一个情况下，姿势识别引擎906可以将（从各自的摄像机装置接收到的）图像信息的各自的实例组合起来，以形成输入图像信息的单个实例。例如，姿势识别引擎906可以使用图像信息的第一实例来提供在图像信息的第二实例中丢失的图像信息（例如，“孔洞（holes）”）。替选地或者附加地，图像信息的不同实例例如可以使用从第一摄像机装置接收到的RGB视频信息和从由第二摄像机装置提供的图像信息导出的深度信息，捕获用户姿势的不同“维度（dimension）”。姿势识别引擎906可以将这些各自的实例组合起来，以便为分析提供输入图像信息的维度上更健壮的实例。替选地或者附加地，姿势识别引擎906可以使用立体技术将图像信息的两个或更多个实例组合起来以形成3D图像信息。

图9还指示姿势识别引擎906可以从除摄像机装置以外的输入装置接收输入信息。例如，姿势识别引擎906可以从一个或更多个麦克风528接收原始的语音信息，或者从语音识别模块526接收已经处理过的语音信息。姿势识别引擎906可以以不同的方式与图像信息一起处理该其它输入信息。在一个情况下，如前面的说明中一样，姿势识别引擎906可以独立地分析输入信息的不同实例，以与相关联的置信度分数一起导出关于用户102已经做出了什么姿势的单独的结论。然后，姿势识别引擎906可以根据单独的结论和置信度分数得到最终的结论和最终的置信度分数。

例如，假设用户102在说出单词“停止”的同时用他或她的右手做出停止姿势。或者用户102可以在说出“停止”后不久做出该姿势，或者在做出该姿势后不久说出单词“停止”。姿势识别引擎906可以根据图像信息的分析独立地确定用户102已经做出的姿势，而语音识别模块526可以根据语音信息的分析独立地确定用户102已经通告的命令。然后，姿势识别引擎906（或者移动装置104的某个其它部件）可以根据已经执行的图像分析和语音分析的结果生成姿势的最终解释。如果所标识的姿势的最后的置信度分数超过规定的阈值，则姿势识别引擎906可以假定该姿势已经被成功地识别出来。

在可能存在图像信息和/或语音信息的劣化的情形下，用户可以选择使用上述混合操作方式与移动装置104进行交互。例如，在低照明条件（例如在夜晚操作车辆106期间）下，用户102可以预计图像信息的劣化。在高噪音条件下，如当用户102开着车辆106的窗户行驶时一样，用户102可以预计语音信息的劣化。姿势识别引擎906可以使用图像信息来克服语音信息中的可能的不确定性，反之亦然。

在上述说明中，移动装置104表示执行姿势识别的主要地点。然而，在其它实施方式中，（图1的）环境100可以将以上阐述的任何姿势处理任务分配给远程处理功能装置120和/或如所述那样分配给安装架302。

附加地，环境100可以利用远程处理功能装置120和相关联的系统存储器122，来为每个用户存储姿势相关的简档。该姿势相关的简档可以包括表征特定用户做出姿势的方式的模型参数信息。通常，由于各种因素（例如，体型、肤色、面部外貌、典型的着装方式、形成静态姿势姿态的特性、形成动态姿势运动的特性等），第一用户的姿势相关的简档可以稍微不同于第二用户的姿势相关的简档。

当分析由用户做出的姿势时，姿势识别模块512可以参考特定用户的姿势相关的简档。姿势识别引擎906可以通过下载该简档和/或通过远程地查阅该简档来访问该简档。姿势识别模块512还可以将更新的图像信息和相关联的姿势解释上传到远程处理功能装置120。远程处理功能装置120可以使用该信息来更新特定用户的简档。在没有特定于用户的简档的情况下，姿势识别模块512可以使用为一般的大量用户而不是任何特定的单个用户所开发的模型参数信息。当实际用户在姿势识别模式下与其移动装置进行交互时，姿势识别模块512可以不断地以上述方式更新这个一般的参数信息。

在其它用例中，开发者可以连同开发者提供给用户的特定应用一起定义要使用的新姿势集合。开发者可以使用候选姿势信息和/或模型参数信息来表达该新姿势集合。开发者可以将该特定于应用的信息存储在远程系统存储器122和/或单独的移动装置的存储器中。当用户与为其设计了新姿势的应用进行交互时，姿势识别引擎906可以参考特定于应用的信息。

姿势识别模块512还可以包括姿势校准模块910。姿势校准模块910允许用户校准移动装置104以便在姿势识别模式下使用。校准可以包括多个处理。在第一处理中，姿势校准模块910可以指导用户102以适当的位置和取向将移动装置104放置在车辆106的内部区域200内。为了执行该任务，姿势校准模块910可以向用户102提供合适的指令。此外，姿势校准模块910可以向用户102提供视频反馈信息，所述视频反馈信息揭示由移动装置104的内部摄像机装置514捕获的视场。用户102可以监视该反馈信息以确定移动装置104是否能够“看见”由用户102做出的姿势。

姿势校准模块910还可以例如通过提供覆盖在视频反馈信息上的图形标记来提供描述交互空间402的体积形状的反馈。姿势校准模块910还可以包括允许用户102调整交互空间402的任何尺寸的功能装置。例如，假设交互空间对应于从移动装置104朝向用户102的方向向外延伸的圆锥体。姿势校准模块910可以包括允许用户102调整圆锥体的向外范围、以及圆锥体在其最大范围处的宽度的功能装置。这些命令可以根据移动装置104和安装架302建立交互空间的方式，以不同的方式调整交互空间402。在一个情况下，这些命令可以根据深度信息调整从中提取姿势的区域，其中深度信息是使用任何深度重建技术而产生的。在另一个情况下，这些命令可以调整探照灯的方向性，其中探照灯用来创建亮度增强的区域。

在另一个处理中，姿势校准模块910可以调整用来控制姿势识别引擎906的操作的各种参数和/或设定。例如，姿势校准模块910可以调整摄像机装置的灵敏度。这种措施帮助提供可行的和一致的输入信息，尤其是在极端的照明条件的情况下，例如在内部区域200非常黑暗或者非常明亮的那些情形下。

在另一个处理中，姿势校准模块910可以请求用户102做出一系列的测试姿势。姿势校准模块910可以采集捕获了这些姿势的图像信息，并且使用该图像信息创建或者调整用户102的姿势相关的简档。在一些实施方式中，姿势校准模块910可以仅在新用户首次激活姿势识别模式的那些情形下才执行该训练过程。因为移动装置104归特定用户所有并且与特定用户关联，所以姿势校准模块910可以确定用户102的身份。

姿势校准模块910可以使用任何机构来执行上述任务。例如，在一个情况下，姿势校准模块910按照在整个设置处理期间指导用户102的向导类型格式向用户102呈现一系列指令。

姿势识别模块512还可以可选地包括用于检测姿势识别模式的调用的模式检测模块912。更具体地，一些应用可以在诸如触摸输入模式、语音识别模式、姿势识别模式等两个或更多个模式下操作。在这种情况下，模式检测模块912激活姿势识别模式。

模式检测模块912可以使用不同的特定于环境的因素来确定是否调用姿势识别模式。在一个情况下，用户可以通过提供适当的指令来明确地（例如，手动地）激活该模式。替选地或者附加地，模式检测模块912可以根据车辆状态自动调用姿势识别模式。例如，当汽车正在移动时，模式检测模块912可以启用姿势识别模式；当汽车停住或者以其它方式静止时，根据用户可以安全地直接触摸移动装置104的假定，模式检测模块912可以去激活该模式。再次，通过说明而不是限制来提及这些触发场景。

姿势识别模块512还可以包括动态性能调整（dynamic performanceadjustment，DPA）模块914。在姿势识别模块512的操作过程中，DPA模块914以自动或半自动方式动态调整姿势识别模块512的一个或更多个操作设定。该调整提高了姿势识别模块512在车辆106的内部中的动态改变的条件下识别姿势的能力。

作为一种类型的调整，DPA模块914可以选择姿势识别模块512操作的模式。不作为限制，该模式可以管理以下各项中的任一个：a）原始图像信息是否用来识别姿势；b）深度信息是否用来识别姿势；c）原始图像信息和深度信息是否都用来识别姿势；d）用于生成深度信息的深度重建技术的类型（如果有的话）；e）交互空间是否被探照灯照亮；f）正在使用的交互空间的类型等。

作为另一种类型的调整，DPA模块914可以选择这样的一个或更多个参数，所述一个或更多个参数控制一个或更多个摄像机装置接收图像信息。不作为限制，这些参数可以控制：a）与图像信息相关联的曝光；b）与图像信息相关联的增益；c）与图像信息相关联的对比度；d）由摄像机装置检测到的电磁辐射的频谱等。

作为另一种类型的调整，DPA模块914可以选择这样的一个或更多个参数，所述一个或更多个参数控制用来照亮交互空间的探照灯（如果使用的话）的操作。不作为限制，这些参数可以控制由探照灯发射的光束的强度。

通过举例而不是限制来提及这些类型的调整。其它实施方式可以对姿势识别模块512的性能做出其它类型的修改。例如，在另一情况下，DPA模块914可以调整交互空间的形状和/或尺寸。

DPA模块914可以使得其分析基于各种类型的输入信息。例如，DPA模块914可以接收描述车辆106的内部区域中的当前状况的任何类型的信息，例如亮度水平等。附加地或者替选地，DPA模块914可以接收关于姿势识别模块512的性能的信息，例如基于姿势识别模块512当前正检测姿势的平均置信度水平的量度、和/或对用户正参与向姿势识别模块512传达姿势的修正动作的程度进行量化的量度。

图10-19示出调用各种动作的说明性的姿势（根据一个非限制性的应用环境）。在每个情况下，用户102坐在车辆106的驾驶员座位中。用户102使用他或她的右手1002在交互空间402内做出静态和/或动态的姿势。移动装置104可以可选地在其装置屏幕602上呈现反馈信息1004，其向用户102传达已经检测到姿势。如将关于图20所说明的，移动装置104还可以可选地呈现提示信息，所述提示信息向用户102通知他或她在用户与应用的交互的当前时刻可以做出的候选姿势的类型。

在图10中，用户102伸展他或她的手1002，使得其手掌大致上面向移动装置104的前表面。在一个应用环境中，移动装置104可以将该姿势理解为请求停止某个活动，例如停止媒体内容的播放。

在图11中，用户102放置他或她的手1002，使得手掌大致上面朝上。然后，如在执行传统的“过来”指令时一样，用户102将他或她的手指折向他或她的手掌。在一个应用环境中，移动装置104可以将该姿势理解为请求开始某个活动，例如开始媒体内容的播放。

在图12中，用户102沿水平方向朝向左边伸出他或她的右手1002的大拇指。可选地，用户102还可以以该大拇指伸出的姿态向左边（沿图12所示的箭头方向）动态移动他或她的右手1002。在一个应用环境中，移动装置104可以将该姿势理解为请求返回到前一个项目，例如移回到媒体内容的呈现中的稍早的点。图13图示图12的姿势的互补；这里，移动装置104可以将该姿势理解为请求前进到下一个项目。

在图14中，用户102以手掌大致上面向移动装置104的表面伸出他或她的手1002（如同图10的情况）。然后，用户102向左或者向右移动手1002。在一个环境中，移动装置104将向左移动理解为请求前进到项目序列中的下一个项目。移动装置104将向右移动理解为请求前进到项目序列中的前一个项目。换言之，项目序列可以被比喻地视为布置在圆盘传送带上。用户的移动使圆盘传送带旋转以将前一个项目或者下一个项目带入主焦点。在一个情况下，移动装置104还可以显示项目序列的圆盘传送带状布置的可视表示1402。

在图14中，用户102在保持紧握车辆106的方向盘1502的同时抬起他或她的右手1002的手指。在一个环境中，移动装置104将该移动理解为请求前进到下一个项目，因为用户102已经抬起右手1002而不是左手的手指。用户102可以通过抬起他或她的左手的手指前进到前一个项目。

在图16中，用户102伸出他或她的右手1002的食指。然后，用户102用食指动态地画圆圈。在一个环境中，移动装置104可以将该姿势理解为请求重复某个动作，例如重复媒体内容的播放。该姿势也是类似于与姿势相关联的传统图形符号的一种姿势的示例。即，环状箭头常常用来在图形上指定重复动作。与该动作相关联的姿势描摹出由传统符号所定义的路径。

在图17中，如在发出传统的“竖起拇指”信号时一样，用户102沿向上方向伸出他或她的右手1002的大拇指。在一个环境中，移动装置104将该动作理解为用户102已经赞成动作、选项，项目、问题等的指示。类似地，在图18中，如在发出传统的“拇指向下”信号时一样，用户102沿向下方向伸出他或她的右手1002的大拇指。在一个环境中，移动装置104将该动作理解为用户102已经不赞成动作、选项、项目、问题等的指示。

在图19中，用户使用他或她的右手1002发出传统的“V”信号。在一个环境中，移动装置1402将该动作理解为调用移动装置104的语音识别模式（其中“V”表示“voice”的第一个字母）。例如，如图19所示，该姿势使得移动装置104显示用户界面呈现1902，用户界面呈现1902提供与用来控制移动装置104的语音的使用有关的指令和/或提示信息。

图20示出了提供提示信息2002的用户界面呈现。提示信息2002标识在用户与应用进行交互的当前时刻可被移动装置104识别的候选姿势集合。提示信息2002可以以任何方式传达姿势集合中的每个候选姿势。在一个情况下，提示信息2002可以包括每个合法姿势的可视图示。附加地或者替选地，提示信息2002可以提供文本指令，如在“停止，做这个”中一样。附加地或者替选地，提示信息2002可以包括符号信息，例如表示停止命令的符号“||”。如上所述，如在图16的示例中一样，姿势可被选择为静态地和/或动态地模仿与该姿势相关联的传统符号的某个方面。

移动装置104还可以提供指示姿势已经被姿势识别模块512识别出来的反馈信息2004。动作采取模块还可以自动执行与检测到的姿势相关联的控制动作--即，只要姿势识别模块512能够以合适的置信度理解该姿势。移动装置104还可以可选地提供用来解释已经采取的动作的可听和/或可视的消息2006。

替选地，姿势识别模块512可能无法以足够的置信度确定用户102已经做出的姿势。在该情形下，移动装置104可以提供向用户102通知识别已经失败的可听和/或可视的消息。该消息也可以指示用户102采取补救动作，例如重复该姿势，或者将该姿势与期望命令的有声通告相结合等。

在其它情况下，姿势识别模块512可以形成用户102已经做出某个姿势的结论，但是该结论不具有与其相关联的高置信度水平。在该场景中，移动装置104可以请求用户102确认他或她已经做出的姿势，例如通过提供可听的消息：“如果你想停止音乐，说出“停止”或者做出停止姿势”。

在迄今提出的示例中，用户102已经使用他或她的手做出了静态和/或动态的姿势。但是，更一般地，姿势识别模块512可以检测由用户102使用任何身体部分或者身体部分的组合做出的静态和/或动态的姿势。例如，用户102可以可选地连同手部移动（和/或姿态）一起使用头部移动（和/或姿态）、肩部移动（和/或姿态）等来传达姿势。

例如，图21-23示出用户102可以通过用手触摸他或她的面部所做出的三个静态姿势。也就是，在图21中，用户102将手指举起到他或她的嘴唇以指示移动装置104降低其音频呈现的音量。在图22中，用户102将他或她的手指放置在耳朵后面以指示移动装置104提高其音频呈现音量（如在传统的“我听不见你在说什么”的姿势中一样）。在图23中，用户102在食指和大拇指之间捏着他或她的下巴以产生好奇的姿态；这可以指示移动装置104执行搜索、检索地图或者执行某种其它的信息查找功能。在另一个可能的手到脸姿势（未示出）中，用户102可以做出模仿将电话放到靠近耳朵的动作；这可以指示移动装置104发起呼叫。

需要重复的是，上述姿势是代表性的而不是限制性的。其它环境可以采用附加的姿势的使用，和/或可以省略上述姿势中的任一个的使用。例如，任何姿势的选择还可以考虑特定国家或者地区的习俗，从而避免使用可能被认为是冒犯的姿势、和/或可能使其他驾车者迷惑或者分心的姿势（例如在窗户前挥手的姿势）。

作为结束，上述说明已经阐述了姿势识别模式在车辆内的使用。但是，用户102可以在任何环境中使用姿势识别模式与移动装置104进行交互。在用户的手和/或注意焦点被其它任务占用（当用户正在煮饭、锻炼等时）的那些情况中，或者在用户无法容易地够到移动装置104（当用户在床上而移动装置104在床头柜等上时）的那些情况中，用户102可能发现姿势识别模式特别有用。

B.说明性的处理

图24-27示出用于说明图1的环境100的一个操作方式的过程。由于已经在部分A中说明了环境100的操作的原理，所以在本部分中将以概要的方式来表述某些操作。

从图24开始，图24示出从用户102的视角阐述图1的环境100的一个操作方式的说明性的过程2400。在块2402中，用户可以在常规的操作模式下使用他或她的移动装置104，例如使用他或她的手，利用触摸输入装置524与移动装置104进行交互。在块2404中，用户102进入车辆106，并且在车辆106的内部区域200内以适当的位置和取向将移动装置104放置在任何类型的安装架中。在块2406中，用户102对移动装置104进行校准以提供用于检测由用户102做出的姿势的适当的交互空间402。在块2408中，用户102可以明确地激活姿势识别模式；替选地，移动装置104可以根据一个或更多个因素，例如根据车辆的运行状态，自动调用姿势识别模式。在块2410中，用户102在姿势识别模式下与一个或更多个应用进行交互。也就是，用户102通过做出姿势向任何应用发出命令。在块2412中，在用户的旅行结束后，用户102可以将移动装置104从安装架移走。然后，用户102可以在正常的手持操作模式下重新开始使用移动装置104。

图25示出从姿势校准模块910的视角的说明性的过程2500，通过该过程2500，用户可以校准移动装置104以便在姿势识别模式下使用。在块2502中，姿势校准模块910可以可选地检测用户102已经将移动装置104插入到车辆106内的安装架中。替选地，姿势校准模块910可以响应于来自用户102的明确指令来调用其校准过程。在块2504中，姿势校准模块910与用户102进行交互以校准移动装置104。校准可以包括：（1）指导用户102放置移动装置104和建立交互空间402；（2）调整姿势识别模式的系统参数和/或设定；（3）请求用户102做出一系列测试姿势以便用于导出用户102的姿势相关的简档等。

图26示出用于说明图9的动态性能调整模块（DPA）914的一个操作方式的说明性的过程2600。在块2602中，DPA模块914可以评估姿势识别模块512的当前性能，这可以包括评估姿势识别模块512的操作环境、和/或评估姿势识别模块当前正操作的成功水平。在块2604中，如果认为适当的话，DPA模块914调整姿势识别模块512的一个或更多个操作设定以修改姿势识别模块512的性能。可以调整的设定包括但不限于：a）影响由至少一个探照灯将电磁辐射投射到交互空间中的至少一个参数；b）影响由至少一个摄像机装置接收图像信息的至少一个参数；以及c）由姿势识别模块512用来识别姿势的图像捕获模式等。

最后，图27示出移动装置104可以检测和响应于姿势的说明性的过程2700。在块2702中，移动装置104可选地提供提示信息，该提示信息标识用户102在使用应用的当前时刻可以做出以控制该应用的候选姿势。在块2704中，移动装置104可以从一个或更多个内部和/或外部摄像机装置接收图像信息。如这里所使用的，一般术语“图像信息”包括由一个或更多个摄像机装置捕获的原始图像信息和/或从原始图像信息提取出的任何进一步处理过的信息（例如深度信息）。移动装置104还可以从其它输入装置接收其它类型的输入信息。在块2706中，移动装置104根据输入信息识别用户102已经做出的姿势。替选地，在块2708中，移动装置104请求用户102澄清他或者她已经做出的姿势的性质。在块2710中，移动装置104可选地向用户102呈现反馈信息，其确认已被识别出来的姿势。在块2712中，移动装置104执行与已经检测到的姿势相关联的控制动作。在替选的实施方式中，块2710中给出的确认可以跟随在块2712之后，从而向用户102通知已经执行的动作。

C、代表性的计算功能装置

图28阐述可用来实现上述功能的任何方面的说明性的计算功能装置2800。例如，图28所示类型的计算功能装置2800可用来实现移动装置104和/或安装架302的任何方面。此外，图28所示类型的计算功能装置2800可用来实现远程处理系统118的任何方面。在一个情况下，计算功能装置2800可以对应于包括一个或更多个处理装置的任何类型的计算装置。在所有情况下，计算功能装置2800表示一个或更多个物理的和有形的处理机构。

计算功能装置2800可以包括诸如RAM 2802和ROM 2804的易失性和非易失性存储器、以及一个或更多个处理装置2806（例如，一个或更多个CPU和/或一个或更多个GPU等）。计算功能装置2800可选地还包括各种介质装置2808，例如硬盘模块、光盘模块等。当处理装置2806执行由存储器（例如，RAM 2802、ROM 2804等）保持的指令时，计算功能装置2800可以执行上述各个操作。

更一般地，指令和其它信息可以存储在任何计算机可读的介质2810上，包括但不限于静态存储装置、磁存储装置、光存储装置等。术语“计算机可读介质”也包括多个存储装置。在所有情况下，计算机可读介质2810表示某种形式的物理的和有形的实体。

计算功能装置2800还包括用于接收各种输入（经由输入模块2814）和用于提供各种输出（经由输出模块）的输入/输出模块2812。一个特定的输出机构可以包括呈现模块2816和相关联的图形用户界面（graphicaluser interface,GUI)）2818。计算功能装置2800还可以包括用于经由一个或更多个通信管道2822与其它装置交换数据的一个或更多个网络接口2820。一个或更多个通信总线2824将上述部件通信地耦接在一起。

可以以任何方式，例如通过局域网、广域网（例如，因特网）等或其任意组合来实现通信管道2822。如以上在A部分中所述，通信管道2822可以包括由任何协议或者协议组合所控制的硬布线链路、无线链路、路由器、网关功能装置、名称服务器等的任意组合。

替选地或者附加地，A部分和B部分中描述的任何功能可以至少部分地由一个或更多个硬件逻辑部件来执行。例如，不作为限制，可以使用的硬件逻辑部件的说明性的类型包括：现场可编程门阵列（Fieldprogrammable Gate Array，FPGA）、专用集成电路（Application-specificIntegrated Circuit,ASIC）、专用标准产品（Application-specific StandardProduct,ASSP）、片上系统（System on-a-chip,SOC）系统、复杂可编程逻辑器件（Complex Programmable Logic Device,CPLD）等。

最后，这里所描述的功能装置可以使用各种机构以确保由功能装置保存的用户数据的隐私性。例如，功能装置可以允许用户明确地决定采用（然后明确地决定不采用）功能装置的设置。功能装置还可以提供适当的安全机构以确保用户数据的隐私性（例如数据净化机构、加密机构、密码保护机构等）。

另外，本说明书可能已经在说明性的挑战或者问题的上下文中描述了各个概念。该说明方式不构成承认别人已经以这里指定的方式想到了和/或明确表达了挑战或者问题。

尽管已经以特定于结构特征和/或方法动作的语言描述了主题，但是应当理解的是，所附权利要求中所限定的主题不是对上述特定特征或者动作的限制。相反，上述特定特征和动作被公开为实现权利要求的示例形式。

另外，也可如下地配置本发明：

（1）、一种用于使用安装在车辆中的移动装置来识别姿势的方法，所述移动装置当未安装在所述车辆中时用作手持移动装置，所述方法包括：

从至少一个摄像机装置接收图像信息，所述图像信息捕获场景，该场景包括作为其一部分的交互空间，所述交互空间包括从所述移动装置朝向正在操作所述车辆的用户的方向向外投射的具有规定尺寸的体积；以及

使用姿势识别模块，根据所述图像信息来确定用户是否在所述交互空间内已做出了可识别的姿势，

其中，所述姿势包括以下各项中的一个或更多个：（a）不触摸所述移动装置而以用户的至少一只手做出的静态姿态；以及（b）不触摸所述移动装置而由所述用户的所述至少一只手做出的动态运动。

（2）、如（1）所述的方法，其中，所述确定包括：

使用深度重建技术，根据所述图像信息来生成深度信息；以及

根据所述深度信息提取位于所述交互空间内的所述至少一只手的表示。

（3）、如（1）所述的方法，其中，所述确定包括：

投射电磁辐射的一个或更多个波束，所述一个或更多个波束限定具有增强的相对照度的区域；以及

通过在所述图像信息中检测具有增强的相对亮度的对象来提取位于所述交互空间内的所述至少一只手的表示。

（4）、如（1）所述的方法，其中，所述至少一个摄像机是所述移动装置的部件。

（5）、如（1）所述的方法，其中，所述至少一个摄像机是将所述移动装置固定在所述车辆内的安装架的部件。

（6）、如（1）所述的方法，其中，使用至少一个探照灯，连同用电磁辐射照射所述交互空间一起进行所述图像信息的接收。

（7）、如（6）所述的方法，其中，所述至少一个探照灯是所述移动装置的部件。

（8）、如（6）所述的方法，其中，所述至少一个探照灯是将所述移动装置固定在所述车辆内的安装架的部件。

（9）、如（1）所述的方法，其中，所述至少一个摄像机装置响应于红外光谱辐射的接收而产生所述图像信息。

（10）、如（1）所述的方法，其中，所述至少一个摄像机装置包括用于减少可见光谱辐射的带通滤波器。

（11）、如（1）所述的方法，还包括在所述可识别姿势的所述确定之前以校准过程来限定所述交互空间。

（12）、如（1）所述的方法，还包括：

评估所述姿势识别模块的性能以提供所评估的性能；以及

根据所评估的性能来动态地调整所述姿势识别模块的至少一个操作设定。

（13）、如（12）所述的方法，其中，所述至少一个操作设定选自于：

影响由至少一个探照灯将电磁辐射投射到所述交互空间中的至少一个参数；

影响由所述至少一个摄像机装置接收所述图像信息的至少一个参数；以及

由所述姿势识别模块用来识别姿势的图像捕获模式。

（14）、如（1）所述的方法，还包括响应于确定所述用户做出了所述姿势来执行控制动作，所述控制动作影响所述移动装置的操作方式。

（15）、如（14）所述的方法，其中，所述姿势与语音识别模式相关，并且其中，所述控制动作的所述执行包括响应于确定所述用户执行了所述姿势来激活所述语音识别模式。

（16）、一种用于在车辆内使用的移动装置，包括：

输入功能装置，其被配置为接收关于场景内的对象的图像信息，所述场景包括作为其一部分的交互空间，所述交互空间从所述车辆内的所述移动装置向外投射规定的距离，

所述图像信息源自于以下各项中的一个或更多个：

作为所述移动装置的内部部件的内部摄像机装置；以及

作为将所述移动装置固定在所述车辆内的安装架的部件的外部摄像机装置；以及

所述输入功能装置还包括：姿势识别模块，其被配置为根据以下各项中的一个或更多个确定用户是否在所述交互空间内做出了姿势：

使用深度重建技术从所述图像信息生成的深度信息；以及

不考虑所述深度信息的所述图像信息本身，

其中，所述姿势包括以下各项中的一个或更多个：（a）不触摸所述移动装置而以所述用户的至少一只手做出的静态姿态；以及（b）不触摸所述移动装置而以所述用户的所述至少一只手做出的动态动作。

（17）、一种用于支持移动装置的安装架，包括：

用于固定所述移动装置的支架；以及

包括外部摄像机功能装置的成像部件，所述外部摄像机功能装置包括：

用于接收图像信息的至少一个外部摄像机装置，所述图像信息捕获将交互空间包括为其一部分的场景，所述交互空间包括从所述移动装置向外投射的具有规定尺寸的体积；以及

接口，用于将所述图像信息提供给由所述移动装置提供的输入功能装置。

（18）、如（17）所述的安装架，还包括用于将电磁辐射投射到所述交互空间中的至少一个探照灯。

（19）、如（17）所述的安装架，还包括用于处理所述图像信息的图像处理功能装置。

（20）、如（19）所述的安装架，其中，所述图像处理功能装置被配置为使用深度重建技术，根据所述图像信息来生成深度信息。

Claims (9)

1.一种用于使用安装在车辆(106)中的移动装置(104)来识别姿势的方法(2700)，所述移动装置(104)当未安装在所述车辆(106)中时用作手持移动装置，所述方法(2700)包括：

从至少一个摄像机装置(514，516)接收图像信息(2704)，所述图像信息捕获场景，该场景包括作为其一部分的交互空间(402)，所述交互空间(402)包括从所述移动装置(104)朝向正在操作所述车辆(106)的用户(102)的方向向外投射的具有规定尺寸的体积；以及

使用姿势识别模块(512)，根据所述图像信息来确定用户是否在所述交互空间(402)内做出了可识别的姿势(2706)，

其中，所述姿势包括以下各项中的一个或更多个：(a)不触摸所述移动装置(104)而以所述用户(102)的至少一只手做出的静态姿态；以及(b)不触摸所述移动装置(104)而由所述用户(102)的所述至少一只手做出的动态运动，其中

所述方法还包括：

评估所述姿势识别模块的性能以提供所评估的性能；以及

根据所评估的性能来动态地调整所述姿势识别模块的至少一个操作设定。

2.如权利要求1所述的方法，其中，所述确定包括：

使用深度重建技术，根据所述图像信息来生成深度信息；以及

根据所述深度信息提取位于所述交互空间内的所述至少一只手的表示。

3.如权利要求1所述的方法，其中，所述确定包括：

投射电磁辐射的一个或更多个波束，所述一个或更多个波束限定具有增强的相对照度的区域；以及

通过在所述图像信息中检测具有增强的相对亮度的对象来提取位于所述交互空间内的所述至少一只手的表示。

4.如权利要求1所述的方法，其中，所述至少一个摄像机是将所述移动装置固定在所述车辆内的安装架的部件。

5.如权利要求1所述的方法，其中，使用至少一个探照灯，连同用电磁辐射照射所述交互空间一起进行所述图像信息的接收。

6.如权利要求5所述的方法，其中，所述至少一个探照灯是将所述移动装置固定在所述车辆内的安装架的部件。

7.如权利要求1所述的方法，其中，所述至少一个操作设定选自于：

影响由至少一个探照灯将电磁辐射投射到所述交互空间中的至少一个参数；

影响由所述至少一个摄像机装置接收所述图像信息的至少一个参数；以及

由所述姿势识别模块用来识别姿势的图像捕获模式。

8.一种用于在车辆(106)内使用的移动装置(104)，包括：

输入功能装置(510)，其被配置为接收关于场景内的对象的图像信息，所述场景包括作为其一部分的交互空间(402)，所述交互空间(402)从所述车辆(106)内的所述移动装置(104)向外投射规定的距离，

所述图像信息源自于以下各项中的一个或更多个：

作为所述移动装置(104)的内部部件的内部摄像机装置(514)；以及

作为将所述移动装置(104)固定在所述车辆(106)内的安装架(302)的部件的外部摄像机装置(516)；以及

所述输入功能装置(510)还包括：姿势识别模块(512)，其被配置为根据以下各项中的一个或更多个确定用户(102)是否在所述交互空间(402)内做出了姿势：

使用深度重建技术从所述图像信息生成的深度信息；以及

不考虑所述深度信息的所述图像信息本身，

其中，所述姿势包括以下各项中的一个或更多个：(a)不触摸所述移动装置(104)而以所述用户(102)的至少一只手做出的静态姿态；以及(b)不触摸所述移动装置(104)而以所述用户(102)的所述至少一只手做出的动态运动，

其中，所述姿势识别模块的性能被评估以提供所估计的性能，并且所述姿势识别模块的至少一个操作设定是基于所评估的性能而动态调整的。

9.一种用于支持移动装置(104)的安装架(302)，包括：

用于固定所述移动装置(104)的支架(308)；以及

包括外部摄像机功能装置(316)的成像部件(318)，所述外部摄像机功能装置(316)包括：

用于接收图像信息的至少一个外部摄像机装置(808)，所述图像信息捕获将交互空间(402)包括为其一部分的场景，所述交互空间(402)包括从所述移动装置(104)向外投射的具有规定尺寸的体积；以及

接口(820)，用于将所述图像信息提供给由所述移动装置(104)提供的输入功能装置(510)，

其中，所述输入功能装置(510)包括：姿势识别模块(512)，其被配置为基于所述图像信息而确定用户(102)是否在所述交互空间(402)内做出了姿势，以及

其中，所述姿势识别模块的性能被评估以提供所估计的性能，并且所述姿势识别模块的至少一个操作设定是基于所评估的性能而动态调整的。