CN104820491A - 提供驾驶舱的人机工程三维手势多模态接口的系统和方法 - Google Patents

Abstract

本发明涉及一种用于提供在驾驶舱应用中使用的人机工程学三维的、基于手势的、多模态接口的系统和方法。提供了用于响应于输入手势而操作航空器的系统和方法。该方法包括基于用户手臂和手相对于飞行员支撑装置的位置，生成基本上围绕用户手的有效交互体积，在有效交互体积内执行的手势指示有效输入时进行识别，以及生成相关联的系统命令。

Description

提供驾驶舱的人机工程三维手势多模态接口的系统和方法

技术领域

本文所述主题的实施例一般涉及计算机航空系统。更具体地，本文所述主题的实施例涉及一种用于提供在驾驶舱应用中使用的人机工程学三维的、基于手势的、多模态接口的系统和方法。

背景技术

开发了与计算机交互的新颖和创新的方法，用以增大计算机的可用性。例如，已经引入了触摸屏接口，其允许用户在没有鼠标和/或键盘的情况下向计算机提供命令。然而，这些新方法中的一些易于受到将无意的用户交互解释为命令的损害；这样的无意的交互可以定义为在没有用户同意的情况下由触摸屏接口检测到的任何交互。无意的交互可以由用户手或其它物理对象等的碰撞、振动、偶然掠过引起，并可以导致系统误运转或操作错误。

当前开发的、提供了对无意用户交互的更大抗扰度的接口是手势识别接口。手势一般是手移动。如本文提及的，手势具有特定运动动态，并且由用户手掌和手指的一个或多个静态或动态分量(component)组成。然而，手势识别接口的采用也具有约束，诸如需要高度的预处理和复杂算法来从周围环境提取并分析用户的交互。

手势识别接口取决于跨所建立的可视感测的体积范围上感测的三维(3D)成像信息。广泛的可视感测范围限制了系统的准确性、可靠性和精度，并且呈现对于航空器驾驶舱应用的显著技术挑战。

提议的避免这些问题的一个方法依靠用户握住或以其它方式操纵控制器或手持设备。这些控制器可以充当身体的延伸，以便在执行手势时，可以由系统识别运动。然而，除了需要用户握住控制器或其它设备以便与处理器交互以外，系统仅识别有限类型的运动。

为了克服前述方法的一些缺点，已经提出了体积计算系统，以供使用在例如航空器驾驶舱上，以减少无意的用户交互。传感器被置于贴近显示设备，显示设备耦合到交互控制器。这个体积计算系统使得用户或开发者能够与系统交互，以便在不与系统进行物理接触的情况下激活控制功能。在于2013年2月26日提交的题为“SYSTEM AND METHOD FOR INTERACTING WITH A TOUCH SCREENINTERFACE UTILIZING A HOVER GESTURE CONTROLLER”并且让与本受让人的美国专利申请13/777,737中示出并描述了这样的系统的示例，其教导通过引用并入在此。以上专利申请的系统代表了对于现有技术的显著改进。

仍存在对3D手势接口的广泛采用的阻碍。或许对3D手势接口的广泛采用的最显著阻碍在于需要用户抬高他或她的手臂和手，以便将手势输入到系统中。这是使人疲劳的并降低了接口的吸引力。另一个缺点是进行交互的手常常在用户的视线中。用户通常优选最小化对进行交互的手的任何注视，并且能够坐着，进行交互的手的手臂在扶手上。又一个缺点是依赖于一个扩展的传感器体积来生成用于多个用户的多个有效3D手势交互体积的系统可能易于受到无意的或非故意的手势输入的损害。前述的偏好和易损性可能妨碍当前手势识别系统在某些应用中的实践性。利用单独的人机工程学和人体测量学测量(例如，手臂长度、座椅高度、扶手高度等)来适应用户偏好是合期望的，并将会解决对3D手势接口的采用的一些阻碍。

鉴于前述，一种用于使用在驾驶舱应用中的人机工程学三维的、基于手势的、多模态接口是合期望的，下文中将这个接口称为“3D手势交互接口”。对于接口而言将会合期望的是当飞行员的手臂支撑在扶手上时操作，并在进行交互的手不在飞行员的视线中时运转；这些交互有时称为“扶手支撑手势交互”。对于接口而言还将会合期望的是，自动地(自动模式)或者通过允许飞行员根据人机工程学和人体测量学需要与偏好而交互和定制(飞行员驱动的模式)来构造有效的3D手势交互体积(下文中称为“有效交互体积”)。除了减少控制功能的无意激活的概率以外，这些改进将会减少疲劳、改进生产率并增强用户的总体体验。

发明内容

提供本概述来以简化的形式介绍概念的选择，所述概念以下在具体实施方式中进一步描述。本概述并非旨在标识所要求保护的主题的关键特征或必需特征，也不是旨在用作帮助确定所要求保护的主题的范围。

提供一种用于操作航空器的方法。基于用户手臂和手相对于飞行员支撑装置的位置，生成基本上围绕用户手的有效交互体积。该方法在有效交互体积内执行的手势指示有效手势输入时进行识别，并生成相关联的系统命令。

还提供了一种航空器机载的体积计算系统。系统包括飞行员支撑装置、传感器、显示设备和处理器。处理器耦合到飞行员支撑装置、传感器和显示器。基于用户手臂和手相对于飞行员支撑装置的位置，处理器被配置为生成基本上围绕用户手的有效交互体积。处理器还被配置为在有效交互体积内执行的手势指示有效手势输入时进行识别，并生成相关联的系统命令。

还提供了一种用于操作航空器的方法。该方法相对于至少一个传感器而定位与座椅耦合的扶手。该方法然后基于座椅、扶手和至少一个传感器的定位和位置而构造预定传感器体积。基于用户手臂和手相对于预定传感器体积的位置，该方法生成基本上围绕用户手的有效交互体积。分析用户手掌和手指在有效交互体积内的静态和动态移动。当用户手掌和手指在有效交互体积内的静态和动态移动指示有效手势输入时，识别有效手势输入。

从以下的具体实施方式和所附权利要求，结合附图及本背景，其它合期望的特征将变得显而易见。

附图说明

在结合以下各图考虑时，通过参考以下具体实施方式和权利要求，可以得到主题的更完整的理解，其中，遍及各图，同样的参考标号指代类似的元素，并且其中：

图1是包括显示器和体积控制器的航空器驾驶员座舱系统的框图；

图2是体积计算解决方案的等距(isometric)视图；

图3是航空器驾驶员座舱的图示，示出了用于机长的有效交互体积和副驾驶员的有效交互体积的位置；

图4是示出3D传感器、对应的3D传感器体积和有效交互体积的航空器驾驶员座舱的图示；

图5是用于有效交互体积的构造的自动模式的一般化框图；

图6是示出规格化(normalized)手臂人体测量学模型的特征的图示；

图7是示出座椅模型的特征的图示；

图8是示出由3D手势交互接口生成的所估计的人机工程学手定位的图示；

图9是用于有效交互体积的构造的飞行员发起的模式的一般化框图；

图10是手掌和手指在手势交互体积内的视觉反馈的图示；

图11是有效交互体积的构造的飞行员发起的模式的流程图；

图12是3D手势交互模型系统的详细框图；

图13是与相关联的UI元素功能可供性(affordance)重叠的用户接口(UI)元素的图示；及

图14是3D手势交互模型的图示。

具体实施方式

以下的具体实施方式在本质上仅仅是说明性的，并非旨在限制主题或申请的实施例以及这样的实施例的使用。本文描述为示例性的任何实现方式都不一定解释为相对于其它实现方式是优选的或者有利的。此外，没有意图通过在前述技术领域、背景技术、发明内容或以下具体实施方式中呈现的任何表述的或暗含的理论来进行限制。

技术与科技可以按照功能和/或逻辑块组件并参考可以由各种计算组件或设备执行的操作、处理任务和功能的符号表示来在本文进行描述。这样的操作、任务和功能有时称为计算机执行的、计算机化的、软件实现的或者计算机实现的。实际上，一个或多个处理器设备可以通过操纵表示系统存储器中存储器位置处的数据位的电信号以及信号的其它处理来实施所述的操作、任务和功能。其中维护数据位的存储器位置是物理位置，其具有对应于数据位的特定电气、磁性、光学、或有机属性。应当领会到，图中所示的各种块组件可以由被配置为执行所指定功能的任意数量的硬件、软件和/或固件组件来实现。例如，系统或组件的实施例可以采用各种集成电路组件，例如存储器元件、数字信号处理元件、逻辑元件、查找表等，其可以在一个或多个微处理器或其它控制设备的控制下实施各种功能。

为了简明，本文可以不详细描述与图形和图像处理、传感器及某些系统和子系统(以及其单独操作组件)的其它功能方面有关的常规技术。此外，本文包含的各图中所示的连接线旨在表示在各种元件之间的示例性功能关系和/或物理耦合。应当注意，在主题的实施例中可以存在许多可替换的或附加的功能关系或物理连接。

本文公开的是一种用于使用在驾驶舱应用中的新颖的人机工程学三维的、基于手势的多模态接口，其减少用户疲劳和手势-输入串扰。这个接口在本文中称为“3D手势交互接口”。3D基于手势的接口包括传感器，其置于贴近扶手，并且传感器耦合到手势交互控制器。3D手势交互接口使得用户或开发者能够与计算机系统交互，以便在不与系统进行物理接触的情况下激活控制功能。这个接口将系统扩展到用户的输入所指向的特定操作系统或应用的限制以外。本文为了解释的目的而呈现的是某些示例性实施例，图示了可以如何采用3D手势交互接口。例如，将论述适合于在航空应用中使用的3D手势交互接口的实施例。

以下描述的是所解释的示例实施例，其仅仅是示例和指导，用于在任何工业、商业、航空或消费电子应用中的任何用户接口上实现本文的新颖系统和方法。因而，本文呈现的示例旨在作为非限制性的。

图1是包括显示器和体积控制器的航空器驾驶员座舱系统的框图。航空器驾驶员座舱系统100包括体积控制器102、处理器104、有时称为地形回避和警告系统(TAWS)的一个或多个地形数据库106、一个或多个导航数据库108、传感器112、外部数据源114、和至少一个显示设备116。体积控制器102与处理器104可操作地通信，并且被配置为从至少一个传感器107和用户109(例如飞行员、副飞行员、飞行机组人员以及等等)接收输入，并响应于用户输入，向处理器104供给命令信号。体积控制器102生成传感器体积404和有效交互体积406，在图4中示出了这二者。

处理器104可以以通用处理器、内容可寻址存储器、数字信号处理器、专用集成电路、现场可编程门阵列、任何适合的可编程逻辑器件、离散门或晶体管逻辑、离散硬件组件或者被设计为执行本文所述功能的任何组合来实施或实现。处理器设备可以实现为微处理器、控制器、微控制器或状态机。此外，处理器设备可以实现为计算设备的组合，例如数字信号处理器和微处理器的组合、多个微处理器、一个或多个微处理器结合数字信号处理器核、或者任何其它这样的配置。在所描绘的实施例中，处理器104包括机载RAM(随机存取存储器)103、和机载ROM(只读存储器)105。控制处理器104的程序指令可以存储在RAM 103和ROM 105的任一个或二者中。例如，操作系统软件可以存储在ROM105中，而各种操作模式软件例程和各种操作参数可以存储在RAM 103中。执行示例性实施例的软件存储在ROM 105或RAM 103中。将领会到，这仅仅是用于存储操作系统软件和软件例程的一个方案的示范，并且可以实现各种其它存储方案。

示出为RAM 103和ROM 105的存储器设备可以实现为RAM存储器、闪速存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移除盘、CD-ROM或本领域中已知的任何其它形式的存储介质。在这点上，存储器设备可以耦合到处理器104，以使得处理器104可以从存储器设备读取信息，并向存储器设备写入信息。在可替换方案中，存储器设备可以集成到处理器104。作为示例，处理器104与示出为RAM 103和ROM 105的存储器设备可以驻留在ASIC中。实际上，航空器驾驶员座舱系统100的功能或逻辑模块/组件可以通过使用存储器设备中维护的程序代码来实现。例如，示出为RAM 103和ROM 105的存储器设备可以用于存储数据，所述数据用于支持航空器驾驶员座舱系统100的操作，如从以下描述将变得显而易见的。

无论处理器104如何具体实现，它都与地形数据库106、导航数据库108和至少一个显示设备116可操作地通信，并被耦合以从传感器112接收各种类型的惯性数据，并且从外部数据源114接收各种其它航空电子相关的数据。处理器104被配置为响应于惯性数据和航空电子相关的数据，选择性地从一个或多个地形数据库106检索地形数据，并且从一个或多个导航数据库108检索导航数据，并将适当的显示命令供给到显示设备116。显示设备116响应于显示命令而选择性地渲染(render)各种类型的文本、图形和/或图标信息。

地形数据库106包括表示航空器在其上飞行的地形的各种类型的数据，并且导航数据库108包括各种类型的导航相关数据。传感器112可以通过使用现在已知的或者将来开发的各种类型的惯性传感器、系统和或子系统来实现，用于供给各种类型的惯性数据，例如表示航空器的状态，包括航空器速度、航向和高度。ILS接收器118正好在着陆前和着陆期间为航空器提供水平(或定位器)与垂直(或滑翔斜率)导航，并且在某些固定点处，指示到特定跑道上的着陆参考点的距离。GPS接收器124是多信道接收器，其中每一个信道都被调谐以接收由绕地球轨道而行的GPS卫星(未图示出)的星座传输的一个或多个GPS广播信号。

如以上注意到的，显示设备116响应于从处理器104供给的命令，选择性地渲染各种文本、图形和/或图标数据，并且从而向用户109供给视觉反馈。将领会到，显示设备116可以使用适合于以用户109可查看的格式渲染文本、图形和/或图标信息的众多已知的显示设备中的任意一个来实现。这样的显示设备的非限制性示例包括各种多功能显示器(MFD)、近眼式装置(NTE)、投影显示器、阴极射线管(CRT)显示器、和平面屏幕显示器，诸如LCD(液晶显示器)和TFT(薄膜晶体管)显示器。显示设备116另外可以实现为屏幕装配的显示器，或者众多已知技术中的任何一个。另外注意到，显示设备116可以被配置为众多类型的航空器驾驶员座舱显示器的任意一个。例如，它可以被配置为多功能显示器、水平情形指示器、垂直情形指示器等。然而在所描绘的实施例中，至少一个显示设备116被配置为主飞行显示器(PFD)。

在操作中，显示设备116还被配置成处理针对主机航空器的当前飞行状态数据。在这点上，飞行状态数据的源生成、测量和/或提供与主机航空器的操作状态、主机航空器在其中操作的环境、飞行参数等相关的不同类型的数据。实际上，飞行状态数据的源可以使用线路可置换单元(LRU)、换能器、加速度计、仪器、传感器及其它众所周知的设备来实现。由飞行状态数据的源提供的数据可以包括但不限于：空速数据、地速数据；高度数据；姿态数据，包括俯仰数据和翻滚数据；偏航数据；地理定位数据，诸如GPS数据；时间/日期信息；航向信息；天气信息；飞行路径数据；航迹数据；雷达高度数据；几何高度数据、风速数据；风向数据；等，显示设备116适合地设计为以本文更详细描述的方式处理从飞行状态数据的源获得的数据。

图2图示出了根据在前提议的体积计算解决方案的等距视图。交互的体积的示例性实施例已经投影到显示设备116前面的空间中。显示设备116渲染区域200，其如上所述地控制航空器的功能。体积202表示对应于区域200的3D手势交互空间。体积202是对应于显示设备116的整个体积204的子集。在体积204内可以存在多个交互体积。提出的体积计算引擎根据一个或多个用户的位置与诸如202的一个或多个交互体积的边界而划分所感测的用户交互。在于2013年2月26日提交的题为“SYSTEM AND METHOD FOR INTERACTING WITH A TOUCHSCREEN INTERFACE UTILIZING A HOVER GESTURE CONTROLLER”的并且让与给本受让人的美国专利申请13/777,737中描述了提出的体积计算引擎，其教导通过引用并入在此。

图3是航空器驾驶员座舱300的图示，示出了用于机长的有效交互体积302和副驾驶员的有效交互体积304的位置。3D手势交互接口为每一个用户生成专用手势交互体积，例如，用于机长的专用手势交互体积和用于副驾驶员的专用手势交互体积。3D手势交互接口使得用户能够通过将交互的手的手臂放在扶手上来与驾驶舱系统交互。

图4是示出3D传感器402和对应的传感器体积404的航空器驾驶员座舱400的图示。用户的手臂410示出为放在座椅414的扶手408上。3D有效交互体积406被示出基本上围绕用户的手412。对应于用户的手的人机工程学和人体测量学而生成有效交互体积406，并且它是传感器体积404的子集。为了简化，将传感器体积404和有效交互体积406绘制为立方体，仿佛它们的边界是清楚的。实际上，和传感器体积404和有效交互体积406具有逐渐消失(taper off)的而不是清楚有界的边缘。

3D传感器402可以是电位计、光学技术、LIDAR、SONAR、电场成像传感器或者类似的设备。至少一个3D传感器402可以用于检测各种相关数据，诸如但不限于：手掌和手指的定位和位置，由手掌和手指做出的手势，座椅距驾驶舱仪表盘的定位和位置信息，扶手距驾驶舱仪表盘的定位和位置。3D(多个)传感器将相关数据提供给以下更详细描述的3D手势交互接口。

图5是用于在自动模式中的有效交互体积的构造的系统的一般化框图500。人机工程学手定位估计器508从存储器设备506接收在第一输入处的传感器数据和座椅定位数据502，在第二输入处的座椅位置数据504，和规格化的飞行员的手臂人体测量学和座椅模型。人机工程学手定位估计器508驱动有效交互体积生成器510。

有效交互体积的构造的自动模式基于飞行员的就座定位而生成预定义的有效交互体积(例如，图4中的有效交互体积406)。有效交互体积被生成为靠近飞行员的就座定位，并且将手势归因于为有效的、有意的和人机工程学的。落在有效交互体积外部的任何手势视为偶然的或乱真的，即使手势在传感器的体积范围内(例如图4中的3D传感器体积404)。

从诸如图4中的传感器402的传感器获得座椅定位数据502，并且传感器402还可以在机长的座椅与副驾驶员的座椅的位置之间进行区分。人机工程学手定位估计器508基于从存储器设备506获得的座椅位置数据504、座椅定位数据502和规格化的手臂人体测量学和座椅模型而驱动有效交互体积生成器510。

存储器设备506存储规格化的手臂人体测量学和座椅模型，用于为特定驾驶舱构造有效交互体积。存储在存储器设备506中的模型不是飞行员特定的；替代地，它们是一般化的，以考虑与第五百分位的男性和第九十五百分位的女性相关联的规格化尺寸。

图6是示出规格化手臂人体测量学模型的一些特征600的图示。扶手示为对象610。从肘部接触点608延伸到手掌顶端614的一般化臂长包括手掌底部关节602和规格化的手臂与扶手交叉点606。在604处示出了在中立定位的手与扶手之间的规格化角度。以箭头612示出了从手臂与手臂与扶手的交叉点606的规格化臂长。除了所示的特征以外，模型包括以下图8中示出的规格化手掌“部分”；由手势交互模型计算的手掌相对于手掌底部关节的规格化横向移动；和同样由手势交互模型计算的手掌相对于手掌底部关节的规格化垂直移动。

图7是示出座椅模型的特征的图示。座椅700耦合到扶手710。还示出了示为长度702的扶手延伸通过肘部接触点的长度，和扶手的高度704。座椅模型中还包括座椅定位和位置数据，其基于座椅相对于驾驶舱仪表盘706的基本上中央的点。

图8是示出由3D手势交互接口生成的所估计的人机工程学手定位的图示，利用了上述的规格化手臂人体测量学模型和上述的座椅模型。规格化手掌“部分”802示出在计算的手掌人机工程学移动体积800内。如下所述的，在与3D手势交互接口的手势交互期间识别手掌与手指的静态和动态特征。3D手势交互接口在有效交互体积的生成和视觉反馈的生成中及与存储的人体测量学模型相比较中采用规格化手掌部分802。一旦基于规格化手掌部分802生成了有效交互体积，用户就可以接受视觉反馈并由此开始手势交互(自动模式)，或者用户可以提供手势反馈以根据用户偏好而调整有效交互体积(飞行员发起的模式)。

图9是描述有效交互体积的构造的飞行员发起的模式的一般化框图900。诸如手势或按钮-按压的调整模式发起请求908由飞行员的手掌追踪器在其第一输入处接收，并且飞行员的手掌追踪器902接收飞行员的手姿势调整910，其从一个或多个传感器感测，诸如图4中的传感器402。飞行员的手掌追踪器902驱动有效交互体积生成器904，其进而驱动视觉反馈生成器906。有效交互体积生成器904生成基本上围绕用户的手的体积，其用于将手移动解释为有意的手势(例如参见图4中的有效交互体积406)。在调整模式中，有效交互体积生成器904追踪手掌，并针对给定用户的就座定位而确定有效交互体积。视觉反馈生成器906驱动一个或多个显示设备来显示图像和/或符号。在调整模式中，手掌的体积和线框(如图10中所示的)显示为对飞行员的视觉反馈；在飞行员通过特殊手势或硬按钮按压而存在(exist)调整模式时，使得这些元素不可见。

图10图示出了手掌和手指在手势交互体积1000内的视觉反馈。可以在构造有效交互体积的飞行员发起的模式期间生成该视觉反馈。显示飞行员的手掌和手指的符号表示1002。在手势识别期间，实时追踪飞行员的手掌和手指。随着执行手势，将手掌和手指的静态和动态特征的各方面与三维手势交互模型中的规则相比较，并在适当情况下识别为完整或部分有意的手势输入。将完整和部分有意的手势相比于手势交互模型，其解析有意的手势输入，并以此方式将其组合到完整手势的分量中。在以下更详细地描述完整手势的分量。在生成相关联的系统命令前，将完整手势与系统命令描述符相比较。

图11是有效交互体积的构造的飞行员发起的模式的流程图1100。流程图1100参考各种手势分量，诸如进入点手势和停止手势，其在以下进一步详细地描述。飞行员执行特殊的进入点手势(步骤1102)，其发起“有效体积调整模式”(步骤1104)。系统然后开始追踪飞行员的手掌和各个手指(步骤1106)，并显示飞行员的手掌和手指的实时视觉反馈(步骤1108)，如图10中所图示的。如上所述，飞行员能够观看视觉反馈，并做出调整。当飞行员已经根据偏好满意地定制了有效交互体积时，飞行员在步骤1110处执行特殊的停止手势，其终止“有效体积调整模式”。在“有效体积调整模式”终止时，在步骤1112处由系统登记体积定位和尺寸。然后根据飞行员的偏好而生成有效3D手势识别体积，并且结束调整(步骤1114)。一旦用户已经根据对于舒适和姿势的偏好而调整了手势识别体积，用户就可以开始以有效手势操作航空器，所述有效手势在本文定义为具有与3D手势交互模型中的规则相匹配的特征的手势。

图12是3D手势交互模型系统1200的详细框图。系统1200包括手势识别器1202、手势交互模型存储器设备1206、手势交互模型解析器1204和用户反馈生成器1210。系统1200中还包括系统命令生成器1212、用户反馈描述符存储器设备1208和系统命令描述符存储器设备1214。

在对应于飞行员使用3D手势交互的意图的保形提示的匹配时发起手势识别。如果飞行员手势输入1201在之前计算的有效交互体积内，则手势识别器1202为有效手势输入生成相关联的手势ID和有效性质量数据。有效生质量数据是用于指示手势识别成功的变量；即，系统设计者可以调整有效性质量，例如用以指示如何相对于计算的有效交互体积而执行手势。有效性质量的另一个使用可以是作为过滤器，用以改进对于选择的少数关键手势输入的交互完整性，在该青况下可以忽略全部非关键手势输入。

存储器设备1206中的手势交互模型存储3D手势交互规则，包含各个手势分量(例如进入点、手势开始、手势主体和手势结束)；每一个手势分量都可以具有明确的先决条件、视觉和听觉反馈、及下一个预期的手势分量，如以下图14中所示的。手势交互模型为手势交互所支持的每一个系统命令提供3D手势交互规则。

手势交互模型解析器1204从手势识别器1202接收手势ID和有效生质量，将手势解析成分量，并将分量与存储在存储器设备1206中的手势交互模型中的规则相比较。以此方式，手势交互模型解析器1204标识并验证用户的交互意图，并且支持用户反馈生成器1210和系统命令生成器1212。用户反馈生成器1210生成视觉和听觉用户反馈。系统命令生成器1212从手势交互模型解析器1204获得数据，将该数据与来自存储器设备1214中的系统命令描述符的数据相比较，并生成对应的系统命令。

用户反馈生成器1210从手势交互模型解析器1204获得数据，并且驱动至少一个显示单元1216，并可以驱动一个或多个可听设备1218。用户反馈生成器1210是针对手势指针、UI元素功能可供性、用户的手的符号表示等的数据源。手势指针是对应于UI元素(以下论述)或者用户的手势手和各个手指的指针的可视显示。由用户反馈生成器1210提供的手势指针功能性还解决了对应于两个不同用户的手势指针，其通过提供唯一的可视提示来帮助对应用户相关于与他们相关联的指针。例如，如果机长和副驾驶员二者在使用手势交互时共享相同的显示器，则一个手势指针可以显示为填充的圆圈，并且一个可以显示为其内具有三角形的圆圈。

飞行员可以聚焦于显示器上的对象上，并执行与显示上下文相关的手势，或者飞行员可以聚焦于别处，其中，通过以与显示上下文无关的方式执行手势来激活手势模式。如本文所述的，显示上下文相关是指对应于用户接口元素的那些手势交互，所述用户接口元素投影在多功能显示器(MFD)、近眼式装置(NTE)、投影显示器等上或者由它们投影。用户接口(UI)元素可以是旋钮、开关等。因而，“显示上下文”意指UI元素的可视表示对于用户显现为驾驶员座舱显示器上的对象。当手势旨在调整对于用户显现为显示器上的对象的UI元素时，将手势称为“显示上下文相关的”。为了安全地调整UI元素，必须首先将其锁定。通过以匹配于与锁定相关联的3D手势交互规则的特定运动动态而移动手势执行手指来锁定UI元素。当“锁定”了UI元素时，由用户执行的所有随后的手势都假定为旨在用于锁定的UI元素，并因此被路由到它。用户然后可以通过以匹配于另一个3D手势交互规则的特定运动动态而移动手势执行手指(“停止”手势)来解锁UI元素。UI元素锁定机制防止了起因于扰动的偶然控制功能激活，因为它需要特定手势动态来锁定和解锁每一个UI元素。

可以锁定一个或多个UI元素。对于每一个UI元素，存在一个或多个相关联的功能可供性，其允许用户完成任务。例如，上滚和下滚的任务是与滚动列表相关联的功能可供性。UI元素功能可供性视觉反馈1220可以适当地显示在UI元素上，以帮助用户回想与对应的UI元素相关联的手势。仅针对为交互而锁定的那些UI元素来显示功能可供性。

图13是与相关联的UI元素功能可供性1304重叠的UI元素1302的图示。如上所述，示例性的UI元素可以投影在一个或多个显示器上。UI元素1302是旋钮，并且上/下箭头是相关联的功能可供性的可视显示。

图14是用于面向显示上下文的手势交互的3D手势交互模型描述符1400的图示。还可以为与显示上下文无关的手势交互得出这个模型。先决条件对于3D手势交互模型描述符1400中的一些状态(下文中称为“状态”)是必要的。3D手势交互模型描述符的发起需要飞行员的交互的手在有效手势输入场内的先决条件和满足用以发起手势交互模式的特定手掌静态和动态属性的先决条件。对于关于手势的更详细的信息，参见以下的手势设计章节。

在识别了对应于飞行员使用3D手势交互的意图的保形提示时发起交互模型的第一状态，发起手势1402。飞行员可以聚焦于显示器上的对象上1404，并且执行与显示上下文相关的手势，或者飞行员可以聚焦于别处，其中，通过以与显示上下文无关的方式执行手势来激活手势模式1606。如上所述，显示上下文相关是指对应于多功能显示器(MFD)、近眼式装置(NTE)、投影显示器等的那些手势交互。

手势指针状态1408需要已经如上所述地激活了手势模式的先决条件。在这个状态中，手势指针是可视显示，其基于UI元素或执行的手势来追踪交互特征(单指针、双指针或三指针)。这个状态可以解决来自两个不同用户的手势指针，通过提供唯一可视处置来帮助对应用户关系到哪些指针与他们相关联。

在依赖于UI元素的情况下，可以发生UI锁定1410，其可以伴随有对用户的视觉和/或听觉反馈。在功能可供性1412状态处可以显示与已经在UI锁定1410中锁定的UI元素相关联的功能可供性。

执行手势1414状态需要使能了手势模式的先决条件和对于UI元素的锁定了UI元素的先决条件。在这个状态中，用户进行手势，并且系统处理对应的任务。在用户执行手势输入时，提供了保形视觉反馈。对于UI元素，如果锁定了UI元素，则处理所有随后的用户手势，用于UI元素功能可供性，直到处理了识别的停止手势为止。在检测到对应于相关联的功能可供性之一的完成手势或者停止手势时，自动解锁UI元素。

在系统响应1416状态中，可以提供视觉和/或听觉反馈以反映成功识别的并完成的手势。在手势结束1418中，视觉反馈指示成功完成的手势。

手势可以分解成称为手势分量的语义分量。完整手势可以包括一个或多个手势分量；定义手势分量及其关联的规则由3D手势交互接口生成，并存储为3D手势交互模型。相关联的规则可以要求对于手势分量存在先决条件。即将发生的手势的最初始分量称为“进入点”。进入点必须满足用以发起3D手势交互接口的手势模式的最小静态和动态要求。可控进入点要求可以用于验证手势意图，及用于拒绝乱真手势，乱真手势具有与有效手势之一相同的静态和动态特征。紧接着进入点之后，手势开始。

手势以“开始手势”开始，并且然后手势的主要语义部分开始。下文中将主要语义部分称为“手势主体”。“符号手势”的手势主体具有静态和动态属性的完整简档；对于符号手势，手势识别成功基于完整手势主体的接收。相反，一些手势是连续的或者“追踪的手势”，其中，手势主体充当运动参考，并且可能没有达到其完成。实时评估所追踪的手势的手势识别成功，并且其基于满足特定动态要求。“手势结束”分量可以是手势主体的部分，诸如在连续手势中，或者可以是分离的分量，诸如在符号手势中。

不论是符号的还是追踪的，所有手势分量都具有最小动态性能。最小动态性能通过减少偶然手势输入来提供鲁棒性。3D手势交互接口在手势指针的动态特性的生成中利用手势动态。可以通过将各种完整手势和/或手势分量分组到分量组中来生成系统命令、任务或系统应用。

用例

用户可以以各种方式与3D手势交互接口交互。为了帮助理解，以下提供非穷举性的示例。

1.手势移动-扫视(pan)。这是在固定的所选范围处浏览导航显示器的手势示例。

a.用户：以一个或两个手指执行指点手势。

b.用户：与导航显示器进行视觉接触。

c.系统：应答手势模式。

d.用户：在期望方向上移动手掌的指点部分。

e.系统：以适当的动态缩放因子移动地图。这个因子负责相对于扫视手势的实际扫视动态(地图移动的速度、加速度和距离)。

f.用户：将手势端部(head)带回到(基本上)中立定位，以发起随后的手势。

手势端部是对执行手势的用户的手进行界限的3D区域。例如，在指点手势中，包围用户的手指或手指组的逻辑3D区域是手势端部。手势识别系统追踪这个手势端部，并相应地移动手势指针。

2.手势移动-保持-扫视

a.用户：以一个或两个手指执行指点手势。

b.用户：与导航显示器进行视觉接触。

c.系统：应答手势模式。

d.用户：依据(c)，将手势端部移至期望方向。

e.系统：根据在(d)中录入的手势端部定向而开始移动地图。

f.用户：将手势端部保持到(基本上)相同的定位。

g.系统：以恒定速度在指定方向上继续移动地图。这个速度可配置。它可以是恒定系统参数或者它可以与输入手势的动态属性直接成比例。

h.用户：执行“敲击”手势。

i.系统：停止移动地图。

3.改变地图范围

a.用户：以一个或两个手指执行指点手势。

b.用户：与导航显示器进行视觉接触。

c.系统：应答手势模式。

d.用户：开始顺时针或逆时针手势。

e.系统：在完整预期的圆形循环的至少60％后证实输入手势。

f.系统：在根据(e)的圆形循环的证实后，根据手势而改变地图范围。

g.用户：继续手势直到实现期望的范围。

4.航路点选择——这个导航示例可以用于将手势指针速动(snap)到在手势移动的方向上的下一个可用交互元素。

a.用户：以一个或两个手指执行指点手势。

b.用户：与导航显示器进行视觉接触。

c.系统：应答手势模式。

d.用户：在期望方向上移动手势端部。

e.系统：显示手势指针。

f.用户：向目标航路点移动手势端部。

g.系统：强调固定航路点(或者视觉/听觉反馈)。

h.用户：在强调航路点时执行“敲击”手势。

i.系统：适当时给出视觉/听觉反馈。

5.指向(目的地)

a.用户：按压“交谈”以便说话。

b.用户：说出“指向”目的地。

c.系统：指向功能反馈(视觉)。手势识别系统视觉上应答指向命令被激活，并等待飞行员对于要对其执行指向的航路点的输入。视觉反馈可以是“指向”标签，其显示在导航显示器上的专用区域上，或者可以是在追踪用户眼睛凝视时以预定义的偏移浮动在显示器上的标签，以使得在目标航路点的定位期间，标签不遮闭飞行员见到的任何实际对象。

d.用户：做出指点手势。

e.用户：与导航显示器进行视觉接触。

f.系统：应答手势模式。

g.系统：显示手势指针。

h.用户：向目标航路点移动手势端部。

i.系统：给出视觉/听觉反馈，用于航路点固定。

.j.用户：通过“单击”或“双击”执行“选择”手势。

k.系统：完成指向操作的视觉/听觉反馈。

尽管在本发明的前述具体实施方式中已呈现了至少一个示例性实施例，但应领会到，存在大量的变型。还应领会到，一个示例性实施例或者多个示例性实施例仅仅是示例，并非旨在以任何方式限制本发明的范围、适用性或配置。相反，前述具体实施方式将为本领域技术人员提供用于实现本发明的示例性实施例的便捷路线图。理解的是，在不脱离如所附权利要求中阐述的本发明的范围的情况下，可以在示例性实施例中所述的元件的功能和布置中做出各种改变。

Claims (10)

1.一种用于操作航空器的方法，所述方法包括：

基于用户手臂和手相对于飞行员支撑装置的位置，生成基本上围绕用户手的有效交互体积；

在有效交互体积内执行的手势指示有效手势输入时进行识别；以及

生成相关联的系统命令。

2.根据权利要求1所述的方法，其中，飞行员支撑装置包括耦合到扶手的座椅；以及

其中，生成有效交互体积的步骤包括：

相对于至少一个传感器而定位扶手；以及

基于座椅、扶手和所述至少一个传感器的定位和位置而构造有效交互体积。

3.根据权利要求2所述的方法，其中，生成有效交互体积的步骤还包括：

感测用户的手掌和手指在有效交互体积内的定位；以及

分析扶手的长度、扶手的高度、在扶手与手臂之间的角度、手掌末端点、手掌底部关节、肘部-扶手接触点和座椅位置中的至少之一。

4.根据权利要求1所述的方法，其中，识别的步骤包括：

生成包括多个规则的三维手势交互模型，其中，所述规则包括一个或多个有效手势分量；

在有效交互体积内做出的手势期间，区分手掌与手指的静态和动态特征；

解析手掌与手指的静态和动态特征；以及

将手掌与手指的静态和动态特征与在三维手势交互模型中定义的规则相比较。

5.根据权利要求4所述的方法，还包括：

基于三维手势交互模型，将一个或多个解析的特征分组到分量组中；以及以下的至少之一：

i)从用户反馈数据源获得用户反馈描述符，将分量组与用户反馈描述符相比较，以及生成视觉和听觉用户反馈；以及

ii)从系统命令数据源获得系统命令描述符，以及将分量组与系统命令描述符相比较。

6.根据权利要求5所述的方法，其中，生成视觉反馈的步骤至少包括以下之一：

i)生成手势指针，以及在显示单元上显示手势指针；以及

ii)基于任务而生成表示用户的手掌与手指的三维图像，以及在显示单元上显示所述三维图像。

iii)根据权利要求6所述的方法，其中，生成视觉反馈的步骤包括：

生成表示用户接口元素的图像，所述用户接口元素具有至少一个相关联的功能可供性；以及

在显示单元上显示所述图像。

7.一种航空器机载的体积计算系统，包括：

飞行员支撑装置；

传感器；

显示设备；以及

处理器，所述处理器耦合到飞行员支撑装置、传感器和显示器，所述处理器被配置为(a)基于用户手臂和手相对于飞行员支撑装置的位置，生成基本上围绕用户手的有效交互体积；(b)在有效交互体积内执行的手势指示有效手势输入时进行识别；以及(c)生成相关联的系统命令。

8.根据权利要求7所述的系统，其中，飞行员支撑装置包括：

扶手，所述扶手耦合到座椅；以及

其中，所述处理器还被配置为基于座椅、扶手和传感器的定位和位置，构造预定的传感器体积。

9.根据权利要求8所述的系统，其中，所述处理器还被配置为：

感测用户的手掌和手指在预定的传感器体积内的定位；以及

分析扶手的长度、扶手的高度、在扶手与手臂之间的角度、手掌末端点、手掌底部关节、肘部-扶手接触点和座椅位置中的至少之一。

10.根据权利要求7所述的系统，还包括：

三维手势交互模型数据源，其中，模型数据源耦合到处理器，以及其中，模型数据包括与一个或多个有效手势分量相关联的多个规则；以及

其中，所述处理器还被配置为：(a)在有效交互体积内做出的手势期间，区分手掌与手指的静态和动态特征；(b)解析手掌与手指的静态和动态特征；以及(c)将解析的特征与在三维手势交互模型中定义的规则相比较。