CN104951068A - 用于提供音频信息的手势控制的系统和方法 - Google Patents
用于提供音频信息的手势控制的系统和方法 Download PDFInfo
- Publication number
- CN104951068A CN104951068A CN201510129492.9A CN201510129492A CN104951068A CN 104951068 A CN104951068 A CN 104951068A CN 201510129492 A CN201510129492 A CN 201510129492A CN 104951068 A CN104951068 A CN 104951068A
- Authority
- CN
- China
- Prior art keywords
- gesture
- audio
- audio frequency
- processor
- palm
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 34
- 230000003993 interaction Effects 0.000 claims description 35
- 230000003068 static effect Effects 0.000 claims description 14
- 230000002452 interceptive effect Effects 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 12
- 230000008569 process Effects 0.000 description 10
- 238000004891 communication Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 210000003811 finger Anatomy 0.000 description 6
- 230000004044 response Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000007246 mechanism Effects 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 230000001149 cognitive effect Effects 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000001755 vocal effect Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 210000004247 hand Anatomy 0.000 description 2
- 230000000977 initiatory effect Effects 0.000 description 2
- 230000000712 assembly Effects 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 230000005684 electric field Effects 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 210000005224 forefinger Anatomy 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 230000007474 system interaction Effects 0.000 description 1
- 230000026676 system process Effects 0.000 description 1
- WBWWGRHZICKQGZ-HZAMXZRMSA-M taurocholate Chemical compound C([C@H]1C[C@H]2O)[C@H](O)CC[C@]1(C)[C@@H]1[C@@H]2[C@@H]2CC[C@H]([C@@H](CCC(=O)NCCS([O-])(=O)=O)C)[C@@]2(C)[C@@H](O)C1 WBWWGRHZICKQGZ-HZAMXZRMSA-M 0.000 description 1
- 239000010409 thin film Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/162—Interface to dedicated audio devices, e.g. audio drivers, interface to CODECs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
- B64D43/00—Arrangements or adaptations of instruments
-
- G—PHYSICS
- G08—SIGNALLING
- G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
- G08C2201/00—Transmission systems of control signals via wireless link
- G08C2201/40—Remote control systems using repeaters, converters, gateways
-
- G—PHYSICS
- G08—SIGNALLING
- G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
- G08C23/00—Non-electrical signal transmission systems, e.g. optical systems
- G08C23/04—Non-electrical signal transmission systems, e.g. optical systems using light waves, e.g. infrared
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Health & Medical Sciences (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明涉及用于提供音频信息的手势控制的系统和方法。提供了一种用于控制驾驶舱应用中的音频信息的基于3D手势的接口。所述系统和方法利用简单、直观3D手势的集合,并且卸下飞行员搜索特定音频设备控制的负担。所述系统和设备是直观的并且使得飞行员能够在干扰必需音频信息之前快速地使非必需音频信息静声或减弱。
Description
技术领域
本文描述的主题的实施例一般地涉及航空电子通信系统。更特别地,本文描述的主题的实施例涉及用于提供基于三维(3D)手势的接口以用于控制驾驶舱应用中的音频信息的系统和方法。
背景技术
飞行员负责在飞行操作期间监控相当大量的信息。除了由航空电子显示系统所提供的大量视觉信息之外,还存在驾驶舱音频信息的多个源。例如,驾驶舱音频信息可以来自外部或内部源(例如,无线电装置、对讲机等等)并且包括来自多个无线电装置的无线电通信、方向、言语警告、警报等。一个或多个音频设备响应于系统音频命令而将音频数据转换成音频信息。可以存在于航空系统中的音频设备的示例包括无线电装置、对讲机等等。各种音频设备一般是独立的,均具有用以静声(silence)或取消将音频数据转换成音频信息(也称作音频信息的生成)的专用机制;所述用以静声或取消音频信息的生成的机制可以是取消按钮、音量控制、选择按钮等等。
独立的音频设备偶尔同时生成音频信息,从而彼此干扰并且抑制理解。响应于音频信息的重叠分量,飞行员或机组人员可以经由音量控制旋钮或其它专用的静声或取消机制来降低来自给定音频设备的声音,或者请求重复该音频信息。在控制面板中搜索专用控制和/或请求重复该信息耗费时间并且增加认知工作量。
在复杂的航空电子操作期间,认知工作量方面的增加和/或对于理解音频信息的所有分量所需的时间方面的增加尤其不合期望。因此,一种使得飞行员能够快速地使非必需的音频信息静声或减弱的系统和方法是合期望的。特别地,使得飞行员能够利用一个或多个直观手势来使非必需的音频信息静声或减弱是合期望的。
鉴于前述,将会合期望的是提供一种用于控制驾驶舱应用中的音频信息的基于3D手势的接口。所期望的系统和方法将会在一般采用手部移动的当前可用的3D手势识别接口之上加以改进。如本文所提及的,手势具有特定的运动动态并且包括用户的手掌和手指的一个或多个静态或动态分量。通过添加简单、直观的3D手势的集合来生成音频命令并且将它们应用于音频设备,一种合期望的系统卸去飞行员在控制面板中搜索用于给定音频设备的静声或取消机制的负担。合期望的系统是直观的并且使得飞行员能够在非必需的音频信息与必需音频信息干扰之前快速地使非必需音频信息静声或减弱。用于音频信息的简单、直观的手势控制减少认知工作量,并且增强用户的总体体验。
发明内容
提供本概要来以简化的形式介绍概念的选择,所述概念以下在具体实施方式中被进一步描述。本概要不旨在标识所要求保护的主题的关键特征或必需特征,也不旨在用作帮助确定所要求保护的主题的范围。
提供了一种用于对飞行器中的至少一个音频设备进行手势控制的方法。检测用户的手臂和手相对于有效交互体积的定位和移动。所述方法识别何时在有效交互体积内执行的手势指示有效音频控制手势。生成与有效音频控制手势一致的音频控制命令。音频控制命令然后应用于所述至少一个音频设备。
还提供了一种用于对飞行器中的至少一个音频设备进行手势控制的系统。所述系统包括手势交互规则的源、传感器和处理器。处理器耦合到音频设备、手势交互规则的源和传感器。处理器被配置成:(a)检测用户的手臂和手相对于有效交互体积的定位和移动,(b)识别何时在有效交互体积内执行的手势指示有效音频控制手势,和(c)确定与有效音频控制手势一致的音频控制命令。音频设备被配置成根据音频控制命令而生成音频信息。
还提供了一种用于对飞行器中的至少一个音频设备进行手势控制的方法。创建了基于至少一个传感器的定位和位置的有效交互体积。所述方法识别何时用户的手掌和手指在有效交互体积内的静态和动态移动指示有效音频控制手势。确定与有效音频控制手势一致并且与预定的音频数据优先级方案一致的音频命令。由至少一个音频设备根据音频控制命令而生成音频信息。
其它合期望的特征将从以下结合附图和本背景技术的具体实施方式和随附的权利要求中变得显而易见。
附图说明
当结合以下各图来考虑时,通过参照以下具体实施方式和权利要求可以得到对主题的更完整的理解,其中同样的附图标记贯穿各图指代类似的元件,并且其中:
图1是包括显示器和手势控制器的飞行器驾驶员座舱(cockpit)系统的框图;
图2图示了体积(volumetric)计算解决方案的等距视图;
图3图示了与图2的体积计算系统中的体积进行交互的用户;以及
图4是根据实施例的音频手势控制器过程的流程图。
具体实施方式
以下具体实施方式在本质上仅仅是说明性的并且不旨在限制主题或本申请的实施例以及这样的实施例的使用。本文描述为示例性的任何实现方式不一定被解释为相对于其它实现方式是优选或有利的。此外,没有意图通过在前述技术领域、背景技术、发明内容或以下具体实施方式中呈现的任何表述的或暗含的理论来进行限制。
本文可以在功能和/或逻辑块组件方面并且参照可以由各种计算组件或设备执行的操作、处理任务和功能的符号表示来描述技术和科技。这样的操作、任务和功能有时称作计算机执行的、计算机化的、软件实现的、或计算机实现的。实际上,一个或多个处理器设备可以通过操纵表示系统存储器中存储器位置处的数据位的电信号以及对信号的其它处理来执行所描述的操作、任务和功能。其中维持数据位的存储器位置是物理位置,其具有对应于数据位的特定的电学、磁性、光学或有机属性。应当领会到,图中示出的各种块组件可以由被配置成执行所指定功能的任何数目的硬件、软件和/或固件组件来实现。例如,系统或组件的实施例可以采用各种集成电路组件,例如存储器元件、数字信号处理元件、逻辑元件、查找表等等,其可以在一个或多个微处理器或其它控制设备的控制下执行各种功能。
为了简明的缘故,与图形和图像处理、传感器以及某些系统和子系统(及其单独的操作组件)的其它功能方面有关的常规技术在本文中可以不进行详细描述。此外,在本文包含的各图中示出的连接线旨在表示各种元件之间的示例性功能关系和/或物理耦合。应当注意到,许多可替换的或附加的功能关系或物理耦合可以存在于主题的实施例中。
本文公开的是用于控制音频设备的基于3D手势的接口。该接口在本文中称作“手势控制器”。至少一个传感器耦合到手势控制器中的处理器。手势控制器执行多个任务;它检测飞行员手的位置并且相应地调整相关联的有效感测体积,并且它通过检测手掌和各个手指的定位和运动而解释手势,如下文所述。手势控制器使得用户或开发者能够在不与系统进行物理接触的情况下与航空电子系统交互以激活控制功能。该接口将系统扩展到用户的输入所导向的特定操作系统或应用的限制之外。为了解释的目的而在本文呈现的是某些示例性实施例,其说明了可以如何采用手势控制器。例如,将讨论适合于用于控制航空应用中的音频信息的手势控制器的实施例。
本文描述的实施例仅仅是示例并且用作用于在任何工业、商业、航空或消费电子应用中的任何用户接口上实现本文的新颖系统和方法的指导。因而,本文呈现的示例旨在为非限制性的。
图1是包括显示器和手势控制器的飞行器驾驶员座舱系统的框图。飞行器驾驶员座舱系统100包括手势控制器102,其包括存储器模块104和处理器106,耦合到至少一个音频设备108。用户110经由耦合到手势控制器102的一个或多个用户接口112与飞行器驾驶员座舱系统100交互。手势控制器102耦合到图形模块116,其驱动显示设备118以产生显示120。一个或多个数据库114可以耦合到图形模块116。另外,手势控制器102耦合到通信系统122、飞行管理系统124、和导航系统126。手势控制器102内的处理器106和存储器模块104执行手势交互解析器操作,其在图4中讨论。以下是对飞行器驾驶员座舱系统100中各种组件的更详细描述。
音频设备108可以是适合于将音频数据转换成以警告、方向、声音或言语信息的形式的音频信息的一个或多个设备。音频设备108通过将音频数据转换成音频信息而对音频命令进行响应。音频数据可以来自被耦合到手势控制器102的源的任何组合,所述源诸如被配置成生成音频数据的导航系统126、通信系统122、飞行管理系统124或飞行器驾驶员座舱系统100内的其它源。示例音频设备包括无线电装置、对讲机、警报器和喇叭。
导航系统126包括一个或多个无线接收器128、导航数据库130、和机载传感器132。无线接收器128从诸如跑道感知和建议系统(RAAS)、仪表着陆系统(ILS)、交通碰撞避免系统(TCAS)以及地形避免和警告系统(TAWS)、天气数据信息源等等的源接收无线信息。
处理器106可以用通用处理器、内容可寻址存储器、数字信号处理器、专用集成电路、现场可编程门阵列、任何合适的可编程逻辑器件、离散门或晶体管逻辑、离散硬件组件、或被设计成执行本文所述功能的任何组合来实施或实现。处理器设备可以实现为微处理器、控制器、微控制器、或状态机。此外,处理器设备可以实现为计算设备的组合,例如数字信号处理器和微处理器、多个微处理器、一个或多个微处理器结合数字信号处理器核、或任何其它这样的配置的组合。在所描绘的实施例中,处理器106耦合到至少一个存储器模块104,其可以包括诸如RAM(随机存取存储器)和/或ROM(只读存储器)之类的存储器设备。控制处理器106的程序指令、操作系统软件、各种操作模式软件例程和各种操作参数、以及执行示例性实施例的软件可以存储在存储器模块104的RAM和/或ROM的各种组合中。除了存储在存储器中的前述提及的指令和参数之外,下文讨论的手势交互模型和规则也被存储在存储器模块104中。将领会的是,这仅仅是用于存储操作系统软件和软件例程的一个方案的示范,并且可以实现各种其它存储方案。
存储器模块104中所包括的存储器设备可以实现为RAM存储器、闪速存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移除盘、CD-ROM、或本领域已知的任何其它形式的存储介质。在这点上,存储器设备可以耦合到处理器106以使得处理器106可以从存储器设备读取信息以及向存储器设备写入信息。在可替换方案中,存储器设备可以集成到处理器106。作为示例,处理器106和存储器模块104可以驻留在ASIC中。实际上,飞行器驾驶员座舱系统100的功能或逻辑模块/组件可能通过使用存储器设备中所维持的程序代码来实现。例如,存储器设备可以用于存储被用于支持飞行器驾驶员座舱系统100的操作的数据,如将从以下描述中变得显而易见的。
无论处理器106如何具体实现,它都与通信系统122、飞行管理系统124和导航系统126进行可操作通信。处理器106被耦合以经由无线接收器128而从机载传感器132、导航数据库130和外部导航数据源接收各种类型的航空电子有关的数据。处理器106被配置成响应于航空电子有关的数据而从一个或多个地形数据库134选择性地检索地形数据以及从一个或多个导航数据库130选择性地检索导航数据,并且生成相关联的系统命令。例如,处理器106向显示设备118供应适当的显示命令,并且作为响应,显示设备118选择性地再现(render)各种类型的文本、图形和/或图标信息。另外,处理器106协调手势控制器102内的数据和信号,使得手势控制器102向一个或多个音频设备108供应适当的音频命令,并且作为响应,一个或多个音频设备108生成以警报、言语信息、声音、警告等形式的可听信息。
地形数据库134包括表示飞行器正在其之上飞行的地形的各种类型的数据,并且导航数据库130包括各种类型的导航有关数据。机载传感器132可以通过使用现在已知或将来开发的各种类型的惯性传感器、系统和或子系统来实现,用于供应各种类型的惯性数据,其例如表示飞行器的状态,包括飞行器速度、航向和高度。导航系统126还接收这样的信息:其恰好在着陆前以及在着陆期间为飞行器提供水平(或定位器)和垂直(或滑翔斜率)引导,并且在某些固定点处指示距在特定跑道上着陆的参考点的距离,以及由绕地球轨道而行的GPS卫星(未图示)的星座(constellation)所传输的GPS广播信号。
如以上注意到的,显示设备118响应于从处理器106所供应的命令,选择性地再现各种文本、图形和/或图标数据,并且从而向用户110供应视觉反馈。将领会的是,显示设备118可以通过使用适合于以用户110可查看的格式来再现文本、图形和/或图标信息的众多已知显示设备中的任一个来实现。这样的显示设备的非限制性示例包括各种多功能显示器(MFD)、近眼式装置(NTE)、投影显示器、阴极射线管(CRT)显示器以及平面屏幕显示器,诸如LCD(液晶显示器)和TFT(薄膜晶体管)显示器。显示设备118可以被另外实现为屏幕装配的显示器、或众多已知技术中的任一个。另外注意到,显示设备118可以被配置为众多类型的飞行器驾驶舱显示器中的任一个。例如,它可以被配置为多功能显示器、水平情形指示器、垂直情形指示器等等。然而,在所描绘的实施例中,至少一个显示设备118被配置为主飞行显示器(PFD)。
在操作中,显示设备118还被配置成处理针对主机飞行器的当前飞行状态数据。在这点上,飞行状态数据的源生成、测量、和/或提供与主机飞行器的操作状态、主机飞行器操作于其中的环境、飞行参数等等有关的不同类型的数据。实际上,飞行状态数据的源可以通过使用线路可置换单元(LRU)、换能器、加速度计、仪器、传感器和其它众所周知的设备来实现。由飞行状态数据的源所提供的数据可以包括但不限于:空速数据;地速数据;高度数据;姿态数据,包括俯仰(pitch)数据和翻滚数据;偏航数据;地理定位数据,诸如GPS数据;时间/日期信息;航向信息;天气信息;飞行路径数据;航迹数据;雷达高度数据;几何高度数据;风速数据;风向数据;等等。显示设备118被合适地设计成以本文更详细描述的方式来处理从飞行状态数据的源所获得的数据。
用户接口112包括至少一个三维(3D)传感器,其可以是电位计、光学技术、LIDAR、SONAR、电场成像传感器或类似设备。至少一个3D传感器可以用于检测各种相关数据,诸如但不限于:手掌和手指的定位和位置,由手掌和手指做出的手势,以及用户的手距驾驶舱仪表板的定位和位置。一个或多个3D传感器向手势控制器102提供相关数据,如下文更详细描述的。用户接口112还可以包括以下各项中一个或多个的任何组合:小键盘、触摸板、键盘、鼠标、触摸屏、操纵杆、旋钮、麦克风、话音识别或者被适配成从用户接收输入的另一个合适设备。
手势控制器102处理命令、系统信息、音频数据和用户输入,并且生成适合于控制一个或多个音频设备108的音频命令。当音频命令被应用于音频设备时,音频设备通过相应地生成音频信息或使音频信息静声来进行响应。
图2图示了体积计算解决方案的等距视图。用户接口112中所包括的所述至少一个三维(3D)传感器在要在手势控制器102的手势控制中使用的交互体积的生成中被采用。交互体积的示例性实施例已经投影到显示器206前方的空间中,然而,能够领会的是,交互体积不要求相关联的显示器。在示例性实施例中,显示设备118再现如上所述地控制飞行器的功能的区域200。因而,体积202表示对应于区域200的3D手势交互体积。在所示的实施例中,体积202是对应于显示120的整个体积204的子集。任何生成的交互体积(诸如体积202)可以用于获得针对多于一个音频源的输入/控制,并且交互体积可以独立于显示器而生成。所提出的体积计算引擎根据一个或多个用户的位置以及一个或多个交互体积(诸如202)的边界来划分所感测的用户交互。在一些实施例中,可以针对右手和针对左手生成交互体积。所提出的体积计算引擎在2013年2月26日提交的、题为“SYSTEM AND METHOD FOR INTERACTING WITH A TOUCH SCREEN INTERFACE UTILIZING A HOVER GESTURE CONTROLLER ”并且被让与本受让人的美国专利申请13/777,737中被描述,其教导通过引用被并入于此。
为了简化的缘故,传感器体积和有效3D手势交互体积被立方体地绘制,仿佛它们的边界是清晰的。实际上,和传感器体积和有效3D交互体积具有被较少限定并且可能逐渐变细而不是被清晰地划界的边缘。
图3图示了与诸如图2的体积计算系统之类的感测体积进行交互的用户。在图3中,用户302在对应于区域306的3D交互体积304内有效地交互。在显示308外部发生的用户手势不生成对应的区域306或对应的有效3D交互体积304,并且因此不被检测和转换成系统命令。手势控制器102可以生成针对每个用户的专用有效3D手势交互体积,例如用于机长的专用手势交互体积和用于副驾驶员的专用手势交互体积,或者可以生成一个或多个共享的交互体积。在一些实施例中,用户可以具有针对每只手的交互体积,并且例如,右手可以用于控制方向区域(诸如,向前或后)或右音频通道,并且左手可以用于控制不同的方向区域(诸如,向前或后)或左音频通道。在另一示例中,手可以捧握在耳旁以用手势表示音频方面的增加。手势控制器102的示例性实施例使得用户能够通过利用与显示器相关联的有效交互体积来与驾驶舱系统交互,然而,可以在没有相关联的显示器的情况下生成交互体积。下文更详细地描述手势识别。
在手势识别期间,实时追踪飞行员的手掌和手指。以下是缩略的讨论,并且详细讨论可以在2014年1月30日提交的、题为“A SYSTEM AND METHOD FOR PROVIDING AN ERGONOMIC THREE-DIMENSIONAL, GESTURE BASED, MULTIMODAL INTERFACE FOR USE IN FLIGHT DECK APPLICATIONS”并且被让与本受让人的美国专利申请14/168426中找到,其教导通过引用被并入在此。在执行手势时,手掌和手指的静态和动态特征的各方面与三维(3D)手势交互模型中的规则相比较,并且在适当的情况下被识别为整体或部分的有意的手势输入。将整体和部分的有意的手势与手势交互模型相比较,其以此方式解析有意的手势输入并且将其组合到完整手势的分量中。以下更详细地描述完整手势的分量。在生成相关联的系统命令之前,将完整的手势与系统命令描述符相比较。
在对应于飞行员使用3D手势交互的意图的保形提示的匹配时发起手势识别。如果飞行员手势输入在之前计算的有效交互体积(诸如3D交互体积304)内,则生成被称作有效手势输入和相关联的手势ID和有效性质量数据的变量。有效性质量数据是用于指示手势识别成功的变量;即,系统设计者可以调整有效性质量,例如以指示如何相对于所计算的有效交互体积而执行手势。音频控制手势规则的库可以包括用于确定手势的意图性的静态和动态时间要求。时间要求有时被视为“保持”时间或“停留”时间,并且相关联的信息被用于手势ID和有效性质量的评估中。以此方式,手势控制器102标识并验证用户的交互意图,并且支持经由显示设备118的任何相关联的用户反馈,以及生成驱动一个或多个音频设备108的系统命令。
根据实施例,音频控制手势是被用于生成音频命令以使音频数据静声、减弱或重新开始的手势,被谨慎选择成是直观的,并且由规则集合组成。例如,在手势中举起食指通常用于指示“等待”,或者在手势中举起张开的手通常用于指示“停止”。在对话和社交场合的过程中,在个体之间通常使用这些相同的手势。同样地,诸如举起捧握成杯状的手到耳边以试图倾听,或者通常用于鼓励另一人向前过来的运动中手掌向上并且手指朝向做手势的人移动而伸出手之类的手势可以用于重新开始音频数据。
示例性实施例使得用户能够根据下文更详细描述的优先级方案而将给定音频控制手势与一个或多个特定音频设备(目标音频设备)相关联。这样的音频控制手势可以以单个设备或多个设备为目标(例如,根据方向优先级或区域优先级,根据左手或右手等等)。在实施例中,用户可以可选地采用“定时的静声”,这通过为音频静声命令持续而设置预定量的时间。在这样的实施例中,当预定量的时间已经到期时,音频静声命令结束,并且目标音频设备重新开始生成音频信息。利用定时的静声选项使用户从执行附加的重新开始手势以促使音频设备重新开始生成音频信息中解脱。
以上介绍并且存储在存储器模块104中的3D手势交互模型包括音频控制手势规则的库。3D手势交互模型包含单独的手势分量(手势分量可以包括以下中的任一个:进入点、手势开始、手势主体和手势结束);每个手势分量可以具有明确的先决条件、视觉和听觉反馈以及下一个预期的手势分量。手势交互模型提供针对手势交互所支持的每个系统命令的3D手势交互规则。控制音频数据的系统命令(即音频命令)被包括在手势交互规则内。
在示例性实施例中,在3D手势交互体积内提供的“发起手势”开始手势交互。手势控制器102以识别对应于飞行员使用3D手势交互的意图的保形提示而继续进行。在发起了手势之后,用户执行如上文所述的音频控制手势。在“执行音频控制”状态期间,用户做手势并且系统处理对应的任务,从而相应地驱动一个或多个音频设备108。当用户在执行手势输入的同时,可以提供保形视觉反馈。在示例性实施例中,当用户期望停止手势交互时,用户执行停止手势。发起手势和停止手势可以不存在于所有实施例中,或者可以从一个实施例到另一个地变化,以上介绍的并且存储在存储器模块104中的3D手势交互模型包括用于每个实施例的音频控制手势规则的库。
在系统响应状态中,视觉和/或音频反馈可以被提供以反映成功识别的、正在进行的或完成的手势。在检测到停止手势的情况下,音频或视觉反馈指示成功完成的手势。
手势可以被分解成被称作手势分量的语义分量。完整的手势可以包括一个或多个手势分量;定义手势分量及其关联的规则由3D手势交互接口生成并且存储为3D手势交互模型。相关联的规则可以要求对于手势分量存在先决条件。即将发生的手势的最初始分量被称作“进入点”。进入点必须满足用以发起3D手势交互接口的手势模式的最小静态和动态要求。可控的进入点要求可以用于验证手势意图性并且用于拒绝伪(spurious)手势,所述伪手势具有与有效手势之一相同的静态和动态特征。紧接在进入点之后,手势开始。对于关于手势分量的更多细节,参照上文引用的专利申请。
图4是根据实施例的音频手势控制器过程的流程图。在步骤402处,在有效手势交互体积(例如,3D交互体积304)中感测飞行员手势输入。在步骤404处,手势控制器102内的手势交互解析器标识手势的静态和动态方面,并且将它们相对于存储器模块104中所存储的手势交互模型进行比较。如果在步骤406处飞行员手势输入被识别成是有效音频控制手势,则所述过程根据下述音频数据优先级方案而将有效音频控制手势与一个或多个目标音频设备相关联。在一个实施例中,用以使音频数据静声或减弱的音频控制手势(步骤408)遵循与用以重新开始音频数据的音频控制手势分离的路径(步骤410)。
优先级检查将与来自步骤406的音频命令相关联的目标音频设备与在预定音频数据优先级方案中找到的重要性水平进行比较。响应于根据优先级方案的重要性水平,音频命令可以被过滤并且应用于一个或多个音频设备。优先级检查包括但是不限于评估音频数据的可用源(音频源)并且向各种音频源分配音频数据优先级。
预定的音频数据优先级方案可以按重要性来为音频源分类(例如,某些天气警告可以比某些对讲机通告具有更高的重要性),并且可以按方向或区域来为音频设备分类(例如,在前方和在尾部的音频设备,和/或飞行器的左侧和飞行器的右侧)。预定的音频优先级方案可以先验地加载到存储器模块104中,可以由用户110经由用户接口112的组件录入,和/或可以由用户经由用户接口112而在航空电子系统的操作期间的任何时候进行变更。在一个实施例中,步骤408和步骤410包括根据预定的音频数据优先级方案的优先级检查。
在步骤412处,生成音频命令,音频命令当应用于目标音频设备时引起来自音频设备的相关联音频信息的静声/减弱。在步骤414处,生成音频命令,音频命令当应用于目标音频设备时引起来自音频设备的相关联音频信息的重新开始。如上所提及的,可选的“定时的静声”利用针对音频静声/减弱命令持续的预定量的时间,并且当被利用时,音频设备在没有被重新开始命令促使的情况下重新开始生成音频信息。手势控制器过程连续地监控有效交互体积内的飞行员手势输入。
因而,已经提供有用于控制驾驶舱应用中的音频信息的基于3D手势的接口。通过添加用以生成音频命令的简单、直观的3D手势的集合并且将它们应用于音频设备,系统卸下飞行员针对给定音频设备而在控制面板中搜索静声或取消机制的负担。
虽然在本发明的前述具体实施方式中已经呈现了至少一个示例性实施例,但是应当领会到,存在大量的变型。还应当领会到,一个或多个示例性实施例只是示例,并且不旨在以任何方式限制本发明的范围、可适用性或配置。而是,前述具体实施方式将为本领域技术人员提供用于实现本发明的示例性实施例的便捷路线图。理解的是,在不脱离于如随附权利要求中所阐述的本发明范围的情况下可以在示例性实施例中描述的元件的功能和布置方面进行各种改变。
Claims (11)
1.一种用于对飞行器中至少一个音频设备进行手势控制的系统,所述系统包括:
手势交互规则的源;
传感器;以及
处理器,其耦合到音频设备、手势交互规则的源以及传感器,处理器被配置成(a)检测用户的手臂和手相对于有效交互体积的定位和移动,(b)识别何时在有效交互体积内执行的手势指示有效音频控制手势,以及(c)确定与有效音频控制手势一致的音频控制命令;以及
所述音频设备被配置成根据音频控制命令而生成音频信息。
2.根据权利要求1所述的系统,其中处理器还被配置成根据预定的音频数据优先级方案而使至少一个音频设备与优先级相关联。
3.根据权利要求1所述的系统,其中处理器还被配置成根据预定的音频数据优先级方案而确定音频控制命令的优先级。
4.根据权利要求1所述的系统,其中处理器还被配置成根据传感器的定位而创建有效交互体积。
5.根据权利要求1所述的系统,其中处理器还被配置成:
在有效交互体积内做出的手势期间辨别手掌和手指的静态和动态特征;
解析手掌和手指的静态和动态特征;以及
将手掌和手指的静态和动态特征与手势交互规则进行比较。
6.一种用于对飞行器中的至少一个音频设备进行手势控制的方法,所述方法包括:
基于至少一个传感器的定位和位置而构造有效交互体积;
识别何时用户的手掌和手指在有效交互体积内的静态和动态移动指示有效音频控制手势;
确定与有效音频控制手势一致和与预定的音频数据优先级方案一致的音频控制命令;以及
由该至少一个音频设备根据音频控制命令而生成音频信息。
7.根据权利要求6所述的方法,还包括根据预定的音频数据优先级方案而将至少一个音频设备与优先级相关联。
8.根据权利要求7所述的方法,其中所述关联步骤包括对必需和非必需音频信息进行分类。
9.根据权利要求6所述的方法,其中所述生成步骤包括使音频信息静声。
10.根据权利要求6所述的方法,其中所述生成步骤包括重新开始音频信息。
11.根据权利要求6所述的方法,其中所述识别步骤包括:
创建包括多个规则的三维手势交互模型,其中所述规则包括一个或多个有效手势分量;
在有效交互体积内做出的手势期间辨别手掌和手指的静态和动态特征;
解析手掌和手指的静态和动态特征;以及
将手掌和手指的静态和动态特征与三维手势交互模型中定义的规则相比较。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US14/224,370 US9524142B2 (en) | 2014-03-25 | 2014-03-25 | System and method for providing, gesture control of audio information |
US14/224370 | 2014-03-25 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN104951068A true CN104951068A (zh) | 2015-09-30 |
Family
ID=52823442
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510129492.9A Pending CN104951068A (zh) | 2014-03-25 | 2015-03-24 | 用于提供音频信息的手势控制的系统和方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US9524142B2 (zh) |
EP (1) | EP2924542A1 (zh) |
CN (1) | CN104951068A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107765846A (zh) * | 2016-08-19 | 2018-03-06 | 奥的斯电梯公司 | 用于使用跨建筑的传感器网络进行基于手势的远距离控制的系统和方法 |
CN109032345A (zh) * | 2018-07-04 | 2018-12-18 | 百度在线网络技术(北京)有限公司 | 设备控制方法、装置、设备、服务端和存储介质 |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2940979A1 (en) * | 2014-05-02 | 2015-11-04 | Alcatel Lucent | Process for managing the connection of users through their terminals to a multimedia conference session |
US9378421B2 (en) * | 2014-09-29 | 2016-06-28 | Xerox Corporation | System and method for seat occupancy detection from ceiling mounted camera using robust adaptive threshold criteria |
KR101556521B1 (ko) * | 2014-10-06 | 2015-10-13 | 현대자동차주식회사 | 휴먼 머신 인터페이스 장치, 그를 가지는 차량 및 그 제어 방법 |
US12077997B2 (en) | 2015-09-12 | 2024-09-03 | Adac Plastics, Inc. | Motor vehicle gesture access system including powered door speed control |
US11313159B2 (en) | 2015-09-12 | 2022-04-26 | Adac Plastics, Inc. | Gesture access system for a motor vehicle |
US10415276B2 (en) * | 2015-09-12 | 2019-09-17 | Adac Plastics, Inc. | Gesture access and object impact avoidance system for a motor vehicle |
JP6517179B2 (ja) * | 2016-11-15 | 2019-05-22 | 京セラ株式会社 | 電子機器、プログラムおよび制御方法 |
CN110825217B (zh) * | 2018-08-13 | 2023-07-11 | 珠海格力电器股份有限公司 | 家电控制方法及装置 |
US11442550B2 (en) * | 2019-05-06 | 2022-09-13 | Samsung Electronics Co., Ltd. | Methods for gesture recognition and control |
US10955929B2 (en) | 2019-06-07 | 2021-03-23 | Facebook Technologies, Llc | Artificial reality system having a digit-mapped self-haptic input method |
US20200387214A1 (en) * | 2019-06-07 | 2020-12-10 | Facebook Technologies, Llc | Artificial reality system having a self-haptic virtual keyboard |
CN111625094B (zh) * | 2020-05-25 | 2023-07-14 | 阿波罗智联(北京)科技有限公司 | 智能后视镜的交互方法、装置、电子设备和存储介质 |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6574600B1 (en) * | 1999-07-28 | 2003-06-03 | Marketsound L.L.C. | Audio financial data system |
US20090066722A1 (en) * | 2005-08-29 | 2009-03-12 | Kriger Joshua F | System, Device, and Method for Conveying Information Using Enhanced Rapid Serial Presentation |
US7725547B2 (en) * | 2006-09-06 | 2010-05-25 | International Business Machines Corporation | Informing a user of gestures made by others out of the user's line of sight |
US20090109036A1 (en) * | 2007-10-29 | 2009-04-30 | The Boeing Company | System and Method for Alternative Communication |
KR20100134015A (ko) * | 2008-04-16 | 2010-12-22 | 파나소닉 주식회사 | 기록매체, 기록장치, 기록방법 및 재생장치 |
US8676243B2 (en) * | 2008-12-03 | 2014-03-18 | Motorola Solutions, Inc. | Method and apparatus for dual/multi-watch for group PTT services |
US8693724B2 (en) * | 2009-05-29 | 2014-04-08 | Microsoft Corporation | Method and system implementing user-centric gesture control |
US8593576B2 (en) | 2009-10-15 | 2013-11-26 | At&T Intellectual Property I, L.P. | Gesture-based remote control |
US20110181510A1 (en) | 2010-01-26 | 2011-07-28 | Nokia Corporation | Gesture Control |
US20120110517A1 (en) | 2010-10-29 | 2012-05-03 | Honeywell International Inc. | Method and apparatus for gesture recognition |
US9304592B2 (en) | 2010-11-12 | 2016-04-05 | At&T Intellectual Property I, L.P. | Electronic device control based on gestures |
CN103842941B (zh) * | 2011-09-09 | 2016-12-07 | 泰利斯航空电子学公司 | 响应于所感测出的乘客比划动作而执行交通工具娱乐系统的控制 |
US9030407B2 (en) | 2011-12-21 | 2015-05-12 | Nokia Technologies Oy | User gesture recognition |
-
2014
- 2014-03-25 US US14/224,370 patent/US9524142B2/en not_active Expired - Fee Related
-
2015
- 2015-03-06 EP EP15158126.1A patent/EP2924542A1/en not_active Withdrawn
- 2015-03-24 CN CN201510129492.9A patent/CN104951068A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107765846A (zh) * | 2016-08-19 | 2018-03-06 | 奥的斯电梯公司 | 用于使用跨建筑的传感器网络进行基于手势的远距离控制的系统和方法 |
CN109032345A (zh) * | 2018-07-04 | 2018-12-18 | 百度在线网络技术(北京)有限公司 | 设备控制方法、装置、设备、服务端和存储介质 |
Also Published As
Publication number | Publication date |
---|---|
US9524142B2 (en) | 2016-12-20 |
EP2924542A1 (en) | 2015-09-30 |
US20150277848A1 (en) | 2015-10-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104951068A (zh) | 用于提供音频信息的手势控制的系统和方法 | |
US10659598B2 (en) | Detecting driving with a wearable computing device | |
US9785243B2 (en) | System and method for providing an ergonomic three-dimensional, gesture based, multimodal interface for use in flight deck applications | |
US10168824B2 (en) | Electronic device and control method for the electronic device | |
CN105035335B (zh) | 用于改进的低空速警告的系统和方法 | |
EP3260331A1 (en) | Information processing device | |
TWI597629B (zh) | 用於利用智慧模板遮罩與觸控螢幕介面互動之系統及方法 | |
US8224653B2 (en) | Method and system for operating a vehicular electronic system with categorized voice commands | |
US20110187651A1 (en) | Touch screen having adaptive input parameter | |
KR20090120431A (ko) | 사용자 제스처 기반의 항공전자 시스템의 운영 방법 및 운영 시스템 | |
US20230021088A1 (en) | Systems and methods for an actionable cockpit of an aircraft | |
US10672280B1 (en) | Bimodal user interface system, device, and method for streamlining a user's interface with an aircraft display unit | |
EP2813920B1 (en) | A system and method for volumetric computing | |
EP3896559A1 (en) | Systems and methods providing visual affordances for human-machine interfaces | |
EP3561793A1 (en) | Method and apparatus monitoring a space | |
US20240192696A1 (en) | Control system with state change detection and multimodal interpretation | |
CN114205746A (zh) | 一种警告提示方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20150930 |
|
WD01 | Invention patent application deemed withdrawn after publication |