CN104821167A - 在飞机上利用语音命令的系统和方法 - Google Patents

在飞机上利用语音命令的系统和方法 Download PDF

Info

Publication number
CN104821167A
CN104821167A CN201510120871.1A CN201510120871A CN104821167A CN 104821167 A CN104821167 A CN 104821167A CN 201510120871 A CN201510120871 A CN 201510120871A CN 104821167 A CN104821167 A CN 104821167A
Authority
CN
China
Prior art keywords
flight
aircraft
audio frequency
path
planning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510120871.1A
Other languages
English (en)
Other versions
CN104821167B (zh
Inventor
S·麦克库洛夫
M·西瓦拉特里
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honeywell International Inc
Original Assignee
Honeywell International Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honeywell International Inc filed Critical Honeywell International Inc
Publication of CN104821167A publication Critical patent/CN104821167A/zh
Application granted granted Critical
Publication of CN104821167B publication Critical patent/CN104821167B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D43/00—Arrangements or adaptations of instruments
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D31/00—Power plant control systems; Arrangement of power plant control systems in aircraft
    • B64D31/02—Initiating means
    • B64D31/04—Initiating means actuated personally
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0017—Arrangements for implementing traffic-related aircraft activities, e.g. arrangements for generating, displaying, acquiring or managing traffic information
    • G08G5/0021—Arrangements for implementing traffic-related aircraft activities, e.g. arrangements for generating, displaying, acquiring or managing traffic information located in the aircraft
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/003—Flight plan management
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L2015/085—Methods for reducing search complexity, pruning
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/226—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics
    • G10L2015/228—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics of application context

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Navigation (AREA)
  • Traffic Control Systems (AREA)

Abstract

提供了一种响应于语音输入规划飞行管理系统的系统和方法。语音输入通过如下过程被验证(飞机驾驶员说出的词汇由此被过滤(例如，适配)以提高识别准确度以及减少误报)：比较飞机的当前操作状态(例如，爬升、水平飞行、下降、速度、高度和航向)、基于飞行管理系统的操作有效性和可用性(例如，允许和不允许的操作)、从起点/当前位置到目的地的飞行路线(飞行计划)的计划和预测的横向和纵向轨迹，以及被采取的请求行动。

Description

在飞机上利用语音命令的系统和方法
技术领域
本文所述的示例性实施例通常涉及航空电子设备，并且更具体地涉及适于在飞机上利用言语识别和语音命令的系统。
背景技术
现代飞机包括许多航空电子系统和其他电子组件或模块。个体飞机可以包括例如导航系统、通信系统、飞行管理系统、自动驾驶系统、自动推力系统、电子飞行包和显示系统。以往，在一些实施方式中，每个系统具有其自己的一组用户输入装置，例如按钮、开关、按键、旋钮、滑块、操纵杆等，用于接收来自飞机驾驶员、飞机副驾驶员或机组人员的输入。因此，在飞机的驾驶舱内可以存在相当大数量的用户输入装置。此外，每个航空电子系统可以与其自己的显示器相关联。
为了简化从航空电子系统获取信息的过程，现代飞机系统将来自个体航空电子系统的显示器合并成几个中央显示装置。此外，为了减少驾驶舱内用户输入装置的数量，一些现有技术系统还将各种航空电子系统的用户输入装置的功能合并成一组简化的输入装置，例如，通过将各种航空电子系统之间类似输入装置的功能合并成个体输入装置。这可以提供更一致的用户界面以及减小飞机重量；然而，与特定显示器和/或输入装置相关联的信息和/或功能的数量增加了操作的复杂性。在飞机的操作期间，期望的是，飞机驾驶员、飞机副驾驶员或其他机组成员能够快速和方便地与航空电子系统进行交互，以操作航空电子系统和/或获取确保飞机安全操作所需的信息。一些现有技术系统试图实施言语识别系统以使飞机驾驶员能够快速和可靠地与各种航空电子系统和驾驶舱组件进行交互。然而，这些系统未能计及到飞机操作的各个方面，例如操作环境，提高的可靠性和精确度要求，一些飞机操作的时间敏感特性，以及其他安全问题。
定制的词汇通常用于缩减正确识别命令的选项。这样的词汇需要飞机驾驶员记住命令，这增加了工作量并且不转换到其他系统。使用分离的词而不是连续的言语对于用户是不自然的，并且对可用性进行了限制，其中词的连续串(例如射频)较好地一次全部陈述，而不是生硬的连续。
因此，期望的是，提供计及考虑词串的飞机操作的各个方面的系统和方法。此外，根据结合附图作出随后的详细描述和所附权利要求，以及前述技术领域和背景技术，示例性实施例的其他期望特征和特性将变得显而易见。
发明内容
提供一种利用与飞机相关联的音频命令的系统和方法。
在一个示例性实施例中，一种利用与交通工具相关联的音频命令的方法包括：确定交通工具的操作状态；识别交通工具的运动阶段；确定交通工具的当前位置所允许的操作；确定沿着交通工具的预定路径的各个路径点(waypoint)处所允许的操作；识别与运动阶段相关联的至少一个预定的音频输入；接收音频输入；利用当前操作状态、当前位置所允许的操作、与交通工具相关联的运输计划、沿着运输计划的各个点处所允许的操作、运动阶段以及至少一个预定的音频输入对音频输入进行验证；以及利用已验证的音频输入规划行进管理系统。在另一个示例性实施例中，一种利用与飞机相关联的音频命令的方法，所述方法包括：确定飞机的操作状态；识别多个飞行阶段；确定沿着飞行计划的多个路径点处所允许的操作状态；识别多个预定的音频输入，其中每个飞行阶段包括与其相关联的至少一个预定的音频输入；接收音频输入；利用当前操作状态、在当前位置所允许的操作、飞行计划、沿着飞行计划的各个点处所允许的操作、飞行阶段以及至少一个预定的音频输入对音频输入进行验证；以及利用已验证的音频输入规划飞行管理系统。
在再另一个示例性实施例中，一种利用与飞机相关联的音频命令的系统，所述系统包括：飞行管理系统，其配置为确定交通工具的操作状态；识别交通工具的运动阶段；确定交通工具的当前位置所允许的操作；确定沿着交通工具的预定路径的各个路径点处所允许的操作；言语识别系统，其配置为识别与运动阶段相关联的至少一个预定的音频输入；音频输入装置，其配置为接收音频输入；以及处理器，其配置为利用当前操作状态、当前位置所允许的操作、与交通工具相关联的运输计划、沿着运输计划的各个点处所允许的操作、运动阶段以及至少一个预定的音频输入对音频输入进行验证；以及利用已验证的音频输入规划行进管理系统。
附图的简要描述
后面将结合下面的绘图对本发明进行描述，其中相似的附图标记表示相似的元件，以及
图1是根据本文所述的示例性实施例的适于在飞机中使用的显示系统的方框图；图2是根据示例性实施例的针对多个操作有效性分类的飞行条件的图表；
图3A，3B，4和5是根据示例性实施例的驾驶舱词汇、飞机情境、操作可用性值和过滤的驾驶舱词汇的关系的图表；
图6是根据第一实施例的适于与图1的显示系统一起使用的示例性语音命令识别过程的流程图；以及
图7是根据第一实施例的适于与图1的显示系统一起使用的示例性语音命令识别过程的流程图。
具体实施方式
下面的详细描述在性质上仅仅是说明性的，而不意图限制本主题的实施例或这些实施例的应用和用途。本文所描述的任何实施方式作为示例不一定被理解为是优选的或优于其他实施方式。此外，不意图受在前的技术领域、背景技术、发明内容或下面的详细描述中呈现的任何明示或暗示的理论的限制。
本领域的技术人员将意识到，结合本文所公开的实施例进行描述的各种说明性逻辑块、模块、电路和算法步骤可以被实施为电子硬件、计算机软件或其组合。根据功能和/或逻辑块组件(或模块)和各种处理步骤，在上面对一些实施例和实施方式进行描述。然而，应当理解的是，这些块组件(或模块)可以由配置为执行指定功能的任意数量的硬件、软件和/或固件组件来实现。为了清楚地说明硬件和软件的这个可互换性，在上面对各种说明性组件、块、模块、电路和步骤通常根据其功能进行描述。这种功能实施为硬件还是软件取决于特定的应用和施加于整个系统的设计限制。对于每个特定的应用，技术人员可以通过不同方式来实施所述的功能，但是这样的实施方式决定不应被解释为造成偏离本发明的范围。例如，系统或组件的实施例可以采用各种集成电路组件，例如存储器元件、数字信号处理元件、逻辑元件、查找表等，他们在一个或多个微处理器或其他控制装置的控制下可以执行各种功能。此外，本领域技术人员将理解的是，本文所述的实施例仅仅是示例性实施方式。
结合本文所公开的实施例进行描述的各种说明性逻辑块、模块和电路可以利用以下各项来实施或执行：通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它可编程逻辑装置、分立门或晶体管逻辑、分立硬件组件、或其任意组合，他们被设计为执行本文所述的功能。通用处理器可以是微处理器，但是在替代方案中，所述处理器可以是任何常规的处理器、控制器、微控制器或状态机。处理器还可以被实施为计算装置的组合，例如，DSP和微处理器、多个微处理器、一个或多个微处理器结合DSP核心、或任何其他此类配置的组合。词“示例性”在此专门用于表示“作为示例、实例或说明”。本文中被描述为“示例性”的任何实施例不一定被理解为优选或优于其他实施例。任何上述装置是计算机可读存储介质的示例性的、非限制性示例。
结合本文所公开的实施例进行描述的方法或算法的步骤可以直接体现在硬件中、由处理器执行的软件模块中、或两者组合中。软件模块可以驻留于RAM存储器，闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移除盘、CD-ROM、或本领域已知的任何其它形式的存储介质中。示例性存储介质耦合到处理器，使得处理器可以从存储介质读取信息以及将信息写入到存储介质。在替代方案中，存储介质可以集成到处理器。处理器和存储介质可以驻留于ASIC中。ASIC可以驻留于用户终端中。在替代方案中，处理器和存储介质可以作为分立组件驻留于用户终端中。任何上述装置是计算机可读存储介质的示例性的，非限制性示例。
在本文档中，诸如第一和第二等的关系术语可以仅用于区分一个实体或动作与另一个实体或动作，而不一定要求或暗示这些实体或动作之间的任何实际这种关系或次序。诸如“第一”、“第二”、“第三”等的数字序数仅仅表示多个中的不同个体，而不是暗示任何次序或顺序，除非权利要求的语言具体定义。在任何权利要求中的文本顺序不暗示过程步骤必须根据这样的顺序以时间或逻辑次序执行，除非他由权利要求的语言具体规定。在不偏离本发明范围的情况下，过程步骤可以按任何次序互换，只要这种互换不与权利要求的语言矛盾并且在逻辑上不是无意义的。
为了简洁起见，有关图形和图像处理、导航、飞行计划、飞机控制、飞机数据通信系统和某些系统和子系统(以及其个体操作组件)的其他功能方面的常规技术可以不在此进行详细描述。此外，本文包含的各个附图中示出的连接线意图表示各种元件之间的示例性功能关系和/或物理耦合。应当注意的是，许多替代或附加功能关系或物理连接可以存在于本主题的实施例中。
下面的描述涉及“耦合”到一起的元件或节点或特征。如本文所用的，除非另外明确说明，否则“耦合”是指一个元件/节点/特征直接或间接地连接到另一个元件/节点/特征(或者直接或间接地与另一个元件/节点/特征通信)，而不必是机械地。因此，虽然附图可以描绘元件的一个示例性布置，但是附加的中介元件、装置、特征或组件可以存在于所述描绘主题的实施例中。此外，某个术语还可以仅为了参考的目的用于下面的描述中，并且因此不意图是限制性的。
本文讨论的技术和概念涉及一系统，所述系统适于接收、识别、验证和执行语音命令，所述语音命令接收自操作交通工具(例如，飞机)的用户(例如，飞机驾驶员)。音频输入装置(例如，麦克风)位于交通工具上(例如，在飞机的驾驶舱内)，并且适于接收表示期望语音命令的音频输入。所接收的音频输入基于交通工具的操作状态和/或飞行阶段进行过滤，并且一个或多个言语识别技术和/或算法被执行以使用有限的一组语音命令来将过滤的音频输入识别和/或匹配为特定的语音命令。如下面更详细描述的，基于操作状态和/或飞行阶段过滤(例如，验证)音频输入以及使用已知命令的有限词汇提高言语识别的准确性和响应时间。当音频输入被识别和/或匹配到有限的一组语音命令内的语音命令时，在语音命令被提供到适当的航空电子系统用于执行之前，基于一个或多个与语音命令相关联的标准对所选择和/或识别的语音命令进行验证。虽然本文在飞机的情境下描述所述主题，但应当理解的是，所述主题可以在其他交通工具(例如，汽车、船舶、火车)中被类似地利用，并且本文所述的主题不意图限于航空环境。照此，飞行阶段将等同于运动阶段，飞行计划将等同于运输计划(例如，路线)，以及飞行管理系统将等同于行进管理系统。
本发明对如下所述那些的替代实施例可以利用任何可用的导航系统信号，例如，陆基导航系统、GPS导航援助、飞行管理系统以及惯性导航系统，以动态校准和确定精确的过程。
图1描绘了系统100的示例性实施例，其可以位于交通工具(例如，飞机124)上。在示例性实施例中，所述系统100包括，但不限于，显示装置102、音频输入装置104、音频输出装置106、处理系统108、显示系统110、通信系统112、导航系统114、飞行(行进)管理系统(FMS)116、一个或多个航空电子系统118、音频分析器系统120，以及数据存储元件122，其适当地配置为支持系统100的操作，如下面更详细描述的。应当理解的是，为了解释和便于描述，图1是系统100的简化表示，并且图1不意图以任何方式限制主题的应用或范围。在本领域中将被意识到的是，系统100和/或飞机124的实际实施例将包括很多用于提供附加功能和特征的其他装置和组件。在这方面，虽然图1描绘了单个航空电子系统118，但实践中，系统100和/或飞机124将可能包括很多航空电子系统118，其用于获取和/或提供实时的飞行相关信息，所述飞行相关信息可以显示在显示装置102上或通过音频输出装置106以其他方式提供给用户(例如，飞机驾驶员、飞机副驾驶员或机组成员)。系统100和/或飞机124的实际实施例将可能包括一个或多个下述航空电子系统，其被适当地配置为支持飞机124的操作：天气系统、空中交通管理系统、雷达系统、交通躲避系统、增强型近地警告系统、自动驾驶系统、自动推力系统、飞行控制系统，电子飞行包和/或其它合适的航空电子系统。
在示例性实施例中，显示装置102耦合到显示系统110。显示系统110耦合到处理系统108，并且处理系统108和显示系统110协同地配置为在显示装置102上显示、渲染、或以其他方式传递与飞机124的操作相关联的一个或多个图形表示或图像，如下面更详细描述的。处理系统108耦合到导航系统114，以获取实时导航数据和/或有关飞机124操作的信息、以支持系统100的操作。在示例性实施例中，通信系统112耦合到处理系统108并且被配置为支持去往和/或来自飞机124的通信，如在本领域中将被意识到的。处理系统108还耦合到飞行管理系统116，飞行管理系统116继而还可以耦合到音频分析器系统120、导航系统114、通信系统112、以及一个或多个附加航空电子系统118，从而以常规方式支持导航，飞行计划和其他飞机控制功能，以及提供实时数据和/或有关飞机124操作的信息到处理系统108。在示例性实施例中，音频输入装置104耦合到处理系统108，并且音频输入装置104和处理系统108被协同地配置为允许用户通过提供音频输入到音频输入装置104来与显示装置102和系统100的其他元件交互，如下面更详细描述的。音频输出装置106耦合到处理系统108，并且音频输出装置106和处理系统108被协同地配置为提供听觉反馈到用户，如下面更详细描述的。
在示例性实施例中，显示装置102被实现为电子显示器，其被配置为在显示系统110和/或处理系统108的控制下以图形方式显示飞行信息或与飞机124操作相关联的其他数据(例如，来自一个或多个航空电子系统112、114、116、118的数据)。在示例性实施例中，显示装置102在飞机124上并且位于飞机124的驾驶舱内。将意识到的是，虽然图1示出了单个显示装置102，实践中，附加显示装置可以存在于飞机124上。这样的显示器的非限制性示例包括各种阴极射线管(CRT)显示器、以及各种平板显示器，例如各种类型的LCD(液晶显示器)和TFT(薄膜晶体管)显示器。显示装置102可以另外实施为面板安装显示器、HUD(平视显示器)投影、或许多已知技术的任意一种。还要注意的是，显示装置102可以配置为许多类型的飞机驾驶舱显示器的任意一种。例如，其可以配置为多功能显示器、水平位置指示器、或垂直位置指示器。然而，在所描绘实施例中，显示装置102被配置为主飞行显示器(PFD)。在示例性实施例中，音频输入装置104和音频输出装置106还位于飞机124驾驶舱内，并且适于允许用户(例如，飞机驾驶员、飞机副驾驶员或机组成员)提供音频输入到系统100和从系统100接收听觉输出，并且使用户能够以“免提”和/或“平视”方式与系统100的元件进行交互，而无需用户移动他或她的手和/或头来提供和/或接收信息，如下面更详细描述的。在各种实施例中，音频输入装置104可以被实现为麦克风、音频转换器、音频传感器或适于接收或以其他方式感测来自用户的音频输入的其他合适的装置。在一些实施例中，音频输入装置104还可以包括激活元件，其包括物理特征，例如按钮或开关，其可以用于启动或以其他方式激活音频输入装置104(例如，按键通话)，如在本领域中将被意识到的并且在下面更详细描述的。在各种实施例中，音频输出装置106可以实现为扬声器、头戴式耳机、听筒、耳塞或适于提供听觉输出到用户的另一合适的装置。在这方面，在一些实施例中，音频输入装置104和音频输出装置106可以集成在一个头戴式耳机上，如在本领域中将被意识到的。应当意识到的是，虽然图1示出了显示装置102、音频输入装置104以及音频输出装置106位于飞机124内，但在实践中，显示装置102、音频输入装置104以及音频输出装置106中的一个或多个可以位于飞机124外部(例如，在地面作为空中交通控制中心或另一命令中心的部分)，并且以通信方式耦合到系统100的其余元件(例如，通过数据链路)。
在示例性实施例中，导航系统114被配置为获取一个或多个与飞机124的操作相关联的导航参数。导航系统114可以被实现为全球定位系统(GPS)、惯性参考系统(IRS)、或基于无线电的导航系统(例如，VHF全向无线电范围(VOR)或长距离辅助导航(LORAN))，以及可以包括一个或多个导航无线电装置或其他传感器，被适当地配置为支持导航系统114的操作，如在本领域中将被意识到的。在示例性实施例中，通信系统112被适当地配置为支持飞机124和其他飞机或地面位置(例如，空中交通控制)之间的通信。在这方面，通信系统112可以使用无线电通信系统或另一合适数据链路系统来实现。在示例性实施例中，飞行管理系统116保持有关当前飞行计划(或者替代地，当前路线或行进计划)的信息。
根据一个或多个实施例，飞行管理系统116(或另一航空电子系统118)被配置为确定航道、速度目标、高度目标或以其他方式识别飞机124当前的飞行阶段，如下面更详细描述的。如本文所用，飞机124的飞行阶段或飞行的阶段应该理解为飞机124的操作的不同分段(或不同的阶段)，其与飞机124从起始位置到终止位置的穿越相关联。例如，飞机124从起始位置(例如，第一机场的航站楼)到终止位置(例如，第二机场的航站楼)的操作通常包括多个飞行阶段，诸如例如，起飞前的阶段(例如，当飞机静止在地面上时，当机组成员将飞行路线输入到FMS中时)、拖行(例如，当飞机利用协助在地面上移动时)、起飞阶段、爬升阶段(例如，包括最初爬升和/或爬升到巡航)、巡航阶段、下降阶段(例如，从巡航高度到最初进场)、进场阶段、着陆阶段、复飞阶段和飞行完成阶段。除了飞行阶段，还有许多飞机需要飞入以沿着飞行路径执行计划的限制和预定的目标的操作状态以及横向和纵向轮廓分段(profile segment)。这些操作状态以及横向和纵向轮廓分段例如包括：准备着陆的进场阶段中以等待航线和/或过程转向方式飞行的机动飞行；为了在沿着飞行路径的各个路径点处满足计划和/或预定的速度或时间限制/目标的加速和/或减速分段；为了在飞机的不同阶段中满足高度限制的爬升、下降、阶段爬升和阶段下降；横向路径限制，例如，躲避地形和交通的平行偏移路径、助航设备周围的固定半径路径、按照指定的航线，拦截重要路径点(例如，最后进场位置)路径和其他直接路径的航线。本发明的范围不限于任何特定数量和/或分类的操作状态。除了所描写的飞行阶段、横向和纵向轮廓分段以及操作状态，飞行管理系统116还可以识别飞机124的其他操作状态，诸如例如，一个或多个引擎失效情况下的操作、正在使用飞机124上的加力燃烧室时的操作、飞机124的跨音速和/或超音速操作。
显示系统110通常表示硬件、软件和/或固件组件，被配置为控制在显示装置102上对一个或多个导航地图的显示和/或渲染和/或有关飞机124的操作和/或航空电子系统112、114、116、118以及音频分析器系统120的其他显示。在这方面，显示系统110可以访问或包括一个或多个数据库，所述数据库被适当地配置为支持显示系统110的操作，诸如例如，地形数据库、障碍数据库、导航数据库、地缘政治数据库、航站楼空域数据库、特殊用途空域数据库、或用于在显示装置102上渲染和/或显示内容的其他信息。
在操作中，显示系统110还被配置为处理宿主飞机(host aircraft)的当前飞行状态数据。在这方面，飞行状态数据源产生、测量和/或提供不同类型的数据，该数据涉及宿主飞机的操作状态，宿主飞机的操作环境，飞行参数等。在实践中，飞行状态数据源可以使用现场可更换单元(LRU)、转换器、加速计、仪器、传感器和其他已知设备来实现。由飞行状态数据源提供的数据可以包括但不限于：空速数据；地速数据；高度数据；姿态数据，包括俯仰数据和滚转数据；偏航数据；地理位置数据，例如GPS数据；时间/日期信息；航向信息；气象信息；飞行路径数据；航道数据；雷达高度数据；几何高度数据；风速数据；风向数据等。显示系统110适当地被设计为以本文更详细描述的方式处理从飞行状态数据源获取的数据。特别地，当渲染ITP显示器时，显示系统110可以使用宿主飞机的飞行状态数据。
处理系统108通常表示硬件、软件和/或固件组件，其配置为促进音频装置104、106和系统100的其他元件之间的通信和/或交互，以及执行在下面更详细描述的附加任务和/或功能。根据实施例，处理系统108可以利用如下各项来实施或实现：通用处理器、内容可寻址存储器、数字信号处理器、专用集成电路、现场可编程门阵列、任何合适的可编程逻辑器件、分立门或晶体管逻辑、处理核心、分立的硬件组件、或其任意组合，被设计为执行本文所述的功能。处理系统108还可以被实施为计算装置(例如多个处理核心)的组合、数字信号处理器和微处理器的组合、多个微处理器、一个或多个微处理器连同数字信号处理器核心、或任何其他这样的配置。在实践中，处理系统108包括处理逻辑，其可以配置为执行与系统100的操作相关联的功能、技术和处理任务，如下面更详细描述的。此外，关于本文公开的实施例描述的方法或算法的步骤可以直接体现在硬件中、在固件中、在由处理系统108执行的的软件模块中、或在其任何实际的组合中。在示例性实施例中，处理系统108实施言语识别引擎(或语音识别引擎)和/或言语转文字系统以及言语合成器和/或文字转言语系统。处理系统108还可以包括一个或多个模数转换器(ADC)、数模转换器(DAC)、模拟滤波器和/或数字滤波器，他们被适当地配置为支持系统100的操作，如下面更详细描述的。在一些实施例中，处理系统108的特征和/或功能可以实施为飞行管理系统116的部分、其他航空电子系统118、或音频分析器系统120，如在本领域中将被意识到的。
数据存储元件122可以实现为RAM存储器、闪存、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移除硬盘、CD-ROM或本领域已知的任何其他形式的存储介质。在这方面，数据存储元件122可以耦合到处理系统108，使得处理系统108可以从数据存储元件122读取信息，以及将信息写入到数据存储单元122。在替代方案中，数据存储单元122可以集成到处理系统108。例如，处理系统108和数据存储元件122可以驻留在ASIC中。在实践中，系统100的功能或逻辑模块/组件可以使用程序代码而实现，所述程序代码保存在数据存储元件122中。例如，显示系统110或通信系统112可以具有相关的软件程序组件，其存储在数据存储元件122中。此外，数据存储元件122可以用于存储数据，所述数据用于支持系统100的操作，如通过下面的描述将变得显而易见的。
应当理解的是，为了解释和便于描述，图1是显示系统100的简化表示，并且图1不意图以任何方式限制主题的应用或范围。在本领域中可以意识到的是，在实践中，显示系统100和/或飞机108将包括很多用于提供附加功能和特征的其他装置和组件。
在本描述的过程中，根据图示各种示例性实施例的不同附图，相似的附图标记可用于标识相似的元件。
为了增加命令FMS116的识别准确度而不影响飞机驾驶员的自然言语模式和操作词汇，示例性实施例包括一解决方案，该解决方案比较飞机的当前操作状态(例如，爬升、水平飞行、以及下降、飞机当前速度、高度、和航向)，飞行的当前情境、计划和预测的横向和纵向飞行路线(飞行计划)轨迹、由FMS提供的飞行计划和路径点操作可用性值(操作可用性指示)、以及被采取的请求行动，其使用数据以灵活地适应识别算法的选择。例如，如果言语输入是“在飞行高度320保持”并且被识别的是“在飞行高度320告知”，基于此时操作上可行的内容，识别系统可以智能地检查本身并且用“保持”替代，以及自动地修正该错误。对于基于音素(语言音韵学的基本单位)的系统，可以采用智能解析。
FMS116通常产生针对飞机当前位置、飞行计划以及飞行路径上的路径点的操作有效位(操作可用性值/指示)(例如参见图2)。为显示系统产生该数据用于控制在飞行计划中任意路径点的菜单选择内容或与飞机标志相关联的菜单选择内容。该数据基于飞行计划类型和飞行计划状态(未决飞行路径修改尚未确认)、当前飞机位置、当前速度、当前高度以及当前航向、当前飞行哪个航段、接下来的航段是什么、飞行路线是否具有任何加速和减速段、是否增添诸如所需到达时间(RTA)和/或高度之类的限制以及多个其他参数用于计算有效位并且至少每四秒一次或根据飞机驾驶员的动作输出到地图缓冲器中。在独特的应用中，所述数据还可以用于控制言语识别系统必须从其进行选择的词汇选择，因此提高识别率以及为飞机驾驶员提供可能选择的显示，并且提供他的输入的确认/置信以代替光标控制菜单。
根据示例性实施例，言语103从音频输入装置104提供到音频分析器系统120。通过飞行管理系统116确定当前位置的飞机操作状态以及沿飞行路径的各个重要路径点的计划和预测的飞机操作状态，并且把他们提供到音频分析器系统120。操作状态例如在一般意义上来说包括：满足计划限制和目标的爬升、下降、水平飞行、当前和/或预测速度、高度以及航向。
飞行阶段也由飞行管理系统116确定，并且包括例如起飞、爬升、巡航、进场、进场失败复飞、以及着陆，并且作为飞行阶段指示提供给音频分析器系统120。数据存储单元122存储多个预定的音频输入(例如，一个或多个词)，每个词与多个包括飞行计划的操作状态和飞行阶段中的一个相关联。预定的音频输入的示例包括：激活进场失败复飞、现在下降、继续等待、退出等待、在xxx巡航爬升到XXX、在xxx爬升到xxx、在xxx下降到xxx、去往xxx、在xxx处或在xxx之上穿过xxx、以及其他一般的关键词和字母数字音频输入，其中xxx是可以关于飞机的位置改变的变量。音频分析器系统120中的言语识别软件根据操作状态、横向和纵向轮廓分段、飞行阶段和飞行计划来把言语103验证为一个存储的飞行阶段，并且提供所存储的预定音频输入作为飞行管理系统116的命令。预定的音频输入对于特定飞行阶段可以不是唯一的；然而，其他过滤像飞机的操作状态、从起点直到目的地的飞行路线的横向和纵向轨迹以及各种允许的操作(如由飞行管理系统指示的)在飞机的当前位置以及沿着预定的飞行路径的各种重要的路径点上被使用。
更具体的示例参考图3、4和5进行描述，图3、4和5分别涉及等待航线、飞行引导到进场(fly vectors to apporach)，以及取消(恢复)指引情况。在图3A、3B、4和5每个中，A列包括驾驶舱词汇的内容，B列包括飞机情境，C列包括来自FMS的操作可用性值(可用性指示)，并且D列指示过滤的词汇。现在参照图3A的A行，该情境是飞机沿航道飞行到固定航段，并且在任何计划的等待航线(B列)之外。在这种操作状态中，FMS116输出操作可用性值(C列中的可用性指示)，其指示继续等待和退出等待操作不是有效操作。音频系统120(言语识别系统)使用这些FMS提供的操作可用性值(可用性指示)并且从驾驶舱词汇中过滤掉(D列)“继续等待”和“退出等待”词汇。参照图3B的B行，该情境是飞机正在以等待航线样式主动飞行。在这种操作状态中，FMS116输出操作可用性值(C列中的可用性指示)，其指示继续等待和退出等待操作是有效操作，并且基于这些FMS提供的操作可用性值(可用性指示)，音频系统120(言语识别系统)在言语识别过程步骤中保留“继续等待”和“退出等待”词汇。类似地，参照图4的A行，该情境是飞机已经按顺序排列到最后进场位置(FAF)或飞机在目的地机场的30NM半径之外。在这种操作状态中，FMS116输出操作可用性值(C列中的可用性指示)，其指示飞行到FAF的进场引导是不允许的。音频系统120(言语识别系统)使用这些FMS提供的操作可用性值(可用性指示)，并且从驾驶舱词汇中过滤掉(D列)“飞行引导到进场”词汇。图6和7分别是更具体地图示方法600、700的示例性实施例的流程图，其适于与驾驶舱显示系统100一起使用。关于方法600、700执行的各种任务可以由软件、硬件、固件或其任意组合执行。为了说明性目的，方法600、700的以下描述可以参考与前面图1有关的上述元件。在实践中，方法600、700的各部分可以由所述系统的不同元件执行，例如，处理器、显示元件、或数据通信组件。应当理解的是，方法600、700可以包括任意数量的附加或替代的任务，图6和7中所示的任务不必按照所示的次序执行，并且方法600、700可以合并到具有附加功能(本文没有详细描述)的更综合的过程或方法中。此外，图6和7中示出的一个或多个任务可以从方法600、700的实施例中被省略，只要预期的整体功能保持完整。
根据图6，一种利用与交通工具相关联的音频命令的方法包括：确定交通工具的操作状态602；识别交通工具的运动阶段604；确定在交通工具当前位置所允许的操作606；确定沿着交通工具的预定路径的各个路径点所允许的操作608；识别与运动阶段相关联的至少一个预定音频输入610；接收音频输入612；利用当前操作状态、当前位置所允许的操作、与交通工具相关联的运输计划、沿着运输计划的各个点处所允许的操作、运动阶段以及至少一个预定音频输入对音频输入进行验证614；以及利用已验证的音频输入规划行进管理系统616。如本文所用，验证意味着基于所列出因素过滤音频输入。
根据图7，一种利用与飞机相关联的音频命令的方法包括：确定飞机的操作状态702；识别多个飞行阶段704；确定沿着飞行计划的多个路径点处所允许的操作状态706；识别多个预定的音频输入708，其中每个飞行阶段包括与其相关联的至少一个预定音频输入；接收音频输入710；利用当前操作状态、当前位置所允许的操作、飞行计划、沿着飞行计划的各个点处所允许的操作、飞行阶段以及至少一个预定音频输入对音频输入进行验证712；以及利用已验证的音频输入规划飞行管理系统714。
上面关于具体实施例已经描述了优点、其他优势和问题的解决方案。然而，优点、优势、问题的解决方案以及可以使得任何优点、优势或解决方案发生或变得更加明显的(一个或多个)任何元件不应被理解为任意或所有权利要求的关键、所需或必要的特征或元件。如本文所用的，术语“包括”或其任何其他变体旨在覆盖非排他性的内含物，使得包括一系列元件的过程、方法、物品或设备不仅包括这些元件，而且可以包括没有明确列出或这种过程、方法、物品或设备固有的其他元件。
虽然在前面的详细描述中已经提出了至少一个示例性实施例，但应当理解的是，存在大量的变体。还应当理解的是，一个或多个示例性实施例仅仅是示例，而不意图以任何方式限制本发明的范围、适用性或配置。更确切地说，前面的详细描述将为本领域技术人员提供用于实施本发明的示例性实施例的方便路线图，要理解的是，在不偏离所附权利要求中所阐述的本发明的范围的情况下，可以在示例性实施例中所述的元件的功能和布置方面进行各种改变。

Claims (12)

1.一种利用与飞机相关联的音频命令的方法，所述方法包括：
确定飞机的操作状态；
识别多个飞行阶段；
确定沿着飞行计划的多个路径点处所允许的操作状态；
识别多个预定的音频输入，其中每个飞行阶段包括与其相关联的至少一个预定的音频输入；
接收音频输入；
利用当前操作状态、当前位置所允许的操作、飞行计划、沿着飞行计划的各个点处所允许的操作、飞行阶段以及至少一个预定的音频输入对音频输入进行验证；以及
利用已验证的音频输入规划飞行管理系统。
2.权利要求1所述的方法，其中操作状态包括爬升、水平飞行或下降中的一个。
3.权利要求1所述的方法，其中飞行阶段包括飞行计划内飞机的当前阶段。
4.权利要求1所述的方法，其中识别沿着飞行计划的各个路径点处所允许的操作包括：识别是否高度限制、速度限制和时间限制中的任何能够在飞机到达飞行计划中的定义点时被定义。
5.权利要求1所述的方法，其中识别当前位置和/或沿着飞行计划的各个路径点处所允许的操作包括：识别是否机动飞行、垂直限制以及路径限制中的任何能够在当前位置和/或沿着飞行计划的各个路径点处被定义，所述机动飞行包括等待航线、过程转向、轨道模式、低空飞行，所述垂直限制包括阶段爬升、阶段下降和转移到指定高度，所述路径限制包括平行偏移路径、固定半径路径、固定航线路径、航线拦截路径。
6.权利要求1所述的方法，进一步包括：
识别在交通工具的当前位置所允许的操作包括：识别启动早期下降、转移到指定高度、转移到指定路径点、飞行引导航线到最后进场位置、转移到进场失败复飞，转移到替代机场中的任何在当前位置是否是允许的。
7.一种利用与飞机相关联的音频命令的系统，所述系统包括：
飞行管理系统，其配置为：
确定交通工具的操作状态；
识别交通工具的运动阶段；
确定在交通工具的当前位置所允许的操作；
确定沿着交通工具的预定路径的各个路径点处所允许的操作；
言语识别系统，其配置为：
识别与运动阶段相关联的至少一个预定的音频输入；
音频输入装置，其配置为：
接收音频输入；以及
处理器，其配置为：
利用当前操作状态、当前位置所允许的操作、与交通工具相关联的运输计划、沿着运输计划的各个点处所允许的操作、运动阶段以及至少一个预定的音频输入对音频输入进行验证；以及
利用已验证的音频输入规划行进管理系统。
8.权利要求7所述的系统，其中操作状态包括爬升、水平飞行、下降、速度、高度和航向中的一个。
9.权利要求7所述的系统，其中飞行阶段包括飞行计划内飞机的当前阶段。
10.权利要求7所述的系统，其中飞行管理系统进一步识别沿着飞行计划的各个路径点处所允许的操作包括：识别是否高度限制、速度限制和时间限制中的任何能够在飞机到达飞行计划中的定义点时被定义。
11.权利要求7所述的系统，其中飞行管理系统进一步配置为识别在交通工具的当前位置所允许的操作包括：识别是否启动早期下降、转移到指定高度、转移到指定路径点、飞行引导航线到最后进场位置、转移到进场失败复飞，转移到替代机场中的任何在当前位置是允许的。
12.权利要求7所述的系统，其中音频输入装置进一步配置为识别用户的自然言语模式和飞机的操作词汇。
CN201510120871.1A 2014-02-04 2015-02-03 在飞机上利用语音命令的系统和方法 Active CN104821167B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/171847 2014-02-04
US14/171,847 US9550578B2 (en) 2014-02-04 2014-02-04 Systems and methods for utilizing voice commands onboard an aircraft

Publications (2)

Publication Number Publication Date
CN104821167A true CN104821167A (zh) 2015-08-05
CN104821167B CN104821167B (zh) 2019-11-19

Family

ID=52391833

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510120871.1A Active CN104821167B (zh) 2014-02-04 2015-02-03 在飞机上利用语音命令的系统和方法

Country Status (3)

Country Link
US (1) US9550578B2 (zh)
EP (1) EP2902991B1 (zh)
CN (1) CN104821167B (zh)

Cited By (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105894863A (zh) * 2016-06-07 2016-08-24 云南财经大学 一种民航飞行操作安全校验方法及其装置
CN108351893A (zh) * 2015-11-09 2018-07-31 苹果公司 非常规虚拟助理交互
CN110914129A (zh) * 2017-10-03 2020-03-24 谷歌有限责任公司 使用基于传感器的验证的车辆功能控制
US11467802B2 (en) 2017-05-11 2022-10-11 Apple Inc. Maintaining privacy of personal information
US11487364B2 (en) 2018-05-07 2022-11-01 Apple Inc. Raise to speak
US11538469B2 (en) 2017-05-12 2022-12-27 Apple Inc. Low-latency intelligent automated assistant
US11550542B2 (en) 2015-09-08 2023-01-10 Apple Inc. Zero latency digital assistant
US11557310B2 (en) 2013-02-07 2023-01-17 Apple Inc. Voice trigger for a digital assistant
US11630525B2 (en) 2018-06-01 2023-04-18 Apple Inc. Attention aware virtual assistant dismissal
US11675491B2 (en) 2019-05-06 2023-06-13 Apple Inc. User configurable task triggers
US11696060B2 (en) 2020-07-21 2023-07-04 Apple Inc. User identification using headphones
US11699448B2 (en) 2014-05-30 2023-07-11 Apple Inc. Intelligent assistant for home automation
US11705130B2 (en) 2019-05-06 2023-07-18 Apple Inc. Spoken notifications
US11749275B2 (en) 2016-06-11 2023-09-05 Apple Inc. Application integration with a digital assistant
US11783815B2 (en) 2019-03-18 2023-10-10 Apple Inc. Multimodality in digital assistant systems
US11790914B2 (en) 2019-06-01 2023-10-17 Apple Inc. Methods and user interfaces for voice-based control of electronic devices
US11810562B2 (en) 2014-05-30 2023-11-07 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US11809886B2 (en) 2015-11-06 2023-11-07 Apple Inc. Intelligent automated assistant in a messaging environment
US11838579B2 (en) 2014-06-30 2023-12-05 Apple Inc. Intelligent automated assistant for TV user interactions
US11838734B2 (en) 2020-07-20 2023-12-05 Apple Inc. Multi-device audio adjustment coordination
US11837237B2 (en) 2017-05-12 2023-12-05 Apple Inc. User-specific acoustic models
US11842734B2 (en) 2015-03-08 2023-12-12 Apple Inc. Virtual assistant activation
US11888791B2 (en) 2019-05-21 2024-01-30 Apple Inc. Providing message response suggestions
US11893992B2 (en) 2018-09-28 2024-02-06 Apple Inc. Multi-modal inputs for voice commands
US11900936B2 (en) 2008-10-02 2024-02-13 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US11900923B2 (en) 2018-05-07 2024-02-13 Apple Inc. Intelligent automated assistant for delivering content from user experiences
US11914848B2 (en) 2020-05-11 2024-02-27 Apple Inc. Providing relevant data items based on context
US11979836B2 (en) 2007-04-03 2024-05-07 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
US12001933B2 (en) 2015-05-15 2024-06-04 Apple Inc. Virtual assistant in a communication session
US12014118B2 (en) 2021-12-17 2024-06-18 Apple Inc. Multi-modal interfaces having selection disambiguation and text modification capability

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9922651B1 (en) * 2014-08-13 2018-03-20 Rockwell Collins, Inc. Avionics text entry, cursor control, and display format selection via voice recognition
US9432611B1 (en) 2011-09-29 2016-08-30 Rockwell Collins, Inc. Voice radio tuning
US20160379640A1 (en) * 2015-06-24 2016-12-29 Honeywell International Inc. System and method for aircraft voice-to-text communication with message validation
US9947315B2 (en) * 2015-10-12 2018-04-17 Honeywell International Inc. Method and system for using combined voice and customized instructions to trigger vehicle reports
EP3159851B1 (en) * 2015-10-23 2024-02-14 Safran Landing Systems UK Ltd Aircraft health and usage monitoring system and triggering method
US10095473B2 (en) 2015-11-03 2018-10-09 Honeywell International Inc. Intent managing system
US9824689B1 (en) * 2015-12-07 2017-11-21 Rockwell Collins Inc. Speech recognition for avionic systems
JP6597397B2 (ja) * 2016-02-29 2019-10-30 富士通株式会社 ポインティング支援装置、ポインティング支援方法およびポインティング支援プログラム
US10276159B2 (en) * 2016-05-10 2019-04-30 Honeywell International Inc. Methods and systems for determining and using a confidence level in speech systems
US10019855B2 (en) 2016-05-18 2018-07-10 The Boeing Company System and method for operational phase detection
FR3055435B1 (fr) * 2016-09-01 2022-03-25 Thales Sa Systeme avionique comportant des moyens de creation d'un nuage de donnees et d'interaction avec ledit nuage de donnees et procede associe
US10372143B2 (en) * 2017-03-20 2019-08-06 Apium Inc. Automated air traffic control of unmanned air vehicles
KR102441067B1 (ko) * 2017-10-12 2022-09-06 현대자동차주식회사 차량의 사용자 입력 처리 장치 및 사용자 입력 처리 방법
CN108154036B (zh) * 2018-01-23 2021-07-16 青岛海信移动通信技术股份有限公司 一种智能设备的控制方法及控制装置
US10916150B2 (en) * 2018-05-03 2021-02-09 Arkidan Systems Inc. Computer-assisted aerial surveying and navigation
FR3080942B1 (fr) * 2018-05-04 2020-04-17 Thales Procede et systeme d'aide au pilotage d'aeronef
CN110534110B (zh) * 2018-05-25 2022-04-15 深圳市优必选科技有限公司 一种机器人及提高其语音交互识别率的方法、装置和电路
EP3575202A1 (en) 2018-06-01 2019-12-04 GE Aviation Systems Limited Systems and methods for secure commands in vehicles
DE102018126056B4 (de) * 2018-10-19 2020-10-15 Deutsches Zentrum für Luft- und Raumfahrt e.V. Verfahren und Computerprogramm zum Transkribieren einer aufgezeichneten Sprachkommunikation
US12001206B2 (en) 2020-01-16 2024-06-04 Honeywell International Inc. Methods and systems for remote operation of vehicles using hands-free functionality
US11688390B2 (en) 2021-05-27 2023-06-27 Honeywell International Inc. Dynamic speech recognition methods and systems with user-configurable performance
EP4210047A1 (en) * 2022-01-05 2023-07-12 Honeywell International Inc. Contextual editable speech recognition methods and systems
EP4261823A1 (en) * 2022-04-11 2023-10-18 Honeywell International Inc. System and method for constraining air traffic communication (atc) transcription in real-time

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070265850A1 (en) * 2002-06-03 2007-11-15 Kennewick Robert A Systems and methods for responding to natural language speech utterance
CN101233741A (zh) * 2005-08-09 2008-07-30 迪尔公司 用于传送信息给用户的方法和系统
US20080201148A1 (en) * 2007-02-15 2008-08-21 Adacel, Inc. System and method for generating and using an array of dynamic grammar
CN101855521A (zh) * 2007-11-12 2010-10-06 大众汽车有限公司 用于信息的输入和展示的驾驶员辅助系统的多形态的用户接口
EP2337024A1 (en) * 2009-11-24 2011-06-22 Honeywell International Inc. Methods and systems for utilizing voice commands onboard an aircraft

Family Cites Families (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4725956A (en) 1985-10-15 1988-02-16 Lockheed Corporation Voice command air vehicle control system
US6691004B2 (en) * 1995-07-31 2004-02-10 Honeywell International, Inc. Method for determining a currently obtainable climb gradient of an aircraft
FR2744277B1 (fr) 1996-01-26 1998-03-06 Sextant Avionique Procede de reconnaissance vocale en ambiance bruitee, et dispositif de mise en oeuvre
FR2748145B1 (fr) * 1996-04-30 1998-07-10 Sextant Avionique Procede et dispositif d'entree et de controle de donnees de vol
US5844503A (en) 1996-10-01 1998-12-01 Honeywell Inc. Method and apparatus for avionics management
US6182039B1 (en) 1998-03-24 2001-01-30 Matsushita Electric Industrial Co., Ltd. Method and apparatus using probabilistic language model based on confusable sets for speech recognition
US6346892B1 (en) * 1999-05-07 2002-02-12 Honeywell International Inc. Method and apparatus for aircraft systems management
US6360203B1 (en) 1999-05-24 2002-03-19 Db Systems, Inc. System and method for dynamic voice-discriminating noise filtering in aircraft
US20020107694A1 (en) 1999-06-07 2002-08-08 Traptec Corporation Voice-recognition safety system for aircraft and method of using the same
US7725307B2 (en) 1999-11-12 2010-05-25 Phoenix Solutions, Inc. Query engine for processing voice based queries including semantic decoding
FR2808917B1 (fr) 2000-05-09 2003-12-12 Thomson Csf Procede et dispositif de reconnaissance vocale dans des environnements a niveau de bruit fluctuant
US6466847B1 (en) 2000-09-01 2002-10-15 Canac Inc Remote control system for a locomotive using voice commands
US20020087319A1 (en) 2001-01-04 2002-07-04 Stephenson Marc C. Portable electronic voice recognition device capable of executing various voice activated commands and calculations associated with aircraft operation by means of synthesized voice response
US20030025682A1 (en) 2001-07-06 2003-02-06 Dame Stephen G. Aural/visual checklist system for avionics
US20030006910A1 (en) 2001-07-06 2003-01-09 Dame Stephen G. Aural/visual interactive aircraft communications module, system and methods
US6985852B2 (en) 2001-08-21 2006-01-10 Microsoft Corporation Method and apparatus for dynamic grammars and focused semantic parsing
US7010398B2 (en) * 2001-10-11 2006-03-07 The Boeing Company Control system providing perspective flight guidance
US7174300B2 (en) * 2001-12-11 2007-02-06 Lockheed Martin Corporation Dialog processing method and apparatus for uninhabited air vehicles
FI118549B (fi) 2002-06-14 2007-12-14 Nokia Corp Menetelmä ja järjestelmä äänipalautteen järjestämiseksi digitaaliseen langattomaan päätelaitteeseen sekä vastaava päätelaite ja palvelin
JP4363076B2 (ja) * 2002-06-28 2009-11-11 株式会社デンソー 音声制御装置
JP4352790B2 (ja) * 2002-10-31 2009-10-28 セイコーエプソン株式会社 音響モデル作成方法および音声認識装置ならびに音声認識装置を有する乗り物
US7496511B2 (en) 2003-01-14 2009-02-24 Oracle International Corporation Method and apparatus for using locale-specific grammars for speech recognition
US6889189B2 (en) 2003-09-26 2005-05-03 Matsushita Electric Industrial Co., Ltd. Speech recognizer performance in car and home applications utilizing novel multiple microphone configurations
US20050114140A1 (en) 2003-11-26 2005-05-26 Brackett Charles C. Method and apparatus for contextual voice cues
US7089108B2 (en) * 2004-03-12 2006-08-08 Voiceflight Systems, Inc. Method and apparatus for entering a flight plan into an aircraft navigation system
US7751947B2 (en) 2004-03-31 2010-07-06 The Boeing Company Methods and systems for displaying assistance messages to aircraft operators
US7289890B2 (en) 2004-11-24 2007-10-30 The Boeing Company Checklist system
US7580377B2 (en) 2006-02-16 2009-08-25 Honeywell International Inc. Systems and method of datalink auditory communications for air traffic control
US7606715B1 (en) 2006-05-25 2009-10-20 Rockwell Collins, Inc. Avionics system for providing commands based on aircraft state
US7912592B2 (en) 2006-06-09 2011-03-22 Garmin International, Inc. Automatic speech recognition system and method for aircraft
US7483790B2 (en) * 2007-01-31 2009-01-27 Honeywell International Inc. Systems and methods for constructing variable offset paths
US8224653B2 (en) 2008-12-19 2012-07-17 Honeywell International Inc. Method and system for operating a vehicular electronic system with categorized voice commands
US8195347B2 (en) 2009-05-28 2012-06-05 The Boeing Company Method and system for approach decision display
US9132913B1 (en) * 2013-09-26 2015-09-15 Rockwell Collins, Inc. Simplified auto-flight system coupled with a touchscreen flight control panel
US8666748B2 (en) * 2011-12-20 2014-03-04 Honeywell International Inc. Methods and systems for communicating audio captured onboard an aircraft
US20140343765A1 (en) * 2012-12-28 2014-11-20 Sean Patrick Suiter Flight Assistant with Automatic Configuration and Landing Site Selection

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070265850A1 (en) * 2002-06-03 2007-11-15 Kennewick Robert A Systems and methods for responding to natural language speech utterance
CN101233741A (zh) * 2005-08-09 2008-07-30 迪尔公司 用于传送信息给用户的方法和系统
US20080201148A1 (en) * 2007-02-15 2008-08-21 Adacel, Inc. System and method for generating and using an array of dynamic grammar
CN101855521A (zh) * 2007-11-12 2010-10-06 大众汽车有限公司 用于信息的输入和展示的驾驶员辅助系统的多形态的用户接口
EP2337024A1 (en) * 2009-11-24 2011-06-22 Honeywell International Inc. Methods and systems for utilizing voice commands onboard an aircraft

Cited By (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11979836B2 (en) 2007-04-03 2024-05-07 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
US11900936B2 (en) 2008-10-02 2024-02-13 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US12009007B2 (en) 2013-02-07 2024-06-11 Apple Inc. Voice trigger for a digital assistant
US11557310B2 (en) 2013-02-07 2023-01-17 Apple Inc. Voice trigger for a digital assistant
US11862186B2 (en) 2013-02-07 2024-01-02 Apple Inc. Voice trigger for a digital assistant
US11810562B2 (en) 2014-05-30 2023-11-07 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US11699448B2 (en) 2014-05-30 2023-07-11 Apple Inc. Intelligent assistant for home automation
US11838579B2 (en) 2014-06-30 2023-12-05 Apple Inc. Intelligent automated assistant for TV user interactions
US11842734B2 (en) 2015-03-08 2023-12-12 Apple Inc. Virtual assistant activation
US12001933B2 (en) 2015-05-15 2024-06-04 Apple Inc. Virtual assistant in a communication session
US11550542B2 (en) 2015-09-08 2023-01-10 Apple Inc. Zero latency digital assistant
US11954405B2 (en) 2015-09-08 2024-04-09 Apple Inc. Zero latency digital assistant
US11809886B2 (en) 2015-11-06 2023-11-07 Apple Inc. Intelligent automated assistant in a messaging environment
CN108351893B (zh) * 2015-11-09 2022-05-06 苹果公司 非常规虚拟助理交互
US11886805B2 (en) 2015-11-09 2024-01-30 Apple Inc. Unconventional virtual assistant interactions
CN108351893A (zh) * 2015-11-09 2018-07-31 苹果公司 非常规虚拟助理交互
CN105894863A (zh) * 2016-06-07 2016-08-24 云南财经大学 一种民航飞行操作安全校验方法及其装置
US11749275B2 (en) 2016-06-11 2023-09-05 Apple Inc. Application integration with a digital assistant
US11467802B2 (en) 2017-05-11 2022-10-11 Apple Inc. Maintaining privacy of personal information
US11538469B2 (en) 2017-05-12 2022-12-27 Apple Inc. Low-latency intelligent automated assistant
US11837237B2 (en) 2017-05-12 2023-12-05 Apple Inc. User-specific acoustic models
US11862151B2 (en) 2017-05-12 2024-01-02 Apple Inc. Low-latency intelligent automated assistant
CN110914129B (zh) * 2017-10-03 2021-06-15 谷歌有限责任公司 使用基于传感器的验证的车辆功能控制
US11651770B2 (en) 2017-10-03 2023-05-16 Google Llc Vehicle function control with sensor based validation
US10783889B2 (en) 2017-10-03 2020-09-22 Google Llc Vehicle function control with sensor based validation
CN110914129A (zh) * 2017-10-03 2020-03-24 谷歌有限责任公司 使用基于传感器的验证的车辆功能控制
US11907436B2 (en) 2018-05-07 2024-02-20 Apple Inc. Raise to speak
US11487364B2 (en) 2018-05-07 2022-11-01 Apple Inc. Raise to speak
US11900923B2 (en) 2018-05-07 2024-02-13 Apple Inc. Intelligent automated assistant for delivering content from user experiences
US11630525B2 (en) 2018-06-01 2023-04-18 Apple Inc. Attention aware virtual assistant dismissal
US11893992B2 (en) 2018-09-28 2024-02-06 Apple Inc. Multi-modal inputs for voice commands
US11783815B2 (en) 2019-03-18 2023-10-10 Apple Inc. Multimodality in digital assistant systems
US11675491B2 (en) 2019-05-06 2023-06-13 Apple Inc. User configurable task triggers
US11705130B2 (en) 2019-05-06 2023-07-18 Apple Inc. Spoken notifications
US11888791B2 (en) 2019-05-21 2024-01-30 Apple Inc. Providing message response suggestions
US11790914B2 (en) 2019-06-01 2023-10-17 Apple Inc. Methods and user interfaces for voice-based control of electronic devices
US11914848B2 (en) 2020-05-11 2024-02-27 Apple Inc. Providing relevant data items based on context
US11838734B2 (en) 2020-07-20 2023-12-05 Apple Inc. Multi-device audio adjustment coordination
US11750962B2 (en) 2020-07-21 2023-09-05 Apple Inc. User identification using headphones
US11696060B2 (en) 2020-07-21 2023-07-04 Apple Inc. User identification using headphones
US12014118B2 (en) 2021-12-17 2024-06-18 Apple Inc. Multi-modal interfaces having selection disambiguation and text modification capability

Also Published As

Publication number Publication date
EP2902991B1 (en) 2017-11-29
US20150217870A1 (en) 2015-08-06
EP2902991A1 (en) 2015-08-05
US9550578B2 (en) 2017-01-24
CN104821167B (zh) 2019-11-19

Similar Documents

Publication Publication Date Title
CN104821167A (zh) 在飞机上利用语音命令的系统和方法
US20180134410A1 (en) Avionics Interface
US10275427B2 (en) Systems and methods for contextual tagging of data on vehicle display
US9424754B2 (en) Methods and systems for briefing aircraft procedures
US8532844B2 (en) Methods and systems for displaying annotations on an aircraft display
US9020663B2 (en) Instruction visualization system
US9666082B2 (en) Method and system for guidance of an aircraft
CN104376744A (zh) 用于提供指示所需到达时间的显示的显示系统和方法
CN102999799A (zh) 飞行器任务管理系统
CN104457782A (zh) 用于处理和显示尾流湍流的系统和方法
EP2922047A1 (en) System and method for optimizing aircraft lateral and vertical trajectory for published procedures
CN108733284B (zh) 用于交通工具控制系统的预测用户界面
CN105043374A (zh) 用于显示上下文敏感注释的系统和方法
EP3133574B1 (en) Systems and methods for destination selection for vehicle indications and alerts
US20200168107A1 (en) Waypoint list presentation methods and systems
EP3742421A1 (en) Method and system for re-activating a flight plan
EP4095853B1 (en) Dynamic speech recognition methods and systems with user-configurable performance
EP3518185A1 (en) Method and system for data reporting using customized triggers
US20220051573A1 (en) Method and system for initiating and managing required time of arrival constraints for an aircraft for all phases of flight
CN115113641A (zh) 在空域系统中支持飞行器的飞行操作
US20180102059A1 (en) Method and system for determining effective approach angle and predicting aircraft landing distance
US11443641B2 (en) Systems and methods for flight plan modifications
US12020578B2 (en) Systems and methods for adding relevant data to ATC transcription messages
EP4210021A1 (en) Systems and methods for adding relevant data to atc transcription messages
Miller Operating a flight: A pilot’s perspective

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant