CN104700661B - 以文本和以图形呈现空中交通控制语音信息的系统和方法 - Google Patents

Abstract

以文本和以图形呈现空中交通控制语音信息的系统和方法。描述了将ATC语音指令转换成文本并从文本识别意图措辞和数据的系统和方法。意图措辞和数据优选地以不同的格式显示，并可包括在飞行器路线的地图上。此外，由飞行员对ATC的指令的回读可被分析并与ATC命令比较。如果该比较是错误的，则意图措辞和/或数据的格式可被进一步修改以向飞行员提醒该差异。

Description

以文本和以图形呈现空中交通控制语音信息的系统和方法

技术领域

本文描述的示例性实施例通常涉及与空中交通控制（ATC）指令的一致性，且更具体地涉及ATC指令的准确接收和显示。

背景技术

航空中的事故的最常见的原因常常与人为误差或错误相关。那些事故的相当大一部分可归因于飞行员投入到各式各样的同时发生的高工作负荷任务中。随着航空交通的增长，我们可估计这些事故将增加。

飞行员常常错过较长的ATC消息或获得错误数据，例如消息的所需的高度或航向。飞行员记住完整的消息并遵从它也是有压力的。当飞行员需要捕获只被传输一次而没有机会回读（read back）或请求澄清的可闻ATC许可（clearance）的重要元素时，两种类型的错误已被识别。这些错误包括：

遗漏的错误：遗漏的信息，例如航线在许可中被传输，但没有被飞行员记下；以及

委托（commission）的错误：例如VHF全向无线电射程的缩写VOR被写下但VOR的名称没有。

电子仪器显示在复杂性上继续前进，实现越来越高水平的信息密度，且因此呈现操作员（例如飞行员）所感知和理解的更大量的视觉信息。视觉显示器提供在操作员正试图实现的事情和完成任务可用的信息之间的适当认知映射是重要的。

数据驱动图表（DDC）具有使图表信息与飞行器位置和飞行管理系统（FMS）程序上的航线（routing）整合的强大能力。这是呈现信息的非常清新和简明的方式。然而，缺乏准确的ATC指令与DDC和其它信息显示（诸如移动的地图和电子图表）的整合。

因此，提供用于减少或防止在接收、记录和解释指令（例如ATC许可）中的错误的系统和方法是合乎需要的。此外，根据结合附图和前述技术领域及背景技术进行的随后的详细描述和所附权利要求，示例性实施例的其它合乎需要的特征和特性将变得明显。

发明内容

描述了提倡言语接口的使用的系统和方法，言语接口可识别ATC命令/消息并以增加飞行员理解并执行如给出的ATC命令的可能性的方式向飞行员呈现信息。

在示例性实施例中，用于向飞行路线的飞行器的飞行员呈现所接收的语音信息的方法包括将语音信息转换成第一文本；将第一文本的第一部分识别为与待执行的至少一个动作有关；将第一文本的第二部分识别为与关于至少一个动作的数据有关；确定第一文本的第一部分的第一格式；确定第一文本的第二部分的第二格式；以及显示包括第一和第二格式的第一文本。

在另一示例性实施例中，用于向飞行路线的飞行器的飞行员呈现所接收的语音信息的方法包括将语音信息转换成第一文本；指派与待执行的动作有关的第一文本的第一部分的第一格式；指派与关于动作的数据有关的第一文本的第二部分的第二格式；显示包括第一和第二格式的第一文本。

在又一示例性实施例中，用于向飞行路线的飞行器的飞行员呈现所接收的语音信息的系统包括配置成将语音信息转换成第一文本的转换器；处理器，配置成将第一文本的第一部分识别为指示待执行的动作的词；将第一文本的第二部分识别为与第一部分有关的数据的词；确定第一文本的第一部分的第一格式；确定第一文本的第二部分的第二格式；确定第一文本是否将被立即显示；如果不被立即显示则基于在路线上的飞行器的动作、数据和位置确定第一文本被显示的时间；以及显示器，配置成显示包括以第一格式的第一部分和以第二格式的第二部分的第一文本。

附图说明

将在下文中结合下面的绘制图形来描述本发明，其中相似的数字表示相似的元件，以及

图1是根据本文描述的示例性实施例的适合于在飞行器中使用的系统的框图；

图2是根据示例性实施例的适合于与图1的系统使用的示例性方法的流程图；

图3是由本文所述的示例性实施例处理的ATC许可的第一示例；

图4-7示出由本文所述的示例性实施例处理的ATC许可的第二示例；

图8是由本文所述的示例性实施例处理的ATC许可的第三示例；以及

图9-12示出由本文所述的示例性实施例处理的ATC许可的第四示例。

具体实施方式

下面的详细描述在性质上仅仅是例证性的，且并不打算限制主题或应用的实施例以及这样的实施例的使用。在本文被描述为示例性的任何实施方式并不一定被解释为相比于其它实施方式是优选的或有利的。此外，不存在由在前述技术领域、背景技术、发明内容或下面的详细描述中呈现的任何明确的或暗示的理论进行限制的意图。

本领域中的技术人员将认识到，结合本文公开的实施例描述的各种例证性逻辑块、模块、电路和算法步骤可被实施为电子硬件、计算机软件或者两者的组合。上面就功能和/或逻辑块部件（或模块）和各种处理步骤方面描述了实施例和实施方式中的一些。然而，应认识到，这样的块部件（或模块）可由配置成执行指定功能的任何数目的硬件、软件和/或固件部件实现。为了清楚地说明硬件和软件的这个可互换性，各种例证性部件、块、模块、电路和步骤已经在上面就其功能方面一般地被描述。此类功能被实施为硬件还是软件取决于特定的应用和对整个系统强加的设计约束。技术人员可以对每个特定的应用以变化的方式实施所描述的功能，但这样的实施方式决定不应被解释为引起从本发明的范围的偏离。例如，系统或部件的实施例可采用可在一个或多个微处理器或其它控制设备的控制下执行各种功能的各种集成电路部件，例如存储器元件、数字信号处理元件、逻辑元件、查找表等。此外，本领域中的技术人员将认识到，本文所述的实施例仅仅是示例性实施方式。

可使用设计成执行本文所述的功能的通用处理器、数字信号处理器（DSP）、专用集成电路（ASIC）、现场可编程门阵列（FPGA）或其它可编程逻辑设备、分立门或晶体管逻辑、分立硬件部件或其任何组合来实施或执行结合本文公开的实施例描述的各种例证性逻辑块、模块和电路。通用处理器可以是微处理器，但替代地，处理器可以是任何常规处理器、控制器、微控制器或状态机。处理器也可以被实施为计算设备的组合，例如DSP和微处理器的组合、多个微处理器、与DSP核结合的一个或多个微处理器或任何其它这样的配置。词“示例性”在这里排它地用于意指“用作示例、实例或例证”。在本文被描述为“示例性”的任何实施例并不一定被解释为相比于其它实施例是优选的或有利的。上述设备中的任一个是计算机可读存储介质的示例性的、非限制性的示例。

结合本文公开的实施例描述的方法或算法的步骤可直接包含在硬件中、在处理器所执行的软件模块中或在这两个的组合中。软件模块可驻留于RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移动磁盘、CD-ROM或本领域中已知的任何其它形式的存储介质中。示例性存储介质耦合到处理器，这样的处理器可从存储介质读取信息并将信息写到存储介质。替代地，存储介质可与处理器整合。处理器和存储介质可驻留于ASIC中。ASIC可驻留于用户终端中。替代地，处理器和存储介质可作为分立部件驻留于用户终端中。上述设备中的任何一个是计算机可读存储介质的示例性的、非限制性的示例。

在本文献中，例如第一和第二等之类的关系术语可以只用于区分开一个实体或动作与另一实体或动作，而不一定需要或暗示在这样的实体或动作之间的任何实际的这种关系或顺序。数字序数，例如“第一”、“第二”、“第三”等仅仅表示多个中的不同的单个，且并不暗示任何顺序或次序，除非由权利要求语言特别限定。权利要求中的任何一个的文本的次序并不暗示过程步骤必须根据这样的次序以时间或逻辑顺序被执行，除非它被权利要求的语言特别限定。过程步骤可以按任何顺序被互换，而不偏离本发明的范围，只要这样的互换不与权利要求语言矛盾且在逻辑上不是无意义的即可。

为了简洁的缘故，在本文可以不详细地描述与图形和图像处理、导航、飞行计划、飞行器控制、飞行器数据通信系统和某些系统及子系统（以及其各个操作部件）的其它功能方面有关的常规技术。此外，包含在本文的各种附图中所示的连接线旨在表示各种元件之间的示例性功能关系和/或物理耦合。应注意，许多替代或额外的功能关系或物理连接可存在于主题的实施例中。

下面的描述指的是被“耦合”在一起的元件或节点或特征。如在本文中使用的，除非另外明确声明，“耦合”意指一个元件/节点/特征直接或间接地接合到另一元件/节点/特征（或与其直接或间接地通信），且不一定是机械地。因此，虽然附图可描述元件的一个示例性布置，额外的中间元件、设备、特征或部件可存在于所描绘的主题的实施例中。此外，某些术语也可仅为了参考的目的在下面的描述中被使用，且因此并不旨在是限制性的。

虽然本文描述的示例性实施例指的是显示关于飞行器的信息，本发明也可应用于其它交通工具显示系统，例如由界外（off-site）控制器（例如地面控制器）使用的显示器。

本文描述的映射方法可与各种飞行器一起使用，例如飞机和直升飞机和海上飞艇（maritime craft）。航空环境在本文被描述为示例性实施例，并可包括从点到点的导航或在机场的进近（approach）和着陆。通常结合在本文呈现的俯视图来呈现侧视图显示。各种类型的地图（例如道路图、地势图、航空图和地形图）可用于显示在侧视图上。

一些应用可能需要多于一个监视器（例如下视显示屏）来完成任务。这些监视器可包括二维移动地图显示器和三维透视显示器。移动地图显示器可包括飞行器的自顶向下视图、飞行计划和周围环境。各种符号被用来表示导航线索，例如航路点（waypoint）符号、使航路点符号互连的线段和距离圈以及附近的环境特征，例如地形、天气情况和政治边界。

下面描述的实施例的本发明的替代实施例可利用（无论导航系统信号是否是可用的）例如基于地面的导航系统、GPS助航设备、飞行管理系统、和惯性导航系统来动态地校准并确定精确的路线。

根据示例性实施例，描述了提倡言语接口的使用的系统和方法，其可识别ATC命令/消息并以增加飞行员理解并执行如给出的ATC命令的可能性的方式向飞行员呈现信息。ATC命令转换成被分析的文本，其中意图措辞（第一部分）和数据（第二部分）被识别。意图措辞和数据以文本格式、优选地以不同的可识别格式显示，并可被包括在飞行器路线的地图上。此外，由飞行员对ATC的指令的回读可被分析并与ATC命令比较。如果该比较是错误的，则意图措辞和/或数据的格式可被进一步修改以向飞行员提醒该差异。

参考图1，ATC上下文（contextual）智能简报器（briefer）100的框图包括无线电102、言语识别器104、意图处理器106、飞行器状态确定器（determiner）108、ATC意图/数据规则数据库110、上下文规则数据库112和显示设备114。图1中示出的上面的块中的几个可包括相同的物理设备或处理器，且ATC意图/数据规则数据库110和上下文规则数据库112可包括一个数据库。

应理解，图1是为了解释和容易描述的目的的显示系统100的简化表示，且图1并不打算以任何方式限制主题的应用或范围。实际上，显示系统100和/或飞行器108将包括用于提供额外的功能和特征的许多其它设备和部件，如在本领域中将认识到的。

无线电102可包括任何类型的已知无线电或根据未来开发的，并可在任何频率下操作。无线电被配置成接收ATC指令，且在至少一个示例性实施例中也可将飞行员传输（transmissions）传输回到ATC。ATC指令由无线电作为语音提供到言语识别器104，其将语音转换成文本。来自语言识别器104的文本被提供到访问飞行器状态108、ATC意图/数据规则数据库110和上下文规则数据库112的意图处理器106，以提取意图文本（指挥待采取的动作的词）和优选地被不同地格式化用于显示在显示器114上的数据。

单个处理器可用于执行言语识别器104、意图处理器106和飞行器状态108的功能，并可使用设计成执行本文描述的功能的通用处理器、内容可寻址存储器、数字信号处理器、专用集成电路、现场可编程门阵列、任何适当的可编程逻辑设备、分立门或晶体管逻辑、分立硬件部件或任何组合实施或实现。处理器设备可被实现为微处理器、控制器、微控制器或状态机。而且，处理器设备可以被实施为计算设备的组合，例如数字信号处理器和微处理器的组合、多个微处理器、与数字信号处理器核结合的一个或多个微处理器或任何其它这样的配置。

显示器114配置成向操作员提供图像。根据示例性实施例，可使用适合于再现（render）以操作员可见的格式的文本、图形和/或图标信息的许多已知的显示器中的任何一个来实施显示器114。这样的显示器的非限制性示例包括各种阴极射线管（CRT）显示器和各种平板显示器，诸如各种类型的LCD（液晶显示器）和TFT（薄膜晶体管）显示器。显示器114可另外被实施为面板安装的显示器、HUD（平视显示器）投影或许多已知技术中的任何一个。另外注意，显示器114可被配置为许多类型的飞行器飞行甲板显示器中的任何一个。例如，它可被配置为多功能显示器、水平位置指示器或垂直位置指示器。然而在所描绘的实施例中，显示器114被配置为主飞行显示器（PFD）。

在操作中，飞行器状态108也配置成处理主飞行器（host aircraft）的当前飞行状态数据。在这个方面中，飞行状态数据的源生成、测量和/或提供与主飞行器的操作状态、主飞行器正在其中操作的环境、飞行参数等有关的不同类型的数据。实际上，可使用线性可替代单元（LRU）、换能器、加速度计、仪器、传感器和其它公知的设备来实现飞行状态数据的源。由飞行状态数据的源提供的数据可没有限制地包括：空速数据；地速数据；高度数据；姿态数据（包括俯仰数据和滚动数据）；偏航数据；地理位置数据，诸如GPS数据；时间/日期信息；航向信息；天气信息；飞行路径数据；轨迹数据；雷达高度数据、几何高度数据；风速数据；风向数据；等等。显示器114被适当地设计成以在本文被更详细描述的方式处理从飞行状态数据的源获得的数据。

在这个描述的过程期间，根据示出各种示例性实施例的不同的附图，相似的数字可用于标识相似的元件。

图2是图示出适合于供系统100使用的方法200的示例性实施例的流程图。方法200表示用于将语音转换成文本、分析并在飞行器的机载显示器上显示ATC指令的方法的一个实施方式。结合方法200执行的各种任务可由软件、硬件、固件或其任何组合执行。为了例证性目的，方法200的下面的描述可以指的是上面结合图1提到的元件。实际上，方法200的部分可由所描述的系统的不同元件（例如处理器和显示器）执行。应认识到，方法200可包括任何数目的额外或替代的任务，图2中所示的任务不需要以所示顺序执行，且方法200可并入到具有未在本文详细描述的额外功能的更综合的过程或方法中。而且，图2中所示的一个或多个任务可从方法200的实施例中省略，只要预期的总功能保持完整即可。

根据图2的示例性方法200，在无线电102上接收的ATC语音（命令/指令）202由言语识别器104从语音202转换204成文本206。意图词（需要动作的词）和数据210接着由意图处理器106根据从意图/数据规则数据库110获取的意图/数据分析器规则212从文本206中提取。意图/数据规则212描述将文本转换成允许区分开意图词与其相关数据的语义规则的方法。格式然后根据从意图/数据规则数据库110获取的意图/数据荧光笔（highlighter）规则218被指派216给数据210和意图词中每个。格式化的意图词和数据220然后显示222在显示器114上。数据和意图词中的每个的格式不应被限制，但可假定成例如突出显示（highlight）的文本、颜色、亮度的各种水平和特殊字体。

图3图示出ATC指令如何被处理的一个示例。当包括如下的语音消息202被接收时：“示例航线（airline）101许可到旧金山，经由FMG6离开，FGM过渡，然后如所提出（file）的。爬升并维持12,000英尺，预期10分钟后FL310，离开频率118.60，发送信号（squawk）5510。”，则意图（命令）词和数据被确定。图3的此示例提供三个不同的格式，其中意图词以第一格式（在本示例中加下划线），数据以第二格式（黑体字），而其余的词可选地可以以第三格式（正常字体）。荧光笔规则：正常—信息（第三格式）；加下划线的—命令（第一格式）；粗体—数据（第二格式）。

又一示例性实施例（图9）包括来自飞行员的对ATC的答复从而确认指令。答复与来自ATC的指令类似地被格式化；然而，不同于（未比较）ATC消息的来自飞行员的答复中的任何误报/不准确以又一不同的格式（例如琥珀色）被突出显示或在这种情况下被包括在影线框（hatched box）内，影线框向飞行员提醒误报/不准确。荧光笔规则：正常—信息；大写字母—经验证的；影线—失配；加下划线的—还要被验证的命令；粗体—还要被验证的数据。

再次参考图2并根据另一示例性实施例，考虑到由飞行器状态108检测236的飞行240的飞行器阶段并根据从上下文规则数据库112获取的上下文触发规则238，意图词和数据210在被选择232时然后针对消息内容被处理234。上下文格式化文本242然后显示244在显示器114上。

因为记住长ATC命令中的多个子任务是困难的任务，所以在如从ATC听到的指令中的子任务可被排队（queue），且还要执行的特定消息可在事件的时间被显示。

图4-7图示出图2的这个上下文示例，其中同一语音消息的部分在适当的时间被显示为在过程消息上下文步骤234中所确定的。图4中的消息的第一部分可在起飞之前被显示，而在图5中的第二部分可在起飞之后立即被显示。在图6中的第三部分可在达到定义的高度时被显示，并且在图7中的第四部分可在到达离开路线中的点时被显示（参见图8）。用于触发图4-8中示出的该四个部分的显示的飞行器的这些声称的位置是示例。消息的部分可以被显示成突围（sortie）中的各种点中的任何一个。

在图10-12的又一示例性实施例中，可在示出飞行器要飞行的路线的图表上显示ATC指令。消息包括例如：

示例航线101许可到旧金山，经由LUVVE2离开，LUVVE过渡，然后如所提出的。爬升并维持12,000ft，预期10分钟后FL310，离开频率113.90，发送信号5510。

图10的图表将例如在起飞之前被显示。ATC指令的第一部分1002（示例航线101许可到旧金山，经由LUVVE2离开，LUVVE过渡，然后如所提出的）将优选地以不同于图表的其余部分的格式被显示。然后，当飞行阶段被确定236成例如接近林边导航定位（woodsidenavigation fix）时，图表被显示为在图11中示出的，包括以不同格式的ATC指令的第二部分1102（离开频率113.90，发送信号5510）。例如当离开林边导航定位时，可显示指令的图12中所示的第三部分1202（爬升并维持12,000ft）。

上面已经关于特定的实施例描述了益处、其它优点和问题的解决方案。然而，益处、优点、问题的解决方案和可引起任何益处、优点或解决方案出现或变得更明显的任何（多个）元件不应被解释为任何或所有权利要求的关键的、所需的或必要的特征或元件。如在本文使用的，术语“包括”、“包含”或其任何其它变形旨在涵盖非排它性包括，使得包括一列元件的过程、方法、物品或装置不仅仅包括那些元件，而且可包括未明确列出的或这样的过程、方法、物品或装置所固有的其它元件。

虽然在前述详细描述中已提出至少一个示例性实施例，应认识到，存在大量变形。还应认识到，一个或多个示例性实施例仅仅是示例，且并不旨在以任何方式限制本发明的范围、可应用性或配置。更确切地，前述详细描述将给本领域中的技术人员提供用于实施本发明的示例性实施例的方便道路图，应理解，可在示例性实施例中描述的元件的功能和布置方面作出各种变化，而不偏离如在所附权利要求中所阐述的本发明的范围。

Claims (8)

1.一种用于向飞行路线的飞行器的飞行员呈现所接收的语音信息的方法，包括：

将语音信息转换成第一文本；

将所述第一文本的第一部分识别为与待执行的至少一个动作有关；

将所述第一文本的第二部分识别为与关于所述至少一个动作的数据有关；

处理动作、数据和存储的上下文触发规则以确定在路线上显示第一文本的适当的时间；

确定所述第一文本的动作的第一格式；

确定所述第一文本的数据的第二格式；

检测路线上的飞行器的位置和飞行器的飞行阶段，以确定它是否是适当的时间；

以及

在适当的时间显示包括所述第一和第二格式的第一文本。

2.权利要求1所述的方法，还包括：

在包括所述飞行器的路线的图表上显示所述第一和第二部分。

3.权利要求1所述的方法，还包括：

将所述第一文本的第三部分识别为与待执行的第二动作以及关于第二动作的第二数据有关；

将所述第一文本的第四部分识别为与待执行的第三动作以及关于第三动作的第三数据有关；

处理第三部分和存储的上下文触发规则以确定在路线上显示第三部分的适当的时间；

处理第四部分和存储的上下文触发规则以确定在路线上显示第四部分的适当的时间；

确定所述飞行器的计划路线的多个飞行阶段；

检测飞行器在路线上的位置，以确定它是否是适当的时间；

在适当的时间显示包括第一和第二格式的第三部分；以及

在适当的时间显示包括第一和第二格式的第四部分。

4.权利要求1所述的方法，还包括：

将飞行员的语音答复转换成第二文本；

将第二文本的第一部分识别为与待执行的动作有关；

将第二文本的第二部分识别为与关于所述动作的数据有关；

比较所述第二文本与所述第一文本；以及

当（i）第二文本的第一部分与第一文本的第一部分不匹配或者（ii）第二文本的第二部分与第一文本的第二部分不匹配时，

响应于所述第二文本与所述第一文本的比较而修改所述第二文本的格式。

5.一种用于向飞行路线的飞行器的飞行员呈现所接收的语音信息的系统，包括：

转换器，其配置成将语音信息转换成第一文本；

处理器，其配置成：

将所述第一文本的第一部分识别为指示待执行的动作的动作字；

将所述第一文本的第二部分识别为与第一文本中的动作字有关的数据字；

确定飞行器在路线上的位置；

确定所述第一文本的所述第二部分的第二格式；

确定所述第一文本是否将被立即显示；

如果不被立即显示，则处理第一部分、第二部分和存储的上下文触发规则以确定在路线上显示第一文本的适当的时间；以及

显示器，其配置成：

在适当的时间显示包括以所述第一格式的所述第一部分和以所述第二格式的所述第二部分的所述第一文本。

6.权利要求5所述的系统，其中所述处理器还配置成：

在适当的时间在包括所述飞行器的路线的图表上显示所述第一文本。

7.权利要求5所述的系统，其中所述第一部分包括多个动作，且第二部分包括多个数据，所述动作中的每个与所述数据的相应的一个相关，其中所述处理器还配置成：

确定所述飞行器路线的多个飞行阶段；

针对每个动作和相应的数据，处理动作、数据和存储的上下文触发规则以确定在路线上显示动作和相应的数据的适当的时间；以及

在适当的时间和飞行阶段显示所述多个动作中的每个动作及其相应的数据。

8.权利要求5所述的系统，其中所述处理器还配置成：

将飞行员的语音答复转换成第二文本；

将第二文本的第一部分识别为与待执行的动作有关；

将第二文本的第二部分识别为与关于动作的数据有关；

比较所述第二文本与所述第一文本；以及

当（i）第二文本的第一部分与第一文本的第一部分不匹配或者（ii）第二文本的第二部分与第一文本的第二部分不匹配时，

响应于所述第二文本与所述第一文本的比较而修改所述第二文本的格式。

Images