CN105446210A - 用于处理语音以协助维护操作的方法和系统 - Google Patents

Abstract

本发明涉及用于处理语音以协助维护操作的方法和系统。提供了用于记录交通工具的用户的自然会话的方法和系统。在一个实施例中，方法包含：识别来自所述记录的语音；处理识别的语音以确定与所述语音相关联的意义；基于所述意义辨别所述语音的类别；并且基于所述类别和所述语音产生将由交通工具的维护者使用的维护报告。

Description

用于处理语音以协助维护操作的方法和系统

技术领域

本公开大体上涉及用于处理语音的方法和系统，并且更具体地涉及用于处理语音以便协助维护操作的方法和系统。

背景技术

当检修飞行器的条件时，由飞行乘务员进行的诸如烟、味道、电子装置的重置和由地面/空中交通控制器提供的方向的观察能够帮助飞行器维护者。典型地，飞行器维护主要由通过由飞行器上的记录器捕获和分析的传感器数据来驱动。也可以使用在飞行前和飞行后检查期间由维护者进行的观察。典型地，由乘务员在飞行之后手动记录任何飞行甲板效应（当飞机在操作中时由飞行人员进行的观察）。也被称为叫声（squawk）的这些观察使用手写的纸质笔录被传送给维护者或被数字地总结。在两种情况下，通信的质量受下面的原因限制：（a）因为笔录是在飞行结束时被书写的，仅仅显著的飞行甲板效应被典型地记住并且抄写；（b）与观察相关联的时间线是近似的；以及（c）因为手动打字是费力的，辅助的细节可能不被捕获。

因此，期望改进由飞行人员观察的通信飞行甲板效应而不增加乘务员的工作量。因此，需要用于处理语音以便协助维护操作的系统和方法。从结合附图和前述的技术领域和背景技术进行的随后的具体描述和所附权利要求，其他期望的特征和特性将变得明显。

发明内容

提供了用于语音处理的方法和系统。在一个实施例中，方法包含：识别来自记录的语音；处理识别的语音以确定与语音相关联的意义；基于意义辨别语音的类别；并且基于类别和语音产生将由交通工具的维护者使用的维护报告。

在另一个实施例中，系统包含：输入装置，记录交通工具的用户的自然会话；和处理器，识别来自记录的语音、处理语音以确定语音的意义、基于意义辨别语音的类别并且基于类别和语音产生将由交通工具的维护者使用的维护报告。

此外，从结合附图和前面的背景技术进行的随后的具体描述和所附权利要求，所述方法和系统的其他期望的特征和特性将变得明显。

附图说明

将在下文中结合附图描述本发明，其中同样的数字表示同样的元件，并且其中：

图1是图解根据示例性实施例的用于交通工具的语音处理系统的功能框图；

图2是图解根据示例性实施例的语音处理系统的模块的数据流程图；以及

图3和4是图解根据示例性实施例的可以由语音处理系统执行的语音处理方法的流程图。

具体实施方式

下面的具体描述在本质上只不过是示例性的并且不旨在限制本公开和本公开的应用或使用。如在本文中使用的那样，词语“示例性的”意指“充当示例、例子或图解。”。因此在本文中描述为“示例性的”任何实施例未必将被解释为相对于其他实施例是优选的或有利的。在本文中描述的所有实施例是被提供以使得本领域的技术人员能够进行或使用本发明且不限制由权利要求定义的本发明的范围的示例性实施例。此外，不旨在由在前面的技术领域、背景技术、发明内容或下面的具体描述中呈现的任何明示的或暗示的理论束缚。

根据各种实施例，公开了用于捕获和处理语音（具体地，来自交通工具的用户的自然会话的语音）的语音处理系统。语音处理系统大体上基于该处理提供诊断信息。

现参照图1，示出和描述了与诸如飞行器12的交通工具相关联的大体上在10处示出的语音处理系统的示例性实施例。如能够被领会的那样，在本文中描述的语音处理系统10能够被实施在机载具有与被配置为接收和处理来自乘务员或其他用户的语音输入的语音系统10相关联的计算装置14的任何飞行器12或其他交通工具中。计算装置14可以与显示器装置18以及一个或多个输入装置20相关联并且可以大体上包含存储器22、一个或多个处理器24、通信地耦合到所述显示器装置18和一个或多个输入装置20的一个或多个输入/输出控制器26，和一个或多个通信装置28。输入装置20包含例如音频记录装置。

在各种实施例中，存储器22储存能够由处理器24执行的指令。储存在存储器22中的指令可以包含一个或多个单独的程序，程序中的每个包括用于实施逻辑功能的可实行指令的有序列表。在图1的示例中，储存在存储器中的指令包含操作系统（OS）28和语音处理模块（SPM）30。

操作系统28控制其他计算机程序的执行并且提供调度、输入-输出控制、文件和数据管理、存储器管理和通信控制以及相关的服务。当计算装置14在操作中时，处理器24被配置为实行储存在存储器22之内的指令、将数据传送到存储器22并且传送来自存储器22的数据、并且依照所述指令大体上控制计算装置14的操作。处理器24能够是任何定制的或商业上可用的处理器、中央处理单元（CPU）、在几个与计算装置14相关联的处理器之间的辅助处理器、基于半导体的微处理器（以微芯片或芯片组的形式）、宏处理器或用于实行指令的大体上任何装置。

处理器24实行本公开的语音管理模块30的指令。语音管理模块30大体上捕获并且处理在飞行器12的用户的自然会话期间由音频记录装置20记录的语音，并且产生用于在诊断飞行器12的条件中使用的信息。语音管理模块30经由一个或多个通信装置28传送包含所述信息的报告。

现参照图2并且继续参照图1，数据流程图图解语音处理模块30的各种实施例。根据本公开的语音处理模块30的各种实施例可以包含嵌入在语音处理模块30之内的任何数量的子模块。如能够被领会的那样，可以组合和/或进一步分割在图2中示出的子模块以处理语音。到语音处理模块30的输入可以从其他模块（未示出）接收、由在语音处理模块30之内的其他子模块（未示出）确定/模仿和/或从输入装置20或通信总线接收。在各种实施例中，语音处理模块30包含语音识别模块40、语音理解模块42、数据捕获模块44、报告产生模块46、关键字数据储存器48、类别数据储存器50和条件数据数据储存器52。

语音识别模块40接收包含在自然会话期间由飞行器12的一个或多个用户说出的语音并且由音频记录装置20捕获的语音数据54作为输入。语音识别模块40基于在本领域中所知的一个或多个语音识别技术处理语音数据54以识别由飞行器12的一个或多个用户说出的词语。

语音识别模块40进一步处理针对特定的关键字56的识别的词语。在各种实施例中，关键字56可以被学习（例如实时地或通过线下处理数据）并且储存在关键字数据储存器48中。在各种实施例中，关键字56是典型地指示飞行器12的条件（例如交叉排气阀、油温、尖啸噪音、气味、味道、等）的讨论的词语。如果实际上在语音数据54之内一个或多个关键字56被辨别，则识别的主题58（例如，含有一个或多个关键字56的一个或多个语句）被呈现给语音理解模块42用于进一步处理。然而，如果没有关键字被在语音数据54中辨别，则语音数据54和/或识别的语音可以被丢弃或存入而不需要被进一步处理。

语音理解模块42接收包含被辨别的一个或多个关键字56的识别的主题58作为输入。语音理解模块42基于一个或多个语音理解技术处理识别的主题58。语音理解模块42处理识别的主题58以辨别主题58的意义60。例如，会话可能与空中交通控制（ATC）许可、设备故障、无许可着陆、跑道入侵、空间侵犯、烟气或与飞行器12相关联的任何其他条件相关联。

基于意义60，语音理解模块42将识别的主题58分类。例如，如果识别的主题58具有特定的意义60，则主题58与特别的类别62相关联。在各种实施例中，类别62可以被学习（例如实时地或通过线下处理数据）并且储存在类别数据储存器50中。类别62辨别飞行器12的条件的要素并且可以例如是启动空气阀卡住打开，启动发动机光照明不在重置，着陆架的致动器行动迟缓，发动机启动太慢，自动飞行正在间歇地解除或任何其他要素。语音理解模块42将分类的主题64储存在条件数据数据储存器52中。

数据捕获模块44接收与主题58相关联的类别62和/或意义60作为输入。数据捕获模块44确定可能在与语音数据54的发生相关联的时间上与意义60和/或类别62相关联的飞行器数据66。例如数据捕获模块44监视在各种数据总线上传送的数据68、监视来自各种传感器的数据70和/或监视计算装置14内部的数据72。例如，数据捕获模块44监视在会话的发生之前、期间和/或之后的时间上来自源的数据68-72。数据捕获模块44捕获来自涉及识别的主题58的类别62和/或意义60的或与识别的主题58的类别62和/或意义60相关联的源的数据68-72。数据捕获模块44将飞行器数据66与识别的主题58相关联并且将飞行器数据66储存在条件数据数据储存器52中。

报告产生模块46基于储存在条件数据数据储存器52中的主题64和飞行器数据66产生报告74。在各种实施例中，报告产生模块46基于由用户或其他系统发起的对报告的请求76产生报告74。在各种其他实施例中，报告产生模块46基于事件的发生或在预定的时间上自动产生报告。

在各种实施例中，报告74能够包含区段并且报告74的区段可以基于与类别相关联的主题被填充，所述类别与所述区段相关联。例如，所述区段可以包含但不限于以下内容：观察到的症状、表现所述症状的飞行器子系统、问题的严重性和/或对症状的解释。症状观察的区段可以与非危急的设备故障相关并且可以包含例如会话和信息，所述会话与示出间歇行为的微调空气阀相关，所述信息指示症状在飞行器的上升阶段期间被观察到并且在这个会话期间的飞行器子系统表现出某些传感器值。

在各种实施例中，报告产生模块46提供报告或报告的部分作为数字信号（或其他类型的信号）。例如，报告产生模块46填充数字形式并且所述数字形式可以被包含在数字信号中，所述数字信号在视觉上被呈现给飞行器12的用户（例如飞行员或其他乘务员）用于确认（例如经由显示器18）。在另一个示例中，数字形式被包含在数字信号中并且被使用预定义的协议在飞行器数据总线上传送。在另一个示例中，数字形式被包含在数字信号中并且作为用于由维护者接收的邮件/文本消息被传送。在又一个示例中，数字形式被包含在数字信号中，所述数字信号被传送到远程计算机并且被存档。

现参照图3和4并且继续参照图1和2，流程图图解根据本公开的可以由语音处理系统10执行的方法。如依据本公开能够被领会的那样，在所述方法之内的操作的次序不限于如在图3和4中图解的顺序实行，而是可以以如可应用的并且根据本公开的一个或多个变化的次序被执行。

在各种实施例中，所述方法能够被调度成基于预定的事件运行和/或能够在飞行器12的计算装置14的操作期间连续运行。

在图3中，示出了处理来自自然会话的语音数据的方法100。方法100可以在105处开始。记录装置20在110处记录飞行器12的用户的自然会话。飞行器数据66在会话的记录的相同的时间上、在记录之前和/或在记录之后在120处被捕获。在130处处理从记录产生的语音数据54。具体地，在140处对记录的数据执行语音识别；并且在150处对识别的语音执行关键字识别。

如果在语音中没有关键字被识别，则记录的数据54和捕获的数据66在170处被丢弃和/或被存入。此后，所述方法继续在110和120处记录会话和捕获数据。

然而，如果至少一个关键字56在160处被识别，则在180处对包含识别的语音的主题58执行语音理解以确定主题58的意义。然后，在190处基于意义对识别的主题58分类。分类的主题64在200处被储存并且捕获的数据68-72在210处被与分类的主题64相关联并且被储存。此后，所述方法继续在110和120处记录会话和捕获数据。

在图4中，示出了报告数据的方法300。方法300可以在305处开始。在310处确定是否请求数据的报告（例如，基于用户或系统发起的请求76，或自动基于调度的事件或时间）。如果不请求报告，则方法可以在320处结束。然而，如果在310处请求报告，则在330处例如基于与储存的数据相关联的类别或其他标准从条件数据数据储存器52检索储存的数据78。在340处例如基于相关联的类别用储存的数据78填充报告形式。然后在350处传送和/或储存报告形式。此后，方法可以在320处结束。

本领域的技术人员将领会，与在本文中公开的实施例有关描述的各种图解性逻辑框、模块和算法步骤可以被实施为电子硬件、计算机软件或两者的组合。以上按照功能的和/或逻辑的框部件（或模块）以及各种处理步骤描述了实施例和实施方式中的一些。然而，应该领会的是可以通过被配置为执行指定功能的任何数量的硬件、软件和/或固件部件来实现这样的框部件（或模块）。为了清楚地图解硬件和软件的这种可交换性，以上大体上按照它们的功能性描述了各种图解性的部件、框、模块、电路和步骤。这样的功能性是被实施为硬件还是软件取决于施加在总体系统上的设计约束和特别的应用。技术人员可以针对每个特别的应用以变化的方式实施描述的功能性，但是这样的实施方式决策不应该被解释为引起与本发明的范围的背离。例如，系统或部件的实施例可以采用可以在一个或多个微处理器或其他控制装置的控制下完成各种功能的各种集成电路部件，例如存储器元件、数字信号处理元件、逻辑元件、查找表等等。此外，本领域的技术人员将领会，在本文中描述的实施例只不过是示例性实施方式。

与在本文中公开的实施例有关描述的各种图解性的逻辑框、模块和电路可以用被设计为执行在本文中描述的功能的通用处理器、数字信号处理器（DSP）、专用集成电路（ASIC）、现场可编程门阵列（FPGA）或其他可编程逻辑器件、分立的门或晶体管逻辑、分立的硬件部件或其任何组合来实施或执行。通用处理器可以是微处理器，但是替选地，处理器可以是任何传统的处理器、控制器、微控制器或状态机。处理器也可以被实施为计算装置的组合，例如DSP和微处理器的组合、多个微处理器、与DSP核结合的一个或多个微处理器或任何其他这样的配置。

与在本文中公开的实施例有关描述的方法或算法的步骤可以被直接体现在硬件中、在由处理器实行的软件模块中或在二者的组合中。软件模块可以存在于RAM存储器、闪速存储器、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移动盘、CD-ROM或在本领域中所知的任何其他形式的储存器媒介中。示例性储存器媒介被耦合到处理器，这样的处理器能够从储存器媒介读取信息并且能够将信息写入到存储器媒介。替选地，储存器媒介可以与处理器是一体的。处理器和储存器媒介可以存在于ASIC中。所述ASIC可以存在于用户终端中。替选地，处理器和储存器媒介可以作为分立的部件存在于用户终端中。

在这个文档中，诸如第一和第二等等的关系术语可以仅仅用来区分一个实体或动作与另一个实体或动作而未必需求或暗示在这样的实体或动作之间的任何实际的这样的关系或次序。诸如“第一”、“第二”、“第三”等的数字序数仅表示多个中的不同的单个而不暗示任何次序或顺序，除非由权利要求语言具体地定义。在任何权利要求中的文本的顺序不暗示必须以根据这样的顺序的时间的或逻辑的次序执行过程步骤，除非由权利要求的语言具体地定义。在不背离本发明的范围的情况下，可以以任何次序交换过程步骤，只要这样的交换不与权利要求语言相矛盾并且不是逻辑上荒谬的。

虽然在本发明的前述的具体描述中呈现了至少一个示例性实施例，但是应该领会的是存在巨大数量的变化。也应该领会到的是一个或多个示例性实施例仅仅是示例，而不旨在以任何方式限制本发明的范围、适用性或配置。更确切地说，前述的具体描述将为本领域的技术人员提供用于实施本发明的示例性实施例的方便的路线图。理解的是在不背离如在所附的权利要求中阐述的本发明的范围的情况下，可以在在示例性实施例中描述的元件的功能和布置中进行各种改变。

Claims (10)

1.一种语音处理的方法，包括：

记录交通工具的用户的自然会话；

识别来自所述记录的语音；

处理识别的语音以确定与所述语音相关联的意义；

基于所述意义辨别所述语音的类别；以及

基于所述类别和所述语音产生将由交通工具的维护者使用的维护报告。

2.权利要求1的方法，进一步包括处理所述语音以识别关键字，并且其中处理所述语音以确定所述意义包括处理具有所述关键字的所述语音以确定所述语音的所述意义。

3.权利要求1的方法，进一步包括基于所述类别储存所述语音。

4.权利要求1的方法，进一步包括产生包含所述报告的信号并且传送所述信号。

5.权利要求1的方法，其中产生所述报告包括：

产生具有多个区段的报告并且其中基于与所述区段相关联的类别用语音填充所述多个区段。

6.权利要求1的方法，其中所述交通工具是飞行器并且其中所述方法进一步包括在所述自然会话的发生之前、期间和之后中的至少一个时捕获飞行器数据。

7.权利要求9的方法，进一步包括将所述飞行器数据与所述语音和所述类别中的至少一个相关联并且基于语音和所述类别中的至少一个储存所述飞行器数据。

8.权利要求1的方法，其中所述关键字被映射到飞行器的条件的讨论。

9.权利要求1的方法，其中所述类别辨别飞行器的条件的要素。

10.一种用于语音处理的管理的系统，包括：

输入装置，记录交通工具的用户的自然会话；和

处理器，识别来自记录的语音、处理所述语音以确定所述语音的意义、基于所述意义辨别所述语音的类别并且基于所述类别和所述语音产生将由交通工具的维护者使用的维护报告。