CN115148209A - 基于座舱语音识别的自动报告生成方法和系统 - Google Patents

Abstract

提供了一种用于基于座舱语音识别来自动生成报告的系统和方法。该系统包括数据获取模块、语音引擎和报告生成器。数据获取模块被配置为用于获取座舱语音数据和运载工具参数数据。语音引擎被配置为将座舱语音数据转换为格式化文本数据。语音引擎包括：预处理模块，被配置为将座舱语音数据转换为格式化语音数据；ASR模块，被配置为使用自动语音识别将格式化语音数据转换为文本数据；以及后处理模块，被配置为使用文本处理将文本数据重新组织为格式化文本数据。报告生成器被配置为基于格式化文本数据和报告模板来生成运载工具标准操作程序(SOP)符合性报告。运载工具SOP符合性报告指示从座舱语音数据得出的被调查行为如何符合由报告模板定义的标准操作程序。

Description

基于座舱语音识别的自动报告生成方法和系统

技术领域

本公开总体上涉及声学语音识别。更具体地，本公开涉及用于基于座舱语音识别来自动生成报告的方法和系统。

背景技术

飞行员之间的技术对话主要有两种类型：检查单和标准喊话。检查单是确保飞行安全的关键因素，它涵盖了各阶段的关键点或项目的检查。标准喊话是在正常飞行或异常情况下使用的标准化术语，用于确保机组成员之间的有效通信。有效的“标准喊话”可以唤起飞行员的态势感知，帮助他们进行交叉检查，协调动作，完成标准操作程序(SOP)和实时错误纠正，从而确保飞行安全。

座舱语音，包括飞行员之间的对话，被记录到机载语音记录器中，注入座舱语音记录器(CVR)。根据适航性规定，所有飞机都配备了机载语音记录器。如今，机载语音记录器已得到开发，使得它们能够记录200多个小时的座舱语音。

然而，通过调查发现，尽管将座舱语音记录并存储在航空公司的数据中心，但是尚未充分利用座舱语音数据以带来好处。如今，大多数航空公司使用座舱语音数据来调查飞行安全事件。另外，大多数安装了机载语音记录器的航空公司要求经验丰富的飞行员对座舱语音进行采样，主要通过收听机载语音记录器中记录的座舱语音数据来分析飞行的关键阶段(例如海拔小于20000英尺)的标准喊话和检查单是否符合规范，并根据座舱语音监控标准生成相应的符合性报告。

这样的问题在于，飞行员监视座舱语音的人力和时间成本非常高。因此，目前，航空公司的座舱语音监控率一般在1％到2％之间。如果根据当前方法增加座舱语音的监控率，则需要大大增加相应的人力和时间成本。

因此，航空公司需要一种有效的方法来监控座舱语音，该方法要能提高座舱语音监控的效率，减少人力和时间成本，并通过数据分析更有效地发现机队甚至单个飞行员的问题或隐患。通过定制培训和制定特定规则，可以进一步提高飞行效率和安全性。

目前，航空公司使用安全监督部门的飞行员或雇员来手动分割和监控通过机载语音记录器获得的座舱语音数据，并根据座舱语音评估标准进行人工评估。航空公司将定期汇总SOP符合性报告，并每周、每月或每季度生成报告等。此外，在飞行安全事件调查过程中，一些航空公司的安全监管人员还需要将航段的座舱语音人工转换成含有时间戳的相应文本。

另外，一些航空公司还将快速访问记录器(QAR)信息与座舱语音相结合，以通过使用QAR数据生成相应的跳跃点，使得监控人员能在监控过程中跳至特定点。同时，还可以以模拟座舱显示形式回放QAR的关键参数，从而为座舱语音监控过程提供辅助。

总体而言，大多数航空公司正在使用各种手段提高监控效率，但仍在人工核查座舱语音。座舱语音监控的效率以及人力和时间的成本无法令人满意。

发明内容

本文总体上公开了一种用于报告生成的系统和方法以及用于数字孪生的系统。根据一个示例性实施例，本文公开了一种用于基于座舱语音识别来自动生成报告的系统。该系统可以包括数据获取模块、语音引擎和报告生成器。数据获取模块可以被配置为获取座舱语音数据和运载工具参数数据。语音引擎可以被配置为将座舱语音数据转换为格式化文本数据。语音引擎可以包括：预处理模块，被配置为将座舱语音数据转换为格式化语音数据；ASR模块，被配置为利用自动语音识别将格式化语音数据转换为文本数据；以及后处理模块，被配置为使用文本处理将文本数据重新组织为格式化文本数据。报告生成器可以被配置为基于格式化文本数据和报告模板来生成运载工具标准操作程序(SOP)符合性报告。运载工具SOP符合性报告可以指示从座舱语音数据导出的被调查行为如何符合由报告模板定义的标准操作程序。

根据另一示例性实施例，一种用于基于座舱语音识别来自动生成报告的方法包括：获取座舱语音数据和运载工具参数数据；将座舱语音数据转换为格式化文本数据；以及基于格式化文本数据和报告模板生成运载工具标准操作程序(SOP)符合性报告，其中，运载工具SOP符合性报告指示从座舱语音数据导出的被调查行为如何符合由报告模板定义的标准操作程序。将座舱语音数据转换成格式化文本数据可以包括：将座舱语音数据转换成格式化语音数据；使用自动语音识别将格式化语音数据转换成文本数据；以及使用文本处理将文本数据重新组织为格式化文本数据。

根据另一示例性实施例，一种用于运载工具的数字孪生系统包括数据获取模块、语音引擎和数字孪生生成器。数据获取模块可以被配置为获取座舱语音数据、运载工具参数数据和环境数据。语音引擎可以被配置为使用自动语音识别将座舱语音数据转换为文本数据。数字孪生生成器可以被配置为基于文本数据、运载工具参数数据和环境数据来生成至少两个模拟动态视觉模型。至少两个模拟动态视觉模型包括：第一动态视觉模型，其呈现出运载工具的座舱中的虚拟电子设备；以及第二动态视觉模型，其呈现出运载工具的姿态及其外部环境。

根据包含本发明内容中描述的概念的各种实施例，提供该发明内容以简化形式描述选择的概念，这些选择的概念将在具体实施方式中进一步描述。本发明内容并不旨在参考权利要求或以其它方式表明本公开主题的关键或必要特征，也不旨在帮助确定所公开主题的全部范围，应当参考本公开的各种实施例适当地确定。

附图说明

结合以下附图，从以下具体实施方式可获得对本公开更好的理解，其中：

图1是根据示例性实施例的座舱语音识别和分析系统100的示意性框图。

图2是根据示例性实施例的语音引擎102的示意性框图。

图3图示出根据示例性实施例的运载工具SOP符合性报告的示例。

图4图示出根据示例性实施例的机队报告的示例。

图5图示出根据示例性实施例的用于自动运载工具报告生成的方法500的流程图。

图6是根据示例性实施例的数字孪生系统600的示意性框图。

图7是根据示例性实施例的数字孪生生成器608的示意性框图。

图8图示出根据示例性实施例的第一图像的示例。

图9图示出根据示例性实施例的第二图像的示例。

具体实施方式

在下面的描述中，出于解释的目的，阐述了众多特定细节以便提供对下文所描述的本公开的实施例的透彻理解。然而，对本领域技术人员将显而易见的是，可在没有这些特定细节中的一些细节的情况下实施本公开的实施例。在其他实例中，以框图形式示出公知的结构和设备，以避免使本公开的实施例的基本原理变得模糊。

应注意，术语“构成”、“构成有”、“具有”、“具备”、“包括”、“包括有”、“包含”、“含有”或它们的任何其他变型旨在覆盖非排他性的包括，使得构成、具有、包括、包含要素的列表的过程、方法、物品或装置不仅包括那些要素，还可包括对这种过程、方法、物品或装置未明确列出的或固有的其他要素。以“包括一”、“具有一”、“包含一”、“涵盖一”开头的要素，在没有更多约束条件的情形下，不排除在包括、具有、包含、涵盖该要素的过程、方法、物品或装置中有另外的相同要素存在。术语“一”和“一个”被定义为一个或更多个，除非本文中另有明确声明。

尽管下面详细描述了在基于飞行器的语音识别系统中实现的发明主题的实施例，但是应该理解，可以在各种其他类型的语音识别系统和/或设备中实现这些实施例。这些各种类型的系统和/或设备包括但不限于在飞机、航天器、机动车辆、水船、其他类型的运载工具和船舶中实施的系统、空中交通管制(ATC)系统、电子记录系统、机器人系统、硬件系统控制和监视系统(例如，用于制造、能源生产、采矿、建筑等)、计算机系统控制和监视系统以及网络控制和监视系统等。因此，本文中对基于飞行器的语音识别系统的引用并非旨在进行限制。基于本文的描述，本领域技术人员将理解，可以在各种其他类型的系统中实现其他实施例。

本公开的主题对于可总体上受益于语音识别的各种多样的应用可能是有用的，尤其是基于语音识别技术的自动SOP符合性分析、机队分析和数字孪生系统。例如，可以在事件调查、飞行员训练、实时监视、飞行器和飞行员管理等背景下使用本公开的主题。在下面的描述中，更详细地描述了座舱语音识别和分析的示例应用。

图1是根据示例性实施例的座舱语音识别和分析系统100的示意性框图。系统100的图示实施例包括但不限于语音引擎102、适当数量的数据存储104、用户界面106、报告生成器108、数据获取模块110以及图形和显示系统112。系统100的这些要素可以通过合适的互连架构130耦合在一起，该互连架构130容纳系统100内的数据通信、控制或命令信号的传输、和/或工作功率的传递。应理解，图1是座舱语音识别和分析系统100的简化表示，其将用于说明和易于描述的目的，但图1并不旨在以任何方式限制主题的应用或范围。在实践中，如本领域中将认识到的，座舱语音识别和分析系统100将包括用于提供附加功能和特征的其他设备和/或组件。此外，尽管图1将座舱语音识别和分析系统100描绘为单个单元，但是可以使用任何数量的物理上不同的硬件或设备以分布式方式来实现系统100的各个要素和组件。

数据获取模块110从飞行器上的机载语音记录器或数据库获得座舱语音数据，从航空公司获得飞行操作控制(FOC)数据，并从飞行器上的QAR或数据库获得飞行参数数据。座舱语音数据记录机组人员与地面人员之间的对话、机组人员之间的对话以及出现在座舱中的各种声音(包括系统警报和飞行器发动机的工作声音)。

除了机载语音记录器之外，座舱语音数据还可以由其他设备记录，包括后期安装的设备，诸如录音笔。座舱语音数据可以以单声道或多声道记录，例如双声道、三声道、四声道和五声道。在四声道的示例中，座舱语音数据可以包括例如左座声道、右座声道、观察声道和环境声道。在一些实施例中，左座声道语音数据和环境声道语音数据可以被记录在一个立体声音频中，而右座声道语音数据和观察声道语音数据可以被记录在另一种立体声音频中。FOC数据记录关于航班的信息，诸如航班号、机组人员、出发时间和到达时间。飞行参数数据记录各种飞行器飞行参数。语音数据和飞行参数数据通常是时间相关的。

在除飞行器以外的其他应用中，下文描述的飞行参数数据、航班SOP符合性报告和虚拟飞行模块可以分别称为运载工具参数数据、运载工具SOP符合性报告和虚拟运载工具模块。

语音引擎102可以用一个或多个通用处理器、内容可寻址存储器、数字信号处理器、专用集成电路、现场可编程门阵列、任何合适的可编程逻辑器件、离散门或晶体管逻辑、分立的硬件组件、或设计为执行本文描述的功能的任何组合来实现。处理器设备可以被实现为微处理器、控制器、微控制器或状态机。此外，处理器设备可以被实现为计算设备的组合(例如，数字信号处理器和微处理器的组合、多个微处理器、一个或多个微处理器与数字信号处理器核结合，或者任何其他此类配置)。如下面更详细描述的，语音引擎102可以实现语音识别算法，并且当在该环境中工作时，可以被认为是语音识别系统。

语音引擎102可以从数据获取模块110获取座舱语音数据、FOC数据和飞行参数数据，并使用自动语音识别(ASR)和自然语言处理(NLP)进行语音识别。由机载语音记录器积累的座舱语音数据将被转换为格式化文本，以用于在报告生成器108中进行后续分析。

图2是根据示例性实施例的语音引擎102的示意性框图。语音引擎102包括预处理模块1022、ASR模块1024和后处理模块1026。

预处理模块1022根据从数据获取模块110获取的数据生成格式化的座舱语音数据。为了获得格式化的座舱语音数据，预处理模块1022可以执行语音数据提取以从语音文件中提取感兴趣的语音数据。可以基于一定时间段来提取语音数据，只要感兴趣的信息被包含在内即可。例如，预处理模块1022通常可以提取整个飞行的语音数据。然而，如果仅需要着陆报告，则着陆期间的语音数据就足够了，这样可以减轻计算负担。也就是说，可以基于所关注事件来确定用于提取语音数据的时间段。该事件可以包括飞行中的任何事件或程序。本文描述的实施例包括用于报告生成器108的每个所关注事件的报告模板。报告模板包含与所关注事件相关联的标准操作程序。因此，可以基于所选择的报告模板来确定提取语音数据的时间段。

除了语音数据提取之外，预处理模块1022还执行多声道分离。例如，预处理模块1022可以分离立体声音频以获得单独的声道语音数据，诸如左座声道、右座声道、观察声道和环境声道。预处理模块1022还将分离后的语音数据转码成系统100可以使用的格式。在一些实施例中，预处理模块102可以进一步对座舱语音数据执行降噪，并且可以对飞行参数数据和FOC数据执行过滤和格式化。

ASR模块1024将来自预处理模块1022的格式化座舱语音数据转换为每个声道的文本数据。ASR模块1024可以利用已有的算法，诸如基于HMM(隐马尔可夫模型)的方法、神经网络等。

后处理模块1026使用文本处理来处理和分析来自ASR模块1024的文本数据。其结果，后处理模块1026重新组织文本数据以生成格式化文本数据，用于在报告生成器108中使用报告模板进行后续分析。

在一种实现中，后处理模块1026执行断句和加标点以分离独立语句。本文所述的文本处理包括但不限于自然语言处理(NLP)。然后，后处理模块1026基于与每个声道相关联的时间戳，合并来自每个声道的独立语句。其结果，可以按时间顺序将多个声道的文本数据合并为一个文本序列。

在一些实施例中，后处理模块1026还基于诸如自然语言处理(NLP)技术之类的文本处理来执行文本分类、意图识别和信息提取。文本中的每个语句被分析从而获得包括通信领域(例如，飞行员和ATC通信、飞行员和飞行员通信)、说话者角色(例如，飞行员飞行(PF)、飞行员监控(PM)、ATC)、意图(例如姿态改变、航向改变)以及诸如航班号和频率号之类的其他信息。所获得的信息可以连同每个语句的内容一起被包括在格式化文本数据中。

下面示出由后处理模块1026进行后处理得到的文本数据的示例。

经后处理的示例性文本数据包含四个独立的语句“滑行前检查单”、“滑行前检查单，发动机电源开，开，探头加温开，开，防冰不需要，关，关”、“某航八两三三可以滑出，右转TANGO两五WHISKEY方向ECHO外等”和“可以滑出，右转TANGO两五WHISKEY方向ECHO外等”，每一个语句都关联有时间戳。语句可以源自不同的源，即操纵飞机的飞行员、监控飞机的飞行员、塔台或飞行控制系统，但是按时间顺序排列。

后处理模块1026可以进一步执行QAR分析。QAR分析基于飞行参数数据中指定的飞行参数来确定(多个)特定时间点，并将所确定的(多个)时间点与文本数据中具有相同时间戳的部分关联起来。其结果，该(多个)时间点可以被用于定位文本数据中相应的部分。例如，如果调查人员需要检查在1000英尺的海拔高度处或紧接在此之后执行的操作，则后处理模块1026可以在飞行参数数据中确定与1000英尺的海拔高度相关联的时间点。所确定的时间点进而可以用于在文本数据中找到对应的部分。以这种方式，可以提高针对特定SOP检查项目的人工检查的准确性和效率。

返回参考图1，数据存储104可以被实现为RAM存储器、闪存、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移动盘、CD-ROM或本领域已知的任何其他形式的存储介质。就这一点而言，数据存储104可以耦合到语音引擎102，使得语音引擎102可以从数据存储104读取信息，并且可以向数据存储104写入信息。在替代方案中，数据存储104可以与语音引擎102集成在一起。作为示例，语音引擎102和数据存储104可以驻留在ASIC中。实际上，可以使用在数据存储104中维护的程序代码来实现系统100的功能或逻辑模块/组件。例如，语音引擎102、用户界面106、报告生成器108、数据获取模块110以及图形和显示系统112可以具有存储在数据存储104中的关联的软件程序组件。此外，数据存储104可用于存储用于支持语音引擎102的语音识别、报告模板和其他所需数据的实现的数据(例如，语音训练数据)。数据存储104可以进一步存储历史数据，诸如先前生成的SOP符合性报告、用于自动机队分析的机队和机组人员信息。

用户界面106被适当地配置为从用户(例如，调查人员或管理人员)接收输入，并且响应于用户输入，向系统100提供适当的命令信号。用户界面106可以包括各种已知的用户界面设备或技术中的任何一种或任何组合，包括但不限于：光标控制设备，例如鼠标、轨迹球或操纵杆；键盘；按钮；开关；旋钮；推杆；或拨号盘。此外，用户界面106可以与图形和显示系统112协作以提供图形用户界面。因此，用户可以通过移动在显示器上渲染的光标符号来操纵用户界面106，并且用户可以使用键盘来输入文本数据等等。例如，用户可以操纵用户界面106以启动或影响语音引擎102和报告生成器108等对语音识别和分析应用程序的执行等。

图形和显示系统112包括一个或多个显示器和相关联的图形处理器。语音引擎102、报告生成器108以及图形和显示系统112进行协作以显示、渲染或以其他方式传达与SOP符合性分析报告和/或机队分析报告相关联的一个或多个图形表示、合成显示、图形图标、可视符号或图像。系统100的实施例可以结合图形和显示系统112利用已有的图形处理技术和技术。例如，图形和显示系统112可以被适当地配置为支持公知的图形技术，诸如但不限于VGA、SVGA、UVGA等。

报告生成器108分析从语音引擎102获得的格式化文本数据，并基于格式化文本数据和上文提到的报告模板来生成航班SOP符合性报告。航班SOP符合性报告指示从语音数据得出的飞行期间的被调查行为如何符合由报告模板定义的标准操作程序。报告模板包括一个或多个检查项目。报告生成器108通过确定是否能在检查项目和格式化文本数据中的某些内容之间找到匹配，来确定一个或多个检查项目中的每一个是否得到满足。

报告模板的示例如下所示。

表1

表1中的感兴趣事件是“滑行前”，包括三个检查项目：“喊话“滑行前检查单””，“做滑行前检查单”和“向机组宣布滑行路线”。报告生成器108分析从后处理模块1026获得的格式化文本数据，以针对每个检查项目确定是否可以找到匹配。

格式化文本数据和检查项目之间的匹配可以通过文本处理来确定，包括传统的关键词搜索、模式匹配以及诸如用于语义解析的NLP(自然语言处理)之类的最新技术。应当理解，并不需要100％的匹配。可以根据需要预先确定下限。

例如，对于检查项目“喊话“滑行前检查单””，报告生成器108可以用关键字“滑行前”或“滑行前”与“检查单”的组合来执行关键字搜索。

对于检查项目“做滑行前检查单”，这可能要求飞行员说出一系列特定的语句。换言之，检查项目“做滑行前检查单”可以对应于一组语句。如果可以通过文本处理以定义的匹配率在文本数据中找到语句集合的内容，则可以判断是匹配的。

对于检查项目“向机组宣布滑行路线”，也可以通过搜索诸如“滑出”或“滑行”之类的关键字来确定匹配。替代地，可以基于经训练的模块执行语义分析或意图识别，以确定某个(些)语句是否指示“向全体宣布滑行路线”的含义。在实施例中，报告生成器108可以理解文本“可以滑出，右转TANGO两五WHISKEY方向ECHO外等”的含义是“向全体宣布滑行路线”，并且因此能够在文本“可以滑出，右转TANGO两五WHISKEY方向ECHO外等”与检查项目“向全体宣布滑行路线”之间找到匹配。

由于飞行参数数据和座舱语音数据可能采用两个不同的时间基准这一事实，因此在执行回放时，飞行参数数据和座舱语音数据的同步很重要。

在这种情况下，本实施例的系统100可以基于系统警报或通知来使飞行参数数据和座舱语音数据同步，该系统警报或通知以语音数据的方式记录并指示所选择的飞行参数。由于系统警报或通知是由机载语音记录器记录的，因此系统100的处理器(未示出)可以在格式化文本数据中识别出系统警报或通知的相应内容。处理器然后可以确定飞行参数数据和座舱语音数据之间的时间偏移，并基于所确定的时间偏移进行同步。

例如，当飞行器下降到1000英尺、500英尺和50英尺时，飞行器的飞行控制系统可以分别通知“1000英尺”，“500英尺”和“50英尺”。对于例如1000英尺的高度，系统通知“1000英尺”的语音将由机载语音记录器记录，然后由语音引擎102转换为文本数据。其结果，内容“1000英尺”将在与其时间点相关联地包含在格式化文本中。另一方面，可以在飞行参数数据中找到1000英尺的无线电高度参数。由此可以将格式化文本与飞行参数数据同步。因此，可以通过将格式化文本中内容“1000英尺”的时间点与飞行参数数据中1000英尺的无线电高度的时间点进行比较来确定时间偏移。这样，格式化文本，进而是座舱语音数据能够基于所确定的时间偏移来与飞行参数数据同步。在一些实施例中，可以针对多个飞行参数确定时间偏移，诸如高度1000英尺、500英尺和50英尺。可以基于所确定的多个时间偏移进行同步以便增加同步的准确性。对多个时间偏移的处理包括但不限于求平均。

图3图示出所生成的航班SOP符合性报告的示例。格式化文本数据和检查项目之间的匹配如上所述可以以不同的方式确定。航班SOP符合性报告中的检查项目可以与上文描述的时间点相关联，以便调查人员可以容易地找到特定部分。

在一些实施例中，报告生成器108还可以基于针对同一机队的多个航班SOP符合性报告来生成机队报告。航班SOP符合性报告可以作为历史数据存储在数据存储104中。机队报告的示例在图4中示出。机队报告提供机队在一定时间段内的航班SOP符合性报告的统计数据。

航班SOP符合性报告和机队报告可以显示在图形和显示系统112上。然而，应当理解，报告模板、航班SOP符合性报告和机队报告的形式和格式是非限制性的，可以根据需要进行设计。

图5图示出根据示例性实施例的用于自动运载工具报告生成的方法500的流程图。在步骤502中，预处理模块1022从数据获取模块110获得语音数据，并通过语音数据提取、多声道分离和转码来生成格式化语音数据。可以基于一定时间段(例如，起飞阶段)来提取语音数据。在一些实施例中，可以基于感兴趣的事件、进而基于与感兴趣的事件相关联的报告模板，来确定“特定时间段”。预处理模块1022可以进一步执行降噪。

在步骤504中，来自预处理模块1022的格式化语音数据被ASR模块1024使用ASR方法转换为文本数据。

在步骤506中，由后处理模块1026处理转换后的文本数据。后处理模块1026使用自然语言处理来执行断句和加标点。然后，后处理模块1026基于与每个声道相关联的时间戳，合并来自每个声道的独立语句。将多个声道的文本数据按时间顺序合并在一个文本序列中，作为格式化文本数据。

在步骤508中，报告生成器108基于格式化文本数据和报告模板生成航班SOP符合性报告。报告模板包括一个或多个检查项目。报告生成器108分析格式化文本数据，以确定是否可以为每个检查项目找到匹配。考虑到发音的差异和同义词，将超过预定阈值的匹配率视为“匹配(符合)”。在一些实施例中，报告生成器108还可以基于针对同一机队的多个航班SOP符合性报告来生成机队报告。

传统的关键词搜索方法从语音数据中搜索关键词，准确性和信息利用率较低，与传统的关键词搜索方法相比，本文描述的实施例将所有提取的语音数据转换为格式化文本数据并基于格式化文本数据生成(多个)报告。飞行参数数据和报告模板有助于提取感兴趣的语音数据并定位到文本数据的(多个)特定部分。因此，可以实现准确性和计算负荷之间的平衡。此外，实施例的方法能够减少座舱语音检查的人工干预，并自动执行数据准备、座舱语音ASR识别、文本分析和报告生成的全过程。其结果，能够通过减少飞行员的参与来减少人工成本。

另一个实施例涉及基于声学语音识别的数字孪生系统。当前，当航空公司飞行安全监督部门进行监控活动和事件调查时，通常要求他们通过人工收听和翻译将座舱语音转换为文本以检查飞行员是否遵循标准操作程序(SOP)或被其他谈话分散注意力，检查记录的飞行参数以确定在飞行过程中是否发生任何异常操作或故障，并检查飞行过程中有关天气和地形的历史数据以查看是否有异常情况影响飞行。这三个消耗性任务始终单独执行，并且需要经验丰富的人员。但是，即使不考虑资源问题和人为因素，由于飞行员(语音)、飞行器(飞行参数)和环境(地形和天气)没有被同步地调查，因此可能会丢失一些关键信息。

目前，当飞机遇到一些技术问题时，有时机组人员需要通过VHF或SATCOM(卫星通信)链路与航空公司运营中心(AOC)的专家联系以寻求帮助，仅以口头方式描述他们所面临的问题，这限制了信息传输的质量和效率。这使得地面专家难以完全了解空中情况，从而阻止他们迅速提供准确而充分的响应。

此外，当试图获得新飞机的型式证书时，需要通过所有必需的飞行测试，这可能会生成大量关于不同参数的数据。数据将被记录并向下传递给地面，以供每个飞机系统的专家进行分析。对于专家而言，通过高度同步的模拟来了解飞行的整体情况(飞机状况和飞行员经验)，可以对分析带来很大的帮助。

本文描述的实施例使用基于软件的超高度集成的仿真来创建数字孪生。数字孪生系统提供了高度复杂的座舱系统和组件的一系列虚拟视觉模型。该系统利用座舱语音记录以及自动和相应转码的文本字幕。此外，该系统在飞行期间同步环境(地形和天气)信息，以便生成显示飞行的环境过程的三维虚拟飞行器模型。

数字孪生系统的实施例能够在诸如4G/5G ATG或SATCOM的高带宽空对地数据链路可用时，在飞行后分析(回放)或者实时地进行飞行监视。

图6是根据示例性实施例的数字孪生系统600的示意性框图。系统600的图示实施例包括但不限于语音引擎602、适当数量的数据存储604、用户界面606、数字孪生生成器608、数据获取模块610以及图形和显示系统612。系统600的这些要素可以通过合适的互连架构630耦合在一起，该互连架构130容纳系统600内的数据通信、控制或命令信号的传输、和/或工作功率的传递。

数据获取模块610获取座舱语音数据、飞行参数数据和环境数据。如上文所述，座舱语音数据记录了机组人员与地面人员之间的对话、机组人员之间的对话以及出现在座舱中的各种声音(包括飞行器发动机的工作声音)并且能够从飞行器上的机载语音记录器获得。飞行参数数据记录了各种飞行器飞行参数，并且可以从飞机上的快速访问记录器获得。环境数据包括可以从飞行器上的雷达获得的天气数据和地形数据。座舱语音数据、飞行参数数据和环境数据可以实时地或随后(例如在仿真时)获得。实时数据可用于实时监视。后期获得的数据可用于事件调查、飞行员培训等。

语音引擎602使用ASR将座舱语音数据转换为文本数据。不需要执行语音数据提取，而是转换所有语音数据，尤其对于实时应用。在一些实施例中，语音引擎602还可以通过机器学习基于转换后的文本，针对每个语句识别说话者的角色。所识别的说话者与相应的语句相关联。

在一些实施例中，语音引擎602可以被安装在飞行器上，并且经由诸如4G/5G ATG或SATCOM的无线链路将格式化文本数据发送到地面。实时应用将从此类布置中受益，因为向地面上发送文本数据与发送语音数据相比能大大节省带宽。

数据存储604、用户界面606以及图形和显示系统612与上文描述的数据存储104、用户界面106以及图形和显示系统112基本相似。

数字孪生生成器608基于来自语音引擎602的格式化文本数据、来自数据获取模块610的飞行参数数据和环境数据，生成至少两个模拟动态视觉模型。第一动态视觉模型呈现座舱中的虚拟电子设备，诸如显示页面(诸如主要飞行显示(PFD)、复飞点(MAP)、导航显示(ND)、SYNC等)、多功能控制面板(MCP)、飞行控制装置(诸如油门、控制杆、方向舵踏板等)。第二动态视觉模型呈现接近现实的环境。该接近现实的环境反映飞行器的姿态及其外部环境，包括天气和地形。所生成的动态视觉模型可以由图形和显示系统612显示。

图7是根据示例性实施例的数字孪生生成器608的示意性框图。图7所示的数字孪生生成器608包括虚拟座舱模块6082和虚拟飞行模块6084。

虚拟座舱模块6082使用飞行参数数据生成第一图像，该第一图像模拟虚拟电子设备。图8示出了根据示例性实施例的第一图像的示例。在实时应用中基于来自飞行器的飞行参数数据更新虚拟电子设备的读数。在回放应用中，可以从数据库获得飞行参数数据。

虚拟飞行模块6084基于飞行参数数据和环境数据生成第二图像，该第二图像提供接近现实的环境以反映飞行器的姿态和环境。飞行参数数据用于确定飞行器的姿态，而环境数据用于模拟环境。图9图示出根据示例性实施例的第二图像(中国商用飞机有限公司享有版权)的示例。在如图9所示的示例中，将从语音引擎602获得的文本数据以文本字幕的方式并入第二图像中。在回放应用中，还可以回放语音数据。

在回放应用中，文本数据、飞行参数数据和环境数据的同步很重要。环境数据固有地包含时间信息，诸如格林威治时间。对于文本数据，虚拟飞行模块6084在格式化文本数据中标识系统警报或通知的特定内容来与飞行参数数据同步，该系统警报或通知指示飞行参数。

以1000英尺的高度为例，当飞行器的无线电高度达到1000英尺时，飞行控制系统将通知“1000英尺”。该系统通知的语音将由机载语音记录器记录，然后由语音引擎602转换为文本数据。其结果，内容“1000英尺”将在与其时间点相关联地包含在格式化文本中。另一方面，可以在飞行参数数据中找到1000英尺的无线电高度参数。因此，可以通过将格式化文本中内容“1000英尺”的时间点与飞行参数数据中1000英尺的无线电高度的时间点进行比较来确定时间偏移。由此可以基于所确定的时间偏移将格式化文本与飞行参数数据同步。在一些实施例中，可以针对多个飞行参数确定时间偏移，例如高度1000英尺、500英尺和50英尺。可以基于所确定的多个时间偏移进行同步以便提高同步的准确性。对多个时间偏移的计算包括但不限于求平均。

此外，由于飞行参数数据固有地包含时间信息，因此能够与环境数据同步。以此方式，文本数据、飞行参数数据和环境数据可以被同步。

以下示例涉及具体技术实施例，并指出可在实现这些实施例中使用或以其他方式组合的具体特征、要素或步骤。

在一个示例中，提供了一种用于基于座舱语音识别自动生成报告的系统，该系统包括：数据获取模块，被配置为获取座舱语音数据和飞行参数数据；语音引擎，被配置为将座舱语音数据转换为格式化文本数据，该语音引擎包括：预处理模块，被配置为将座舱语音数据转换为格式化语音数据；ASR模块，被配置为使用自动语音识别将格式化语音数据转换为文本数据；后处理模块，用于通过文本处理将文本数据重新组织为格式化文本数据；以及报告生成器，被配置为基于格式化文本数据和报告模板来生成航班标准操作程序(SOP)符合性报告，其中，航班SOP符合性报告指示从座舱语音数据得出的被调查行为如何符合由报告模板定义的标准操作程序。

在系统的一个示例中，预处理模块还被配置为基于与报告模板相关联的关注事件来提取语音数据。

在系统的一个示例中，预处理模块被配置为对座舱语音数据执行多声道分离，并且其中，后处理模块被配置为按时间顺序合并每个声道的文本数据。

在系统的一个示例中，后处理模块被配置为使用文本处理执行断句和加标点以便分离各个语句。

在系统的一个示例中，报告模板包括至少一个检查项目，报告生成器还被配置为确定是否能在至少一个检查项目中的每一个与格式化文本数据的一个或多个部分之间找到匹配。

在系统的一个示例中，后处理模块还被配置为基于飞行参数数据中的(多个)指定的飞行参数来确定一个或多个特定时间点，并将所确定的(多个)时间点与文本数据中具有相同时间戳的(多个)部分关联起来。

在系统的一个示例中，后处理模块还被配置为：通过文本处理来分析文本数据中的每个语句，以获得包括通信领域、说话者角色、意图和诸如航班号和频率号之类的其他信息中的一个或多个的信息；并将获得的信息包括在格式化文本数据中。

在系统的一个示例中，报告生成器被配置为在匹配率达到预定阈值时标识匹配。

在系统的一个示例中，报告生成器还被配置为基于针对机队的多个历史航班SOP符合性报告来生成机队报告。

在系统的一个示例中，该系统还包括处理器，该处理器被配置为基于格式化文本数据中指示飞行参数的系统警报或通知的内容，使座舱语音数据与飞行参数数据同步。

在系统的一个示例中，处理器还被配置为通过将格式化文本数据中的系统警报或通知的内容的时间点与飞行参数数据中的所指示的飞行参数的时间点进行比较来确定时间偏移，并且基于所确定的时间偏移使座舱语音数据与飞行参数数据同步。

在系统的一个示例中，处理器还被配置为针对多个飞行参数确定多个时间偏移；并基于所确定的多个时间偏移使座舱语音数据与飞行参数数据同步。

在另一个示例中，提供了一种用于基于座舱语音识别自动生成报告的方法，该方法包括：获取座舱语音数据和飞行参数数据；将座舱语音数据转换为格式化文本数据，包括：将座舱语音数据转换为格式化语音数据；使用自动语音识别将格式化语音数据转换为文本数据；使用文本处理将文本数据重新组织为格式化文本数据；以及基于格式化文本数据和报告模板生成航班标准操作程序(SOP)符合性报告，其中，航班SOP符合性报告指示从座舱语音数据得出的被调查行为如何符合由报告模板定义的标准操作程序。

在又一个示例中，提供了一种用于运载工具的数字孪生系统，包括：数据获取模块，被配置为获取座舱语音数据、飞行参数数据和环境数据；语音引擎，被配置为使用自动语音识别将座舱语音数据转换为文本数据；数字孪生生成器，被配置为基于文本数据、飞行参数数据和环境数据生成至少两个模拟动态视觉模型，其中至少两个模拟动态视觉模型包括第一动态视觉模型和第二动态视觉模型，该第一动态视觉模型呈现运载工具的座舱中的虚拟电子设备，该第二动态视觉模型呈现运载工具的姿态及其外部环境。

在数字孪生系统的一个示例中，数字孪生生成器包括：虚拟座舱模块，被配置为基于飞行参数数据生成第一动态视觉模型；虚拟飞行模块，被配置为基于文本数据、飞行参数数据和环境数据生成第二动态视觉模型，其中，文本数据以文本字幕的形式并入第二动态视觉模型中，其中，飞行参数数据用于确定运载工具的姿态。

在数字孪生系统的一个示例中，语音引擎安装在运载工具上，并且其中文本数据以及飞行参数数据是通过无线链路从运载工具实时获取的。

在数字孪生系统的一个示例中，语音引擎被安装在本地，并且其中，座舱语音数据和运载工具参数数据是通过无线链路从运载工具实时获得的。

在数字孪生系统的一个示例中，虚拟飞行模块被配置为基于文本数据中指示飞行参数的系统警报或通知的内容，将文本数据与飞行参数数据同步。

在数字孪生系统的一个示例中，虚拟飞行模块还被配置为通过将文本数据中的系统警报或通知的内容的时间点与飞行参数数据中的所指示的飞行参数的时间点进行比较来确定时间偏移，并且基于所确定的时间偏移使文本数据与飞行参数数据同步。

在数字孪生系统的一个示例中，虚拟飞行模块还被配置为：针对多个飞行参数确定多个时间偏移；基于所确定的多个时间偏移使文本数据与飞行参数数据同步。

在数字孪生系统的一个示例中，虚拟飞行模块还被配置为将飞行参数数据与具有固有时间信息的环境数据同步。

在又另一个示例中，提供了一种计算机可读存储介质，存储有指令，该指令在由处理器执行时，致使该处理器执行如上所述的用于基于座舱语音识别自动生成报告的方法。

可以以硬件、软件、固件或此类实现方法的组合来实现本文公开的机制的实施例。本发明的实施例可以被实现为在可编程系统上执行的计算机程序或程序代码，该可编程系统包括至少一个处理器、存储系统(包括易失性和非易失性存储器和/或存储元件)、至少一个输入设备、以及至少一个输出设备。

要理解，本文描述的方法的步骤可以由一个或多个通用或专用处理器(或“(多个)处理设备”)来实现，诸如微处理器、数字信号处理器、定制的处理器和现场可编程门阵列(FPGA)以及唯一存储的程序指令(包括软件和固件两者)，该唯一存储的程序指令控制一个或多个处理器以连同某些非处理器电路实现本文所描述的方法和/或装置的一些、多数或全部功能。

此外，本文描述的系统和方法可以被实现为其上存储有用于对计算机(例如，包括处理器)进行编程以执行本文描述和要求保护的方法的计算机可读代码的计算机可读存储介质。这种计算机可读存储介质的示例包括但不限于硬盘、CD-ROM、光存储器件、磁存储器件、ROM(只读存储器)、PROM(可编程只读存储器)、EPROM(可擦除可编程只读存储器)、EEPROM(电可擦除可编程只读存储器)，以及闪存。此外，预期本领域普通技术人员虽然做出由例如，可用时间、当前技术和经济考虑促动的可能显著的努力以及许多设计选择，但在得到本文所公开的概念和原理指导时，将容易地能以最少的试验产生此类软件指令和程序以及IC。

在上述说明书中已经描述了具体实施例。然而，本领域普通技术人员应理解，在不脱离如权利要求所阐述的本公开的范围的情况下，可以进行各种修改和改变。因此，说明书和附图被认为是示意性的而非限制性的意义，并且所有此类修改都旨在被包括在本教导的范围内。附加地，所描述的实施例/示例/实现方式不应该被解释为相互排斥的，而应被理解为潜在地可组合的，如果此类组合以任何方式是允许的。换句话说，前述实施例/示例/实现方式中的任一个中所公开的任何特征可以被包括在其他前述实施例/示例/实现方式中的任一个中。

这些益处、优势、问题解决方案以及可能使任何益处、优势或解决方案发生或变得更为突出的任何(多个)要素不被解释成任何或所有权利要求的关键的、必需的或必要的特征或要素。本公开仅由所附权利要求书限定，包括在本申请处于待审状态期间做出的任何修改以及授权公告的这些权利要求的所有等效物。

本公开的摘要被提供以允许读者快速地明确本技术公开的性质。提交该摘要，并且理解该摘要将不用于解释或限制权利要求书的范围或含义。另外，在上述具体实施方式中，可以看出出于使本公开整体化的目的，各种特征在各种实施例中被编组到一起。这种公开方法不应被解释为反映要求保护的实施例与各项权利要求中明确记载的相比需要更多的特征的意图。相反，如以下权利要求所反映，发明主题在于少于单个公开的实施例的全部特征。因此，以下权利要求由此被并入具体实施方式中，其中各个权利要求作为单独要求保护的主题代表其自身。

Claims (22)

1.一种用于基于座舱语音识别来自动生成报告的系统，包括：

数据获取模块，被配置为用于获取座舱语音数据和运载工具参数数据；

语音引擎，被配置为用于将所述座舱语音数据转换为格式化文本数据，所述语音引擎包括：

预处理模块，被配置为用于将所述座舱语音数据转换为格式化语音数据；

ASR模块，被配置为用于使用自动语音识别将所述格式化语音数据转换为文本数据；以及

后处理模块，被配置为用于使用文本处理将所述文本数据重新组织为格式化文本数据；以及

报告生成器，被配置为用于基于所述格式化文本数据和报告模板来生成运载工具标准操作规程SOP符合性报告，其中，所述运载工具SOP符合性报告指示从所述座舱语音数据得出的被调查行为与由所述报告模版定义的标准操作规程的符合程度。

2.如权利要求1所述的系统，其特征在于，所述预处理模块进一步被配置为用于基于与所述报告模板相关联的关注事件来提取语音数据。

3.如权利要求1所述的系统，其特征在于，所述预处理模块被配置为用于对所述座舱语音数据执行多声道分离，并且

其中，所述后处理模块被配置为用于按时间顺序合并每个声道的所述文本数据。

4.如权利要求1所述的系统，其特征在于，所述后处理模块被配置为用于使用文本处理执行断句和加标点以便分离各个语句。

5.如权利要求1所述的系统，其特征在于，所述报告模板包括至少一个检查项目，

所述报告生成器进一步被配置为用于确定是否能够在所述至少一个检查项目中的每一个与所述格式化文本数据的一个或多个部分之间找到匹配。

6.如权利要求5所述的系统，其特征在于，所述后处理模块进一步被配置为基于运载工具参数数据中的一个或多个指定的运载工具参数来确定一个或多个特定时间点，并将所确定的一个或多个时间点与所述文本数据中具有相同时间戳的一个或多个部分关联起来。

7.如权利要求1所述的系统，其特征在于，所述后处理模块被进一步配置成用于：

通过文本处理分析所述文本数据中的每个语句，以获得包括交流领域、说话者角色、意图、和包括航班号和通信频率的其它信息中的一个或多个的信息；并且

将获得的信息包括在所述格式化文本数据中。

8.如权利要求5所述的系统，其特征在于，所述报告生成器被配置为用于在匹配率达到预定阈值时识别为匹配。

9.如权利要求1所述的系统，其特征在于，所述报告生成器进一步被配置为用于基于针对机队的多个历史运载工具SOP符合性报告来生成机队报告。

10.如权利要求1所述的系统，还包括处理器，所述处理器被配置为用于基于所述格式化文本数据中指示运载工具参数的系统警报或通知的内容，使所述座舱语音数据与所述运载工具参数数据同步。

11.如权利要求10所述的系统，其特征在于，所述处理器进一步被配置为用于通过将所述格式化文本数据中的系统警报或通知的内容的时间点与所述运载工具参数数据中的所指示的运载工具参数的时间点进行比较来确定时间偏移，并且基于所确定的时间偏移来使所述座舱语音数据与所述运载工具参数数据同步。

12.如权利要求11所述的系统，其中，所述处理器进一步被配置为：

针对多个运载工具参数确定多个时间偏移；以及

基于所确定的多个时间偏移来使所述座舱语音数据与所述运载工具参数数据同步。

13.一种用于基于座舱语音识别来自动生成报告的方法，包括：

获取座舱语音数据和运载工具参数数据；

将所述座舱语音数据转换为格式化文本数据，包括：

将所述座舱语音数据转换为格式化语音数据；

使用自动语音识别将所述格式化语音数据转换为文本数据；以及

使用文本处理将所述文本数据重新组织为所述格式化文本数据；以及

基于所述格式化文本数据和报告模板来生成运载工具标准操作规程SOP符合性报告，其中，所述运载工具SOP符合性报告指示从所述座舱语音数据得出的被调查行为如何符合由所述报告模版定义的标准操作规程。

14.一种用于运载工具的数字孪生系统，包括：

数据获取模块，被配置为用于获取座舱语音数据、运载工具参数数据和环境数据；

语音引擎，被配置为用于使用自动语音识别将所述座舱语音数据转换为文本数据；以及

数字孪生生成器，被配置为用于基于所述文本数据、所述运载工具参数数据和所述环境数据来生成至少两个模拟动态视觉模型，

其中，所述至少两个模拟动态视觉模型包括：第一动态视觉模型，其呈现出所述运载工具的座舱中的虚拟电子设备；以及第二动态视觉模型，其呈现出所述运载工具的姿态及其外部环境。

15.根据权利要求14所述的系统，其特征在于，所述数字孪生系统包括：

虚拟座舱模块，被配置为用于基于所述运载工具参数数据生成所述第一动态视觉模型；以及

虚拟运载工具模块，被配置为用于基于所述文本数据、所述运载工具参数数据和所述环境数据生成所述第二动态视觉模型，

其中，所述文本数据以文本字幕的方式并入所述第二动态视觉模型，

其中，所述运载工具参数数据用于确定所述运载工具的姿态。

16.如权利要求14所述的系统，其特征在于，所述语音引擎被安装在所述运载工具上，并且

其中，所述文本数据和所述运载工具参数数据是通过无线链路从所述运载工具实时获得的。

17.如权利要求14所述的系统，其特征在于，所述语音引擎被安装在本地，并且

其中，所述座舱语音数据和所述运载工具参数数据是通过无线链路从所述运载工具实时获得的。

18.如权利要求14所述的系统，其特征在于，所述虚拟飞行模块被配置为用于基于所述文本数据中指示运载工具参数的系统警报或通知的内容，将所述文本数据与所述运载工具参数数据同步。

19.如权利要求18所述的系统，其特征在于，所述虚拟运载工具模块进一步被配置为用于通过将所述文本数据中所述系统警报或通知的内容的时间点与所述运载工具参数数据中的所指示的运载工具参数的时间点进行比较来确定时间偏移，并且基于所确定的时间偏移使所述文本数据与所述运载工具参数数据同步。

20.如权利要求19所述的系统，其特征在于，所述虚拟运载工具模块被进一步配置成用于：

针对多个运载工具参数确定多个时间偏移；以及

基于所确定的多个时间偏移使所述文本数据与所述运载工具参数数据同步。

21.如权利要求20所述的系统，其特征在于，所述虚拟运载工具模块被进一步配置成用于：使所述运载工具参数数据与具有固有时间信息的所述环境数据同步。

22.一种计算机可读存储介质，存储有指令，所述指令在由处理器执行时，致使所述处理器执行如权利要求13所述的方法。

Images