CN110058677A - 航空电子系统与传感器之间的电子接口装置 - Google Patents

Abstract

此电子接口装置(20)在至少一个航空电子系统(14)与一组(16)传感器(18)之间，每个航空电子系统和传感器能够连接到电子接口装置，该电子接口装置意图装在航空器(12)上。电子接口装置包括：模块(30)，用于检测由用户(26)或一件电子设备(28)发送并且由所述一组中的第一传感器接收的第一信号；模块(32)，用于激活所述一组中的至少第一传感器，用于从所述用户或所述一件电子设备接收第二信号，每个第二传感器是基于第一信号和预定义的确定规则而确定的；模块(34)，用于获取由每个第二传感器接收的第二信号；以及模块(36)，用于产生对应于第二信号的消息并且将所述消息发送到一个或数个航空电子系统。

Description

航空电子系统与传感器之间的电子接口装置

【技术领域】

本发明涉及一种在至少一个航空电子系统与一组传感器之间的电子接口装置，每个航空电子系统和传感器能够连接到电子接口装置，该电子接口装置意图装在航空器上。

本发明还涉及一种意图装在航空器上的航空电子装备，该航空电子装备包括至少一个航空电子系统、一组传感器以及连接在每个航空电子系统与该组传感器之间的这种电子接口装置。

本发明还涉及一种在至少一个航空电子系统与一组传感器之间的通信方法，该方法是由能够连接到每个航空电子系统和传感器并且将装在航空器上的这种电子接口装置实施的。

本发明也涉及一种包括计算机程序的计算机可读介质，该计算机程序包括软件指令，该软件指令在由计算机执行时，实现此通信方法。

本发明接着涉及用于控制航空器的至少一个航空电子系统，优选地意图安装在航空器驾驶舱中的人机接口(MMI)领域。

【背景技术】

航空器驾驶舱通常配备有各种交互部件，交互部件允许用户与航空器交互，以便实施诸如航行命令或改变显示屏上的显示之类的命令。所有这些交互部件于是形成用于检测来自用户的信号的装置，也称为人-系统接口(MSI)。

作为实例，飞机驾驶舱包括交互部件，通常为机械式的，例如旋转控制件、接触器、按钮或开关。

附加地，触敏交互部件使得有可能通过简单地触摸触敏表面来执行命令。特别地已知的是将这样的触敏表面并入到显示器中。

然而，利用此人-系统接口，用户(诸如，航空器的飞行员)或航空器驾驶舱内的一件电子设备与人-系统接口之间的交互模式受到限制。

【发明内容】

因此本发明的目标是提出一种在至少一个航空电子系统与一组传感器之间的电子接口装置，其提供与用户或电子设备的更好的交互，使得有可以考虑来自用户或电子设备的不同信号并且同时提供更多可能的交互模式。

为此，本发明涉及一种在至少一个航空电子系统与一组传感器之间的电子接口装置，每个航空电子系统和传感器能够连接到电子接口装置，该电子接口装置包括：

-检测模块，其被配置成检测第一信号，第一信号能够由用户或一件电子设备发送并且由来自所述一组传感器的第一传感器接收；

-激活模块，其被配置成激活来自所述一组传感器的至少一个第二传感器，以从用户或所述一件电子设备接收第二信号，每个第二传感器是基于检测到的第一信号和预定义的确定规则而确定的；

-获取模块，其被配置成获取由每个第二传感器接收的第二信号；以及

-产生模块，其被配置成产生对应于获取到的第二信号的消息并且将所述消息发送到一个或数个对应航空电子系统。

因此，根据本发明的电子接口装置通过以下操作使得可以与来自所述一组传感器的数个传感器交互：一方面，检测由来自所述一组的第一传感器接收的第一信号，另一方面，接着激活来自所述一组的至少一个第二传感器以便接收第二信号，并且最后从获取到的第二信号产生消息以将其发送到对应的(多个)航空电子系统。

然根据本发明的电子接口装置接着也称为解译器，因为其使得可以管理数个模态并且相对于对应的(多个)航空电子系统解译与所述不同模态相关联的信号。

包括所述一组传感器和电子接口装置的平台因此也称为多模态平台.

模态是指传感器与语言的关联，使得可以将由传感器检测的信号重新转录为有用信息。模态因此是通过由传感器和语言形成的对而定义。

由检测模块检测的第一信号也称为触发事件，因为其构成触发用户或设备与多模态平台之间的一序列连续交互的事件。

例如，使得可以基于检测到的第一信号确定待激活的(多个)第二传感器的一组预定义的确定规则包括模态树，该模态树指示基于所述新交互的来源处的触发事件在与用户或设备的交互中可能发生的模态或多个模态。

例如，除模态树之外，该组预定义的确定规则进一步包括航空器的驾驶舱的配置数据，目的在于基于检测到的第一信号对待激活的(多个)第二传感器的此确定和/或目的在于对在产生消息期间获取到的第二信号的后续处理。

例如，一组预定义的确定规则存储在意图连接到电子接口装置的数据库中。在发动航空器时，此数据库能够与航空器的驾驶舱同步以对应于驾驶舱的当前配置。

根据本发明的其它有利方面，所述电子接口装置包括单独考虑或根据所有在技术上可能的组合的以下特征中的一个或多个：

-电子接口装置进一步包括：

+第二激活模块，其被配置成激活用于处理获取到的第二信号的至少一个装置，处理装置在接口装置的外部；

+第二获取模块，其被配置成通过处理装置获取经处理的第二信号，

产生模块接着被配置成产生对应于经处理的第二信号的消息；

-电子接口装置进一步包括被配置成记录至少一个获取到的第二信号的记录模块，

记录模块优选地被配置成，在由第二激活模块激活用于处理先前的获取到的第二信号的处理装置之后，第二获取模块未获取到经处理的先前的第二信号的情况下，记录至少一个当前的获取到的第二信号；

-产生模块被进一步配置成基于预定义的检验规则来检验每个获取到的第二信号的一致性，并且在不一致的情况下，忽略所述获取到的第二信号；

-所述产生模块被进一步配置成基于航空器的驾驶舱的配置数据将处理应用于第二信号，并且产生对应于经处理的第二信号的消息；

-当数个第二传感器由激活模块激活时，产生模块被进一步配置成基于预定义的选择规则从获取的第二信号当中选择第二信号，并且产生对应于选择的第二信号的消息；

-由激活模块激活的每个第二传感器具有与第一传感器的类型不同的类型，

来自所述一组传感器的每个传感器优选地具有从由以下各项组成的群组当中选取的类型：触敏传感器、机械传感器、声音传感器、图像传感器、移动传感器、眼跟踪传感器、生理传感器和数据接收器；

-来自用户的每个信号是从由以下各项组成的群组当中选取的信号：手势信号、触敏屏上的触摸、机械元件上的动作、语音信号、视觉信号和生理信号；并且

-电子设备的信号是数据信号，

所述数据信号优选地是电信号、无线电信号或光信号。

本发明还涉及一种意图装在航空器上的航空电子装备，该航空电子装备包括至少一个航空电子系统、一组传感器以及连接在每个航空电子系统与该组传感器之间的电子接口装置，其中电子接口装置是如上文所限定的。

根据本发明的另一有利方面，航空电子装备包括以下特征：

-航空电子装备进一步包括至少一个安全网关，并且电子接口装置经由对应安全网关连接到每个航空电子系统。

本发明还涉及一种在至少一个航空电子系统与一组传感器之间的通信方法，该方法是由能够连接到每个航空电子系统和传感器的电子接口装置实施的，该方法包括：

-检测第一信号，第一信号能够由用户或一件电子设备发送并且由来自所述一组传感器的第一传感器接收；

-激活来自所述一组传感器的至少一个第二传感器，以从用户或所述一件电子设备接收第二信号，每个第二传感器是基于检测到的第一信号和预定义的确定规则而确定的；

-获取由每个第二传感器接收的第二信号；以及

-产生对应于获取到的第二信号的消息，并且将所述消息发送到一个或数个对应航空电子系统。

本发明还涉及一种包括计算机程序的计算机可读介质，该计算机程序包括软件指令，该软件指令在由计算机执行时，实现如上文限定的通信方法。

【附图说明】

通过阅读仅作为非限制性示例而提供的并且参照所附的附图而做出的随后的描述，本发明的这些特征和优点将更清楚地显现，在附图中：

-图1是根据本发明的航空电子装备的示意性图解，该航空电子装备意图装在航空器上并且包括数个航空电子系统、一组传感器和连接在每个航空电子系统与该组传感器之间的电子接口装置，以及

-图2是根据本发明的用于在至少一个航空电子系统与传感器之间的通信的方法的流程图，该方法由图1的电子接口装置实施。

【具体实施方式】

在图1中，意图装在航空器12上的航空电子装备10包括至少一个航空电子系统14、一组16传感器18和连接在每个航空电子系统14与该组16传感器之间的电子接口装置20。

航空电子装备10优选地包括数个航空电子系统14，例如，如图1中显示的三个航空电子系统14。

作为可选的附加项，航空电子装备10进一步包括至少一个安全网关22，其互连在每个航空电子系统14与电子接口装置20之间。安全网关22是计算机网关，特别地，该计算机网关针对电子接口装置20形成到航空电子系统14所属的封闭或安全的世界的安全接入点，该封闭的世界由图1中的边界F界定。安全网关22因此是在电子接口装置20以及该组16中的至少一些传感器18所属的开放世界与所述封闭世界之间的接口处。根据此可选的附加项，电子接口装置20经由对应安全网关22连接到每个航空电子系统14。

作为可选附加项，航空电子装备10还包括被配置成处理信号的至少一个处理装置24，每个处理装置24在接口装置20的外部。在图1的实例中，航空电子装备10包括两个处理装置24，例如，一方面语音识别装置而另一方面手势识别装置。

航空器12优选地是飞机。替代地，航空器12是直升机，或由飞行员远程驾驶的无人机。

每个航空电子系统14均是意图装在航空器12上并且实施航空电子功能的电子系统。航空电子系统14例如是飞行管理系统(FMS)或自动驾驶仪(AP)或观察系统。

该组16包括多个传感器18。

传感器通常是指能够检测信息或信号，接着可选地处理检测到的信息或信号的电子元件。由每个传感器18检测到的信号是由用户26或一件电子设备28发送的信号。本领域技术人员将理解，可由传感器18检测的信号所来自的一件电子设备28是来自封闭世界的一件电子设备或来自开放世界的一件电子设备，该件电子设备28不一定装在航空器12上。

特别地，来自用户26的每个信号接着是从由以下各项组成的群组当中选取的信号：手势信号、触敏表面上的触摸、机械元件上的动作、语音信号、视觉信号和生理信号。

该件电子设备28的信号是数据信号，所述数据信号优选地是电信号、无线电信号或光信号。

图1作为实例示出一组16不同类型的传感器18。传感器18例如是触敏传感器，由具有三条平行线的符号显示，被配置成检测一个或数个触觉敲击以及与所述敲击相关联的位置，所述触觉敲击通常是通过由用户的手指与触觉传感器的接触而实现的。触敏传感器通常呈集成到显示屏或触控板中的触敏表面的形式。

本领域技术人员将了解，该件电子设备28也能够包括触敏传感器，并且如果适用，来自用户26的触敏敲击接着也能够经由该件电子设备28间接地检测。

传感器18例如是生理传感器，由心形符号来表示，被配置成检测来自用户26的生理信号。生理信号例如是用户26的脉搏、心率或心跳、排汗量或大脑活动。所述生理传感器例如是布置成与用户26接触的心脏传感器或加速度器。

传感器18例如是声音传感器，由麦克风符号来表示，其被配置成检测音频信号。音频信号例如是语音信号，即，由用户26，特别地通过其声带发出的声音信号。声音传感器例如是放置成与用户26的面部接触的声学麦克风或骨声学osteophonic)麦克风。

传感器18例如是图像传感器，由相机符号来表示，其被配置成检测所述传感器所指向的场景的图像。图像传感器例如是可视域中的图像传感器或红外线图像传感器。传感器18例如是数据接收器，由Wi-Fi符号来示出，其被配置成从电子设备28接收信号。数据接收器例如是无线电接收器，其被配置成从一件电子设备28接收呈无线电波形式的信号；或有线接收器，其被配置成经由有线数据链从该电子设备28接收信号。

传感器18例如还是语音识别引擎，由符号VR(用于语音识别)表示，被配置成一方面检测语音信号，接着另一方面将检测到的语音信号转录为一组字。换句话说，语音识别引擎是与麦克风组合的语音识别装置。

传感器18例如是手势识别引擎，由符号GR(用于手势识别)表示，被配置成一方面检测由用户26所做的手势信号，接着另一方面标识检测到的手势。

传感器18例如还是未示出的机械传感器，诸如物理按钮，例如推压按钮，其能够由用户26或物理旋转控制件来激活，其被配置成检测由用户26在所述旋转控制件上执行的旋转动作。

传感器18例如是移动传感器，其被配置成检测用户26进行的移动，诸如，由用户26执行的手势信号，即，由用户的肢体或其头部中的一者进行的移动。

传感器18例如是眼跟踪传感器，其被配置成检测来自用户26的视觉信号，即，由用户26的一只或两只眼睛产生的信号，例如，用户26的凝视的移动或由用户26的一只或两只眼睛的眨眼，或用户26的瞳孔的大小相对于预定义的瞳孔大小的变化。

其它类型的传感器18也是可能的，诸如，被配置成检测亮度水平的亮度传感器，或被配置成检测压力水平的压力传感器。

电子接口装置20被配置成互连每个航空电子系统14与所述一组16中的(多个)传感器18，每个航空电子系统14和传感器18能够连接到电子接口装置20。电子接口装置也称为解译器，因为其使得可以解译从(多个)传感器18获取的信号，以从其重新转录意图用于(多个)航空电子系统14的有用信息。

电子接口装置20意图装在航空器12上并且包括被配置成检测第一信号的检测模块30，第一信号能够由用户26或电子设备28发送并且由来自所述一组16传感器的第一传感器18接收。

电子接口装置20还包括被配置成激活所述一组16传感器中的至少一个第二传感器18的激活模块32，用于接收由用户26或所述一件电子设备28发送的第二信号。然后每个第二传感器18是基于检测到的第一信号和预定义的确定规则而确定的。

电子接口装置20还包括：获取模块34，其被配置成获取由每个第二传感器接收的第二信号；以及产生模块36，其被配置成产生对应于获取到的第二信号的消息并且将所述消息发送到一个或数个对应航空电子系统14。

本领域技术人员将注意到，激活模块32是针对(多个)特定触发事件(即，(多个)检测到的第一信号)被配置成激活所述一组16传感器中的数个第二传感器18，其每个都意图接收由用户26或电子设备28发送的第二信号。获取模块34接着被配置成获取从多个激活的第二传感器18接收的所有的第二信号。如果需要，产生模块36将接着被配置成仅选择获取到的第二信号中的某些信号，诸如，特别地来自一组获取到的第二信号当中的单个第二信号，例如通过分析获取到的第二信号的一致性来选择最可能的一个或多个信号。

作为可选的附加项，电子接口装置20进一步包括：第二激活模块38，其被配置成激活至少一个处理装置24以便处理获取到的第二信号；以及第二获取模块40，其被配置成从处理装置24获取经处理的第二信号，产生模块36接着被配置成产生对应于经处理的第二信号的消息。

还作为可选的附加项，电子接口装置20进一步包括被配置成记录至少一个获取到的第二信号的记录模块42，该记录模块42优选地被配置成在由第二激活模块38针对先前的获取到的第二信号激活处理装置24，然后未接收到对应的经处理的先前的第二信号的情况下，即，在由第二获取模块40未获取到经处理的先前的第二信号的情况下，记录当前的获取到的第二信号。换句话说，记录模块42被配置成如果对应的处理装置24在获取模块34获取到第二信号之后无法处理第二信号，则记录获取到的第二信号。

根据此可选的附加项，当处理装置24再次可用于处理第二信号时，记录模块42接着被配置成将每个所记录的第二信号连续地发送到所述处理装置24。这于是使得可以在对应的处理装置24的先前的暂时不可用的情况下执行第二记录的信号的延期处理。

在图1的示例中，电子接口装置20包括信息处理单元44，例如由存储器46和与存储器46相关联的处理器48构成。

在图1的示例中，检测模块30、激活模块32、获取模块34和产生模块36以及可选地并且附加地，第二激活模块38、第二获取模块40和记录模块42各自以可由处理器48执行的软件或软件单元的形式制成。电子接口装置20的存储器46于是能够存储：检测软件，其被配置成检测由第一传感器18接收的第一信号；激活软件，其被配置成基于检测到的第一信号和预定义的确定规则激活至少一个第二传感器18；获取软件，其被配置成获取由每个第二传感器18接收的第二信号；和产生软件，其被配置成产生对应于获取到的第二信号的消息并且将其发送到一个或数个对应航空电子系统14。作为可选的附加项，存储器46进一步能够存储：第二激活软件，其被配置成激活至少一个处理装置24以处理获取到的第二信号；和第二获取软件，其被配置成从处理装置24获取经处理的第二信号，产生软件接着被配置成产生对应于经处理的第二信号的消息。还作为可选附加项，存储器46能够存储记录软件，该记录软件被配置成记录至少一个获取到的第二信号，特别是在针对先前的获取到的第二信号激活处理装置24的情况下并且在不存在来自所述处理装置24的返回时(即，在由第二获取软件未获取到经处理的先前的第二信号时)记录当前的获取到的第二信号。处理器48接着能够执行来自以下各项当中的软件应用程序中的每个软件应用程序：检测软件、激活软件、获取软件和产生软件以及作为可选的附加项，第二激活软件、第二获取软件和记录软件。

在未显示的替代方案中，检测模块30、激活模块32、获取模块34和产生模块36以及作为可选的附加项，第二激活模块38、第二获取模块40和记录模块42各自以可编程逻辑组件，诸如FPGA(现场可编程门阵列)的形式或以专用集成电路，诸如ASIC(专用集成电路)的形式制成。

当电子接口装置20以一个或数个软件程序的形式(即，以计算机程序的形式)制成时，其进一步能够存储在可由计算机读取的未示出的介质上。计算机可读介质例如是适合于存储电子指令并且能够与计算机系统的总线耦合的介质。作为示例，可读介质是软盘、光碟、CD-ROM、磁-光碟、ROM存储器、RAM存储器、任何类型的非易失性存储器(例如，EPROM、EEPROM、FLASH、NVRAM)、磁卡或光学卡。包括软件指令的计算机程序于是存储在可读介质上。

检测模块30连接到一组传感器16并且能够检测由来自该组16中的第一传感器18接收的第一信号。

第一信号例如是与人/机接口相关联的触敏表面上的压力，诸如使用语音识别的区上的压力。第一信号例如是物理按钮上的压力，诸如，与预定义的命令(例如语音命令)相关联的按钮。

作为附加的示例，第一信号是由用户26对特定的区的观察，那么第一信号是在用户26注视该特定的区时被检测到的。

第一信号例如还是语音信号，例如由用户26口头陈述的关键字。

作为另一附加的示例，第一信号是基于手势的信号，诸如用户26的手进入给定的地理区中，或用户的特定手势，诸如利用他的肢体中的一个或数个(例如他的前臂)做出的手势。

第一信号例如是由生理传感器检测到的用户26的特定状态，诸如高于预定义的阈值的应激状态。

替代地，由检测模块30检测到的第一信号是由一件电子设备28发送的信号，此信号例如是航空器12的飞行任务的特定要素，诸如进入到航空器12的特定飞行阶段，接收到警告或消息。

当第一信号是由一件电子设备28发送的信号时，此第一信号例如是航空电子系统的事件，诸如针对航空电子功能的调用、航空器12中的故障或航空器12的驾驶舱中的指示器的照亮。

作为另一附加的示例，由一件电子设备28发送的第一信号是来自开放世界的事件，例如从当时位于开放世界中、航空器12内部或地面上的一件电子设备28接收到呼叫。

检测模块30优选地被配置成连续地监听(即，连续地监测)由来自一组16的各种传感器18接收的信号以便检测此第一信号，从而形成触发事件。

本领域技术人员将理解，由检测模块30将此第一信号检测为触发事件例如是通过与触发事件的预定义的列表的比较而实现的。

激活模块32接着被配置成根据检测到的第一信号和预定义的确定规则来激活一组16中的至少一个第二传感器18，因此激活的第二传感器或每个第二传感器18于是能够从用户26或一件电子设备28检测第二信号。

由激活模块32激活的每个第二传感器18优选地具有与已经接收由检测模块30检测到的第一信号的第一传感器18的类型不同的类型。

使得可以基于由检测模块30检测到的第一信号确定待激活的(多个)第二传感器18的一组预定义的确定规则例如是根据模态树定义的，该模态树指示模态或多个模态，特别是(多个)第二传感器18，其可以基于在用户26或一件电子设备28与电子接口装置20之间的所述新交互的来源处检测到的第一信号参与与用户26或设备28的交互。

模态树例如是描述在给定时刻航空器12的驾驶舱中的所有可能交互的预定义的树。作为示例，此模态树是通过规定由电子接口装置20考虑的交互而定义的，例如通过针对每个交互实施以下子步骤：定义触发交互的事件；定义所述一组模态，特别是参与交互的第二传感器18的一组模态；以及确定表征所述模态之间的关系的CARE性质。CARE性质包括以下性质：互补性、指派、冗余和等效性。互补性对应于其中两个模态有助于对所考虑的交互有用的互补信息的情况。指派对应于其中交互是以单个模态进行的情况。冗余对应于其中两个模态有助于相同类型信息的情况，此冗余用于例如保护交互。等效性对应于其中相同交互可通过数个不同类型的模态独立地完成的情况。

模态树的定义接下来例如包括创建节点和链接，其中相同的触发事件一起聚集在相同的节点中，其中在对应于触发事件的节点与对应于与所述触发事件相关联的模态的节点之间创建链接。作为可选的附加项，每个交互是以子树的形式插入到总体模态树中。

模态树的定义接下来例如包括定义用于与交互相关联的最终动作的选择和验证法则，所述选择和验证法则允许电子接口装置20(特别是激活模块32)确定待激活的(多个)第二传感器18，特别是在第一信号上的冲突(即，触发事件)由两个交互共享和/或使得可以如果不存在与触发事件有关的冲突则验证获取到的第二信号(即，来自模态的数据)的情况下。这些选择和验证法则也允许激活模块32以确定在检测到要求后续激活数个第二传感器18的第一信号后需要何时激活数个第二传感器18。下文中将描述同时激活数个第二传感器18的实例。

获取模块34被配置成获取先前由激活模块32激活的每个第二传感器接收的第二信号。获取模块34例如被配置成从激活时刻开始监听每个所激活的第二传感器18，接着逐渐完成第二信号的获取。替代地，获取模块34被配置成在由所考虑的第二传感器18对第二信号的接收完全结束时获取第二信号，第二传感器18接着在接收第二信号时存储接收的第二信号，并且仅在第二信号的接收完成时才将其发送到获取模块34。

产生模块36被配置成产生对应于获取到的第二信号的消息，接着将其发送到对应的(多个)航空电子系统14。

作为可选的附加项，产生模块36进一步被配置成基于预定义的检验规则检验每个获取到的第二信号的一致性，并且在获取到的第二信号相对于预定义的检验规则不一致的情况下，忽略所述获取到的第二信号。预定义的检验规则例如包括在模态树中，如先前所描述，特别是包括在验证法则中。

还作为可选的附加项，产生模块36进一步被配置成当数个第二传感器18由激活模块32激活时，基于预定义的选择规则从获取到的第二信号当中选择第二信号，并且接着产生对应于所选择第二信号的消息。预定义的选择规则例如包括在模态树中，如先前所描述，特别是包括在选择法则中。

本领域技术人员将注意到，当数个第二传感器18由激活模块32激活时，两个替代方案可以用于产生消息。

根据第一替代方案，从所激活第二传感器18获取的所有第二信号对于产生消息是必要的，并且产生模块36接着并不从获取到的第二信号当中选择特定第二信号。

根据第二替代方案，获取到的第二信号的仅一部分(例如，特别是来自获取到的第二信号当中的仅一个第二信号)对于产生消息是必要的，并且产生模块36接着从一组获取到的第二信号当中选择第二信号的所述部分。作为第二替代方案的示例，如果两个语音识别引擎由激活模块32利用用于每个语音识别引擎的相应语法而激活，两个语法是不同的，则那么产生模块36被配置成评估由两个语音识别引擎获取的两个第二信号，以接着选择具有最佳置信级的获取到的第二信号。

作为另一可选的附加项，产生模块36进一步被配置成基于航空器12的驾驶舱的配置数据将处理应用于第二信号，并且产生对应于所述经处理的第二信号的消息。所述处理称为后处理、或后续处理，因为其对应于在产生消息之前完成的最后处理。

本领域技术人员接着将理解，此后处理寻求接下来减少将由接收消息的航空电子系统14完成的动作或处理。作为示例，后处理是坐标系的改变以指示用户26正在注视哪个屏幕，这接着使得可以使在消息内接收到的数据对于接收航空电子系统14而言更可理解。该后处理例如至少部分地基于驾驶舱的配置数据库。

本领域技术人员将理解，该后处理接着形成由接口装置20在发送到所讨论航空电子系统14的消息中接收的第二信号的解译，因此名称解译器也赋予根据本发明的电子接口装置20。

作为可选的附加项，第二激活模块38被配置成激活至少一个外部处理装置24并且将获取到的第二信号发送到所述外部处理装置24，使得处理装置24对第二信号执行相关联处理。

根据此可选附加项，由第二激活模块38激活的外部处理装置24例如是语音识别装置，那么施加的处理是语音识别算法，以便将获取到的第二信号(在现有语音信号的情况下)转换成对应于所述语音信号的转录的文本。替代地，由第二激活模块38激活的外部处理装置24是手势识别装置，其于是被配置成将手势识别算法应用于获取到的第二信号以便标识检测到的手势。检测到的手势信号例如是一组连续图像，并且然后手势识别算法是应用于一系列的获取到的图像的图像处理算法，以便在获取到的图像中标识所讨论手势(诸如，用户26的(多个)手指的抬起)或特定移动(诸如，用户26的肢体的挥动)。附加地，手势识别算法也能够确定用户26的模型的一个或数个特定节点的三维位置(例如在手势传感器的坐标系中)，模型的这些节点通常对应于用户26的关节或用户26的四肢，诸如，手指尖。还附加地，手势识别算法还能够确定关键方向向量，诸如，用户手指或用户26的肢体的方向，诸如其前臂中的一个或数个。

根据此可选的附加项，第二获取模块40接着被配置成从外部处理装置24获取经处理的第二信号，此获取例如包括从所述处理装置24接收经处理的第二信号，处理装置24适合于在所述处理结束时自动地将经处理的信号发送到电子接口装置20，特别是发送到其第二获取模块40。

根据此可选的附加项，产生模块36接着被配置成产生对应于经处理的第二信号的消息。本领域技术人员将进一步理解，当产生模块36被配置成基于用于航空器12的驾驶舱的配置数据将后处理应用于第二信号时，于是将后处理应用于由第二获取模块40获取的经处理的第二信号。

还作为可选的附加项，记录模块42被配置成记录(即，存储)至少一个获取到的第二信号，该记录例如是在存储器46中完成的。记录模块42优选地被配置成仅在外部处理装置24在处理第二信号中出现延迟的情况下记录获取到的第二信号，该记录因此寻求避免数据丢失，并且保证在外部处理装置24可用的过程中每个获取到的第二信号将确实被考虑到并且被处理。记录模块42接着被配置成仅在第二激活模块38针对先前的获取到的第二信号激活处理装置24的情况下并且在处理装置24针对此先前的获取到的第二信号没有返回时(即，在第二获取模块40未获取到来自外部处理装置24的经处理的先前的第二信号时)记录当前的获取到的第二信号。

现在，将使用图2来解释电子接口装置20的操作，图2示出了根据本发明用于一组16传感器18与航空电子系统14之间的通信的方法的流程图，该方法由电子接口装置20实施。

首先将一般性地描述此通信方法，并且接下来将描述不同使用情形作为更详细的示例。

在初始步骤100期间，电子接口装置20经由其检测模块30检测由所述一组16中的第一传感器18接收的第一信号。如先前所指示，此第一信号构成针对一方面一组16传感器与另一方面(多个)航空电子系统14之间的新交互的触发事件，此交互由电子接口装置20管理，如其名称所指示，电子接口装置20于是充当该组16传感器与(多个)航空电子系统14之间的接口。

接口装置20在步骤110期间并且经由其激活模块32激活一组16中的至少一个第二传感器18，此激活是基于检测到的第一信号和预定义的确定规则而完成的。(多个)第二传感器18的该激活接着触发由每个对应第二传感器18接收第二信号。

接口装置20在步骤120期间并且经由其获取模块34获取第二信号，第二信号由先前在步骤110期间激活的第二传感器18接收。

在可选的以下步骤130期间，接口装置20如果必要的话并且经由其记录模块42记录获取到的第二信号，以便在第二信号的获取完成得比稍后由外部处理装置24进行的第二信号的处理更快的情况下避免信息丢失。实际上，记录模块42优选地仅在其检测到已获取到新的第二信号而外部处理装置24尚未处理先前的获取到的第二信号(即，外部处理装置24已由第二激活模块38激活，但第二获取模块40尚未转而接收到从外部处理装置24返回的对应的经处理的第二信号)时执行此记录。

在也是可选的以下步骤140期间，接口装置20经由其第二激活模块38激活对应的外部处理装置24并且向其发送获取到的第二信号用于处理，一旦外部处理装置24完成所述处理，接口装置20接着就经由其第二获取模块40获取经处理的第二信号。

接口装置20最后在步骤150期间并且经由其产生模块36执行对应于第二信号的消息的产生，接着将所述消息发送到对应的(多个)航空电子系统14。如果适用的话，消息的此产生是根据经处理的第二信号而完成的。

作为可选的附加项，在此步骤150期间，产生模块36进一步基于来自航空器12的驾驶舱的配置数据将后处理应用于第二信号，并且产生的消息接着对应于来自所述后处理的第二信号。

在步骤150期间，产生模块36接着使产生的消息对于(多个)航空电子系统14可用，此产生的消息例如对应于来自模态的原始数据，所述数据特定于与模态相关的语言。作为示例，使得对于(多个)航空电子系统14可用的数据是技术数据或性质，诸如频率、速度、航向、海拔高度或航路点。

替代地或附加地，提供到(多个)航空电子系统14的消息对应于具体化的数据，接口装置20接着经由其产生模块36帮助对应的航空电子系统14通过执行如先前所描述的后处理或后续处理来从模态集成原始信息。作为具体化的示例，产生模块36根据在接收到的数据消息中识别的数个关键字并且根据语法的特定词来执行接收到的字母数字数据的键入。例如，产生模块36识别，在诸如“下降100”或“下降飞行高度100”的数据消息中，值100对应于海拔高度并且接着将此海拔高度信息发送到对应航空电子系统14。作为附加的示例，由产生模块36完成的后处理是坐标系的改变，例如从与传感器18中的一个传感器相关联的本地坐标系的坐标转换到航空电子系统14的已知坐标系。

还替代地或附加地，接着发送到航空电子系统14的所产生消息是航空电子系统14的命令。如果适用，航空电子系统14能够直接执行从接口装置20接收的命令，或将其提交给用户26，诸如航空器12的飞行员，用于在执行它之前进行验证。这两个可能替代方案之间的此选取(即，直接执行接收到的命令或首先由航空器的飞行员对其进行验证)，取决于接收到的命令的危急程度。

作为示例，能够产生接着由接口装置20发送的命令是：频率的改变、速度的改变、航向的改变、海拔高度的改变、航空器12的驾驶舱中显示器的再配置(例如，格式的改变、人/机接口配置或驾驶舱的整体再配置)、系统的值的改变(诸如，航空器12内部的温度或空调参数、所显示地图的放大或相反的缩小)或者在数据链上的发送消息。

现在将描述多模态交互的数个示例以说明根据本发明的接口装置20的几个使用情形。

第一使用情形对应于触摸和通话，对此，第一信号或触发事件是由用户26在人/机接口的触敏表面的特定区上的压力，随后有专用于那个区的语音命令的用户26的发声。根据此第一使用情形，那么第一传感器是集成到触敏表面中的触敏传感器，并且在检测到对应于第一信号的此触觉敲击之后由接口装置20激活的第二传感器是语音识别引擎，其能够检测用户26的语音命令，接着将语音识别算法应用于语音命令以便将其转录成字符串。根据此第一使用情形，接口装置20进一步能够基于当前操作情景检验来自语音识别引擎的数据具有适当句法和适当语义。例如，如果航空器12的飞行员要求进入射频，则那么数据将具有在特定频带中的射频类型格式，并且接口装置20将接着检验从语音识别引擎得到的字符串确实对应于与航空器12的当前位置的一致的射频。

第二使用情形是注视和通话，对此，第一信号或触发事件例如是专用于语音识别的物理按钮上的压力，或特定语音命令的发声，诸如专用于触发语音识别的关键词。在检测到此第一信号之后，接口装置20接着将眼跟踪传感器作为第二传感器激活，以便从用户26获取视觉信号(诸如，朝向人/机接口的观察屏上的特定区的注视)，并且将语音识别引擎作为第二附加的传感器激活以获取由用户26发声的与其所注视的区相关的语音命令。本领域技术人员接着将理解，此第二使用情形是第二传感器18的同时激活的示例。

本领域技术人员将进一步观察到，当用户26按压专用于语音识别的物理按钮时，接口装置20检测与稍后将描述的另一使用情形的可能冲突，即对应于伴随有语音命令的按压(按键并通话)的第五使用情形。接口装置20将因此首先检查用户26的观察的区是否对应于适宜于语音命令的区，并且如果适用，将激活语音识别引擎以捕获专用于所述区的语音命令。接口装置20将并行地激活语音识别引擎以捕获对应于第五使用情形的整体语音命令。接口装置20将接着从语音识别引擎的这两个激活恢复数据，并且接下来将检查语音识别引擎指派给针对这两个语音识别激活获得的两个结果中的每个者的置信级。接口装置20将接着产生对应于具有最高置信级或最高可能性的语音识别结果的消息。

本领域技术人员也将观察到，如果第二使用情形的第一信号或触发事件是具有特定关键字的语音命令，则那么接口装置20也将检测与另一使用情形的可能冲突，即对应于伴随有语音命令的呼叫(呼叫并通话)的第四使用情形。在此情况下，接口装置20将类似与以上指示的那样进行处理(即通过既针对飞行员所观察的区激活语音识别引擎，又针对整体语音识别激活语音识别引擎)，并且将基于来自语音识别引擎的最可能的结果产生消息。

第三使用情形对应于伴随有移动的用户26的眼跟踪(注视和移动)，对此，第一信号或触发事件是专用于手势识别的物理按钮上的压力或对应于特定关键字或特定手势信号的特定语音命令的发声。根据此第三使用情形，接口装置20接着在已经检测到上述触发事件之后，将眼跟踪传感器作为第二传感器激活以获取用户26朝向特定区(诸如，人/机接口的显示屏上的区)的凝视，并且将移动传感器作为第二附加的传感器激活以便从用户26获取与其所注视区相关的手势命令。本领域技术人员于是将理解，此第三使用情形是第二传感器18的同时激活的另一示例。

第四使用情形对应于伴随有语音命令的呼叫(呼叫和通话)，对此，第一信号或触发事件是具有特定关键字的语音命令以便呼叫电子助手。接口装置20接着在检测到此触发事件之后，激活语音识别引擎以便获取用户26接下来发声的语音命令以从其转录使得可以产生用于(多个)航空电子系统14的消息的字符串。本领域技术人员将注意到，此使用情形避免全通过物理开关(诸如，物理按钮或触觉敲击)进行。

如先前所指示，第五使用情形对应伴随有语音命令的压力(按键和通话)，对此，第一信号是用户26在专用于语音识别的物理按钮上的压力，第二信号接下来是用户26的语音命令的发声。根据此第五使用情形，接口装置20接着在检测到物理按钮上的此压力之后，激活语音识别引擎以便获取由用户26发声的语音命令，接着将其转录成字符串，接下来由产生引擎36使用该字符串以产生消息并且将消息发送到(多个)航空电子系统14。

第六使用情形对应于根据来自用户26的语音消息的便签模式(语音便签)，对此，第一信号是诸如PTT(按键以通话)按钮的物理按钮上的压力，并且接口装置接着在检测到PTT按钮上的此压力之后将语音识别引擎作为第二传感器激活以便在PTT按钮上的此压力后检测来自用户26的语音消息。接口装置20接着将接收用户发声的语音消息的文本转录并且寻求键入由此转录的数据以将动作指令发送到(多个)航空电子系统14，以便基于其语音消息的内容来辅助用户26，诸如，飞行员。例如，如果用户26发声以下语音消息“航向260°，爬升到飞行高度100”，则那么接口装置20将数字260解译为将航向改变到260°的请求，并且将数字100解译为通过爬升到飞行高度100来改变海拔高度的请求。PTT按钮是存在于航空器的驾驶舱中的允许用户26(特别是飞行员)与空中交通管制(ATC)通信接着与空管谈话的按钮。

因此可以了解，根据本发明的电子接口装置20通过使得可以考虑来自用户26或电子设备28的不同信号提供与用户26或电子设备28的较佳交互以接下来与航空电子系统14通信。接口装置20接着形成元件之间(即一方面一组16传感器并且另一方面(多个)航空电子系统14)的协调器，接口装置20在元件之间互连。附加地，接口装置20也形成解译器并且于是便于航空电子系统14使用作为输出递送到它们的消息。

Claims (13)

1.一种在至少一个航空电子系统(14)与一组(16)传感器(18)之间的电子接口装置(20)，每个航空电子系统(14)和传感器(18)能够连接到电子接口装置(20)，所述电子接口装置(20)意图装在航空器(12)上并且包括：

-检测模块(30)，其被配置成检测第一信号，第一信号能够由用户(26)或一件电子设备(28)发送并且由来自所述一组(16)传感器的第一传感器(18)接收；

-激活模块(32)，其被配置成激活来自所述一组(16)传感器的至少一个第二传感器(18)，以从所述用户(26)或所述一件电子设备(28)接收第二信号，每个第二传感器(18)是基于检测到的第一信号和预定义的确定规则而确定的；

-获取模块(34)，其被配置成获取由每个第二传感器(18)接收的第二信号；以及

-产生模块(36)，其被配置成产生对应于获取到的第二信号的消息并且将所述消息发送到一个或数个对应的航空电子系统(14)。

2.根据权利要求1所述的装置(20)，其中所述电子接口装置(20)进一步包括：

-第二激活模块(38)，其被配置成激活用于处理获取到的第二信号的至少一个装置(24)，处理装置(24)在所述接口装置(20)外部；

-第二获取模块(40)，其被配置成通过所述处理装置(24)获取经处理的第二信号，

所述产生模块(36)接着被配置成产生对应于经处理的第二信号的消息。

3.根据权利要求2所述的装置(20)，其中所述电子接口装置(20)进一步包括被配置成记录至少一个获取到的第二信号的记录模块(42)。

4.根据权利要求3所述的装置(20)，其中所述记录模块(42)被配置成，在由第二激活模块(38)激活用于处理先前的获取到的第二信号的处理装置(24)之后，第二获取模块(40)未获取到经处理器的先前的第二信号的情况下，记录至少一个当前的获取到的第二信号。

5.根据权利要求1或2所述的装置(20)，其中所述产生模块(36)被进一步配置成基于预定义的检验规则来检验每个获取到的第二信号的一致性，并且在不一致的情况下，忽略所述获取到的第二信号。

6.根据权利要求1或2所述的装置(20)，其中所述产生模块(36)被进一步配置成基于所述航空器(12)的驾驶舱的配置数据将处理应用于第二信号，并且产生对应于经处理的第二信号的消息。

7.根据权利要求1或2所述的装置(20)，其中当数个第二传感器(18)由所述激活模块(32)激活时，所述产生模块(36)被进一步配置成基于预定义的选择规则从获取到的第二信号当中选择第二信号，并且产生对应于选择的第二信号的消息。

8.根据权利要求1所述的装置(20)，其中由所述激活模块(32)激活的每个第二传感器(18)具有与第一传感器(18)的类型不同的类型。

9.根据权利要求8所述的装置(20)，其中来自所述一组(16)传感器的每个传感器(18)具有从由以下各项组成的群组当中选取的类型：触敏传感器、机械传感器、声音传感器、图像传感器、移动传感器、眼跟踪传感器、生理传感器和数据接收器。

10.一种意图装在航空器(12)上的航空电子装备(10)，所述航空电子装备(10)包括至少一个航空电子系统(14)、一组(16)传感器(18)以及连接在每个航空电子系统(14)与所述一组(16)传感器之间的电子接口装置(20)，其中所述电子接口装置(20)是根据权利要求1的。

11.根据权利要求10所述的航空电子装备(10)，其中所述航空电子装备(10)进一步包括至少一个安全网关(22)，并且所述电子接口装置(20)经由对应的安全网关(22)连接到每个航空电子系统(14)。

12.一种在至少一个航空电子系统(14)与一组(16)传感器(18)之间的通信方法，所述方法是由能够连接到每个航空电子系统(14)和传感器(18)并且将装在航空器(12)上的电子接口装置(20)实施的，

所述方法包括：

-检测(100)第一信号，第一信号能够由用户(26)或一件电子设备(28)发送并且由来自所述一组(16)传感器的第一传感器(18)接收；

-激活(110)来自所述一组(16)传感器的至少一个第二传感器(18)，以从所述用户(26)或所述一件电子设备(28)接收第二信号，每个第二传感器(18)是基于检测到的第一信号和预定义的确定规则而确定的；

-获取(120)由每个第二传感器(18)接收的第二信号；以及

-产生(150)对应于获取到的第二信号的消息，并且将所述消息发送到一个或数个对应的航空电子系统(14)。

13.一种包括计算机程序的计算机可读介质，所述计算机程序包括软件指令，所述软件指令在由计算机执行时实施根据权利要求12所述的方法。