CN109933272A - 多模态深度融合机载座舱人机交互方法 - Google Patents

Abstract

发明公开的一种多模态深度融合机载座舱人机交互方法，旨在提供一种交互方式灵活，能够提升交互效率和座舱的智能化程度，实现人机‑系统‑环境的融合的方法。本发明通过下述技术方案予以实现：运用解析模块解析飞行员输入意图，根据用户意图建立语音指令及触摸指令的联合语义表达；利用座舱各种模态的特性进行多模态深度融合；捕获模块捕获当前状态下各传感器的参数；控制模块结合联合语义表达及传感器数据生成语音和触摸的多模态融合控制指令，基于外部传感器数据自动分析的控制，产生相应的控制命令，根据用户指令结合传感器数据，自适应调整多模态参数，将最终生成的多模态控制指令反馈给用户，供用户确认。

Description

多模态深度融合机载座舱人机交互方法

技术领域

本发明涉及一种多模态人机交互技术，尤其是用于机载平台人机交互的方法

背景技术

目前，人机交互技术正朝着以人为中心，减少人机隔阂，建立和谐的人机环境这一减少人机隔阂，建立和谐的人机环境这一目标发展。模态是心理学领域中的一个标准术语，涵盖了用户表达意图、执行动作或感知反馈信息的各种通信方法如言语、眼神、脸部表情、唇动、手动、手势、头动、肢体姿势、触觉、嗅觉或味觉等。是指感知信息的感觉，也就是感觉模态。所谓多模态人机交互就是基于智能接口技术，充分利用人的多种感知通道，接口技术，充分利用人的多种感知通道，以并行的、非精确的方式与计算机系统进以并行的、非精确的方式与计算机系统进行交互，旨在提高人机交互的自然性和高行交互。多模态人机交互技术所涉及的研究范围包括感知模型，语音识别，手写识别，姿势识别，表情识别，眼动跟踪，自然语言理解，触觉感知与表示，多模态通道信息融合，高性能视觉和听觉处理平台等。多模态是将多种感官融合，机器人与人的交互模式定义为“多模态交互”，即通过文字、语音、视觉、动作、环境等多种方式进行人机交互，充分模拟人与人之间的交互方式。多模态交互(Multi-ModalInteraction)是一种使用多种模态与计算机通信的人机交互方式。采用这种方式的计算机用户界面称为“多模态用户界面”。采用多模态交互可以充分利用各种模态的特性，完成其在功能上的划分和互补。使用多模态可以提高交互方式的灵活性。多模态并非多个模态的集合，而是它们之间的整合。也就是说，将手势、语音与其他模态结合起来，采用具体的整合模型其他模态结合起来，采用具体的整合模型或算法，得到高一级的语义特性并且实现或算法，得到高一级的语义特性并且实现特定的应用。主要是基于自然技能的人机交互手段，将数据信息和知识转化为一种视觉形成的过程。现有飞机基于传统的周边物理按键和轨迹球操作的人机交互体制下，长时间执行飞行任务情况下会导致人体的疲劳与紧张，极易造成短时的空间定向障碍或操作迟缓乃至错误，从而造成安全事故。因此传统的周边物理按键和轨迹球操作的控制方式已经无法满足任务的全部需求，对于智能化、综合化、灵活化的人机交互接口存在较强的需求，以降低飞行员操作负担，提升任务执行效率。在与外界隔离的座舱内，驾驶员获取信息主要依靠观察仪表显示器；但是作为人机接口的仪表和控制器长期以来落后于飞机总体的发展，另一方面飞机的发展又不断提出越来越多的新要求，这就给座舱仪表板和操纵台的布置设计带来很大困难，并且增加了驾驶员的工作负荷，主要体现在几个方面：如仪表和控制器数量的不断增加；可利用时间的相对缩短。驾驶员观察仪表显示、做出判断决策、采取操纵动作每一步都需要一定时间。现有的飞机座舱布置设计方法比较传统和简单，在对座舱设备布置的检查与评估方面显得力不从心，至于人的生理和心理因素的要求则更难满足。飞机座舱人机界面是一种特殊的产品，它是飞行员了解飞机状态的重要媒介，飞行员通过人机界面提供的飞行信息、导航信息、系统设备状态信息作出相应的判断，对飞机进行操作控制。它与一般的产品相比设计限制更多，安全性要求更高。飞机座舱综合显示控制越来越多的飞机设备，带来越来越多的仪表，单纯的机械仪表电子化已经不能满足越来越高的飞行要求。人机交互是飞机座舱人机界面设计不可回避的问题。飞机座舱是一个非常特殊的环境，在这个几平方的狭窄空间内需要安装飞行员座椅、踏板、机架等等众多设施，因此留给显示设备的空间是有限的，同时能够利用的资源也只有显示屏和部分发声装置。怎样利用有限的空间和资源，将空间和资源的使用价值最大化是需要考虑的。听觉交互因素在座舱交互设计中应被用于告警，在一个交互系统中，由于操作者的个人原因，经常会产生误操作，包括键入错误、数据输入错误等。同样，在用户编制的程序或设备连接时也可能会有错误。

目前国内外在部分新型飞机中，已尝试使用触摸屏、语音控制等新型智能交互技术。对于触摸控制，在商务性民用飞机中已经开始大规模使用。对于座舱的智能化程度有一定程度的提升，但是从应用来看，现有系统架构还存在许多不足，主要包括。其主要原因有以下几点：

1)多种控制手段物理上整合，缺乏内部的融合及关联目前新机型中虽然增加了触摸及语音控制的功能，但各种控制手段间相对独立设计，耦合关系弱，更无深层次的信息融合。

然而，单通道的控制技术均在某些方面存在相应的局限性，约束了人机交互总体效率的提升。例如单一的语音交互存在反馈周期长等问题，更加适用于信息的输入，而不太适合于信息输出的主要通道。同样，单一的触摸控制也存在增加操作负担、受振动等环境影响大的劣势。而若将多通道整合，能将听觉、触觉融合作为信息输入，视觉作为主要输出其交互效率将更为高效。

2)以被动控制为主，系统缺乏自主分析及推理的能力目前的控制方法以被动接受式为主，缺乏自主化、智能化能力，无法根据态势及环境变化自适应推理相关控制要素。而对环境及态势的感知完全由飞行员完成，因此人-环境以及人-系统为两个独立的系统，靠人进行信息的交换，缺乏高效的耦合。从而导致需要飞行员务必提供绝对精确的操作及指令才可完成相应操作，以语音控制实现音量大小调节为例，目前需飞行员下发准确指令“将音量增加到XX档”，很难通过飞行员下发的“增大音量”这类模糊指令实现基于当前飞行状态以及舱内噪声的音量自适应增大，对飞行员的负担极大。

发明内容

本发明的目的是针对以上描述的现有单模态人机交互的不足，提供一种交互方式灵活，能够提升交互效率和座舱的智能化程度，基于语音、触摸等多模态深度融合交互技术的机载座舱人机交互方法，同时探索智能化人机交互技术与任务系统、传感器系统等协同以实现智能化推理和模糊控制等技术，提升座舱的人机协同智能化程度，实现人机-系统-环境的融合。

本发明的目的可以通过以下技术方案达到：一种多模态深度融合机载座舱人机交互方法，其特征在于包括如下步骤：运用解析模块解析飞行员输入的语音或触摸控制指令，确定用户意图，利用多模态的互补性，解析融合座舱多通道控制信息，确定用户意图后，按用户意图建立语音指令及触摸指令的联合语义表达；采用带槽法或其它机器学习的方法实现联合语义的生成，利用座舱各种模态的特性进行多模态深度融合；捕获模块采集座舱传感器信号，捕获当前状态下各传感器的参数及数据；控制模块结合联合语义表达及传感器数据生成语音和触摸的多模态融合控制指令，基于外部传感器数据自动分析的控制，产生相应的控制命令，根据用户指令结合传感器数据，自适应调整多模态参数，将最终生成的多模态控制指令反馈给用户，供用户确认。

本发明具有如下有益效果：

(1)本发明采用解析模块解析飞行员输入的语音或触摸控制指令,确定用户意图，利用多模态的互补性，解析座舱多通道控制信息的有效融合，确定用户意图；使用语音、触摸等多模态交互方式，增加了系统交互方式的灵活性，

(2)提升了交互效率。本发明基于语音、触摸等多模态深度融合交互技术，充分利用各种模态的特性，完成其在功能上的划分和互补。根据用户意图，建立语音指令及触摸指令的联合语义表达；采用带槽法或其它机器学习的方法实现联合语义的生成，利用各种模态的特性进行多模态深度融合，提供语音和触摸的多模态融合控制，利用触摸及语音等多模态的互补性，实现多通道控制信息的有效融合，允许单模态控制的非精准表达，支持模糊控制，提升了交互效率。

(3)提升了座舱的智能化程度。本发明通过控制模块结合联合语义表达及传感器数据生成语音和触摸的多模态融合控制指令，基于外部传感器数据自动分析的控制，产生相应的控制命令，根据用户指令实现自适应参数调整，实现自适应调整多模态参数，实现了基于外部传感器数据自动分析的控制，提升了交互的自然度和座舱的智能化程度。

附图说明

图1为本发明基于多模态综合控制处理的一个实施例的流程图。

图2表示本发明的一个实施例的示意图。

图3表示本发明的实施例2的示意图。

图4表示本发明的实施例3的示意图。

为了进一步说明而不是限制本本发明的上述实现方式，下面结合附图给出最佳实施例，将参照附图通过实施例进一步描述，从而使本发明的细节和优点变得更为明显。

具体实施方式

参阅图1。根据本发明，采用如下步骤：

S1、解析飞行员输入的语音或触摸控制指令,确定用户意图；

S2、根据用户意图，建立语音指令及触摸指令的联合语义表达；联合语义生成可采用带槽法或其他机器学习的方法实现。

S3、捕获当前状态下各传感器的参数及数据，结合联合语义表达及传感器数据，生成最终控制指令；

S4、将最终生成的控制指令反馈给用户，供用户确认。

根据上述步骤，运用解析模块解析飞行员输入的语音或触摸控制指令,确定用户意图，利用多模态的互补性，解析座舱多通道控制信息的有效融合，确定用户意图；根据用户意图，建立语音指令及触摸指令的联合语义表达；采用带槽法或其它机器学习的方法实现联合语义的生成，利用座舱各种模态的特性进行多模态深度融合；捕获模块采集座舱传感器信号，捕获当前状态下各传感器的参数及数据；控制模块结合联合语义表达及传感器数据生成语音和触摸的多模态融合控制指令，基于外部传感器数据自动分析的控制，产生相应的控制命令，根据用户指令结合传感器数据，自适应调整多模态参数，将最终生成的多模态控制指令反馈给用户，供用户确认。

在所述实施例中，

步骤1，解析模块接收飞行员多模态输入控制指令，对语音信号进行语音识别，确定用户语音输入的意图；对触摸位置进行分析，确认用户触摸操作的意图。上述多模态控制指令的输入信号包括用户输入的语音信号、触摸位置等信息；

步骤2，解析模块根据语音输入意图及触摸意图，实现多模态的语义融合，建立语音指令及触摸指令的联合语义表达，确定用户操作的最终意图；

步骤3，捕获模块采集传感器信号，传感器信号包括但不限于温湿度传感器、噪声分贝器、、地理位置定位模块和重力传感器中的一个或多个传感器输入的信号；

步骤4，控制模块根据联合语义表达生成的用户操作最终意图及当时所采集到的传感器状态，生成最终的控制指令；将处理结果反馈给上述用户供其确认，随即对控制指令进行处理，具体地，将处理结果反馈给上述用户可以包括：将处理结果以文本、声音馈等方式反馈给用户，本实施例对处理结果的反馈方式不作限定。

参阅图2。图2给出了本实施例的一种实现方式,以语音输入为主控要素，触摸输入为参数的多模态控制方式。具体场景举例：飞行员语音输入“我要去这里”，同时触摸屏幕中地图某位置。捕获模块识别用户语音意图：“我要去XX”，解析模块语义分析：“去”+ “这里”，解析触摸单点坐标(X，Y)，语义融合：导航到(X，Y)，控制模块建立语音指令及触摸指令的联合语义表达“我要去(X，Y)”并生成相应控制指令，并反馈用户确认。

参阅图3。图3给出了本实施例的另一种实现方式,以触摸输入为主控要素，语音输入为参数的多模态控制方式。

具体场景举例：飞行员长按参数配置界面中某位置的单点坐标(X，Y)，触摸屏幕中地图某位置，语音输入“2”，解析模块语义分析单点坐标(X，Y)对应波道号，语义融合中将波道号改为“2”，解析用户触摸位置(X，Y)，将对应的虚拟按键为“波道号设置”，捕获模块识别用户语音意图“我要去XX”，解析模块解析触摸坐标(X，Y)，而后，控制模块建立语音指令及触摸指令的联合语义表达“我要去(X，Y)”生成相应控制指令，并反馈用户确认。

参阅图4。图4给出了本实施例的一种实现方式,以语音输入作为控制要素，结合传感器数据生成控制指令的多模态控制方式。在具体场景中，飞行员语音输入音量，捕获模块完成语音识别，理解用户音量意图时，自动捕获环境麦克风所采集到的环境噪声等级，解析模块以语音输入作为控制要素，按音量规则生成可懂度的音量大小，控制模块结合传感器数据生成控制指令的多模态控制方式，语义融合生成用户最终音量增减意图生成相应控制命令。具体场景举例：飞行员语音输入“增大音量”，并未指定具体音量等级。捕获模块完成语音识别，理解用户意图为增大音量时，自动捕获环境麦克风所采集到的环境噪声等级，如麦克风采集座舱环境为90dB，解析模块以语音输入作为控制要素，按一定规则生成具有较好可懂度的音量大小，示例中为较噪声大10dB，控制模块结合传感器数据生成控制指令的多模态控制方式，语义融合生成用户最终意图为“增大音量到100dB”，并生成相应控制命令。

本发明尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所权利要求及其等同物限定。

Claims (10)

1.一种多模态深度融合机载座舱人机交互方法，具有如下技术特征：运用解析模块解析飞行员输入的语音或触摸控制指令，确定用户意图，利用多模态的互补性，解析融合座舱多通道控制信息；确定用户意图后，按用户意图建立语音指令及触摸指令的联合语义表达；采用带槽法或其它机器学习的方法实现联合语义的生成，利用座舱各种模态的特性进行多模态深度融合；捕获模块采集座舱传感器信号，捕获当前状态下各传感器的参数及数据；控制模块结合联合语义表达及传感器数据生成语音和触摸的多模态融合控制指令，基于外部传感器数据自动分析的控制，产生相应的控制命令，根据用户指令结合传感器数据，自适应调整多模态参数，将最终生成的多模态控制指令反馈给用户，供用户确认。

2.如权利要求1所述的多模态深度融合机载座舱人机交互方法，其特征在于：解析模块接收飞行员多模态输入控制指令，对语音信号进行语音识别，确定用户语音输入的意图；对触摸位置进行分析，确认用户触摸操作的意图。

3.如权利要求1所述的多模态深度融合机载座舱人机交互方法，其特征在于：多模态控制指令的输入信号包括用户输入的语音信号和触摸位置信息。

4.如权利要求1所述的多模态深度融合机载座舱人机交互方法，其特征在于：控制模块生成控制指令，将处理结果以文本、声音馈方式反馈给用户。

5.如权利要求1所述的多模态深度融合机载座舱人机交互方法，其特征在于：解析模块解析触摸单点坐标(X，Y)，语义融合导航到(X，Y)，控制模块建立语音指令及触摸指令的联合语义表达并生成相应控制指令，反馈用户确认。

6.如权利要求1所述的多模态深度融合机载座舱人机交互方法，其特征在于：在具体场景中，飞行员按参数配置界面中某位置的单点坐标(X，Y)，触摸屏幕中地图某位置，同时语音输入语义。

7.如权利要求6所述的多模态深度融合机载座舱人机交互方法，其特征在于：解析模块分析单点坐标(X，Y)对应波道号，语义融合波道号，解析用户触摸位置(X，Y)，将对应的虚拟按键为“波道号设置”，捕获模块识别用户语音意图。

8.如权利要求1所述的多模态深度融合机载座舱人机交互方法，其特征在于：解析模块解析触摸坐标(X，Y)，控制模块建立语音指令及触摸指令的联合语义表达，生成相应控制指令，并反馈用户确认。

9.如权利要求1所述的多模态深度融合机载座舱人机交互方法，其特征在于：在具体场景中，飞行员语音输入音量，捕获模块完成语音识别，理解用户音量意图时，自动捕获环境麦克风所采集到的环境噪声等级。

10.如权利要求9所述的多模态深度融合机载座舱人机交互方法，其特征在于：解析模块以语音输入作为控制要素，按音量规则生成可懂度的音量大小，控制模块结合传感器数据生成控制指令的多模态控制方式，语义融合生成用户最终音量增减意图生成相应控制命令。