CN108227926A - 一种面向多通道协同智能交互的智能通道切换系统及方法 - Google Patents

Abstract

本发明公开了一种面向多通道协同智能交互的智能通道切换系统，包括：通道自动切换模块：用于分析和评价不同交互通道，自动切换最优通道交互方式；通道手动切换模块：用于操作人员手动对于不同通道交互方式进行切换。本发明还公开了采用该系统的方法。本发明能够实现多通道智能交互过程的智能通道切换，提高指挥操作的效率，改善因交互通道的错用造成资源的浪费。本发明能提供多通道人机交互手段，识别用户，记录其状态，并根据其喜好自动或手动调整通道的使用，同时也可根据任务需求灵活调整与分配工作任务。本发明具有较高的实用价值，可用于控制模拟、战场协同控制等多种场合。

Description

一种面向多通道协同智能交互的智能通道切换系统及方法

技术领域

本发明涉及智能通道切换系统及方法，特别是涉及一种面向多通道协同智能交互的智能通道切换系统及方法。

背景技术

多通道交互(Multi-Modal Interaction,MMI)是近年来迅速发展的一种人机交互技术，该技术综合采用脑电、眼动、语音、手势等新的交互通道、设备和交互技术，使用户利用多个通道以自然、并行、协作的方式进行人机对话，通过整合来自多个通道的、精确的和不精确的输入来捕捉用户的交互意图，提高人机交互的自然性和高效性。多通道交互技术目前在指挥控制、汽车导航、游戏娱乐等领域的研究和应用较为广泛。其中，将这些新型交互通道纳入并与鼠标、键盘等传统交互通道相结合，需解决一系列的问题，其中的关键问题是如何实现多通道整合(multimodal integration)。目前国内外学者在建立多通道整合模型方面做了很多有意义的研究和工作，应用较多的是“任务槽填充”机制，利用多种通道彼此互补来完成特定的交互任务，消除单个通道描述语义的歧义性。但是，在某些特定环境下，相应通道识别率较低，再盲目使用该通道会降低交互准确率，并造成通道浪费；在交互对象较多时，多个通道间如何进行协同与配合使得交互效率最大化，也没有得到相应理论和技术支撑。

发明内容

发明目的：为提升多通道智能交互过程的通道切换和指挥操作效率，改善因交互通道的错用造成资源浪费问题，本发明提出了一种面向多通道协同智能交互的智能通道切换系统及方法。

技术方案：本发明所述的面向多通道协同智能交互的智能通道切换系统，包括：

通道自动切换模块：用于分析和评价不同交互通道，自动切换最优通道交互方式；

通道手动切换模块：用于操作人员手动对于不同通道交互方式进行切换。

进一步，所述通道自动切换模块包括：

通道评价模块：用于根据所处环境和当前任务，分析和评价不同交互通道的影响，从而选择最优的通道使用方式和通道作用方式；

通道切换模块：用于根据通道评价模块的结果和当前操作人员进行多通道协同智能交互的情况，对多个通道完成最优切换与安排。

进一步，所述通道切换模块根据通道评价模块得出的交互通道的优先级排序，为操作人员自动切换最优的通道使用方式和通道作用方式；同时，基于通道自动切换模块和通道手动切换模块的用户历史行为偏好和习惯，结合通道评价模块的优先级排序结果以及当前操作人员进行多通道协同智能交互情况，为操作人员进行多通道交互之间的切换。

进一步，所述通道手动切换模块包括：

软件服务模块：用于通道手动切换过程中解决操作人员结构化决策问题；

人件服务模块：用于通道手动切换过程中解决操作人员非结构化决策问题。

进一步，所述人件服务模块包括：

人件服务管理单元：用于根据决策问题层次的不同对人件服务进行分层管理和调度；

请求端信息采集设备：用于请求决策任务信息，并将采集到的所有决策任务请求信息发送给信息转化处理单元；

服务端请求表示设备：用于将决策任务请求信息呈现给人件服务管理单元；

服务端应答表达设备：用于输入人件服务对决策任务的应答信息；

请求端应答表示设备：用于将决策任务的应答信息呈现给请求者；

信息转化处理单元：用于将请求端信息采集设备输入的决策任务请求信息和与决策任务请求信息相关的信息进行挑选和转化，形成统一的信息格式，通过服务端请求表示设备将决策任务请求信息呈现给人件服务管理单元，并将从服务端应答表达设备输入的人件服务对决策任务的应答信息进行转化，形成统一的信息格式，通过请求端应答表示设备呈现给请求者。

进一步，所述信息转化处理单元包括：

信息选通器：与请求端信息采集设备连接，用于接收请求端信息采集设备输入的决策任务请求信息和与请求相关的信息，并根据设定的规则从信息中挑选出对决策任务具有参考价值的数据和信息；

请求转化模块：用于根据多模态信息转化协议将信息选通器输出的请求数据和信息进行转化，形成统一的信息格式，并通过服务端请求表示设备呈现给人件服务管理单元；

应答转化模块：用于接收服务端应答表达设备输入的应答数据和信息，并根据多模态信息转化协议将应答数据和信息进行转化，形成统一的信息格式；

信息增强器；用于将接收到的应答转化模块的应答信息和信息选通器过滤掉的信息结合，并通过请求端应答表示设备呈现给请求者。

利用本发明所述系统的智能通道切换方法，包括以下步骤：

S1：针对交互任务，通过可穿戴交互设备实时采集操作人员的脑电、眼动、语音和手势的多通道信息，并将采集的信息传输给智能通道切换系统；

S2：由操作人员选择通道自动切换模块或通道手动切换模块：如果选择通道自动切换模块，则进入步骤S3；如果选择通道手动切换模块，则进入步骤S5；

S3：在通道自动切换模块中，通过通道评价指标模型计算在当前用户、当前任务和当前环境下的各通道交互效率，评价出当前交互情形下的最优通道；

S4：在通道自动切换模块中进行交互通道切换，使步骤S3计算出的最优通道处于连接状态，其他通道处于断开状态；

S5：在通道手动切换模块中，由软件服务模块和人件服务模块为操作人员提供辅助决策信息和支持，在此基础上，由操作人员把当前通道手动切换为要使用的交互通道；

S6：最优通道连接后，步骤S1采集到的各通道信号，只对最优通道的交互信息进行处理和传输，并转化为交互命令，传输给控制对象；在交互过程中，所有信息均进行实时显示；

S7：如果当前用户、当前任务或者当前环境发生变化，则转入步骤S2，继续进行通道切换。

有益效果：本发明公开了一种面向多通道协同智能交互的智能通道切换系统及方法，与现有技术相比，具有如下的有益效果：

1)本发明能够实现多通道智能交互过程的智能通道切换，提高指挥操作的效率，改善因交互通道的错用造成资源的浪费；

2)本发明能提供多通道人机交互手段，识别用户，记录其状态，并根据其喜好自动或手动调整通道的使用，同时也可根据任务需求灵活调整与分配工作任务；

3)本发明具有较高的实用价值，可用于控制模拟、战场协同控制等多种场合。

附图说明

图1为本发明具体实施方式中系统的示意图；

图2为本发明具体实施方式中人件服务模块的示意图；

图3为本发明具体实施方式中方法的流程图；

图4为本发明具体实施方式中的应用实例图。

具体实施方式

本具体实施方式公开了一种面向多通道协同智能交互的智能通道切换系统，如图1所示，包括：

通道自动切换模块：用于分析和评价不同交互通道，自动切换最优通道交互方式；

通道手动切换模块：用于操作人员手动对于不同通道交互方式进行切换。

其中，通道自动切换模块包括：

通道评价模块：用于根据所处环境和当前任务，分析和评价不同交互通道的影响，从而选择最优的通道使用方式和通道作用方式；

通道切换模块：用于根据通道评价模块的结果和当前操作人员进行多通道协同智能交互的情况，对多个通道完成最优切换与安排。通道切换模块根据通道评价模块得出的交互通道的优先级排序，为操作人员自动切换最优的通道使用方式和通道作用方式；同时，基于通道自动切换模块和通道手动切换模块的用户历史行为偏好和习惯，结合通道评价模块的优先级排序结果以及当前操作人员进行多通道协同智能交互情况，为操作人员进行多通道交互之间的切换。

其中，通道评价模块考虑用户的行为偏好和习惯、控制对象的当前任务以及控制对象当前所处环境这三个因素，构建通道评价指标模型，用来根据实时情况对交互通道进行优先级排序。该模型的计算框架如下：

(1)该系统是多通道交互MMI，则MMI可以看出是交互效率E、当前用户U、当前任务T、当前环境B、输入通道M的多元组形式，即

MMI＝＜E,U,T,B,M＞.

其中U＝{u₁,u₂,…,u_l}是MMI中用户l种行为偏好集合，T＝{t₁,t₂,…,t_m}是MMI中实现m个任务集合，B＝{b₁,b₂,…,b_k}是MMI中出现的k种环境集合，M＝{m₁,m₂,…,m_n}是MMI支持的n个输入通道集合，因此，U、T、B、M在MMI中存在一定的关系。

多个通道在使用上存在着一定的时序关系，从用户角度来看，通道之间主要存在通道并行Parallel、通道串行Sequential两种时序关系，即U_mode(M)＝＜Parallel＞|＜Sequential＞；从完成任务的角度来看，通道间使用自动切换Automatic模式，即T_mode(M)＝＜Automatic＞。令Relation(M)表示通道间的关系，则Relation(M)＝＜Parallel＞|＜Sequential＞|＜Automatic＞。设指定某一用户，t₁是用户要提交的某个任务，当用户利用多个通道以Relation(M)方式在MMI系统完成任务t₁后，系统经过相应的处理并反馈信息，可以实现MMI内部机制的转换。

(2)根据以上定义，提出如下MMI通道评价机制：

在MMI中，对于要完成的每个交互任务t_i，其通道利用率Rate(m_i)为

Rate(m_i)＝Eval(U_mode(M),T_mode(M))×100.

这里Eval(U_mode(M),T_mode(M))∈(0,1)是对通道时序方式与作用方式的评价值。

令E(t_i)表示完成任务t_i时的交互效率，则E(t_i)＝Rate(m_i)。因此，对于每个交互任务，一定存在最大的交互效率max(E(t_i))及最小的交互效率min(E(t_i))。在自动切换模式中，系统自动选择最大交互效率的通道处理任务。

通道手动切换模块包括：

软件服务模块：用于通道手动切换过程中解决操作人员结构化决策问题；

人件服务模块：用于通道手动切换过程中解决操作人员非结构化决策问题。

其中，如图2所示，人件服务模块包括：

人件服务管理单元：用于根据决策问题层次的不同对人件服务进行分层管理和调度；

请求端信息采集设备：用于请求决策任务信息，并将采集到的所有决策任务请求信息发送给信息转化处理单元；

服务端请求表示设备：用于将决策任务请求信息呈现给人件服务管理单元；

服务端应答表达设备：用于输入人件服务对决策任务的应答信息；

请求端应答表示设备：用于将决策任务的应答信息呈现给请求者；

信息转化处理单元：用于将请求端信息采集设备输入的决策任务请求信息和与决策任务请求信息相关的信息进行挑选和转化，形成统一的信息格式，通过服务端请求表示设备将决策任务请求信息呈现给人件服务管理单元，并将从服务端应答表达设备输入的人件服务对决策任务的应答信息进行转化，形成统一的信息格式，通过请求端应答表示设备呈现给请求者。

信息转化处理单元包括：

信息选通器：与请求端信息采集设备连接，用于接收请求端信息采集设备输入的决策任务请求信息和与请求相关的信息，并根据设定的规则从信息中挑选出对决策任务具有参考价值的数据和信息；这里的规则可以是在规则库预先设定好的，如采集视频时设定的视频采样时间间隔，如5秒采集一次；也可以通过数据挖掘、自然语言处理以及互联网等技术，对人件(专家)的个人特质(如指挥艺术、偏好等)进行挖掘，基于挖掘出的规则对信息进行筛选，将合适的信息内容和信息模态推送给人件(专家)；

请求转化模块：用于根据多模态信息转化协议将信息选通器输出的请求数据和信息进行转化，形成统一的信息格式，并通过服务端请求表示设备呈现给人件服务管理单元；

应答转化模块：用于接收服务端应答表达设备输入的应答数据和信息，并根据多模态信息转化协议将应答数据和信息进行转化，形成统一的信息格式；

信息增强器；用于将接收到的应答转化模块的应答信息和信息选通器过滤掉的信息结合，并通过请求端应答表示设备呈现给请求者。

本具体实施方式还公开了利用系统进行智能通道切换的方法，如图3所示，包括以下步骤：

S1：针对交互任务，通过可穿戴交互设备实时采集操作人员的脑电、眼动、语音和手势的多通道信息，并将采集的信息传输给智能通道切换系统；

S2：由操作人员选择通道自动切换模块或通道手动切换模块：如果选择通道自动切换模块，则进入步骤S3；如果选择通道手动切换模块，则进入步骤S5；

S3：在通道自动切换模块中，通过通道评价指标模型计算在当前用户、当前任务和当前环境下的各通道交互效率，评价出当前交互情形下的最优通道；

S4：在通道自动切换模块中进行交互通道切换，使步骤S3计算出的最优通道处于连接状态，其他通道处于断开状态；

S5：在通道手动切换模块中，由软件服务模块和人件服务模块为操作人员提供辅助决策信息和支持，在此基础上，由操作人员把当前通道手动切换为要使用的交互通道；

S6：最优通道连接后，步骤S1采集到的各通道信号，只对最优通道的交互信息进行处理和传输，并转化为交互命令，传输给控制对象；在交互过程中，所有信息均进行实时显示；

S7：如果当前用户、当前任务或者当前环境发生变化，则转入步骤S2，继续进行通道切换。

下面以本具体实施方式在战场多通道协同智能操控装甲车的应用为例，对本具体实施方式做进一步说明。战场多通道协同智能操控装甲车是一个十分复杂的问题，它涉及到很多模块、环节的协同控制。对于战场多通道协同智能操控装甲车的过程中，涉及多个不同交互通道对于装甲车进行操控，不同通道之间的切换是一个非常重要的问题。所以，需要使用面向多通道协同智能交互的智能通道切换方法协助操作人员执行相应操作。如图4所示，具体过程如下：

(1)在当前战场多通道协同智能操控装甲车过程中，一名操作人员通过三种不同的人机交互方式对三台装甲车进行同时操控，分别在三种环境下执行三种不同的任务，三种人机方式分别为手势、语音和眼动；系统对于操作人员在战场多通道协同智能操控装甲车过程的历史偏好、习惯数据记录在数据库中；当前操作人员三种人机交互方式与装甲车、执行任务和环境的情况如表1所示，当前第一辆装甲车用手势操控，第二辆装甲车用语音操控，第三辆装甲车用眼动操控。

表1当前操作人员三种人机交互方式与执行任务和环境的情况表

(2)在操作人员操控装甲车执行任务的过程中，操作人员对智能通道切换装置进行通道自动切换模块或通道手动切换模块的选择。若操作人员选择通道自动切换模块，则进入步骤(3)；若选择通道手动切换模块，则进入步骤(5)。

(3)操作人员选择通道自动切换模块进行装甲车操控过程的通道切换，这时使用通道评价指标模型计算在当前用户、当前任务和当前环境下的各通道交互效率，分别根据数据库中的当前用户历史偏好、习惯数据以及当前所执行的任务和环境对于各个通道交互方式进行评价，得出一个针对各个装甲车的各交互通道的评价分数，如表2所示，不难看出，对于装甲车1来说，当前三种通道中语音控制方式效果最好；对于装甲车2来说，当前三种通道中眼动控制方式效果最好；对于装甲车3来说，当前三种通道中手势控制方式效果最好。

表2通道评价表

(4)通道自动切换模块的通道切换模块根据通道评价指标模型计算出的通道评价结果，对于当前多通道控制装甲车的通道方式进行切换，装甲车1由手势控制转为语音控制；装甲车2由语音控制转为眼动控制；装甲车3由眼动控制转为手势控制，转入步骤(6)。

(5)操作人员选择通道手动切换模块进行装甲车操控过程的通道切换，操作人员根据当前各个装甲车执行的任务和所处的环境，提出了三个与通道切换有关的决策问题，系统对于三个决策问题进行分析，分别交由软件服务模块和人件服务模块进行解决，如表3所示，问题1为结构化问题，交由软件服务模块进行解决；问题2和问题3为非(半)结构化问题，交由人件服务模块进行解决；操作人员待软件服务模块与人件服务模块对于相应问题进行解答后，手动完成对于装甲车控制通道的切换工作，装甲车1仍用手势进行控制，装甲车2改用眼动进行控制，装甲车3用语音进行控制；当通道切换工作完成后，转入步骤(6)。

表3通道手动切换模块功能表

问题1	软件服务模块
		问题2	人件服务模块
问题3	人件服务模块

(6)对于三辆装甲车来说，当各自的最优通道连接后，步骤(1)中采集到的各通道信号，只有最优通道的交互信息才能在智能通道切换装置中进行处理和传输，并转换为交互命令，传输给控制对象。在交互过程中，所有信息均在显示终端上进行实时显示。

(7)若当前用户、当前任务、当前环境发生变化，则转入步骤(2)，继续进行通道切换。

Claims (7)

1.一种面向多通道协同智能交互的智能通道切换系统，其特征在于：包括：

通道自动切换模块：用于分析和评价不同交互通道，自动切换最优通道交互方式；

通道手动切换模块：用于操作人员手动对于不同通道交互方式进行切换。

2.根据权利要求1所述的面向多通道协同智能交互的智能通道切换系统，其特征在于：所述通道自动切换模块包括：

通道评价模块：用于根据所处环境和当前任务，分析和评价不同交互通道的影响，从而选择最优的通道使用方式和通道作用方式；

通道切换模块：用于根据通道评价模块的结果和当前操作人员进行多通道协同智能交互的情况，对多个通道完成最优切换与安排。

3.根据权利要求2所述的面向多通道协同智能交互的智能通道切换系统，其特征在于：所述通道切换模块根据通道评价模块得出的交互通道的优先级排序，为操作人员自动切换最优的通道使用方式和通道作用方式；同时，基于通道自动切换模块和通道手动切换模块的用户历史行为偏好和习惯，结合通道评价模块的优先级排序结果以及当前操作人员进行多通道协同智能交互情况，为操作人员进行多通道交互之间的切换。

4.根据权利要求1所述的面向多通道协同智能交互的智能通道切换系统，其特征在于：所述通道手动切换模块包括：

软件服务模块：用于通道手动切换过程中解决操作人员结构化决策问题；

人件服务模块：用于通道手动切换过程中解决操作人员非结构化决策问题。

5.根据权利要求4所述的面向多通道协同智能交互的智能通道切换系统，其特征在于：所述人件服务模块包括：

人件服务管理单元：用于根据决策问题层次的不同对人件服务进行分层管理和调度；

请求端信息采集设备：用于请求决策任务信息，并将采集到的所有决策任务请求信息发送给信息转化处理单元；

服务端请求表示设备：用于将决策任务请求信息呈现给人件服务管理单元；

服务端应答表达设备：用于输入人件服务对决策任务的应答信息；

请求端应答表示设备：用于将决策任务的应答信息呈现给请求者；

信息转化处理单元：用于将请求端信息采集设备输入的决策任务请求信息和与决策任务请求信息相关的信息进行挑选和转化，形成统一的信息格式，通过服务端请求表示设备将决策任务请求信息呈现给人件服务管理单元，并将从服务端应答表达设备输入的人件服务对决策任务的应答信息进行转化，形成统一的信息格式，通过请求端应答表示设备呈现给请求者。

6.根据权利要求5所述的面向多通道协同智能交互的智能通道切换系统，其特征在于：所述信息转化处理单元包括：

信息选通器：与请求端信息采集设备连接，用于接收请求端信息采集设备输入的决策任务请求信息和与请求相关的信息，并根据设定的规则从信息中挑选出对决策任务具有参考价值的数据和信息；

请求转化模块：用于根据多模态信息转化协议将信息选通器输出的请求数据和信息进行转化，形成统一的信息格式，并通过服务端请求表示设备呈现给人件服务管理单元；

应答转化模块：用于接收服务端应答表达设备输入的应答数据和信息，并根据多模态信息转化协议将应答数据和信息进行转化，形成统一的信息格式；

信息增强器；用于将接收到的应答转化模块的应答信息和信息选通器过滤掉的信息结合，并通过请求端应答表示设备呈现给请求者。

7.利用根据权利要求1所述系统的智能通道切换方法，其特征在于：包括以下步骤：

S1：针对交互任务，通过可穿戴交互设备实时采集操作人员的脑电、眼动、语音和手势的多通道信息，并将采集的信息传输给智能通道切换系统；

S2：由操作人员选择通道自动切换模块或通道手动切换模块：如果选择通道自动切换模块，则进入步骤S3；如果选择通道手动切换模块，则进入步骤S5；

S3：在通道自动切换模块中，通过通道评价指标模型计算在当前用户、当前任务和当前环境下的各通道交互效率，评价出当前交互情形下的最优通道；

S4：在通道自动切换模块中进行交互通道切换，使步骤S3计算出的最优通道处于连接状态，其他通道处于断开状态；

S5：在通道手动切换模块中，由软件服务模块和人件服务模块为操作人员提供辅助决策信息和支持，在此基础上，由操作人员把当前通道手动切换为要使用的交互通道；

S6：最优通道连接后，步骤S1采集到的各通道信号，只对最优通道的交互信息进行处理和传输，并转化为交互命令，传输给控制对象；在交互过程中，所有信息均进行实时显示；

S7：如果当前用户、当前任务或者当前环境发生变化，则转入步骤S2，继续进行通道切换。