CN109558005B - 一种自适应人机界面配置方法 - Google Patents

Abstract

本发明属于人机工程学领域，公开了一种自适应人机界面配置方法，包括：基于脑电信号获取用户在人机交互过程中的认知负荷；基于眼动特征获取用户在人机交互过程中的认知水平，基于眼动特征获取用户在人机交互过程中的认知状态，基于眼动特征获取用户在人机交互过程中的操作意图，获取用户在人机交互过程中的交互时序；基于粗集理论为用户自适应的配置人机界面，能够对人机界面进行动态调整。

Description

一种自适应人机界面配置方法

技术领域

本发明属于人机工程学领域，尤其涉及一种自适应人机界面配置方法。

背景技术

人机操控界面是防空导弹、潜艇、航母、无人机等武器系统中担负人机交互功能的重要操控系统，也是航天器、医疗设备、工业流水线等装备中进行人机交互的核心。随着技术的不断发展，人机界面需要担负的人机交互任务也在大幅度的增加，人机操控界面能否与操控人员的认知能力相适应，将直接影响装备操作的效能和安全性。

传统的固定式人机操控界面的特点是操控界面信息的显示数量、显示方式以及操控方式都是固定不变的。而人机交互任务中，不同认知水平用户对于信息显示数量的需求是不同的，不同时刻显示界面各个区域对用户的重要程度是不同的，不同交互状态下界面信息的显示方式对于用户的感知效率也是不同的，这些动态变化的因素与固定式的人机界面是不相适应的。

发明内容

针对上述现有技术的缺点，本发明的目的在于提供一种自适应人机界面配置方法，能够对人机界面进行动态调整，在合适的时机、以合适的方式、为操作人员提供最为有效的人机交互信息以及最为迅捷的操控方式。

为达到上述目的，本发明采用如下技术方案予以实现。

一种自适应人机界面配置方法，所述方法包括如下步骤：

步骤1，基于脑电信号获取用户在人机交互过程中的认知负荷；所述认知负荷包含高等水平、中等水平和低等水平；

步骤2，基于眼动特征获取用户在人机交互过程中的认知水平，所述认知水平包含专家型、熟练型和新手型；

步骤3，基于眼动特征获取用户在人机交互过程中的认知状态，所述认知状态包含监视状态、跟踪状态、决策状态、应激状态和脱环状态；

步骤4，基于眼动特征获取用户在人机交互过程中的操作意图，所述操作意图用于指示用户对人机界面感兴趣的区域；

步骤5，获取用户在人机交互过程中的交互时序；

步骤6，根据用户在人机交互过程中的认知负荷、认知水平、认知状态、操作意图和交互时序，基于粗集理论为用户自适应的配置人机界面。

本发明技术方案的特点和进一步的改进为：

(1)所述步骤1具体包括：

获取预先训练得到的脑电信号与认知负荷的匹配规则；

实时采集用户在人机交互过程中的脑电信号，获取脑电信号中的Delta波、Theta波、Alpha波、Bata波分别在脑电波总频段中的功率比例；

根据预先训练得到的脑电信号与认知负荷的匹配规则，确定当前用户的认知负荷为高等水平、中等水平或者低等水平。

(2)所述步骤2具体包括：

获取预先训练得到的眼动特征与认知水平的匹配规则；

实时采集用户在人机交互过程中的眼动特征，获取眼动特征中的注视时间、注视次数、眼跳幅度、扫视速度这四种特征参数；

根据预先训练得到的眼动特征与认知水平的匹配规则，确定当前用户的认知水平为专家型、熟练型或者新手型。

(3)所述步骤3具体包括：

获取预先训练得到的眼动特征与认知状态的匹配规则；

实时采集用户在人机交互过程中的眼动特征，获取眼动特征中的注视时间、瞳孔直径、眼跳时间、眼跳幅度、扫视速度这五种特种参数；

根据预先训练得到的眼动特征与认知状态的匹配规则，确定当前用户的认知状态为监视状态、跟踪状态、决策状态、应激状态或者脱环状态。

(4)所述步骤4具体包括：

获取预先训练得到的眼动特征与操作意图的匹配规则；

实时采集用户在人机交互过程中的眼动特征，获取眼动特征中连续的三个有效注视点的X坐标和Y坐标、注视时间、眼跳幅度、瞳孔直径，并将人机显示界面划分为多个兴趣区；

根据预先训练得到的眼动特征与操作意图的匹配规则，确定的当前用户的操作意图所在的兴趣区。

本发明技术方案提供了一种与用户认知特性相符、与认知状态相匹配的动态自适应人机界面，对于降低用户认知负荷和提高人机交互效率和可靠性有重要意义，探索并总结出的相关智能人机界面设计方法和原则对于智能人机界面在其他领域的推广应用有一定意义。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一种自适应人机界面配置方法的总体框架图；

图2是本发明基于脑电信号的人机交互过程认知负荷计算示意图；

图3是本发明基于眼动特征的人机交互用户认知水平判断示意图；

图4是本发明基于眼动特征的人机交互操作意图感知示意图；

图5是本发明基于眼动特征的人机交互认知状态分类示意图；

图6是本发明基于粗集理论的智能人机界面规则推理示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，本发明实施例提供了一种自适应人机界面配置方法，采取了基于认知信息5维度的认知计算总体框架，自适应推理区别于传统的基于任务驱动的方法，而是通过对用户进行多维度的认知计算，使智能人机界面的自适应推理能够更符合用户的真实需求。

基于认知信息5维度的认知计算总体框架包括：基于脑电信号的人机交互过程认知负荷计算、基于眼动特征的人机交互用户认知水平判断、基于眼动特征的人机交互操作意图感知、基于眼动特征的人机交互状态分类、基于粗集理论的智能人机界面规则推理。

认知计算内容包含“谁(who)、什么(what)、哪里(where)、何时(when)、怎样(how)”这5种基本认知维度的结果。即：智能人机系统需要计算出人机交互过程中用户属于何种认知水平层次(新手型、熟练型、专家型)、用户处于什么认知状态(监视状态、跟踪状态、决策状态、应激状态、脱环状态)、用户操作意图在哪里(人机交互兴趣区)、人机交互时序进行到哪一步(任务时序进程、逻辑进程)、人机交互过程中用户认知负荷处于何种水平(低水平、中水平、高水平)，并综合上述5种基本认知维度的计算结果，通过模糊推理(基于粗集理论)的方式自适应地为用户配置最合适的显示界面。

人机交互过程中，用户在处于不同的人机环境或面临不同复杂度的交互任务时，其认知负荷水平可能是不同的，智能人机系统需要准确计算出用户实时的认知负荷水平。

如图2所示，所述智能人机界面推理方法中，认知负荷计算采取基于脑电信号的量化方法，系统首先通过脑电放大器实时采集用户在人机交互过程中的脑电信号数据，接着信号处理器对脑电数据进行滤波、去伪迹等操作，然后信号分析器对脑电信号功率谱分析，计算不同频段脑电波功率占总频段波功率的比例，选取脑电信号中Delta波、Theta波、Alpha波、Bata波这4种不同频段的脑电波功率比作为评估认知负荷的脑电指标，将人机交互中用户的认知负荷分为“低、中、高”3种不同水平，根据这4种脑电信号指标与用户不同认知负荷的匹配规则，实现对人机交互过程中用户认知负荷水平的可靠计算。

人机交互过程中，不同认知水平操作员对显示界面的风格喜好和信息需求是不同的，智能人机系统需要准确判断出当前用户的认知水平程度。

如图3所示，所述智能人机界面推理方法中，认知水平判断采取基于眼动特征的分析方法，智能人机系统首先通过眼动追踪器实时采集用户在人机交互过程中的眼动特征数据，眼动数据处理器将采集到的眼动特征数据处理为标准化数据形式，选取眼动特征中的注视时间、注视次数、眼跳幅度、扫视速度这4种眼动特征作为分析用户认知水平的眼动特征参数，将人机交互中用户的认知水平划分为“新手型、熟练型、专家型”3种不同层次，利用SVM神经网络算法提取3种不同层次认知水平用户的眼动特征，进而通过对训练集大量数据学习训练，实现对人机交互中用户认知水平层次的准确判断。

所述基于眼动特征的人机交互操作意图感知是指：用户在人机交互过程中，不同时刻的关注兴趣区是不同的，智能人机系统需要实时感知用户当前的关注兴趣区。

如图4所示，所述智能人机界面推理方法中，操作意图感知采取基于眼动特征的分析方法，智能人机系统首先通过眼动追踪器实时采集用户在人机交互过程中的眼动特征数据，眼动数据处理器将采集到的眼动特征数据处理为标准化数据形式，选取连续的3个有效注视点(这里将眼动追踪器输出的连续30个注视点取平均值作为1个有效注视点)的X坐标和Y坐标、注视时间、眼跳幅度、瞳孔直径总共15个眼动指标作为分析用户操作意图的眼动特征参数，将人机显示界面划分为不同的兴趣区，定义用户关注兴趣区M时的操作意图为AOI→M，利用SVM神经网络算法提取不同操作意图下用户的眼动特征，进而通过对训练集大量数据学习训练，实现对人机交互中用户操作意图的准确感知。

所述基于眼动特征的人机交互操作状态分类是指：用户在人机交互过程中，不同时刻的认知状态类别是不同的，智能人机系统需要实时分类用户当前的认知状态。

如图5所示，所述智能人机界面推理方法中，认知状态分类采取基于眼动特征的分析方法，智能人机系统首先通过眼动追踪器实时采集用户在人机交互过程中的眼动特征数据，眼动数据处理器将采集到的眼动特征数据处理为标准化数据形式，选取眼动特征中的眼动特征中的注视时间、瞳孔直径、眼跳时间、眼跳幅度、扫视速度这5种眼动特征作为分析用户认知状态的眼动特征参数，将人机交互中用户的认知状态划分为“监视状态、跟踪状态、决策状态、应激状态、脱环状态”5种不同状态，利用SVM神经网络算法提取5种不同认知状态下用户的眼动特征，进而通过对训练集大量数据学习训练，实现对人机交互中用户认知状态的准确分类。

具体的，

所述监视状态表示一种“低具体意图”状态，用户在该状态下没有特定搜索目标，只需粗略获取人机界面的视觉信息，并可以随意关注任何自己感兴趣的内容。

所述跟踪状态表示一种“高具体意图”状态，用户在该状态下往往需要根据任务需求重点持续关注界面的某些对象，并且尽量不被干扰中断。

所述决策状态表示一种“分散意图”状态，由于决策是信息对反应多对一的映射关系，因此该状态下，用户产生一个选择往往需要获取大量的界面信息并对他们作出分析评估。

所述应激状态表示用户在人机交互过程中由于遭遇突发或紧急事件而产生巨大精神负荷的认知状态，该状态下用户的认知反应能力将会急剧下降，使人机交互任务面临严重安全隐患。

所述脱环状态表示用户在人机交互过程中脱离“任务环”，可以理解为走神或注意力分散，如设备自动化程度过高或长时间枯燥的工作都可能使用户脱离任务环，该状态下也将会使人机交互任务面临严重安全隐患。

所述基于粗集理论的智能人机界面规则推理是指：智能人机系统在获取用户任务进程、认知水平、操作意图、认知状态、认知负荷等信息后，建立以这5种类型输入信息为基础的推理属性集，并基于粗集理论构造最简决策表以描述智能用户界面的自适应匹配关系，从而为用户配置最合适的人机界面。

如图6所示，所述智能人机界面推理方法中，自适应规则推理采取基于粗集理论的方法：当用户在智能人机交互界面执行交互任务时，系统会首先根据用户输入的个人初始信息对其认知水平、交互风格喜好进行初始化分析，然后智能交互系统中的传感器会实时获取用户在人机交互过程中的眼动数据、脑电信号以及执行任务的客观绩效等信息，接着通过信号解释器对收集到的数据进行求解量化，将初始信息处理为系统能够识别的数据结构，进而对用户推理模型进行补充更新。然后将操作员推理模型添加到原有的决策表中，推理器基于粗集理论规则对决策表属性进行约简，从而生出最小化的自适应规则，最后根据匹配规则将用户模型数据库与界面模板数据库进行匹配，通过系统执行程序完成整个智能用户界面的自适应配置。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (5)

1.一种自适应人机界面配置方法，其特征在于，所述方法包括如下步骤：

步骤1，基于脑电信号获取用户在人机交互过程中的认知负荷；所述认知负荷包含高等水平、中等水平和低等水平；

步骤2，基于眼动特征获取用户在人机交互过程中的认知水平，所述认知水平包含专家型、熟练型和新手型；

步骤3，基于眼动特征获取用户在人机交互过程中的认知状态，所述认知状态包含监视状态、跟踪状态、决策状态、应激状态和脱环状态；

步骤4，基于眼动特征获取用户在人机交互过程中的操作意图，所述操作意图用于指示用户对人机界面感兴趣的区域；

步骤5，获取用户在人机交互过程中的交互时序；

步骤6，根据用户在人机交互过程中的认知负荷、认知水平、认知状态、操作意图和交互时序，基于粗集理论为用户自适应的配置人机界面。

2.根据权利要求1所述的一种自适应人机界面配置方法，其特征在于，所述步骤1具体包括：

获取预先训练得到的脑电信号与认知负荷的匹配规则；

实时采集用户在人机交互过程中的脑电信号，获取脑电信号中的Delta波、Theta波、Alpha波、Bata波分别在脑电波总频段中的功率比例；

根据预先训练得到的脑电信号与认知负荷的匹配规则，确定当前用户的认知负荷为高等水平、中等水平或者低等水平。

3.根据权利要求1所述的一种自适应人机界面配置方法，其特征在于，所述步骤2具体包括：

获取预先训练得到的眼动特征与认知水平的匹配规则；

实时采集用户在人机交互过程中的眼动特征，获取眼动特征中的注视时间、注视次数、眼跳幅度、扫视速度这四种特征参数；

根据预先训练得到的眼动特征与认知水平的匹配规则，确定当前用户的认知水平为专家型、熟练型或者新手型。

4.根据权利要求1所述的一种自适应人机界面配置方法，其特征在于，所述步骤3具体包括：

获取预先训练得到的眼动特征与认知状态的匹配规则；

实时采集用户在人机交互过程中的眼动特征，获取眼动特征中的注视时间、瞳孔直径、眼跳时间、眼跳幅度、扫视速度这五种特种参数；

根据预先训练得到的眼动特征与认知状态的匹配规则，确定当前用户的认知状态为监视状态、跟踪状态、决策状态、应激状态或者脱环状态。

5.根据权利要求1所述的一种自适应人机界面配置方法，其特征在于，所述步骤4具体包括：

获取预先训练得到的眼动特征与操作意图的匹配规则；

实时采集用户在人机交互过程中的眼动特征，获取眼动特征中连续的三个有效注视点的X坐标和Y坐标、注视时间、眼跳幅度、瞳孔直径，并将人机显示界面划分为多个兴趣区；

根据预先训练得到的眼动特征与操作意图的匹配规则，确定的当前用户的操作意图所在的兴趣区。

Images