CN115153549A - 一种基于bp神经网络的人机交互界面认知负荷预测方法 - Google Patents

一种基于bp神经网络的人机交互界面认知负荷预测方法 Download PDF

Info

Publication number
CN115153549A
CN115153549A CN202210804109.5A CN202210804109A CN115153549A CN 115153549 A CN115153549 A CN 115153549A CN 202210804109 A CN202210804109 A CN 202210804109A CN 115153549 A CN115153549 A CN 115153549A
Authority
CN
China
Prior art keywords
neural network
cognitive load
interaction interface
eye movement
index
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202210804109.5A
Other languages
English (en)
Inventor
卢国英
余剑琴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Dianji University
Original Assignee
Shanghai Dianji University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Dianji University filed Critical Shanghai Dianji University
Priority to CN202210804109.5A priority Critical patent/CN115153549A/zh
Publication of CN115153549A publication Critical patent/CN115153549A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/163—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Theoretical Computer Science (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Evolutionary Computation (AREA)
  • Surgery (AREA)
  • Psychiatry (AREA)
  • Computational Linguistics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)
  • Social Psychology (AREA)
  • Psychology (AREA)
  • Hospice & Palliative Care (AREA)
  • Educational Technology (AREA)
  • Developmental Disabilities (AREA)
  • Child & Adolescent Psychology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physiology (AREA)
  • Signal Processing (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种基于BP神经网络的人机交互界面认知负荷预测方法，包括以下步骤：S1：采用眼动设备收集用户在操作电气设备人机交互界面时的眼动指标数据；S2：基于AHP法构建认知负荷量化评价模型；S3：建立BP神经网络模型，并将BP神经网络模型分为输入层、隐含层和输出层。对认知负荷的评估结合了生理测量指标和主观测量指标，既保证了生理测量指标的客观性，也保证了主观测量指标的无侵入性以及易于操作，且基于AHP将定量与定性相结合以量化主观评价，增加了其结果的可信度；通过BP神经网络对认知负荷进行预测，BP神经网络具有很强的非线性映射能力和柔性的网络结构，能够构建非线性模型，适用于复杂的实际情况。

Description

一种基于BP神经网络的人机交互界面认知负荷预测方法
技术领域
本发明涉及认知负荷预测技术领域，尤其涉及基于BP神经网络的人机交互界面认知负荷预测方法。
背景技术
认知负荷是人在处理需要完成的具体任务时，通过信息加工而产生的心理资源总量，认知负荷理论表示，人的认知资源是有限的，而任何具体任务的解决和学习都需要消耗认知资源，即有可能造成认知上的负荷。目前对于认知负荷的衡量指标研究主要从主观方法和生理测量方法等两个角度展开，对于认知负荷的预测研究主要可以分为传统和现代两种方法。传统的认知负荷预测方法主要包括时间序列法、回归分析法、状态空间法等。
经检索，中国专利申请号202110475684.0记载了一种“认知负荷评估方法、装置、存储介质及计算机设备”，其可以通过模拟环境对待测试人员进行认知负荷的评估，使得认知负荷评估更加高效和准确，但是仅根据眼动指标量化认知负荷，其数据较为单一。
经检索，中国专利申请号CN201610797877.7记载了一种“表征学习者在特定领域知识学习掌握状态的在线学习认知地图生成系统及方法”，其系统包括对认知负荷的预测模块，但是仅根据学习者完成任务的绩效打分来量化认知负荷，其数据较为单一。
经检索，中国专利申请号CN202110403822.4记载了一种“基于生理信号的具身学习认知负荷评估系统”，本发明采用长短时记忆网络来进行分类，能更真实地学习多种生理信号序列之间的关系，从而提高识别准确率，但LSTM需训练的权重参数较多，训练时长也更长。
现有的认知负荷评估方法主要为主观和生理测量两类，主观方法的量表测量结果可能会因为措辞等问题影响被试的理解程度，从而影响到实验结果；生理测量方法由于设备、任务形式以及环境等无关变量可能会影响到被试的实验状态。
现有的认知负荷预测方法主要为专家评估和基于时间序列或回归分析法两类，将专家的经验通过一系列规则进行量化可能存在信息误差，时间序列模型不能充分排除对认知负荷结果有显著影响的无关变量，回归分析法则建立在确定认知负荷的各个评估指标与随机因素关系的前提下，而在实际应用中其函数关系较难确定。
发明内容
本发明的目的是为了解决现有技术中存在的缺陷，而提出的基于BP神经网络的人机交互界面认知负荷预测方法。
为了实现上述目的，本发明采用了如下技术方案：
一种基于BP神经网络的人机交互界面认知负荷预测方法，包括以下步骤：
S1：采用眼动设备收集用户在操作电气设备人机交互界面时的眼动指标数据；
S2：基于AHP法构建认知负荷量化评价模型；
S3：建立BP神经网络模型，并将BP神经网络模型分为输入层、隐含层和输出层；
S4：建立基于样本数据和误差函数的BP神经网络模型训练算法；
S5：根据步骤S4中的BP神经网络模型训练算法，进行电气设备人机交互界面认知负荷的预测。
进一步地，在步骤S1中，眼动指标数据包括：注视次数、注视时长、扫视时长和瞳孔直径。
进一步地，步骤S2具体包括以下步骤：
对目标界面进行分层，向专家发放AHP指标重要度调查问卷；
采用1-9级标度法对不同层级指标进行重要度比较，通过打分获得判断矩阵；
在进行归一化运算以及一致化检验以后获得最终的权重系数。
进一步地，步骤S3中，BP神经网络模型的构建包括以下步骤：
(1)收集归一化眼动数据指标；
(2)将归一化眼动数据指标作为输入向量带入建立好的BP神经网络模型，通过训练确定模型中的参数；
(3)把数据输入到经过训练的BP模型进行预测。
进一步地，在步骤S3中具体还包括，根据输入层节点个数和输出层节点个数计算隐含层节点个数，输入层的输入向量为眼动指标，输出层的输出向量为认知负荷的量化结果，根据输出层的输出向量和期望的输出向量确定BP神经网络模型的误差函数。
进一步地，在步骤S5中，将步骤S1中的归一化眼动数据指标作为输入向量，将获得的认知负荷综合评价数据作为输出向量，建立基于样本数据和误差函数的BP神经网络模型训练算法。
相比于现有技术，本发明的有益效果在于：对认知负荷的评估结合了生理测量指标和主观测量指标，既保证了生理测量指标的客观性，也保证了主观测量指标的无侵入性以及易于操作，且基于AHP将定量与定性相结合以量化主观评价，增加了其结果的可信度；通过BP神经网络对认知负荷进行预测，BP神经网络具有很强的非线性映射能力和柔性的网络结构，能够构建非线性模型，适用于复杂的实际情况。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。
图1是本发明的基于BP神经网络的人机交互界面认知负荷预测方法的流程示意图，
图2是本发明的电气设备人机交互界面兴趣区分区示意图，
图3是本发明的BP神经网络预测模型示意图，
图4是本发明的BP神经网络算法流程示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。
实施例一
参照图1-4，基于BP神经网络的人机交互界面认知负荷预测方法，包括以下步骤：
S1：采用眼动设备收集用户在操作电气设备人机交互界面时的眼动指标数据，测量工具采用头戴式眼动仪，最大程度减轻用户在实验时无关负荷的产生。
其中，眼动指标数据包括：注视次数、注视时长、扫视时长和瞳孔直径。
具体的，各眼动指标的具体定义如表1所示：
表1眼动指标定义表
Figure BDA0003735835460000051
表1对以上4个眼动数据进行归一化处理，归一化公式如下：
Figure BDA0003735835460000052
其中，i的取值范围为{1，2，3，4}，依次代表以上4个眼动数据；xi代表各眼动数据的原始值大小；xmin和xmax分别代表各眼动数据原始值的最小值和最大值。
眼动数据作为生理指标具有一定的客观性、实时性。
S2：基于AHP法构建认知负荷量化评价模型；
需要说明的是，所构建的认知负荷量化评价模型是基于AHP的一种多准则、多要素、多层次的非结构化复杂决策方法，将定量与定性相结合以量化主观评价。
S3：建立BP神经网络模型，并将BP神经网络模型分为输入层、隐含层和输出层；
具体的，根据输入层节点个数和输出层节点个数计算隐含层节点个数，输入层的输入向量为眼动指标，输出层的输出向量为认知负荷的量化结果，根据输出层的输出向量和期望的输出向量确定BP神经网络模型的误差函数。
S4：建立基于样本数据和误差函数的BP神经网络模型训练算法；
需要说明的是，BP神经网络具有很强的非线性映射能力和柔性的网络结构，基于此该模型可以通过眼动指标直接获得认知负荷的量化数据，其预测具有一定的精度。
S5：根据步骤S4中的BP神经网络模型训练算法，进行电气设备人机交互界面认知负荷的预测。
具体的，将步骤S1中的归一化眼动数据指标作为输入向量，将获得的认知负荷综合评价数据作为输出向量，建立基于样本数据和误差函数的BP神经网络模型训练算法。
实施例二
同一发明的优选实施例中，首先对电气设备人机交互界面分为四个兴趣区如图1所示。
在步骤S2中，对目标界面进行分层，向专家发放AHP指标重要度调查问卷；
采用1-9级标度法对不同层级指标进行重要度比较，通过打分获得判断矩阵；
在进行归一化运算以及一致化检验以后获得最终的权重系数。
AHP的具体计算过程如下：
(1)根据目标界面的分层体系建立原始矩阵：
Figure BDA0003735835460000071
其中A为比较矩阵，aij是指标i和指标j的重要度比较结果。判断矩阵的标度定义如表2所示：
Figure BDA0003735835460000072
Figure BDA0003735835460000081
表2(2)计算原始矩阵A中每一列元素的乘积Mj，即
Figure BDA0003735835460000082
(3)计算Mj的n次方根
Figure BDA0003735835460000083
Figure BDA0003735835460000084
(4)归一化处理向量
Figure BDA0003735835460000085
即得到各指标的权重值
Figure BDA0003735835460000086
(5)对得到的权重值进行一致性检验，即计算其一致性指标CR，判断矩阵逻辑思维的一致性
Figure BDA0003735835460000087
其中
Figure BDA0003735835460000088
λmax为判断矩阵最大特征根，查表可得平均随机一致性指标RI，当CR<0.10时，即判断矩阵的一致性是可靠的。随机一致性指标查询表如表3所示：
Figure BDA0003735835460000089
表3
实施例三
同一发明的另一优选实施例中，
对目标界面进行分层，针对开关柜人机交互界面，以为例，其层次分类如表4所示：
Figure BDA0003735835460000091
Figure BDA0003735835460000101
表4
根据分层划分兴趣区，针对电气设备人机交互界面，其兴趣分区如图2所示。
在本申请的具体实施例中，步骤S3中，BP神经网络模型的构建包括以下步骤：
(1)收集归一化眼动数据指标；
(2)将归一化眼动数据指标作为输入向量带入建立好的BP神经网络模型，通过训练确定模型中的参数；
(3)把数据输入到经过训练的BP模型进行预测。
具体的，BP神经网络有输入层，隐含层和输出层三层组成，其中输入向量x＝{x0,x1,x2,...,xn}，输出向量y＝{y1,y2,...,ym}，期望输出向量v＝{v1,v2,...,vd}，BP神经网络的激励函数是sigmod函数，其中x为输入向量：
Figure BDA0003735835460000102
隐含层的输出向量H，其中m为隐含层节点数，f为隐含层激励函数，oij为输入层和隐含层之间的连接权值，a为阈值:
Figure BDA0003735835460000103
输出层的预测输出向量v，其中wjk为隐含层和输出层的连接权值，b为阈值：
Figure BDA0003735835460000111
误差计算，其中Zk为期望输出：
ek＝Zk-vk,(k＝1,2,...,d) (9)
根据预测误差e来优化权值oij和wjk，学习率η＝0.5：
Figure BDA0003735835460000112
wjk＝wik+ηHjek,(j＝1,2,...,m；k＝1,2,...,d) (11)
根据预测误差e来优化阈值a和b，学习率η＝0.5：
Figure BDA0003735835460000113
bk＝bk+ek,(k＝1,2,...,d) (13)。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (6)

1.一种基于BP神经网络的人机交互界面认知负荷预测方法，其特征在于，包括以下步骤：
S1：采用眼动设备收集用户在操作电气设备人机交互界面时的眼动指标数据；
S2：基于AHP法构建认知负荷量化评价模型；
S3：建立BP神经网络模型，并将BP神经网络模型分为输入层、隐含层和输出层；
S4：建立基于样本数据和误差函数的BP神经网络模型训练算法；
S5：根据步骤S4中的BP神经网络模型训练算法，进行电气设备人机交互界面认知负荷的预测。
2.根据权利要求1所述的基于BP神经网络的人机交互界面认知负荷预测方法，其特征在于，在步骤S1中，眼动指标数据包括：注视次数、注视时长、扫视时长和瞳孔直径。
3.根据权利要求1所述的基于BP神经网络的人机交互界面认知负荷预测方法，其特征在于，步骤S2具体包括以下步骤：
对目标界面进行分层，向专家发放AHP指标重要度调查问卷；
采用1-9级标度法对不同层级指标进行重要度比较，通过打分获得判断矩阵；
在进行归一化运算以及一致化检验以后获得最终的权重系数。
4.根据权利要求1所述的基于BP神经网络的人机交互界面认知负荷预测方法，其特征在于，步骤S3中，BP神经网络模型的构建包括以下步骤：
(1)收集归一化眼动数据指标；
(2)将归一化眼动数据指标作为输入向量带入建立好的BP神经网络模型，通过训练确定模型中的参数；
(3)把数据输入到经过训练的BP模型进行预测。
5.根据权利要求1所述的基于BP神经网络的人机交互界面认知负荷预测方法，其特征在于，在步骤S3中具体还包括，根据输入层节点个数和输出层节点个数计算隐含层节点个数，输入层的输入向量为眼动指标，输出层的输出向量为认知负荷的量化结果，根据输出层的输出向量和期望的输出向量确定BP神经网络模型的误差函数。
6.根据权利要求1所述的基于BP神经网络的人机交互界面认知负荷预测方法，其特征在于，在步骤S5中，将步骤S1中的归一化眼动数据指标作为输入向量，将获得的认知负荷综合评价数据作为输出向量，建立基于样本数据和误差函数的BP神经网络模型训练算法。
CN202210804109.5A 2022-07-07 2022-07-07 一种基于bp神经网络的人机交互界面认知负荷预测方法 Withdrawn CN115153549A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210804109.5A CN115153549A (zh) 2022-07-07 2022-07-07 一种基于bp神经网络的人机交互界面认知负荷预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210804109.5A CN115153549A (zh) 2022-07-07 2022-07-07 一种基于bp神经网络的人机交互界面认知负荷预测方法

Publications (1)

Publication Number Publication Date
CN115153549A true CN115153549A (zh) 2022-10-11

Family

ID=83492251

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210804109.5A Withdrawn CN115153549A (zh) 2022-07-07 2022-07-07 一种基于bp神经网络的人机交互界面认知负荷预测方法

Country Status (1)

Country Link
CN (1) CN115153549A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116595423A (zh) * 2023-07-11 2023-08-15 四川大学 一种基于多特征融合的空中交通管制员认知负荷评估方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116595423A (zh) * 2023-07-11 2023-08-15 四川大学 一种基于多特征融合的空中交通管制员认知负荷评估方法
CN116595423B (zh) * 2023-07-11 2023-09-19 四川大学 一种基于多特征融合的空中交通管制员认知负荷评估方法

Similar Documents

Publication Publication Date Title
CN112488235A (zh) 一种基于深度学习的电梯时序数据的异常诊断方法
CN113469470B (zh) 基于电力大脑中枢的用能数据与碳排放量关联分析方法
CN109106384B (zh) 一种心理压力状况预测方法及系统
CN107610009B (zh) 一种基于神经网络的三位一体招生录取概率预测方法
CN115204227A (zh) 基于深度学习的设备故障诊断中不确定性量化校准方法
CN114512239B (zh) 基于迁移学习的脑卒中风险预测方法及系统
CN114847958A (zh) 一种基于心电信号的应激和疲劳监测方法及系统
Wenwen Modeling and simulation of teaching quality in colleges based on BP neural network and training function
CN112580198A (zh) 一种用于变压器状态评估的改进优化分类方法
CN112906764A (zh) 基于改进bp神经网络的通信安全设备智能诊断方法及系统
CN115153549A (zh) 一种基于bp神经网络的人机交互界面认知负荷预测方法
CN117370766A (zh) 一种基于深度学习的卫星任务规划方案评估方法
CN111767657A (zh) 一种核动力系统故障诊断方法和系统
CN114881246A (zh) 基于集成学习的锂电池剩余使用寿命预测方法及系统
CN115096357A (zh) 一种基于ceemdan-pca-lstm的室内环境质量预测方法
CN118246744A (zh) 一种特长隧道施工现场风险评估方法及系统
Tiruneh et al. Feature selection for construction organizational competencies impacting performance
CN116662925A (zh) 一种基于加权稀疏神经网络工业过程软测量方法
CN115828744A (zh) 一种白光发光二极管故障在线诊断与寿命预测方法
Liu et al. A novel student achievement prediction method based on deep learning and attention mechanism
CN114491511A (zh) 一种基于变分自编码器和深度回声状态网络入侵检测方法
CN113657726A (zh) 基于随机森林的人员的危险性分析方法
Wang et al. Research on early warning model of college students’ psychological crisis based on genetic BP neural network
Kaijun Evaluation method for psychological resilience of athletes in high-intensity sports training based on evolutionary neural network
CN111859798A (zh) 基于双向长短时神经网络的流程工业故障诊断方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20221011