CN115444422A - 一种基于眼动数据的真实环境心理负荷评估方法和系统 - Google Patents

一种基于眼动数据的真实环境心理负荷评估方法和系统 Download PDF

Info

Publication number
CN115444422A
CN115444422A CN202211262952.1A CN202211262952A CN115444422A CN 115444422 A CN115444422 A CN 115444422A CN 202211262952 A CN202211262952 A CN 202211262952A CN 115444422 A CN115444422 A CN 115444422A
Authority
CN
China
Prior art keywords
eye movement
data
eye
type
psychological
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211262952.1A
Other languages
English (en)
Inventor
侯文军
钟鑫
王柯然
朱喜明
陈筱琳
赵欣
刘华
曹晨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Posts and Telecommunications
Original Assignee
Beijing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Posts and Telecommunications filed Critical Beijing University of Posts and Telecommunications
Priority to CN202211262952.1A priority Critical patent/CN115444422A/zh
Publication of CN115444422A publication Critical patent/CN115444422A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165Evaluating the state of mind, e.g. depression, anxiety
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/11Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for measuring interpupillary distance or diameter of pupils
    • A61B3/112Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for measuring interpupillary distance or diameter of pupils for measuring diameter of pupils
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/163Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/7264Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Psychiatry (AREA)
  • Pathology (AREA)
  • Artificial Intelligence (AREA)
  • Developmental Disabilities (AREA)
  • Hospice & Palliative Care (AREA)
  • Educational Technology (AREA)
  • Psychology (AREA)
  • Social Psychology (AREA)
  • Child & Adolescent Psychology (AREA)
  • Ophthalmology & Optometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physiology (AREA)
  • Signal Processing (AREA)
  • Evolutionary Computation (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本发明涉及一种基于眼动数据的真实环境心理负荷评估方法和系统,方法包括以下步骤:分别采集不同心理负荷状态下的眼动数据,对所述眼动数据进行预处理构建眼动特征集;所述眼动特征集中包括眼动类型统计特征、扫视速度统计特征、瞳孔直径统计特征和眼动类型转移特征;建立心理负荷评估模型,基于所述眼动特征集训练所述心理负荷评估模型,获得训练好的心理负荷评估模型;采集待评估用户的眼动数据,对所述眼动数据进行预处理构建待评估用户的眼动特征集,将所述眼动特征集输入训练好的心理负荷评估模型获得待评估用户的心理负荷评估结果。

Description

一种基于眼动数据的真实环境心理负荷评估方法和系统
技术领域
本发明涉及心理负荷评估技术领域,尤其涉及一种基于眼动数据的真实环境心理负荷评估方法和系统。
背景技术
工作负荷在复杂人机交互系统的开发中越来越受到重视,因为工作负荷对操作人员在视觉搜索、决策、操作等任务中的表现有着重要的影响。在工效学中,现有的工作负荷测量方法主要包括三种:行为测量、主观测量和神经生理学测量。行为测量:如将特定任务的绩效表现作为工作负荷的指标。主观测量:使用一些主观问卷来收集任务期间或任务结束后的主观负荷值。神经生理学测量:如脑电图和心电图以及本发明会运用的眼动数据来定量反映工作负荷的值。
现有的测量方法具有以下问题:
置信问题:行为测量中使用的绩效指标会与操作员个人能力和熟练度等因素有很大关系;主观测量中用户在回答问卷时可能会由于心理暗示导致选择偏差;肌电数据、心率数据等与操作员的运动强度等变量有关,因此现有的测量方式可能导致测量数据不置信。
数据稀疏的问题:行为测量和主观测量由于其测量特点,无法拥有神经生理学测量方法一样可以在任务中实时测量的优势,因此会导致测量取得的数据,时间间隔很长,并且每次测量都会打断正常的任务进程。使用主观测量和行为测量的负荷数据作为基线还无法回避数据稀疏的问题,神经生理学测量的采样频率(例如,一秒采集100条数据)往往远远大于使用主观测量和行为测量的负荷数据(例如,10分钟左右获取一次数据)因此学习算法对短时的高负荷可能难以察觉。
实际应用问题:部分神经生理学测量方法,例如肌电数据,脑电数据等需要将复杂的线缆有接触地与操作员相连,本身会对操作员有一定的影响;并且有的脑电设备庞大,无法将其应用于实际的任务进程中。
发明内容
鉴于上述的分析,本发明实施例旨在提供一种基于眼动数据的真实环境心理负荷评估方法和系统,用以解决现有心理负荷评估置信度低、数据稀疏以及实施难度大的问题。
一方面,本发明实施例提供了一种基于眼动数据的真实环境心理负荷评估方法,包括以下步骤:
分别采集不同心理负荷状态下的眼动数据,对所述眼动数据进行预处理构建眼动特征集;所述眼动特征集中包括眼动类型统计特征、扫视速度统计特征、瞳孔直径统计特征和眼动类型转移特征;
建立心理负荷评估模型,基于所述眼动特征集训练所述心理负荷评估模型,获得训练好的心理负荷评估模型;
采集待评估用户的眼动数据,对所述眼动数据进行预处理构建待评估用户的眼动特征集,将所述眼动特征集输入训练好的心理负荷评估模型获得待评估用户的心理负荷评估结果。
基于上述技术方案的进一步改进,所述眼动类型包括注视、扫视、未分类和未找到眼;对所述眼动数据进行预处理得到眼动特征集,包括:
根据未分类序列的前序和后续眼动类型序列的眼动类型,确定未分类序列的眼动类型;
根据采样频率将序列长度在第一阈值范围内的未找到眼序列替换为眨眼;
分别计算每个单位时间内每种眼动类型的计数值、平均值、方差、上下四分位数、中位数和最大值构建眼动类型统计特征;
分别计算每个单位时间内扫视速度、瞳孔直径和瞳孔直径变化率的平均值、方差、上下四分位数、中位数和最大值构建扫视速度统计特征和瞳孔直径统计特征;
分别计算每个单位时间内的眼动类型的马尔科夫转移矩阵,基于所述马尔科夫转移矩阵构建眼动类型转移特征。
进一步地,采用以下方式计算单位时间内的眼动类型的马尔科夫转移矩阵:
根据公式
Figure BDA0003891099020000031
计算单位时间内从眼动类型Cj到眼动类型Ck的转移概率Pjk,构建马尔科夫转移矩阵P,
Figure BDA0003891099020000032
其中,P(xi=Cj)表示单位时间内第i条数据的眼动类型为Cj的概率,P(xi+1=Ck;xi=Cj)表示单位时间内第i条数据的眼动类型为Cj、第i+1条数据的眼动类型为Ck的概率,k,j=0,1,2,3。
进一步地,基于所述马尔科夫转移矩阵构建眼动类型转移特征,包括:
将马尔科夫转移矩阵的元素值和马尔科夫转移矩阵的特征值作为眼动类型转移特征。
进一步地,基于所述马尔科夫转移矩阵构建眼动类型转移特征,包括:
提取马尔科夫转移矩阵中与未找到眼类型不相关的元素以及马尔科夫转移矩阵的特征值中与未找到眼类型不相关的元素作为眼动类型转移特征。
进一步地,根据未分类序列的前序和后续眼动类型序列的眼动类型,确定未分类序列的眼动类型,包括:
若未分类序列的前序和后续眼动类型序列的眼动类型相同,将未分类序列全部替换为前序和后续眼动类型序列的眼动类型;
若未分类序列的前序和后续眼动类型序列的眼动类型不同,则将未分类序列的前Lu/2个未分类数据替换为前序眼动类型序列的眼动类型,将未分类序列的后Lu-Lu/2个未分类数据替换为后续眼动类型序列的眼动类型,其中,Lu表示当前未分类序列的长度。
进一步地,采用特征选择算法从眼动特征集中选取特征权重大于第二阈值的特征,基于选取的特征训练所述心理负荷评估模型,获得训练好的心理负荷评估模型。
进一步地,眼动特征集中还包括:扫视速度左右眼差、瞳孔直径左右眼差和瞳孔直径变化率左右眼差。
进一步地,所述眼动特征集中还包括头动特征;
采用以下方式得到头动特征:
分别采集不同心理负荷状态下的头动加速度数据和角速度数据,分别计算每个单位时间内每个坐标方向的头动平均加速度和平均角速度构建头动特征。
另一方面,本发明实施例提供了一种基于眼动数据的真实环境心理负荷评估系统,系统包括以下模块:
眼动特征集构建模块,用于分别采集不同心理负荷状态下的眼动数据,对所述眼动数据进行预处理构建眼动特征集;所述眼动特征集中包括眼动类型统计特征、扫视速度统计特征、瞳孔直径统计特征和眼动类型转移特征;
模型训练模块,用于建立心理负荷评估模型,基于所述眼动特征集训练所述心理负荷评估模型,获得训练好的心理负荷评估模型;
心理负荷评估模块,用于采集待评估用户的眼动数据,对所述眼动数据进行预处理构建待评估用户的眼动特征集,将所述眼动特征集输入训练好的心理负荷评估模型获得待评估用户的心理负荷评估结果。
与现有技术相比本发明通过采用眼动仪采集不同心理负荷状态下的眼动数据,从而实现非接触式的采集,可在任务中进行测量,避免了置信问题和数据稀疏问题,从而提高了测量精度,使评估更加准确客观。并且设备轻量化,对操作员的影响最小,在便于实施的同时进一步提高了评估的精确度。
本发明中,上述各技术方案之间还可以相互组合,以实现更多的优选组合方案。本发明的其他特征和优点将在随后的说明书中阐述,并且,部分优点可从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点可通过说明书以及附图中所特别指出的内容中来实现和获得。
附图说明
附图仅用于示出具体实施例的目的,而并不认为是对本发明的限制,在整个附图中,相同的参考符号表示相同的部件。
图1为本发明实施例基于眼动数据的真实环境心理负荷评估方法的流程图;
图2为本发明实施例基于眼动数据的真实环境心理负荷评估系统的框图;
图3为本发明实施例的眼动类型转移特征方差检验示意图;
图4为本发明实施例的特征重要性排序示意图;
图5为本发明实施例的评估模型的五折交叉验证结果示意图;
图6为本发明实施例的评估模型的分类ROC曲线示意图。
具体实施方式
下面结合附图来具体描述本发明的优选实施例,其中,附图构成本申请一部分,并与本发明的实施例一起用于阐释本发明的原理,并非用于限定本发明的范围。
工作负荷在复杂人机交互系统的开发中越来越受到重视,因为工作负荷对操作人员在视觉搜索、决策、操作等任务中的表现有着重要的影响。在工效学中,现有的工作负荷测量方法主要包括三种:行为测量、主观测量和神经生理学测量。行为测量:如将特定任务的绩效表现作为工作负荷的指标。主观测量:使用一些主观问卷来收集任务期间或任务结束后的主观负荷值。神经生理学测量:如脑电图和心电图以及本发明会运用的眼动数据来定量反映工作负荷的值。
现有的测量方法具有以下问题:
置信问题:行为测量中使用的绩效指标会与操作员个人能力和熟练度等因素有很大关系;主观测量中用户在回答问卷时可能会由于心理暗示导致选择偏差;肌电数据、心率数据等与操作员的运动强度等变量有关,因此现有的测量方式可能导致测量数据不置信。
数据稀疏的问题:行为测量和主观测量由于其测量特点,无法拥有神经生理学测量方法一样可以在任务中实时测量的优势,因此会导致测量取得的数据,时间间隔很长,并且每次测量都会打断正常的任务进程。使用主观测量和行为测量的负荷数据作为基线还无法回避数据稀疏的问题,神经生理学测量的采样频率(例如,一秒采集100条数据)往往远远大于使用主观测量和行为测量的负荷数据(例如,10分钟左右获取一次数据)因此学习算法对短时的高负荷可能难以察觉。
实际应用问题:部分神经生理学测量方法,例如肌电数据,脑电数据等需要将复杂的线缆有接触地与操作员相连,本身会对操作员有一定的影响;并且有的脑电设备庞大,无法将其应用于实际的任务进程中。
为了解决现有心理负荷评估置信度低、数据稀疏以及实施难度大的问题,本发明的一个具体实施例,公开了一种基于眼动数据的真实环境心理负荷评估方法,如图1所示,包括以下步骤:
S1、分别采集不同心理负荷状态下的眼动数据,对所述眼动数据进行预处理构建眼动特征集;所述眼动特征集中包括眼动类型统计特征、扫视速度统计特征、瞳孔直径统计特征和眼动类型转移特征;
S2、建立心理负荷评估模型,基于所述眼动特征集训练所述心理负荷评估模型,获得训练好的心理负荷评估模型;
S3、采集待评估用户的眼动数据,对所述眼动数据进行预处理构建待评估用户的眼动特征集,将所述眼动特征集输入训练好的心理负荷评估模型获得待评估用户的心理负荷评估结果。
实施时,采用眼动仪采集不同心理负荷状态下的眼动数据,例如可采用tobiiglasses pro2眼动仪。
通过采用眼动仪采集不同心理负荷状态下的眼动数据,从而实现非接触式的采集,可在任务中进行测量,避免了置信问题和数据稀疏问题,从而提高了测量精度,使评估更加准确客观。并且设备轻量化,对操作员的影响最小,在便于实施的同时进一步提高了评估的精确度。
具体的,数据采集过程为:
采用眼动仪采集被试在清醒无任务状态下的眼动数据作为无心理负荷状态下的眼动数据,相应的数据标签为无负荷。
被试进行不同难度的测试任务,每个任务均有一段观察思考时间和一段回答时间,任务后有一段休息时间,每种难度的实验重复多次。例如,可进行三种难度的测试任务,每个任务有10s时间进行观察和思考,2s时间进行回答,3s时间休息,每种难度的任务可重复五次。为每种难度任务采集的眼动数据添加对应的负荷标签,例如低负荷、中负荷、高负荷。为了确保采集的是负荷状态下的数据,只保留观察和思考时间段内采集的眼动数据。
实验中为了规避被试者的疲劳对眼动数据的影响,需采用较短时间的实验过程(例如10s),并且每一段实验任务后均有一段休息时间,总体的实验时间也较短,从而最大限度的保证被试者没有疲劳状态,眼动指标的变化均来自于实验客观给予的负荷强度,进而实现准确的心理负荷评估。
眼动仪的一条采样数据包括眼动类型、左右眼瞳孔直径、左右眼注视坐标。其中,眼动类型包括注视、扫视、未分类和未找到眼。眼动仪并不能直接采集到眨眼数据,但是现有一些研究已经证明:眨眼相关指标与负荷的相关性较强。现有的方式通常是从未找到眼和未分类中提取眨眼类型,这样的方式得到的眨眼特征一般都是一个二分类数据,即眨眼或未眨眼,因此这样提取的特征仅仅包含当前一条眼动数据的眨眼与否信息,包含的信息量较少。眼动仪的采样频率通常在100Hz左右,即一秒中有100条采样数据,直接采用采集数据进行分类会造成数据冗余,实际的负荷水平检测不会要求如此高的检测频率;相比于平滑滤波的方式去噪,平均后的值去噪效果更好,受到缺失值的影响较小;现有的许多眼动指标无法在单条数据中计算,只能在一段时间的记录后进行统计,因此这也是难以运用到分类算法中的原因。因此,需要对采集数据进行预处理,提取眼动特征,为准确评估心理负荷提供数据基础。
具体的,步骤S1中对所述眼动数据进行预处理得到眼动特征集,包括:
S11、根据未分类序列的前序和后续眼动类型序列的眼动类型,确定未分类序列的眼动类型;
具体的,根据未分类序列的前序和后续眼动类型序列的眼动类型,确定未分类序列的眼动类型,包括:
若未分类序列的前序和后续眼动类型序列的眼动类型相同,将未分类序列全部替换为前序和后续眼动类型序列的眼动类型;
若未分类序列的前序和后续眼动类型序列的眼动类型不同,则将未分类序列的前Lu/2个未分类数据替换为前序眼动类型序列的眼动类型,将未分类序列的后Lu-Lu/2个未分类数据替换为后续眼动类型序列的眼动类型,其中,Lu表示当前未分类序列的长度。
即,若未分类(unclassified)序列的前后是相同眼动类型,例如:…,A,A,A,unclassified,…,unclassified,A,A,…,前后眼动类型均为A,,则将其中的未分类(unclassified)替换成A;
若前后是不相同的眼动类型,例如:…,A,A,A,unclassified,…,unclassified,B,B,…则将未分类(unclassified)序列的其前一半(Lu/2)替换为类型A,后一半(Lu-Lu/2)替换为类型B。
S12、根据采样频率将序列长度在第一阈值范围内的未找到眼序列替换为眨眼;
发明人通过研究发现人的自然眨眼行为一般为0.15-0.6秒,因此,若未找到眼序列的长度在第一阈值范围内,必然存在眨眼数据。其中,第一阈值根据采样频率计算得到,即第一阈值范围=[采样频率×0.15,采样频率×0.6],例如采用频率为100Hz,则第一阈值范围=[15,60],将序列长度在15~60范围内的未找到眼序列(EyesNotFound)替换为眨眼(Blink)。
现有的眨眼采集基本上通过桌面式眼动仪采集,或者通过采集图像信息结合计算机视觉(CV)相关方式进行识别,成本更高,并且难以在实际的任务场景应用,本申请的方法可以方便快捷地提取眨眼分类。
S13、分别计算每个单位时间内每种眼动类型的计数值、平均值、方差、上下四分位数、中位数和最大值构建眼动类型统计特征;
实施时,单位时间可取1秒。若采样率为100Hz,即依次提取100条采样数据计算该段时间内每种眼动类型的计数值、平均值、方差、上下四分位数、中位数和最大值。
将每种眼动类型的计数值、平均值、方差、上下四分位数、中位数和最大值作为眼动类型统计特征加入眼动特征集中。
S14、分别计算每个单位时间内扫视速度、瞳孔直径和瞳孔直径变化率的平均值、方差、上下四分位数、中位数和最大值构建扫视速度统计特征和瞳孔直径统计特征;
实施时,同样的,单位时间可取1秒。若采样率为100Hz,即依次提取100条采样数据计算该段时间内扫视速度的计数值、平均值、方差、上下四分位数、中位数和最大值作为扫视速度统计特征加入眼动特征集中。计算该段时间内瞳孔直径和瞳孔直径变化率的计数值、平均值、方差、上下四分位数、中位数和最大值作为瞳孔直径统计特征加入眼动特征集中。
实施时,根据以下公式计算单位时间内相邻两个采样时刻的注视坐标的夹角:
Figure BDA0003891099020000111
(ai-1,bi-1,ci-1)表示i-1采样时刻的注视坐标,(ai,bi,ci)表示i采样时刻的注视坐标;
根据以下公式计算相邻采样时刻的扫视速度:
Vi=αi×freq
其中,freq表示采样频率,Vi表示单位时间内第i个扫视速度。
实施时,瞳孔变化率采用相邻两个采样时刻的瞳孔直径数据前向差分除以两个采样时刻的时间差计算得到。
通过添加眼动类型、扫视速度和瞳孔直径统计特征使得特征受缺失值的影响更小,分类特征更加丰富,有利于训练更精确的评估模型,从而实现更加准确的心理负荷评估。
S15、分别计算每个单位时间内的眼动类型的马尔科夫转移矩阵,基于所述马尔科夫转移矩阵构建眼动类型转移特征。
具体的,采用以下方式计算单位时间内眼动类型的马尔科夫转移矩阵,基于所述马尔科夫转移矩阵构建眼动类型转移特征:
根据公式
Figure BDA0003891099020000112
计算单位时间内从眼动类型Cj到眼动类型Ck的转移概率Pjk,构建马尔科夫转移矩阵P,
Figure BDA0003891099020000113
将马尔科夫转移矩阵的元素值和马尔科夫转移矩阵的特征值作为眼动类型转移特征;
其中,P(xi=Cj)表示单位时间内第i条数据的眼动类型为Cj的概率,P(xi+1=Ck;xi=Cj)表示单位时间内第i条数据的眼动类型为Cj、第i+1条数据的眼动类型为Ck的概率,k,j=0,1,2,3。
经过步骤S11~S12处理后,眼动数据中的眼动类型包括注视、扫视、眨眼和未找到眼,将注视、扫视、眨眼和未找到眼这四类状态标识为:1、2、3、0。在每个单位时间内,即每100条采样数据内,根据上述公式计算这四类状态间的转移概率,构建状构建马尔科夫转移矩阵P,将马尔科夫转移矩阵的元素值和马尔科夫转移矩阵的特征值作为眼动类型转移特征,加入眼动特征集中。由于未找到眼类型对心理负荷评估无意义,因此,为简化计算,将马尔科夫转移矩阵中除去与未找到眼类型相关元素(矩阵P中第一行和第一列的元素),将其他矩阵元素加入眼动特征集中,同时,将特征值中除去与未找到眼类型相关的特征值(即计算得到的矩阵P的第一个特征值),将其他特征值加入眼动特征集中。即提取马尔科夫转移矩阵中与未找到眼类型不相关的元素以及马尔科夫转移矩阵的特征值中与未找到眼类型不相关的元素作为眼动类型转移特征。
传统的眼动类型特征是一个离散的数据特征,当前数据行仅包含当前的状态信息,马尔科夫转移矩阵通过计算一段时间内的状态转移概率,将稀疏的离散状态转化成连续的状态转移概率,包含的数据信息不仅是当前的状态,也有当前时间点前后一段时间内的状态变化信息,因此相比传统的状态特征,包含更多特征信息,使得特征信息更丰富,有利于准确进行心理负荷评估。
如图3显示了传统的眨眼计数指标和马尔科夫状态转移概率指标的方差检验对比结果。从图3(a)可以看出眨眼计数在有负荷的情况下,分布相似(第1、2、3类对应的柱状图分布几乎相同),而3(b)的马尔可夫转移矩阵相关特征则明显可以看到各类的分布各不相同。
研究发现左右眼的瞳孔差异与认知负荷和任务复杂度有关,实施时,为了进一步提高分类准确性,瞳孔直径左右眼差和瞳孔直径变化率左右眼差作为瞳孔直径统计特征的一部分加入眼动特征集中。将扫视速度左右眼差作为扫视速度统计特征的一部分加入眼动特征集中。
此外,研究表明,任务难度与被试者的头部运动情况显著相关,为了进一步提高评估准确性,在眼动特征集中加入头部运动信息。tobii glasses pro2眼动仪上设有传感器和陀螺仪,用于采集头动加速度和角度信息。实施时,通过眼动仪在采集不同心理负荷状态下的眼动数据的同时采集头动加速度数据和角速度数据,将每个单位时间内三个坐标方向的平均加速度、三个坐标方向的平均角速度,作为头动特征加入眼动特征集中。
经过上述处理步骤后,眼动特征集包括每秒钟的眼动类型统计特征、扫视速度统计特征、瞳孔直径统计特征和瞳孔直径变化率统计特征以及头动特征,特征数据和对应的负荷类型标签(无负荷、低负荷、中负荷、高负荷)构成训练样本数据。
实施时,由于眼动特征集中包含的特征较多,为了提高计算效率,采用特征选择算法从眼动特征集中选取特征权重大于第二阈值的特征,基于选取的特征训练所述心理负荷评估模型,获得训练好的心理负荷评估模型。
实施时,可采用ReliefF算法进行特征权重计算,选取权重大于第二阈值的特征。实施时,第二阈值可取0,即取表现正向的特征作为模型训练输入特征。图4显示了各特征的权重排序,可取权重值大于大二阈值的特征进行模型训练。
实施时,建立的心理负荷评估模型可为SVM模型,也可采用其他模型。基于选取的特征训练构建的心理负荷评估SVM模型,按照训练集和测试集分为8:2的比例进行训练,获得训练好的心理负荷评估模型。
最终训练好的模型分类效果如图5和图6所示。图5为用五折交叉验证方式进行模型验证的结果总体的分类准确率为77.5%,并且对于无负荷和高负荷的分类准确率均达到80%以上(无负荷83.8%、高负荷80.7%),图6为模型分类的ROC曲线(受试者工作特征曲线receiver operating characteristic curve)。图6(a)正类:无负荷,负类:低负荷、中负荷、高负荷;图6(b)正类:低负荷,负类:无负荷、中负荷、高负荷;图6(c)正类:中负荷,负类:无负荷、低负荷、高负荷;6(d)正类:高负荷,负类:无负荷、低负荷、中负荷。一般使用ROC曲线下面积(AUC)作为衡量学习器优劣的性能指标,AUC越接近1,学习器的效果越好,从图6可以看到四个AUC值均在0.9以上,说明分类器的效果较优异。
得到训练好的心理负荷评估模型后,对于待评估用户,首先采集其眼动数据,根据步骤S1中的预处理过程对采集的眼动数据进行预处理,得到待评估用户的眼动特征数据,将特征数据输入训练好的心理负荷评估模型可得到待评估用户的心理负荷评估结果。
本发明的一个具体实施例,公开了一种基于眼动数据的真实环境心理负荷评估系统,如图2所示,系统包括以下模块:
眼动特征集构建模块,用于分别采集不同心理负荷状态下的眼动数据,对所述眼动数据进行预处理构建眼动特征集;所述眼动特征集中包括眼动类型统计特征、扫视速度统计特征、瞳孔直径统计特征和眼动类型转移特征;
模型训练模块,用于建立心理负荷评估模型,基于所述眼动特征集训练所述心理负荷评估模型,获得训练好的心理负荷评估模型;
心理负荷评估模块,用于采集待评估用户的眼动数据,对所述眼动数据进行预处理构建待评估用户的眼动特征集,将所述眼动特征集输入训练好的心理负荷评估模型获得待评估用户的心理负荷评估结果。
上述方法实施例和系统实施例,基于相同的原理,其相关之处可相互借鉴,且能达到相同的技术效果。具体实施过程参见前述实施例,此处不再赘述。
本领域技术人员可以理解,实现上述实施例方法的全部或部分流程,可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于计算机可读存储介质中。其中,所述计算机可读存储介质为磁盘、光盘、只读存储记忆体或随机存储记忆体等。
以上所述,仅为本发明较佳的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种基于眼动数据的真实环境心理负荷评估方法,其特征在于,包括以下步骤:
分别采集不同心理负荷状态下的眼动数据,对所述眼动数据进行预处理构建眼动特征集;所述眼动特征集中包括眼动类型统计特征、扫视速度统计特征、瞳孔直径统计特征和眼动类型转移特征;
建立心理负荷评估模型,基于所述眼动特征集训练所述心理负荷评估模型,获得训练好的心理负荷评估模型;
采集待评估用户的眼动数据,对所述眼动数据进行预处理构建待评估用户的眼动特征集,将所述眼动特征集输入训练好的心理负荷评估模型获得待评估用户的心理负荷评估结果。
2.根据权利要求1所述的基于眼动数据的真实环境心理负荷评估方法,其特征在于,所述眼动类型包括注视、扫视、未分类和未找到眼;对所述眼动数据进行预处理得到眼动特征集,包括:
根据未分类序列的前序和后续眼动类型序列的眼动类型,确定未分类序列的眼动类型;
根据采样频率将序列长度在第一阈值范围内的未找到眼序列替换为眨眼;
分别计算每个单位时间内每种眼动类型的计数值、平均值、方差、上下四分位数、中位数和最大值构建眼动类型统计特征;
分别计算每个单位时间内扫视速度、瞳孔直径和瞳孔直径变化率的平均值、方差、上下四分位数、中位数和最大值构建扫视速度统计特征和瞳孔直径统计特征;
分别计算每个单位时间内的眼动类型的马尔科夫转移矩阵,基于所述马尔科夫转移矩阵构建眼动类型转移特征。
3.根据权利要求2所述的基于眼动数据的真实环境心理负荷评估方法,其特征在于,采用以下方式计算单位时间内的眼动类型的马尔科夫转移矩阵:
根据公式
Figure FDA0003891099010000021
计算单位时间内从眼动类型Cj到眼动类型Ck的转移概率Pjk,构建马尔科夫转移矩阵P,
Figure FDA0003891099010000022
其中,P(xi=Cj)表示单位时间内第i条数据的眼动类型为Cj的概率,P(xi+1=Ck;xi=Cj)表示单位时间内第i条数据的眼动类型为Cj、第i+1条数据的眼动类型为Ck的概率,k,j=0,1,2,3。
4.根据权利要求2所述的基于眼动数据的真实环境心理负荷评估方法,其特征在于,基于所述马尔科夫转移矩阵构建眼动类型转移特征,包括:
将马尔科夫转移矩阵的元素值和马尔科夫转移矩阵的特征值作为眼动类型转移特征。
5.根据权利要求2所述的基于眼动数据的真实环境心理负荷评估方法,其特征在于,基于所述马尔科夫转移矩阵构建眼动类型转移特征,包括:
提取马尔科夫转移矩阵中与未找到眼类型不相关的元素以及马尔科夫转移矩阵的特征值中与未找到眼类型不相关的元素作为眼动类型转移特征。
6.根据权利要求2所述的基于眼动数据的真实环境心理负荷评估方法,其特征在于,根据未分类序列的前序和后续眼动类型序列的眼动类型,确定未分类序列的眼动类型,包括:
若未分类序列的前序和后续眼动类型序列的眼动类型相同,将未分类序列全部替换为前序和后续眼动类型序列的眼动类型;
若未分类序列的前序和后续眼动类型序列的眼动类型不同,则将未分类序列的前Lu/2个未分类数据替换为前序眼动类型序列的眼动类型,将未分类序列的后Lu-Lu/2个未分类数据替换为后续眼动类型序列的眼动类型,其中,Lu表示当前未分类序列的长度。
7.根据权利要求2所述的基于眼动数据的真实环境心理负荷评估方法,其特征在于,采用特征选择算法从眼动特征集中选取特征权重大于第二阈值的特征,基于选取的特征训练所述心理负荷评估模型,获得训练好的心理负荷评估模型。
8.根据权利要求1所述的基于眼动数据的真实环境心理负荷评估方法,其特征在于,眼动特征集中还包括:扫视速度左右眼差、瞳孔直径左右眼差和瞳孔直径变化率左右眼差。
9.根据权利要求1所述的基于眼动数据的真实环境心理负荷评估方法,其特征在于,所述眼动特征集中还包括头动特征;
采用以下方式得到头动特征:
分别采集不同心理负荷状态下的头动加速度数据和角速度数据,分别计算每个单位时间内每个坐标方向的头动平均加速度和平均角速度构建头动特征。
10.一种基于眼动数据的真实环境心理负荷评估系统,其特征在于,系统包括以下模块:
眼动特征集构建模块,用于分别采集不同心理负荷状态下的眼动数据,对所述眼动数据进行预处理构建眼动特征集;所述眼动特征集中包括眼动类型统计特征、扫视速度统计特征、瞳孔直径统计特征和眼动类型转移特征;
模型训练模块,用于建立心理负荷评估模型,基于所述眼动特征集训练所述心理负荷评估模型,获得训练好的心理负荷评估模型;
心理负荷评估模块,用于采集待评估用户的眼动数据,对所述眼动数据进行预处理构建待评估用户的眼动特征集,将所述眼动特征集输入训练好的心理负荷评估模型获得待评估用户的心理负荷评估结果。
CN202211262952.1A 2022-10-14 2022-10-14 一种基于眼动数据的真实环境心理负荷评估方法和系统 Pending CN115444422A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211262952.1A CN115444422A (zh) 2022-10-14 2022-10-14 一种基于眼动数据的真实环境心理负荷评估方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211262952.1A CN115444422A (zh) 2022-10-14 2022-10-14 一种基于眼动数据的真实环境心理负荷评估方法和系统

Publications (1)

Publication Number Publication Date
CN115444422A true CN115444422A (zh) 2022-12-09

Family

ID=84310213

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211262952.1A Pending CN115444422A (zh) 2022-10-14 2022-10-14 一种基于眼动数据的真实环境心理负荷评估方法和系统

Country Status (1)

Country Link
CN (1) CN115444422A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116824954A (zh) * 2023-07-03 2023-09-29 中国民用航空飞行学院 眼动+飞行数据的模拟机飞行训练讲评系统及方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116824954A (zh) * 2023-07-03 2023-09-29 中国民用航空飞行学院 眼动+飞行数据的模拟机飞行训练讲评系统及方法
CN116824954B (zh) * 2023-07-03 2024-03-01 中国民用航空飞行学院 眼动+飞行数据的模拟机飞行训练讲评系统及方法

Similar Documents

Publication Publication Date Title
EP3617815B1 (en) Work support device, work support method, and work support program
US11998336B2 (en) Systems and methods for assessing user physiology based on eye tracking data
CN111012367A (zh) 一种精神疾病的智能识别系统
EP1799105A1 (en) System and method for mental workload measurement based on rapid eye movement
Rigas et al. Study of an extensive set of eye movement features: Extraction methods and statistical analysis
CN111887867A (zh) 基于表情识别与心理学测试生成性格的分析方法及系统
Gunawardhane et al. Non invasive human stress detection using key stroke dynamics and pattern variations
CN110495895B (zh) 一种基于眼动跟踪的疲劳检测方法与系统
JP2023508339A (ja) 欺まん検出のための眼球システム
JP2007502630A (ja) 認知処理
CN109222888A (zh) 一种基于眼动技术判断心理测试可靠性的方法
JP2002253509A (ja) 脳機能検査方法とその装置、脳機能検査システム、脳機能検査サービス方法及びそのプログラムと装置
CN115444422A (zh) 一种基于眼动数据的真实环境心理负荷评估方法和系统
Kosel et al. Measuring Teachers' Visual Expertise Using the Gaze Relational Index Based on Real-world Eye-tracking Data and Varying Velocity Thresholds
CN115089181A (zh) 一种基于眼动数据的疲劳测量方法和系统
CN113827238A (zh) 基于虚拟现实和眼动信息的情绪评估方法、装置
Kohmura et al. The relationship between dynamic visual acuity and saccadic eye movement
CN114869272A (zh) 姿势震颤检测模型、姿势震颤检测算法、以及姿势震颤检测设备
CN113951828A (zh) 一种基于视觉工作记忆任务的mci筛查方法及系统
Punuganti Automatic detection of nystagmus in bedside VOG recordings from patients with vertigo
JP3724524B2 (ja) 眼球制御系情報検出装置および眼球制御系の解析方法
JP3721980B2 (ja) 脳機能検査装置
Li et al. A method of depression recognition based on visual information
Kiprijanovska et al. Smart Glasses for Gait Analysis of Parkinson’s Disease Patients
CN117643458B (zh) 一种多模态数据驱动的术后谵妄评估系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination