CN107871537A - 一种基于多模态特征的抑郁倾向测评装置、系统 - Google Patents

一种基于多模态特征的抑郁倾向测评装置、系统 Download PDF

Info

Publication number
CN107871537A
CN107871537A CN201711174677.7A CN201711174677A CN107871537A CN 107871537 A CN107871537 A CN 107871537A CN 201711174677 A CN201711174677 A CN 201711174677A CN 107871537 A CN107871537 A CN 107871537A
Authority
CN
China
Prior art keywords
memory
sample
users
test
eye
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711174677.7A
Other languages
English (en)
Other versions
CN107871537B (zh
Inventor
王红
周莹
胡晓红
于晓梅
房有丽
狄瑞彤
孟广婷
刘海燕
宋永强
王露潼
王倩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Normal University
Original Assignee
Shandong Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Normal University filed Critical Shandong Normal University
Priority to CN201711174677.7A priority Critical patent/CN107871537B/zh
Publication of CN107871537A publication Critical patent/CN107871537A/zh
Application granted granted Critical
Publication of CN107871537B publication Critical patent/CN107871537B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Medical Treatment And Welfare Office Work (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明涉及一种基于多模态特征的抑郁倾向测评装置及系统,装置包括:存储器、处理器以及存储在存储器上并在处理器上运行的计算机指令,所述计算机指令在处理器上运行时执行以下步骤:接收样本用户查看不同情绪面孔图像时的眼动数据,其中样本用户的抑郁倾向为已知;接收样本用户按照第一设定方法获取的记忆力测评数据,以及样本用户按照第二设定方法获取的认知风格指数;基于所得到的眼动数据、记忆力测评数据以及认知风格指数提取样本用户的眼动‑记忆力‑认知风格融合特征集合;根据所述融合特征集合训练分类模型,采用分类模型对测试用户进行抑郁倾向的测评。

Description

一种基于多模态特征的抑郁倾向测评装置、系统
技术领域
本发明涉及一种基于多模态特征的抑郁倾向测评装置、系统。
背景技术
当今社会人们的压力越来越大,过大的压力会使人产生抑郁倾向,严重影响人们的学习、工作和生活。抑郁倾向在人们的生活中普遍存在,其主要表现为心情低落、注意偏差、记忆力降低等等。目前常见的自查抑郁倾向的测量方法通常采用心理健康自查表,如《状况自评表SCL90》、《伯恩斯抑郁状况自查表》等等。随着眼动追踪技术的不断发展,越来越多的研究者认识到眼动追踪在临床诊断中的重要性。目前,眼动技术主要是探测人在关注正向、负向和中性面孔图片时眼动数据的差异。而对于结合眼动特征、记忆力特征和认知风格特征这种多模态特征相融合的测评系统,尚没有行之有效的解决方案。
发明内容
针对现有技术中存在的不足,本发明提供了一种基于多模态特征的抑郁倾向测评装置,运用眼动追踪方法获取隐式反馈信息,发现记忆力特征、认知风格等特征与抑郁倾向的相关性,构建抑郁倾向评测系统,辅助帮助医生判断分析,从而降低误诊率。
本发明的技术方案为:
一种基于多模态特征的抑郁倾向测评装置,包括:存储器、处理器以及存储在存储器上并在处理器上运行的计算机指令,所述计算机指令在处理器上运行时执行以下步骤:
接收样本用户查看不同情绪面孔图像时的眼动数据,其中样本用户的抑郁倾向为已知;
接收样本用户按照第一设定方法获取的记忆力测评数据,以及样本用户按照第二设定方法获取的认知风格指数;
基于所得到的眼动数据、记忆力测评数据以及认知风格指数提取样本用户的眼动-记忆力-认知风格融合特征集合;
根据所述融合特征集合训练分类模型,采用分类模型对测试用户进行抑郁倾向的测评。
其中,所述第一设定方式包括:
采用韦氏记忆量表获取样本用户的各项原始分,计算原始分的均值以及标准差,根据各项原始分、均值和标准差计算记忆熵,将记忆熵作为记忆力测评数据。
其中,所述第二设定方式为采用镶嵌图形测验法分析样本用户的认知风格,得到样本用户的认知风格指数。
进一步的,样本用户的认知风格指数通过以下方式获得:
分别提供简单图形和复杂图形,样本用户于设定时间内,在所述复杂图形中描绘出与简单图形相同的图形;
样本用户重复上述描绘操作,若成功则计得分;
统计样本用户图形测验的总分值,根据总分值得到平均值以及标准差;
利用所述总分值、平均值以及标准差获得样本用户的认知风格指数。
进一步的,基于所得到的眼动数据、记忆力测评数据以及认知风格指数提取样本用户的眼动-记忆力-认知风格融合特征包括:
将所述眼动数据分为原始眼动数据和基于原始眼动数据获取的眼动注视时间;
采用所述原始眼动数据、记忆力测评数据、认知风格指数和眼动注视时间作为四阶随机森林模型的输入,对特征重要属性进行排序,筛选满足特征重要属性设定要求的A个特征,得到眼动-记忆力-认知风格融合特征集合。
进一步的,还包括对眼动-记忆力-认知风格融合特征集合进行降维,得到B个眼动-记忆力-认知风格融合特征,其中B为小于A的正整数。
进一步的,还包括对所述眼动数据进行补缺,和/或删除其中的离群值。
进一步的,还包括采用眼动注视时间进行F检验和T检验,根据F检验和T检验的结果判断样本用户的抑郁倾向。
进一步的,还包括通过情绪自查表获取测试用户的抑郁倾向参数,用于评价所述抑郁倾向测评装置的有效性;其中,情绪自查表包括《伯恩斯抑郁状况自查表》、《状况自评表SCL 90》或《SDS抑郁自评量表》。
本发明还提出了一种基于多模态特征的抑郁倾向测评系统,包括:
显示装置:用于给出不同情绪的面孔图像;
眼动数据采集装置:与显示装置相连,用于获取用户查看不同情绪面孔图像时的眼动数据;
记忆力测评装置:用于获取用户的记忆力测评数据;
认知风格测评装置:用于获取用户的认知风格指数;
以及上述的基于多模态特征的抑郁倾向测评装置,其中,眼动数据采集装置、记忆力测评装置、认知风格测评装置分别与抑郁倾向测评装置相连。
本发明的有益效果:
本发明一种多模态特征融合的抑郁倾向评测装置及系统,将心理健康自查表和眼动追踪技术结合,运用眼动追踪方法获取隐式反馈信息,发现记忆力特征、认知风格等特征与抑郁倾向的相关性,提出基于四阶随机森林的评测系统的抑郁倾向评测系统,可以帮助医生判断分析,从而降低误诊的概率。
本发明还可以和仅仅提取用户的认知风格以及性别融合特征,对抑郁倾向做测评。
附图说明
图1是本发明的一种多模态特征融合的抑郁倾向评测装置的结构示意图;
图2是本发明的一种多模态特征融合的抑郁倾向评测装置的工作流程示意图;
图3是本发明用户数据汇总图;
图4是本发明眼动参数分析场景设计图;
图5是本发明眼动参数分析产生的扫视路径图;
图6是本发明眼动参数分析产生的热区图;
图7是本发明不同认知风格对抑郁倾向影响比较图;
图8是本发明所选特征图;
图9是本发明各阶准确对比图;
图10是本发明抑郁倾向测评模型与其他模型的对比图。
具体实施方式:
下面结合附图与实施例对本发明作进一步说明:
应该指出,以下详细说明都是例示性的,旨在对本申请提供进一步的说明。除非另有指明,本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是,这里所使用的术语仅是为了描述具体实施方式,而非意图限制根据本申请的示例性实施方式。如在这里所使用的,除非上下文另外明确指出,否则单数形式也意图包括复数形式,此外,还应当理解的是,当在本说明书中使用术语“包含”和/或“包括”时,其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
本发明的一种典型实施例是:
一种基于多模态特征的抑郁倾向测评装置,包括:存储器、处理器以及存储在存储器上并在处理器上运行的计算机指令,计算机指令在处理器上运行时执行以下步骤:
接收样本用户查看不同情绪面孔图像时的眼动数据,其中样本用户的抑郁倾向为已知;
接收样本用户按照一种方法获取的记忆力测评数据,以及样本用户按照一种方法获取的认知风格指数;
基于所得到的眼动数据、记忆力测评数据以及认知风格指数提取样本用户的眼动-记忆力-认知风格融合特征集合;
根据所述融合特征集合训练分类模型,采用分类模型对测试用户进行抑郁倾向的测评。
将上述装置按照虚拟模块表示,可以参照图1,分为:
情绪自查测评单元,被配置通过情绪自查表获取用户的是否有抑郁倾向,增强测评抑郁倾向评测系统有效性;
记忆力评测单元,被配置通过记忆力测试装置获取用户的记忆力参数,定性和定量地分析抑郁倾向对记忆力的影响,测评增强所述抑郁倾向评测模型的有效性;
认知风格评测单元,被配置通过认知风格测试装置获取用户的认知风格参数,定性和定量地分析抑郁倾向对认知风格的影响,测评增强所述抑郁倾向评测模型的有效性;
抑郁倾向评测模型建立单元,被配置为根据所述眼动参数,定性和定量地分析不同情绪面孔对于用户注意力的影响;
抑郁倾向评测单元,用于将记忆力评测单元、认知风格评测单元和眼动参数相结合,得到融合特征,训练分类模型,采用分类模型对测试用户进行抑郁倾向测评。
在本实施例中,眼动追踪装置采用的是德国普升科技有限公司研发的SMI RED眼动仪(Version2.4),其采样频率为120Hz。
在本实施例中,眼动参数分析的用户主体招募了100名用户人员,男女比例1:1,抑郁倾向组与正常组分别为50名,年龄在20-25岁之间,平均年龄23岁,所有的参与者均为不同专业的在校学生。此外,用户人员的裸眼视力或矫正视力均正常,无色盲、色弱等影响视觉效应因素。参与测评人数及泛化力度均达到现阶段眼动实验标准。
为了保证测评效果更加接近现实生活,本发明设计的测评场景是:用户只需自由浏览情绪面孔图片即可。眼动测评过程中,通过SMI RED眼动仪(Version2.4)记录用户人员的眼动追踪信息。实验采用2(是否抑郁倾向)×2(开心、悲伤)的设计。
在本实施例中,每次评测开始前将记录用户人员个人信息,并为用户人员展示关于本次评测的简短介绍,包括评测任务及设备硬件。但为了得到最真实的眼动数据和记忆力数据,评测所研究的具体内容将对用户人员隐藏。随后进行校准工作,当用户人员追踪水平达到要求后开始正式测评。测评完成后,进行再认实验,考察用户对情绪面孔观测情况。得到的原始眼动数据如图3所示。
眼动实验的具体内容是:一张图片由相同人脸的3张情绪面孔组成,情绪面孔分别为开心、悲伤、平静,并随机以三角形状分布。
图4为眼动实验素材缩略图之一,图4的表情为上中平静、左下悲伤、右下开心,
情绪面孔图片呈现于17寸的显示屏上,被试与屏幕距离大约50cm。眼动实验步骤:
第一,检测眼动水平,双眼追踪屏幕上的小球运动轨迹,当轨迹均在规定范围内,则开始眼动实验;
第二,进行练习任务,熟悉实验流程不记录眼动轨迹;
第三,进行任务一,自由浏览10张图片,每张图片自动播放10s中间空白休息1s;
眼动实验完成后,需要分析眼动数据和数据图。本发明在获得了原始眼动数据之后,进一步提取眼动持续时间,也称为眼动注视时间。
图5所示的扫视路径图及如图6所示的热区图,通过这些数据图进行初步定性分析。
初步定性分析利用眼动注视时间,采用2(组别:抑郁倾向类和正常类)×2(情绪面孔:开心和悲伤)实验设计,进一步分析抑郁倾向的注意偏差。
表1
表1分析抑郁倾向类与正常类对情绪面孔是否存在注意偏差,其中Face表示情绪面孔;L为类标签,1为抑郁倾向类,0为正常类;Mean表示均值;SD表示标准差;MSE表示均值的标准误差,表2分析结果如下:
表2:
抑郁倾向类浏览悲伤面孔的平均时间为0.4048,浏览开心面孔的平均时间为0.1992,即0.4048>0.1992,则抑郁倾向类浏览悲伤面孔的平均时间大于浏览开心面孔的平均时间,抑郁倾向类对悲伤面孔存在注意偏差。
悲伤面孔F检验和T检验结果:
F检验又称为方差齐性检验,方差齐次性是指判断抑郁倾向类和正常类的方差是否相等。悲伤面孔的主效应(F=14.544,Sig=0.00<0.05),即Sig的值小于显著性水平0.05,认为“方差不等”假设成立。结论:对于悲伤面孔,抑郁倾向类与正常类之间的方差存在显著性差异。
其次,在“方差不等”假设成立的条件下,分析T检验的参数,sig=0.00<0.05,即sig的值小于显著性水平0.05,拒绝T检验的零假设,进一步验证对于悲伤面孔,抑郁倾向类与正常类之间的方差存在显著性差异。分析差分的95%置信区间的上限和下限,区间没有跨0,更进一步验证对于悲伤面孔,抑郁倾向类与正常类之间的方差存在显著性差异。
开心面孔F检验和T检验结果:
开心面孔主效应(F=0.138,Sig=0.01<0.05),即Sig的值小于显著性水平0.05,认为“方差不等”假设成立。结论:对于开心面孔,抑郁倾向类与正常类之间的方差存在显著性差异。
其次,在“方差不等”假设成立的条件下,分析T检验的参数,sig=0.00<0.05,即sig的值小于显著性水平0.05,不能拒绝T检验的零假设,进一步验证对于开心面孔,抑郁倾向类与抑郁倾向类之间的方差存在显著性差异。分析差分的95%置信区间的上限和下限,置信区间没有跨0,进一步验证对于开心面孔,抑郁倾向类与抑郁倾向类之间的方差存在显著性差异。
根据上述分析,即可得到抑郁倾向类对悲伤面孔存在注意偏差,正常类对开心面孔存在注意偏差。
对于记忆力的测评数据,我们采用韦氏记忆量表(简称WMS)进行测验,该量表在记忆力测验方面应用广泛,量表共7个测验内容。龚耀先等在1980年对WMS进行修订,增加了3个测验内容。修订的WMS从长时记忆、短时记忆、瞬时记忆3个方面测验记忆力。
记忆力测评数据的计算过程是:首先根据表韦氏记忆量表或修订的韦氏记忆量表将各分测验的原始分然后相加,根据公式(1)量化成量表分SP,再根据公式(2)将其换算成记忆熵MQ,MQ即为记忆力特征memory。
量表化:
规定各分测验基础原始分的均值为10,标准差为3。其中,x表示某一被试某一分测验原始分,X表示所有被试该分测验原始分的均值,SD表示标准差。
记忆熵:
规定各年龄组的记忆商数均值为100,标准差为15。其中,x表示某一被试某一分测验原始分,X表示所有被试该分测验原始分的均值,SD表示标准差。
对于认知风格指数的获取,通常采用镶嵌图形测验进行测验,镶嵌图形测验是在一个复杂图形中选出一个简单图形(简单图形一共有8个)。该测验一共25题,1-7题为简单题,8-25为复杂题。记分说明:其中1-3题不计分,让被试熟悉题目要求,4-7题每题1分,8-25题每题5分。最后取所有被试的平均成绩,平均成绩以上的被试的认知定为场独立性,平均成绩以上的被试的认知定为场依存性。我们可以直接取平均成绩作为认知风格指数。
简单对认知风格数据进行分析,如图7所示,不同认知风格的主效应为(F=1.452,sig=0.003<0.01),Pearson相关系数为0.823,相关系数为强相关,说明抑郁倾向与认知风格之间存在显著相关。因为3.68<2.82,即场独立性的均值的小于场依赖性的均值,说明场依赖性的用户更有可能有抑郁倾向。
在获得了眼动数据、记忆力测评数据和认知风格指数后,基于所得到的眼动数据、记忆力测评数据以及认知风格指数采用四阶随机森林模型提取样本用户的眼动-记忆力-认知风格融合特征集合;
在采用四阶随机森林模型筛选特征之前,原始眼动数据中有缺失值和异常值,需要对原始数据进行预处理。由于特征较多,将所有特征从0开始编号。本实验数据预处理包括以下几方面:
(1)缺失值处理
本实验缺失值处理方法采取:使用属性平均值填补缺失值。
(2)离群值处理
为了不因少数的离群数据导致整体特征偏移,我们对所有属性均绘制箱形图找出其中离群点。其中箱形图中的胡须的两端为最小观测值与最大观测值,从箱形图中可以直观看出特征中的离群值。
(3)特征选择
四阶随机森林模型特征选择的一般步骤如下:
1.四阶随机森林模型中的特征按照公式(3计算Feature Importances;
2.将Feature Importances从大到小排序,并按照一定比例删除对分类结果重要程度较小的特征,得到一个新特征集;
3.用新的特征集建立新的四阶随机森林模型,再次计算新特征集每个特征的Feature Importances并排序;
4.重复以上步骤,直至特征集中特征个数为m个,m的个数按一定比例自定义。
按照上述步骤得到每个特征集和它们建立的四阶随机森林模型,并计算对应的袋外误差(errOOB),选择errOOB最低的特征集为最终选定的特征集。
Feature Importances计算步骤如下:
1.四阶随机森林模型在构建每棵树时,对训练样本采用有放回随机采样(bootstrap sample)。例如对于第k棵树,约有1/3的训练样本没有参与第k棵树的生成,这些样本称为第k棵树的袋外数据(简称OOB)。用OOB计算模型误差,记为errOOB。
errOOB的计算方法为:首先计算OOB中每个样本的分类情况;然后以简单多数投票作为的分类结果;最后,用误分样本个数占总袋外数据的比率为errOOB。
2.随机对OOB的特征X加入噪声(例如随机改变样本在特征X处的值),再次计算它的errOOB,记为err2OOB。
3.设模型建N棵树,特征X对分类结果的重要程度如公式(3)计算:
特征选择最终结果如图8所示:
由图8分析可得特征编号为2、17、0、14、4、15、5、18、16、8、10、11、9、7、1、3、13、19、12、6这20个特征对分类结果重要程度较大,将20个特征组成新的特征集。
由于新的特征集的特征个数仍然较多,选择因子分析对特征集进行降维。首先,对特征集进行相关性检验,看是否可以进行因子分析。通过两个指标进行检验:第一个指标是KMO,其值为0.882>0.7;第二个指标是Bartlett的球形度检验,P=0.000<0.001。综合两个指标,说明特征之间存在相关性,可以进行因子分析。我们通过因子分析获取了5个新特征,这5个新特征携带了原特征集的95.6%的信息,综合分析将因子分析之后得到的5个特征作为新特征集。表5列出了原始特征在5个新特征F1-F5所占权重。
新特征F1表达式如下,其中括号中的数字表示特征的编号:F1=-0.148*(2)-0.717*(17)-0.838*(0)-0.866*(14)-0.814*(4)-0.489*(15)+0.709*(5)+0.709*(18)+0.658*(16)-0.819*(8)-0.035*(10)-0.363*(11)-0.134*(9)+0.699*(7)+0.605*(1)+0.803*(3)+0.053*(13)+0.523*(19)+0.708*(12)+0.385*(6)
其它4个新特征F2、F3、F4、F5的表达式与F1类似,在此就不做复述。
在基于上述5个特征的基础上得到的分类模型,可以用来应用到测试集上,也就是用到测试用户的抑郁倾向测评。
进一步的,本发明还可以和仅仅提取用户的认知风格以及性别融合特征,对抑郁倾向做测评。
表3:
表3分析了抑郁倾向与认知风格及性别的相关性,Mean为均值,Mean Square为均方;F、sig为主效应的2个参数。其中,认知风格特征(cognition)1表示场独立性,0表示场依赖性;性别特征(gender)1表示男,0表示女;L为类标签,1表示抑郁倾向类,0表示正常类。
表3分析结果如下,不同认知风格的主效应为(F=1.452,sig=0.003<0.01),表示差异具有高统计学意义;又因为3.68<2.82,即场独立性的均值的小于场依赖性的均值,说明场依赖性的被试更有可能产生抑郁倾向。
不同性别的主效应(F=0.894,sig=0.007<0.01),表示差异具有高统计学意义;又因为3.12<2.85,即男性的均值小于女性的均值,说明女性被试更可能产生抑郁倾向。
同时更进一步说明它们之间的相关性,本文计算了抑郁倾向与认知风格及性别的pearson相关系数r。r绝对值越大,表示相关性越强。即r为0.8-1.0表示极强相关;r为0.6-0.8表示强相关;r为0.4-0.6表示中度相关;r为0.2-0.4表示弱相关;r为0.0-0.2表示极弱相关。
公式(4)(5)中的N均为被试人数,i从1到100。抑郁倾向与认知风格的pearson相关系数r计算公式如下:
抑郁倾向与性别之间的pearson相关系数r计算公式如下:
经计算得,抑郁倾向与认知风格的r值为0.823,r为极强相关,说明抑郁倾向与认知风格之间存在显著相关;抑郁倾向与性别的r值为0.625,r为强相关,说明抑郁倾向与性别之间存在显著相关。
本发明的情绪自查表包括《伯恩斯抑郁状况自查表》、《状况自评表SCL 90》或《SDS抑郁自评量表》。
在上述实施例的基础上,本发明还提出了一种基于多模态特征的抑郁倾向测评系统,包括:
显示装置:用于给出不同情绪的面孔图像;
眼动数据采集装置:与显示装置相连,用于获取用户查看不同情绪面孔图像时的眼动数据;
记忆力测评装置:用于获取用户的记忆力测评数据;
认知风格测评装置:用于获取用户的认知风格指数;
以及上述的基于多模态特征的抑郁倾向测评装置,其中,眼动数据采集装置、记忆力测评装置、认知风格测评装置分别与抑郁倾向测评装置相连。
如图9所示,ROC图下面积可评价分类器识别能力,面积越大表示模型的准确率越高。本发明通过ROC图分析四阶随机森林模型各阶的准确率,其中ROC图的横轴为FPR,纵轴为TPR。
ROC图的准确率(简称ACC)计算过程如下:
第一步,样本分类会出现四种情况:(1)样本是抑郁倾向类并且被预测成抑郁倾向类,则为真正类(简称TP);(2)样本是抑郁倾向类被预测成正常类,则为假负类(简称FN);(3)样本是正常类被预测成抑郁倾向类,则为假正类(简称FP);(4)样本是正常类被预测成正常类则为真负类(简称TN)。样本分类情况如表5所示,其中1代表抑郁倾向类,0代表正常类。
第二步,TPR表示所有实际为抑郁倾向类样本中,被正确预测为抑郁倾向类的比率。
公式如6所示:
第三步,FPR表示所有实际为正常类样本中,被错误预测为抑郁倾向类的比率。
公式如7所示:
第四步,ACC计算公式如8所示:
第一阶的准确率为0.73,第二阶的准确率为0.81,第三阶的准确率为0.89,第四阶的准确率为0.92。结果分析:多特征按阶融入模型中,各阶的准确率不断提高,四阶随机森林模型最终的准确率为0.92。
本发明训练四阶随机森林模型(Fourth-order Random Forest)并进行预测,同时与9种模型从R平方(R-squared)、均方误差(简称MSE)、平均绝对误差(简称MAE)三个参数对比分析。同时,经实验验证采用几折交叉验证对实验结果几乎没有影响,所有模型均采用十折交叉验证。分析结果如图10所示。
以上所述仅为本申请的优选实施例而已,并不用于限制本申请,对于本领域的技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。

Claims (10)

1.一种基于多模态特征的抑郁倾向测评装置,其特征在于,包括:存储器、处理器以及存储在存储器上并在处理器上运行的计算机指令,所述计算机指令在处理器上运行时执行以下步骤:
接收样本用户查看不同情绪面孔图像时的眼动数据,其中样本用户的抑郁倾向为已知;
接收样本用户按照第一设定方法获取的记忆力测评数据,以及样本用户按照第二设定方法获取的认知风格指数;
基于所得到的眼动数据、记忆力测评数据以及认知风格指数提取样本用户的眼动-记忆力-认知风格融合特征集合;
根据所述融合特征集合训练分类模型,采用分类模型对测试用户进行抑郁倾向的测评。
2.根据权利要求1所述的装置,其特征在于,所述第一设定方式包括:
采用韦氏记忆量表获取样本用户的各项原始分,计算原始分的均值以及标准差,根据各项原始分、均值和标准差计算记忆熵,将记忆熵作为记忆力测评数据。
3.根据权利要求1所述的装置,其特征在于,所述第二设定方式为采用镶嵌图形测验法分析样本用户的认知风格,得到样本用户的认知风格指数。
4.根据权利要求3所述的装置,其特征在于,样本用户的认知风格指数通过以下方式获得:
分别提供简单图形和复杂图形,样本用户于设定时间内,在所述复杂图形中描绘出与简单图形相同的图形;
样本用户重复上述描绘操作,若成功则计得分;
统计样本用户图形测验的总分值,根据总分值得到平均值以及标准差;
利用所述总分值、平均值以及标准差获得样本用户的认知风格指数。
5.根据权利要求1所述的装置,其特征在于,基于所得到的眼动数据、记忆力测评数据以及认知风格指数提取样本用户的眼动-记忆力-认知风格融合特征包括:
将所述眼动数据分为原始眼动数据和基于原始眼动数据获取的眼动注视时间;
采用所述原始眼动数据、记忆力测评数据、认知风格指数和眼动注视时间作为四阶随机森林模型的输入,对特征重要属性进行排序,筛选满足特征重要属性设定要求的A个特征,得到眼动-记忆力-认知风格融合特征集合。
6.根据权利要求5所述的装置,其特征在于,还包括对眼动-记忆力-认知风格融合特征集合进行降维,得到B个眼动-记忆力-认知风格融合特征,其中B为小于A的正整数。
7.根据权利要求5所述的装置,其特征在于,还包括对所述眼动数据进行补缺,和/或删除其中的离群值。
8.根据权利要求5所述的装置,其特征在于,还包括采用眼动注视时间进行F检验和T检验,根据F检验和T检验的结果判断样本用户的抑郁倾向。
9.根据权利要求1所述的装置,其特征在于,还包括通过情绪自查表获取测试用户的抑郁倾向参数,用于评价所述抑郁倾向测评装置的有效性;其中,情绪自查表包括《伯恩斯抑郁状况自查表》、《状况自评表SCL 90》或《SDS抑郁自评量表》。
10.一种基于多模态特征的抑郁倾向测评系统,其特征在于,包括:
显示装置:用于给出不同情绪的面孔图像;
眼动数据采集装置:与显示装置相连,用于获取用户查看不同情绪面孔图像时的眼动数据;
记忆力测评装置:用于获取用户的记忆力测评数据;
认知风格测评装置:用于获取用户的认知风格指数;
以及权利要求1-9任一项所述的基于多模态特征的抑郁倾向测评装置,其中,眼动数据采集装置、记忆力测评装置、认知风格测评装置分别与抑郁倾向测评装置相连。
CN201711174677.7A 2017-11-22 2017-11-22 一种基于多模态特征的抑郁倾向测评装置、系统 Active CN107871537B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711174677.7A CN107871537B (zh) 2017-11-22 2017-11-22 一种基于多模态特征的抑郁倾向测评装置、系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711174677.7A CN107871537B (zh) 2017-11-22 2017-11-22 一种基于多模态特征的抑郁倾向测评装置、系统

Publications (2)

Publication Number Publication Date
CN107871537A true CN107871537A (zh) 2018-04-03
CN107871537B CN107871537B (zh) 2018-12-07

Family

ID=61754532

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711174677.7A Active CN107871537B (zh) 2017-11-22 2017-11-22 一种基于多模态特征的抑郁倾向测评装置、系统

Country Status (1)

Country Link
CN (1) CN107871537B (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109101883A (zh) * 2018-07-09 2018-12-28 山东师范大学 一种抑郁倾向评价装置及系统
CN109119167A (zh) * 2018-07-11 2019-01-01 山东师范大学 基于集成模型的脓毒症死亡率预测系统
CN109119161A (zh) * 2018-10-26 2019-01-01 首都医科大学附属北京安定医院 一种精神分裂症的诊断模型
CN109818961A (zh) * 2019-01-30 2019-05-28 广东工业大学 一种网络入侵检测方法、装置和设备
CN112331351A (zh) * 2020-11-03 2021-02-05 四川大学 集成眼动数据分析的抑郁症数据筛查方法及系统
CN112614583A (zh) * 2020-11-25 2021-04-06 平安医疗健康管理股份有限公司 抑郁等级测试系统
CN112674771A (zh) * 2020-12-22 2021-04-20 北京科技大学 基于图像注视差异的抑郁人群鉴别方法及装置
CN112836747A (zh) * 2021-02-02 2021-05-25 首都师范大学 眼动数据的离群处理方法及装置、计算机设备、存储介质
CN115299947A (zh) * 2022-09-06 2022-11-08 济南大学 基于多模态生理数据的心理量表置信度评估方法及系统
CN117257303A (zh) * 2023-11-21 2023-12-22 北京视友科技有限责任公司 一种焦虑检测方法、装置、电子设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104127193A (zh) * 2014-07-14 2014-11-05 华南理工大学 一种抑郁症程度量化的评估系统及其评估方法
US20140330089A1 (en) * 2013-05-03 2014-11-06 The Charles Stark Draper Laboratory, Inc. Physiological feature extraction and fusion to assist in the diagnosis of post-traumatic stress disorder
CN106236027A (zh) * 2016-08-23 2016-12-21 兰州大学 一种脑电与温度相结合的抑郁人群判定方法
CN106407733A (zh) * 2016-12-12 2017-02-15 兰州大学 基于虚拟现实场景脑电信号的抑郁症风险筛查系统和方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140330089A1 (en) * 2013-05-03 2014-11-06 The Charles Stark Draper Laboratory, Inc. Physiological feature extraction and fusion to assist in the diagnosis of post-traumatic stress disorder
CN104127193A (zh) * 2014-07-14 2014-11-05 华南理工大学 一种抑郁症程度量化的评估系统及其评估方法
CN106236027A (zh) * 2016-08-23 2016-12-21 兰州大学 一种脑电与温度相结合的抑郁人群判定方法
CN106407733A (zh) * 2016-12-12 2017-02-15 兰州大学 基于虚拟现实场景脑电信号的抑郁症风险筛查系统和方法

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109101883B (zh) * 2018-07-09 2021-11-09 山东师范大学 一种抑郁倾向评价装置及系统
CN109101883A (zh) * 2018-07-09 2018-12-28 山东师范大学 一种抑郁倾向评价装置及系统
CN109119167A (zh) * 2018-07-11 2019-01-01 山东师范大学 基于集成模型的脓毒症死亡率预测系统
CN109119161A (zh) * 2018-10-26 2019-01-01 首都医科大学附属北京安定医院 一种精神分裂症的诊断模型
CN109818961A (zh) * 2019-01-30 2019-05-28 广东工业大学 一种网络入侵检测方法、装置和设备
CN112331351A (zh) * 2020-11-03 2021-02-05 四川大学 集成眼动数据分析的抑郁症数据筛查方法及系统
CN112331351B (zh) * 2020-11-03 2023-03-31 四川大学 集成眼动数据分析的抑郁症数据筛查系统
CN112614583A (zh) * 2020-11-25 2021-04-06 平安医疗健康管理股份有限公司 抑郁等级测试系统
CN112674771A (zh) * 2020-12-22 2021-04-20 北京科技大学 基于图像注视差异的抑郁人群鉴别方法及装置
CN112836747A (zh) * 2021-02-02 2021-05-25 首都师范大学 眼动数据的离群处理方法及装置、计算机设备、存储介质
CN115299947A (zh) * 2022-09-06 2022-11-08 济南大学 基于多模态生理数据的心理量表置信度评估方法及系统
CN117257303A (zh) * 2023-11-21 2023-12-22 北京视友科技有限责任公司 一种焦虑检测方法、装置、电子设备及存储介质
CN117257303B (zh) * 2023-11-21 2024-02-06 北京视友科技有限责任公司 一种焦虑检测方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN107871537B (zh) 2018-12-07

Similar Documents

Publication Publication Date Title
CN107871537B (zh) 一种基于多模态特征的抑郁倾向测评装置、系统
Burke Rethinking ‘validity’and ‘trustworthiness’ in qualitative inquiry: How might we judge the quality of qualitative research in sport and exercise sciences?
Woodcock Extending Gf-Gc theory into practice
CN108052973B (zh) 基于多项眼动数据的地图符号用户兴趣分析方法
Zhang et al. The psychometric evaluation of a three-dimension elementary science attitude survey
Jiang et al. Using social cognitive career theory to predict the academic interests and goals of Chinese middle vocational-technical school students
CN110503635B (zh) 一种基于异构数据融合网络的手骨x光片骨龄评估方法
CN107456208A (zh) 多模式交互的言语语言功能障碍评估系统与方法
Yang Meta-analysis research and theory building
CN106021925A (zh) 一种基于文本情感分析的心理评测系统
Hurford et al. Examination of the variables that predict freshman retention
CN107705231A (zh) 一种计算机辅助的阅卷方法、装置及计算机可读存储介质
Gang Quality evaluation of English pronunciation based on artificial emotion recognition and Gaussian mixture model
Javidanmehr et al. Cognitive Diagnostic Assessment: Issues and Considerations.
Li Integration journey: The social mobility trajectory of ethnic minority groups in Britain
CN108090852A (zh) 基础教育中学情数据分析及自适应解决方案生成系统
Pelfrey Jr The relationship between malingerers’ intelligence and MMPI-2 knowledge and their ability to avoid detection
CN108962397B (zh) 一种基于笔和语音的协同任务神经系统疾病辅助诊断系统
CN109101883A (zh) 一种抑郁倾向评价装置及系统
Shono et al. Application of item response theory to tests of substance-related associative memory.
Lin et al. The House-Tree-Person test is not valid for the prediction of mental health: An empirical study using deep neural networks
Wing et al. The variability of cursive handwriting measure defined along a continuum: letter specificity
Čunek et al. Handwriting quality: Psychometric properties of two evaluation scales with a Czech sample
Wang et al. Fusional recognition for depressive tendency with multi-modal feature
French et al. A factor analysis of aptitude and achievement entrance tests and course grades at the United States Coast Guard Academy.

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant