CN113658697A - 一种基于视频注视差异的心理测评系统 - Google Patents

一种基于视频注视差异的心理测评系统 Download PDF

Info

Publication number
CN113658697A
CN113658697A CN202110865777.4A CN202110865777A CN113658697A CN 113658697 A CN113658697 A CN 113658697A CN 202110865777 A CN202110865777 A CN 202110865777A CN 113658697 A CN113658697 A CN 113658697A
Authority
CN
China
Prior art keywords
video
psychological
subject
data
eye movement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110865777.4A
Other languages
English (en)
Other versions
CN113658697B (zh
Inventor
马惠敏
詹琦
王荣全
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
University of Science and Technology Beijing USTB
Original Assignee
Tsinghua University
University of Science and Technology Beijing USTB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University, University of Science and Technology Beijing USTB filed Critical Tsinghua University
Priority to CN202110865777.4A priority Critical patent/CN113658697B/zh
Publication of CN113658697A publication Critical patent/CN113658697A/zh
Application granted granted Critical
Publication of CN113658697B publication Critical patent/CN113658697B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/163—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H15/00—ICT specially adapted for medical reports, e.g. generation or transmission thereof
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems

Abstract

本发明公开了一种基于视频注视差异的心理测评系统，包括：视频刺激模块，用于基于预设的视频库，向受试者提供多组视频自由观看任务；其中，每组视频分别包括至少一段正性情绪的视频和至少一段负性情绪的视频，当受试者进行视频自由观看任务时，属于同一组的正性情绪的视频和负性情绪的视频分别在同一画面的不同区域同时进行播放；数据采集模块，用于采集受试者进行视频自由观看任务时的眼动轨迹数据；数据分析处理模块，用于基于眼动轨迹数据对受试者的心理状态进行识别，并生成受试者的心理测评报告。本发明可高效、客观地量化评估受试者是否处于抑郁/焦虑等异常心理状态及严重程度。

Description

一种基于视频注视差异的心理测评系统
技术领域
本发明涉及心理测评技术领域，特别涉及一种基于视频注视差异的心理测评系统。
背景技术
当今患有心理健康问题的人越来越多，以抑郁症为例，根据WHO(World HealthOrganization，世界卫生组织)调查统计世界已有超过2.64亿人患有抑郁症，而每年有80万人因此而自杀。尽管现在已有一些方法可以治疗精神障碍，并且学校等机构都有提供公共的心理健康资源，但是仍有很多人没能有效利用这些资源，获得及时的治疗。究其原因，一方面是因为心理健康教育在社会仍然不够普及，很多人并没有意识到自己正处于抑郁/焦虑等异常心理状态，也没有意识到自己应该寻求帮助；另一方面，由于抑郁/焦虑症的成因和表现都很复杂，抑郁症患者经常不能得到准确的诊断，还有些非抑郁患者被误诊并开了抗抑郁的药物。
而现有的临床上对于抑郁症/焦虑症的评估方法，主要靠心理医生根据受测者的过往病史、临床症状以及自评量表(如SDS(Self-rating depression scale，抑郁自评量表)和SAS(Self-rating anxiety scale，焦虑自评量表))来综合进行判断其是否患有抑郁症/焦虑症，这种评估方法的问题在于耗时较长，获取成本高，并且极其依赖受测者的主观陈述和医生自身的主观因素。
发明内容
本发明提供了一种基于视频注视差异的心理测评系统，以解决现有评估方法耗时长，成本高，极其依赖受测者主观陈述和医生主观因素的技术问题。
为解决上述技术问题，本发明提供了如下技术方案：
一种基于视频注视差异的心理测评系统，其包括：
视频刺激模块，用于基于预设的视频库，向受试者提供多组视频自由观看任务；其中，每组视频分别包括至少一段正性情绪的视频和至少一段负性情绪的视频，当受试者进行视频自由观看任务时，属于同一组的正性情绪的视频和负性情绪的视频分别在同一画面的不同区域同时进行播放；
数据采集模块，用于采集受试者进行视频自由观看任务时的眼动轨迹数据；
数据分析处理模块，用于基于受试者的眼动轨迹数据，对受试者的心理状态进行识别，并根据受试者的心理状态识别结果生成受试者的心理测评报告。
进一步地，所述视频刺激模块为头戴式VR(Virtual Reality，虚拟现实技术)设备。
进一步地，所述数据采集模块为眼动仪，且所述眼动仪内嵌在VR设备中。
进一步地，当受试者进行视频自由观看任务时，相邻两组视频之间间隔预设时长播放。
进一步地，所述视频库的构建过程，包括：
通过对MMPI(Minnesota Multiphasic Per-sonality Inventory，明尼苏达多项人格测验)的题目进行归纳总结，提取出多个心理维度；其中，提取的心理维度为两层树状结构，所述树状结构中第一层为第一维度，第二层为第二维度；
收集不同情绪属性的视频片段，将视频片段映射到对应的心理维度；其中，所述情绪属性包括正性情绪和负性情绪；每个第二维度下至少包括场景相似度符合预设要求的正性情绪属性的视频和负性情绪属性的视频各一段；
将属于同一第二维度、场景相似度符合预设要求且不同情绪属性的多个视频片段进行拼接合成，处理为一个包括正性区域和负性区域的视频片段，并对拼接合成所得到的视频片段进行存储，以构建出所述视频库；其中，所述正性区域用于播放正性情绪的视频，所述负性区域用于播放负性情绪的视频。
进一步地，所述数据分析处理模块，包括：
数据管理单元，用于管理所述VR设备的连接状态、受试者的个人信息以及受试者在进行视频自由观看任务时的眼动轨迹数据，并供用户查看测评报告；
数据分析单元，用于基于眼动轨迹数据，对受试者的心理状态进行识别；
结果输出单元，用于根据心理状态识别结果生成受试者的心理测评报告。
进一步地，所述数据分析单元具体用于：
对受试者的眼动轨迹数据进行数据预处理；其中，所述数据预处理过程包括：时间插值填补缺失值、限定阈值过滤异常点以及坐标平滑去除噪声；
对预处理后的眼动轨迹数据进行注视点检测，得到注视点数据；
从所述注视点数据中提取多个视觉认知特征；其中，所述视觉认知特征包括正性情绪的视频注视时长比例、注意转移次数、正性情绪的视频注视点个数、负性情绪的视频注视点个数、正性情绪的视频平均凝视时长和负性情绪的视频平均凝视时长；
计算每一视觉认知特征在各心理维度下的聚合值，生成候选特征数据；
使用统计学的显著性检验和机器学习模型的特征重要性，在所述候选特征数据中选择统计结果显著性大于预设显著性阈值或模型重要性大于预设重要性阈值的特征数据，并计算所选择出的特征数据之间的相关性，过滤掉线性相关性大于预设相关性阈值的特征数据，将最终筛选出的特征数据作为分类特征；
根据所述分类特征，通过预设的机器学习模型得到受试者处于异常心理状态的概率，对所述机器学习模型的输出结果进行概率校准，并映射为百分制的心理测评分数，以实现受试者心理状态的量化评估。
进一步地，所述机器学习模型为随机森林、XGBoost(eXtreme GradientBoosting，极端梯度提升)、SVM(support vector machines，支持向量机)或逻辑回归模型。
进一步地，所述结果输出单元具体用于：
根据所述数据分析单元的输出结果，生成受试者对应的可交互的电子版心理测评报告，并以可视化的方式显示所述心理测评报告。
进一步地，所述心理测评报告包括眼动数据质量评估、检测结果、敏感维度和综合建议；
所述眼动数据质量评估为受试者观看各组视频的眼动轨迹与数据缺失情况；
所述检测结果为受试者的心理测评分数和敏感维度；
所述敏感维度的计算过程，包括：
针对每一视觉认知特征，分别计算受试者与正常人所对应的视觉认知特征取值之间的差异δ1；其中，所述正常人为心理状况无异常的人，δ1的计算公式为：
δ1＝|X1受试者-X1正常人常模|/X1正常人常模
式中，X1受试者和X1正常人常模分别表示针对同一个视觉认知特征，受试者和正常人所对应的在所有视频下的视觉认知特征取值的全局中位数；
取δ1最大的三个视觉认知特征作为敏感特征；
针对每一敏感特征，分别计算在各组视频中受试者与正常人所对应的敏感特征取值之间的差异δ2，计算公式为：
δ2＝|X2受试者-X2正常人常模|/X2正常人常模
式中，X2受试者和X2正常人常模分别表示对于同一个敏感特征，在同一组视频下，受试者和正常人所对应的敏感特征取值；
取δ2最大的一组视频作为敏感视频，将所述敏感视频所属的心理维度作为相应的敏感特征所对应的敏感维度；
其中，所述敏感视频均叠加了相应受试者的眼动轨迹；
所述综合建议为根据受试者的心理测评分数所处的区间，按照预设的映射关系进行映射，显示对应的就诊建议；其中，不同分数段对应不同的就诊建议。
本发明提供的技术方案带来的有益效果至少包括：
本发明提供的基于视频注视差异的心理测评系统，可以克服现有心理评估方法的不足，实现高效、客观且易于获取的心理状态评估，量化评估受测者是否处于抑郁/焦虑等异常心理状态及严重程度，可供学校、民航等机构作为大规模异常心理状态人群筛查所使用，实现抑郁/焦虑等精神障碍的早期发现。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的基于视频注视差异的心理测评系统的结构框图；
图2为本发明实施例提供的从MMPI中提取的心理维度示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。
首先，需要说明的是，过往的大量研究证明抑郁/焦虑人群和正常人群的注意模式存在差异，具体表现为抑郁/焦虑人群相比与正常人群会更容易关注到负性的视觉刺激，并且难以从负性刺激中转移注意力，该现象可以总结为抑郁/焦虑人群的负性注意偏向。眼动信号是可以客观反映视觉注意模式的一种有效生理信号，因此可以通过采集受试者在注视特定视觉刺激下产生的眼动信号，判断其是否处于异常心理状态之下。
基于上述，针对现有方法耗时长，成本高，依赖受测者主观陈述和医生主观因素的问题，本实施例提供了一种基于视频注视差异的心理测评系统，该系统可识别受试者所处的心理状态，是否存在抑郁/焦虑等倾向及抑郁/焦虑的程度，并以报告的形式输出测评结果。如图1所示，其包括以下功能模块：
视频刺激模块，用于基于预设的视频库，向受试者提供多组视频自由观看任务；其中，每组视频分别包括至少一段正性情绪的视频和至少一段负性情绪的视频，当受试者进行视频自由观看任务时，属于同一组的正性情绪的视频和负性情绪的视频分别在同一画面的不同区域同时进行播放；
数据采集模块，用于采集受试者进行视频自由观看任务时的眼动轨迹数据；
数据分析处理模块，用于基于受试者的眼动轨迹数据，对受试者的心理状态进行识别，并根据受试者的心理状态识别结果生成受试者的心理测评报告。
进一步地，本实施例中的视频刺激模块为头戴式VR(Virtual Reality，虚拟现实技术)设备。基于此，本实施例搭建了一个具有沉浸感和交互性的VR平台，目的是为了增加受试者的沉浸感，从而提高其对于情绪视觉刺激的感知程度；同时头戴式VR设备具有轻量化的优势，因此可以作为大规模人群筛查使用。
而且相比于使用图像作为视觉刺激，研究正常和抑郁人群在不同情绪属性的图像刺激下的视觉注意模式差异的方式，本实施例的基于视频注视差异的心理测评系统引入视频作为视觉刺激，并构建了基于MMPI的情绪视频库。相比于静态的图像，动态的视频可引入更丰富的时空信息，且具有情节性的视频更加贴近现实生活场景，因此可模拟更真实和完整的视觉认知过程。
所述数据采集模块为眼动仪，且所述眼动仪内嵌在VR设备中，用于实时采集受试者在VR场景中进行视频自由观看任务时的眼动轨迹数据。
进一步地，本实施例的VR平台通过Unity(开发引擎)实现，其包括3个场景，场景1为初始场景，受试者和场景交互完成眼动校准并填写个人信息(性别、年龄等)；场景2为实验场景(室内影院/露天影院场景)，受试者在影院场景下按照提示进行视频自由观看任务，影院场景可提高受试者的沉浸感和专注度，眼动仪采集受试者实验全过程的眼动数据，实验完成后在联网状态下该数据会通过网络传输到电脑端的数据分析处理模块；场景3为测评报告场景，受试者可以和该场景的测评报告交互，查看实验结果，该场景仅包括基础版的测评报告，完整测评报告需在数据分析处理模块中查看。受试者在报告阅读完毕后即可退出程序。
进一步地，所述视频库的构建过程，包括：
通过对MMPI(Minnesota Multiphasic Per-sonality Inventory，明尼苏达多项人格测验)的题目进行归纳总结，提取出多个心理维度；其中，如图2所示，提取的心理维度为两层树状结构，所述树状结构中第一层为第一维度，该维度为大维度，第二层为第二维度，该维度为大维度下的细分维度；
本实施例共提取了4项大维度和18项细分维度，具体为：
第一维度包括：个人特质、社会功能、身体状况以及心理状况；
个人特质下的第二维度包括：生活习惯、男/女性气质以及智识兴趣；
社会功能下的第二维度包括社会适应和价值判断；其中，社会适应下包括学习、工作以及社会交往：价值判断下包括社会态度和政治/法律态度；
身体状况下的第二维度包括：饮食、睡眠、健康以及身材焦虑；
心理状况下的第二维度包括：抑郁情绪、焦虑/躁狂/敌对情绪、恐惧情绪、疑病、自杀倾向以及精神病性倾向。
收集不同情绪属性的视频片段，将视频片段映射到对应的心理维度；其中，所述情绪属性包括正性情绪和负性情绪；每个第二维度下至少包括场景相似度符合预设要求(也即常规意义上的类似场景)的正性情绪属性的视频和负性情绪属性的视频各一段；视频来源为各大开源视频素材网站或自己拍摄，时间长度为5-15秒。使用t-检验方法验证视频选择的合理性。
将属于同一第二维度、场景相似度符合预设要求且不同情绪属性的多个视频片段进行拼接合成，处理为一个包括正性区域和负性区域的视频片段，并对拼接合成所得到的视频片段进行存储，以构建出所述视频库；其中，所述正性区域用于播放正性情绪的视频，所述负性区域用于播放负性情绪的视频。
该视频库可作为认知行为实验的刺激材料，用于鉴别不同心理状态的人群。基于构建的视频库，本实施例设计了一种基于视频注视差异的自由观看实验范式，该范式可用于鉴别正常人群和抑郁/焦虑人群，具体方法为：屏幕上同时呈现正性和负性情绪的视频刺激各一段，两视频属于同一心理维度，在情绪属性上形成对比，要求受试者按照自己的兴趣来自由观看，利用眼动仪记录受试者实验全过程的眼动轨迹，用于后续的特征提取与分析。表1为实验中使用的视频刺激材料列表，该自由观看实验范式所依据的心理学假设为抑郁/焦虑人群的负性注意偏向，即同时呈现多种不同情绪的视觉刺激(图像、视频等)时，相比于正常人群，抑郁/焦虑人群会将更多的注意分配给负性刺激。该注意模式差异会反映在眼动数据上，通过统计正性和负性区域的注视时长比例等高阶认知特征，以此区分正常人群和抑郁/焦虑人群。
表1实验使用的视频刺激材料
Figure BDA0003187290340000071
Figure BDA0003187290340000081
由上可见，本实施例共构建了30组视频自由观看任务，其中，每组任务包含一组由正性和负性区域组成的视频，每组视频时长5-15秒，总播放时长约5分钟，受试者进行视频自由观看任务的具体流程如下：
实验指导阶段：
实验开始前，受试者阅读实验指导语，提示接下来屏幕会播放30组视频，要求受试者按照自己的兴趣自由观看，实验过程需要保持注意力的集。
进度提示阶段：
每组视频开始播放前，屏幕中央出现当前实验进度提示。
视频播放阶段：
屏幕呈现由同一心理维度下的一段正性和一段负性视频材料拼接在一起的一组视频，视频播放过程中记录受试者的眼动轨迹数据。
黑屏阶段：
视频播放结束，屏幕呈黑屏状态3秒，以消除该组视频对下组视频的影响。
进一步地，所述数据分析处理模块通过Unity实现，其包括：
数据管理单元，用于管理VR设备的连接状态、受试者的个人信息以及受试者在进行视频自由观看任务时的眼动轨迹数据，并供用户查看测评报告；其中，
设备连接管理：VR设备通过局域网连接到电脑端的数据管理单元，数据管理单元控制并显示VR设备的连接状态，可以同时连接多台VR设备进行测试，并且可以更新每台设备上的受试者信息(姓名、年龄、性别)；
受试者数据管理：实验完成后，数据从VR设备传输到电脑端指定路径下，在数据管理单元可以看到相应的数据情况(受试者信息、实验完成时间等)，并且可以选择查看每名受试者的测评报告；
报告查看：在数据管理单元中选择查看报告，系统调用Python服务完成数据预处理、特征提取、机器学习算法输出测评结果的工作，测评报告模块可显示该受试者的测评分数，并提供完整版电子报告的URL链接。
数据分析单元，用于基于眼动轨迹数据，对受试者的心理状态进行识别；
结果输出单元，用于根据心理状态识别结果生成受试者的心理测评报告。
进一步地，所述数据分析单元对眼动轨迹数据进行预处理和注视点检测，并提取高阶视觉认知特征，通过可解释的机器学习模型完成对受试者心理状态的识别(是否处于潜在抑郁/焦虑状态以及抑郁/焦虑程度)，具体流程为：
预处理：对受试者的原始眼动轨迹数据进行数据预处理；其中，原始眼动轨迹数据的数据格式为(t,x,y)，其中，t为采样时刻，采样频率可以选择为30/60/90Hz，x,y为眼动轨迹点的x和y坐标；所述数据预处理过程包括：时间插值填补缺失值、限定阈值过滤异常点以及坐标平滑去除噪声，
注视点检测：对预处理后的眼动轨迹数据进行注视点检测，得到注视点数据；其中，注视点数据的数据格式为(tstart,tend,tduration,x,y,r)，其中，tstart和tend为注视点的开始和结束时刻，tduration为注视点的持续时长，x和y为注视点中心的坐标，r为注视点半径；注视点可使用I-DT或I-VT等检测算法，需设置注视点的最大半径和最小持续时长。形成注视点是视觉认知加工的必要条件，后续所有的高阶视觉认知特征都基于注视点数据提取。
特征提取：从所述注视点数据中提取多个高阶视觉认知特征，包括6个核心特征：正性情绪的视频注视时长比例、注意转移次数、正性情绪的视频注视点个数、负性情绪的视频注视点个数、正性情绪的视频平均凝视时长和负性情绪的视频平均凝视时长；表2为各特征的含义和计算方法。
表2核心视觉认知特征含义和计算方法
Figure BDA0003187290340000091
Figure BDA0003187290340000101
计算每一视觉认知特征在各心理维度(大维度-细分维度)下的聚合值，生成机器学习模型的候选特征数据；候选特征的命名格式为核心认知特征_大维度_细分维度，如正性注视比例_社会功能_社会交往。
特征选择：使用统计学的显著性检验(如F-检验、卡方检验等)和机器学习模型的特征重要性，在所述候选特征数据中选择统计结果显著性大于预设显著性阈值(统计结果显著)或模型重要性大于预设重要性阈值(模型重要性较高)的特征数据，并计算所选择出的特征数据之间的相关性，过滤掉线性相关性大于预设相关性阈值(高线性相关)的特征数据，将最终筛选出的特征数据作为分类特征；作为后续机器学习模型的输入。
根据所述分类特征，通过预设的机器学习模型得到受试者处于异常心理状态的概率，对所述机器学习模型的输出结果进行概率校准，并映射为百分制的心理测评分数，以实现受试者心理状态的量化评估。
其中，所述机器学习模型可以选择随机森林、XGBoost(eXtreme GradientBoosting，极端梯度提升)、SVM(support vector machines，支持向量机)或LogisticRegression(逻辑回归)等模型的一种或多种组合，考虑到数据集特点与任务对于可解释性的要求，本实施例使用的是随机森林、XGBoost这类基于决策树的模型。模型输出结果为该受试者处于抑郁/焦虑状态的概率，对结果使用基于Platt的Sigmoid模型的参数化方法进行概率校准，并映射为百分制的心理测评分数，即可实现心理状态的量化评估(是否处于抑郁/焦虑等异常心理状态以及严重程度)，其中，心理测评分数为60分以上为心理状况正常，心理测评分数为60分以下为心理状况异常，且心理测评分数越低程度越趋于严重。
本实施例采集的样本数量为112(正常人群62+抑郁人群50)，在该数据集下模型五折交叉验证的平均准确率为81.2％，召回率为75％，精确度为83.3％，AUC为0.877。
进一步地，本实施例使用SHAP模型解释方法从整体和个体两个角度对模型的合理性进行评估，整体上可得到各特征的特征重要性排序，以及模型预测结果随该特征变化的趋势，特征变化趋势均与对应心理学假设一致，证明模型训练的合理性；个体上可对每名受试者样本单独进行分析，得到该样本的关键特征，该结果可作为测评报告内容的一部分，同时可用于模型的错误样例分析。
进一步地，所述结果输出单元具体用于依据数据分析单元的输出结果，辅助可视化手段，为每名受试者生成一份个性化可交互的电子版测评报告，具体内容包括眼动数据质量评估、检测结果、敏感维度与综合建议等。报告借助Voilà实现，点击各数据界面右上方的问号可以查看详细信息。各部分具体说明如下：
眼动数据质量评估：该部分可视化受试者观看各组视频的眼动轨迹与数据缺失情况，眼动数据质量过低会影响测评结果的可信度；
检测结果：该部分包括机器学习模型输出的心理测评分数以及使用SHAP方法输出的敏感特征，各分数区间对应不同程度的心理异常程度，分数与心理异常程度的对应关系类似PHQ-9(Patient Health Questionnaire-9，病人健康问卷抑郁量表)中的定义；
所述敏感维度的计算方式为：通过计算受试者对应的视觉认知特征取值与正常人常模差异的绝对值，并统一量纲，取计算结果最大的三个视觉认知特征作为敏感特征，按照类似方法计算各组视频在该特征下的取值与正常人常模的差异，差异最大的视频即为敏感视频，敏感视频所属的心理维度即为该敏感特征对应的敏感心理维度；具体实现流程如下：
针对每一视觉认知特征，分别计算受试者与正常人所对应的视觉认知特征取值之间的差异δ1；其中，所述正常人为心理状况无异常的人，δ1的计算公式为：
δ1＝|X1受试者-X1正常人常模|/X1正常人常模
式中，X1受试者和X1正常人常模分别表示针对同一个视觉认知特征，受试者和正常人所对应的在所有视频下的视觉认知特征取值的全局中位数；
取δ1最大的三个视觉认知特征作为敏感特征；
针对每一敏感特征，分别计算在各组视频中受试者与正常人所对应的敏感特征取值之间的差异δ2，计算公式为：
δ2＝|X2受试者-X2正常人常模|/X2正常人常模
式中，X2受试者和X2正常人常模分别表示对于同一个敏感特征，在同一组视频下，受试者和正常人所对应的敏感特征取值；
取δ2最大的一组视频作为敏感视频，将所述敏感视频所属的心理维度作为相应的敏感特征所对应的敏感维度；
报告中展示的敏感视频均使用OpenCV(跨平台计算机视觉和机器学习软件库)叠加了相应受试者的眼动轨迹；
综合建议：该部分根据受试者心理测评分数所处的区间，按照预设的映射关系进行映射，显示对应的就诊建议；其中，不同分数段对应不同的就诊建议。
综上，本实施例构建了基于MMPI心理量表的情绪视频库，作为认知行为实验的刺激材料，用于鉴别不同心理状态的人群。基于构建的视频库，本实施例设计了一种基于视频注视差异的自由观看实验范式，该自由观看实验范式的理论基础为抑郁/焦虑人群的负性注意偏向这一心理学假设，可用于鉴别心理状态正常人群和异常(抑郁/焦虑)人群，具体方法为：在VR场景中，屏幕上同时呈现正性和负性情绪的视频刺激，两视频属于同一心理维度，在情绪属性上形成对比，要求受试者按照自己的兴趣来自由观看，利用眼动仪记录受试者全过程的眼动轨迹，通过对眼动轨迹数据进行预处理和注视点检测，并提取高阶认知特征，利用可解释的机器学习模型完成对受试者心理状态的识别(是否处于抑郁/焦虑状态以及抑郁/焦虑程度)；并且依据受试者心理状态的识别结果，辅助可视化手段，为每名受试者生成一份个性化可交互的电子版测评报告。
本实施例的基于视频注视差异的心理测评系统的创新性可总结如下：
1、首次构建了基于MMPI的情绪视频库，提出了基于注意偏向理论的视频自由观看实验范式；
2、在轻量级VR设备上搭建了一套具有沉浸感和交互性的心理测评系统，可实现多台设备同时进行测试；
3、提出了一个基于眼动信号的抑郁/焦虑状态评估方法，相较于传统意义上的黑箱机器学习模型，本实施例所设计的模型具有可解释性。
此外，需要说明的是，本发明可提供为方法、装置或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质上实施的计算机程序产品的形式。
本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
最后需要说明的是，以上所述是本发明优选实施方式，应当指出，尽管已描述了本发明优选实施例，但对于本技术领域的技术人员来说，一旦得知了本发明的基本创造性概念，在不脱离本发明所述原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。

Claims (10)

1.一种基于视频注视差异的心理测评系统，其特征在于，包括：
视频刺激模块，用于基于预设的视频库，向受试者提供多组视频自由观看任务；其中，每组视频分别包括至少一段正性情绪的视频和至少一段负性情绪的视频，当受试者进行视频自由观看任务时，属于同一组的正性情绪的视频和负性情绪的视频分别在同一画面的不同区域同时进行播放；
数据采集模块，用于采集受试者进行视频自由观看任务时的眼动轨迹数据；
数据分析处理模块，用于基于受试者的眼动轨迹数据，对受试者的心理状态进行识别，并根据受试者的心理状态识别结果生成受试者的心理测评报告。
2.如权利要求1所述的基于视频注视差异的心理测评系统，其特征在于，所述视频刺激模块为头戴式VR(Virtual Reality，虚拟现实技术)设备。
3.如权利要求2所述的基于视频注视差异的心理测评系统，其特征在于，所述数据采集模块为眼动仪，且所述眼动仪内嵌在所述VR设备中。
4.如权利要求1所述的基于视频注视差异的心理测评系统，其特征在于，当受试者进行视频自由观看任务时，相邻两组视频之间间隔预设时长播放。
5.如权利要求2所述的基于视频注视差异的心理测评系统，其特征在于，所述视频库的构建过程，包括：
通过对MMPI(Minnesota Multiphasic Per-sonality Inventory，明尼苏达多项人格测验)的题目进行归纳总结，提取出多个心理维度；其中，提取的心理维度为两层树状结构，所述树状结构中第一层为第一维度，第二层为第二维度；
收集不同情绪属性的视频片段，将视频片段映射到对应的心理维度；其中，所述情绪属性包括正性情绪和负性情绪；每个第二维度下至少包括场景相似度符合预设要求的正性情绪属性的视频和负性情绪属性的视频各一段；
将属于同一第二维度、场景相似度符合预设要求且不同情绪属性的多个视频片段进行拼接合成，处理为一个包括正性区域和负性区域的视频片段，并对拼接合成所得到的视频片段进行存储，以构建出所述视频库；其中，所述正性区域用于播放正性情绪的视频，所述负性区域用于播放负性情绪的视频。
6.如权利要求5所述的基于视频注视差异的心理测评系统，其特征在于，所述数据分析处理模块，包括：
数据管理单元，用于管理所述VR设备的连接状态、受试者的个人信息以及受试者在进行视频自由观看任务时的眼动轨迹数据，并供用户查看测评报告；
数据分析单元，用于基于眼动轨迹数据，对受试者的心理状态进行识别；
结果输出单元，用于根据心理状态识别结果生成受试者的心理测评报告。
7.如权利要求6所述的基于视频注视差异的心理测评系统，其特征在于，所述数据分析单元具体用于：
对受试者的眼动轨迹数据进行数据预处理；其中，所述数据预处理过程包括：时间插值填补缺失值、限定阈值过滤异常点以及坐标平滑去除噪声；
对预处理后的眼动轨迹数据进行注视点检测，得到注视点数据；
从所述注视点数据中提取多个视觉认知特征；其中，所述视觉认知特征包括正性情绪的视频注视时长比例、注意转移次数、正性情绪的视频注视点个数、负性情绪的视频注视点个数、正性情绪的视频平均凝视时长和负性情绪的视频平均凝视时长；
计算每一视觉认知特征在各心理维度下的聚合值，生成候选特征数据；
使用统计学的显著性检验和机器学习模型的特征重要性，在所述候选特征数据中选择统计结果显著性大于预设显著性阈值或模型重要性大于预设重要性阈值的特征数据，并计算所选择出的特征数据之间的相关性，过滤掉线性相关性大于预设相关性阈值的特征数据，将最终筛选出的特征数据作为分类特征；
根据所述分类特征，通过预设的机器学习模型得到受试者处于异常心理状态的概率，对所述机器学习模型的输出结果进行概率校准，并映射为百分制的心理测评分数，以实现受试者心理状态的量化评估。
8.如权利要求7所述的基于视频注视差异的心理测评系统，其特征在于，所述机器学习模型为随机森林、XGBoost(eXtreme Gradient Boosting，极端梯度提升)、SVM(supportvector machines，支持向量机)或逻辑回归模型。
9.如权利要求所述6的基于视频注视差异的心理测评系统，其特征在于，所述结果输出单元具体用于：
根据所述数据分析单元的输出结果，生成受试者对应的可交互的电子版心理测评报告，并以可视化的方式显示所述心理测评报告。
10.如权利要求所述9的基于视频注视差异的心理测评系统，其特征在于，所述心理测评报告包括眼动数据质量评估、检测结果、敏感维度和综合建议；
所述眼动数据质量评估为受试者观看各组视频的眼动轨迹与数据缺失情况；
所述检测结果为受试者的心理测评分数和敏感维度；
所述敏感维度的计算过程，包括：
针对每一视觉认知特征，分别计算受试者与正常人所对应的视觉认知特征取值之间的差异δ1；其中，所述正常人为心理状况无异常的人，δ1的计算公式为：
δ1＝|X1受试者-X1正常天常模|/X1正常人常模
式中，X1受试者和X1正常人常模分别表示针对同一个视觉认知特征，受试者和正常人所对应的在所有视频下的视觉认知特征取值的全局中位数；
取δ1最大的三个视觉认知特征作为敏感特征；
针对每一敏感特征，分别计算在各组视频中受试者与正常人所对应的敏感特征取值之间的差异δ2，计算公式为：
δ2＝|X2受试者-X2正常人常模|/X2正常人常模
式中，X2受试者和X2正常人常模分别表示对于同一个敏感特征，在同一组视频下，受试者和正常人所对应的敏感特征取值；
取δ2最大的一组视频作为敏感视频，将所述敏感视频所属的心理维度作为相应的敏感特征所对应的敏感维度；
其中，所述敏感视频均叠加了相应受试者的眼动轨迹；
所述综合建议为根据受试者的心理测评分数所处的区间，按照预设的映射关系进行映射，显示对应的就诊建议；其中，不同分数段对应不同的就诊建议。
CN202110865777.4A 2021-07-29 2021-07-29 一种基于视频注视差异的心理测评系统 Active CN113658697B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110865777.4A CN113658697B (zh) 2021-07-29 2021-07-29 一种基于视频注视差异的心理测评系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110865777.4A CN113658697B (zh) 2021-07-29 2021-07-29 一种基于视频注视差异的心理测评系统

Publications (2)

Publication Number Publication Date
CN113658697A true CN113658697A (zh) 2021-11-16
CN113658697B CN113658697B (zh) 2023-01-31

Family

ID=78478988

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110865777.4A Active CN113658697B (zh) 2021-07-29 2021-07-29 一种基于视频注视差异的心理测评系统

Country Status (1)

Country Link
CN (1) CN113658697B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114209324A (zh) * 2022-02-21 2022-03-22 北京科技大学 基于图像视觉认知的心理测评数据获取方法及vr系统
CN115359914A (zh) * 2022-08-26 2022-11-18 山东心法科技有限公司 基于量化描述向量的心理状态区分方法、设备及介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103268428A (zh) * 2013-06-05 2013-08-28 清华大学 基于mmpi心理量表的图像库及其构建方法
CN105559802A (zh) * 2015-07-29 2016-05-11 北京工业大学 一种基于注意和情感信息融合的抑郁症诊断系统及方法
CN111012367A (zh) * 2019-12-27 2020-04-17 华中师范大学 一种精神疾病的智能识别系统
CN211633236U (zh) * 2019-12-03 2020-10-09 秦泽宇 一种vr设备
CN111933275A (zh) * 2020-07-17 2020-11-13 兰州大学 一种基于眼动与面部表情的抑郁评估系统
CN112259237A (zh) * 2020-10-13 2021-01-22 阿呆科技（北京）有限公司 基于多情感刺激和多级分类模型的抑郁评估系统
CN112674770A (zh) * 2020-12-22 2021-04-20 北京科技大学 基于图像的显著性差异和情绪分析的抑郁人群眼动鉴别方法
CN112674771A (zh) * 2020-12-22 2021-04-20 北京科技大学 基于图像注视差异的抑郁人群鉴别方法及装置
CN112890815A (zh) * 2019-12-04 2021-06-04 中国科学院深圳先进技术研究院 一种基于深度学习的孤独症辅助评估系统和方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103268428A (zh) * 2013-06-05 2013-08-28 清华大学 基于mmpi心理量表的图像库及其构建方法
CN105559802A (zh) * 2015-07-29 2016-05-11 北京工业大学 一种基于注意和情感信息融合的抑郁症诊断系统及方法
CN211633236U (zh) * 2019-12-03 2020-10-09 秦泽宇 一种vr设备
CN112890815A (zh) * 2019-12-04 2021-06-04 中国科学院深圳先进技术研究院 一种基于深度学习的孤独症辅助评估系统和方法
CN111012367A (zh) * 2019-12-27 2020-04-17 华中师范大学 一种精神疾病的智能识别系统
CN111933275A (zh) * 2020-07-17 2020-11-13 兰州大学 一种基于眼动与面部表情的抑郁评估系统
CN112259237A (zh) * 2020-10-13 2021-01-22 阿呆科技（北京）有限公司 基于多情感刺激和多级分类模型的抑郁评估系统
CN112674770A (zh) * 2020-12-22 2021-04-20 北京科技大学 基于图像的显著性差异和情绪分析的抑郁人群眼动鉴别方法
CN112674771A (zh) * 2020-12-22 2021-04-20 北京科技大学 基于图像注视差异的抑郁人群鉴别方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
RUIZHE SHEN ET AL: "Depression Detection by Analysing Eye Movements on Emotional Images", 《2021 IEEE INTERNATIONAL CONFERENCE ON ACOUSTICS, SPEECH AND SIGNAL PROCESSING (ICASSP)》 *
ZEYU PAN ET AL: "Depression Detection Based on Reaction Time and Eye Movement", 《2019 IEEE INTERNATIONAL CONFERENCE ON IMAGE PROCESSING (ICIP)》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114209324A (zh) * 2022-02-21 2022-03-22 北京科技大学 基于图像视觉认知的心理测评数据获取方法及vr系统
CN115359914A (zh) * 2022-08-26 2022-11-18 山东心法科技有限公司 基于量化描述向量的心理状态区分方法、设备及介质

Also Published As

Publication number Publication date
CN113658697B (zh) 2023-01-31

Similar Documents

Publication Publication Date Title
US10984674B2 (en) System and method to teach and evaluate image grading performance using prior learned expert knowledge base
Scherer et al. Self-reported symptoms of depression and PTSD are associated with reduced vowel space in screening interviews
Victor et al. Detecting depression using a framework combining deep multimodal neural networks with a purpose-built automated evaluation.
Bombari et al. Emotion recognition: The role of featural and configural face information
CN110570941B (zh) 一种基于文本语义向量模型评估心理状态的系统和装置
CN113658697B (zh) 一种基于视频注视差异的心理测评系统
CN114209324B (zh) 基于图像视觉认知的心理测评数据获取方法及vr系统
Pacheco-Lorenzo et al. Smart conversational agents for the detection of neuropsychiatric disorders: A systematic review
US20200251217A1 (en) Diagnosis Method Using Image Based Machine Learning Analysis of Handwriting
Drimalla et al. Detecting autism by analyzing a simulated social interaction
CN114327077B (zh) 一种基于眼动跟踪的学习者感知能力水平分析方法及装置
Javed et al. Artificial intelligence for cognitive health assessment: State-of-the-art, open challenges and future directions
Nugrahaningsih et al. Assessing learning styles through eye tracking for e-learning applications
Kong et al. Automatic identification of depression using facial images with deep convolutional neural network
CN114969557A (zh) 一种基于多来源信息融合的宣教推送方法和系统
CN112890815A (zh) 一种基于深度学习的孤独症辅助评估系统和方法
CN112674770B (zh) 基于图像的显著性差异和情绪分析的抑郁人群眼动鉴别方法
US20210312942A1 (en) System, method, and computer program for cognitive training
Alberdi et al. Applying Cognitive Theories & Methods to the Design of Computerised Medical Decision Support
Abdeljaber Detecting autistic traits using computational intelligence & machine learning techniques
CN115497621A (zh) 一种老年人认知状况测评系统
Wang et al. Fusional recognition for depressive tendency with multi-modal feature
Cowen et al. Facial movements have over twenty dimensions of perceived meaning that are only partially captured with traditional methods
CN115607159B (zh) 基于眼动序列时空特征分析的抑郁状态鉴别方法及装置
Soygaonkar et al. A Survey: Strategies for detection of Autism Syndrome Disorder

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant