CN114209324A - 基于图像视觉认知的心理测评数据获取方法及vr系统 - Google Patents

Abstract

本发明提供了一种基于图像视觉认知的心理状态数据分析方法及VR系统，涉及心理评估系统技术领域。包括：实验范式呈现模块向测试者呈现测试图像；VR端数据采集模块采集测试者的原始眼动数据和瞳孔数据；心理状态数据分析模块将VR端数据采集模块采集到的原始眼动数据和瞳孔数据分别进行预处理和分析；多终端PC管理模块对实验范式呈现模块、VR端数据采集模块以及心理状态数据分析模块进行管控。本发明提出基于注意偏向理论和瞳孔反应理论的图像自由观看范式和任务驱动范式；在轻量级VR设备上搭建了具有沉浸感和交互性的基于图像的心理测评系统，实现多台设备同时进行测试。

Description

基于图像视觉认知的心理测评数据获取方法及VR系统

技术领域

本发明涉及心理评估系统技术领域，特别是指一种基于图像视觉认知的心理状态数据分析方法及VR系统。

背景技术

近年来，随着注意偏向理论以及瞳孔反应理论的发展，眼动追踪已经被证明是研究抑郁症的重要技术方法。注意偏向理论指出，抑郁人群要比正常人群对于负性刺激拥有更大的注意偏向。瞳孔反应理论指出，抑郁人群在光刺激以及情绪刺激任务下比正常人具有更大的瞳孔扩张程度和扩张时间。随着眼动仪的发明给通过眼动追踪来研究抑郁提供了工具，眼动仪可以获取测试者实验时的注视方向、注视轨迹坐标和瞳孔直径等信息，这些生理信息可以客观准确地反应出测试者的心理状态，从而评估其眼动状态是否异常。

现有技术中，眼动数据常常因成因复杂而难以被准确获取，并且传统的心理状态评估方法依赖结构化量表，其准确性会因测试者刻意隐瞒而不易被发现，另一方面也可能会存在一些主观偏差，同时耗时长，需要大量人力物力资源。

因此，亟需实现一种客观、准确、便携的眼动状态数据获取方法和系统来量化评估测试者的状态。

发明内容

针对现有技术中传统测评方法存在主观偏差，同时耗时长，需要大量医疗资源的问题，本发明提出了一种基于图像视觉认知的心理状态数据分析方法及VR系统。

为解决上述技术问题，本发明提供如下技术方案：

一方面，提供了一种基于图像视觉认知的心理状态数据分析方法及VR系统，该系统应用于电子设备，包括：

实验范式呈现模块，用于向测试者呈现图像观看实验数据；

VR端数据采集模块，用于采集测试者的原始眼动数据和瞳孔数据，将所述原始眼动数据和瞳孔数据上传至多终端PC管理模块；

心理状态评估算法模块，用于将所述VR端数据采集模块采集到的原始眼动数据和瞳孔数据分别进行预处理和分析，提取测试者的心理特征；将所述心理特征通过预设模型算法进行分析；

多终端PC管理模块，用于对所述实验范式呈现模块、所述VR端数据采集模块以及所述心理状态数据分析模块进行管控。

可选地，实验范式呈现模块，包括：

语音提示子模块，用于在测试任务开始之前，以文字和语音的形式向测试者说明实验流程及测试者需要做的任务；

瞳孔修正子模块，用于在暗背景的环境下向测试者展示校准内容，对测试者的瞳孔位置进行校准；

自由观看子模块，用于在暗背景的环境下向测试者展示测试内容，所述测试内容包括三张不同情绪图像；

注意框跟踪子模块，用于通过注意框随机锁定所述三张不同情绪图像的其中一张。

可选地，三张不同情绪的图像的位置关系为等腰三角形。

可选地，注意框跟踪子模块，还用于检测测试者的注意力停留在注意框所在图像上的时长，当时长达到预设值，注意框转移并锁定下一张图像；否则继续停留在当前图像上。

可选地，VR端数据采集模块在内置眼动追踪的VR设备上搭建，所述VR端数据采集模块包括：

VR呈现子模块，用于通过VR设备将预设的实验范式实验过程呈现给测试者；

信息采集子模块，用于通过内置的眼动仪采集测试者的眼动轨迹信息和瞳孔信息；

数据交互子模块，用于与多终端PC管理模块进行数据交互。

可选地，VR端数据采集模块采集到的原始眼动轨迹数据和瞳孔数据的格式为

；

其中，

为采样时刻，

为眼动轨迹的横纵坐标，

为左眼瞳孔直径值，

为右眼的瞳孔直径值。

可选地，心理状态数据分析模块，包括：

数据分析与预处理子模块，用于对所述眼动轨迹信息进行重采样、模拟眼动速度填补缺失值、坐标-位置-情绪属性映射、位置跳变比较后平滑以及注视点识别；对所述瞳孔信息的采样点不均问题进行重采样处理；针对眨眼导致数据缺失问题进行检测并删除；针对VR设备采样导致的缺失值进行直径插值填补缺失值；针对左右眼孔径值不一致的问题进行双眼信号一致化；针对信号的毛刺与抖动问题采用滑动平均法进行平滑处理；针对测试者瞳孔孔径的个体差异问题采用基线校准方法进行校准；

特征提取子模块，用于对预处理后的所述眼动轨迹信息以及瞳孔信息，基于注意偏向理论，提取自由观看阶段的基础心理特征和注意框跟踪阶段的基础心理特征；

特征筛选子模块，用于根据提取出的述眼动轨迹信息以及瞳孔信息的特征筛选出测试者的眼动状态评估特征。

可选地，数据分析与预处理子模块进行分析和预处理后的数据格式为

；

其中，

为各阶段注视点开始时间，

为各阶段注视点结束时间，

分别为注视点的横纵坐标，

为处理后的左眼瞳孔直径值，

为处理后的右眼瞳孔直径值，

为注视点对应的图像位置序号。

可选地，多终端PC管理模块，包括：

主控功能子模块，用于自动检测连接成功的VR设备，展示VR运行监控界面；

VR功能子模块，用于初始化同步主控功能子模块发送的测试者的基本信息；使VR端测评运行时的所有控制入口自动进入眼动校准应用程序；

评测算法子模块，用于通过将处理和分析后的数据传输给机器学习算法，通过机器学习算法分析完成后的简化版测评结果发送至VR设备进行显示，将完整版测评报告保存在PC端指定路径下。

一方面，提供了一种基于图像视觉认知的心理测评数据获取方法，该方法应用于电子设备，该方法包括：

S1：获取测试者的瞳孔校准数据、以及图像观看实验数据；

S2：通过VR设备采集测试者的眼动轨迹数据和瞳孔数据；

S3：对原始眼动轨迹数据和瞳孔数据进行数据分析以及预处理；

S4：通过眼动状态评估算法，对VR设备采集的实验数据进行评估，完成基于图像视觉认知的心理状态数据的分析。

一方面，提供了一种电子设备，所述电子设备包括处理器和存储器，所述存储器中存储有至少一条指令，所述至少一条指令由所述处理器加载并执行以实现上述基于图像视觉认知的心理状态数据分析方法。

一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现上述基于图像视觉认知的心理状态数据分析方法。

本发明实施例的上述技术方案至少具有如下有益效果：

上述方案中，首次提出基于注意偏向理论和瞳孔反应理论的图像自由观看范式和任务驱动范式；在轻量级VR设备上搭建了一套具有沉浸感和交互性的基于图像的心理测评系统，可实现多台设备同时进行测试；提出了基于眼动信号和瞳孔信号的抑郁检测的机器学习模型不再是一个“黑盒子”，而是结合心理学理论的可解释模型。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种基于图像视觉认知的心理状态数据分析VR系统的结构框图；

图2是本发明实施例提供的一种基于图像视觉认知的心理状态数据分析VR系统的实验范式流程图；

图3是本发明实施例提供的一种基于图像视觉认知的心理状态数据分析方法的评估算法框架图；

图4是本发明实施例提供的一种基于图像视觉认知的心理状态数据分析方法的流程图；

图5是本发明实施例提供的一种电子设备的结构示意图。

具体实施方式

为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。

本发明实施例提供了一种基于图像视觉认知的心理状态数据分析方法及VR系统，该系统可以由电子设备实现，该电子设备可以是终端或服务器。如图1所示的一种基于图像视觉认知的心理状态数据分析VR系统结构框图，该系统包括：

实验范式呈现模块，用于向测试者呈现图像观看实验数据。

一种可行的实施方式中，实验范式由瞳孔修正部分和图像实验部分组成，一共有30组任务，如图2所示，为一组任务的实验流程图。任务开始之前会在一个暗背景下的屏幕中央呈现一个白色小十字，测试者需要注视小十字10秒。在30组任务中，每组任务包含正性/负性/中性三张图像，同时保证每个位置出现各情绪属性的图像次数相等，每个位置出现首/末注意框次数相等，首/末注意框框住的各情绪属性的图像次数相等，图像来源主要是OASIS（Open Access Series of Imaging Studies，开放获取影像研究系列）和ThuPis（the Tsinghua Psychological Image System，清华心理图像系统）这两个情绪图像库。

VR端数据采集模块，用于采集测试者的原始眼动数据和瞳孔数据，将原始眼动数据和瞳孔数据上传至多终端PC管理模块。

一种可行的实施方式中，VR端数据采集模块是在内置眼动追踪的VR设备上搭建基于Unity 3D开发引擎的评测端。

心理状态数据分析模块，用于将VR端数据采集模块采集到的原始眼动数据和瞳孔数据分别进行预处理和分析，提取测试者的心理特征；将心理特征通过预设模型算法进行分析。

一种可行的实施方式中，心理状态数据分析模块用于将VR端数据采集模块采集到的原始眼动数据和瞳孔数据分别进行预处理和分析，提取关于注意偏向和瞳孔反应的高阶认知心理特征，将筛选后的特征使用多种分类模型进行训练以完成抑郁状态的检测（是否处于潜在抑郁状态以及抑郁状态的程度），图3为机器学习算法的整体框架图。

多终端PC管理模块，用于对述实验范式呈现模块、VR端数据采集模块以及心理状态数据分析模块进行管控。

一种可行的实施方式中，多终端PC管理模块是基于PC搭建评估系统的管理端软件和数据库，完成多终端控制界面和数据交互逻辑。通过6台VR评测端搭配一台PC管理端的方式，实现多人实时的抑郁状态评估和管控。管理端软件编写基于WPF框架，管理端数据库基于SQLite3数据库引擎。管理端软件可满足的需求具体包括主控功能需求、VR功能需求、评测算法功能需求。

优选地，实验范式呈现模块，包括：

语音提示子模块，用于在测试任务开始之前，以文字和语音的形式向测试者说明实验流程及测试者需要做的任务。

一种可行的实施方式中，任务开始之前，以文字的形式向测试者说明实验流程及测试者需要做的任务，提醒测试者在瞳孔修正阶段要注视白色小十字10秒，在小十字阶段需要注视白色小十字直至消失，图像出现后无需按照图像顺序进行观看，可以按照自己的意愿自由观看三张图像，注意框出现时需要注视被注意框锁定的图像，并且视线跟随注意框的移动而转移，整个实验大约需要6-8分钟。

瞳孔修正子模块，用于在暗背景的环境下向测试者展示校准内容，对测试者的瞳孔位置进行校准。

一种可行的实施方式中，该阶段仅在正式进入第一组图像任务之前出现。在一个黑色暗背景下的屏幕中央呈现一个白色小十字，持续时间为10秒，要求测试者需要持续注视小十字10秒。在这个过程中测试者的瞳孔在暗背景下得到充分扩张且不受强光和情绪刺激的干扰，目的是为了获取瞳孔直径基准值。

自由观看子模块，用于在暗背景的环境下向测试者展示测试内容，测试内容包括三张不同情绪图像。

一种可行的实施方式中，每组任务开始之前，在黑色暗背景下的屏幕中央呈现一个白色的小十字，确保测试者的初始注意力在小十字上后（300毫秒）小十字消失，并进入下一阶段。屏幕同时呈现三张不同情绪属性的图像并持续5秒，图像位置关系为等腰三角形。在此期间，被试自由观看这三张图像，由眼动仪记录测试者的眼动轨迹信息和瞳孔反应信息。

注意框跟踪子模块，用于通过注意框随机锁定三张不同情绪图像的其中一张。

一种可行的实施方式中，5秒自由观看阶段完成后，其中一张图像会被注意框锁定，此时要求测试者注视并观察被注意框锁定的图像，当检测到测试者的注意力停留在注意框所在图像上500-1000毫秒时，注意框会转移并锁定另一张图像，要求测试者尽快注视注意框最新锁定的图像，当检测到测试者已经注视被注意框最新锁定的图像，或者注意框跟踪阶段持续3秒时，该阶段结束，同时本组任务结束。

优选地，三张不同情绪的图像的位置关系为等腰三角形。

优选地，注意框跟踪子模块，还用于检测测试者的注意力停留在注意框所在图像上的时长，当时长达到预设值，注意框转移并锁定下一张图像；否则继续停留在当前图像上。

本发明实施例中，实验提示语阶段是为了让测试者了解实验流程以及需要完成的任务；瞳孔修正阶段的目的是获取测试者的瞳孔直径基准值，用于消除个体之间本身存在的瞳孔直径差异；小十字阶段是为了确保测试者在一组任务结束之后仍然保持注意力集中，用于进行任务完成度判断；自由观看阶段是基于注意偏向理论和瞳孔反应理论提取出注视时长与注视点个数（注意分配）、首视图像类型（注意定向）、瞳孔直径相对值（瞳孔反应）等特征，也可以提取出扫视轨迹长度、注视点时长分布等有关自由观看注意模式的特征；注意框跟踪阶段是基于注意解除提取注意转移时间、注意转移速度等特征。

优选地，VR端数据采集模块包括：

VR呈现子模块，用于通过VR设备将预设的实验范式实验过程呈现给测试者。

一种可行的实施方式中，VR呈现子模块通过VR设备将设计好的实验范式实现，其具体包括测试者确认个人信息后开启眼动校准，校准成功后自动进入实验流程。实验流程包括实验范式呈现模块中的各个阶段，实验完成后可在VR设备中查看到5张结果敏感图，完整测评报告需在电脑端查看。

信息采集子模块，用于通过内置的眼动仪采集测试者的眼动轨迹信息和瞳孔信息。

一种可行的实施方式中，测试者在实验过程中需要通过VR设备内置的眼动仪采集眼动轨迹信息和瞳孔信息，并将其上传至多终端PC管理模块调用机器学习算法进行处理分析，得到测评结果。

数据交互子模块，用于与多终端PC管理模块进行数据交互。

优选地，VR端数据采集模块采集到的原始眼动轨迹数据和瞳孔数据的格式为

；

其中，

为采样时刻，

为眼动轨迹的横纵坐标，

为左眼瞳孔直径值，

为右眼的瞳孔直径值。

优选地，心理状态数据分析模块，包括：

数据分析与预处理子模块，用于对眼动轨迹信息进行重采样、模拟眼动速度填补缺失值、坐标-位置-情绪属性映射、位置跳变比较后平滑以及注视点识别；对瞳孔信息的采样点不均问题进行重采样处理；针对眨眼导致数据缺失问题进行检测并删除；针对VR设备采样导致的缺失值进行直径插值填补缺失值；针对左右眼孔径值不一致的问题进行双眼信号一致化；针对信号的毛刺与抖动问题采用滑动平均进行平滑；针对测试者瞳孔孔径的个体差异问题采用基线校准方法进行校准。

特征提取子模块，用于对预处理后的眼动轨迹信息以及瞳孔信息，基于注意偏向理论，提取自由观看阶段的基础心理特征和注意框跟踪阶段的基础心理特征。

一种可行的实施方式中，针对预处理后的眼动数据，基于注意偏向理论，分别提取了自由观看阶段的7个基础心理特征和注意框跟踪阶段的2个基础心理特征，具体含义见表1。针对预处理后的瞳孔数据，基于瞳孔的光反射和情绪反应特性，分别提取了光反射的3个基础特征和情绪反应的2个基础心理特征，具体含义见表2。其中孔径秩（ROD）是为了消除不同任务中图像的亮度对瞳孔直径的影响，通过计算30组任务中每组任务中测试者浏览正/负/中性图像时的平均瞳孔直径，并按照从低到高的顺序排序，记录序数值，并对30组任务的序数值进行累加，最后进行归一化。计算公式为：

孔径秩反映了对于30组任务下正/负/中性图像瞳孔直径的排序，孔径秩越大反应测试者在该类型图像下的瞳孔直径越大。为了消除图像位置对于瞳孔直径的影响，同样计算位置的孔径秩，计算公式为：

表1 基于注意偏向的基础心理特征

表2 基于瞳孔反应的基础特征

特征筛选子模块，用于根据提取出的眼动轨迹信息以及瞳孔信息的特征筛选出测试者的眼动状态评估特征。

一种可行的实施方式中，从提取出的大量关于眼动和瞳孔的特征中，筛选出对抑郁状态检测最有帮助的特征。为了平衡筛选效果和解释性，采用相关性过滤和嵌入法进行特征筛选，然后进行特征去共线性处理去除相关性较大的特征。

优选地，数据分析与预处理子模块进行分析和预处理后的数据格式为

；

其中，

为各阶段注视点开始时间，

为各阶段注视点结束时间，

分别为注视点的横纵坐标，

为处理后的左眼瞳孔直径值，

为处理后的右眼瞳孔直径值，

为注视点对应的图像位置序号。

一种可行的实施方式中，本发明的实验范式不是纯自由观看范式，具有一定的任务驱动性，所以存在任务完成度差的现象，其具体含义和判决标准见表3。实验发现，任务完成度较差的测试者中抑郁人群占多数，其原因可能是由于测试者对负性注意偏向过强而无法及时控制注意力或者因为易倦怠和走神而无法坚持完成整个实验。因此，本发明在训练模型之前加入任务完成度的判断，将任务完成度较差的测试者判定为抑郁类别进行召回。上述原因可能是：原因1：任务完成度差可能会导致一些特征失效，不适合将特征数据输入到分类模型进行判别；原因2：根据结果来看，正常人群和抑郁人群在任务完成度上具有明显差异，所以完成度差的人群可能是由于抑郁导致；原因3：本发明的最终目的是将判定为有抑郁倾向的测试者召回进行下一步的排查和干预，所以对于任务完成度差的测试者有必要召回进行重新测试或排查。

表3 任务完成度差的具体含义和判决标准

目前采集的样本量为59（29抑郁个体+30正常个体），考虑到样本量较小，最终选择融合眼动特征和瞳孔特征的SVM（Support Vector Machine，支持向量机模型）作为分类器，在该数据集下模型五折交叉验证的敏感度为93.1%，特异度为73.3%，平均准确率为83.0%。使用PDP（Partial Dependence Plots，部分依赖图）做模型解释，结果符合抑郁的情绪刺激理论。模型的结果输出一个决策函数decision function，即样本点到超平面的距离，对结果使用基于John C. Platt提出的Platt Scaling方法对SVM输出的超平面距离decisionfunction上使用LR（logistics regression，逻辑回归模型），即通过训练一个双参数的Sigmoid函数拟合后验概率，并映射为0-100分的分值，实现抑郁状态的量化评估，60分以上为眼动状态良好，40-60分可能存在轻微压力或情绪问题，40分以下为眼动状态异常，且分数越低程度越趋于严重。

一种可行的实施方式中，将每位测试者获得的眼动状态评分和一些重要特征数值进行可视化，生成一份个性化眼动状态评估报告，报告内容包括个人基本信息、心理健康指数和结果说明、详细分析报告。详细分析报告包括自由观看阶段的注视时长、正负图片注视比例详图、眼动轨迹敏感图、瞳孔敏感图和注意框跟踪阶段的注意转移时间敏感图、瞳孔敏感因子。

优选地，多终端PC管理模块，包括：

主控功能子模块，用于自动检测连接成功的VR设备，展示VR运行监控界面。

一种可行的实施方式中，管理端自动检测并链接成功VR设备，并展示VR运行监控界面，可实现测试者基本信息的添加和修改，同时可实现VR设备的运行状态监测。

VR功能子模块，用于初始化同步主控功能子模块发送的测试者的基本信息；使VR端测评运行时的所有控制入口自动进入眼动校准应用程序。

一种可行的实施方式中，初始化同步主控功能发送的测试者基本信息，并实现VR端测评运行时的所有控制入口，可自动进入眼动校准应用程序，并在校准过后自动进入测评界面。

评测算法子模块，用于通过将处理和分析后的数据传输给机器学习算法，通过机器学习算法分析完成后的简化版测评结果发送至VR设备进行显示，将完整版测评报告保存在PC端指定路径下。

一种可行的实施方式中，实验完成后，测试数据从VR端传给PC上的管理端，管理端把数据通过http接口服务程序传给机器学习算法，机器学习算法分析完成后将测评结果返回管理端，管理端获取保存简易版测评报告并传给VR端显示，同时完整版测评报告保存在PC端指定路径下。

本发明实施例中，首次提出基于注意偏向理论和瞳孔反应理论的图像自由观看范式和任务驱动范式；在轻量级VR设备上搭建了一套具有沉浸感和交互性的基于图像的心理测评系统，可实现多台设备同时进行测试；提出了基于眼动信号和瞳孔信号的抑郁检测的机器学习模型不再是一个“黑盒子”，而是结合心理学理论的可解释模型。

本发明实施例提供了一种基于图像视觉认知的心理状态数据分析方法，该方法可以由电子设备实现，该电子设备可以是终端或服务器。如图4所示的基于图像视觉认知的心理测评数据获取方法流程图，该方法的处理流程可以包括如下的步骤：

S101：获取测试者的瞳孔校准数据、以及图像观看实验数据；

S102：通过VR设备采集测试者的眼动轨迹数据和瞳孔数据；

S103：对原始眼动轨迹数据和瞳孔数据进行数据分析以及预处理；

S104：通过眼动状态评估算法，对VR设备采集的实验数据进行评估，完成基于图像视觉的眼动状态数据的获取及心理状态测评。

本发明实施例中，首次提出基于注意偏向理论和瞳孔反应理论的图像自由观看范式和任务驱动范式；在轻量级VR设备上搭建了一套具有沉浸感和交互性的基于图像的心理测评系统，可实现多台设备同时进行测试；提出了基于眼动信号和瞳孔信号的抑郁检测的机器学习模型不再是一个“黑盒子”，而是结合心理学理论的可解释模型。

图5是本发明实施例提供的一种电子设备500的结构示意图，该电子设备500可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器（centralprocessing units，CPU）501和一个或一个以上的存储器502，其中，所述存储器502中存储有至少一条指令，所述至少一条指令由所述处理器501加载并执行以实现下述基于图像视觉认知的心理状态数据分析方法的步骤：

S1：获取测试者的瞳孔校准数据、以及图像观看实验数据；

S2：通过VR设备采集测试者的眼动轨迹数据和瞳孔数据；

S3：对原始眼动轨迹数据和瞳孔数据进行数据分析以及预处理；

S4：通过眼动状态评估算法，对VR设备采集的实验数据进行评估，完成基于图像视觉认知的心理状态数据的分析。

在示例性实施例中，还提供了一种计算机可读存储介质，例如包括指令的存储器，上述指令可由终端中的处理器执行以完成上述基于图像视觉认知的心理状态数据分析方法。例如，所述计算机可读存储介质可以是ROM、随机存取存储器（RAM）、CD-ROM、磁带、软盘和光数据存储设备等。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于图像视觉认知的心理状态数据分析VR系统，其特征在于，包括：

实验范式呈现模块，用于向测试者呈现测试图像；

VR端数据采集模块，用于采集测试者的原始眼动数据和瞳孔数据，将所述原始眼动数据和瞳孔数据上传至多终端PC管理模块；

心理状态数据分析模块，用于将所述VR端数据采集模块采集到的原始眼动数据和瞳孔数据分别进行预处理和分析，提取测试者的眼动特征；将所述眼动特征通过预设模型算法进行分析，得到测试者的心理状态分析结果；

多终端PC管理模块，用于对所述实验范式呈现模块、所述VR端数据采集模块以及所述心理状态数据分析模块进行管控。

2.根据权利要求1所述基于图像视觉认知的心理状态数据分析VR系统，其特征在于，所述实验范式呈现模块，包括：

语音提示子模块，用于在测试任务开始之前，以文字和语音的形式向测试者说明实验流程及测试者需要做的任务；

瞳孔修正子模块，用于在暗背景的环境下向测试者展示校准内容，对测试者的瞳孔位置进行校准；

自由观看子模块，用于在暗背景的环境下向测试者展示测试内容，所述测试内容包括三张不同情绪图像；

注意框跟踪子模块，用于通过注意框随机锁定所述三张不同情绪图像的其中一张。

3.根据权利要求2所述的基于图像视觉认知的心理状态数据分析VR系统，其特征在于，所述三张不同情绪的图像的位置关系为等腰三角形。

4.根据权利要求2所述的基于图像视觉认知的心理状态数据分析VR系统，其特征在于，所述注意框跟踪子模块，还用于检测测试者的注意力停留在注意框所在图像上的时长，当时长达到预设值，注意框转移并锁定下一张图像；否则继续停留在当前图像上。

5.根据权利要求1所述的基于图像视觉认知的心理状态数据分析VR系统，其特征在于，所述VR端数据采集模块在内置眼动追踪的VR设备上搭建，所述VR端数据采集模块包括：

VR呈现子模块，用于通过VR设备将预设的实验范式实验过程呈现给测试者；

信息采集子模块，用于通过内置的眼动仪采集测试者的眼动轨迹信息和瞳孔信息；

数据交互子模块，用于与多终端PC管理模块进行数据交互。

6.根据权利要求1所述的基于图像视觉认知的心理状态数据分析VR系统，其特征在于，所述VR端数据采集模块采集到的原始眼动轨迹数据和瞳孔数据的格式为

；

其中，

为采样时刻，

为眼动轨迹的横纵坐标，

为左眼瞳孔直径值，

为右眼的瞳孔直径值。

7.根据权利要求1所述的基于图像视觉认知的心理状态数据分析VR系统，其特征在于，所述心理状态数据分析模块，包括：

数据分析与预处理子模块，用于对所述眼动轨迹信息进行重采样、模拟眼动速度填补缺失值、坐标-位置-情绪属性映射、位置跳变比较后平滑以及注视点识别；对所述瞳孔信息的采样点不均问题进行重采样处理；针对眨眼导致数据缺失问题进行检测并删除；针对VR设备采样导致的缺失值进行直径插值填补缺失值；针对左右眼孔径值不一致的问题进行双眼信号一致化；针对信号的毛刺与抖动问题采用滑动平均法进行平滑处理；针对测试者瞳孔孔径的个体差异问题采用基线校准方法进行校准；

特征提取子模块，用于对预处理后的所述眼动轨迹信息以及瞳孔信息，基于注意偏向理论，提取自由观看阶段的基础眼动特征和注意框跟踪阶段的基础眼动特征；

特征筛选子模块，用于根据提取出的所述眼动轨迹信息以及瞳孔信息的特征筛选出测试者的眼动状态评估特征。

8.根据权利要求7所述的基于图像视觉认知的心理状态数据分析VR系统，其特征在于，所述数据分析与预处理子模块进行分析和预处理后的数据格式为

；

其中，

为各阶段注视点开始时间，

为各阶段注视点结束时间，

分别为注视点的横纵坐标，

为处理后的左眼瞳孔直径值，

为处理后的右眼瞳孔直径值，

为注视点对应的图像位置序号。

9.根据权利要求1所述的基于图像视觉认知的心理状态数据分析VR系统，其特征在于，所述多终端PC管理模块，包括：

主控功能子模块，用于自动检测连接成功的VR设备，展示VR运行监控界面；

VR功能子模块，用于初始化同步主控功能子模块发送的测试者的基本信息；使VR端测评运行时的所有控制入口自动进入眼动校准应用程序；

评测算法子模块，用于通过将处理和分析后的数据传输给机器学习算法，通过机器学习算法分析完成后的简化版测评结果发送至VR设备进行显示，将完整版测评报告保存在PC端指定路径下。

10.一种基于图像视觉认知的心理状态数据分析方法，其特征在于，包括：

S1：获取测试者的瞳孔校准数据、以及图像测试数据；

S2：通过VR设备采集测试者的眼动轨迹数据和瞳孔数据；

S3：对所述原始眼动轨迹数据和瞳孔数据进行数据分析以及预处理；

S4：通过眼动状态评估算法，对VR设备采集的实验数据进行评估，完成基于图像视觉认知的心理状态数据的分析。

Images