CN115329818A - 基于vr的多模态融合注意力评估方法、系统及存储介质 - Google Patents

基于vr的多模态融合注意力评估方法、系统及存储介质 Download PDF

Info

Publication number
CN115329818A
CN115329818A CN202211004249.0A CN202211004249A CN115329818A CN 115329818 A CN115329818 A CN 115329818A CN 202211004249 A CN202211004249 A CN 202211004249A CN 115329818 A CN115329818 A CN 115329818A
Authority
CN
China
Prior art keywords
data
attention
physiological data
fusion
test
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211004249.0A
Other languages
English (en)
Inventor
韦亮
叶常新
陈俊玮
郭景桓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Yunchang Digital Medical Co ltd
Original Assignee
Shenzhen Yunchang Digital Medical Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Yunchang Digital Medical Co ltd filed Critical Shenzhen Yunchang Digital Medical Co ltd
Priority to CN202211004249.0A priority Critical patent/CN115329818A/zh
Publication of CN115329818A publication Critical patent/CN115329818A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/168—Evaluating attention deficit, hyperactivity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Developmental Disabilities (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Psychiatry (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Child & Adolescent Psychology (AREA)
  • Educational Technology (AREA)
  • Hospice & Palliative Care (AREA)
  • Evolutionary Computation (AREA)
  • Psychology (AREA)
  • Social Psychology (AREA)
  • Pathology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Image Analysis (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种基于VR的多模态融合注意力评估方法、系统及存储介质，所述方法包括数据采集、信号预处理、特征提取及多模态融合及评估模型建立，其中数据采集包括分别采集用户在VR注意力测试场景内三个阶段的多种生理数据和行为数据，多模态融合及评估模型建立包括将每一种数据特征作为一个输入模态进行特征融合，决策融合及深度学习训练以输出注意力评估模型。本发明提高了注意力测试评估的准确性，同时采用VR场景测试，使用户获得良好的测试体验。

Description

基于VR的多模态融合注意力评估方法、系统及存储介质
技术领域
本发明涉及注意力智能评估技术领域，尤其涉及一种基于VR的多模态融合注意力评估方法、系统及存储介质。
背景技术
注意缺陷多动障碍(ADHD)是一种神经障碍疾病，多见于儿童，老年人也有注意力缺陷症状，ADHD患者具有难以维持注意力、多动和冲动行为等特征，影响其日常工作、社交行为和学业。
现有技术对注意力的评估和诊断很大程度上依赖任务成绩和临床量表得分，也有基于单模态的神经生理数据注意力检测评估，如基于运动视觉数据的注意力检测，或基于脑电信号数据注意力检测。然而，人的心理是复杂的而且生理反应具有个体差异性，使用单一模态的生理信号不够全面和准确，会导致不同情况下的分类和预测能力变差，降低了注意力评估模型的准确性。
同时，现有的注意力检测评估方法只采用了传统的计算机测试，内容枯燥，测试体验差。
因此，现有技术还有待发展。
发明内容
鉴于上述现有技术的不足之处，本发明的目的在于提出一种基于VR的多模态融合注意力评估方法、方法及存储介质，旨在提高注意力测试评估的准确性，同时采用VR场景测试，使用户获得良好的测试体验。
为实现上述目的，本发明采取了以下技术方案：
第一方面，本发明提出一种基于VR的多模态融合注意力评估方法，其中，包括下述步骤：
S10，数据采集：分别采集用户在VR注意力测试场景内三个阶段的多种生理数据和行为数据，所述VR注意力测试场景中的三个阶段包括放松阶段、测试无干扰阶段、测试有干扰阶段，所述VR注意力测试场景内三个阶段的测试内容根据注意力临床诊断量表设计；
S20，信号预处理：对所述多种生理数据和行为数据进行分割，并对生理数据进行滤波、去信号干扰处理；
S30，特征提取：对所述预处理后的多种生理数据和行为数据进行特征提取，每一种生理数据的特征作为一个模态，行为数据的特征作为一个模态，得到多个模态，并根据临床诊断结果对所述多个模态进行标记，形成标记数据集；
S40，多模态融合及评估模型建立，包括：
S41，将所述多个模态进行特征融合，联合成一个特征向量，将该特征向量通过自编码器进行深度学习训练，提取各模态的深层次特征，对所述各模态的深层次特征进行联合训练提取出深层次共有特征作为一个新的模态；
S42，将所述不同模态的生理数据特征和深层次共有特征使用不同类型的神经网络进行学习训练，产生每个单模态对应的评估模型，并将每个单模态对应的评估模型结果融合成一个决策向量，所述决策向量经过全连接层和SoftMax激活函数，输出最终的评估值，使用已标记的数据集及所述评估值，在所述不同类型的神经网络及全连接层和SoftMax激活函数组成的深度学习网络进行训练建模，并进行决策融合，选择最优参数，得到注意力评估模型，所述注意力评估模型用于注意力评估。
第二方面，本发明提出一种系统，其中，所述系统包括存储器、处理器及存储在所述存储器中并被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时，实现前述的基于VR的多模态融合注意力评估方法。
第三方面，本发明提出一种计算机可读存储介质，其中，所述计算机可读存储介质中存储有计算机程序，所述计算机程序被执行时实现前述的基于VR的多模态融合注意力评估方法。
本发明的基于VR的多模态融合注意力评估方法，通过数据采集、信号预处理、特征提取及多模态融合及评估模型建立，将被测人员在VR测试场景中的多种生理数据及行为数据这些不同模态的数据采用特征融合及决策融合，并通过深度学习建模后输出注意力预测评估结果，由于采用了被测人员的多种数据进行融合，并采用人工智能进行深度分析评估，故本发明的方法能提高注意力评估模型的准确性和鲁棒性，同时本发明的方法使用VR场景测试，提升用户的测试体验。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。
图1为本发明基于VR的多模态融合注意力评估方法的流程示意图；
图2为本发明方法的框架示意图；
图3为本发明VR注意力测试场景中WCST/CPT/音频测试流程示意图；
图4为本发明特征提取的流程示意图；
图5为本发明多模态数据特征融合示意图；
图6为本发明自编码器示意图；
图7为本发明多模态数据使用自编码器深度融合示意图；
图8为本发明多模态数据决策融合示意图；
图9为本发明多模态数据深度学习训练及注意力评估输出流程示意图；
图10为本发明多模态数据深度学习训练及注意力评估模型结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参考图1和图2，本发明提出了一种基于VR的多模态融合注意力评估方法，包括下述步骤：
S10，数据采集：分别采集用户在VR注意力测试场景内三个阶段的多种生理数据和行为数据，所述VR注意力测试场景中的三个阶段包括放松阶段、测试无干扰阶段、测试有干扰阶段，所述VR注意力测试场景内三个阶段的测试内容根据注意力临床诊断量表设计。
本发明在VR注意力测试场景内采集的多种生理数据包括脑电数据(EEG)、心电数据(ECG)、皮肤电数据(GSR)和眼动数据，行为数据包括任务表现数据和肢体运动数据。任务表现数据为被测人员在VR注意力测试场景内完成测试任务的数据：如任务完成时间、正确率、错误率、反应时间等。肢体运动数据包括头部运动轨迹及手部运动轨迹数据等。
所述生理数据还可以包括呼吸、血压、体温等数据。
本发明的VR注意力测试采用VR设备，同时配置各种传感器采集生理数据及行为数据。如脑电设备、心电设备、呼吸传感设备、眼动追踪设备、皮肤电传感器等。采集后的生理信号可以生成对应图形如心电信号、脑电信号CWT尺度图和眼动热点图。
本发明VR注意力测试的阶段放松阶段、测试无干扰阶段、测试有干扰阶段是在任务场景里面。作为一种实施方式，本发明的放松阶段主要在放松的星空或者山林场景，无需任何操作，任务测试阶段在一个VR教室场景里做黑板上的题目，在此期间前一段时间无干扰事项，后半段会出现越来越强烈的干扰项，如旁边人物交头接耳，回头，有人开门，外面下雨打雷，有纸飞机飞过，放动画片等，逐步加强干扰项，吸引用户注意力，出现转头观看、无法认真任务等现象，去唤醒用户潜意识行为，从而更容易区分人的注意力集中程度。
作为一种实施方式，本发明述测试有干扰阶段内的干扰包括视觉干扰、听觉干扰、综合性干扰、嗅觉干扰等。如表1所示：
Figure BDA0003808302140000051
表1
本发明的VR注意力测试场景设置有选择性注意力测试、持续性注意力测试以及执行功能测试。为了测试用户的选择性注意力测试、持续性注意力测试以及执行功能测试三种能力，如图3所示，VR注意力测试场景内置测试任务：音频测试(选择性注意力测试)、CPT(持续性注意力测试)和WCST(执行功能测试)。
本发明的VR注意力测试场景中放松阶段采集的生理数据为静息态生理数据，所述VR注意力测试场景中的测试无干扰阶段、测试有干扰阶段采集的生理数据为训练态生理数据，所述信号预处理中以所述静息态生理数据为基线，将所述训练态生理数据与所述基线相减后得到特征提取用的生理数据。
由于每个被测试的用户的生理信号强度不会落在一个基线上，为了避免此现象造成测量偏差，所以取静息态生理数据作为基线，最后将用户的数据从各自的基线中减去以减少个体差异。
S20，信号预处理：对所述多种生理数据和行为数据进行分割，并对生理数据进行滤波、去除信号干扰处理。
信号预处理是为了更好的理解受试者的生理反应，需要对原始数据进行预处理，然后进行特征提取来进一步表征原始数据，用于之后的多模态融合和深度学习。
具体地，本发明的生理数据的分割包括连续记录预设时间内的脑电、心电、皮肤电和眼动四种模态的生理数据，把生理数据分为静息态数据和训练态数据。优选地，本发明连续记录5分钟内的脑电、心电、皮肤电和眼动四种模态的生理数据。并取静息态数据的最后一分钟的数据作为基线，将训练态数据与基线相减，以减少个体差异。
本发明信号预处理的滤波包括采取滤波器将直流、市电和高频噪声滤除。所述去信号干扰包括采用ICA和PCA去除信号干扰。
人体存在各种各样的生理信号加上周围的电磁环境让生理信号极易受到干扰，常见的干扰有工频干扰、基线漂移和肌电干扰，可采取相应滤波器将直流、市电和高频噪声滤除，并使用独立成分分析(ICA，Independent Component Analysis)和主成分分析(PCA，Principle Component Analysis)去除信号干扰。
优选地，本发明的信号预处理还包括对去除噪音干扰后的信号进行标准化处理。以便于后续的特取提取。
S30，特征提取：对所述预处理后的多种生理数据和行为数据进行特征提取，每一种生理数据的特征作为一个模态，行为数据的特征作为一个模态，得到多个模态，并根据临床诊断结果对所述多个模态进行标记，形成标记数据集。。
由于传感器采集的原始数据不易于分析融合，因此可通过特征提取对其进行量化，以挖掘更全面的信息。
作为一种实施方式，本发明脑电生理信号的包括对时域特征及频带功率特征的特取。
具体地，脑电信号的时域特征包括：Higuchi碎形维度(HFD)、Katz碎形维度(KFD)、Petrosian碎形维度(PFD)。
脑电信号的频带特征如表2。
表2：脑电频带特征
Figure BDA0003808302140000071
本发明对心电生理信号的如下特征进行提取，如下表3。
表3：心电提取特征
Figure BDA0003808302140000072
Figure BDA0003808302140000081
本发明对眼动信号如下特征进行提取，如下表4。
表4：眼动提取特征
Figure BDA0003808302140000082
特征提取的过程可以采用对应的算法进行提取。作为一种实施方式，所述眼动信号可以提取出目标区注视比例特征和头部专注区比例特征，用于后续多模态融合。
在特征提取后，每一种生理数据的特征作为一个模态，行为数据的特征作为一个模态，从而得到了多个模态的数据，便于后续的融合及建模，本发明在特征提取后，根据临床诊断结果对所述多个模态进行标记，形成标记数据集。
具体地，使用以下三种临床评估量表对用户的注意力集中程度分类，三种临床评估量表为：
a.CONNERS：康氏量表。
b.SNAP-IV：斯诺佩评估量表。
c.Weiss’s：功能缺陷程度量表。
分类为：注意力无缺陷，轻度缺陷，重度缺陷，将分类与多个模态的数据对应并标上标记，标记后的数据集用于后续的深度学习。
具体地，如图4中所示，步骤S30中的特征提取具体包括：
S31，对VR注意力测试场景内三个阶段的多种生理数据和行为数据采用时域特征、频域特征及非线性特征进行提取。
对生理数据及行为数据采样时域特征、频域特征及非线性特征进行提取后便于数据的统计分析。
S32，将静息态生理数据和训练态生理数据，采用K-S检测法进行分布情况的检测。
采用Kolmogorov-Smirnov test(K-S test)对静息态生理数据和训练态生理数据的分布情况进行检测。
S33，采用Signed-rank检验法对所述分布情况进行统计，检测用户在VR注意力测试场景中的测试无干扰阶段、测试有干扰阶段生理数据的自身差异。
可采用Wilconxon signed-rank统计方法检测用户有无干扰前后的自身差异。
S34，选取差异显著特征作为敏感特征用于后续多模态融合。
统计分析后出现统计性显著差异的特征，选为有效特征，用于后续建模。
S40，多模态融合及评估模型建立。
从信号来源看，本发明采集的各类数据来源于不同的传感设备；从维度上来看，数据样本包含了图像、向量和数值等多种类型；从分辨率来看，数据样本的采样频率各不相同。故在进行深度学习训练时需要进行融合，多模态融合则就是利用不同形式的原始数据，在不同特征空间抽取有用特征，同时希望保留多模态的互补特质，并且去除冗余信息。
具体地，包括：
S41，将所述多个模态进行特征融合，联合成一个特征向量，将该特征向量通过自编码器进行深度学习训练，提取各模态的深层次特征，对所述各模态的深层次特征进行联合训练提取出深层次共有特征作为一个新的模态。
如图5所示，特征融合就是将每个模态的数据提取出的不同特征联合起来，融合成一个单一的特征向量，然后输入到图6所示的自编码器进行学习。
在自编码器中进行学习训练提取不同模态的深层次特征，不同模态的信息，内部存在相似性，本发明利用自编码器这种深度神经网络的分布式表征的特点，使得我们有可能在某些层进行联合训练，找出共同的表征即深层次共有特征作为一个新的模态。
如图6和图7所示，自编码器(Autoencoder，AE)，就是一种利用反向传播算法使得输出值等于输入值的神经网络，包含编码器(Encoder)和解码器(Decoder)两部分，利用中间隐藏层获取最有用的特征。搭建一个自动编码器过程包括搭建编码器，搭建解码器，设定一个损失函数，编码器和解码器的参数可以通过最小化损失函数而优化。
本步骤的深度融合是利用神经网络，将不同的模态数据先转化为高维特征表达，再于模型的中间层进行融合，这样可以获取不同模态数据在高维空间上的共性。可构建一个深度自编码器对多模态生理特征进行深度融合编码，输入数据中的这自动编码器常用于降维或特征学习，向自编码器强加一些约束，从而有选择提取有用特征，得到主要特征用于分类识别，而自编码器的中间隐藏层就是深层次共有特征作，并标上相应标记。
本步骤中的特征融合的优点是简单高效，维度可对齐，从而尽可能消除模态间的不匹配问题，提高后续评估模型的精度。
S42，将所述不同模态的生理数据特征和深层次共有特征使用不同类型的神经网络进行学习训练，产生每个单模态对应的评估模型，并将每个单模态对应的评估模型结果融合成一个决策向量，所述决策向量经过全连接层和SoftMax激活函数，输出最终的评估值，使用已标记的数据集及所述评估值，在所述不同类型的神经网络及全连接层和SoftMax激活函数组成的深度学习网络进行训练建模，并进行决策融合，选择最优参数，得到注意力评估模型，所述注意力评估模型用于注意力评估。。
如图8所示，不同的生理数据特征作为不同的模态，深层次共有特征也作为一个模态，采用各自的神经网络进行学习训练，生成每个单模态的对应的评估模型，然后将所有的单模态对应的评估模型，单模态对应的评估模型经过全连接层和SoftMax激活函数处理后再次进行深度学习训练，并进行决策融合，以得到注意力评估模型。
决策融合就是不同模态数据分别训练好的分类器输出结果进行融合，常见的后端融合方式包括最大值融合、平均值融合、贝叶斯规则融合以及集成学习等。
决策融合的优点在于从每个模式获得的决策的融合变得更加容易，每个模态都可以利用其最合适的分类模型来学习其特征，以便每个输入模态可以对输出预测有一个学习贡献。由于数据来自不同的学习器，当有错误发生时，就不会造成错误的累加，保证模型在某些模态缺失时仍能有效工作，提高了注意力评估模型的鲁棒性。
具体地，如图9所示，所述步骤S42包括：
S421，所述生理数据特征、深层次共有特征采用多层感知器进行训练，所述行为数据包括图像数据，所述图像数据特征采用卷积神经网络进行训练。
如图10所示，本发明实施中，所述生理数据特征、深层次共有特征采用多层感知器(MLP)进行训练，所述图像数据特征采用卷积神经网络(CNN)进行训练。多层感知器(MLP)和卷积神经网络(CNN)为深度学习的不同神经网络。生理数据特征、深层次共有特征、图像数据特征采用不同的神经网络进行学习训练，使得对输入数据的学习训练更加有针对性，以得到更加准确的单模态对应的评估模型。
S422，对训练后的中间特征进行维度融合。
训练后的中间特征即单模态对应评估模型中具有的特征，各模态评估模型的特征具有不同的维度，为了后续的学习输出需要进行维度融合。维度融合(Concatenate)：一般就是用来将特征联合，多个卷积特征提取框架提取的特征融合或者是将输出层的信息进行融合。
S423，将所述维度融合后的特征统一经过全连接层和SoftMax激活函数，输出最终的评估值。
中间特征进行concatenate形式的融合后成为一个决策向量，决策向量再统一经过全连接层(FC)和SoftMax激活函数，输出最终的预测值,从而提高后续评估模型算法的准确性和鲁棒性。
S424，对所述最终的评估值、已标记的数据集在所述多层感知器、卷积神经网络、全连接层及SoftMax激活函数组成的深度学习网络进行训练建模，对训练结果进行决策融合，选择最优参数，得到注意力评估模型。
S423步骤后得到一个评估值，然后使用这个评估值及步骤S30中的已经标记好的数据集，输入到如图10中所示的由多层感知器(MLP)、卷积神经网络(CNN)、维度融合(Concatenate)、全连接层(FC)和SoftMax激活函数组成的深度学习网络进行再次训练建模，并进行决策融合，选择最优参数。训练的时候要根据最终评估值和数据集中临床诊断标记的值进行对比，如果训练过程中发现和原数据集结果一致较多，达到一定准确率，就选择这次训练给网络赋予的参数形成一个注意力评估模型，有新的用户数据进入时，就会输入此深度学习网络使用选择的参数进行计算，得到评估结果。
训练建模即对模型进行训练，模型训练是通过不断训练、验证和调优，让模型达到最优的一个过程。本发明采用深度学习网络进行学习训练时将数据集划分成训练集和测试集，进行模型训练和模型测试。模型训练过程是寻找一组参数，构成决策边界，最优的决策边界即是模型拟合能力与泛化能力的平衡点。
即本发明的多个模态数据在特征提取之后，在决策融合得到注意力评估模型步骤中，需要经过两次深度学习训练，第一次是各个生理数据对应的模态和深层次共有特征对应的模态分别采用MLP、CNN神经网络进行学习训练，并经过全连接层(FC)学习模型和SoftMax激活函数得到一个评估值，第二次是将第一次深度学习训练得到的评估值和已标记的数据集，再次输入该深度学习网络，即MLP、CNN、Concatenate、FC和SoftMax函数组成的网络中进行模型的学习训练，进行决策融合后赋予包含权重的最优参数而得到注意力评估模型。两次深度学习训练使得最终得到的注意力评估模型更加准确。
本发明的多模态生理数据融合的注意力评估方法，精准评估并辅助诊断儿童ADHD患者，节省医疗资源。在复旦大学附属儿科医院的第二轮临床试验中，对41位健康儿童和54位ADHD儿童的实验结果发现，在脑电波、眼动、任务表现、动作轨迹等186个生物指标的检测中，有87个显著指标。通过人工智能及深度学习建立儿童ADHD诊断/评估模型，诊断的准确率高达93％。
本发明基于VR的多模态融合注意力评估方法通过采集VR注意力测试场景内用户的数据作为支撑，去除背景噪声，并且做标准化处理，再使用神经网络提取特征，采用子网络的加权组合，以便每个输入模态可以对输出预测有一个学习贡献，还能在时间空间域上提取整个过程的行为和生理数据特征进行融合，不同模态的信息，内部存在相似性，利用深度神经网络的分布式表征的特点，使得我们有可能在某些层进行联合训练，找出共同的表征，可以通过多模态的关系建模实现预测推理过程。
本发明基于临床诊断内容，虚拟现实、人工智能、可穿戴传感、5G/物联网等五大核心技术，提出多模态生理数据融合的注意力评估诊断方法，通过虚拟现实场景唤醒用户潜意识行为，融合多模态生理数据与用户行为数据，充分利用医院的临床试验小样本数据，并结合大样本公开数据集建立评估诊断模型，达到精准评估并辅助诊断注意力障碍患者，节省医疗资源的目的。
本发明的方法涉及虚拟现实技术、生理与行为数据处理和融合、深度学习技术领域，通过在虚拟现实环境中完成基于临床量表设计的注意力测试任务，并收集脑波、眼球轨迹、头部轨迹以及肢体动作的多源生理数据，然后运用信号处理和机器学习/深度学习方法，建立任务表现以及生理行为等多模态数据的融合机制，集成多种模态的互补信息，建立有临床意义的评估注意力的自动化评估/辅助诊断模型。此方法充分利用医院的临床试验小样本数据，并结合大样本公开数据集，将各模态数据进行时空融合对齐，从而尽可能消除模态间的不匹配问题，进而能获得更全面的特征，提高模型的准确性和鲁棒性，并且保证模型在某些模态缺失时仍能有效工作，可以灵活应用到注意力缺陷以及多动障碍的自动化评估/辅助诊断以及训练系统。
本发明还提出一种基于VR的多模态融合注意力评估系统，所述系统包括存储器、处理器及存储在所述存储器中并被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时，实现上述的基于VR的多模态融合注意力评估方法。
示例性的，所述计算机程序可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器中，并由所述处理器执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在所述异步消息处理终端设备中的执行过程。
所述系统可包括但不仅限于处理器、存储器。本领域技术人员可以理解，上述部件仅仅是基于系统的示例，并不构成对系统的限定，可以包括比上述更多或更少的部件，或者组合某些部件，或者不同的部件，例如系统还可以包括输入输出设备、网络接入设备、总线等。
所称处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述设备的控制中心，利用各种接口和线路连接整个系统的各个部分。
所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述设备的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据使用所创建的数据(比如音频数据、电话本等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
本发明还提出一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，所述计算机程序被执行时上述的基于VR的多模态融合注意力评估方法。
本发明的基于VR的多模态融合注意力评估方法集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。本发明计算机可读存储介质具体实施方式与上述基于虚拟现实的注意力评估与训练方法各实施例基本相同，在此不再赘述。
需说明的是，以上所描述的实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外，本发明提供的实施例附图中，模块之间的连接关系表示它们之间具有通信连接，具体可以实现为一条或多条通信总线或信号线。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是在本发明的发明构思下，利用本发明说明书及附图内容所作的等效结构变换，或直接/间接运用在其他相关的技术领域均包括在本发明的专利保护范围内。

Claims (10)

1.一种基于VR的多模态融合注意力评估方法，其特征在于，包括下述步骤：
S10，数据采集：分别采集用户在VR注意力测试场景内三个阶段的多种生理数据和行为数据，所述VR注意力测试场景中的三个阶段包括放松阶段、测试无干扰阶段、测试有干扰阶段，所述VR注意力测试场景内三个阶段的测试内容根据注意力临床诊断量表设计；
S20，信号预处理：对所述多种生理数据和行为数据进行分割，并对生理数据进行滤波、去信号干扰处理；
S30，特征提取：对所述预处理后的多种生理数据和行为数据进行特征提取，每一种生理数据的特征作为一个模态，行为数据的特征作为一个模态，得到多个模态，并根据临床诊断结果对所述多个模态进行标记，形成标记数据集；
S40，多模态融合及评估模型建立，包括：
S41，将所述多个模态进行特征融合，联合成一个特征向量，将该特征向量通过自编码器进行深度学习训练，提取各模态的深层次特征，对所述各模态的深层次特征进行联合训练提取出深层次共有特征作为一个新的模态；
S42，将所述不同模态的生理数据特征和深层次共有特征使用不同类型的神经网络进行学习训练，产生每个单模态对应的评估模型，并将每个单模态对应的评估模型结果融合成一个决策向量，所述决策向量经过全连接层和SoftMax激活函数，输出最终的评估值，使用已标记的数据集及所述评估值，在所述不同类型的神经网络及全连接层和SoftMax激活函数组成的深度学习网络进行训练建模，并进行决策融合，选择最优参数，得到注意力评估模型，所述注意力评估模型用于注意力评估。
2.根据权利要求1所述的方法，其特征在于，所述多种生理数据包括脑电数据、心电数据、皮肤电数据和眼动数据，所述行为数据包括任务表现数据和肢体运动数据。
3.根据权利要求1所述的方法，其特征在于，所述VR注意力测试场景中放松阶段采集的生理数据为静息态生理数据，所述VR注意力测试场景中的测试无干扰阶段、测试有干扰阶段采集的生理数据为训练态生理数据，所述信号预处理中以所述静息态生理数据为基线，将所述训练态生理数据与所述基线相减后得到特征提取用的生理数据。
4.根据权利要求3所述的方法，其特征在于，所述特征提取包括：
S31，对VR注意力测试场景内三个阶段的多种生理数据和行为数据采用时域特征、频域特征及非线性特征进行提取；
S32，将静息态生理数据和训练态生理数据，采用K-S检测法进行分布情况的检测；
S33，采用Signed-rank检验法对所述分布情况进行统计，检测用户在VR注意力测试场景中的测试无干扰阶段、测试有干扰阶段生理数据的自身差异；
S34，选取差异显著特征作为敏感特征用于后续多模态融合。
5.根据权利要求1所述的方法，其特征在于，所述步骤S42包括：
S421，所述生理数据特征、深层次共有特征采用多层感知器进行训练，所述行为数据包括图像数据，所述图像数据特征采用卷积神经网络进行训练；
S422，对训练后的中间特征进行维度融合；
S423，将所述维度融合后的特征统一经过全连接层和SoftMax激活函数，输出最终的评估值；
S424，对所述最终的评估值、已标记的数据集在所述多层感知器、卷积神经网络、全连接层及SoftMax激活函数组成的深度学习网络进行训练建模，对训练结果进行决策融合，选择最优参数，得到注意力评估模型。
6.根据权利要求1所述的方法，其特征在于，所述信号预处理中生理数据的分割包括连续记录预设时间内的脑电、心电、皮肤电和眼动四种模态的生理数据，把生理数据分为静息态数据和训练态数据，并取静息态数据的最后一分钟的数据作为基线，将训练态数据与基线相减；
所述滤波包括采取滤波器将直流、市电和高频噪声滤除；
所述去信号干扰包括采用ICA和PCA去除信号干扰。
7.按照权利要求1所述的方法，其特征在于，所述VR注意力测试场景设置有选择性注意力测试、持续性注意力测试以及执行功能测试。
8.按照权利要求1所述的方法，其特征在于，所述测试有干扰阶段内的干扰包括视觉干扰、听觉干扰、嗅觉干扰、综合性干扰。
9.一种系统，其特征在于，所述系统包括存储器、处理器及存储在所述存储器中并被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时，实现如权利要求1-8任一项所述的基于VR的多模态融合注意力评估方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，所述计算机程序被执行时实现如权利要求1-8任一项所述的基于VR的多模态融合注意力评估方法。
CN202211004249.0A 2022-08-22 2022-08-22 基于vr的多模态融合注意力评估方法、系统及存储介质 Pending CN115329818A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211004249.0A CN115329818A (zh) 2022-08-22 2022-08-22 基于vr的多模态融合注意力评估方法、系统及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211004249.0A CN115329818A (zh) 2022-08-22 2022-08-22 基于vr的多模态融合注意力评估方法、系统及存储介质

Publications (1)

Publication Number Publication Date
CN115329818A true CN115329818A (zh) 2022-11-11

Family

ID=83926966

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211004249.0A Pending CN115329818A (zh) 2022-08-22 2022-08-22 基于vr的多模态融合注意力评估方法、系统及存储介质

Country Status (1)

Country Link
CN (1) CN115329818A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115906002A (zh) * 2022-11-30 2023-04-04 华中师范大学 一种基于多粒度数据融合的学习投入状态评估方法
CN115994713A (zh) * 2023-03-22 2023-04-21 中国人民解放军火箭军工程大学 一种基于多源数据的操作训练效果评估方法及系统
CN117033944A (zh) * 2023-08-23 2023-11-10 深圳市花生数字多媒体有限公司 一种基于脑机接口和虚拟现实的训练方法和系统

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115906002A (zh) * 2022-11-30 2023-04-04 华中师范大学 一种基于多粒度数据融合的学习投入状态评估方法
CN115906002B (zh) * 2022-11-30 2024-01-16 华中师范大学 一种基于多粒度数据融合的学习投入状态评估方法
CN115994713A (zh) * 2023-03-22 2023-04-21 中国人民解放军火箭军工程大学 一种基于多源数据的操作训练效果评估方法及系统
CN117033944A (zh) * 2023-08-23 2023-11-10 深圳市花生数字多媒体有限公司 一种基于脑机接口和虚拟现实的训练方法和系统

Similar Documents

Publication Publication Date Title
Seal et al. DeprNet: A deep convolution neural network framework for detecting depression using EEG
Gjoreski et al. Machine learning and end-to-end deep learning for the detection of chronic heart failure from heart sounds
US11627903B2 (en) Method for diagnosing cognitive disorder, and computer program
Khan et al. Early detection of hemodynamic responses using EEG: a hybrid EEG-fNIRS study
KR102221264B1 (ko) 인간 감정 인식을 위한 딥 생리적 정서 네트워크를 이용한 인간 감정 추정 방법 및 그 시스템
CN110070105B (zh) 基于元学习实例快速筛选的脑电情绪识别方法、系统
CN115329818A (zh) 基于vr的多模态融合注意力评估方法、系统及存储介质
Klug et al. The BeMoBIL Pipeline for automated analyses of multimodal mobile brain and body imaging data
Torres et al. Evaluation of interpretability for deep learning algorithms in EEG emotion recognition: A case study in autism
Long et al. A scoping review on monitoring mental health using smart wearable devices
Schwarz et al. Direct comparison of supervised and semi-supervised retraining approaches for co-adaptive BCIs
Rajwal et al. Convolutional neural network-based EEG signal analysis: A systematic review
Amin et al. A wearable exam stress dataset for predicting grades using physiological signals
Xia et al. Dynamic viewing pattern analysis: towards large-scale screening of children with ASD in remote areas
Ozkan et al. Classification of BCI users based on cognition
Balaji et al. A framework for pervasive and ubiquitous geriatric monitoring
Anju et al. Recent survey on Parkinson disease diagnose using deep learning mechanism
Gavrishchaka et al. Multi-complexity ensemble measures for gait time series analysis: Application to diagnostics, monitoring and biometrics
Mekruksavanich et al. Deep learning approaches for epileptic seizures recognition based on eeg signal
CN115240241A (zh) 针对路桥工程场景的情绪识别方法及装置
KR102341937B1 (ko) 일상생활에서 발생하는 감정 변화 원인을 파악하는 방법 및 그 시스템
CN110008874B (zh) 数据处理方法及其装置、计算机系统及可读介质
Sanamdikar et al. Classification of ECG Signal for Cardiac Arrhythmia Detection Using GAN Method
Nouri et al. A new approach to feature extraction in MI-based BCI systems
Baray et al. EOG-Based Reading Detection in the Wild Using Spectrograms and Nested Classification Approach

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination