CN115607156A - 基于多模态的心理认知筛查测评方法、系统及存储介质 - Google Patents

基于多模态的心理认知筛查测评方法、系统及存储介质 Download PDF

Info

Publication number
CN115607156A
CN115607156A CN202211290037.3A CN202211290037A CN115607156A CN 115607156 A CN115607156 A CN 115607156A CN 202211290037 A CN202211290037 A CN 202211290037A CN 115607156 A CN115607156 A CN 115607156A
Authority
CN
China
Prior art keywords
psychological
scale
screening
emotion recognition
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211290037.3A
Other languages
English (en)
Other versions
CN115607156B (zh
Inventor
郭景桓
罗珮芬
翁鼎钧
陈俊玮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiamen Zhugeliang Technology Co ltd
Original Assignee
Xiamen Zhugeliang Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiamen Zhugeliang Technology Co ltd filed Critical Xiamen Zhugeliang Technology Co ltd
Priority to CN202211290037.3A priority Critical patent/CN115607156B/zh
Publication of CN115607156A publication Critical patent/CN115607156A/zh
Application granted granted Critical
Publication of CN115607156B publication Critical patent/CN115607156B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/0205—Simultaneously evaluating both cardiovascular conditions and different types of body conditions, e.g. heart and respiratory condition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/162—Testing reaction times
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/20—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for electronic clinical trials or questionnaires
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Theoretical Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Psychiatry (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Cardiology (AREA)
  • Educational Technology (AREA)
  • Developmental Disabilities (AREA)
  • Hospice & Palliative Care (AREA)
  • Physiology (AREA)
  • Evolutionary Computation (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Psychology (AREA)
  • Databases & Information Systems (AREA)
  • Social Psychology (AREA)
  • Child & Adolescent Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Data Mining & Analysis (AREA)
  • Pulmonology (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本发明公开了一种基于多模态的心理认知筛查测评方法、系统及存储介质，所述方法包括向用户端发送一心理筛查量表问题，获取用户端输入的当前问题的答题结果，同时采集用户答题时的多种生理数据，依据所述多种生理数据进行多模态融合情绪识别，得到用户回答当前问题时的情绪识别结果，将所述答题结果与所述情绪识别结果进行比对，并根据比对结果动态调整向所述用户端发送的下一心理筛查量表问题，循环上述步骤，直至完成心理筛查量表的答题流程，后生成心理认知测评报告。本发明避免被测人员在量表答题时掩饰作假，提高心理认知筛查测评的准确性和真实性，同时测评过程智能化，减小了医生工作量，提升效率。

Description

基于多模态的心理认知筛查测评方法、系统及存储介质
技术领域
本发明涉及心理认知智能评估技术领域，尤其涉及一种基于多模态的心理认知筛查测评方法、系统及存储介质。
背景技术
当今社会人们的压力越来越大，过大的压力会使人产生抑郁倾向，严重影响人们的学习、工作和生活。心理问题如抑郁、焦虑在人们的生活中普遍存在，其主要表现为心情低落、注意偏差、记忆力降低等等。目前常见的心理健康筛查方法通常为医生向被测人员发放心理健康筛查量表，如《状况自评表SCL90》、《伯恩斯抑郁状况自查表》等等，然后医生根据量表结果进行评估。现有的心理健康评估主要是基于自评问卷和结构化访谈，通过面对面的人际互动模式从被评估者处获取数据信息，并以此来评估被评估者的心理健康状况。
现有的心理认知健康筛查测评方式存在如下问题：
1、需要专业的医生进行评估，效率低。
2、被测人员在量表答题过程中其答题结果并不能真实反应被测人员的心理状态，如被测人员本身的状态是“紧张”，但是被测人员可能选择量表问题的答案是“不紧张”等。即被测人员可能掩饰地选择不真实的答案进行答题，这样导致最后并不能得到准确的心理认知测评结果。
因此，现有技术还有待发展。
发明内容
鉴于上述现有技术的不足之处，本发明的目的在于提出一种基于多模态的心理认知筛查测评方法、方法及存储介质，旨在避免被测人员在量表答题时掩饰作假，提高心理认知筛查测评的准确性和真实性，同时测评过程智能化，减小了医生工作量，提升效率。
为实现上述目的，本发明采取了以下技术方案：
第一方面，本发明提出一种基于多模态的心理认知筛查测评方法，其中，包括下述步骤：
S10，向用户端发送一心理筛查量表问题；
S20，获取用户端输入的当前问题的答题结果，同时采集用户答题时的多种生理数据；
S30，依据所述多种生理数据进行多模态融合情绪识别，得到用户回答当前问题时的情绪识别结果；
S40，将所述答题结果与所述情绪识别结果进行比对，并根据比对结果动态调整向所述用户端发送的下一心理筛查量表问题；
S50，循环步骤S20～S40，直至完成心理筛查量表的答题流程，根据所述心理筛查量表的测试结果及所述生理数据生成心理认知测评报告。
其中，所述步骤S40包括：
S41，判断当前的心理筛查量表问题是否是情绪类问题；
S42，若是，则进入步骤S43，若不是，则进入步骤S46；
S43，将当前的所述答题结果与所述情绪识别结果进行比对；
S44，若当前的答题结果与所述情绪识别结果相同，则进入步骤S46；
S45，若当前的答题结果与所述情绪识别结果不相同，则推送心理筛查量表上与所述情绪识别结果对应的分支问题；
S46，推送心理筛查量表上与答题结果对应的分支问题。
其中，所述多种生理数据包括眼动数据、心率数据、面部表情数据。
其中，所述步骤S30中的依据所述生理数据进行多模态融合情绪识别包括：
S31，特征提取：
对作答量表时采集的每种生理数据分别使用神经网络进行特征提取，并对提取到的特征进行标记，得到标记数据集；
S32，多模态融合：
将多种生理数据提取后的特征进行特征融合及决策融合得到决策向量；
S33，建立情绪识别模型：
将所述决策向量及所述标记数据集通过SoftMax模型进行训练建模，得到情绪识别模型。
其中，所述步骤S32多模态融合包括：
S321，将每种生理数据提取的特征进行作为一个输入模态，将所有的输入模态进行特征融合，得到特征向量，并将所述特征向量通过机器学习模型进行分类提取深层次共有特征；
S322，将每种生理数据提取的特征和所述深层次共有特征分别作为多个输入模态，分别输入到不同类型的机器学习模型进行分类，对各个模态的分类结果进行决策融合，得到决策向量。
其中，所述测评报告包括用户个人信息、量表总分、各维度得分、各种情绪所占比例、预警等级。
其中，所述维度包括维度躯体化、强迫症状、人际关系敏感、抑郁、焦虑、敌对、恐怖、偏执、精神病性。
其中，在步骤S50之后还包括：
在同一用户的多次的心理筛查量表的测试结果中提取心理特征形成个人心理健康变化趋势及心理特征画像。
第二方面，本发明提出一种系统，其中，所述系统包括量表平台、传感器单元、动态测评单元、及测评报告单元，所述动态测评单元连接所述量表平台、传感器单元及测评报告单元；
所述量表平台用于显示心理筛查量表问题并获取用户输入的答题结果；
所述传感器单元用于采集用户答题时的多种生理数据；
所述动态测评单元用于依据所述生理数据进行多模态融合情绪识别，得到用户回答当前问题时的情绪识别结果，将所述答题结果与所述情绪识别结果进行比对，并根据比对结果自动调整所述量表平台向用户显示的下一心理筛查量表问题；
所述测评报告单元用于生成心理认知测评报告并发送至量表平台进行显示。
第三方面，本发明提出一种计算机可读存储介质，其中，所述计算机可读存储介质中存储有计算机程序，所述计算机程序被执行时实现上述的基于多模态的心理认知筛查测评方法。
本发明的基于多模态的心理认知筛查测评方法，通过获取用户端输入的答题结果及用户答题时的多种生理数据，并根据多种生理数据进行多模态融合情绪识别，然后将当前的答题结果与情绪识别结果进行比对，依据比对结果自动地、动态地调整向用户端发送的下一心理筛查量表问题，最后依据心理筛查量表的测试结果及采集的生理数据生成心理认知测评报告。本发明的方法能够获取用户答题时的真实情绪，并依据该真实情绪与当前的答题结果的比对结果动态的调整心理筛查量表问题，避免了用户掩饰虚假答题而影响心理筛查量表问题的分支走向，提高心理认知筛查测评报告的真实性与准确性，同时采用多模态数据融合对用户情绪进行预测识别，相对于单一模态数据的情绪识别准确度更高，整个测评过程自动化，智能化，提高效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。
图1为本发明基于多模态的心理认知筛查测评方法的流程示意图；
图2为本发明方法步骤S30的流程示意图；
图3为本发明方法步骤S32的流程示意图；
图4为本发明方法中多模态融合的流程示意图；
图5为本发明方法步骤S40的流程示意图；
图6为本发明心理认知测评报告的第一示意图；
图7为本发明心理认知测评报告的第二示意图；
图8为本发明基于多模态的心理认知筛查测评系统示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参考图1，本发明提出了一种基于多模态的心理认知筛查测评方法，包括下述步骤：
S10，向用户端发送一心理筛查量表问题。
用户端用于和用户进行交互，用户端具有输出装置和输入装置，输出装置如显示屏，输入装置如键盘、鼠标等，或直接采用触摸屏。心理筛查量表的问题在用户端进行显示，用户看到心理筛查量表问题后进行答题。
用户端可以是智能手机、平板等设备。用户在答题之前通过用户端输入自己的用户信息，如姓名、性别、年龄等，并建立用户自己的账户。
心理筛查量表包括抑郁量表(PHQ-9)、焦虑量表(HAMA)、人格量表(SCL-90)等。
S20，获取用户端输入的当前问题的答题结果，同时采集用户答题时的多种生理数据。
获取用户在用户端输入的当前心理筛查量表问题的结果。同时采集用户答题上的多种生理数据。
本发明实施例中，所述多种生理数据包括用户答题时的眼动数据、心率数据、面部表情数据。眼动数据、心率数据、面部表情数据的采集使用对应的传感器设备进行采集。如眼动数据使用眼动追踪传感器采集，心率数据使用心电传感器采集，面部表情数据使用面部动作捕捉传感器或相机进行采集。或者本发明采用深度摄像头采集眼动数据、心率数据、面部表情数据。
S30，依据所述多种生理数据进行多模态融合情绪识别，得到用户回答当前问题时的情绪识别结果。
眼动数据、心率数据、面部表情数据属于不同模态的数据，多模态融合情绪识别是将多种不同模态的数据采用人工智能进行融合及识别，得到用户答题时的真实情绪。这样可以避免用户在答题过程是的掩饰性的虚假答题，以保证后测评报告的准确性。
同时，本发明发方法采用多模态融合，将包含两种及以上不同形式或不同来源的数据进行融合，不同模态数据存在互补作用，能提供更多的解释信息，通过融合多模态数据并对其用户的表情进行理解，可实现对用户表情识别的更加全面和准确。
具体地，如图2所示，本发明方法步骤S30中的依据所述生理数据进行多模态融合情绪识别包括：
S31，特征提取：
对作答量表时采集的每种生理数据分别使用神经网络进行特征提取，并对提取到的特征进行标记，得到标记数据集。
由于传感器采集的原始数据不易于分析融合，因此可通过特征提取对其进行量化，以挖掘更全面的信息。本发明中，分别对用户答题时的眼动数据、心率数据、面部表情数据进行特征提取。
特征提取可以采用多种方式，如时域特征提取、频域特征特取、时频域特征提取，线性特征提取、非线性特征提取等。
本发明采用神经网络对各生理数据进行特征提取，神经网络能自主学习相关特征，提高特征提取的效率与准确度。如图4中所示，本发明实施例采用DNN(Deep NeuralNetwork):深度神经网络、CNN(Convolutional Neural Network):卷积神经网络对各生理数据进行提取。具体地对眼动数据、心率数据、面部表情数据中的非图像数据采用DNN网络提取特征，对眼动数据、心率数据、面部表情数据中的图像数据采用CNN网络提取特征。
本发明实施例对用户答题时心率生理信号提取包括如下特征，如下表1。
表1：心率提取特征
Figure BDA0003901013300000071
Figure BDA0003901013300000081
本发明实施例对用户答题时的眼动信号提取包括如下特征，如下表2。
表2：眼动提取特征
Figure BDA0003901013300000082
特征提取的过程可以采用对应的算法进行提取。作为一种实施方式，所述眼动信号还可以提取出目标区注视比例特征。
作为一种方式，本发明实施例对用户答题时面部表情的几何特征进行提取：主要是对人脸表情的显著特征，如眼睛、眉毛、嘴巴等的位置变化进行定位、测量，并提取到其大小、距离、形状及相互比例等特征。同时还可以对面部肌肉的纹理、皱褶等特征进行提取。
在特征提取后，每一种生理数据的特征作为一个模态，作为后续的多模态融合及建模的输入，本发明在特征提取后，根据临床的实验结果对所述数据特进行标记，得到标记数据集。
根据临床的统计结果，由于开心时，眼动特征的每秒凝视时间明显高于伤心时，可设定每秒凝视时间超过0.40的特征，标记为开心，反之则为伤心；对于心律变异度(HeartRate Variability,HRV)来说，若进行频谱分析，正向情绪有较多的高频成份(HF)，较少的低频成份(LF)，因此可透过低频/高频成份比值(LF/HF)来观察测试者处于正向(开心)情绪，还是负向(伤心)情绪。一般而言，可设定LF/HF未满1者，标记结果为开心，反之则为伤心。表情特征可根据面部的关键点建立识别规则，例如侦测到嘴角上扬，标记结果为开心，若嘴角向下眉头上扬，则标记为伤心等。
S32，多模态融合：
将多种生理数据提取后的特征进行特征融合及决策融合得到决策向量。
多模态融合利用不同形式的原始数据，在不同特征空间抽取有用特征，同时希望保留多模态的互补特质，并且去除冗余信息。
特征融合是前端融合，是把不同的特征联合起来，融合成一个单一的特征向量；决策融合是后端融合，是不同模态数据分别训练好的分类器(模型)输出结果进行融合。
如图3所示，本发明方法中步骤S32的多模态融合包括：
S321，将每种生理数据提取的特征进行作为一个输入模态，将所有的输入模态进行特征融合，得到特征向量，并将所述特征向量通过机器学习模型进行分类提取深层次共有特征。
本发明实施例中，将所有的生理数据的特征作为输入模态，然后输入神经网络进行特征融合得到特征向量。如图4中，采用DNN融合(深度神经网络融合)，融合后所有的生理数据特征成为一个特征向量。
同时，不同模态的生理数据，内部存在相似性，本发明利用机器学习模型的分布式表征的特点，在某些层进行联合训练，找出不同模态数据共同的表征作，即深层次共有特征为一个新的模态。
本发明实施例中，通过自编码器(Autoencoder，AE)提取深层次共有特征。
自编码器将不同的模态数据先转化为高维特征表达，再于模型的中间层进行融合，这样可以获取不同模态数据在高维空间上的共性。可构建一个深度自编码器对多模态生理特征进行深度融合编码，输入数据中的这自动编码器常用于降维或特征学习，向自编码器强加一些约束，从而有选择提取有用特征，得到主要特征用于分类识别，而自编码器的中间隐藏层就是深层次共有特征作，并标上相应标签。
特征融合的优点是简单高效，维度可对齐，从而尽可能消除模态间的不匹配问题，提高后续评估模型的精度。
S322，将每种生理数据提取的特征和所述深层次共有特征分别作为多个输入模态，分别输入到不同类型的机器学习模型进行分类，对各个模态的分类结果进行决策融合，得到决策向量。
不同种类的生理数据的特征作为不同的模态，深层次共有特征也作为一个模态，采用各自的机器学习模型进行学习训练，并将每个单模态的分类结果进行决策融合成为一个决策向量作为输出。
决策融合就是不同模态数据分别训练好的分类器输出结果进行融合，如图4中所示，决策融合也采用DNN融合(深度神经网络融合)，常见的后端融合方式包括最大值融合、平均值融合、贝叶斯规则融合以及集成学习等。
决策融合的优点在于从每个模式获得的决策的融合变得更加容易，每个模态都可以利用其最合适的分类模型来学习其特征，以便每个输入模态可以对输出预测有一个学习贡献。由于数据来自不同的学习器，当有错误发生时，就不会造成错误的累加，保证模型在某些模态缺失时仍能有效工作，提高了注意力评估模型的鲁棒性。
S33，建立情绪识别模型：
将所述决策向量及所述标记数据集通过SoftMax模型进行训练建模，得到情绪识别模型。
眼动数据、心率数据、面部表情数经过多模态融合后得到决策向量，再结合前面标记的数据集，然后采用SoftMax模型进行训练建模，得到情绪识别模型。向情绪识别模型输入答题时的生理数据特征，即可预测用户答题时的真实情绪，如“开心”、“伤心”等情绪识别结果。
S40，将所述答题结果与所述情绪识别结果进行比对，并根据比对结果动态调整向所述用户端发送的下一心理筛查量表问题。
具体地，如图5所示，所述步骤S40包括：
S41，判断当前的心理筛查量表问题是否是情绪类问题。
心理筛查量表问题中包括情绪类问题及非情绪类问题。
S42，若是，则进入步骤S43，若不是，则进入步骤S46。
S43，将当前的所述答题结果与所述情绪识别结果进行比对。
将当前的所述答题结果与经过多模态情绪识别后的情绪识别结果进行比对。
S44，若当前的答题结果与所述情绪识别结果相同，则进入步骤S46。
若当前的答题结果与所述情绪识别结果相同，则说明用户没有掩饰答题，则可按照正常的心理筛查量表上与答题结果对应的分支问题流程进行答题。
S45，若当前的答题结果与所述情绪识别结果不相同，则推送心理筛查量表上与所述情绪识别结果对应的分支问题。
若当前的答题结果与所述情绪识别结果不相同，则说明用户在掩饰答题，其选择的答案并不能真实对应答题时的情绪。如果按照用户选择的答案推送心理筛查量表上与答题结果对应的分支问题，则不能得到真实的测评结果，故此时选择与情绪识别结果对应的心理筛查量表上的分支问题。
S46，推送心理筛查量表上与答题结果对应的分支问题。
步骤S40用于发送到用户端的心理筛查量表问题的跳转逻辑。如果量表中有题目问的是情绪类的问题，就使用多模态情绪识别的结果进行下一问题的跳转；如果题目不是情绪类问题，就使用用户回答的答题结果进行下一问题的跳转。比如，心理筛查量表的当前问题是：“你现在的情绪是怎样的”，如果作答结果是“开心”，多模态情绪识别结果也是“开心”，则以作答结果“开心”对应的量表分支推送下一问题；如果量表作答结果与多模态情绪识别结果不一致，则以多模态情绪识别结果为准。比如，心理筛查量表的当前问题是“你现在的情绪是怎样的”，如果作答结果是“开心”，多模态情绪识别结果是“伤心”，则以多模态情绪识别结果“伤心”对应的量表分支推送下一问题。
即本发明方法在答题过程中会依据用户答题时的真实情绪自动地，动态地调整向所述用户端发送的下一心理筛查量表问题，以保证答题的真实性，从而保证后续测评结果的准确性。
S50，循环步骤S20～S40，直至完成心理筛查量表的答题流程，根据所述心理筛查量表的测试结果及所述生理数据生成心理认知测评报告。
心理筛查量表的测试结果包括量表分值，与分值对应的等级等。
作为一种实施方式，本发明的生成心理认知测评报告如图7和图8所示。
优选地，所述测评报告包括用户个人信息、量表总分、各维度得分、各种情绪所占比例、预警等级。
这样用户可以非常清楚、直观地了解自己的心理健康状况。
所述维度包括维度躯体化、强迫症状、人际关系敏感、抑郁、焦虑、敌对、恐怖、偏执、精神病性等。这样用户可以对每一维度进行细化了解。
进一步，本发明方法在步骤S50之后还包括：
在同一用户的多次的心理筛查量表的测试结果中提取心理特征形成个人心理健康变化趋势及心理特征画像。这样便于医生快速了解的用户的心理健康变化趋势，以便于及时进行干预。
本发明的基于多模态的心理认知筛查测评方法，涉及生理数据处理和融合、深度学习技术领域，可以通过在平板上完成临床量表，并收集眼球轨迹、表情及心率的生理数据，然后运用信号处理和机器学习/深度学习方法，建立多模态数据的融合机制，集成多种模态的互补信息，建立心理认知筛查的动态测评模型。本发明的方法将眼球轨迹、微表情等多种生物信息经数据处理、融合，通过多模态大数据模型，客观、高效的进行心理认知功能的筛查和风险预测，以此很好的弥补了常规心理筛查测试主观性强、可掩饰性强等问题。另外操作简单，量表动态、测试时长短，结果即时可出，可针对中高发的抑郁情绪进行风险测试，测试结果准确性、科学性都较高，可以为心理干预提供针对性的参考。
本发明的基于多模态的心理认知筛查测评方法采用直接、非侵入的辅助诊断手段，真实反映使用者作答量表时的注意、情绪等心理活动，动态调整问题，有效解决专业医生数量缺口大、自我报告测评效度低、对重点人群心理健康缺乏有效预警机制等问题。
如图8所示，本发明还提出一种系统，所述系统包括量表平台100、传感器单元200、动态测评单元300、及测评报告单元400，所述动态测评单元300连接所述量表平台100、传感器单元200及测评报告单元300。
所述量表平台100用于显示心理筛查量表问题并获取用户输入的答题结果。
量表平台100用于和用户进行交互，量表平台100具有输出装置和输入装置，输出装置如显示屏，输入装置如键盘、鼠标等，或直接采用触摸屏。心理筛查量表的问题在用户端进行显示，用户看到心理筛查量表问题后进行答题。
量表平台100包括常用心理筛查量表模块以及管理模块，心理筛查量表模块用于显示心理筛查量表。
管理模块包括管理基础用户数据、管理测评任务、管理测评报告及管理心理档案。
管理基础用户数据包括平台中所有用户帐号的管理，基本用户信息的维护，对接认证系统等；
管理测评任务包括发布测评任务，并实时查看测评进度、预警情况等信息
管理测评报告包括查看所有测评的报告，包括各层次的团体报告及个人报告
管理心理档案包括在每次测评中提取心理特征形成个人心理健康变化趋势及心理特征画像。
所述传感器单元200用于采集用户答题时的多种生理数据。具体地，传感器单元200用于采集用户答题时的眼动数据、心率数据、面部表情数据。
所述动态测评单元300用于依据所述生理数据进行多模态融合情绪识别，得到用户回答当前问题时的情绪识别结果，将所述答题结果与所述情绪识别结果进行比对，并根据比对结果自动调整所述量表平台向用户显示的下一心理筛查量表问题。
本发明系统的动态测评单元300包括多模态数据融合模块与动态量表模块。多模态数据融合模块用过情绪的识别，动态量表模块则根据情绪识别结果及答题结果自动调整量表的问题。
所述测评报告单元400用于生成心理认知测评报告并发送至量表平台100进行显示。
本发明的系统中还包括存储器、处理器及存储在所述存储器中并被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时，实现上述的基于多模态的心理认知筛查测评方法。本发明实施例的存储器、处理器可配置在动态测评单元300。
示例性的，所述计算机程序可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器中，并由所述处理器执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在所述异步消息处理终端设备中的执行过程。
所述系统可包括但不仅限于处理器、存储器。本领域技术人员可以理解，上述部件仅仅是基于系统的示例，并不构成对系统的限定，可以包括比上述更多或更少的部件，或者组合某些部件，或者不同的部件，例如系统还可以包括输入输出设备、网络接入设备、总线等。
所称处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述设备的控制中心，利用各种接口和线路连接整个系统的各个部分。
所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述设备的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据使用所创建的数据(比如音频数据、电话本等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
本发明还提出一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，所述计算机程序被执行时上述的基于多模态的心理认知筛查测评方法。
本发明的基于多模态的心理认知筛查测评方法集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。本发明计算机可读存储介质具体实施方式与上述基于多模态的心理认知筛查测评方法各实施例基本相同，在此不再赘述。
需说明的是，以上所描述的实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外，本发明提供的实施例附图中，模块之间的连接关系表示它们之间具有通信连接，具体可以实现为一条或多条通信总线或信号线。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是在本发明的发明构思下，利用本发明说明书及附图内容所作的等效结构变换，或直接/间接运用在其他相关的技术领域均包括在本发明的专利保护范围内。

Claims (10)

1.一种基于多模态的心理认知筛查测评方法，其特征在于，包括下述步骤：
S10，向用户端发送一心理筛查量表问题；
S20，获取用户端输入的当前问题的答题结果，同时采集用户答题时的多种生理数据；
S30，依据所述多种生理数据进行多模态融合情绪识别，得到用户回答当前问题时的情绪识别结果；
S40，将所述答题结果与所述情绪识别结果进行比对，并根据比对结果动态调整向所述用户端发送的下一心理筛查量表问题；
S50，循环步骤S20～S40，直至完成心理筛查量表的答题流程，根据所述心理筛查量表的测试结果及所述生理数据生成心理认知测评报告。
2.根据权利要求1所述的方法，其特征在于，所述步骤S40包括：
S41，判断当前的心理筛查量表问题是否是情绪类问题；
S42，若是，则进入步骤S43，若不是，则进入步骤S46；
S43，将当前的所述答题结果与所述情绪识别结果进行比对；
S44，若当前的答题结果与所述情绪识别结果相同，则进入步骤S46；
S45，若当前的答题结果与所述情绪识别结果不相同，则推送心理筛查量表上与所述情绪识别结果对应的分支问题；
S46，推送心理筛查量表上与答题结果对应的分支问题。
3.根据权利要求1所述的方法，其特征在于，所述多种生理数据包括眼动数据、心率数据、面部表情数据。
4.根据权利要求1所述的方法，其特征在于，所述步骤S30中的依据所述生理数据进行多模态融合情绪识别包括：
S31，特征提取：
对作答量表时采集的每种生理数据分别使用神经网络进行特征提取，并对提取到的特征进行标记，得到标记数据集；
S32，多模态融合：
将多种生理数据提取后的特征进行特征融合及决策融合得到决策向量；
S33，建立情绪识别模型：
将所述决策向量及所述标记数据集通过SoftMax模型进行训练建模，得到情绪识别模型。
5.根据权利要求4所述的方法，其特征在于，所述步骤S32多模态融合包括：
S321，将每种生理数据提取的特征进行作为一个输入模态，将所有的输入模态进行特征融合，得到特征向量，并将所述特征向量通过机器学习模型进行分类提取深层次共有特征；
S322，将每种生理数据提取的特征和所述深层次共有特征分别作为多个输入模态，分别输入到不同类型的机器学习模型进行分类，对各个模态的分类结果进行决策融合，得到决策向量。
6.根据权利要求1所述的方法，其特征在于，所述测评报告包括用户个人信息、量表总分、各维度得分、各种情绪所占比例、预警等级。
7.根据权利要求6所述的方法，其特征在于，所述维度包括维度躯体化、强迫症状、人际关系敏感、抑郁、焦虑、敌对、恐怖、偏执、精神病性。
8.根据权利要求1所述的方法，其特征在于，在步骤S50之后还包括：
在同一用户的多次的心理筛查量表的测试结果中提取心理特征形成个人心理健康变化趋势及心理特征画像。
9.一种系统，其特征在于，所述系统包括量表平台、传感器单元、动态测评单元、及测评报告单元，所述动态测评单元连接所述量表平台、传感器单元及测评报告单元；
所述量表平台用于显示心理筛查量表问题并获取用户输入的答题结果；
所述传感器单元用于采集用户答题时的多种生理数据；
所述动态测评单元用于依据所述生理数据进行多模态融合情绪识别，得到用户回答当前问题时的情绪识别结果，将所述答题结果与所述情绪识别结果进行比对，并根据比对结果自动调整所述量表平台向用户显示的下一心理筛查量表问题；
所述测评报告单元用于生成心理认知测评报告并发送至量表平台进行显示。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，所述计算机程序被执行时实现如权利要求1-8任一项所述的基于多模态的心理认知筛查测评方法。
CN202211290037.3A 2022-10-21 2022-10-21 基于多模态的心理认知筛查测评方法、系统及存储介质 Active CN115607156B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211290037.3A CN115607156B (zh) 2022-10-21 2022-10-21 基于多模态的心理认知筛查测评方法、系统及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211290037.3A CN115607156B (zh) 2022-10-21 2022-10-21 基于多模态的心理认知筛查测评方法、系统及存储介质

Publications (2)

Publication Number Publication Date
CN115607156A true CN115607156A (zh) 2023-01-17
CN115607156B CN115607156B (zh) 2023-06-27

Family

ID=84865052

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211290037.3A Active CN115607156B (zh) 2022-10-21 2022-10-21 基于多模态的心理认知筛查测评方法、系统及存储介质

Country Status (1)

Country Link
CN (1) CN115607156B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117058718A (zh) * 2023-08-31 2023-11-14 江苏省疾病预防控制中心(江苏省公共卫生研究院) 一种问卷填写真实性评估处理方法和装置
CN117954100A (zh) * 2024-03-26 2024-04-30 天津市品茗科技有限公司 一种基于用户行为的认知能力测试和训练方法及系统

Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014033348A1 (en) * 2012-08-27 2014-03-06 Reflect Career Partners Oy Adjustable psychometric system
KR20170138222A (ko) * 2016-06-07 2017-12-15 원광대학교산학협력단 감정평가방법 및 장치
CN107799165A (zh) * 2017-09-18 2018-03-13 华南理工大学 一种基于虚拟现实技术的心理评估方法
CN108351862A (zh) * 2015-08-11 2018-07-31 科格诺亚公司 利用人工智能和用户输入来确定发育进展的方法和装置
US20180315063A1 (en) * 2017-04-28 2018-11-01 Qualtrics, Llc Conducting digital surveys that collect and convert biometric data into survey respondent characteristics
CN108780663A (zh) * 2015-12-18 2018-11-09 科格诺亚公司 数字个性化医学平台和系统
CN109157231A (zh) * 2018-10-24 2019-01-08 阿呆科技（北京）有限公司 基于情绪刺激任务的便携式多通道抑郁倾向评估系统
CN109805943A (zh) * 2017-11-20 2019-05-28 徐熠 一种基于微表情识别的智能评测系统及方法
WO2019109530A1 (zh) * 2017-12-08 2019-06-13 深圳壹账通智能科技有限公司 情绪识别方法、装置及存储介质
CN110090346A (zh) * 2019-05-14 2019-08-06 郝东 一种全景式心理咨询室及其咨询系统
CN110729047A (zh) * 2019-09-06 2020-01-24 杭州中威电子股份有限公司 基于人脸视频的心理生理分析与量表测试结合的装置及方法
US20200253527A1 (en) * 2017-02-01 2020-08-13 Conflu3Nce Ltd Multi-purpose interactive cognitive platform
CN112133407A (zh) * 2020-09-22 2020-12-25 田文洪 一种基于语音与表情的快速智能情绪测评分析方法
CN112168189A (zh) * 2020-10-28 2021-01-05 云南省第一人民医院 一种抑郁症程度量化的评估系统
CN112487873A (zh) * 2020-11-10 2021-03-12 枣庄学院 一种综合性中学生心理测评系统
CN112932486A (zh) * 2021-01-20 2021-06-11 安徽建筑大学 基于多模态的大学生情绪压力检测系统与方法
CN113080968A (zh) * 2021-03-29 2021-07-09 中国人民解放军联勤保障部队第九六〇医院 基于心率变异性的综合性心理状态测评系统

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014033348A1 (en) * 2012-08-27 2014-03-06 Reflect Career Partners Oy Adjustable psychometric system
CN108351862A (zh) * 2015-08-11 2018-07-31 科格诺亚公司 利用人工智能和用户输入来确定发育进展的方法和装置
CN108780663A (zh) * 2015-12-18 2018-11-09 科格诺亚公司 数字个性化医学平台和系统
KR20170138222A (ko) * 2016-06-07 2017-12-15 원광대학교산학협력단 감정평가방법 및 장치
US20200253527A1 (en) * 2017-02-01 2020-08-13 Conflu3Nce Ltd Multi-purpose interactive cognitive platform
US20180315063A1 (en) * 2017-04-28 2018-11-01 Qualtrics, Llc Conducting digital surveys that collect and convert biometric data into survey respondent characteristics
CN107799165A (zh) * 2017-09-18 2018-03-13 华南理工大学 一种基于虚拟现实技术的心理评估方法
CN109805943A (zh) * 2017-11-20 2019-05-28 徐熠 一种基于微表情识别的智能评测系统及方法
WO2019109530A1 (zh) * 2017-12-08 2019-06-13 深圳壹账通智能科技有限公司 情绪识别方法、装置及存储介质
CN109157231A (zh) * 2018-10-24 2019-01-08 阿呆科技（北京）有限公司 基于情绪刺激任务的便携式多通道抑郁倾向评估系统
CN110090346A (zh) * 2019-05-14 2019-08-06 郝东 一种全景式心理咨询室及其咨询系统
CN110729047A (zh) * 2019-09-06 2020-01-24 杭州中威电子股份有限公司 基于人脸视频的心理生理分析与量表测试结合的装置及方法
CN112133407A (zh) * 2020-09-22 2020-12-25 田文洪 一种基于语音与表情的快速智能情绪测评分析方法
CN112168189A (zh) * 2020-10-28 2021-01-05 云南省第一人民医院 一种抑郁症程度量化的评估系统
CN112487873A (zh) * 2020-11-10 2021-03-12 枣庄学院 一种综合性中学生心理测评系统
CN112932486A (zh) * 2021-01-20 2021-06-11 安徽建筑大学 基于多模态的大学生情绪压力检测系统与方法
CN113080968A (zh) * 2021-03-29 2021-07-09 中国人民解放军联勤保障部队第九六〇医院 基于心率变异性的综合性心理状态测评系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117058718A (zh) * 2023-08-31 2023-11-14 江苏省疾病预防控制中心(江苏省公共卫生研究院) 一种问卷填写真实性评估处理方法和装置
CN117954100A (zh) * 2024-03-26 2024-04-30 天津市品茗科技有限公司 一种基于用户行为的认知能力测试和训练方法及系统

Also Published As

Publication number Publication date
CN115607156B (zh) 2023-06-27

Similar Documents

Publication Publication Date Title
Dewan et al. Engagement detection in online learning: a review
CN115607156B (zh) 基于多模态的心理认知筛查测评方法、系统及存储介质
CN112133407A (zh) 一种基于语音与表情的快速智能情绪测评分析方法
CN108175425B (zh) 一种分析处理装置和潜能值测验的认知指标分析方法
Diego-Mas et al. The influence of each facial feature on how we perceive and interpret human faces
US20210345925A1 (en) A data processing system for detecting health risks and causing treatment responsive to the detection
Othmani et al. A model of normality inspired deep learning framework for depression relapse prediction using audiovisual data
US20240050006A1 (en) System and method for prediction and control of attention deficit hyperactivity (adhd) disorders
Moetesum et al. Deformation modeling and classification using deep convolutional neural networks for computerized analysis of neuropsychological drawings
Rahman et al. Predicting the big five personality traits from hand-written text features through semi-supervised learning
Oh et al. Person knowledge shapes face identity perception
Singh et al. Prediction of pain intensity using multimedia data
Rizzo et al. A machine learning approach for detecting cognitive interference based on eye-tracking data
Zhang et al. Human-centered intelligent healthcare: explore how to apply AI to assess cognitive health
Qi et al. Explanation strategies for image classification in humans vs. current explainable AI
Begum et al. Effective techniques for depression detection on social media: a comprehensive review
CN116301473A (zh) 基于虚拟现实的用户行为预测方法、装置、设备及介质
Xie et al. Care for the Mind Amid Chronic Diseases: An Interpretable AI Approach Using IoT
Ming et al. Facial Emotion Recognition System for Mental Stress Detection among University Students
Aina et al. A Hybrid Learning-Architecture for Mental Disorder Detection Using Emotion Recognition
US20060263753A1 (en) Method of reasoning mode identification and assessment
KR20230123328A (ko) 사용자의 감정 정보를 제공하는 방법 및 장치
Luna-Jiménez et al. Measuring trust at zero-acquaintance using acted-emotional videos
Banos et al. Sensing technologies and machine learning methods for emotion recognition in autism: Systematic review
Xu et al. ADReFV: Face video dataset based on human‐computer interaction for Alzheimer's disease recognition

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant