CN117995399A - 基于多模态数据的大规模心理健康智能评价方法及系统 - Google Patents
基于多模态数据的大规模心理健康智能评价方法及系统 Download PDFInfo
- Publication number
- CN117995399A CN117995399A CN202410105180.3A CN202410105180A CN117995399A CN 117995399 A CN117995399 A CN 117995399A CN 202410105180 A CN202410105180 A CN 202410105180A CN 117995399 A CN117995399 A CN 117995399A
- Authority
- CN
- China
- Prior art keywords
- scale
- facial emotion
- data
- mental health
- questionnaire
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000004630 mental health Effects 0.000 title claims abstract description 41
- 238000011156 evaluation Methods 0.000 title claims abstract description 23
- 230000001815 facial effect Effects 0.000 claims abstract description 69
- 230000008451 emotion Effects 0.000 claims abstract description 58
- 238000000034 method Methods 0.000 claims abstract description 38
- 238000012360 testing method Methods 0.000 claims abstract description 38
- 230000009323 psychological health Effects 0.000 claims abstract description 35
- 230000008569 process Effects 0.000 claims abstract description 14
- 238000004458 analytical method Methods 0.000 claims abstract description 12
- 230000002996 emotional effect Effects 0.000 claims abstract description 9
- 230000008909 emotion recognition Effects 0.000 claims description 37
- 238000012549 training Methods 0.000 claims description 22
- 208000019901 Anxiety disease Diseases 0.000 claims description 17
- 230000036506 anxiety Effects 0.000 claims description 17
- 206010063659 Aversion Diseases 0.000 claims description 9
- 201000004050 brachyolmia-amelogenesis imperfecta syndrome Diseases 0.000 claims description 8
- 230000007935 neutral effect Effects 0.000 claims description 8
- 238000011176 pooling Methods 0.000 claims description 8
- 238000007781 pre-processing Methods 0.000 claims description 5
- 230000004913 activation Effects 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 230000036651 mood Effects 0.000 claims description 2
- 238000012216 screening Methods 0.000 abstract description 7
- 230000035882 stress Effects 0.000 description 9
- 208000024891 symptom Diseases 0.000 description 8
- 230000006870 function Effects 0.000 description 6
- 238000011835 investigation Methods 0.000 description 5
- 238000001514 detection method Methods 0.000 description 4
- 238000002474 experimental method Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 230000003340 mental effect Effects 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 230000019771 cognition Effects 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000036541 health Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 206010002869 Anxiety symptoms Diseases 0.000 description 1
- 206010054089 Depressive symptom Diseases 0.000 description 1
- 206010042209 Stress Diseases 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000003001 depressive effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 230000007717 exclusion Effects 0.000 description 1
- 210000001508 eye Anatomy 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000006996 mental state Effects 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 210000000214 mouth Anatomy 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000007115 recruitment Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/096—Transfer learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
- G16H10/20—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for electronic clinical trials or questionnaires
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
- G16H10/60—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
- G16H20/70—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mental therapies, e.g. psychological therapy or autogenous training
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Public Health (AREA)
- Medical Informatics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- Primary Health Care (AREA)
- Epidemiology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Pathology (AREA)
- Databases & Information Systems (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Probability & Statistics with Applications (AREA)
- Developmental Disabilities (AREA)
- Hospice & Palliative Care (AREA)
- Psychiatry (AREA)
- Psychology (AREA)
- Social Psychology (AREA)
- Child & Adolescent Psychology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
本发明公开了基于多模态数据的大规模心理健康智能评价方法及系统，在进行心理健康问卷测试过程中同步采集参与者的面部情绪数据；利用面部情绪识别模型识别并分类面部情绪数据中个体的情绪特征；以个体的情绪特征对问卷测试结果进行修订，获得个体的心理健康状况并给出对应建议；其中，将心理健康问卷测试与面部情绪分析相结合，实现参与者心理健康状况的综合评价，具有较高的识别准确率，再通过修订方程对学生调查问卷结果进行修订，进一步提高大规模心理健康筛查准确性，有效解决人工进行大规模学生群体进行心理健康问题筛查时耗时且费力的问题；可以准确有效地发现学生的心理健康问题，避免一系列后果。
Description
技术领域
本发明涉及心理健康评价技术领域，具体为基于多模态数据的大规模心理健康智能评价方法及系统。
背景技术
《2019年大学生心理健康状况及影响因素专题调查》显示，大学生因学业、就业、科研、人际关系等因素存在心理健康问题；35.5%的学生存在一定程度的抑郁，60.1%的学生存在焦虑和心理健康问题；同样，《自然生物技术》报道，患有抑郁和焦虑的学生人数是一般人群的六倍。
心理学家提出了多种诊断学生群体潜在心理问题的方法，包括观察法、产品分析法、实验法和调查法；其中，观察法是通过对研究对象的外貌、行为、语言特征进行系统的观察和检查，获得所需的数据；产品分析法是通过临床症状等材料对患者的工作进行分析，有效评价其心理水平和心理状态的一种分析方法；常用于未成年人心理水平的评估；实验方法是通过对比实验对心理健康状况进行评价；如Takarada通过设置对照组和实验组，探讨轮训制度对日本牙科学生心理健康的影响；调查法是最常用的方法之一，它通过写作或口头回答问题来获取被调查者的心理活动；Byrom研究了431名博士生群体、个体背景因素、压力与心理健康之间的关系；Forbes参与了对15名在昆士兰州皇后区就业的学生的研究，并对访谈进行了分析，识别了15次，以探讨澳大利亚初级医生心理健康的相关因素；心理测试采用标准化的心理测试量表或精密的测试仪器来测量被试的心理素质；Nisar使用Baker焦虑抑郁表对Lavar产品中的军队研究生进行了调查；然而，观察、工作分析和实验方法需要大量的时间来执行繁琐的过程；此外，作品分析法需要研究者提供作品；在大规模的学生心理问题筛选中，如何兼顾高效率和准确性是一个挑战；相比之下，调查法因其简单、耗时合理、效果优异而被广泛应用于大规模的心理健康评估。
目前，量表测验是高校筛选心理问题的主要方法；然而，由于部分学生的故意隐瞒，其客观性和准确性难以保证；因此，研究者提出利用人工智能技术，利用机器学习方法，基于脑电图(EEG)、面部情绪、语音、皮肤电等生理数据，解决心理健康评估、挖掘和预测问题；例如，Fei提出了一种新的基于深度卷积网络的情绪分析框架来支持精神状态检测和诊断；Wang将眼、眉、口角度的变化进行分类，构建了抑郁症的早期预测模型；Zhao描述了一种结合无监督学习、知识转移和分层注意的深度学习方法，用于基于语音的抑郁严重程度测量。
但以上方法都侧重于模型构建，而模型构建与输入特征数据直接相关；他们缺乏与心理健康评估相关的量表和其他方法进行综合分析，大规模筛选学生心理问题存在不确定性问题；且筛查大规模学生群体的心理健康问题既耗时又费力；如何高效、准确的实现学生大规模心理健康评估问题，为进一步有针对性的心理诊断和治疗提供理论知识，是当前厄需解决的关键问题。
发明内容
本发明的目的是提供基于多模态数据的大规模心理健康智能评价方法及系统，为解决单心理健康量表进行大规模学生心理问题筛查存在不确定性等问题。
为解决上述技术问题，本发明采用了以下技术方案：基于多模态数据的大规模心理健康智能评价方法，包括如下步骤：
S1、在进行心理健康问卷测试过程中同步采集参与者的面部情绪数据；
S2、利用面部情绪识别模型识别并分类面部情绪数据中个体的情绪特征；
S3、以个体的情绪特征对问卷测试结果进行修订，获得个体的心理健康状况，其中修订公式为：
；
其中，S表示心理健康测评问卷得分，a_x表示各种情绪的相关系数，p_x表示面部情绪识别结果。
优选的，在步骤S1中采用DASS-21量表进行心理健康问卷测试，其中，DASS-21量表包括抑郁、焦虑和压力三个子量表，每个子量表均包括7个情绪项目，且按不同意为0、有些为1、经常为2、总是为3的分数进行选择。
优选的，所述问卷测试结果具体为：将每个子量表的分数乘以2得到子量表得分，然后将所有得分进行线性分析来获得心理健康测评问卷得分，心理健康测评问卷得分具体为：
；
其中Depression表示抑郁子量表得分；Anxiety表示焦虑子量表得分；Stress表示压力子量表得分。
优选的，在步骤S1中，对采集的参与者的面部情绪数据进行预处理，包括去除异常值和空值。
优选的，在步骤S2中，对面部情绪识别模型进行预训练，预训练方法具体为：将Fer2013数据集和CFEE数据集集成构成总数据集；利用总数据集内的样本对面部情绪识别模型进行训练。优选的，总数据集中训练集与测试集的比值为7:3，以及
每个训练集中的训练样本均包含“Sentiment”列和“Pixel”列，“Sentiment”列包含用于表示图像中的各情感的数字代码，“Pixel”列中包含每个图像的引号字符串；
每个测试集中的测试样本只包含“Pixels”列，任务是预测“Sentiment”列。
优选的，面部情绪识别模型包括卷积层、池化层和全连接层；其中：
卷积层用于提取面部特征；并根据卷积结果将输入图像与滤波器进行卷积构建特征图，每个卷积层后都配置有ReLU层；
池化层用于下采样，用于降低给定特征图的空间分辨率；
全连接层根据激活函数softmax的输出来识别个体的情绪特征。
优选的，在步骤S2中，面部情绪数据包括愤怒、厌恶、恐惧、快乐、悲伤、惊讶和中性7类，其中，将7类情绪分为积极和消极两类：
积极：快乐、惊讶和中性；
消极：愤怒、厌恶、恐惧及悲伤；
以及，将参与者表现出的情绪特征按时间序列进行汇总。
本发明还公开一种基于多模态数据的大规模心理健康智能评价系统，包括：
模型预训练模块，使用Fer2013数据集和CFEE数据集对面部情绪识别模型进行预训练；
数据采集及处理模块，通过分发链接的方式进行心理健康问卷测试，并通过设备摄像头记录参与者在问卷测试过程中的面部情绪视频数据，并对采集的面部情绪数据进行预处理；
结果修订模块，通过修订公式实现面部情绪识别结果对问卷测试结果得分的修订；
结果评价模块，基于修订结果，生成心理评价结果及对应建议。
有益效果：本发明中，将心理健康问卷测试与面部情绪分析相结合，在参与者做心理健康量表的同时采集参与者的面部情绪进行分析，实现参与者心理健康状况的综合评价，具有较高的识别准确率，再通过修订方程对学生调查问卷结果进行修订，进一步提高大规模心理健康筛查准确性，有效解决人工进行大规模学生群体进行心理健康问题筛查时耗时且费力的问题；可以准确有效地发现学生的心理健康问题，避免一系列后果。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。
在附图中：
图1是本发明智能评价方法整体的流程图；
图2是本发明七种面部情绪识别的准确性结果图；
图3是本发明参与者心理健康量表结果分布示意图；
图4是本发明面部情绪识别与心理健康评分的对应图。
具体实施方式
下面结合本发明实施例中的附图对本发明实施例进行描述。本发明的实施方式部分使用的术语仅用于对本发明的具体实施例进行解释，而非旨在限定本发明。下面结合附图，对本申请的实施例进行描述。本领域普通技术人员可知，随着技术的发展和新场景的出现，本申请实施例提供的技术方案对于类似的技术问题，同样适用。本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的术语在适当情况下可以互换，这仅仅是描述本申请的实施例中对相同属性的对象在描述时所采用的区分方式。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，以便包含一系列单元的过程、方法、系统、产品或设备不必限于那些单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它单元。
实施例：如图1所示，基于多模态数据的大规模心理健康智能评价方法，包括如下步骤：
S1、在进行心理健康问卷测试过程中同步采集参与者的面部情绪数据；
其中，采用修订后的简体中文版抑郁焦虑和压力量表(The Depression Anxietyand Stress Scale, DASS-21)，DASS-21量表进行心理健康问卷测试，其中，DASS-21量表包括抑郁、焦虑和压力三个子量表，每个子量表均包括7个情绪项目，且按不同意为0、有些为1、经常为2、总是为3的分数进行选择；
它借鉴了三方模型的架构，将量表定义为一个三维结构，其中变量仅为抑郁、焦虑和压力；将每个子量表的分数乘以2得到子量表得分；分数越高，越情绪化；三个子量表的测试结果评分如下表所示：
对DASS-21的所有项目得分进行线性分析来获得心理健康测评问卷得分(范围从0到63)，心理健康测评问卷得分具体为：；
其中Depression表示抑郁子量表得分；Anxiety表示焦虑子量表得分；Stress表示压力子量表得分。
另外，对采集的参与者的面部情绪数据进行预处理，包括去除异常值和空值；
S2、利用面部情绪识别模型识别并分类面部情绪数据中个体的情绪特征；
在利用面部情绪识别模型识别之前，需要对面部情绪识别模型进行预训练：
Fer2013数据集由48×48像素的人脸灰度图像组成，共注册了35887张人脸图像；我们的面部情绪识别算法将每种情绪分为7类：愤怒、厌恶、恐惧、快乐、悲伤、惊讶和中性(对应的数字为0,1,2,3,4,5,6)；CFEE数据集共95万张图片。这些图片包含基本情绪、合成情绪和对表情符号的注释；
将上述两个数据集集成在一起构成总数据集，利用总数据集内的样本对面部情绪识别模型进行训练，其中，总数据集中的训练集与测试集的比值为7:3；每个训练样本包含两列，“Sentiment”和“Pixel”；情感列包含一个介于0到6之间的数字代码，表示图像中的情感；像素列包含每个图像的引号字符串；该字符串的内容是按行主序用空格分隔的像素值；每个测试样本只包含“Pixels”列，任务是预测“Sentiment”列；
使用预训练的面部情绪识别模型用作深度特征提取器，与训练新的面部情绪识别模型相比，使用预训练的面部情绪识别模型提取深度特征需要更少的计算能力，使用较少的数据就能实现高识别精度；
在一具体实施例中，所用的面部情绪识别模型：总共有9个主要层，包括4个卷积层、3个池化层和2个全连接层，利用上述总数据集中的图像进行了训练，因此网络模型学习了丰富的特征表示；在此基础上使用迁移学习策略用于减少网络的训练时间，从图像输入层开始，包括图像的标签和每个对象类别的概率，有4个卷积层来提取面部特征；激活函数的输出形成当前层的神经元，形成当前卷积层的特征图；可以用下面的函数来描述计算：；
其中，是l-1层输出的特征映射，M代表当前模型，j表示第j个特征，i表示当前j 特征的分量（例如，j是二维的，那i取值就是从0到1）,*表示卷积操作，/>和/>分别表示权重和偏差；每个卷积层后面都是ReLU（整流线性单元）层，以增加网络的非线性特性；ReLU是一种半波整流器功能，其优点是可以减少训练时间，同时防止过拟合；此外，ReLU层可以防止梯度消失问题，并且比其它逻辑函数快得多；输入x的ReLU层可以描述为：/>；
卷积层之后还有最大池化层；最大池化层用于下采样，用于降低给定特征图的空间分辨率；下采样过程不会改变特征图的数量；下采样过程去除了不必要的信息并减少了特征图的参数数量，下采样层可以描述为：；
其中表示池化层l的第j个特征映射，/>表示下采样层的偏移项；最后，模型在4个卷积层之后，还有2个全连接层，据激活函数softmax的输出来识别个体的情绪特征；全连接层可以被认为是一个卷积层；此外，它的卷积核大小和输入数据大小应与卷积层中使用的一致；全连接层可以描述为：/>；
在线识别面部情绪时，不需要对模型进行再训练，只提取深层特征，可以快速准确地实现在线识别；
面部情绪数据包括愤怒、厌恶、恐惧、快乐、悲伤、惊讶和中性7类，其中，将7类情绪分为积极和消极两类：
积极：快乐、惊讶和中性；
消极：愤怒、厌恶、恐惧及悲伤；
以及，将参与者表现出的情绪特征按时间序列进行汇总；
S3、以个体的情绪特征对问卷测试结果进行修订，获得个体的心理健康状况，其中修订公式为：
；
其中，S表示心理健康测评问卷得分，a_x表示各种情绪（即上述的七种情绪）的相关系数，p_x表示面部情绪识别结果，模型输出结果为每种情绪的可能百分比，范围为（0，1]。
下表为心理健康指标与七种面部情绪之间的相关系数a_x：
本发明还公开一种基于多模态数据的大规模心理健康智能评价系统，包括：
模型预训练模块，使用Fer2013数据集和CFEE数据集对面部情绪识别模型进行预训练；
数据采集及处理模块，通过分发链接的方式进行心理健康问卷测试，并通过设备摄像头记录参与者在问卷测试过程中的面部情绪视频数据，并对采集的面部情绪数据进行预处理；
其中，在一具体实施例中，通过发送在线评估电子邮件招募参与者；
参与者登录在线测评系统，弹出知情同意书，告知参与者此次研究的目的；
系统要求访问当前设备摄像头，录制参与者在做心理问卷的全程视频；
结束测评问卷后，在数据库中得到所有参与者问卷数据及视频数据；并对采集的面部情绪数据进行预处理，去除异常值、空值；
结果修订模块，通过修订公式实现面部情绪识别结果对问卷测试结果得分的修订；
其中，心理健康评价表设计如下：
结果评价模块，基于修订结果，生成心理评价结果及对应建议。
基于上述，进行具体实验：
实验参与者是徐州医科大学的学生；招募小组包括约350名2020-2022届22-26岁的学生(187名男生，163名女生)；参与者通过发送在线评估电子邮件招募，招募时间为2022年4月；排除标准是他们是否在这所大学的不同学年的学生；
如图2所示，为了评估所提出的面部情绪识别算法的性能，使用Fer2013和CFEE数据集对790,120张图片的面部情绪识别模型进行了训练，并对295,766张图片的面部情绪识别模型进行了测试，获得了7种面部情绪检测的准确率；中性（正常）情绪、快乐情绪、愤怒（生气）情绪、惊讶情绪、悲伤情绪、厌恶情绪、恐惧情绪的训练准确率分别为0.82、0.98、0.62、0.85、0.52、0.74、0.62；中性（正常）情绪、快乐情绪、愤怒（生气）情绪、惊讶情绪、悲伤情绪、厌恶情绪、恐惧情绪的测试准确率分别为0.8、0.98、0.62、0.84、0.51、0.73、0.61；可以看出，所提出的面部情绪识别算法对7种面部情绪具有较高的检测效果。
如图3所示，图3中的（A）为参与者三种心理状态的得分，图3中的(B)为被测者所测的三种心理问题严重程度；在抑郁、焦虑、压力三个子量表中，41.67%、25%、50%的学生表现为正常症状，8.33%、25%、8.33%的学生表现为轻度症状，16.67%、0%、8.33%的学生表现为中度症状，8.33%、8.33%、8.33%的学生表现为重度症状，25%、41.67%、25%的学生表现为极度症状；总的来说，大多数学生都有不同程度的心理健康问题；然而，这个结果是不准确的，因为一些学生可能会隐瞒或错误地报告个人信息。
如图4所示，为了提高心理健康调查问卷的检测准确率，我们将面部情绪识别模型应用到问卷调查过程中；柱状图为350名学生心理健康调查问卷得分，线形图为问卷调查过程中面部情绪识别模型识别出的消极情绪和积极情绪的比例；其中抑郁、焦虑和压力症状的比例分别为58.33%、75%和50%；三种症状对负性情绪的识别率分别为81%、71.4%和56.7%；结果表明，心理问题越严重，负性情绪识别率越高；心理健康认知与积极情绪和消极情绪认知相关。
本发明中单一心理健康问卷、修订后的量表结果与大规模研究生心理健康调查统计结果的比较，与大规模心理健康调查结果相比，心理健康问卷中抑郁、焦虑、压力三种症状及综合得分的评分误差绝对值分别为10.8%、14.9%、23.5%、8.9%。综合面部情绪识别模型的评分误差绝对值分别为0.8%、8.1%、3.5%和1.8%；结果如下表：
由此可见，综合面部情绪识别模型优于单一的心理健康问卷；结果与大规模心理健康调查的结果非常接近；我们的综合模型对测试结果进行了更细致的划分，并给出了进一步的建议，可以准确有效地发现学生的心理健康问题，避免一系列后果。
上面结合附图对本发明的技术方案作了详细说明，但是本发明并不限于上述实施方式，对于本技术领域的普通技术人员来说，在获知本发明中记载内容后，在不脱离本发明原理的前提下，还可以对其作出若干同等变换和替代，这些同等变换和替代也应视为属于本发明的保护范围。
Claims (9)
1.基于多模态数据的大规模心理健康智能评价方法，其特征在于，包括如下步骤：
S1、在进行心理健康问卷测试过程中同步采集参与者的面部情绪数据；
S2、利用面部情绪识别模型识别并分类面部情绪数据中个体的情绪特征；
S3、以个体的情绪特征对问卷测试结果进行修订，获得个体的心理健康状况，其中修订公式为：
；
其中，S表示心理健康测评问卷得分，a_x表示各种情绪的相关系数，p_x表示面部情绪识别结果。
2.根据权利要求1所述的基于多模态数据的大规模心理健康智能评价方法，其特征在于：在步骤S1中采用DASS-21量表进行心理健康问卷测试，其中，DASS-21量表包括抑郁、焦虑和压力三个子量表，每个子量表均包括7个情绪项目，且按不同意为0、有些为1、经常为2、总是为3的分数进行选择。
3.根据权利要求2所述的基于多模态数据的大规模心理健康智能评价方法，其特征在于：所述问卷测试结果具体为：将每个子量表的分数乘以2得到子量表得分，然后将所有得分进行线性分析来获得心理健康测评问卷得分，心理健康测评问卷得分具体为：
；
其中Depression表示抑郁子量表得分；Anxiety表示焦虑子量表得分；Stress表示压力子量表得分。
4.根据权利要求1所述的基于多模态数据的大规模心理健康智能评价方法，其特征在于：在步骤S1中，对采集的参与者的面部情绪数据进行预处理，包括去除异常值和空值。
5.根据权利要求1所述的基于多模态数据的大规模心理健康智能评价方法，其特征在于：在步骤S2中，对面部情绪识别模型进行预训练，预训练方法具体为：将Fer2013数据集和CFEE数据集集成构成总数据集；利用总数据集内的样本对面部情绪识别模型进行训练。
6.根据权利要求5所述的基于多模态数据的大规模心理健康智能评价方法，其特征在于：总数据集中训练集与测试集的比值为7:3，以及
每个训练集中的训练样本均包含“Sentiment”列和“Pixel”列，“Sentiment”列包含用于表示图像中的各情感的数字代码，“Pixel”列中包含每个图像的引号字符串；
每个测试集中的测试样本只包含“Pixels”列，任务是预测“Sentiment”列。
7.根据权利要求6所述的基于多模态数据的大规模心理健康智能评价方法，其特征在于：面部情绪识别模型包括卷积层、池化层和全连接层；其中：
卷积层用于提取面部特征；并根据卷积结果将输入图像与滤波器进行卷积构建特征图，每个卷积层后都配置有ReLU层；
池化层用于下采样，用于降低给定特征图的空间分辨率；
全连接层根据激活函数softmax的输出来识别个体的情绪特征。
8.根据权利要求1所述的基于多模态数据的大规模心理健康智能评价方法，其特征在于：在步骤S2中，面部情绪数据包括愤怒、厌恶、恐惧、快乐、悲伤、惊讶和中性7类，其中，将7类情绪分为积极和消极两类：
积极：快乐、惊讶和中性；
消极：愤怒、厌恶、恐惧及悲伤；
以及，将参与者表现出的情绪特征按时间序列进行汇总。
9.基于多模态数据的大规模心理健康智能评价系统，其特征在于，包括：
模型预训练模块，使用Fer2013数据集和CFEE数据集对面部情绪识别模型进行预训练；
数据采集及处理模块，通过分发链接的方式进行心理健康问卷测试，并通过设备摄像头记录参与者在问卷测试过程中的面部情绪视频数据，并对采集的面部情绪数据进行预处理；
结果修订模块，通过修订公式实现面部情绪识别结果对问卷测试结果得分的修订；
结果评价模块，基于修订结果，生成心理评价结果及对应建议。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410105180.3A CN117995399B (zh) | 2024-01-25 | 2024-01-25 | 基于多模态数据的大规模心理健康智能评价方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410105180.3A CN117995399B (zh) | 2024-01-25 | 2024-01-25 | 基于多模态数据的大规模心理健康智能评价方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117995399A true CN117995399A (zh) | 2024-05-07 |
| CN117995399B CN117995399B (zh) | 2024-08-13 |
Family
ID=90888272
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410105180.3A Active CN117995399B (zh) | 2024-01-25 | 2024-01-25 | 基于多模态数据的大规模心理健康智能评价方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117995399B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118471508A (zh) * | 2024-05-23 | 2024-08-09 | 江苏安全技术职业学院 | 一种大学生心理健康教育监测系统及方法 |
Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107205731A (zh) * | 2015-02-13 | 2017-09-26 | 欧姆龙株式会社 | 健康管理辅助装置及健康管理辅助方法 |
| CN110309714A (zh) * | 2019-05-22 | 2019-10-08 | 深圳壹账通智能科技有限公司 | 基于表情识别的心理健康评估方法、装置和存储介质 |
| CN112489787A (zh) * | 2020-11-20 | 2021-03-12 | 南京航空航天大学 | 一种基于微表情检测人体健康的方法 |
| CN114649075A (zh) * | 2022-03-30 | 2022-06-21 | 首都医科大学附属北京安定医院 | 一种基于机器学习的抑郁症评级系统及方法 |
| US20220208383A1 (en) * | 2020-12-31 | 2022-06-30 | Acer Incorporated | Method and system for mental index prediction |
| CN114999655A (zh) * | 2022-06-30 | 2022-09-02 | 中国人民解放军空军军医大学 | 一种基于大数据的防疫心理问题早期预警及管理系统 |
| CN115064246A (zh) * | 2022-08-18 | 2022-09-16 | 山东第一医科大学附属省立医院(山东省立医院) | 一种基于多模态信息融合的抑郁症评估系统及设备 |
| CN115312195A (zh) * | 2022-10-10 | 2022-11-08 | 安徽交欣科技股份有限公司 | 一种基于情绪数据计算个体心理异常的健康评估方法 |
| CN115482912A (zh) * | 2022-09-06 | 2022-12-16 | 北京心灵密友智能科技有限公司 | 对话机器自助心理干预系统及方法 |
| CN115512422A (zh) * | 2022-10-18 | 2022-12-23 | 河南科技大学 | 基于注意力机制的卷积神经网络面部情绪识别方法及系统 |
| CN115690887A (zh) * | 2022-11-15 | 2023-02-03 | 吉林大学 | 一种基于多模态网络的驾驶员情绪智能识别的方法 |
| CN116386102A (zh) * | 2023-02-22 | 2023-07-04 | 河海大学 | 一种基于改进残差卷积网络inception块结构的人脸情绪识别方法 |
| CN116825365A (zh) * | 2023-08-30 | 2023-09-29 | 安徽爱学堂教育科技有限公司 | 基于多角度微表情的心理健康分析方法 |
| CN117100270A (zh) * | 2023-09-07 | 2023-11-24 | 深圳市朴慧智能科技有限公司 | 一种心理健康风险预警评估系统 |
| WO2023235527A1 (en) * | 2022-06-03 | 2023-12-07 | aiberry, Inc. | Multimodal (audio/text/video) screening and monitoring of mental health conditions |
-
2024
- 2024-01-25 CN CN202410105180.3A patent/CN117995399B/zh active Active
Patent Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107205731A (zh) * | 2015-02-13 | 2017-09-26 | 欧姆龙株式会社 | 健康管理辅助装置及健康管理辅助方法 |
| CN110309714A (zh) * | 2019-05-22 | 2019-10-08 | 深圳壹账通智能科技有限公司 | 基于表情识别的心理健康评估方法、装置和存储介质 |
| CN112489787A (zh) * | 2020-11-20 | 2021-03-12 | 南京航空航天大学 | 一种基于微表情检测人体健康的方法 |
| US20220208383A1 (en) * | 2020-12-31 | 2022-06-30 | Acer Incorporated | Method and system for mental index prediction |
| CN114649075A (zh) * | 2022-03-30 | 2022-06-21 | 首都医科大学附属北京安定医院 | 一种基于机器学习的抑郁症评级系统及方法 |
| WO2023235527A1 (en) * | 2022-06-03 | 2023-12-07 | aiberry, Inc. | Multimodal (audio/text/video) screening and monitoring of mental health conditions |
| CN114999655A (zh) * | 2022-06-30 | 2022-09-02 | 中国人民解放军空军军医大学 | 一种基于大数据的防疫心理问题早期预警及管理系统 |
| CN115064246A (zh) * | 2022-08-18 | 2022-09-16 | 山东第一医科大学附属省立医院(山东省立医院) | 一种基于多模态信息融合的抑郁症评估系统及设备 |
| CN115482912A (zh) * | 2022-09-06 | 2022-12-16 | 北京心灵密友智能科技有限公司 | 对话机器自助心理干预系统及方法 |
| CN115312195A (zh) * | 2022-10-10 | 2022-11-08 | 安徽交欣科技股份有限公司 | 一种基于情绪数据计算个体心理异常的健康评估方法 |
| CN115512422A (zh) * | 2022-10-18 | 2022-12-23 | 河南科技大学 | 基于注意力机制的卷积神经网络面部情绪识别方法及系统 |
| CN115690887A (zh) * | 2022-11-15 | 2023-02-03 | 吉林大学 | 一种基于多模态网络的驾驶员情绪智能识别的方法 |
| CN116386102A (zh) * | 2023-02-22 | 2023-07-04 | 河海大学 | 一种基于改进残差卷积网络inception块结构的人脸情绪识别方法 |
| CN116825365A (zh) * | 2023-08-30 | 2023-09-29 | 安徽爱学堂教育科技有限公司 | 基于多角度微表情的心理健康分析方法 |
| CN117100270A (zh) * | 2023-09-07 | 2023-11-24 | 深圳市朴慧智能科技有限公司 | 一种心理健康风险预警评估系统 |
Non-Patent Citations (5)
| Title |
|---|
| GABRIELLE SIMCOCK等: "Associations between Facial Emotion Recognition and Mental Health in Early Adolescence", INTERNATIONAL JOURNAL OF ENVIRONMENTAL RESEARCH AND PUBLIC HEALTH, vol. 17, no. 330, 3 January 2020 (2020-01-03), pages 1 - 11 * |
| SIENA FL等: "Proof-of-Concept Study: a Mobile Application to Derive Clinical Outcome Measures from Expression and Speech for Mental Health Status Evaluation", JOURNAL OF MEDICAL SYSTEMS, vol. 44, no. 12, 11 November 2020 (2020-11-11), pages 209, XP037289400, DOI: 10.1007/s10916-020-01671-x * |
| VERSLUIJS YVONNE等: "Clinician Facial Expression of Emotion Corresponds with Patient Mindset", CLINICAL ORTHOPAEDICS & RELATED RESEARCH, vol. 479, no. 9, 7 April 2021 (2021-04-07), pages 1914 - 1923 * |
| 王亮;隋南;王力;张建新;张侃;: "心理健康问题基础研究和干预技术进展", 中国科学院院刊, no. 11, 20 November 2016 (2016-11-20), pages 1171 - 1186 * |
| 田伟;张弘;周小勇;王春雷;巩立艳;: "基于大数据支撑的军事飞行学员情绪测量与评估浅析", 教练机, no. 01, 15 March 2020 (2020-03-15), pages 6 - 11 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118471508A (zh) * | 2024-05-23 | 2024-08-09 | 江苏安全技术职业学院 | 一种大学生心理健康教育监测系统及方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117995399B (zh) | 2024-08-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Khatamino et al. | A deep learning-CNN based system for medical diagnosis: an application on Parkinson’s disease handwriting drawings | |
| CN109508644B (zh) | 基于深度视频数据分析的面瘫等级评估系统 | |
| CN111671423A (zh) | 一种eeg信号的表示方法、分类方法、可视化方法及介质 | |
| CN111145903B (zh) | 获取眩晕症问诊文本的方法、装置、电子设备及问诊系统 | |
| CN109508755B (zh) | 一种基于图像认知的心理测评方法 | |
| CN117995399B (zh) | 基于多模态数据的大规模心理健康智能评价方法及系统 | |
| CN113974627B (zh) | 一种基于脑机生成对抗的情绪识别方法 | |
| CN115251928A (zh) | 一种基于深度学习的大学生心理健康评估系统 | |
| Kennedy et al. | Unsupervised anomaly detection of class imbalanced cognition data using an iterative cleaning method | |
| Aina et al. | A Hybrid Learning-Architecture for Mental Disorder Detection Using Emotion Recognition | |
| Thamilselvan et al. | Autism Spectrum Disorder Diagnosis using Deep Learning Techniques | |
| Sreekumar et al. | Comparative Study of CNN Models on the Classification of Dyslexic Handwriting | |
| CN113065595A (zh) | 一种用于在线视频学习的基于眼动信号的情感识别方法 | |
| Zim | OpenCV and Python for Emotion Analysis of Face Expressions | |
| Biçer et al. | Automatic Deceit Detection Through Multimodal Analysis of High-Stake Court-Trials | |
| Yeh et al. | Facial Image Emotion Recognition Based on Convolutional Neural Networks and Haar Classifiers | |
| CN112465152B (zh) | 一种适用于情绪脑-机接口的在线迁移学习方法 | |
| Pokuri et al. | Mental Illness Detection with Facial Movements using Neural Networks | |
| Sahuri et al. | Personality Analysis Based on The Handwriting Shape using Integration of Image Processing and Machine Learning Algorithm | |
| Kanchana et al. | Assessing Conscientiousness and Identify Leadership Quality Using Temporal Sequence Images. | |
| Priya et al. | Prediction and Classification of Stress in Humans | |
| Gu et al. | Depression Micro-Expression Recognition Technology Based on Multimodal Knowledge Graphs. | |
| CN118197630A (zh) | 一种基于心理学及人工智能的模拟人脑学习系统 | |
| Kaushik et al. | Mental Health Prediction Using Data Analysis | |
| Fron | Nuances of Interrater Agreement on Automatic Affect Prediction from Physiological Signals |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |