CN115064246B - 一种基于多模态信息融合的抑郁症评估系统及设备 - Google Patents

一种基于多模态信息融合的抑郁症评估系统及设备 Download PDF

Info

Publication number
CN115064246B
CN115064246B CN202210989524.2A CN202210989524A CN115064246B CN 115064246 B CN115064246 B CN 115064246B CN 202210989524 A CN202210989524 A CN 202210989524A CN 115064246 B CN115064246 B CN 115064246B
Authority
CN
China
Prior art keywords
data
fusion
evaluation result
modal
depression
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210989524.2A
Other languages
English (en)
Other versions
CN115064246A (zh
Inventor
陈元
王志意
李凤霞
刘治
刘得成
王聪聪
孙保林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Provincial Hospital Affiliated to Shandong First Medical University
Original Assignee
Shandong Provincial Hospital Affiliated to Shandong First Medical University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Provincial Hospital Affiliated to Shandong First Medical University filed Critical Shandong Provincial Hospital Affiliated to Shandong First Medical University
Priority to CN202210989524.2A priority Critical patent/CN115064246B/zh
Publication of CN115064246A publication Critical patent/CN115064246A/zh
Application granted granted Critical
Publication of CN115064246B publication Critical patent/CN115064246B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/70—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mental therapies, e.g. psychological therapy or autogenous training
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/0205—Simultaneously evaluating both cardiovascular conditions and different types of body conditions, e.g. heart and respiratory condition
    • A61B5/02055—Simultaneously evaluating both cardiovascular condition and temperature
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7242—Details of waveform analysis using integration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Psychiatry (AREA)
  • Biophysics (AREA)
  • Medical Informatics (AREA)
  • Pathology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Physiology (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Artificial Intelligence (AREA)
  • Cardiology (AREA)
  • Psychology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Developmental Disabilities (AREA)
  • Theoretical Computer Science (AREA)
  • Child & Adolescent Psychology (AREA)
  • Social Psychology (AREA)
  • Hospice & Palliative Care (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Educational Technology (AREA)
  • Epidemiology (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Pulmonology (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Primary Health Care (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本发明涉及一种基于多模态信息融合的抑郁症评估系统及设备，属于抑郁症智能评估的技术领域；系统包括采集多种模态数据特征的无感智能数据采集模块、单模态特征处理模块、信号特征提取模块、智能融合模块、融合特征处理模块和预测及分类模块；本发明通过对多模态数据特征进行融合，分别对单模态数据特征和融合特征进行处理，并将结果融合，进行量化感知被测人员的心理健康程度，提高了被测人员是否患抑郁症可能性以及抑郁症程度的精准度，且减少了人为的主观判断，提高了心理健康评估的准确性和客观性。

Description

一种基于多模态信息融合的抑郁症评估系统及设备
技术领域
本发明涉及抑郁症智能评估的技术领域，尤其是涉及一种基于多模态信息融合的抑郁症评估系统及设备。
背景技术
当前，对抑郁症患者的评估方法主要依靠咨询心理医生或借助心理评测报告和各类测评量表，而心理测评量表系统是以问卷调查和数据报表为基础，根据以往调查分析的结果形成的模型作参考，对照被测评人对相关问题的回答，进行心理评估。
上述中的方案获得的抑郁症患者的信息是分立的，缺乏有效整合，对大学生心理评估的信度和效度都有不良影响，且影响深度无从评价，不仅费时耗力，而且评估结果还具有很强的主观性。
发明内容
为了解决上述背景技术中提出的的问题，本发明提供一种基于多模态信息融合的抑郁症评估系统及设备。
第一方面，本发明提供一种基于多模态信息融合的抑郁症评估系统，采用如下的技术方案：
一种基于多模态信息融合的抑郁症评估系统，包括：
无感智能数据采集模块，用于采集被测人员的多种模态数据特征；
单模态特征处理模块，用于对多种模态数据特征分别进行打分，并综合得到被测人员抑郁症程度的评估结果一；
信号特征提取模块，用于将多种模态数据特征转换为同模态数据特征；
智能融合模块，用于将所述同模态数据特征输入至多模态神经网络进行提取得到多种数据模态的融合特征；
融合特征处理模块，用于对多种数据模态的融合特征进行打分，同时分类得到被测人员抑郁症程度的评估结果二；
预测及分类模块，用于将获取的评估结果一和评估结果二输入至基于MBP和注意力机制的数据融合模型，综合得到被测人员患抑郁症程度的最终评估结果；
所述多种模态数据特征包括行为信号，所述行为信号包括音频特征，所述音频特征包括语音信号和语义信号；
所述单模态特征处理模块包括用于处理音频特征的语音处理单元，语音处理单元具体包括：
第一转换组件，用于将所述语音信号和语义信号转换为语音单模态数据；
第一评估组件，用于将所述语音单模态数据发送至预先构建的基于语音信号的情绪心理状态识别模型，进行打分并分类，得到关于语音的评估结果三；
所述基于语音信号的情绪心理状态识别模型包括：
第一采集单元，用于获取第一初始模型和第一数据集，所述第一数据集为eNTERFACE05数据库中的音频模态，所述第一初始模型为vanilla CLDNN网络模型；
第一分类单元，用于通过MUSAN语料库中的噪声对所述第一数据集进行扩充，并将扩充处理后的分成加入噪声的第一训练集、第一验证集和第一测试集；
第一训练单元，用于根据第一训练集、第一验证集和第一测试集对所述第一初始模型进行log-Mels训练，得到基于语音信号的情绪心理状态识别模型。
通过采用上述技术方案，采集被测人员的多种模态数据特征，并将其高效融合得到融合特征，通过设置单模态特征处理模块和融合特征处理模块分别对单模态数据特征和融合特征处理，得到基于单模态的抑郁症程度评估结果和基于融合特征的抑郁症程度评估结果，将两种结果融合得到最终评估结果，提高了抑郁症程度评估的准确性和客观性，减少了主观性。
优选的，所述多种模态数据特征至少还包括生理信号；所述行为信号还包括面部特征，所述面部特征包括面部行为和面部表情；所述生理信号包括脑电信号、心跳信号、血压信号、体温信号和呼吸信号。
优选的，所述单模态特征处理模块还包括用于处理面部特征的面部处理单元。
优选的，所述面部处理单元具体包括：
第二转换组件，用于将所述面部行为和面部表情转换为面部表情单模态数据；
第二评估组件，用于将所述面部表情单模态数据发送至预先构建的基于面部表情的情绪心理状态识别模型，进行打分并分类，得到关于面部表情的评估结果四。
优选的，所述基于面部表情的情绪心理状态识别模型包括：
第二采集单元，用于获取第二数据集和第二初始模型，所述第二数据集为eNTERFACE05数据库中的每段视频图像中的面部表情图像，所述第二初始模型为ConvNet网络模型；
第二分类单元，用于所述第二数据集在eNTERFACE05数据库的作用下自动分为第二训练集、第二验证集和第二测试集；
第二训练单元，用于根据第二训练集、第二验证集和第二测试集对所述第二初始模型进行训练得到基于面部表情的情绪心理状态识别模型。
优选的，所述单模态特征处理模块还包括：
获取单元，用于获取关于语音的评估结果三和关于面部表情的评估结果四；
融合单元，用于将所述关于语音的评估结果三和关于面部表情的评估结果四发送至预先构建的基于MBP和注意力机制的数据融合模型并进行融合处理，得到被测人员抑郁症程度的评估结果一。
通过采用上述技术方案，将单模态数据的处理结果进行融合，进而提高被测人员抑郁程度评估的精准度。
优选的，所述基于MBP和注意力机制的数据融合模型的具体生成步骤如下：
第三采集单元，用于获取第三数据集和第三初始模型，所述第三初始模型为MBP模型和自注意力机制模型；
第三分类单元，用于将所述第三数据集分为第三训练集和第三测试集，所述第三训练集和第三测试集的比例为4:1；
第三训练单元，用于通过所述第三训练集对所述第三初始模型进行训练，得到基于MBP和注意力机制的数据融合模型。
第二方面，本发明提供一种基于抑郁症评估的电子设备，采用如下的技术方案：
一种基于抑郁症评估的电子设备，包括：
可读存储介质，存储有上述基于多模态信息融合的抑郁症评估系统所用的软件指令，其中包括有用于实现为多模态信息融合的抑郁症评估系统所设计的计算机程序；
处理器，用于执行所述可读存储介质所存储的计算机程序；
触摸显示屏，用于人机实时交互，可视化的显示多种模态数据和评测结果。
综上所述，本发明具有如下的有益技术效果：
1.本发明通过采集被测人员的多种模态数据特征，并进行了高效融合，对单模态数据特征和融合特征分别进行处理，并将结果融合，量化感知被测人员的心理健康程度，提高了对于被测人员是否患抑郁症可能性以及抑郁症程度的精准度；
2.本发明减少了人为的主观判断，提高了心理健康评估的准确性和客观性。
附图说明
图1是本发明的处理流程示意图。
具体实施方式
以下结合图1对本发明作进一步详细说明。
本发明实施例公开一种基于多模态信息融合的抑郁症评估系统。参照图1，一种基于多模态信息融合的抑郁症评估系统具体包括：无感智能数据采集模块、单模态特征处理模块、信号特征提取模块、智能融合模块、融合特征处理模块和预测及分类模块。
具体地，
无感智能数据采集模块，用于采集被测人员的多种模态数据特征；
具体的，多种模态数据特征至少包括行为信号和生理信号；
行为信号包括音频特征和面部特征，音频特征包括语音信号和语义信号，面部特征包括面部行为和面部表情；
生理信号包括脑电信号、心跳信号、血压信号、体温信号和呼吸信号；
上述行为信号可以通过摄像机捕捉视频信号、语音信号和语义信号，在视频信号中获取被测人员的面部行为和面部表情；
上述生理信号可通过给被测人员佩戴脑电波头带、手环等便携式设备，获取被测人员的脑电信号、心跳信号、血压信号、体温信号和呼吸信号。
单模态特征处理模块，用于对多种模态数据特征分别进行打分，并综合得到被测人员抑郁症程度的评估结果一；
其中，单模态特征处理模块包括用于处理音频特征的语音处理单元和用于处理面部特征的面部处理单元；
语音处理单元具体包括：
第一转换组件，用于将语音信号和语义信号转换为语音单模态数据；语音信号和语义信号通过openSMILE等开源工具进行数据处理，提取深层数据特征，得到语音单模态数据；
第一评估组件，用于将语音单模态数据发送至预先构建的基于语音信号的情绪心理状态识别模型并进行处理，得到关于语音的评估结果三。
需要说明的是，上述中基于语音信号的情绪心理状态识别模型包括：
第一采集单元，用于获取第一初始模型和第一数据集，所述第一数据集为eNTERFACE05数据库中1257段音频模态，所述第一初始模型为vanilla CLDNN网络模型，所述CLDNN网络模型包括：包含两个具有32个特征图的卷积层和一个最大池化层的特征模块、包含一个具有长短记忆选通的双向递归神经网络层（BLSTM）的时间模块、包含4个FC层的分类器模块，所述分类器模块中前3个FC层为ReLU激活函数，最后一个FC层为Softmax函数；
第一分类单元，用于通过MUSAN语料库中的噪声对所述第一数据集进行扩充，并在MUSAN语料库的作用下将扩充处理后的分成加入噪声的第一训练集、第一验证集和第一测试集；
第一训练单元，用于根据第一训练集、第一验证集和第一测试集对所述第一初始模型进行log-Mels训练，得到基于语音信号的情绪心理状态识别模型。
另外，面部处理单元具体包括：
第二转换组件，用于将所述面部行为和面部表情转换为面部表情单模态数据；面部行为和面部表情通过OpenFace等开源工具进行数据处理，提取深层数据特征，得到面部表情单模态数据；
第二评估组件，用于将面部表情单模态数据发送至预先构建的基于面部表情的情绪心理状态识别模型并进行处理，得到关于面部表情的评估结果四。
需要说明的是，上述中基于面部表情的情绪心理状态识别模型包括：
第二采集单元，用于获取第二数据集和第二初始模型，所述第二数据集为eNTERFACE05数据库中的每段视频图像中的面部表情图像，所述第二初始模型为ConvNet网络模型，所述ConvNet网络模型包括4个阶段，第一阶段包含1个卷积层、1个最大池化层和1个局部响应归一化层；第二阶段包含1个卷积层、1个平均池化层和一个局部响应归一化层；第三阶段包含1个卷积层和一个平均池化层；第四阶段即分类阶段，包含一个全连接层和一个输出层，输出层通过softmax函数，实现特征与分类概率分布间的映射；
第二分类单元，用于第二数据集在eNTERFACE05数据库的作用下自动分为第二训练集、第二验证集和第二测试集；
第二训练单元，用于根据第二训练集、第二验证集和第二测试集对所述第二初始模型进行训练得到基于面部表情的情绪心理状态识别模型。
其中，所述单模态特征处理模块还包括：
获取单元，用于获取关于语音的评估结果三和关于面部表情的评估结果四；
融合单元，用于将关于语音的评估结果三和关于面部表情的评估结果四发送至预先构建的基于MBP和注意力机制的数据融合模型并进行融合处理，得到被测人员抑郁症程度的评估结果一。
需要说明的是，上述基于MBP和注意力机制的数据融合模型包括：
第三采集单元，用于获取第三数据集和第三初始模型，第三初始模型为MBP模型（Multimodal Bilinear Pooling）和自注意力机制模型；
第三分类单元，用于将第三数据集分为第三训练集和第三测试集，第三训练集和第三测试集的比例为4:1；
第三训练单元，用于通过第三训练集对第三初始模型进行训练，得到基于MBP和注意力机制的数据融合模型；
以第二测试集上的误差作为基于MBP和注意力机制的数据融合模型应对现实场景的泛化误差。
信号特征提取模块，用于将多种模态数据特征转换为同模态数据特征；
具体为对多模态数据特征分别提取特征后得到的各模态特征；
智能融合模块，用于将所述同模态数据特征输入至多模态神经网络进行提取得到多种数据模态的融合特征；
具体的，将同模态数据特征进行特征融合，得到高维特征表达；
基于高维特征表达，获取多种单模态数据在高维空间上的共性，即多种单模态数据的统一表征；
将共性与基于中间融合的多模态数据融合模型的中间层进行融合得到融合特征。
具体的，将提取的单模态特征发送至基于中间融合的多模态数据融合模型进行打分，即权重计算，权重为单模态特征融合为多模态特征时的参数，打分完成得到单模态特征的融合比率（融合权重），将各权重与各单模态特征进行计算，得到融合特征。
融合特征处理模块，用于对多种数据模态的融合特征进行打分，同时分类得到被测人员抑郁症程度的评估结果二；
具体的，将融合特征发送至基于中间融合的多模态数据融合模型，通过对融合特征进行打分并分类，得到被测人员抑郁症程度的评估结果二。
预测及分类模块，用于将获取的评估结果一和评估结果二输入至基于MBP和注意力机制的数据融合模型，综合得到被测人员患抑郁症程度的最终评估结果，具体步骤如下：
获取评估结果一和评估结果二；
将评估结果一和评估结果二发送至预先构建的基于MBP和注意力机制的数据融合模型，得到被测人员患抑郁症程度的最终评估结果。
本发明实施例的的实施原理为：通过无感智能数据采集模块采集被测人员的行为信号和生理信号，信号特征提取模块将不同模态数据特征转换为同模态数据特征，智能融合模块将同模态数据特征进行提取得到多种数据模态的融合特征，通过单模态特征处理模块对多种模态数据特征分别进行打分得到评估结果一，通过融合特征处理模块对融合特征进行打分得到评估结果二，通过预测及分类模块将评估结果一和评估结果二进行综合，得到被测人员患抑郁症程度的最终评估结果。
本发明实施例还公开一种基于抑郁症评估的电子设备，包括：
可读存储介质，存储有上述基于多模态信息融合地抑郁症评估系统所用的软件指令，其中包括有用于实现多模态信息融合的的抑郁症评估系统所设计的计算机程序；
处理器，用于执行所述可读存储介质所存储的计算机程序；
触摸显示屏，用于人机实时交互，可视化的显示多种模态数据和评测结果。
以上均为本发明的较佳实施例，并非依此限制本发明的保护范围，故：凡依本发明的结构、形状、原理所做的等效变化，均应涵盖于本发明的保护范围之内。

Claims (8)

1.一种基于多模态信息融合的抑郁症评估系统，其特征在于，包括：
无感智能数据采集模块，用于采集被测人员的多种模态数据特征；
单模态特征处理模块，用于对多种模态数据特征分别进行打分，并综合得到被测人员抑郁症程度的评估结果一；
信号特征提取模块，用于将多种模态数据特征转换为同模态数据特征；
智能融合模块，用于将所述同模态数据特征输入至多模态神经网络进行提取得到多种数据模态的融合特征，具体为将同模态数据特征进行特征融合，得到高维特征表达，基于高维特征表达，获取多种单模态数据在高维空间上的共性，将共性与基于中间融合的多模态数据融合模型的中间层进行融合，得到融合特征；
融合特征处理模块，用于对多种数据模态的融合特征进行打分，同时分类得到被测人员抑郁症程度的评估结果二；
预测及分类模块，用于将获取的评估结果一和评估结果二输入至基于MBP和注意力机制的数据融合模型，综合得到被测人员患抑郁症程度的最终评估结果；
所述多种模态数据特征包括行为信号，所述行为信号包括音频特征，所述音频特征包括语音信号和语义信号；
所述单模态特征处理模块包括用于处理音频特征的语音处理单元，语音处理单元具体包括：
第一转换组件，用于将所述语音信号和语义信号转换为语音单模态数据；
第一评估组件，用于将所述语音单模态数据发送至预先构建的基于语音信号的情绪心理状态识别模型，进行打分并分类，得到关于语音的评估结果三；
所述基于语音信号的情绪心理状态识别模型包括：
第一采集单元，用于获取第一初始模型和第一数据集，所述第一数据集为eNTERFACE05数据库中的音频模态，所述第一初始模型为vanilla CLDNN网络模型；
第一分类单元，用于通过MUSAN语料库中的噪声对所述第一数据集进行扩充，并将扩充处理后的分成加入噪声的第一训练集、第一验证集和第一测试集；
第一训练单元，用于根据第一训练集、第一验证集和第一测试集对所述第一初始模型进行log-Mels训练，得到基于语音信号的情绪心理状态识别模型。
2.根据权利要求1所述的一种基于多模态信息融合的抑郁症评估系统，其特征在于，所述多种模态数据特征至少还包括生理信号；
所述行为信号还包括面部特征，所述面部特征包括面部行为和面部表情；
所述生理信号包括脑电信号、心跳信号、血压信号、体温信号和呼吸信号。
3.根据权利要求2所述的一种基于多模态信息融合的抑郁症评估系统，其特征在于，所述单模态特征处理模块还包括用于处理面部特征的面部处理单元。
4.根据权利要求3所述的一种基于多模态信息融合的抑郁症评估系统，其特征在于，所述面部处理单元具体包括：
第二转换组件，用于将所述面部行为和面部表情转换为面部表情单模态数据；
第二评估组件，用于将所述面部表情单模态数据发送至预先构建的基于面部表情的情绪心理状态识别模型，进行打分并分类，得到关于面部表情的评估结果四。
5.根据权利要求4所述的一种基于多模态信息融合的抑郁症评估系统，其特征在于，所述基于面部表情的情绪心理状态识别模型包括：
第二采集单元，用于获取第二数据集和第二初始模型，所述第二数据集为eNTERFACE05数据库中的每段视频图像中的面部表情图像，所述第二初始模型为ConvNet网络模型；
第二分类单元，用于所述第二数据集在eNTERFACE05数据库的作用下自动分为第二训练集、第二验证集和第二测试集；
第二训练单元，用于根据第二训练集、第二验证集和第二测试集对所述第二初始模型进行训练得到基于面部表情的情绪心理状态识别模型。
6.根据权利要求5所述的一种基于多模态信息融合的抑郁症评估系统，其特征在于，所述单模态特征处理模块还包括：
获取单元，用于获取关于语音的评估结果三和关于面部表情的评估结果四；
融合单元，用于将所述关于语音的评估结果三和关于面部表情的评估结果四发送至预先构建的基于MBP和注意力机制的数据融合模型并进行融合处理，得到被测人员抑郁症程度的评估结果一。
7.根据权利要求6所述的一种基于多模态信息融合的抑郁症评估系统，其特征在于，所述基于MBP和注意力机制的数据融合模型的具体生成步骤如下：
第三采集单元，用于获取第三数据集和第三初始模型，所述第三初始模型为MBP模型和自注意力机制模型；
第三分类单元，用于将所述第三数据集分为第三训练集和第三测试集，所述第三训练集和第三测试集的比例为4:1；
第三训练单元，用于通过所述第三训练集对所述第三初始模型进行训练，得到基于MBP和注意力机制的数据融合模型。
8.一种基于抑郁症评估的电子设备，其特征在于，包括：
可读存储介质，存储有上述权利要求1-7任意一项基于多模态信息融合的抑郁症评估系统所用的软件指令，其中包括有用于实现为多模态信息融合的抑郁症评估系统所设计的计算机程序；
处理器，用于执行所述可读存储介质所存储的计算机程序；
触摸显示屏，用于人机实时交互，可视化的显示多种模态数据和评测结果。
CN202210989524.2A 2022-08-18 2022-08-18 一种基于多模态信息融合的抑郁症评估系统及设备 Active CN115064246B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210989524.2A CN115064246B (zh) 2022-08-18 2022-08-18 一种基于多模态信息融合的抑郁症评估系统及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210989524.2A CN115064246B (zh) 2022-08-18 2022-08-18 一种基于多模态信息融合的抑郁症评估系统及设备

Publications (2)

Publication Number Publication Date
CN115064246A CN115064246A (zh) 2022-09-16
CN115064246B true CN115064246B (zh) 2022-12-20

Family

ID=83207708

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210989524.2A Active CN115064246B (zh) 2022-08-18 2022-08-18 一种基于多模态信息融合的抑郁症评估系统及设备

Country Status (1)

Country Link
CN (1) CN115064246B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115862868A (zh) * 2022-12-15 2023-03-28 清华大学 心理测评系统、平台、电子设备及存储介质
CN116978409A (zh) * 2023-09-22 2023-10-31 苏州复变医疗科技有限公司 基于语音信号的抑郁状态评估方法、装置、终端及介质
CN117289804B (zh) * 2023-11-23 2024-02-13 北京健康有益科技有限公司 虚拟数字人面部表情管理方法、装置、电子设备及介质
CN117457229B (zh) * 2023-12-26 2024-03-08 吉林大学 基于人工智能的麻醉深度监测系统及方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017016086A1 (zh) * 2015-07-30 2017-02-02 华南理工大学 基于生理信息的抑郁症评估系统及其评估方法
CN107133481A (zh) * 2017-05-22 2017-09-05 西北工业大学 基于dcnn‑dnn和pv‑svm的多模态抑郁症估计和分类方法
CN111329494A (zh) * 2020-02-28 2020-06-26 首都医科大学 基于语音关键词检索和语音情绪识别的抑郁症检测方法
CN113274023A (zh) * 2021-06-30 2021-08-20 中国科学院自动化研究所 基于多角度分析的多模态精神状态评估方法
CN113947127A (zh) * 2021-09-15 2022-01-18 复旦大学 一种用于陪伴机器人的多模态情感识别方法和系统
CN114241599A (zh) * 2021-11-24 2022-03-25 人工智能与数字经济广东省实验室(广州) 一种基于多模态特征的抑郁倾向测评系统和方法
CN114305418A (zh) * 2021-12-16 2022-04-12 广东工业大学 一种用于抑郁状态智能评估的数据采集系统及方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120116186A1 (en) * 2009-07-20 2012-05-10 University Of Florida Research Foundation, Inc. Method and apparatus for evaluation of a subject's emotional, physiological and/or physical state with the subject's physiological and/or acoustic data
CN112120716A (zh) * 2020-09-02 2020-12-25 中国人民解放军军事科学院国防科技创新研究院 一种可穿戴式多模态情绪状态监测装置
CN114898861A (zh) * 2022-03-22 2022-08-12 合肥工业大学 基于全注意力机制的多模态抑郁症检测方法和系统
CN114724224A (zh) * 2022-04-15 2022-07-08 浙江工业大学 一种用于医疗护理机器人的多模态情感识别方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017016086A1 (zh) * 2015-07-30 2017-02-02 华南理工大学 基于生理信息的抑郁症评估系统及其评估方法
CN107133481A (zh) * 2017-05-22 2017-09-05 西北工业大学 基于dcnn‑dnn和pv‑svm的多模态抑郁症估计和分类方法
CN111329494A (zh) * 2020-02-28 2020-06-26 首都医科大学 基于语音关键词检索和语音情绪识别的抑郁症检测方法
CN113274023A (zh) * 2021-06-30 2021-08-20 中国科学院自动化研究所 基于多角度分析的多模态精神状态评估方法
CN113947127A (zh) * 2021-09-15 2022-01-18 复旦大学 一种用于陪伴机器人的多模态情感识别方法和系统
CN114241599A (zh) * 2021-11-24 2022-03-25 人工智能与数字经济广东省实验室(广州) 一种基于多模态特征的抑郁倾向测评系统和方法
CN114305418A (zh) * 2021-12-16 2022-04-12 广东工业大学 一种用于抑郁状态智能评估的数据采集系统及方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于SAE和LSTM RNN的多模态生理信号融合和情感识别研究;李幼军等;《通信学报》;20171225(第12期);第113-124页 *
基于深度森林多模态数据决策级融合抑郁症评价方法;张迎辉等;《北京师范大学学报(自然科学版)》;20181015(第05期);第50-55页 *

Also Published As

Publication number Publication date
CN115064246A (zh) 2022-09-16

Similar Documents

Publication Publication Date Title
CN115064246B (zh) 一种基于多模态信息融合的抑郁症评估系统及设备
KR101969540B1 (ko) 인지 기능 재활 훈련 방법 및 장치
CN111461176B (zh) 基于归一化互信息的多模态融合方法、装置、介质及设备
Vinola et al. A survey on human emotion recognition approaches, databases and applications
KR102301143B1 (ko) 맞춤형 인지 기능 검사 및 재활 훈련 평가 방법
CN108778097A (zh) 用于评估心力衰竭的装置和方法
CN111887867A (zh) 基于表情识别与心理学测试生成性格的分析方法及系统
CN113197579A (zh) 一种基于多模态信息融合的智能心理评估方法及系统
Feng et al. Engagement evaluation for autism intervention by robots based on dynamic bayesian network and expert elicitation
CN111265226A (zh) 一种心理应激管理能力检测系统及方法
Javed et al. Artificial intelligence for cognitive health assessment: State-of-the-art, open challenges and future directions
CN115862868A (zh) 心理测评系统、平台、电子设备及存储介质
CN108962397B (zh) 一种基于笔和语音的协同任务神经系统疾病辅助诊断系统
CN111738234B (zh) 基于个体眼动特征的自动化共情能力识别方法
CN113658697A (zh) 一种基于视频注视差异的心理测评系统
Turaev et al. Review and analysis of patients’ body language from an artificial intelligence perspective
Hou Deep Learning-Based Human Emotion Detection Framework Using Facial Expressions
Roy et al. Conv-Random Forest Based IoT: A Deep Learning Model Based on CNN and Random Forest for Classification and Analysis of Valvular Heart Diseases
Adibuzzaman et al. In situ affect detection in mobile devices: a multimodal approach for advertisement using social network
Ray et al. Biophysical signal based emotion detection for technology enabled affective learning
Mantri et al. Real time multimodal depression analysis
CN113842113A (zh) 发展性阅读障碍智能识别方法、系统、设备及存储介质
Kumar et al. Fall detection and activity recognition using hybrid convolution neural network and extreme gradient boosting classifier
Karthick Automatic Stress Recognition System with Deep Learning using Multimodal Psychological Data
Kang et al. A sleep stage classification method using deep learning by extracting the characteristics of frequency domain from a single EEG channel

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant