CN115064246A - 一种基于多模态信息融合的抑郁症评估系统及设备 - Google Patents
一种基于多模态信息融合的抑郁症评估系统及设备 Download PDFInfo
- Publication number
- CN115064246A CN115064246A CN202210989524.2A CN202210989524A CN115064246A CN 115064246 A CN115064246 A CN 115064246A CN 202210989524 A CN202210989524 A CN 202210989524A CN 115064246 A CN115064246 A CN 115064246A
- Authority
- CN
- China
- Prior art keywords
- data
- fusion
- evaluation result
- depression
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
- G16H20/70—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mental therapies, e.g. psychological therapy or autogenous training
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/0205—Simultaneously evaluating both cardiovascular conditions and different types of body conditions, e.g. heart and respiratory condition
- A61B5/02055—Simultaneously evaluating both cardiovascular condition and temperature
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7242—Details of waveform analysis using integration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Psychiatry (AREA)
- Biophysics (AREA)
- Medical Informatics (AREA)
- Pathology (AREA)
- Heart & Thoracic Surgery (AREA)
- Physiology (AREA)
- Veterinary Medicine (AREA)
- Animal Behavior & Ethology (AREA)
- Surgery (AREA)
- Artificial Intelligence (AREA)
- Cardiology (AREA)
- Psychology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Developmental Disabilities (AREA)
- Theoretical Computer Science (AREA)
- Child & Adolescent Psychology (AREA)
- Social Psychology (AREA)
- Hospice & Palliative Care (AREA)
- Signal Processing (AREA)
- Computational Linguistics (AREA)
- General Engineering & Computer Science (AREA)
- Educational Technology (AREA)
- Epidemiology (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Pulmonology (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Primary Health Care (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
本发明涉及一种基于多模态信息融合的抑郁症评估系统及设备,属于抑郁症智能评估的技术领域;系统包括采集多种模态数据特征的无感智能数据采集模块、单模态特征处理模块、信号特征提取模块、智能融合模块、融合特征处理模块和预测及分类模块;本发明通过对多模态数据特征进行融合,分别对单模态数据特征和融合特征进行处理,并将结果融合,进行量化感知被测人员的心理健康程度,提高了被测人员是否患抑郁症可能性以及抑郁症程度的精准度,且减少了人为的主观判断,提高了心理健康评估的准确性和客观性。
Description
技术领域
本发明涉及抑郁症智能评估的技术领域,尤其是涉及一种基于多模态信息融合的抑郁症评估系统及设备。
背景技术
目前,随着我国工业化和城镇化进程的不断推进,生活方式由传统向现代转变,经济社会高速发展,思想观念快速变革,这给和谐社会的发展带来了诸多问题和矛盾,人们学习、工作和生活的压力也变得越来越大,出现心理疾病以及行为障碍的幅度也越来越大,越来越多的人受到心理以及精神方面疾病的困扰,尤其是抑郁症问题给公众的心理健康状况带来巨大的挑战。同时,恶劣的心理健康状况不仅会给患者及其家庭带来痛苦,也会给全社会造成更加沉重的疾病负担。
当前,对抑郁症患者的评估方法主要依靠咨询心理医生或借助心理评测报告和各类测评量表,而心理测评量表系统是以问卷调查和数据报表为基础,根据以往调查分析的结果形成的模型作参考,对照被测评人对相关问题的回答,进行心理评估。
上述中的方案获得的抑郁症患者的信息是分立的,缺乏有效整合,对大学生心理评估的信度和效度都有不良影响,且影响深度无从评价,不仅费时耗力,而且评估结果还具有很强的主观性。
发明内容
为了解决上述背景技术中提出的的问题,本发明提供一种基于多模态信息融合的抑郁症评估系统及设备。
第一方面,本发明提供一种基于多模态信息融合的抑郁症评估系统,采用如下的技术方案:
一种基于多模态信息融合的抑郁症评估系统,包括:
无感智能数据采集模块,用于采集被测人员的多种模态数据特征;
单模态特征处理模块,用于对多种模态数据特征分别进行打分,并综合得到被测人员抑郁症程度的评估结果一;
信号特征提取模块,用于将多种模态数据特征转换为同模态数据特征;
智能融合模块,用于将所述同模态数据特征输入至多模态神经网络进行提取得到多种数据模态的融合特征;
融合特征处理模块,用于对多种数据模态的融合特征进行打分,同时分类得到被测人员抑郁症程度的评估结果二;
预测及分类模块,用于将获取的评估结果一和评估结果二输入至基于MBP和注意力机制的数据融合模型,综合得到被测人员患抑郁症程度的最终评估结果。
通过采用上述技术方案,采集被测人员的多种模态数据特征,并将其高效融合得到融合特征,通过设置单模态特征处理模块和融合特征处理模块分别对单模态数据特征和融合特征处理,得到基于单模态的抑郁症程度评估结果和基于融合特征的抑郁症程度评估结果,将两种结果融合得到最终评估结果,提高了抑郁症程度评估的准确性和客观性,减少了主观性。
优选的,所述多种模态数据特征至少包括行为信号和生理信号;所述行为信号包括音频特征和面部特征,所述音频特征包括语音信号和语义信号,所述面部特征包括面部行为和面部表情;所述生理信号包括脑电信号、心跳信号、血压信号、体温信号和呼吸信号。
优选的,所述单模态特征处理模块包括用于处理音频特征的语音处理单元和用于处理面部特征的面部处理单元。
优选的,所述语音处理单元具体包括:
第一转换组件,用于将所述语音信号和语义信号转换为语音单模态数据;
第一评估组件,用于将所述语音单模态数据发送至预先构建的基于语音信号的情绪心理状态识别模型,进行打分并分类,得到关于语音的评估结果三。
优选的,所述基于语音信号的情绪心理状态识别模型包括:
第一采集单元,用于获取第一初始模型和第一数据集,所述第一数据集为eNTERFACE05数据库中的音频模态,所述第一初始模型为vanilla CLDNN网络模型;
第一分类单元,用于通过MUSAN语料库中的噪声对所述第一数据集进行扩充,并将扩充处理后的分成加入噪声的第一训练集、第一验证集和第一测试集;
第一训练单元,用于根据第一训练集、第一验证集和第一测试集对所述第一初始模型进行log-Mels训练,得到基于语音信号的情绪心理状态识别模型。
优选的,所述面部处理单元具体包括:
第二转换组件,用于将所述面部行为和面部表情转换为面部表情单模态数据;
第二评估组件,用于将所述面部表情单模态数据发送至预先构建的基于面部表情的情绪心理状态识别模型,进行打分并分类,得到关于面部表情的评估结果四。
优选的,所述基于面部表情的情绪心理状态识别模型包括:
第二采集单元,用于获取第二数据集和第二初始模型,所述第二数据集为eNTERFACE05数据库中的每段视频图像中的面部表情图像,所述第二初始模型为ConvNet网络模型;
第二分类单元,用于所述第二数据集在eNTERFACE05数据库的作用下自动分为第二训练集、第二验证集和第二测试集;
第二训练单元,用于根据第二训练集、第二验证集和第二测试集对所述第二初始模型进行训练得到基于面部表情的情绪心理状态识别模型。
优选的,所述单模态特征处理模块还包括:
获取单元,用于获取关于语音的评估结果三和关于面部表情的评估结果四;
融合单元,用于将所述关于语音的评估结果三和关于面部表情的评估结果四发送至预先构建的基于MBP和注意力机制的数据融合模型并进行融合处理,得到被测人员抑郁症程度的评估结果一。
通过采用上述技术方案,将单模态数据的处理结果进行融合,进而提高被测人员抑郁程度评估的精准度。
优选的,所述基于MBP和注意力机制的数据融合模型的具体生成步骤如下:
第三采集单元,用于获取第三数据集和第三初始模型,所述第三初始模型为MBP模型和自注意力机制模型;
第三分类单元,用于将所述第三数据集分为第三训练集和第三测试集,所述第三训练集和第三测试集的比例为4:1;
第三训练单元,用于通过所述第三训练集对所述第三初始模型进行训练,得到基于MBP和注意力机制的数据融合模型。
第二方面,本发明提供一种基于抑郁症评估的电子设备,采用如下的技术方案:
一种基于抑郁症评估的电子设备,包括:
可读存储介质,存储有上述基于多模态信息融合的抑郁症评估系统所用的软件指令,其中包括有用于实现为多模态信息融合的抑郁症评估系统所设计的计算机程序;
处理器,用于执行所述可读存储介质所存储的计算机程序;
触摸显示屏,用于人机实时交互,可视化的显示多种模态数据和评测结果。
综上所述,本发明具有如下的有益技术效果:
1.本发明通过采集被测人员的多种模态数据特征,并进行了高效融合,对单模态数据特征和融合特征分别进行处理,并将结果融合,量化感知被测人员的心理健康程度,提高了对于被测人员是否患抑郁症可能性以及抑郁症程度的精准度;
2.本发明减少了人为的主观判断,提高了心理健康评估的准确性和客观性。
附图说明
图1是本发明的处理流程示意图。
具体实施方式
以下结合图1对本发明作进一步详细说明。
本发明实施例公开一种基于多模态信息融合的抑郁症评估系统。参照图1,一种基于多模态信息融合的抑郁症评估系统具体包括:无感智能数据采集模块、单模态特征处理模块、信号特征提取模块、智能融合模块、融合特征处理模块和预测及分类模块。
具体地,
无感智能数据采集模块,用于采集被测人员的多种模态数据特征;
具体的,多种模态数据特征至少包括行为信号和生理信号;
行为信号包括音频特征和面部特征,音频特征包括语音信号和语义信号,面部特征包括面部行为和面部表情;
生理信号包括脑电信号、心跳信号、血压信号、体温信号和呼吸信号;
上述行为信号可以通过摄像机捕捉视频信号、语音信号和语义信号,在视频信号中获取被测人员的面部行为和面部表情;
上述生理信号可通过给被测人员佩戴脑电波头带、手环等便携式设备,获取被测人员的脑电信号、心跳信号、血压信号、体温信号和呼吸信号。
单模态特征处理模块,用于对多种模态数据特征分别进行打分,并综合得到被测人员抑郁症程度的评估结果一;
其中,单模态特征处理模块包括用于处理音频特征的语音处理单元和用于处理面部特征的面部处理单元;
语音处理单元具体包括:
第一转换组件,用于将语音信号和语义信号转换为语音单模态数据;语音信号和语义信号通过openSMILE等开源工具进行数据处理,提取深层数据特征,得到语音单模态数据;
第一评估组件,用于将语音单模态数据发送至预先构建的基于语音信号的情绪心理状态识别模型并进行处理,得到关于语音的评估结果三。
需要说明的是,上述中基于语音信号的情绪心理状态识别模型包括:
第一采集单元,用于获取第一初始模型和第一数据集,所述第一数据集为eNTERFACE05数据库中1257段音频模态,所述第一初始模型为vanilla CLDNN网络模型,所述CLDNN网络模型包括:包含两个具有32个特征图的卷积层和一个最大池化层的特征模块、包含一个具有长短记忆选通的双向递归神经网络层(BLSTM)的时间模块、包含4个FC层的分类器模块,所述分类器模块中前3个FC层为ReLU激活函数,最后一个FC层为Softmax函数;
第一分类单元,用于通过MUSAN语料库中的噪声对所述第一数据集进行扩充,并在MUSAN语料库的作用下将扩充处理后的分成加入噪声的第一训练集、第一验证集和第一测试集;
第一训练单元,用于根据第一训练集、第一验证集和第一测试集对所述第一初始模型进行log-Mels训练,得到基于语音信号的情绪心理状态识别模型。
另外,面部处理单元具体包括:
第二转换组件,用于将所述面部行为和面部表情转换为面部表情单模态数据;面部行为和面部表情通过OpenFace等开源工具进行数据处理,提取深层数据特征,得到面部表情单模态数据;
第二评估组件,用于将面部表情单模态数据发送至预先构建的基于面部表情的情绪心理状态识别模型并进行处理,得到关于面部表情的评估结果四。
需要说明的是,上述中基于面部表情的情绪心理状态识别模型包括:
第二采集单元,用于获取第二数据集和第二初始模型,所述第二数据集为eNTERFACE05数据库中的每段视频图像中的面部表情图像,所述第二初始模型为ConvNet网络模型,所述ConvNet网络模型包括4个阶段,第一阶段包含1个卷积层、1个最大池化层和1个局部响应归一化层;第二阶段包含1个卷积层、1个平均池化层和一个局部响应归一化层;第三阶段包含1个卷积层和一个平均池化层;第四阶段即分类阶段,包含一个全连接层和一个输出层,输出层通过softmax函数,实现特征与分类概率分布间的映射;
第二分类单元,用于第二数据集在eNTERFACE05数据库的作用下自动分为第二训练集、第二验证集和第二测试集;
第二训练单元,用于根据第二训练集、第二验证集和第二测试集对所述第二初始模型进行训练得到基于面部表情的情绪心理状态识别模型。
其中,所述单模态特征处理模块还包括:
获取单元,用于获取关于语音的评估结果三和关于面部表情的评估结果四;
融合单元,用于将关于语音的评估结果三和关于面部表情的评估结果四发送至预先构建的基于MBP和注意力机制的数据融合模型并进行融合处理,得到被测人员抑郁症程度的评估结果一。
需要说明的是,上述基于MBP和注意力机制的数据融合模型包括:
第三采集单元,用于获取第三数据集和第三初始模型,第三初始模型为MBP模型(Multimodal Bilinear Pooling)和自注意力机制模型;
第三分类单元,用于将第三数据集分为第三训练集和第三测试集,第三训练集和第三测试集的比例为4:1;
第三训练单元,用于通过第三训练集对第三初始模型进行训练,得到基于MBP和注意力机制的数据融合模型;
以第二测试集上的误差作为基于MBP和注意力机制的数据融合模型应对现实场景的泛化误差。
信号特征提取模块,用于将多种模态数据特征转换为同模态数据特征;
具体为对多模态数据特征分别提取特征后得到的各模态特征
智能融合模块,用于将所述同模态数据特征输入至多模态神经网络进行提取得到多种数据模态的融合特征;
具体的,将同模态数据特征进行特征融合,得到高维特征表达;
基于高维特征表达,获取多种单模态数据在高维空间上的共性,即多种单模态数据的统一表征;
将共性与基于中间融合的多模态数据融合模型的中间层进行融合得到融合特征。
具体的,将提取的单模态特征发送至基于中间融合的多模态数据融合模型进行打分,即权重计算,权重为单模态特征融合为多模态特征时的参数,打分完成得到单模态特征的融合比率(融合权重),将各权重与各单模态特征进行计算,得到融合特征。
融合特征处理模块,用于对多种数据模态的融合特征进行打分,同时分类得到被测人员抑郁症程度的评估结果二;
具体的,将融合特征发送至基于中间融合的多模态数据融合模型,通过对融合特征进行打分并分类,得到被测人员抑郁症程度的评估结果二。
预测及分类模块,用于将获取的评估结果一和评估结果二输入至基于MBP和注意力机制的数据融合模型,综合得到被测人员患抑郁症程度的最终评估结果,具体步骤如下:
获取评估结果一和评估结果二;
将评估结果一和评估结果二发送至预先构建的基于MBP和注意力机制的数据融合模型,得到被测人员患抑郁症程度的最终评估结果。
本发明实施例的的实施原理为:通过无感智能数据采集模块采集被测人员的行为信号和生理信号,信号特征提取模块将不同模态数据特征转换为同模态数据特征,智能融合模块将同模态数据特征进行提取得到多种数据模态的融合特征,通过单模态特征处理模块对多种模态数据特征分别进行打分得到评估结果一,通过融合特征处理模块对融合特征进行打分得到评估结果二,通过预测及分类模块将评估结果一和评估结果二进行综合,得到被测人员患抑郁症程度的最终评估结果。
本发明实施例还公开一种基于抑郁症评估的电子设备,包括:
可读存储介质,存储有上述基于多模态信息融合地抑郁症评估系统所用的软件指令,其中包括有用于实现多模态信息融合的的抑郁症评估系统所设计的计算机程序;
处理器,用于执行所述可读存储介质所存储的计算机程序;
触摸显示屏,用于人机实时交互,可视化的显示多种模态数据和评测结果。
以上均为本发明的较佳实施例,并非依此限制本发明的保护范围,故:凡依本发明的结构、形状、原理所做的等效变化,均应涵盖于本发明的保护范围之内。
Claims (10)
1.一种基于多模态信息融合的抑郁症评估系统,其特征在于,包括:
无感智能数据采集模块,用于采集被测人员的多种模态数据特征;
单模态特征处理模块,用于对多种模态数据特征分别进行打分,并综合得到被测人员抑郁症程度的评估结果一;
信号特征提取模块,用于将多种模态数据特征转换为同模态数据特征;
智能融合模块,用于将所述同模态数据特征输入至多模态神经网络进行提取得到多种数据模态的融合特征;
融合特征处理模块,用于对多种数据模态的融合特征进行打分,同时分类得到被测人员抑郁症程度的评估结果二;
预测及分类模块,用于将获取的评估结果一和评估结果二输入至基于MBP和注意力机制的数据融合模型,综合得到被测人员患抑郁症程度的最终评估结果。
2.根据权利要求1所述的一种基于多模态信息融合的抑郁症评估系统,其特征在于,所述多种模态数据特征至少包括行为信号和生理信号;
所述行为信号包括音频特征和面部特征,所述音频特征包括语音信号和语义信号,所述面部特征包括面部行为和面部表情;
所述生理信号包括脑电信号、心跳信号、血压信号、体温信号和呼吸信号。
3.根据权利要求2所述的一种基于多模态信息融合的抑郁症评估系统,其特征在于,所述单模态特征处理模块包括用于处理音频特征的语音处理单元和用于处理面部特征的面部处理单元。
4.根据权利要求3所述的一种基于多模态信息融合的抑郁症评估系统,其特征在于,所述语音处理单元具体包括:
第一转换组件,用于将所述语音信号和语义信号转换为语音单模态数据;
第一评估组件,用于将所述语音单模态数据发送至预先构建的基于语音信号的情绪心理状态识别模型,进行打分并分类,得到关于语音的评估结果三。
5.根据权利要求4所述的一种基于多模态信息融合的抑郁症评估系统,其特征在于,所述基于语音信号的情绪心理状态识别模型包括:
第一采集单元,用于获取第一初始模型和第一数据集,所述第一数据集为eNTERFACE05数据库中的音频模态,所述第一初始模型为vanilla CLDNN网络模型;
第一分类单元,用于通过MUSAN语料库中的噪声对所述第一数据集进行扩充,并将扩充处理后的分成加入噪声的第一训练集、第一验证集和第一测试集;
第一训练单元,用于根据第一训练集、第一验证集和第一测试集对所述第一初始模型进行log-Mels训练,得到基于语音信号的情绪心理状态识别模型。
6.根据权利要求5所述的一种基于多模态信息融合的抑郁症评估系统,其特征在于,所述面部处理单元具体包括:
第二转换组件,用于将所述面部行为和面部表情转换为面部表情单模态数据;
第二评估组件,用于将所述面部表情单模态数据发送至预先构建的基于面部表情的情绪心理状态识别模型,进行打分并分类,得到关于面部表情的评估结果四。
7.根据权利要求6所述的一种基于多模态信息融合的抑郁症评估系统,其特征在于,所述基于面部表情的情绪心理状态识别模型包括:
第二采集单元,用于获取第二数据集和第二初始模型,所述第二数据集为eNTERFACE05数据库中的每段视频图像中的面部表情图像,所述第二初始模型为ConvNet网络模型;
第二分类单元,用于所述第二数据集在eNTERFACE05数据库的作用下自动分为第二训练集、第二验证集和第二测试集;
第二训练单元,用于根据第二训练集、第二验证集和第二测试集对所述第二初始模型进行训练得到基于面部表情的情绪心理状态识别模型。
8.根据权利要求7所述的一种基于多模态信息融合的抑郁症评估系统,其特征在于,所述单模态特征处理模块还包括:
获取单元,用于获取关于语音的评估结果三和关于面部表情的评估结果四;
融合单元,用于将所述关于语音的评估结果三和关于面部表情的评估结果四发送至预先构建的基于MBP和注意力机制的数据融合模型并进行融合处理,得到被测人员抑郁症程度的评估结果一。
9.根据权利要求8所述的一种基于多模态信息融合的抑郁症评估系统,其特征在于,所述基于MBP和注意力机制的数据融合模型的具体生成步骤如下:
第三采集单元,用于获取第三数据集和第三初始模型,所述第三初始模型为MBP模型和自注意力机制模型;
第三分类单元,用于将所述第三数据集分为第三训练集和第三测试集,所述第三训练集和第三测试集的比例为4:1;
第三训练单元,用于通过所述第三训练集对所述第三初始模型进行训练,得到基于MBP和注意力机制的数据融合模型。
10.一种基于抑郁症评估的电子设备,其特征在于,包括:
可读存储介质,存储有上述权利要求1-9任意一项基于多模态信息融合的抑郁症评估系统所用的软件指令,其中包括有用于实现为多模态信息融合的抑郁症评估系统所设计的计算机程序;
处理器,用于执行所述可读存储介质所存储的计算机程序;
触摸显示屏,用于人机实时交互,可视化的显示多种模态数据和评测结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210989524.2A CN115064246B (zh) | 2022-08-18 | 2022-08-18 | 一种基于多模态信息融合的抑郁症评估系统及设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210989524.2A CN115064246B (zh) | 2022-08-18 | 2022-08-18 | 一种基于多模态信息融合的抑郁症评估系统及设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115064246A true CN115064246A (zh) | 2022-09-16 |
CN115064246B CN115064246B (zh) | 2022-12-20 |
Family
ID=83207708
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210989524.2A Active CN115064246B (zh) | 2022-08-18 | 2022-08-18 | 一种基于多模态信息融合的抑郁症评估系统及设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115064246B (zh) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115862868A (zh) * | 2022-12-15 | 2023-03-28 | 清华大学 | 心理测评系统、平台、电子设备及存储介质 |
CN116665845A (zh) * | 2023-05-17 | 2023-08-29 | 北京邮电大学 | 一种基于多模态数据用户情绪自测系统 |
CN116978409A (zh) * | 2023-09-22 | 2023-10-31 | 苏州复变医疗科技有限公司 | 基于语音信号的抑郁状态评估方法、装置、终端及介质 |
CN117289804A (zh) * | 2023-11-23 | 2023-12-26 | 北京健康有益科技有限公司 | 虚拟数字人面部表情管理方法、装置、电子设备及介质 |
CN117457229A (zh) * | 2023-12-26 | 2024-01-26 | 吉林大学 | 基于人工智能的麻醉深度监测系统及方法 |
CN117995399A (zh) * | 2024-01-25 | 2024-05-07 | 徐州医科大学 | 基于多模态数据的大规模心理健康智能评价方法及系统 |
CN118044813A (zh) * | 2024-04-16 | 2024-05-17 | 山东第一医科大学附属省立医院(山东省立医院) | 基于多任务学习的心理健康状况评估方法及系统 |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120116186A1 (en) * | 2009-07-20 | 2012-05-10 | University Of Florida Research Foundation, Inc. | Method and apparatus for evaluation of a subject's emotional, physiological and/or physical state with the subject's physiological and/or acoustic data |
WO2017016086A1 (zh) * | 2015-07-30 | 2017-02-02 | 华南理工大学 | 基于生理信息的抑郁症评估系统及其评估方法 |
CN107133481A (zh) * | 2017-05-22 | 2017-09-05 | 西北工业大学 | 基于dcnn‑dnn和pv‑svm的多模态抑郁症估计和分类方法 |
CN111329494A (zh) * | 2020-02-28 | 2020-06-26 | 首都医科大学 | 基于语音关键词检索和语音情绪识别的抑郁症检测方法 |
CN112120716A (zh) * | 2020-09-02 | 2020-12-25 | 中国人民解放军军事科学院国防科技创新研究院 | 一种可穿戴式多模态情绪状态监测装置 |
CN113274023A (zh) * | 2021-06-30 | 2021-08-20 | 中国科学院自动化研究所 | 基于多角度分析的多模态精神状态评估方法 |
CN113947127A (zh) * | 2021-09-15 | 2022-01-18 | 复旦大学 | 一种用于陪伴机器人的多模态情感识别方法和系统 |
CN114241599A (zh) * | 2021-11-24 | 2022-03-25 | 人工智能与数字经济广东省实验室(广州) | 一种基于多模态特征的抑郁倾向测评系统和方法 |
CN114305418A (zh) * | 2021-12-16 | 2022-04-12 | 广东工业大学 | 一种用于抑郁状态智能评估的数据采集系统及方法 |
CN114724224A (zh) * | 2022-04-15 | 2022-07-08 | 浙江工业大学 | 一种用于医疗护理机器人的多模态情感识别方法 |
CN114898861A (zh) * | 2022-03-22 | 2022-08-12 | 合肥工业大学 | 基于全注意力机制的多模态抑郁症检测方法和系统 |
-
2022
- 2022-08-18 CN CN202210989524.2A patent/CN115064246B/zh active Active
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120116186A1 (en) * | 2009-07-20 | 2012-05-10 | University Of Florida Research Foundation, Inc. | Method and apparatus for evaluation of a subject's emotional, physiological and/or physical state with the subject's physiological and/or acoustic data |
WO2017016086A1 (zh) * | 2015-07-30 | 2017-02-02 | 华南理工大学 | 基于生理信息的抑郁症评估系统及其评估方法 |
CN107133481A (zh) * | 2017-05-22 | 2017-09-05 | 西北工业大学 | 基于dcnn‑dnn和pv‑svm的多模态抑郁症估计和分类方法 |
CN111329494A (zh) * | 2020-02-28 | 2020-06-26 | 首都医科大学 | 基于语音关键词检索和语音情绪识别的抑郁症检测方法 |
CN112120716A (zh) * | 2020-09-02 | 2020-12-25 | 中国人民解放军军事科学院国防科技创新研究院 | 一种可穿戴式多模态情绪状态监测装置 |
CN113274023A (zh) * | 2021-06-30 | 2021-08-20 | 中国科学院自动化研究所 | 基于多角度分析的多模态精神状态评估方法 |
CN113947127A (zh) * | 2021-09-15 | 2022-01-18 | 复旦大学 | 一种用于陪伴机器人的多模态情感识别方法和系统 |
CN114241599A (zh) * | 2021-11-24 | 2022-03-25 | 人工智能与数字经济广东省实验室(广州) | 一种基于多模态特征的抑郁倾向测评系统和方法 |
CN114305418A (zh) * | 2021-12-16 | 2022-04-12 | 广东工业大学 | 一种用于抑郁状态智能评估的数据采集系统及方法 |
CN114898861A (zh) * | 2022-03-22 | 2022-08-12 | 合肥工业大学 | 基于全注意力机制的多模态抑郁症检测方法和系统 |
CN114724224A (zh) * | 2022-04-15 | 2022-07-08 | 浙江工业大学 | 一种用于医疗护理机器人的多模态情感识别方法 |
Non-Patent Citations (3)
Title |
---|
YANG LIU 等: "Improved Depression Recognition Using Attention and Multitask Learning of Gender Recognition", 《2021 INTERNATIONAL CONFERENCE ON ASIAN LANGUAGE PROCESSING (IALP)》 * |
张迎辉等: "基于深度森林多模态数据决策级融合抑郁症评价方法", 《北京师范大学学报(自然科学版)》 * |
李幼军等: "基于SAE和LSTM RNN的多模态生理信号融合和情感识别研究", 《通信学报》 * |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115862868A (zh) * | 2022-12-15 | 2023-03-28 | 清华大学 | 心理测评系统、平台、电子设备及存储介质 |
CN116665845A (zh) * | 2023-05-17 | 2023-08-29 | 北京邮电大学 | 一种基于多模态数据用户情绪自测系统 |
CN116978409A (zh) * | 2023-09-22 | 2023-10-31 | 苏州复变医疗科技有限公司 | 基于语音信号的抑郁状态评估方法、装置、终端及介质 |
CN117289804A (zh) * | 2023-11-23 | 2023-12-26 | 北京健康有益科技有限公司 | 虚拟数字人面部表情管理方法、装置、电子设备及介质 |
CN117289804B (zh) * | 2023-11-23 | 2024-02-13 | 北京健康有益科技有限公司 | 虚拟数字人面部表情管理方法、装置、电子设备及介质 |
CN117457229A (zh) * | 2023-12-26 | 2024-01-26 | 吉林大学 | 基于人工智能的麻醉深度监测系统及方法 |
CN117457229B (zh) * | 2023-12-26 | 2024-03-08 | 吉林大学 | 基于人工智能的麻醉深度监测系统及方法 |
CN117995399A (zh) * | 2024-01-25 | 2024-05-07 | 徐州医科大学 | 基于多模态数据的大规模心理健康智能评价方法及系统 |
CN118044813A (zh) * | 2024-04-16 | 2024-05-17 | 山东第一医科大学附属省立医院(山东省立医院) | 基于多任务学习的心理健康状况评估方法及系统 |
CN118044813B (zh) * | 2024-04-16 | 2024-07-02 | 山东第一医科大学附属省立医院(山东省立医院) | 基于多任务学习的心理健康状况评估方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN115064246B (zh) | 2022-12-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN115064246B (zh) | 一种基于多模态信息融合的抑郁症评估系统及设备 | |
CN111461176B (zh) | 基于归一化互信息的多模态融合方法、装置、介质及设备 | |
KR101969540B1 (ko) | 인지 기능 재활 훈련 방법 및 장치 | |
WO2017193497A1 (zh) | 基于融合模型的智能化健康管理服务器、系统及其控制方法 | |
CN109009017B (zh) | 一种智能健康监测系统及其数据处理方法 | |
KR102301143B1 (ko) | 맞춤형 인지 기능 검사 및 재활 훈련 평가 방법 | |
CN110584601B (zh) | 一种老人认知功能监测和评估系统 | |
CN111887867A (zh) | 基于表情识别与心理学测试生成性格的分析方法及系统 | |
CN104636580A (zh) | 一种基于人脸的健康监控手机 | |
CN111462841A (zh) | 一种基于知识图谱的抑郁症智能诊断装置及系统 | |
CN118044813B (zh) | 基于多任务学习的心理健康状况评估方法及系统 | |
CN118098587A (zh) | 一种基于数字医生的ai自杀风险分析方法及系统 | |
CN117064388A (zh) | 基于情绪识别实现精神障碍评估分析的系统 | |
CN115274104A (zh) | 一种数字生物标志物 | |
CN108962397B (zh) | 一种基于笔和语音的协同任务神经系统疾病辅助诊断系统 | |
Turaev et al. | Review and analysis of patients’ body language from an artificial intelligence perspective | |
Zhang et al. | Multimodal Sensing for Depression Risk Detection: Integrating Audio, Video, and Text Data | |
Hou | Deep learning-based human emotion detection framework using facial expressions | |
CN115271002B (zh) | 识别方法、急救决策方法、介质及生命健康智能监护系统 | |
CN113724853A (zh) | 一种基于深度学习的智慧医疗系统 | |
CN114903475A (zh) | 基于PCANet神经网络和多传感器信息融合的健康检测仪及其方法 | |
Ray et al. | Biophysical signal based emotion detection for technology enabled affective learning | |
Mantri et al. | Real time multimodal depression analysis | |
CN115273176A (zh) | 一种基于生命体征和表情的疼痛多算法客观评估方法 | |
CN114974254A (zh) | 一种基于多模态人工智能技术的儿童抑郁情绪识别方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |