CN111145851A - 一种基于智能手环的心理状态监测评估系统 - Google Patents

一种基于智能手环的心理状态监测评估系统 Download PDF

Info

Publication number
CN111145851A
CN111145851A CN201911377321.2A CN201911377321A CN111145851A CN 111145851 A CN111145851 A CN 111145851A CN 201911377321 A CN201911377321 A CN 201911377321A CN 111145851 A CN111145851 A CN 111145851A
Authority
CN
China
Prior art keywords
electrocardio
emotion
data
voice
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911377321.2A
Other languages
English (en)
Other versions
CN111145851B (zh
Inventor
陈尔奎
杨波
巩固
陈煊之
郑文锋
刘珊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Huashang Electric Co ltd
University of Electronic Science and Technology of China
Original Assignee
Shandong Huashang Electric Co ltd
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Huashang Electric Co ltd, University of Electronic Science and Technology of China filed Critical Shandong Huashang Electric Co ltd
Priority to CN201911377321.2A priority Critical patent/CN111145851B/zh
Publication of CN111145851A publication Critical patent/CN111145851A/zh
Application granted granted Critical
Publication of CN111145851B publication Critical patent/CN111145851B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/60—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/318—Heart-related electrical modalities, e.g. electrocardiography [ECG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802—Sensor mounted on worn items
    • A61B5/681—Wristwatch-type devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H80/00—ICT specially adapted for facilitating communication between medical practitioners or patients, e.g. for collaborative diagnosis, therapy or health monitoring

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Primary Health Care (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Epidemiology (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Psychiatry (AREA)
  • Educational Technology (AREA)
  • Artificial Intelligence (AREA)
  • Psychology (AREA)
  • Hospice & Palliative Care (AREA)
  • Business, Economics & Management (AREA)
  • Developmental Disabilities (AREA)
  • Child & Adolescent Psychology (AREA)
  • Databases & Information Systems (AREA)
  • Cardiology (AREA)
  • Social Psychology (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • General Business, Economics & Management (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

本发明公开了一种基于智能手环的心理状态监测评估系统，包括智能手环、移动端app和云端服务器；当用户戴上智能手环并在手机终端确认开始监测时，智能手环将通过语音采集模块采集用户日常聊天语音，通过心电采集模块采集用户心电数据，并将收集的数据通过显示模块和通信模块的显示和传送，通讯模块通过多种通讯方式与云端服务器连接，云端服务器接收语音和心电数据，通过心理预测模块将结果返回到手机移动端app，用户在手机移动端app上查看得到的评估结果。

Description

一种基于智能手环的心理状态监测评估系统
技术领域
本发明属于健康监测技术领域，更为具体地讲，涉及一种基于智能手环的心理状态监测评估系统。
背景技术
世界卫生组织在最新报告中指出，心理问题在全世界导致了12％的疾病。此外，报告强调，46％的疾病都与抑郁症直接相关。世卫组织的专家认为，如果保持这一趋势，在不考虑社会经济水平、国家、信仰和文化等因素的情况下，到2030年抑郁症将成为致残的第一大诱因。据估计，目前全世界有3亿人受到抑郁症困扰。然而，心理疾病在患病前期并没有明显症状，有明显症状是疾病已经达到非常严重的程度。大多数人根本不知道患有心理疾病。同时由于中国人民的工作压力增大和生活水平提高，患有心理疾病的人群比例逐年增加，同时呈年轻化趋势发展。可以预见，在未来，中国会为心理疾病即其衍生疾病花费巨额的公共医疗投入。因此找到一种有效的、便捷的评估心理状态的系统很有必要。目前，心理疾病的诊断和疗效评估缺少客观的测量方法和工具，主要依靠病史、患者自述以及临床量表等主观评估方法，从而造成早期情感障碍识别困难，使得患者常常因此失去最佳治疗时机。
随着深度学习技术的快速发展，NLP(Nature language model，自然语言处理)领域也越来越多引入了深度学习技术，其效果相比传统的基于规则或者传统统计方法的处理方式有了长足的进步。而利用transformer模型的预训练语言表示模型，如BERT(Bidirectional Encoder Representations from Transformers)，在各项NLP任务中取得了比传统的方法表现更出色的成绩，因为transformer改进了RNN最为人诟病的训练慢的特点。利用Self-attention机制实现快速并行，并且Transformer可以增加到非常深的深度，充分发掘DNN(Deep Neural Networks，深度神经网络)模型的特征，提升模型准确率。智能化的语音识别系统层出不穷，并且给带来了许多便利。然而目前关注于用户的智能化健康监测系统及技术尚未有较好的应用。
对用户日常聊天和对话进行分析可以对心理疾病进行早期诊断和预测性评估，实时对话监测记录可以更加准确的监测心理状况。综上所述，实时、易于使用的心理监测方法是很有必要的。
发明内容
本发明的目的在于克服现有技术的不足，提供一种基于智能手环的心理状态监测评估系统，通过语音和心电对用户日常监测，分析用户情感波动并给出评估和预测。
为实现上述发明目的，本发明一种基于智能手环的心理状态监测评估系统，其特征在于，包括：智能手环、移动端app和云端服务器；
所述智能手环主要完成语音和心电数据的采集和上传，具体包括以下模块：
语音采集模块，部署在智能手环外侧的拾音器，用于记录用户日常的语音数据；
心电采集模块，部署在智能手环内侧贴近皮肤的心电传感器，用于记录用户聊天时的心电数据；将心电数据采集并通过控制模块将数据传输给通讯模块；
控制模块，部署在智能手环正上方，用于接收语音数据和心电数据，然后生成控制命令发送给显示模块，同时将语音数据和心电数据通过通讯模块发送给云端服务器；
显示模块，部署在智能手环外侧的显示器，用于接收控制模块发送的控制命令，并按照控制命令进行显示；
数据存储模块，部署在智能手环正下方，为可读、写存储单元，用于存储用户的身份信息、用户预设重要信息，以及存储音数据和心电数据；
通讯模块，部署在智能手环内侧，支持多种通讯功能，包括蓝牙、WIFI和移动通讯；与移动端app连接，实现智能手环与云端服务器的通信；
所述移动端app用于智能手环的功能设置和管理，并将从云端服务器评估得到的用户心理状态结果进行显示；
所述云端服务器通过通讯模块与智能手环和移动端app连接，具体包括以下模块：
模型训练模块，构建了基于Transformer的语音情感模型和基于卷积神经网络(CNN)的心电情感模型，通过已有的语音数据和心电数据训练语音情感模型和心电情感模型，将训练好的语音情感模型和心电情感模型供心理评估模块使用；
心理评估模块，当智能手环将语音数据和心电数据发送给云端服务器后，通过语音情感模型和心电情感模型分别对语音数据和心电数据进行处理，得到语音情感分类和心电情感分类，然后通过融合算法评估用户心理状态结果，再返回到移动端app。
本发明的发明目的是这样实现的：
本发明基于智能手环的心理状态监测评估系统，包括智能手环、移动端app和云端服务器；当用户戴上智能手环并在手机终端确认开始监测时，智能手环将通过语音采集模块采集用户日常聊天语音，通过心电采集模块采集用户心电数据，并将收集的数据通过显示模块和通信模块的显示和传送，通讯模块通过多种通讯方式与云端服务器连接，云端服务器接收语音和心电数据，通过心理预测模块将结果返回到手机移动端app，用户在手机移动端app上查看得到的评估结果。
同时，本发明基于智能手环的心理状态监测评估系统还具有以下有益效果：
(1)、本发明与现有技术相比，本发明通过判决层融合了语言情感分类结果和心电情感结果，提高了模型的准确率；
(2)、本发明设计合理，结构简单，利用可穿戴手环采集语音和心电数据，数据分析设计在云端服务器上，可以进行大规模的深度学习网络的训练和前向计算，并可通过移动端App管理手环设备、显示和记录分析结果。
附图说明
图1是本发明基于智能手环的心理状态监测评估系统一种具体实施方式架构图；
图2是语音情感模型和心电情感模型的训练流程图。
具体实施方式
下面结合附图对本发明的具体实施方式进行描述，以便本领域的技术人员更好地理解本发明。需要特别提醒注意的是，在以下的描述中，当已知功能和设计的详细描述也许会淡化本发明的主要内容时，这些描述在这里将被忽略。
实施例
图1是本发明基于智能手环的心理状态监测评估系统一种具体实施方式架构图。
在本实施例中，如图1所示，本发明一种基于智能手环的心理状态监测评估系统，包括：智能手环、移动端app和云端服务器；
智能手环主要完成语音和心电数据的采集和上传，具体包括以下模块：
语音采集模块，部署在智能手环外侧的拾音器，用于记录用户日常的语音数据；
心电采集模块，部署在智能手环内侧贴近皮肤的心电传感器，用于记录用户聊天时的心电数据；将心电数据采集并通过控制模块将数据传输给通讯模块；
控制模块，部署在智能手环正上方，用于接收语音数据和心电数据，然后生成控制命令发送给显示模块，同时将语音数据和心电数据通过通讯模块发送给云端服务器；
显示模块，部署在智能手环外侧的显示器，用于接收控制模块发送的控制命令，并按照控制命令进行显示；
数据存储模块，部署在智能手环正下方，为可读、写存储单元，用于存储用户的身份信息、用户预设重要信息，以及存储音数据和心电数据；
通讯模块，部署在智能手环内侧，支持多种通讯功能，包括蓝牙、WIFI和移动通讯；与移动端app连接，实现智能手环与云端服务器的通信；
移动端app用于智能手环的功能设置和管理，并将从云端服务器评估得到的用户心理状态结果进行显示；
云端服务器通过通讯模块与智能手环和移动端app连接，具体包括以下模块：
模型训练模块，构建了基于Transformer的语音情感模型和基于卷积神经网络(CNN)的心电情感模型，通过已有的语音数据和心电数据训练语音情感模型和心电情感模型，将训练好的语音情感模型和心电情感模型供心理评估模块使用；
心理评估模块，当智能手环将语音数据和心电数据发送给云端服务器后，通过语音情感模型和心电情感模型分别对语音数据和心电数据进行处理，得到语音情感分类和心电情感分类，然后通过融合算法评估用户心理状态结果，再返回到移动端app。
其中，基于Transformer模型的语音情感模型和基于CNN的心电情感模型的训练方法为：
(1)、采集志愿者的语音数据和心电数据，建立语音数据库和心电数据库；
(2)、对语音数据和心电数据分段处理，并进行人工标记，然后通过心里学专家的专业判断，分别对每段语音数据和心电数据标记出不同的心理状态，高兴情绪记为h，平静情绪记为s，消极情绪记为n，抑郁情绪记为d，最后将标记结果一起存入语音数据库和心电数据库；
(3)、对每段语音数据和心电数据进行预处理；
(3.1)、对语音数据进行预加重、降噪、分帧以及滤波处理，然后提取到FBank特征向量；
(3.2)、对心电数据先进行降噪预处理，再进行分帧处理，使心电数据与语音数据统一采样点，最后使用小波变换来提取小波系数作为特征向量；
(4)、将每段语音数据提取的FBank特征向量组成语音数据序列，记为X1；每段心电数据提取小波系数组成心电数据序列，记为X2；
(5)、语音数据序列X1进行处理；
(5.1)、设置最大句长max_num_tokens，对超过max_num_tokens的句子进行截断，不足max_num_tokens的句子补0；
(5.2)、将步骤(5.1)处理后的语音数据序列进行MPC(Masked PredictiveCoding)的操作，得到新的语音数据序列
Figure BDA0002341316870000051
(5.3)、将语音数据序列
Figure BDA0002341316870000052
输入至基于Transformer模型的语音情感模型，输出基于语音数据的4种心理情感类别结果，即高兴情绪、平静情绪、消极情绪和抑郁情绪；
(6)、将心电数据序列X2输入至基于CNN的心电情感模型，输出基于心电数据的4种心理情感类别结果，即高兴情绪、平静情绪、消极情绪和抑郁情绪；
(7)、通过融合算法评估用户心理状态结果；
(7.1)、将基于Transformer模型的语音情感模型和基于CNN的心电情感模型给出的4种心理情感类别构建似然度函数P(Xi|λk)，其中，i＝1,2，k＝1,2,3,4；
(7.2)、分别计算语音情感模型和心电情感模型的融合权值；
Figure BDA0002341316870000061
若存在噪声干扰，语音情感模型的性能会发生下降，判决越不可靠，差值越小，得到的权值越小。若心电电极受到抖动、碰撞或者内部基线漂移干扰，心电情感模型性能会下降，判决越不可靠，差值越小，得到的权值越小；反之权值就会增大。
(7.3)、通过加权融合方式计算最终的判别输出，得到用户心理状态；
Figure BDA0002341316870000062
最终判别输出得到四种情感概率，每一个概率都是由语言情感模型和心电情感模型加权得到的。选出其中最大的概率，即为最终结果。
尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

Claims (2)

1.一种基于智能手环的心理状态监测评估系统，其特征在于，包括：智能手环、移动端app和云端服务器；
所述智能手环主要完成语音和心电数据的采集和上传，具体包括以下模块：
语音采集模块，部署在智能手环外侧的拾音器，用于记录用户日常的语音数据；
心电采集模块，部署在智能手环内侧贴近皮肤的心电传感器，用于记录用户聊天时的心电数据；将心电数据采集并通过控制模块将数据传输给通讯模块；
控制模块，部署在智能手环正上方，用于接收语音数据和心电数据，然后生成控制命令发送给显示模块，同时将语音数据和心电数据通过通讯模块发送给云端服务器；
显示模块，部署在智能手环外侧的显示器，用于接收控制模块发送的控制命令，并按照控制命令进行显示；
数据存储模块，部署在智能手环正下方，为可读、写存储单元，用于存储用户的身份信息、用户预设重要信息，以及存储音数据和心电数据；
通讯模块，部署在智能手环内侧，支持多种通讯功能，包括蓝牙、WIFI和移动通讯；与移动端app连接，实现智能手环与云端服务器的通信；
所述移动端ap用于智能手环的功能设置和管理，并将从云端服务器评估得到的用户心理状态结果进行显示；
所述云端服务器通过通讯模块与智能手环和移动端app连接，具体包括以下模块：
模型训练模块，构建了基于Transformer的语音情感模型和基于卷积神经网络(CNN)的心电情感模型，通过已有的语音数据和心电数据训练语音情感模型和心电情感模型，将训练好的语音情感模型和心电情感模型供心理评估模块使用；
心理评估模块，当智能手环将语音数据和心电数据发送给云端服务器后，通过语音情感模型和心电情感模型分别对语音数据和心电数据进行处理，得到语音情感分类和心电情感分类，然后通过融合算法评估用户心理状态结果，再返回到移动端app。
2.根据权利要求1所述的一种基于智能手环的心理状态监测评估系统，其特征在于，所述基于Transformer模型的语音情感模型和基于CNN的心电情感模型的训练方法为：
(1)、采集志愿者的语音数据和心电数据，建立语音数据库和心电数据库；
(2)、对语音数据和心电数据分段处理，并进行人工标记，然后通过心里学专家的专业判断，分别对每段语音数据和心电数据标记出不同的心理状态，高兴情绪记为h，平静情绪记为s，消极情绪记为n，抑郁情绪记为d，最后将标记结果一起存入语音数据库和心电数据库；
(3)、对对每段语音数据和心电数据进行预处理；
(3.1)、对语音数据进行预加重、降噪、分帧以及滤波处理，然后提取到FBank特征向量；
(3.2)、对心电数据先进行降噪预处理，再进行分帧处理，使心电数据与语音数据统一采样点，最后使用小波变换来提取小波系数作为特征向量；
(4)、将每段语音数据提取的FBank特征向量组成语音数据序列，记为X1；每段心电数据提取小波系数组成心电数据序列，记为X2；
(5)、语音数据序列X1进行处理；
(5.1)、设置最大句长max_num_tokens，对超过max_num_tokens的句子进行截断，不足max_num_tokens的句子补0；
(5.2)、将步骤(5.1)处理后的语音数据序列进行MPC(Masked Predictive Coding)的操作，得到新的语音数据序列
Figure FDA0002341316860000021
(5.3)、将语音数据序列
Figure FDA0002341316860000022
输入至基于Transformer模型的语音情感模型，输出基于语音数据的4种心理情感类别结果，即高兴情绪、平静情绪、消极情绪和抑郁情绪；
(6)、将心电数据序列X2输入至基于CNN的心电情感模型，输出基于心电数据的4种心理情感类别结果，即高兴情绪、平静情绪、消极情绪和抑郁情绪；
(7)、通过融合算法评估用户心理状态结果；
(7.1)、将基于Transformer模型的语音情感模型和基于CNN的心电情感模型给出的4种心理情感类别构建似然度P(Xi|λk)，其中，i＝1,2，k＝1,2,3,4；
(7.2)、分别计算语音情感模型和心电情感模型的融合权值；
Figure FDA0002341316860000031
(7.3)、通过加权融合方式计算最终的判别输出的四种情感概率，选出其中最大的概率F，得到用户心理状态；
Figure FDA0002341316860000032
CN201911377321.2A 2019-12-27 2019-12-27 一种基于智能手环的心理状态监测评估系统 Active CN111145851B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911377321.2A CN111145851B (zh) 2019-12-27 2019-12-27 一种基于智能手环的心理状态监测评估系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911377321.2A CN111145851B (zh) 2019-12-27 2019-12-27 一种基于智能手环的心理状态监测评估系统

Publications (2)

Publication Number Publication Date
CN111145851A true CN111145851A (zh) 2020-05-12
CN111145851B CN111145851B (zh) 2023-07-07

Family

ID=70520939

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911377321.2A Active CN111145851B (zh) 2019-12-27 2019-12-27 一种基于智能手环的心理状态监测评估系统

Country Status (1)

Country Link
CN (1) CN111145851B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106037635A (zh) * 2016-05-11 2016-10-26 南京邮电大学 一种基于可穿戴设备的智能预警系统和方法
WO2017136938A1 (en) * 2016-02-10 2017-08-17 Tandemlaunch Inc. A quality adaptive multimodal affect recognition system for user-centric multimedia indexing
CN108652648A (zh) * 2018-03-16 2018-10-16 合肥数翼信息科技有限公司 一种用于老年人抑郁症的抑郁监控装置
CN108805089A (zh) * 2018-06-14 2018-11-13 南京云思创智信息科技有限公司 基于多模态的情绪识别方法
CN108888281A (zh) * 2018-08-16 2018-11-27 华南理工大学 精神状态评估方法、设备及系统
CN109670501A (zh) * 2018-12-10 2019-04-23 中国科学院自动化研究所 基于深度卷积神经网络的物体识别与抓取位置检测方法
CN110507335A (zh) * 2019-08-23 2019-11-29 山东大学 基于多模态信息的服刑人员心理健康状态评估方法及系统
US20190385711A1 (en) * 2018-06-19 2019-12-19 Ellipsis Health, Inc. Systems and methods for mental health assessment

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017136938A1 (en) * 2016-02-10 2017-08-17 Tandemlaunch Inc. A quality adaptive multimodal affect recognition system for user-centric multimedia indexing
CN106037635A (zh) * 2016-05-11 2016-10-26 南京邮电大学 一种基于可穿戴设备的智能预警系统和方法
CN108652648A (zh) * 2018-03-16 2018-10-16 合肥数翼信息科技有限公司 一种用于老年人抑郁症的抑郁监控装置
CN108805089A (zh) * 2018-06-14 2018-11-13 南京云思创智信息科技有限公司 基于多模态的情绪识别方法
US20190385711A1 (en) * 2018-06-19 2019-12-19 Ellipsis Health, Inc. Systems and methods for mental health assessment
CN108888281A (zh) * 2018-08-16 2018-11-27 华南理工大学 精神状态评估方法、设备及系统
CN109670501A (zh) * 2018-12-10 2019-04-23 中国科学院自动化研究所 基于深度卷积神经网络的物体识别与抓取位置检测方法
CN110507335A (zh) * 2019-08-23 2019-11-29 山东大学 基于多模态信息的服刑人员心理健康状态评估方法及系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
SARALA S M 等: "《Emotionally Adaptive Driver Voice Alert System for Advanced Driver Assistance System (ADAS) Applications》" *
薛为民: "《基于认知机制的情感虚拟人交互技术研究》" *
贺斌 等: "《e-Learning情感计算模型设计研究》" *

Also Published As

Publication number Publication date
CN111145851B (zh) 2023-07-07

Similar Documents

Publication Publication Date Title
CN110507335B (zh) 基于多模态信息的服刑人员心理健康状态评估方法及系统
CN108899050B (zh) 基于多模态情绪识别系统的语音信号分析子系统
CN111461176B (zh) 基于归一化互信息的多模态融合方法、装置、介质及设备
CN111462841B (zh) 一种基于知识图谱的抑郁症智能诊断装置及系统
WO2017193497A1 (zh) 基于融合模型的智能化健康管理服务器、系统及其控制方法
CN110969106B (zh) 一种基于表情、语音和眼动特征的多模态测谎方法
CN111920420B (zh) 一种基于统计学习的患者行为多模态分析与预测系统
CN113197579A (zh) 一种基于多模态信息融合的智能心理评估方法及系统
CN112800998A (zh) 融合注意力机制和dmcca的多模态情感识别方法及系统
CN112016367A (zh) 一种情绪识别系统、方法及电子设备
CN116058800A (zh) 基于深度神经网络与脑机接口的自动睡眠分期系统
CN116616770A (zh) 基于语音语义分析的多模态抑郁症筛查评测方法及其系统
CN116230234A (zh) 多模态特征一致性心理健康异常识别方法及系统
CN113035232B (zh) 一种基于语音识别的心理状态预测系统、方法及装置
CN112466284B (zh) 一种口罩语音鉴别方法
CN112086169B (zh) 采用心理数据标签化建模的交互式心理疏导系统
CN117198468A (zh) 基于行为识别和数据分析的干预方案智慧化管理系统
CN116778921A (zh) 语音交流的情感分析智能会话系统、方法、设备及介质
CN111145851A (zh) 一种基于智能手环的心理状态监测评估系统
CN112560811B (zh) 端到端的音视频抑郁症自动检测研究方法
CN114299995A (zh) 一种用于情绪评估的语言情感识别方法
CN114626424A (zh) 一种基于数据增强的无声语音识别方法及装置
CN114492579A (zh) 情绪识别方法、摄像装置、情绪识别装置及存储装置
CN110400639A (zh) 一种基于人工智能技术的多模婴儿语言生活管理车
Zhao et al. A CNN-Based Method for Depression Detecting Form Audio

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant