CN108888281A - 精神状态评估方法、设备及系统 - Google Patents

精神状态评估方法、设备及系统 Download PDF

Info

Publication number
CN108888281A
CN108888281A CN201810937534.5A CN201810937534A CN108888281A CN 108888281 A CN108888281 A CN 108888281A CN 201810937534 A CN201810937534 A CN 201810937534A CN 108888281 A CN108888281 A CN 108888281A
Authority
CN
China
Prior art keywords
state
mind
data
personnel
assessed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810937534.5A
Other languages
English (en)
Inventor
张通
陈变娜
徐向民
胡斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN201810937534.5A priority Critical patent/CN108888281A/zh
Publication of CN108888281A publication Critical patent/CN108888281A/zh
Pending legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/163—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02405—Determining heart rate variability
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02438—Detecting, measuring or recording pulse rate or heart rate with portable devices, e.g. worn by the patient
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4803—Speech analysis specially adapted for diagnostic purposes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7225—Details of analog processing, e.g. isolation amplifier, gain or sensitivity adjustment, filtering, baseline or drift compensation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Cardiology (AREA)
  • Physiology (AREA)
  • Psychiatry (AREA)
  • Artificial Intelligence (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Child & Adolescent Psychology (AREA)
  • Evolutionary Computation (AREA)
  • Fuzzy Systems (AREA)
  • Developmental Disabilities (AREA)
  • Educational Technology (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychology (AREA)
  • Social Psychology (AREA)
  • Mathematical Physics (AREA)
  • Power Engineering (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本发明提供一种精神状态评估方法、设备及系统，涉及精神状态评估技术领域。该精神状态评估方法包括：在预设时间内采集待评估人员的音频数据和视频数据；提取音频数据和视频数据中待评估人员的多模态生理特征，多模态生理特征包括：面部瞳孔数据特征、语音数据特征以及心率和心率变异性数据特征；根据多模态生理特征和预设的关联模型，输出待评估人员的精神状态评估结果，所述关联模型为基于神经网络或SVM支持向量机对不同精神状态下的个体数据进行分类的训练模型。该精神状态评估方法能够灵活适用于多种设备，对不同场合人员中的精神状态进行评估。

Description

精神状态评估方法、设备及系统
技术领域
本发明涉及精神状态评估技术领域，特别涉及一种精神状态评估方法、设备及系统。
背景技术
现代社会中不管是企业单位或者是其他群体机构，都少不了开展内部会议、演讲、选职以及其他机构宣讲。目前开展这些不同场合活动的视频采集设备主要是基于多媒体技术的显示装置，属于多媒体设备技术领域。
而不管是会议、演讲、选职或者其他活动宣讲，在这些不同场合若能够监察场景人员的精神状态，较为真切反映他们的工作态度并及时对有紧急状况的人员采取预防措施成为一种必要。
但是现有技术中，用于上述这些不同场合的多媒体的终端显示设备主要是仅仅基于多媒体技术的显示装置，功能仅限于现场转播或远程交流等方式，可见功能十分有限，无法满足对不同场景中的人员进行实时在线评估其精神状态。
发明内容
本发明的目的在于，针对上述现有技术中的不足，提供一种精神状态评估方法、设备及系统，旨在对不同场合中人员的精神状态进行评估。
为实现上述目的，本发明实施例所采用的技术方案如下：
第一方面，本发明实施例提供一种精神状态评估方法，所述方法包括：
在预设时间内采集待评估人员的音频数据和视频数据；
提取所述音频数据和视频数据中待评估人员的多模态生理特征，所述多模态生理特征包括：面部瞳孔数据特征、语音数据特征以及心率和心率变异性数据特征；
根据所述多模态生理特征和预设的关联模型，输出待评估人员的精神状态评估结果，所述关联模型为基于神经网络或SVM支持向量机对不同精神状态下的个体数据进行分类的训练模型。
进一步地，所述方法还包括：在提取所述音频数据和视频数据中待评估人员的多模态生理特征之前，先对所述音频数据和视频数据进行滤波降噪预处理。
具体地，所述面部瞳孔数据特征包括：眼睑闭合时间、瞳孔直径比、眼睑盖住瞳孔的面积和眨眼频率中的至少一种。
具体地，所述语音数据特征包括：振动能量特征、基音频率特征、共振峰和信号持续时间中的至少一种。
具体地，所述心率和心率变异性数据特征通过基于远程成像光电容积脉搏波技术检测容积脉搏波而计算得出。
可选地，所述神经网络为BP神经网络或卷积神经网络。
第二方面，本发明实施例提供一种精神状态评估设备，包括：壳体、麦克风阵列、摄像头和主控器；所述麦克风阵列和所述摄像头穿设于所述壳体上，所述壳体内设有主控器，所述主控器分别与所述麦克风阵列和所述摄像头电连接；
所述麦克风阵列用于在预设时间内采集待评估人员的音频数据发送给所述主控器，所述摄像头用于在预设时间内采集待评估人员的视频数据发送给所述主控器；
所述主控器用于根据接收到的音频数据和视频数据，提取待评估人员的多模态生理特征，并通过所述多模态生理特征和预设的关联模型对待评估人员的精神状态进行评估，并输出精神状态评估结果；其中，所述多模态生理特征包括：面部瞳孔数据特征、语音数据特征以及心率和心率变异性数据特征。
进一步地，所述主控器还用于在提取所述多模态生理特征之前，对所述音频数据和视频数据进行滤波降噪预处理。
第三方面，本发明实施例还提供一种精神状态评估系统，包括：云平台和如第二方面所述的精神状态评估设备；
所述主控器上设有Wi-Fi单元，所述主控器通过所述Wi-Fi单元将所述多模态生理特征和所述精神状态评估结果以无线通信的方式发送至所述云平台；
所述云平台用于存储接收到的多模态生理特征和精神状态评估结果，并实现数据处理和分析。
可选地，所述Wi-Fi单元为串口Wi-Fi模块TLN13UA06。
本发明的有益效果是：
第一方面，本发明实施例所提供的精神状态评估方法通过在预设时间内采集待评估人员的音频数据和视频数据，并提取音频数据和视频数据中待评估人员的多模态生理特征，进而根据多模态生理特征和预设的关联模型，输出待评估人员的精神状态评估结果。由于本发明实施例所提供的精神状态评估方法仅仅需要从音频数据和视频数据中获取待评估人员的多模态生理特征，且关联模型为预设好的训练模型，从而使得该精神状态评估方法能够灵活适用于多种场合和设备，对在场人员的精神状态进行评估。
第二方面，本发明实施例提供的精神状态评估设备，旨在对不同场合人员中的精神状态进行评估。该精神状态评估设备通过在预设时间内采集待评估人员的音频数据和视频数据，并提取音频数据和视频数据中待评估人员的多模态生理特征，进而通过将待评估人员多模态生理特征数据如面部瞳孔数据、语音数据和心率及心率变异性数据等特征数据融合来综合评估不同场合人员的精神状态，如判别疲劳、抑郁或其他情绪等等，能够适用于会议、演讲、选职以及其他机构宣讲活动等。另外，本发明实施例所提供的精神状态评估设备，从数据采集到数据处理均集成在一个简易壳体中，使得硬件设备简单，便于携带。
第三方面，本发明实施例提供的精神状态评估系统，包括如第二方面所述的精神状态评估设备，因此能达到第二方面所述的全部有益效果，在此不再赘述。另外，该精神状态评估系统通过设置所述精神状态评估设备与云平台无线连接，使得该精神状态评估系统能够在线实时评估不同场合人员的精神状态，并实现相关数据的存储、处理和分析，方便后期的数据管理和应用。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本发明第一实施例提供的精神状态评估方法流程示意图；
图2为本发明第一实施例提供的关联模型训练图；
图3为本发明第二实施例提供的精神状态评估设备示意图；
图4为本发明第二实施例提供的精神状态评估设备工作流程示意图；
图5为本发明第三实施例提供的精神状态评估系统工作流程示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该发明产品使用时惯常摆放的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
此外，术语“水平”、“竖直”等术语并不表示要求部件绝对水平或悬垂，而是可以稍微倾斜。如“水平”仅仅是指其方向相对“竖直”而言更加水平，并不是表示该结构一定要完全水平，而是可以稍微倾斜。
在本发明的描述中，还需要说明的是，除非另有明确的规定和限定，术语“设置”、“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
第一实施例：
如图1所示，本发明第一实施例提供一种精神状态评估方法，应用于精神状态评估设备，所述方法包括：
步骤S101.在预设时间内采集待评估人员的音频数据和视频数据。
具体的，该精神状态评估设备设置在待评估人员的正前方，可以根据不同的应用场景去采集待评估人员在一段时间内的音频数据和视频数据，该应用场景可以是会议、演讲或者宣讲等的场景，该音频数据和视频数据包括待评估人员的实时视频数据和实时音频数据。
步骤S102.提取所述音频数据和视频数据中待评估人员的多模态生理特征，所述多模态生理特征包括：面部瞳孔数据特征、语音数据特征以及心率和心率变异性数据特征。
具体的，该精神状态评估设备采集到上述音频数据和视频数据，可以对音频数据和视频数据进行特征提取，得到待评估人员的多模态生理特征，例如：根据视频数据中图像得到面部瞳孔数据特征、人脸数据特征、心率和心率变异性数据特征等，根据音频数据得到语音数据特征、声纹数据特征等。
步骤S103.根据所述多模态生理特征和预设的关联模型，输出待评估人员的精神状态评估结果，所述关联模型为基于神经网络或SVM支持向量机对不同精神状态下的个体数据进行分类的训练模型。
具体的，根据得到的多模态生理特征和预设的关联模型，输出待评估人员的精神状态评估结果，例如：按照如下3种属性划分：1)疲劳程度：疲劳/正常；2)情绪：抑郁/正常；3)其他情绪：正常/正常除外的情绪如沮丧、无聊等等。其中，关联模型是基于神经网络或SVM支持向量机对不同精神状态下的个体数据进行分类的训练模型。
本实施例通过在预设时间内采集待评估人员的音频数据和视频数据，直接从所述音频数据和视频数据中提取待评估人员的多模态生理特征，将得到待评估人员的多模态生理特征与关联模型结合，输出待评估人员的精神状态评估结果，从而可以对不同场景中的人员实时评估其精神状态。
进一步地，所述方法还包括：在步骤S102.提取所述音频数据和视频数据中待评估人员的多模态生理特征之前，先对所述音频数据和视频数据进行滤波降噪预处理。
具体地，上述对音频数据和视频数据进行预处理的方法包括：对声音信号添加自动增益单元以增加声音清晰度提出杂音；对面部视频图像数据分析图像光照强度，抑制噪声，突出面部轮廓，凸显明亮的瞳孔和面部肤色信息等等。
在本发明实施例中，面部瞳孔数据特征包括：眼睑闭合时间、瞳孔直径比、眼睑盖住瞳孔的面积和眨眼频率中的至少一种。
具体地，通过面部追踪和皮肤分割的算法能定位到待评估人员的眼部瞳孔部位的图像，分析每一帧眼部瞳孔图像数据特征及其对应的时刻。通常眼睑盖住瞳孔面积与完全睁开时瞳孔面积比达70％～80％时，即眼睑闭合程度为70％～80％时称为眼睑消失的时刻，当眼睑闭合程度为下降到20％以下时称为瞳孔复现时刻。若定义瞳孔复现时刻为Tb，眼睑消失时刻为Ta，眼睑闭合时间为T，则眼睑闭合时间T为：
T＝Tb-Ta；
若定义瞳孔复现时刻的瞳孔直径为D1，眼睑消失的时刻的瞳孔直径为D2，则瞳孔直径比D：
D＝D2/D1；
设眼睑闭合程度为0％时，也即眼镜完全睁开时瞳孔面积大小为So,当眼睛不完全睁开时被眼睑盖住的瞳孔面积为Sc，则眼睑盖住瞳孔的相对面积S为：
S＝Sc/So；
眼睑闭合程度从0％时到100％，再回到0％为一次完整的眨眼过程。若眼睑闭合程度为初始0％的时间为T1，眼睑闭合程度为100％的时间为T2，眼睑闭合程度再次回到0％的时间为T3，则眨眼频率F为：
F＝1/(T3-T1)。
在本发明实施例中，语音数据特征包括：声音的振动能量特征、基音频率特征以及共振峰和信号持续时间中的至少一种。
具体地，声音的传播也是能量的一种传播，声音振动的幅度大小也决定了声音信号能量大小，人在正常和比较疲劳或其他精神状态的时候，发出的音量语速均不同。声音的能量特征明显区分声音中包含的是否处于异常精神状况的信息。
振动能量EN为：
其中Sn(m)表示语音信号帧，EN是瞬时能量。
所谓基音频率，就是反映声门相邻两次开闭之间的时间间隔或开闭的频率。本发明实施例中用自相关法提取基频，其函数公式如下：
其中，xn(m)为标准周期语音信号，RN(k)在k等于周期整数倍时会出现峰值，通常取第一最大峰值点作为基因周期点，即可算出基音频率F。
共振峰，本发明实施例中，对于共振峰的提取方法包括：谱包络法、倒谱法、LPC内插法、LPC求根法和希尔伯特变换法等，本申请在此不做限定。
语音信号持续的时间也具备区分语音信号的待评估人员精神状态特征的能力，可通过计算个体在T时间内发出N种语音信息段(或语音停顿次数)来算出该个体的平均连续时间t为：
在本发明实施例中，通过基于远程成像光电容积脉搏波技术检测容积脉搏波(PPG)，进而计算得出被测个体的心率和心率变异性。具体地，根据音频数据和视频数据，通过面部追踪和皮肤分割的算法能定位到待评估人员的面部皮肤目标区域。算法负责检测每帧图像内的最大脸部，分段成三个通道的PPG时变信号(处理成亮度色度LUV格式或者RGB格式)。计算每一帧图像在LUV三个通道内的像素强度空间平均值或者在RGB通道的像素强度空间平均值，将每一帧图像的平均像素作为容积脉搏波波形的振幅即可获得PPG时变信号。之后算法分别从时序和频域内的计算心率：时序上主要通过检测一定时间的峰值点；频域上通过FFT的频谱分析来计算心率，同样也可在时序和频域计算出血容量脉搏和心率变异性。
可选地，本发明实施例中，上述关联模型所使用的神经网络为BP神经网络或卷积神经网络。
如图2所示，当关联模型为基于BP神经网络对不同精神状态下的个体数据进行分类的训练模型时，关联模型的训练包括：采样样本、特征提取、模型训练验证、模型测试和关联模型输出等过程。其中，采样样本为多名志愿者(如：约100名)的音频数据和视频数据及其对应的精神状态数据，每个人按照如下3种属性划分：1)疲劳程度：疲劳或非疲劳；2)情绪：抑郁或非抑郁；3)其他情绪：无其他情绪或沮丧(高兴、无聊等)，精神状态判断可通过设计相应的问卷调查和访问个人来综合评估。
模型训练验证依次包括：1)权值初始化；2)输入训练样本3)计算当下的输出；4)计算网络输出误差(当下的输出与精神状态3种属性输出的差值)；5)计算各网络层的误差值；6)调整各层权值和判断网络总误差是否达到精度要求；7)模型训练结束；8)模型验证调整模型参数，选出效果最佳的关联模型等步骤。
当关联模型训练结束后，进行模型测试，任意输入一个志愿者的面部图像数据特征集，判断选出的最佳关联模型输出的精神状态判断是否和其归属的精神状态属性一致，进行关联模型性能评价。并最终将训练好的关联模型代码移植入精神状态评估设备中，即可以实现对待评估人员进行精神状态评估功能。
可选地，当关联模型的训练神经网络为卷积神经网络(CNN)时，由于CNN模型的输入为图像数据，即不做各类数据特征库提取，跳过对采集视频图像的特征计算(瞳孔数据特征、语音数据特征和心率和心率变异性数据特征)。关联模型的输入直接为采样后的一帧帧面部视频图像集，输出也是为精神状态3种属性。设计CNN模型的卷积采样层、隐含层、分类器，进行模型训练，验证到测试，最终确认关联模型。
第二实施例：
如图3和图4所示，本发明第二实施例提供一种精神状态评估设备，壳体110、麦克风阵列120、摄像头130和主控器140；麦克风阵列120和摄像头130穿设于壳体110上，壳体110内设有主控器140，主控器140分别与麦克风阵列120和摄像头130电连接；麦克风阵列120用于在预设时间内采集待评估人员的音频数据发送给主控器140，摄像头130用于在预设时间内采集待评估人员的视频数据发送给主控器140；主控器140用于根据接收到的音频数据和视频数据，提取待评估人员的多模态生理特征，并通过多模态生理特征和预设的关联模型对待评估人员的精神状态进行评估，并输出精神状态评估结果；其中，多模态生理特征包括：面部瞳孔数据特征、语音数据特征以及心率和心率变异性数据特征。
本发明第二实施例提供的精神状态评估设备，能够对不同场合人员中的精神状态进行无创评估，通过将待评估人员多模态生理特征数据如面部瞳孔数据、语音数据和心率及心率变异性数据等特征数据融合来综合评估不同场合人员的精神状态，如判别疲劳、抑郁或其他情绪等等，能够适用于会议、演讲、选职以及其他机构宣讲活动等。另外，本发明第二实施例所提供的精神状态评估设备，从数据采集到数据处理均集成在一个简易壳体中，使得硬件设备简单，便于携带。
具体地，将上述精神状态评估设备安置于相应场合人员的正前方，通过穿设于壳体110上的麦克风阵列120和摄像头130在预设时间内采集待评估人员的音频数据和视频数据，并发送给主控器140。内置的主控器140根据接收到的音频数据和视频数据提取待评估人员的多模态生理特征，包括：面部瞳孔数据特征、语音数据特征以及心率和心率变异性数据特征，并将上述多模态生理特征输入预设的关联模型中对待评估人员的精神状态进行综合评估，最终输出精神状态评估结果。精神状态评估结果具体包括：疲劳或非疲劳、抑郁或非抑郁，以及其他情绪(高兴、沮丧、无聊等等)或无其他情绪。例如，通过上述精神状态评估设备对某一个体进行综合评估所得的结果为：疲劳、抑郁和无其他情绪。
需要特别说明的是，上述精神状态评估设备中的壳体110可以为单独为该精神状态评估设备所设置的壳体110，其形状可以根据具体需要或喜好进行设置，本申请在此不做限定。另外，该壳体110还可以是如：电脑、其他显示器和电视等其他任何可以实现上述壳体110功能的设备，仅仅需要将麦克风阵列120、摄像头130相应设置于能够采集待评估人员的音频数据和视频数据的位置，且将主控器140内置于该设备中即可，本申请在此同样不做任何限定。
在发明实施例中，主控器140还用于在提取多模态生理特征之前，对音频数据和视频数据进行滤波降噪预处理。
具体地，主控器140对待评估人员的音频数据和视频数据进行滤波降噪处理包括：对声音信号添加自动增益单元以增加声音清晰度提出杂音；对面部视频图像数据分析图像光照强度，抑制噪声，突出面部轮廓，凸显明亮的瞳孔和面部肤色信息等等。通过对音频数据和视频数据进行上述滤波降噪处理步骤，能够使得主控器140提取到的待评估人员多模态生理特征数据更加准确，能有效提高待评估人员精神状态评估结果的精确性。
可选地，主控器140可以是32位处理器内核的微控制器CC2640，可将上述音频数据和视频数据预处理、提取待评估人员多模态生理特征以及评估待评估人员精神状态等过程均通过可执行的程序代码读出并执行，以实现相应的控制和计算。
第三实施例：
如图5所示，本发明第三实施例提供一种精神状态评估系统，包括：云平台150和如本发明第二实施例所述的精神状态评估设备；主控器140上设有Wi-Fi单元，主控器140通过Wi-Fi单元将多模态生理特征和精神状态评估结果以无线通信的方式发送至云平台150；云平台150用于存储接收到的多模态生理特征和精神状态评估结果，并实现数据处理和分析。
具体地，本发明第三实施例提供的精神状态评估系统，包括本发明第二实施例所述的精神状态评估设备，因此能达到本发明第二实施例所述的全部有益效果，在此不再赘述。另外，该精神状态评估系统通过设置所述精神状态评估设备与云平台150无线连接，使得该精神状态评估系统能够在线实时评估不同场合人员的精神状态，预防出现的紧急情况，并实现相关数据的存储、处理和分析，方便后期的数据管理和应用。
可选地，所述Wi-Fi单元为串口Wi-Fi模块TLN13UA06。
具体地，上述串口Wi-Fi模块TLN13UA06具有体积小、功耗低的优点，能够满足不同场合下需要设置不同大小的该精神状态评估设备的具体需要。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种精神状态评估方法，其特征在于，所述方法包括：
在预设时间内采集待评估人员的音频数据和视频数据；
提取所述音频数据和视频数据中待评估人员的多模态生理特征，所述多模态生理特征包括：面部瞳孔数据特征、语音数据特征以及心率和心率变异性数据特征；
根据所述多模态生理特征和预设的关联模型，输出待评估人员的精神状态评估结果，所述关联模型为基于神经网络或SVM支持向量机对不同精神状态下的个体数据进行分类的训练模型。
2.根据权利要求1所述的精神状态评估方法，其特征在于，所述方法还包括：在提取所述音频数据和视频数据中待评估人员的多模态生理特征之前，先对所述音频数据和视频数据进行滤波降噪预处理。
3.根据权利要求1所述的精神状态评估方法，其特征在于，所述面部瞳孔数据特征包括：眼睑闭合时间、瞳孔直径比、眼睑盖住瞳孔的面积和眨眼频率中的至少一种。
4.根据权利要求1所述的精神状态评估方法，其特征在于，所述语音数据特征包括：振动能量特征、基音频率特征、共振峰和信号持续时间中的至少一种。
5.根据权利要求1所述的精神状态评估方法，其特征在于，所述心率和心率变异性数据特征通过基于远程成像光电容积脉搏波技术检测容积脉搏波而计算得出。
6.根据权利要求1所述的精神状态评估方法，其特征在于，所述神经网络为BP神经网络或卷积神经网络。
7.一种精神状态评估设备，其特征在于，包括：壳体、麦克风阵列、摄像头和主控器；所述麦克风阵列和所述摄像头穿设于所述壳体上，所述壳体内设有主控器，所述主控器分别与所述麦克风阵列和所述摄像头电连接；
所述麦克风阵列用于在预设时间内采集待评估人员的音频数据发送给所述主控器，所述摄像头用于在预设时间内采集待评估人员的视频数据发送给所述主控器；
所述主控器用于根据接收到的音频数据和视频数据，提取待评估人员的多模态生理特征，并通过所述多模态生理特征和预设的关联模型对待评估人员的精神状态进行评估，并输出精神状态评估结果；其中，所述多模态生理特征包括：面部瞳孔数据特征、语音数据特征以及心率和心率变异性数据特征。
8.根据权利要求7所述的精神状态评估设备，其特征在于，所述主控器还用于在提取所述多模态生理特征之前，对所述音频数据和视频数据进行滤波降噪预处理。
9.一种精神状态评估系统，其特征在于，包括：云平台和如权利要求7或8所述的精神状态评估设备；
所述主控器上设有Wi-Fi单元，所述主控器通过所述Wi-Fi单元将所述多模态生理特征和所述精神状态评估结果以无线通信的方式发送至所述云平台；
所述云平台用于存储接收到的多模态生理特征和精神状态评估结果，并实现数据处理和分析。
10.根据权利要求9所述的一种精神状态评估系统，其特征在于，所述Wi-Fi单元为串口Wi-Fi模块TLN13UA06。
CN201810937534.5A 2018-08-16 2018-08-16 精神状态评估方法、设备及系统 Pending CN108888281A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810937534.5A CN108888281A (zh) 2018-08-16 2018-08-16 精神状态评估方法、设备及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810937534.5A CN108888281A (zh) 2018-08-16 2018-08-16 精神状态评估方法、设备及系统

Publications (1)

Publication Number Publication Date
CN108888281A true CN108888281A (zh) 2018-11-27

Family

ID=64354471

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810937534.5A Pending CN108888281A (zh) 2018-08-16 2018-08-16 精神状态评估方法、设备及系统

Country Status (1)

Country Link
CN (1) CN108888281A (zh)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109350051A (zh) * 2018-11-28 2019-02-19 华南理工大学 用于精神状态评估与调节的头部可穿戴设备及其工作方法
CN109620198A (zh) * 2019-02-21 2019-04-16 天津惊帆科技有限公司 心血管指数检测、模型训练方法及装置
CN109620266A (zh) * 2018-12-29 2019-04-16 中国科学院深圳先进技术研究院 个体焦虑水平的检测方法和系统
CN110074799A (zh) * 2019-05-24 2019-08-02 蚌埠医学院 一种人体生理压力评估方法及装置
CN110479636A (zh) * 2019-07-19 2019-11-22 深圳市微蓝智能科技有限公司 基于神经网络自动分拣烟叶的方法及装置
CN110507335A (zh) * 2019-08-23 2019-11-29 山东大学 基于多模态信息的服刑人员心理健康状态评估方法及系统
CN111145851A (zh) * 2019-12-27 2020-05-12 山东华尚电气有限公司 一种基于智能手环的心理状态监测评估系统
WO2020122227A1 (ja) * 2018-12-14 2020-06-18 学校法人慶應義塾 うつ状態を推定する装置、方法及びそのためのプログラム
CN112201317A (zh) * 2020-10-12 2021-01-08 阿呆科技（北京）有限公司 一种基于客观生理指标的民事行为能力在线辅助评定系统
CN112768070A (zh) * 2021-01-06 2021-05-07 万佳安智慧生活技术(深圳)有限公司 一种基于对话交流的精神健康评测方法和系统
CN113842124A (zh) * 2021-09-30 2021-12-28 北京瑞格心灵科技有限公司 一种基于生理健康指标的精神状态预测方法、系统及设备
WO2022087965A1 (zh) * 2020-10-27 2022-05-05 垒途智能教科技术研究院江苏有限公司 一种用于眼动仪的情感识别系统及方法
CN114757499A (zh) * 2022-03-24 2022-07-15 慧之安信息技术股份有限公司 基于深度学习的工作质量分析方法
CN116595423A (zh) * 2023-07-11 2023-08-15 四川大学 一种基于多特征融合的空中交通管制员认知负荷评估方法
WO2024086813A1 (en) * 2022-10-20 2024-04-25 Curio Digital Therapeutics, Inc. User analysis and predictive techniques for digital therapeutic systems

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1994227A (zh) * 2006-12-19 2007-07-11 潘晓刚 心理状态参数测试系统
CN104274191A (zh) * 2014-10-08 2015-01-14 北京中维监安信息科技有限公司 一种心理测评方法及其系统
CN105615902A (zh) * 2014-11-06 2016-06-01 北京三星通信技术研究有限公司 情绪监控方法和装置
CN106725532A (zh) * 2016-12-13 2017-05-31 兰州大学 基于语音特征与机器学习的抑郁症自动评估系统和方法
US20170238860A1 (en) * 2010-06-07 2017-08-24 Affectiva, Inc. Mental state mood analysis using heart rate collection based on video imagery

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1994227A (zh) * 2006-12-19 2007-07-11 潘晓刚 心理状态参数测试系统
US20170238860A1 (en) * 2010-06-07 2017-08-24 Affectiva, Inc. Mental state mood analysis using heart rate collection based on video imagery
CN104274191A (zh) * 2014-10-08 2015-01-14 北京中维监安信息科技有限公司 一种心理测评方法及其系统
CN105615902A (zh) * 2014-11-06 2016-06-01 北京三星通信技术研究有限公司 情绪监控方法和装置
CN106725532A (zh) * 2016-12-13 2017-05-31 兰州大学 基于语音特征与机器学习的抑郁症自动评估系统和方法

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109350051B (zh) * 2018-11-28 2023-12-29 华南理工大学 用于精神状态评估与调节的头部可穿戴设备及其工作方法
CN109350051A (zh) * 2018-11-28 2019-02-19 华南理工大学 用于精神状态评估与调节的头部可穿戴设备及其工作方法
JP7502192B2 (ja) 2018-12-14 2024-06-18 慶應義塾 うつ状態を推定する装置、方法及びそのためのプログラム
WO2020122227A1 (ja) * 2018-12-14 2020-06-18 学校法人慶應義塾 うつ状態を推定する装置、方法及びそのためのプログラム
CN109620266A (zh) * 2018-12-29 2019-04-16 中国科学院深圳先进技术研究院 个体焦虑水平的检测方法和系统
CN109620266B (zh) * 2018-12-29 2021-12-21 中国科学院深圳先进技术研究院 个体焦虑水平的检测方法和系统
CN109620198A (zh) * 2019-02-21 2019-04-16 天津惊帆科技有限公司 心血管指数检测、模型训练方法及装置
CN109620198B (zh) * 2019-02-21 2022-04-12 天津惊帆科技有限公司 心血管指数检测、模型训练方法及装置
CN110074799A (zh) * 2019-05-24 2019-08-02 蚌埠医学院 一种人体生理压力评估方法及装置
CN110479636A (zh) * 2019-07-19 2019-11-22 深圳市微蓝智能科技有限公司 基于神经网络自动分拣烟叶的方法及装置
CN110507335A (zh) * 2019-08-23 2019-11-29 山东大学 基于多模态信息的服刑人员心理健康状态评估方法及系统
CN110507335B (zh) * 2019-08-23 2021-01-01 山东大学 基于多模态信息的服刑人员心理健康状态评估方法及系统
CN111145851A (zh) * 2019-12-27 2020-05-12 山东华尚电气有限公司 一种基于智能手环的心理状态监测评估系统
CN112201317A (zh) * 2020-10-12 2021-01-08 阿呆科技（北京）有限公司 一种基于客观生理指标的民事行为能力在线辅助评定系统
WO2022087965A1 (zh) * 2020-10-27 2022-05-05 垒途智能教科技术研究院江苏有限公司 一种用于眼动仪的情感识别系统及方法
CN112768070A (zh) * 2021-01-06 2021-05-07 万佳安智慧生活技术(深圳)有限公司 一种基于对话交流的精神健康评测方法和系统
CN113842124A (zh) * 2021-09-30 2021-12-28 北京瑞格心灵科技有限公司 一种基于生理健康指标的精神状态预测方法、系统及设备
CN114757499B (zh) * 2022-03-24 2022-10-21 慧之安信息技术股份有限公司 基于深度学习的工作质量分析方法
CN114757499A (zh) * 2022-03-24 2022-07-15 慧之安信息技术股份有限公司 基于深度学习的工作质量分析方法
WO2024086813A1 (en) * 2022-10-20 2024-04-25 Curio Digital Therapeutics, Inc. User analysis and predictive techniques for digital therapeutic systems
CN116595423A (zh) * 2023-07-11 2023-08-15 四川大学 一种基于多特征融合的空中交通管制员认知负荷评估方法
CN116595423B (zh) * 2023-07-11 2023-09-19 四川大学 一种基于多特征融合的空中交通管制员认知负荷评估方法

Similar Documents

Publication Publication Date Title
CN108888281A (zh) 精神状态评估方法、设备及系统
EP3600018B1 (en) Determining artery location using camera-based sensing
CN105022929B (zh) 一种人格特质值测验的认知准确度分析方法
CN106878677B (zh) 基于多传感器的学生课堂掌握程度评估系统和方法
CN110313923A (zh) 基于联合注意能力测试和音视频行为分析的孤独症早期筛查系统
KR102277820B1 (ko) 반응정보 및 감정정보를 이용한 심리 상담 시스템 및 그 방법
CN110507335A (zh) 基于多模态信息的服刑人员心理健康状态评估方法及系统
CN106236115A (zh) 一种心理测试系统
CN108039988A (zh) 设备控制处理方法及装置
US11113890B2 (en) Artificial intelligence enabled mixed reality system and method
CN110349667A (zh) 结合调查问卷及多模态范式行为数据分析的孤独症评估系统
US10592733B1 (en) Computer-implemented systems and methods for evaluating speech dialog system engagement via video
CN112017671A (zh) 一种基于多特征的面谈内容可信度评价方法和系统
Florea et al. Can Your Eyes Tell Me How You Think? A Gaze Directed Estimation of the Mental Activity.
AU2014234955B2 (en) Automatic detection of task transition
Bhamare et al. Deep neural networks for lie detection with attention on bio-signals
CN114041793A (zh) 一种融合多模态疲劳监测与调控的rsvp目标识别系统及方法
CN110141258A (zh) 一种情绪状态检测方法、设备及终端
CN104793743B (zh) 一种虚拟社交系统及其控制方法
CN113468983A (zh) 一种情绪分析方法、装置、设备及存储介质
Lefter et al. Addressing multimodality in overt aggression detection
CN113598741B (zh) 一种房颤评价模型训练方法、房颤评价方法和装置
Lewis et al. Audio-visual speech recognition using red exclusion and neural networks
US20220015687A1 (en) Method for Screening Psychiatric Disorder Based On Conversation and Apparatus Therefor
Mantri et al. Real time multimodal depression analysis

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination