CN114565957A - 基于微表情识别的意识评估方法及系统 - Google Patents

基于微表情识别的意识评估方法及系统 Download PDF

Info

Publication number
CN114565957A
CN114565957A CN202210036474.6A CN202210036474A CN114565957A CN 114565957 A CN114565957 A CN 114565957A CN 202210036474 A CN202210036474 A CN 202210036474A CN 114565957 A CN114565957 A CN 114565957A
Authority
CN
China
Prior art keywords
feature
consciousness
subjects
feature data
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210036474.6A
Other languages
English (en)
Inventor
俞杰
罗本燕
丁鼐
高佳欣
赵佳佳
王瑶瑶
徐传
程起盛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
First Affiliated Hospital of Zhejiang University School of Medicine
Original Assignee
Zhejiang University ZJU
First Affiliated Hospital of Zhejiang University School of Medicine
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU, First Affiliated Hospital of Zhejiang University School of Medicine filed Critical Zhejiang University ZJU
Priority to CN202210036474.6A priority Critical patent/CN114565957A/zh
Publication of CN114565957A publication Critical patent/CN114565957A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Surgery (AREA)
  • Data Mining & Analysis (AREA)
  • Medical Informatics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Psychiatry (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Hospice & Palliative Care (AREA)
  • Educational Technology (AREA)
  • Social Psychology (AREA)
  • Child & Adolescent Psychology (AREA)
  • Psychology (AREA)
  • Multimedia (AREA)
  • Developmental Disabilities (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Physiology (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于微表情识别的意识评估方法及系统，该方法包含：配置语音刺激材料；分别向多个受试者播放语音刺激材料；采集每个受试者在接收语音刺激时的面部表情图像数据；从面部表情图像数据中提取每个受试者的特征数据；通过多个受试者的特征数据及其对应的用户类别对SVM分类器进行训练；获取到未知类别的用户的特征数据并输入到训练好的SVM分类器中得到该用户对应的用户类别。本发明的基于微表情识别的意识评估方法及系统，能更加直接地反应受试者的意识水平，提高意识状态判断的准确性，便利性，并且可以使那些不能做磁共振，脑电的患者得到更加准确的评估，增加普适性。

Description

基于微表情识别的意识评估方法及系统
技术领域
本发明涉及一种基于微表情识别的意识评估方法及系统。
背景技术
意识水平的评估是现代医学和神经科学的重点和难点，对于急性及慢性意识障碍患者的诊断和预后判断具有重要影响。传统的评估方法基于患者的行为，例如视觉、听觉的惊吓反应等，临床通常采用修订版的昏迷评估量表(Coma Recovery Scale-Revised,CRS-R)作为患者意识评估的金标准。因患者脑损伤的类型、严重程度、评估时生理状况造成的异质性均可影响评估者对其意识水平的准确判断，临床往往采用多人多次重复评估。
随着神经电生理，神经影像的快速发展，利用EEG和磁共振技术被广泛应用于患者意识状态和预后的辅助判断，但这类方式仍有不足。一方面，患者其对于评估中的刺激做出的反馈强弱不等，临床评估者肉眼难以捕捉一些快速而微弱的反馈从而造成评估不准确。同时对于急性及慢性意识障碍患者的意识评估依赖于临床评估者的经验，难以做到客观和标准化。另一方面，大部分患者遭受严重脑损伤后或接受去骨瓣减压术后，其颅骨变形严重，颅内植入金属等，造成EEG，磁共振技术信号采集受限，受众面窄。
发明内容
本发明提供了一种基于微表情识别的意识评估方法及系统解决上述提到的技术问题，具体采用如下的技术方案：
一种基于微表情识别的意识评估方法，包含以下步骤：
配置语音刺激材料；
分别向多个受试者播放语音刺激材料，其中，多个受试者来自不同的用户类别，用户类别根据受试者的意识状态的不同被划分为第一类型和第二类型；
采集每个受试者在接收语音刺激时的面部表情图像数据；
从面部表情图像数据中提取每个受试者的特征数据；
通过多个受试者的特征数据及其对应的用户类别对SVM分类器进行训练；
获取到未知类别的用户的特征数据并输入到训练好的SVM分类器中得到该用户对应的用户类别。
进一步地，从面部表情图像数据中提取每个受试者的特征数据的具体方法为：
对面部表情图像数据进行人脸追踪；
从追踪到的人脸图像中提取特征点；
通过相似变换将提取出的特征点转换为中性表情的特征点映射到参考框架中；
对映射到参考框架中的人脸图像的面部区域周围的环境图像进行屏蔽；
从对齐后的人脸图像中提取每个受试者的特征数据。
进一步地，通过相似变换将提取出的特征点转换为中性表情的特征点的具体方法为：
从提取出到的特征点中选择部分能够稳定的反映面部表情的特征点；
通过相似变换将选择出来的稳定的特征点转换为中心表情的特征点映射到参考框架中。
进一步地，通过最小平方和重叠法对特征点进行相似变换。
进一步地，特征数据包含外观特征和几何特征。
进一步地，从对齐后的人脸图像中提取每个受试者的特征数据的具体方法为：
从对齐后的人脸图像中提取HOG特征向量作为外观特征；
获取人脸追踪过程中设置的非刚性参数和提取出的特征点的位置参数作为几何特征；
将外观特征和几何特征进行个体中性表情校正。
进一步地，从对齐后的人脸图像中提取HOG特征向量作为外观特征的具体方法为：
采用Gamma校正法将对齐后的人脸图像进行归一化分别计算每个像素的梯度；
将每个像素的梯度进行直方图归一化；
将人脸图像划分为若干块得到每个人脸图像的HOG特征向量；
对得到的HOG特征向量进行降维得到外观特征。
进一步地，对面部区域周围的环境图像进行屏蔽的具体方法为：
使用凸包算法包围对齐后的面部的特征点以屏蔽周围环境图像。
进一步地，在通过多个受试者的特征数据及其对应的用户类别对SVM分类器进行训练之后，基于微表情识别的意识评估方法还包含：
通过多个受试者的特征数据及其对应的反应强度类别对SVR分类器进行训练；
在获取到未知类别的用户的特征数据后还将其输入到训练好的SVR分类器中得到该用户对应的反应强度分类。
一种基于微表情识别的意识评估系统，包含：
配置模块，用于配置语音刺激材料；
语音播放模块，用于分别向多个受试者播放语音刺激材料，其中，多个受试者来自不同的用户类别，用户类别根据受试者的意识状态的不同被划分为第一类型和第二类型；
图像采集模块，用于采集每个受试者在接收语音刺激时的面部表情图像数据；
特征提取模块，用于从面部表情图像数据中提取每个受试者的特征数据；
SVM分类器，用于通过多个受试者的特征数据及其对应的用户类别进行训练；
在SVM分类器训练好后，将未知类别的用户的特征数据输入到训练好的SVM分类器中得到该用户对应的用户类别。
进一步地，图像采集模块包含：
人脸追踪子模块，用于对面部表情图像数据进行人脸追踪；
特征点提取子模块，用于从人脸追踪子模块追踪到的人脸图像中提取特征点；
对齐子模块，用于通过相似变换将特征点提取子模块提取出的特征点转换为中性表情的特征点映射到参考框架中；
屏蔽子模块，用于对映射到参考框架中的人脸图像的面部区域周围的环境图像进行屏蔽；
特征提取子模块，用于从对齐后的人脸图像中提取每个受试者的特征数据。
进一步地，对齐子模块通过相似变换将特征点提取子模块提取出的特征点转换为中性表情的特征点映射到参考框架中的具体方法为：
对齐子模块从特征点提取子模块提取出的特征点中选择部分能够稳定的反映面部表情的特征点，再通过相似变换将选择出来的稳定的特征点转换为中心表情的特征点映射到参考框架中。
进一步地，特征提取子模块包含：
向量提取单元，用于从对齐后的人脸图像中提取HOG特征向量作为外观特征；
数据获取单元，用于获取人脸追踪过程中设置的非刚性参数和提取出的特征点的位置参数作为几何特征；
矫正单元，用于将外观特征和几何特征进行个体中性表情校正。
进一步地，向量提取单元包含：
梯度计算子单元，用于采用Gamma校正法将对齐后的人脸图像进行归一化分别计算每个像素的梯度；
归一化子单元，用于将每个像素的梯度进行直方图归一化；
划分子单元，用于将人脸图像划分为若干块得到每个人脸图像的HOG特征向量；
降维子单元，用于对划分子单元划分后得到的HOG特征向量进行降维得到外观特征。
进一步地，基于微表情识别的意识评估系统还包含：
SVR分类器，用于通过多个受试者的特征数据及其对应的反应强度类别进行训练；
在SVR分类器训练好后，将未知类别的用户的特征数据输入到训练好的SVR分类器中得到该用户对应的反应强度类别。
本发明的有益之处在于所提供的基于微表情识别的意识评估方法及系统，能更加直接地反应受试者的意识水平，提高意识状态判断的准确性，便利性，并且可以使那些不能做磁共振，脑电的患者得到更加准确的评估，增加普适性。
附图说明
图1是本发明的一种基于微表情识别的意识评估方法的示意图。
具体实施方式
以下结合附图和具体实施例对本发明作具体的介绍。
如图1所示为本申请的一种基于微表情识别的意识评估方法，包含以下步骤：S1：配置语音刺激材料。S2：分别向多个受试者播放语音刺激材料。其中，多个受试者来自不同的用户类别，用户类别根据受试者的意识状态的不同被划分为第一类型和第二类型。S3：采集每个受试者在接收语音刺激时的面部表情图像数据。S4：从面部表情图像数据中提取每个受试者的特征数据。S5：通过多个受试者的特征数据及其对应的用户类别对SVM分类器进行训练。S6：获取到未知类别的用户的特征数据并输入到训练好的SVM分类器中得到该用户对应的用户类别。微表情识别通过检测面部活动单元(Action Unit)的发生与强度来实现。AU是由面部活动编码系统FACS定义的，用来描述不同的面部肌肉动作变化。通过上述步骤，通过对受试者在受到刺激时的面部表情的捕捉和分析，来判断受试者的意识状态。以下具体介绍上述步骤。
对于步骤S1：配置语音刺激材料。
具体而言，采用临床评估所需的相关语音范式。其包含惊吓刺激，命令和交流等。具体的，在本申请中，主要就是观察受试者在不同的语音刺激下的表情，因此第一步需要配置语音刺激材料。具体的可以如下。
惊吓刺激：枪声，持续1秒，声音播放完毕后间隔10秒播放下一个枪声，重复10次。
命令：眼睛向上(下，左，右)看，把嘴巴张开(闭拢)等。语速3秒。声音播放完毕后间隔15秒播放下一个命令，每个命令重复5次，共6个命令，一共30次。
交流语音：例如你在医院吗，在医院的眼睛向上看，不在医院的划眼睛向下看。交流声音持续10-11秒，声音播放完后间隔15秒播放下一个交流声音，每个交流声音重复5次，共6个交流语音，一共30次。
对于步骤S2：分别向多个受试者播放语音刺激材料。
具体而言，在步骤S1中配置好语音刺激材料后，向多个受试者播放这些语音刺激材料。
其中，多个受试者来自不同的用户类别，用户类别根据受试者的意识状态的不同被划分为第一类型和第二类型。在本申请中，第一类型是植物状态(VS)和最小意识状态(MCS)，第二类型为健康状态(HC)。
可以理解的是，为了能够判识别出不同意识水平的受试者对这些语音刺激的不同的反应，首先需要这对不同类别的受试者进行测试，并采集数据作为后续的判断的依据。
对于步骤S3：采集每个受试者在接收语音刺激时的面部表情图像数据。
在对受试者进行语音刺激时，通过高清摄像头全程记录受试者的微表情变化。
对于步骤S4：从面部表情图像数据中提取每个受试者的特征数据。
在本申请中，从面部表情图像数据中提取每个受试者的特征数据的具体方法为：
对面部表情图像数据进行人脸追踪。具体的，使用CLNF模型(Constrained LocalNeural Field)中的人脸追踪器对患者的脸部进行追踪。
从追踪到的人脸图像中提取特征点。在本申请中，通过CLNF模型中的特征点检测器来提取人脸的68个特征点。
通过相似变换将提取出的特征点转换为中性表情的特征点映射到参考框架中。为了能够更好地分析人脸的纹理特征，避免头部活动带来的影响，需要将人脸追踪结果映射到一个共同的参考框架之下，来去除缩放和旋转带来的变化。为了将人脸追踪结果映射到同一个参考框架之下，使用相似变换将CLNF模型检测到的特征点转换为中性表情的特征点。在本申请中，通过最小平方和重叠法对特征点进行相似变换。其中，通过相似变换将提取出的特征点转换为中性表情的特征点的具体方法为：从提取出到的特征点中选择部分能够稳定的反映面部表情的特征点。通过相似变换将选择出来的稳定的特征点转换为中心表情的特征点映射到参考框架中。可以理解的是，为了减少较大的面部表情对相似变换的影响，只使用稳定的面部特征点进行相似变换。在本申请中，从68个特征点中，选择脸颊两侧。下眼睑和鼻子周围共24个特征点作为稳定的面部特征点。
对映射到参考框架中的人脸图像的面部区域周围的环境图像进行屏蔽。具体的，对面部区域周围的环境图像进行屏蔽的具体方法为：使用凸包算法包围对齐后的面部的特征点以屏蔽周围环境图像。
从对齐后的人脸图像中提取每个受试者的特征数据。在本申请中，特征数据包含外观特征和几何特征。
从对齐后的人脸图像中提取每个受试者的特征数据的具体方法为：
从对齐后的人脸图像中提取HOG(Histograms of Oriented Gradient)特征向量作为外观特征。
获取人脸追踪过程中设置的非刚性参数和提取出的特征点的位置参数作为几何特征。
将外观特征和几何特征进行个体中性表情校正，即每一帧的特征减去视频的特征中值。
其中，从对齐后的人脸图像中提取HOG特征向量作为外观特征的具体方法为：
采用Gamma校正法将对齐后的人脸图像进行归一化分别计算每个像素的梯度。
将每个像素的梯度进行直方图归一化。
将人脸图像划分为若干块得到每个人脸图像的HOG特征向量。
对得到的HOG特征向量进行降维得到外观特征。
具体而言，在本申请中，对齐后的人脸图像为112*112像素。提取HOG特征首先采用Gamma校正法对颜色空间进行归一化，分别计算每个像素的梯度，然后将梯度直方图归一化，并将图像按照2*2个单元(8*8像素)划分为块，最终得到12*12个块，每个块具有31维直方图特征，每个人脸图像具有4464维特征向量。再通过PCA(Principal ComponentAnalysis)对HOG特征向量进行降维，保留95％的特征信息，得到人脸外观特征向量。
对于步骤S5：通过多个受试者的特征数据及其对应的用户类别对SVM分类器进行训练。
对于步骤S6：获取到未知类别的用户的特征数据并输入到训练好的SVM分类器中得到该用户对应的用户类别。
优选的，在通过多个受试者的特征数据及其对应的用户类别对SVM分类器进行训练之后，基于微表情识别的意识评估方法还包含：
通过多个受试者的特征数据及其对应的反应强度类别对SVR分类器进行训练。在获取到未知类别的用户的特征数据后还将其输入到训练好的SVR分类器中得到该用户对应的反应强度分类。
根据微表情分析的结果，比较受试者受到刺激前后的AU(Action Unit)强度变化，评估受试者在被语音刺激时的面部表情的。优选的，还可以将微表情的评分加入原有CRS-R评分模块中，整合成新的行为学评分，对被试者进行更加细致的意识水平分类。
本申请还公开一种基于微表情识别的意识评估系统，包含：配置模块、语音播放模块、图像采集模块、特征提取模块和SVM分类器。
具体而言，配置模块用于配置语音刺激材料。语音播放模块用于分别向多个受试者播放语音刺激材料。其中，多个受试者来自不同的用户类别，用户类别根据受试者的意识状态的不同被划分为第一类型和第二类型。图像采集模块用于采集每个受试者在接收语音刺激时的面部表情图像数据。特征提取模块用于从面部表情图像数据中提取每个受试者的特征数据。SVM分类器用于通过多个受试者的特征数据及其对应的用户类别进行训练。在SVM分类器训练好后，将未知类别的用户的特征数据输入到训练好的SVM分类器中得到该用户对应的用户类别。
作为一种优选的实施方式，图像采集模块包含：人脸追踪子模块、特征点提取子模块、对齐子模块、屏蔽子模块和特征提取子模块。
人脸追踪子模块用于对面部表情图像数据进行人脸追踪。特征点提取子模块用于从人脸追踪子模块追踪到的人脸图像中提取特征点。对齐子模块用于通过相似变换将特征点提取子模块提取出的特征点转换为中性表情的特征点映射到参考框架中。屏蔽子模块用于对映射到参考框架中的人脸图像的面部区域周围的环境图像进行屏蔽。特征提取子模块用于从对齐后的人脸图像中提取每个受试者的特征数据。
作为一种优选的实施方式，对齐子模块通过相似变换将特征点提取子模块提取出的特征点转换为中性表情的特征点映射到参考框架中的具体方法为：对齐子模块从特征点提取子模块提取出的特征点中选择部分能够稳定的反映面部表情的特征点，再通过相似变换将选择出来的稳定的特征点转换为中心表情的特征点映射到参考框架中。
作为一种优选的实施方式，特征提取子模块包含：向量提取单元、数据获取单元和矫正单元。
向量提取单元用于从对齐后的人脸图像中提取HOG特征向量作为外观特征。数据获取单元用于获取人脸追踪过程中设置的非刚性参数和提取出的特征点的位置参数作为几何特征。矫正单元用于将外观特征和几何特征进行个体中性表情校正。
作为一种优选的实施方式，向量提取单元包含：梯度计算子单元、归一化子单元、划分子单元和降维子单元。
梯度计算子单元用于采用Gamma校正法将对齐后的人脸图像进行归一化分别计算每个像素的梯度。归一化子单元用于将每个像素的梯度进行直方图归一化。划分子单元用于将人脸图像划分为若干块得到每个人脸图像的HOG特征向量。降维子单元用于对划分子单元划分后得到的HOG特征向量进行降维得到外观特征。
作为一种优选的实施方式，基于微表情识别的意识评估系统还包含：SVR分类器。
SVR分类器用于通过多个受试者的特征数据及其对应的反应强度类别进行训练。在SVR分类器训练好后，将未知类别的用户的特征数据输入到训练好的SVR分类器中得到该用户对应的反应强度类别。
其中，各模块的更为具体的执行方式参考前述的基于微表情识别的意识评估方法中的对应的部分，此处不在赘述。
以上显示和描述了本发明的基本原理、主要特征和优点。本行业的技术人员应该了解，上述实施例不以任何形式限制本发明，凡采用等同替换或等效变换的方式所获得的技术方案，均落在本发明的保护范围内。

Claims (10)

1.一种基于微表情识别的意识评估方法，其特征在于，包含以下步骤：
配置语音刺激材料；
分别向多个受试者播放所述语音刺激材料，其中，多个受试者来自不同的用户类别，所述用户类别根据受试者的意识状态的不同被划分为第一类型和第二类型；
采集每个受试者在接收语音刺激时的面部表情图像数据；
从所述面部表情图像数据中提取每个受试者的特征数据；
通过多个受试者的特征数据及其对应的用户类别对SVM分类器进行训练；
获取到未知类别的用户的特征数据并输入到训练好的所述SVM分类器中得到该用户对应的用户类别。
2.根据权利要求1所述的基于微表情识别的意识评估方法，其特征在于，
所述从所述面部表情图像数据中提取每个受试者的特征数据的具体方法为：
对所述面部表情图像数据进行人脸追踪；
从追踪到的人脸图像中提取特征点；
通过相似变换将提取出的特征点转换为中性表情的特征点映射到参考框架中；
对映射到参考框架中的人脸图像的面部区域周围的环境图像进行屏蔽；
从对齐后的人脸图像中提取每个受试者的特征数据。
3.根据权利要求2所述的基于微表情识别的意识评估方法，其特征在于，
所述通过相似变换将提取出的特征点转换为中性表情的特征点的具体方法为：
从提取出到的特征点中选择部分能够稳定的反映面部表情的特征点；
通过相似变换将选择出来的稳定的特征点转换为中心表情的特征点映射到参考框架中。
4.根据权利要求3所述的基于微表情识别的意识评估方法，其特征在于，
通过最小平方和重叠法对特征点进行相似变换。
5.根据权利要求2所述的基于微表情识别的意识评估方法，其特征在于，
所述特征数据包含外观特征和几何特征。
6.根据权利要求5所述的基于微表情识别的意识评估方法，其特征在于，
所述从对齐后的人脸图像中提取每个受试者的特征数据的具体方法为：
从对齐后的人脸图像中提取HOG特征向量作为所述外观特征；
获取人脸追踪过程中设置的非刚性参数和提取出的特征点的位置参数作为所述几何特征；
将所述外观特征和所述几何特征进行个体中性表情校正。
7.根据权利要求6所述的基于微表情识别的意识评估方法，其特征在于，
所述从对齐后的人脸图像中提取HOG特征向量作为所述外观特征的具体方法为：
采用Gamma校正法将对齐后的人脸图像进行归一化分别计算每个像素的梯度；
将每个像素的梯度进行直方图归一化；
将人脸图像划分为若干块得到每个人脸图像的HOG特征向量；
对得到的HOG特征向量进行降维得到所述外观特征。
8.根据权利要求2所述的基于微表情识别的意识评估方法，其特征在于，
所述对面部区域周围的环境图像进行屏蔽的具体方法为：
使用凸包算法包围对齐后的面部的特征点以屏蔽周围环境图像。
9.根据权利要求1所述的基于微表情识别的意识评估方法，其特征在于，
在所述通过多个受试者的特征数据及其对应的用户类别对SVM分类器进行训练之后，所述基于微表情识别的意识评估方法还包含：
通过多个受试者的特征数据及其对应的反应强度类别对SVR分类器进行训练；
在获取到未知类别的用户的特征数据后还将其输入到训练好的所述SVR分类器中得到该用户对应的反应强度分类。
10.一种基于微表情识别的意识评估系统，其特征在于，包含：
配置模块，用于配置语音刺激材料；
语音播放模块，用于分别向多个受试者播放所述语音刺激材料，其中，多个受试者来自不同的用户类别，所述用户类别根据受试者的意识状态的不同被划分为第一类型和第二类型；
图像采集模块，用于采集每个受试者在接收语音刺激时的面部表情图像数据；
特征提取模块，用于从所述面部表情图像数据中提取每个受试者的特征数据；
SVM分类器，用于通过多个受试者的特征数据及其对应的用户类别进行训练；
在所述SVM分类器训练好后，将未知类别的用户的特征数据输入到训练好的所述SVM分类器中得到该用户对应的用户类别。
CN202210036474.6A 2022-01-13 2022-01-13 基于微表情识别的意识评估方法及系统 Pending CN114565957A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210036474.6A CN114565957A (zh) 2022-01-13 2022-01-13 基于微表情识别的意识评估方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210036474.6A CN114565957A (zh) 2022-01-13 2022-01-13 基于微表情识别的意识评估方法及系统

Publications (1)

Publication Number Publication Date
CN114565957A true CN114565957A (zh) 2022-05-31

Family

ID=81711435

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210036474.6A Pending CN114565957A (zh) 2022-01-13 2022-01-13 基于微表情识别的意识评估方法及系统

Country Status (1)

Country Link
CN (1) CN114565957A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115120240A (zh) * 2022-08-30 2022-09-30 山东心法科技有限公司 特殊行业目标感知技能的敏感性评估方法、设备及介质
CN117322892A (zh) * 2023-10-24 2024-01-02 宁波大学 基于听觉和视觉双维度梯度测量的感知敏感性判别方法
CN117633606A (zh) * 2024-01-26 2024-03-01 浙江大学医学院附属第一医院(浙江省第一医院) 基于嗅觉刺激和面部表情的意识检测方法、设备及介质

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115120240A (zh) * 2022-08-30 2022-09-30 山东心法科技有限公司 特殊行业目标感知技能的敏感性评估方法、设备及介质
CN115120240B (zh) * 2022-08-30 2022-12-02 山东心法科技有限公司 特殊行业目标感知技能的敏感性评估方法、设备及介质
CN117322892A (zh) * 2023-10-24 2024-01-02 宁波大学 基于听觉和视觉双维度梯度测量的感知敏感性判别方法
CN117633606A (zh) * 2024-01-26 2024-03-01 浙江大学医学院附属第一医院(浙江省第一医院) 基于嗅觉刺激和面部表情的意识检测方法、设备及介质
CN117633606B (zh) * 2024-01-26 2024-04-19 浙江大学医学院附属第一医院(浙江省第一医院) 基于嗅觉刺激和面部表情的意识检测方法、设备及介质

Similar Documents

Publication Publication Date Title
JP4401079B2 (ja) 被験者の行動解析
CN109993093A (zh) 基于面部和呼吸特征的路怒监测方法、系统、设备及介质
US11663845B2 (en) Method and apparatus for privacy protected assessment of movement disorder video recordings
CN114565957A (zh) 基于微表情识别的意识评估方法及系统
CN111920420B (zh) 一种基于统计学习的患者行为多模态分析与预测系统
CN111259895B (zh) 一种基于面部血流分布的情感分类方法及系统
KR20130024065A (ko) 안색 정보 생성 장치 및 그 방법, 안색 정보를 이용한 건강 상태 판단 장치 및 그 방법, 건강 분류 함수 생성 장치 및 그 방법
CN112472089A (zh) 一种基于眼动技术判断心理测试可靠性的系统及方法
CN111222464B (zh) 情感分析方法以及系统
CN111568412A (zh) 一种利用脑电信号重建视觉图像的方法及装置
CN115299947A (zh) 基于多模态生理数据的心理量表置信度评估方法及系统
Zhang et al. Research on Dyslexia Detection based on Eye Tracking
Vashishth et al. Exploring the role of computer vision in human emotion recognition: a systematic review and meta-analysis
CN115439920B (zh) 基于情绪视听刺激和面部表情的意识状态检测系统、设备
CN113033387A (zh) 一种自动识别老年人慢性疼痛程度的智能评估方法及系统
CN112597949B (zh) 一种基于视频的心理压力测量方法及其系统
CN114970641A (zh) 情感类别的识别方法、装置、处理器及电子设备
CN111222374A (zh) 测谎数据处理方法、装置、计算机设备和存储介质
Vasavi et al. Regression modelling for stress detection in humans by assessing most prominent thermal signature
CN115429272B (zh) 基于多模态生理信号的心理健康状态评估方法及系统
CN117671774B (zh) 一种人脸情绪智能识别分析设备
Cacciatori et al. On Developing Facial Stress Analysis and Expression Recognition Platform
Mo et al. SFF-DA: Sptialtemporal Feature Fusion for Detecting Anxiety Nonintrusively
Angerer Stresserkennung mit Hilfe von Gesichtsausdrücke aus Videosequenzen: von Paul Angerer
CN115227197A (zh) 一种用于视神经的检测系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination