CN112201343A - 基于脸部微表情的认知状态识别系统及方法 - Google Patents
基于脸部微表情的认知状态识别系统及方法 Download PDFInfo
- Publication number
- CN112201343A CN112201343A CN202011051490.XA CN202011051490A CN112201343A CN 112201343 A CN112201343 A CN 112201343A CN 202011051490 A CN202011051490 A CN 202011051490A CN 112201343 A CN112201343 A CN 112201343A
- Authority
- CN
- China
- Prior art keywords
- module
- cognitive state
- video data
- cognitive
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000006998 cognitive state Effects 0.000 title claims abstract description 96
- 230000001815 facial effect Effects 0.000 title claims abstract description 40
- 238000000034 method Methods 0.000 title claims abstract description 30
- 238000012360 testing method Methods 0.000 claims abstract description 40
- 238000012545 processing Methods 0.000 claims abstract description 31
- 238000013145 classification model Methods 0.000 claims abstract description 25
- 230000001149 cognitive effect Effects 0.000 claims abstract description 25
- 238000012549 training Methods 0.000 claims abstract description 22
- 238000011156 evaluation Methods 0.000 claims abstract description 8
- 238000013210 evaluation model Methods 0.000 claims description 25
- 230000002159 abnormal effect Effects 0.000 claims description 24
- 238000007781 pre-processing Methods 0.000 claims description 18
- 238000000605 extraction Methods 0.000 claims description 17
- 238000001514 detection method Methods 0.000 claims description 14
- 238000012706 support-vector machine Methods 0.000 claims description 14
- 239000013598 vector Substances 0.000 claims description 14
- 206010034010 Parkinsonism Diseases 0.000 claims description 4
- 208000024827 Alzheimer disease Diseases 0.000 claims description 3
- 208000027089 Parkinsonian disease Diseases 0.000 claims description 3
- 230000019771 cognition Effects 0.000 claims 2
- 230000008569 process Effects 0.000 abstract description 4
- 238000013527 convolutional neural network Methods 0.000 description 10
- 230000014509 gene expression Effects 0.000 description 4
- 238000012795 verification Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 230000008921 facial expression Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 210000001097 facial muscle Anatomy 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000003340 mental effect Effects 0.000 description 1
- 230000006996 mental state Effects 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000035479 physiological effects, processes and functions Effects 0.000 description 1
- 230000035790 physiological processes and functions Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Databases & Information Systems (AREA)
- Pathology (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于脸部微表情的认知状态识别系统及方法，该系统包括：数据获取模块、数据处理模块和认知分类模型；数据获取模块用于获取用于训练的视频数据；数据处理模块用于对视频数据进行处理，将视频数据截取为固定帧数的短视频；将数据处理模块处理好的短视频输入认知分类模型对其进行训练；数据获取模块还用于获取未知状态的测试对象的待识别视频数据并输入至训练好的认知分类模型；认知分类模型输出评估结果。本发明的基于脸部微表情的认知状态识别系统及方法，能够对测试对象的脸部视频数据进行分析处理，并自动对该测试对象的认知状态进行归类识别。
Description
技术领域
本发明涉及一种基于脸部微表情的认知状态识别系统及方法。
背景技术
人的脸部可以传输信息，它是媒介，是信息传输器。脸部表情识别技术是近几十年来才逐渐发展起来的，由于面部表情的多样性和复杂性，并且涉及生理学及心理学，表情识别具有较大的难度。
微表情通常发生在一个人试图隐藏他的真实感受的时候,它是人类心理活动的真实表达,如若被有效捕捉,可以准确评估其心理和生理状态。所以近年来,微表情检测与识别工作逐渐引起了学者的关注,但由于微表情强度微弱,容易受环境因素扰动,持续时间短,发生部位区域狭小与不确定,一般传感器很难捕捉识别,所以微表情识别成为一个热门的研究领域。
发明内容
本发明提供了一种基于脸部微表情的认知状态识别系统及方法，采用如下的技术方案：
一种基于脸部微表情的认知状态识别系统，包括，数据获取模块、数据处理模块和认知分类模型；
数据获取模块用于获取用于训练的视频数据，视频数据包含认知状态正常的测试对象的视频数据和认知状态异常的测试对象的视频数据；
数据处理模块用于对视频数据进行处理，将视频数据截取为固定帧数的短视频；
认知分类模型包括：AU区域划分模块、特征提取模块、预测模块、检验模块和分类模块；
将数据处理模块处理好的短视频输入认知分类模型对其进行训练；
AU区域划分模块用于针对短视频中的每一帧图像进行面部特征点识别，将每一帧图像划分成不同的AU区域；
特征提取模块用于将每一个AU区域输入对应的CNN，得到相应AU区域的特征向量，将每一帧图像的所有AU区域的特征向量进行串联得到每一帧图像的多标签AU特征；
预测模块用于将每一帧图像的多标签AU特征输入LSTM网络进行AU预测，得到每个短视频对应的不同的AU出现的概率；
检验模块用于对预测模块的结果进行显著性检验，确定差异AU；
分类模块用于将认知状态正常和状态异常作为类别标签，将差异AU的概率作为特征标签，使用SVM进行二分类，完成认知状态评估模型训练工作；
数据获取模块还用于获取未知状态的测试对象的待识别视频数据并输入至训练好的认知分类模型；
认知分类模型输出评估结果。
进一步地，认知状态评估模型还包括预处理模块；
预处理模块用于通过VGG网络对输入至认知分类模型的短视频中的每一帧图像进行预处理后输入至AU区域划分模块。
进一步地，数据处理模块将视频数据截取为固定帧数的短视频，且相邻的短视频具有部分重叠帧数。
进一步地，数据处理模块将视频数据截取为固定帧数为n的短视频，且相邻的短视频具有部分重叠帧数为0.1n-0.4n。
一种基于脸部微表情的认知状态识别方法，包含以下步骤：
通过数据获取模块获取用于训练的视频数据，视频数据包含认知状态正常的测试对象的视频数据和认知状态异常的测试对象的视频数据；
通过数据处理模块对视频数据进行处理，将视频数据截取为固定帧数的短视频；
搭建认知状态评估模型并通过处理后的短视频对认知状态评估模型进行训练；
再通过数据获取模块获取未知状态的测试对象的待识别视频数据并输入训练好的认知状态评估模型得到评估结果；
认知状态评估模型包括：AU区域划分模块、特征提取模块、预测模块、检验模块和分类模块；
通过处理后的短视频对认知状态评估模型进行训练的具体方法为：
数据处理模块将处理后的短视频输入至认知状态评估模型；
通过AU区域划分模块针对短视频中的每一帧图像进行面部特征点识别，将每一帧图像划分成不同的AU区域；
通过特征提取模块将每一个AU区域输入对应的CNN，得到相应AU区域的特征向量，将每一帧图像的所有AU区域的特征向量进行串联得到每一帧图像的多标签AU特征；
通过预测模块将每一帧图像的多标签AU特征输入LSTM网络进行AU预测，得到每个短视频对应的不同的AU出现的概率；
通过检验模块对预测模块的结果进行显著性检验，确定差异AU；
将差异AU输入分类模块，将认知状态正常和状态异常作为类别标签，将差异AU的概率作为特征标签，使用SVM进行二分类，完成认知状态评估模型训练工作。
进一步地，认知状态评估模型还包括预处理模块；
在通过AU区域划分模块对图像进行划分之前，
先将短视频输入预处理模块，预处理模块通过VGG网络对短视频中的每一帧图像进行预处理。
进一步地，将视频数据截取为固定帧数的短视频的具体方法为：
将视频数据截取为固定帧数的短视频，且相邻的短视频具有部分重叠帧数。
进一步地，将视频数据截取为固定帧数的短视频的具体方法为：
将视频数据截取为固定帧数为n的短视频，且相邻的短视频具有部分重叠帧数为0.1n-0.4n。
进一步地，认知状态异常的测试对象为患有帕金森综合征的患者。
进一步地，认知状态异常的测试对象为患有阿尔茨海默症的患者。
本发明的有益之处在于所提供的基于脸部微表情的认知状态识别系统及方法，能够对测试对象的脸部视频数据进行分析处理，并自动对该测试对象的认知状态进行归类识别。
附图说明
图1是本发明的基于脸部微表情的认知状态识别系统的示意图。
基于脸部微表情的认知状态识别系统100，数据获取模块10，数据处理模块20，认知分类模型30，AU区域划分模块31，特征提取模块32，预测模块33，检验模块34，分类模块35，预处理模块36。
具体实施方式
以下结合附图和具体实施例对本发明作具体的介绍。
如图1所示为本发明的一种基于脸部微表情的认知状态识别系统100，主要包括，数据获取模块10、数据处理模块20和认知分类模型30。
数据获取模块10用于获取用于训练的视频数据，视频数据包含认知状态正常的测试对象的视频数据和认知状态异常的测试对象的视频数据，视频数据包含测试对象的脸部。在本发明中，认知状态正常的测试对象为正常人，而认知状态异常的测试对象为帕金森综合征患者。可以理解的是，根据实际需要，认知状态异常的测试对象也可以是阿尔茨海默症患者。
数据处理模块20用于对视频数据进行处理，将视频数据截取为固定帧数的短视频。
具体而言，数据处理模块20将视频数据截取为固定帧数的短视频，且相邻的短视频具有部分重叠帧数。将完整的视频数据截取若干相邻的短视频，且相邻的短视频具有部分重叠的帧数。一方面可以使被分割的短视频具有更强的连贯性，另一方面也可以使分割后的短视频的数量更多，扩展了训练数据。
作为一种优选的实施方式，数据处理模块20将视频数据截取为固定帧数为n的短视频，且相邻的短视频具有部分重叠帧数为0.1n-0.4n。
认知分类模型30包括：AU区域划分模块31、特征提取模块32、预测模块33、检验模块34和分类模块35。将数据处理模块20处理好的短视频输入认知分类模型30对其进行训练。
面部动作编码系统(Facial Action Coding System，FACS)是一种通过面部外观对人类面部动作进行分类的系统，定义面部活动单元(Action Unit，AU)来描述不同的面部肌肉动作变化，因此对于微表情的检测可以转化为对于AU的检测。对每一个短视频进行AU检测，主要使用卷积神经网络(Convolutional Neural Network，CNN)和长短时记忆网络(Long Short Term Memory，LSTM)。其中CNN实现AU特征提取，LSTM完成时序特征提取。
其中，AU区域划分模块31用于针对短视频中的每一帧图像进行面部特征点识别，将每一帧图像划分成不同的AU区域。具体而言，首先要进行面部特征点识别，确定视频每一帧人脸各个器官的位置。在确定好面部特征点的前提下，要进行裁剪从而实现AU区域的划分。根据AU所在位置，选择能够表示AU显著变化特征的标志性的点作为AU的中心，该结果为AU区域划分的依据。
特征提取模块32用于将每一个AU区域输入对应的CNN，得到相应AU区域的特征向量，将每一帧图像的所有AU区域的特征向量进行串联得到每一帧图像的多标签AU特征。具体而言，对于每一个AU要单独设计局部的CNN，其滤波器针对对应的AU区域进行训练，得到特征向量来表示相应区域的AU特征，将所有AU的特征向量进行串联，就得到每一帧图像的多标签AU特征。
预测模块33用于将每一帧图像的多标签AU特征输入LSTM网络进行AU预测，得到每个短视频对应的不同的AU出现的概率。具体而言，由于AU的产生与消失是一个动态的过程，所以在提取视频里每一帧图像的AU特征的基础上，要综合分析视频的时序信息。使用LSTM网络可以融合静态的CNN特征，能够提高静态的AU检测的准确率。前面的特征提取模块32输出了每一帧图像的多标签AU特征，将该结果按照产生时间从前到后的顺序进行排列，分别输入到LSTM网络中的每一个LSTM模块中，同时前一个模块的输出结果也作为下一个模块的输入，LSTM网络的模块个数为短视频的帧数n，最后综合所有的LSTM模块的输出结果进行AU的预测，得到不同的AU出现的概率。
检验模块34用于对预测模块33的结果进行显著性检验，确定差异AU。对于认知状态正常和认知状态异常的测试者而言，二者的某些面部AU出现的概率存在着一些差异，所以分别对每一个经过预测模块33得到的AU进行显著性检验，确定出在认知状态正常和认知状态异常的测试者之间体现出明显差异的差异AU，将它们作为之后认知状态评估的依据。
分类模块35用于将认知状态正常和状态异常作为类别标签，将差异AU的概率作为特征标签，使用支持向量机(Support Vector Machine，SVM)进行二分类，完成认知状态评估模型训练工作。微表情的变化情况能够反映人的认知状态，即AU和认知状态之间存在某些隐性的关系。将认知状态正常和认知状态异常作为类别标签，将检验模块34确定的差异AU的概率作为特征标签，使用支持向量机(Support Vector Machine，SVM)进行二分类，就在AU概率和认知状态之间建立起了联系。
当完成认知分类模型30的训练后，通过数据获取模块10获取未知状态的测试对象的待识别视频数据并输入至训练好的认知分类模型30。认知分类模型30根据输入的待识别视频数据输出评估结果，即该测试对象的认知状态为正常或是异常。
作为一种优选的实施方式，认知状态评估模型还包括预处理模块36。预处理模块36用于通过VGG网络对输入至认知分类模型30的短视频中的每一帧图像进行预处理后输入至AU区域划分模块31。可以理解的是，由于VGG网络具有简单的结构和优良的对象分类性能，所以使用VGG对图像进行初步的处理，VGG网络一方面可以缩小的图片的尺寸，可以减小区域划分产生的误差，另一方面也能够实现AU特征的初步提取。将VGG网络的输出结果作为AU区域划分模块31的划分的对象，根据原始图像的尺寸和VGG输出图像的尺寸的比值，可以确定在输出图像里面AU中心的位置，根据该位置将人脸图像进行裁剪，每一个AU对应一个尺寸较小的局部图像。
本发明还揭示了一种基于脸部微表情的认知状态识别方法，用于上述的基于脸部微表情的认知状态识别系统100，具体的包含以下步骤：
S1：通过数据获取模块10获取用于训练的视频数据，视频数据包含认知状态正常的测试对象的视频数据和认知状态异常的测试对象的视频数据。
S2：通过数据处理模块20对视频数据进行处理，将视频数据截取为固定帧数的短视频。
S3：搭建认知状态评估模型并通过处理后的短视频对认知状态评估模型进行训练。
S4：再通过数据获取模块10获取未知状态的测试对象的待识别视频数据并输入训练好的认知状态评估模型得到评估结果。
具体而言，认知状态评估模型包括：AU区域划分模块31、特征提取模块32、预测模块33、检验模块34和分类模块35。
通过处理后的短视频对认知状态评估模型进行训练的具体方法为：
S31:数据处理模块20将处理后的短视频输入至认知状态评估模型。
S32:通过AU区域划分模块31针对短视频中的每一帧图像进行面部特征点识别，将每一帧图像划分成不同的AU区域。
S33:通过特征提取模块32将每一个AU区域输入对应的CNN，得到相应AU区域的特征向量，将每一帧图像的所有AU区域的特征向量进行串联得到每一帧图像的多标签AU特征。
S34:通过预测模块33将每一帧图像的多标签AU特征输入LSTM网络进行AU预测，得到每个短视频对应的不同的AU出现的概率。
S35:通过检验模块34对预测模块33的结果进行显著性检验，确定差异AU。
S36:将差异AU输入分类模块35，将认知状态正常和状态异常作为类别标签，将差异AU的概率作为特征标签，使用SVM进行二分类，完成认知状态评估模型训练工作。
作为一种优选的实施方式，认知状态评估模型还包括预处理模块36。
在通过AU区域划分模块31对图像进行划分之前，
通过处理后的短视频对认知状态评估模型进行训练的具体方法还包括：
S30:先将短视频输入预处理模块36，预处理模块36通过VGG网络对短视频中的每一帧图像进行预处理。
作为一种优选的实施方式，将视频数据截取为固定帧数的短视频的具体方法为：
将视频数据截取为固定帧数的短视频，且相邻的短视频具有部分重叠帧数。
作为一种优选的实施方式，将视频数据截取为固定帧数的短视频的具体方法为：
将视频数据截取为固定帧数为n的短视频，且相邻的短视频具有部分重叠帧数为0.1n-0.4n。
作为一种优选的实施方式，认知状态异常的测试对象为患有帕金森综合征的患者。
作为一种可选的实施方式，认知状态异常的测试对象为患有阿尔茨海默症的患者。
以上显示和描述了本发明的基本原理、主要特征和优点。本行业的技术人员应该了解，上述实施例不以任何形式限制本发明，凡采用等同替换或等效变换的方式所获得的技术方案，均落在本发明的保护范围内。
Claims (10)
1.一种基于脸部微表情的认知状态识别系统，其特征在于，包括，数据获取模块、数据处理模块和认知分类模型；
所述数据获取模块用于获取用于训练的视频数据，所述视频数据包含认知状态正常的测试对象的视频数据和认知状态异常的测试对象的视频数据；
所述数据处理模块用于对所述视频数据进行处理，将所述视频数据截取为固定帧数的短视频；
所述认知分类模型包括：AU区域划分模块、特征提取模块、预测模块、检验模块和分类模块；
将所述数据处理模块处理好的短视频输入所述认知分类模型对其进行训练；
所述AU区域划分模块用于针对短视频中的每一帧图像进行面部特征点识别，将每一帧图像划分成不同的AU区域；
所述特征提取模块用于将每一个AU区域输入对应的CNN，得到相应AU区域的特征向量，将每一帧图像的所有AU区域的特征向量进行串联得到每一帧图像的多标签AU特征；
所述预测模块用于将每一帧图像的多标签AU特征输入LSTM网络进行AU预测，得到每个短视频对应的不同的AU出现的概率；
所述检验模块用于对所述预测模块的结果进行显著性检验，确定差异AU；
所述分类模块用于将认知状态正常和状态异常作为类别标签，将所述差异AU的概率作为特征标签，使用SVM进行二分类，完成所述认知状态评估模型训练工作；
所述数据获取模块还用于获取未知状态的测试对象的待识别视频数据并输入至训练好的所述认知分类模型；
所述认知分类模型输出评估结果。
2.根据权利要求1所述的基于脸部微表情的认知状态识别系统，其特征在于，
所述认知状态评估模型还包括预处理模块；
所述预处理模块用于通过VGG网络对输入至所述认知分类模型的短视频中的每一帧图像进行预处理后输入至所述AU区域划分模块。
3.根据权利要求1所述的基于脸部微表情的认知状态识别系统，其特征在于，
所述数据处理模块将所述视频数据截取为固定帧数的短视频，且相邻的短视频具有部分重叠帧数。
4.根据权利要求3所述的基于脸部微表情的认知状态识别系统，其特征在于，
所述数据处理模块将所述视频数据截取为固定帧数为n的短视频，且相邻的短视频具有部分重叠帧数为0.1n-0.4n。
5.一种基于脸部微表情的认知状态识别方法，其特征在于，包含以下步骤：
通过数据获取模块获取用于训练的视频数据，所述视频数据包含认知状态正常的测试对象的视频数据和认知状态异常的测试对象的视频数据；
通过数据处理模块对所述视频数据进行处理，将所述视频数据截取为固定帧数的短视频；
搭建认知状态评估模型并通过处理后的短视频对所述认知状态评估模型进行训练；
再通过所述数据获取模块获取未知状态的测试对象的待识别视频数据并输入训练好的所述认知状态评估模型得到评估结果；
所述认知状态评估模型包括：AU区域划分模块、特征提取模块、预测模块、检验模块和分类模块；
所述通过处理后的短视频对所述认知状态评估模型进行训练的具体方法为：
所述数据处理模块将处理后的短视频输入至所述认知状态评估模型；
通过所述AU区域划分模块针对短视频中的每一帧图像进行面部特征点识别，将每一帧图像划分成不同的AU区域；
通过所述特征提取模块将每一个AU区域输入对应的CNN，得到相应AU区域的特征向量，将每一帧图像的所有AU区域的特征向量进行串联得到每一帧图像的多标签AU特征；
通过所述预测模块将每一帧图像的多标签AU特征输入LSTM网络进行AU预测，得到每个短视频对应的不同的AU出现的概率；
通过所述检验模块对所述预测模块的结果进行显著性检验，确定差异AU；
将所述差异AU输入所述分类模块，将认知状态正常和状态异常作为类别标签，将所述差异AU的概率作为特征标签，使用SVM进行二分类，完成所述认知状态评估模型训练工作。
6.根据权利要求5所述的基于脸部微表情的认知状态识别方法，其特征在于，
所述认知状态评估模型还包括预处理模块；
在通过所述AU区域划分模块对图像进行划分之前，
先将所述短视频输入所述预处理模块，所述预处理模块通过VGG网络对短视频中的每一帧图像进行预处理。
7.根据权利要求6所述的基于脸部微表情的认知状态识别方法，其特征在于，
所述将所述视频数据截取为固定帧数的短视频的具体方法为：
将所述视频数据截取为固定帧数的短视频，且相邻的短视频具有部分重叠帧数。
8.根据权利要求7所述的基于脸部微表情的认知状态识别方法，其特征在于，
所述将所述视频数据截取为固定帧数的短视频的具体方法为：
将所述视频数据截取为固定帧数为n的短视频，且相邻的短视频具有部分重叠帧数为0.1n-0.4n。
9.根据权利要求6所述的基于脸部微表情的认知状态识别方法，其特征在于，
认知状态异常的测试对象为患有帕金森综合征的患者。
10.根据权利要求6所述的基于脸部微表情的认知状态识别方法，其特征在于，
认知状态异常的测试对象为患有阿尔茨海默症的患者。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011051490.XA CN112201343B (zh) | 2020-09-29 | 2020-09-29 | 基于脸部微表情的认知状态识别系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011051490.XA CN112201343B (zh) | 2020-09-29 | 2020-09-29 | 基于脸部微表情的认知状态识别系统及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112201343A true CN112201343A (zh) | 2021-01-08 |
| CN112201343B CN112201343B (zh) | 2024-02-02 |
Family
ID=74007947
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011051490.XA Active CN112201343B (zh) | 2020-09-29 | 2020-09-29 | 基于脸部微表情的认知状态识别系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112201343B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112686232A (zh) * | 2021-03-18 | 2021-04-20 | 平安科技（深圳）有限公司 | 基于微表情识别的教学评价方法、装置、电子设备及介质 |
| CN114360005A (zh) * | 2021-12-14 | 2022-04-15 | 武汉烽火信息集成技术有限公司 | 一种基于AU区域和多层级Transformer融合模块的微表情分类方法 |
| CN117079772A (zh) * | 2023-07-24 | 2023-11-17 | 广东智正科技有限公司 | 一种基于社区矫正对象心理评估分析的智慧矫正系统及终端 |
| CN118021307A (zh) * | 2024-04-11 | 2024-05-14 | 浙江大学医学院附属第一医院(浙江省第一医院) | 基于微动作的认知水平评估方法、电子设备及可读介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108510194A (zh) * | 2018-03-30 | 2018-09-07 | 平安科技（深圳）有限公司 | 风控模型训练方法、风险识别方法、装置、设备及介质 |
| US20190228211A1 (en) * | 2017-08-17 | 2019-07-25 | Ping An Technology (Shenzhen) Co., Ltd. | Au feature recognition method and device, and storage medium |
| WO2020119450A1 (zh) * | 2018-12-14 | 2020-06-18 | 深圳壹账通智能科技有限公司 | 基于面部图片的风险识别方法、装置、计算机设备及存储介质 |
| CN111528867A (zh) * | 2020-05-13 | 2020-08-14 | 湖州维智信息技术有限公司 | 用于儿童adhd筛查评估系统的表情特征向量确定方法 |
| CN111528859A (zh) * | 2020-05-13 | 2020-08-14 | 浙江大学人工智能研究所德清研究院 | 基于多模态深度学习技术的儿童adhd筛查评估系统 |
-
2020
- 2020-09-29 CN CN202011051490.XA patent/CN112201343B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190228211A1 (en) * | 2017-08-17 | 2019-07-25 | Ping An Technology (Shenzhen) Co., Ltd. | Au feature recognition method and device, and storage medium |
| CN108510194A (zh) * | 2018-03-30 | 2018-09-07 | 平安科技（深圳）有限公司 | 风控模型训练方法、风险识别方法、装置、设备及介质 |
| WO2020119450A1 (zh) * | 2018-12-14 | 2020-06-18 | 深圳壹账通智能科技有限公司 | 基于面部图片的风险识别方法、装置、计算机设备及存储介质 |
| CN111528867A (zh) * | 2020-05-13 | 2020-08-14 | 湖州维智信息技术有限公司 | 用于儿童adhd筛查评估系统的表情特征向量确定方法 |
| CN111528859A (zh) * | 2020-05-13 | 2020-08-14 | 浙江大学人工智能研究所德清研究院 | 基于多模态深度学习技术的儿童adhd筛查评估系统 |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112686232A (zh) * | 2021-03-18 | 2021-04-20 | 平安科技（深圳）有限公司 | 基于微表情识别的教学评价方法、装置、电子设备及介质 |
| CN114360005A (zh) * | 2021-12-14 | 2022-04-15 | 武汉烽火信息集成技术有限公司 | 一种基于AU区域和多层级Transformer融合模块的微表情分类方法 |
| CN114360005B (zh) * | 2021-12-14 | 2024-03-22 | 武汉烽火信息集成技术有限公司 | 一种基于AU区域和多层级Transformer融合模块的微表情分类方法 |
| CN117079772A (zh) * | 2023-07-24 | 2023-11-17 | 广东智正科技有限公司 | 一种基于社区矫正对象心理评估分析的智慧矫正系统及终端 |
| CN118021307A (zh) * | 2024-04-11 | 2024-05-14 | 浙江大学医学院附属第一医院(浙江省第一医院) | 基于微动作的认知水平评估方法、电子设备及可读介质 |
| CN118021307B (zh) * | 2024-04-11 | 2024-07-30 | 浙江大学医学院附属第一医院(浙江省第一医院) | 基于微动作的认知水平评估方法、电子设备及可读介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112201343B (zh) | 2024-02-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112201343B (zh) | 基于脸部微表情的认知状态识别系统及方法 | |
| CN109359548B (zh) | 多人脸识别监控方法及装置、电子设备及存储介质 | |
| Abd El Meguid et al. | Fully automated recognition of spontaneous facial expressions in videos using random forest classifiers | |
| Tran et al. | Micro-expression spotting: A new benchmark | |
| Engin et al. | Offline signature verification on real-world documents | |
| CN109276243A (zh) | 脑电心理测试方法及终端设备 | |
| CN108983966B (zh) | 基于虚拟现实和眼动技术的罪犯改造评估系统和方法 | |
| CN111738199B (zh) | 图像信息验证方法、装置、计算装置和介质 | |
| Xu et al. | Two-stage temporal modelling framework for video-based depression recognition using graph representation | |
| CN111128368B (zh) | 基于视频表情行为分析的孤独症谱系障碍自动检测方法及装置 | |
| CN114565957A (zh) | 基于微表情识别的意识评估方法及系统 | |
| CN116383618A (zh) | 一种基于多模态数据的学习专注度评估方法及装置 | |
| Rahman et al. | Classifying eye-tracking data using saliency maps | |
| Boncolmo et al. | Gender Identification Using Keras Model Through Detection of Face | |
| CN111523461A (zh) | 基于增强cnn和跨层lstm的表情识别系统与方法 | |
| CN111694980A (zh) | 一种鲁棒的家庭儿童学习状态视觉监督方法及装置 | |
| CN115439920A (zh) | 基于情绪视听刺激和面部表情的意识状态检测系统、设备 | |
| CN112807000B (zh) | 鲁棒性脑电信号的生成方法及装置 | |
| Racoviţeanu et al. | Spontaneous emotion detection by combined learned and fixed descriptors | |
| Sims et al. | A neural architecture for detecting confusion in eye-tracking data | |
| CN113180668A (zh) | 一种基于认知负荷变化的实时功能磁共振测谎系统 | |
| CN113544700A (zh) | 神经网络的训练方法和装置、关联对象的检测方法和装置 | |
| CN111274898A (zh) | 基于深度学习的视频流中群体情绪与凝聚力检测方法及装置 | |
| CN108197593B (zh) | 基于三点定位方法的多尺寸人脸表情识别方法及装置 | |
| TWI841402B (zh) | 頭髮特徵分析方法與系統 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |