CN111967295B - 一种语义标签挖掘的微表情捕捉方法 - Google Patents
一种语义标签挖掘的微表情捕捉方法 Download PDFInfo
- Publication number
- CN111967295B CN111967295B CN202010584527.9A CN202010584527A CN111967295B CN 111967295 B CN111967295 B CN 111967295B CN 202010584527 A CN202010584527 A CN 202010584527A CN 111967295 B CN111967295 B CN 111967295B
- Authority
- CN
- China
- Prior art keywords
- micro
- expression
- semantic
- delta
- organ
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 37
- 238000005065 mining Methods 0.000 title claims abstract description 29
- 210000000056 organ Anatomy 0.000 claims abstract description 30
- 230000000877 morphologic effect Effects 0.000 claims abstract description 12
- 230000001815 facial effect Effects 0.000 claims abstract description 11
- 230000004660 morphological change Effects 0.000 claims abstract description 4
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 3
- 230000014509 gene expression Effects 0.000 claims description 16
- 238000004364 calculation method Methods 0.000 claims description 11
- 238000000605 extraction Methods 0.000 claims description 7
- 238000011156 evaluation Methods 0.000 claims description 5
- 238000012549 training Methods 0.000 claims description 5
- 238000010276 construction Methods 0.000 claims description 4
- 238000013507 mapping Methods 0.000 claims description 4
- 239000011159 matrix material Substances 0.000 claims description 4
- 238000004458 analytical method Methods 0.000 claims description 2
- 230000010354 integration Effects 0.000 claims description 2
- 230000008569 process Effects 0.000 claims description 2
- 230000009467 reduction Effects 0.000 claims description 2
- 238000001303 quality assessment method Methods 0.000 abstract 1
- 210000004709 eyebrow Anatomy 0.000 description 9
- 238000011160 research Methods 0.000 description 9
- 241000282414 Homo sapiens Species 0.000 description 5
- 238000012360 testing method Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 230000008921 facial expression Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 210000001097 facial muscle Anatomy 0.000 description 1
- 238000001943 fluorescence-activated cell sorting Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000704 physical effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Geometry (AREA)
- Image Analysis (AREA)
Abstract
一种语义标签挖掘的微表情捕捉方法，该方法包括：首先，对源域S张微表情视频帧图片一一通过脸部配准方法确认脸部器官关键点坐标，再根据其中4个关键点坐标确定一个脸部核心器官的方法进行器官图片划分，表示为R1,R2,R3,…Rn共n个类型的脸部器官。接着，分别提取R1,R2,R3,…Rn器官图片的图像纹理特征，获取对应器官类别的特征集合δ1,δ2,δ3,…,δn。然后，将特征集合分别输入聚类算法并进行形态语义的数据聚类(即形态语义挖掘)，基于聚类质量评估方法获取质量最高的语义库模型，记为f(δ1),f(δ2),f(δ3),…,f(δn)。最后，将目标域视频依据f(δ1),f(δ2),f(δ3),…,f(δn)模型匹配获取对应器官形态变化的核序列特征，将核序列特征输入分类器进行微表情模型M_Model的构建。
Description
技术领域
本发明属于机器视觉领域中对微表情视频数据的语义挖掘方法研究，涉及一种语义标签挖掘的微表情捕捉方法。
背景技术
微表情是一种微妙的、无意识的面部表情，通常受到一些复杂的环境、人为等因素影响在无意识的情况下产生。由于人类的身体特性，这种无意识的面部表情会通过一种极其快速且微妙的脸部动作表现出来，这种持续时间在0.2s以内的脸部表情动作被Ekman等人称之为微表情。为了提高科研人员对微表情的识别能力研究，该团队根据面部肌肉形态变化与微表情的关联关系设计了面部动作编码系统(FacialActionCodingSystem，FACS)，其中每一个编码称为动作单元(Actionunit,AU)。由于微表情能够挖掘隐藏在人类内心的真实情感状态，在医学、测谎、办案等领域都有其重要的应用价值，近年来微表情逐渐成为一个热点研究问题。
国内外微表情识别研究主要与以下俩个环节紧密相关：首先是如何提取高质量的纹理特征，其次是选用何种分类器具有良好的分类效果。其中纹理特征的提取策略主要包括基于静态图像特征提取、基于动态视频图像特征提取、光流特征等。当前的这种研究思路存在几个较大的问题。1.传统的研究方法只关注于微观图像中灰度值与微表情的内部联系，然而微表情产生的本质上是脸部各器官形态语义的联合行为，因此忽略了微表情的语义信息。2.由于微表情其微妙，且无意思的特性致使微表情数据集数据量偏小，从而深度学习方法在微表情领域不能很好的发挥其潜能。
发明内容
本发明基于机器学习方法，在经典微表情研究的基础上，加进人类的常识、知识，提出了一种可信、安全和可靠的微表情识别方法，从而能够更精准的判断一个人的微表情状态。
本发明是通过以下技术方案实现的。
本发明为一种语义标签挖掘的微表情计算方法，包括如下步骤：
S1:选取源域公用微表情数据集A＝[V1,V2,V3,…Vt]T进行图像的补齐、统一大小、图像灰值化等预处理。V1,V2,V3,…Vt代表数据集的t个微表情视频数据文件，并且视频帧补齐后每个视频由k帧图片构成，将其可表示为其中A的详细表达：
S2:采用人脸配准方法获取脸部的o1,o2,o3,…,ol的关键点坐标定位，其中通过4个坐标点唯一确定一个Ri矩形框的方法进行脸部器官划分，通过脸部区域的分析获取R1,R2,R3,…Rn个器官区域。
S3:通过步骤2的R1,R2,R3,…Rn矩形框对数据集A共S＝t*k张视频帧图片进行自动划分，将每一帧微表情图像帧划分为/>共n个区域，由此可以获取一个基于n个器官区域的数据集向量A′＝[A′1,A′2,A′3,…,A′a，…,A′n]T，其中A′a表示数据集A中S＝t*k张视频帧图片器官a区域的图片帧集合并且/>
S4:采用图像纹理特征提取方法提取A′图像数据的纹理特征，获取A′1,A′2,A′3,…,A′a，…,A′n器官区域集合纹理特征集δ，其中δ＝[δ1,δ2,δ3,…,δa,…,δn]T，并且A′与δ呈一一映射关系，其中δa：
S5:基于图像的纹理数据特征的数据结构选取优良的聚类集成方法，通过聚类评价指标Φ选取最优化的聚类参数对δ＝[δ1,δ2,δ3,…,δa,…,δn]T特征集进行n个器官区域的多任务语义标签挖掘。
S6:通过步骤S5的语义挖掘方法，构建多器官区域的语义库模型f(δ)＝[f(δ1),f(δ2),f(δ3),…,f(δn)]T。其中f(δ)与δ呈一一映射关系，f(δ1),f(δ2),f(δ3),…,f(δn)的形态种类由聚类评价指标Φ分别确定形态种类r，且r不唯一。由此代表a器官区域的第t种形态类型，f(δa)语义库共包含ra种形态类型。
S7:选取目标域数据集B＝[V1′,V2′,V3′,…Vm′]T，V1′,V2′,V3′,…Vm′为数据集中的m个微表情视频文件，并且Vi′＝[p′1 i,p′2 i,p′3 i,…,pi′k,Yi]。其中p′1 i,p′2 i,p′3 i,…,p′k i表示Vi′个微表情视频文件的k张图片帧，Yi表示该视频所对应的微表情标签。由此目标域数据可以表示为如下B矩阵：
S8:重复S2-S3步骤进行目标域数据的器官区域划分，则每一个Vi′视频可划分成图片帧域和/>微表情标签域，目标域B可转变为/>形式的数据集合。其中
S9:通过对微表情特征中/>图片帧集合的纹理特征，获取每一个视频文件的纹理特征/>则数据集B的纹理特征/>其中/>记为：
S10:将纹理特征集与f(δ)＝[f(δ1),f(δ2),f(δ3),…,f(δn)]T语义库模型进行形态语义模型匹配，匹配按照/>的原则，其中/>是第Vi′个视频帧图片匹配的核序列特征，其中/>指代当前视频文件在第n个器官区域的形态语义变化的核序列特征，详细变化如下所示：。
S11:完成步骤S10依据所有视频帧图片基于/>纹理特征与f(δ)语义库模型提取视频帧形态变化的核序列特征集/>则数据集B转变为脸部变化形态的核序列特征与微表情标签的关联数据，记为/>
S12:将核序列特征进行降维处理后作为输入，/>作为输出代入分类器模型进行语义标签挖掘模型的构建。训练完成后保存分类器算法对应模型记为M_Model，至此一种语义标签挖掘的微表情计算方法模型构建完毕。
本发明相对于现有技术具有以下优点：
(1)本发明将聚类方法引入微表情识别领域，通过聚类方法进行形态语义的挖掘，增加了微表情研究的新线路。
(2)本发明方法在经典微表情研究的基础上，加进人类的常识、知识，建立一个可解释的、鲁棒的微表情识别理论，发展了一种可信、安全和可靠的微表情识别框架。
(3)本发明基于语义标签进行脸部表情的动作挖掘，提取脸部的核序列特征，能更直观的了解脸部的变化过程，相对于经典方法具有更好的解释性和直观性。
附图说明
图1是本发明的基本流程图。
图2是脸部区域自动划分流程图。
图3是形态语义库构建流程图。
图4是形态核序列提取及分类模型构建流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步的详细说明。此处所描述的具体实施例仅用于解释本发明技术方案，并不限于本发明。
本发明将通过以下实施例作进一步说明。
选取微表情CASMEII数据集作为实验数据，其中包括26个参与者，256个微表情视频文件A＝[V1,V2,V3,…V256]T，微表情标签中包含开心、厌恶、恐惧、悲伤等微表情标签。
对所有视频文件的视频帧文件进行图像的补齐、统一大小、图像灰值化等预处理。对数据集的256个微表情视频数据文件进行视频帧补齐，补齐后每个视频为由400帧图片构成，将其可表示为由此获得一个256*400维的图片矩阵。
通过ASM主观形状模型，获取脸部的68个关键点定位。通过1，2，3，4，…，68进行关键点的标注，通过表1所示矩形框Ri＝((X1,Y1),(X2,Y2))的坐标进行脸部器官区域划分，划分为左眉、右眉、左眼、右眼、鼻子和嘴巴共6个脸部器官区域。
表1
通过对图片区域的划分获得分别对应左眉、右眉、左眼、右眼、鼻子和嘴巴的数据集区域A′＝[A′1,A′2,A′3,A′4,A′5,A′6]T，每个区域数据分别包含256*400左眉、右眉、左眼、右眼、鼻子和嘴巴的图片数据。
通过LBP算子，参数调整半径r＝1,邻接点n＝8提取A′＝[A′1,A′2,A′3,A′4,A′5,A′6]T数据中所有图片帧的256维的纹理特征直方图，获取特征集记为δ＝[δ1,δ2,δ3,δ4,δ5,δ6]T，δa如下所示。
采用K-means做为语义挖掘聚类方法，对δ1,δ2,δ3,δ4,δ5,δ66个区域部分的图片特征集分别进行聚类集成。其中通过Calinski-HarabazIndex或者轮廓系数作为聚类效果评价方法选取最优的k值，获取最优化的形态语义标签库记为f(δ)＝[f(δ1),f(δ2),f(δ3),f(δ4),f(δ5),f(δ6)]T。其中f(δ1)中则包含左眉的k种形态语义,记为f(δ1)＝[1，2，3，…，k1]且k值不唯一，其他语义库同理可类推。
抽取100个视频文件B＝[V1′,V2′,V3′,…V100′]T作为模型训练数据向量集，每个视频文件包含100*400维度的图片数据X和一个100*1维度的表情标签Y。
重复步骤2-3对X进行分区域的图片自动划分，其中每一个视频划分为6个图片区域[B1 B2 B3 B4 B5 B6]分别对应左眉、右眉、左眼、右眼、鼻子和嘴巴的视频区域。其划分可如下矩阵所示，其中
通过LBP算子对步骤8划分的视频图片进行纹理特征提取，获取100个视频共100*400维的纹理直方图数据特征每一条视频的图片帧纹理直方图特征每个视频中包含B1,B2,B3,B4,B5,B6区域的纹理特征集，其中/>表示如下：
将每一条视频获取的6个维度器官的纹理特征直方图与语义库一一对应进行形态匹配，提取形态变化的核序列特征。
将核序列特征及视频表情标签划分训练集及测试集，训练集输入SVM分类算法构建微表情语义挖掘模型，测试集进行模型测试模型效果，输出的平均准确率作用于CASMEII数据集为0.5316。
本发明提出了一种微表情语义标签挖掘方法，进行脸部宏观角度的形态语义变化的挖掘工作，实现形态特征值的标签化。本框架方法在经典微表情研究的基础上，加进人类的常识、知识，建立一个可解释的、鲁棒的微表情识别理论，发展了一种可信、安全和可靠的微表情识别框架。如表2所示相较于之前提出的微表情识别方法
表2
以上所述仅表达了本发明的优选实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形、改进及替代，这些都属于本发明的保护范围。因此本发明专利的保护范围应以所附权利要求为准。
Claims (8)
1.一种语义标签挖掘的微表情计算方法，包括如下步骤：
S1:选取源域公用微表情数据集A＝[V1,V2,V3,…Vt]T进行图像的补齐、统一大小、图像灰值化的预处理；
S2:采用人脸配准方法获取脸部的o1,o2,o3,…,ol的关键点坐标定位，其中通过4个坐标点唯一确定一个Ri矩形框的方法进行脸部器官划分，通过脸部区域的分析获取R1,R2,R3,…Rn个器官区域；
S3:通过步骤S2的R1,R2,R3,…Rn矩形框对数据集A中所有视频帧图片进行自动划分，将每一帧微表情图像帧划分为/>共n个区域，由此可以获取一个基于n个器官区域的数据集向量A′＝[A′1,A′2,A′3,…,A′a，…,A′n]T；
S4:采用图像纹理特征提取方法提取A′图像数据的纹理特征，获取A′1,A′2,A′3,…,A′a，…,A′n器官区域集合纹理特征集δ，其中δ＝[δ1,δ2,δ3,…,δa,…,δn]T，并且A′与δ呈一一映射关系，其中δa：
S5:基于图像的纹理数据特征的数据结构选取优良的聚类集成方法，通过聚类评价指标Φ选取最优化的聚类参数对δ＝[δ1,δ2,δ3,…,δa,…,δn]T特征集进行n个器官区域的多任务语义标签挖掘；
S6:通过步骤S5的语义挖掘方法，构建多器官区域的语义库模型f(δ)＝[f(δ1),f(δ2),f(δ3),…,f(δn)]T；
S7:选取目标域数据集B＝[V′1,V′2,V′3,…V′m]T，V′1,V′2,V′3,…V′m为数据集中的m个微表情视频文件，并且
S8:重复步骤S2-S3进行目标域数据的器官区域划分，则每一个V′i视频可划分成图片帧域和/>微表情标签域，目标域B可转变为/>形式的数据集合；
S9:通过对微表情特征中/>图片帧集合的纹理特征，获取每一个视频文件的纹理特征/>则数据集B的纹理特征/>
S10:将纹理特征集与f(δ)＝[f(δ1),f(δ2),f(δ3),…,f(δn)]T语义库模型进行形态语义模型匹配，匹配按照/>的原则；
S11:完成步骤S10依据所有视频帧图片基于/>纹理特征与f(δ)语义库模型提取视频帧形态变化的核序列特征集/>则数据集B转变为脸部变化形态的核序列特征与微表情标签的关联数据，记为/>
S12:将核序列特征进行降维处理后作为输入，/>作为输出代入分类器模型进行语义标签挖掘模型的构建，训练完成后保存分类器算法对应模型记为M_Model，至此一种语义标签挖掘的微表情计算方法模型构建完毕。
2.根据权利要求1所述的一种语义标签挖掘的微表情计算方法，其特征在于：步骤S1中V1,V2,V3,…Vt代表数据集的t个微表情视频数据文件，并且视频帧补齐后每个视频由k帧图片构成，将其可表示为其中A的详细表达：
3.根据权利要求2所述的一种语义标签挖掘的微表情计算方法，其特征在于，所述步骤S3中数据集A共S＝t*k张视频帧图片，所述A′a表示数据集A中S＝t*k张视频帧图片器官a区域的图片帧集合并且
4.根据权利要求1所述的一种语义标签挖掘的微表情计算方法，其特征在于：所述步骤S6中，其中f(δ)与δ呈一一映射关系，f(δ1),f(δ2),f(δ3),…,f(δn)的形态种类由聚类评价指标Φ分别确定形态种类r，且r不唯一，由此代表a器官区域的第t种形态类型，f(δa)语义库共包含ra种形态类型。
5.根据权利要求1所述的一种语义标签挖掘的微表情计算方法，其特征在于：所述步骤S7中，其中表示V′i个微表情视频文件的k张图片帧，Yi表示该视频所对应的微表情标签，由此目标域数据可以表示为如下B矩阵：
6.根据权利要求1所述的一种语义标签挖掘的微表情计算方法，其特征在于：所述步骤S8中，其中
7.根据权利要求1所述的一种语义标签挖掘的微表情计算方法，其特征在于：所述步骤S9中，其中记为：
8.根据权利要求1所述的一种语义标签挖掘的微表情计算方法，其特征在于：所述步骤S10中，其中是第Vi′个视频帧图片匹配的核序列特征，其中/>指代当前视频文件在第n个器官区域的形态语义变化的核序列特征，详细变化如下所示：
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010584527.9A CN111967295B (zh) | 2020-06-23 | 2020-06-23 | 一种语义标签挖掘的微表情捕捉方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010584527.9A CN111967295B (zh) | 2020-06-23 | 2020-06-23 | 一种语义标签挖掘的微表情捕捉方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111967295A CN111967295A (zh) | 2020-11-20 |
| CN111967295B true CN111967295B (zh) | 2024-02-13 |
Family
ID=73360625
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010584527.9A Active CN111967295B (zh) | 2020-06-23 | 2020-06-23 | 一种语义标签挖掘的微表情捕捉方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111967295B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102842033A (zh) * | 2012-08-17 | 2012-12-26 | 苏州两江科技有限公司 | 基于人脸识别进行人物表情情感语义识别方法 |
| CN109034143A (zh) * | 2018-11-01 | 2018-12-18 | 云南大学 | 基于视频放大和深度学习的人脸微表情识别方法 |
| WO2019029261A1 (zh) * | 2017-08-07 | 2019-02-14 | 深圳市科迈爱康科技有限公司 | 微表情识别方法、装置及存储介质 |
| CN110162598A (zh) * | 2019-04-12 | 2019-08-23 | 北京搜狗科技发展有限公司 | 一种数据处理方法和装置、一种用于数据处理的装置 |
| CN110532950A (zh) * | 2019-08-29 | 2019-12-03 | 中国科学院自动化研究所 | 基于微表情视频的视频特征提取方法、微表情识别方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10884503B2 (en) * | 2015-12-07 | 2021-01-05 | Sri International | VPA with integrated object recognition and facial expression recognition |
-
2020
- 2020-06-23 CN CN202010584527.9A patent/CN111967295B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102842033A (zh) * | 2012-08-17 | 2012-12-26 | 苏州两江科技有限公司 | 基于人脸识别进行人物表情情感语义识别方法 |
| WO2019029261A1 (zh) * | 2017-08-07 | 2019-02-14 | 深圳市科迈爱康科技有限公司 | 微表情识别方法、装置及存储介质 |
| CN109034143A (zh) * | 2018-11-01 | 2018-12-18 | 云南大学 | 基于视频放大和深度学习的人脸微表情识别方法 |
| CN110162598A (zh) * | 2019-04-12 | 2019-08-23 | 北京搜狗科技发展有限公司 | 一种数据处理方法和装置、一种用于数据处理的装置 |
| CN110532950A (zh) * | 2019-08-29 | 2019-12-03 | 中国科学院自动化研究所 | 基于微表情视频的视频特征提取方法、微表情识别方法 |
Non-Patent Citations (3)
| Title |
|---|
| 光流模值估计的微表情捕捉;姜波;解仑;刘欣;韩晶;王志良;浙江大学学报. 工学版;第51卷(第3期);全文 * |
| 基于层级注意力模型的视频序列表情识别;王晓华;潘丽娟;彭穆子;胡敏;金春花;任福继;;计算机辅助设计与图形学学报(第01期);全文 * |
| 基于用户行为分析的搜索引擎研究;刘承启;邓庚盛;江婕;徐健锋;;计算机与现代化(第09期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111967295A (zh) | 2020-11-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Wadhawan et al. | Deep learning-based sign language recognition system for static signs | |
| CN112990054B (zh) | 紧凑的无语言面部表情嵌入和新颖三元组的训练方案 | |
| Lin | Face detection in complicated backgrounds and different illumination conditions by using YCbCr color space and neural network | |
| CN110399821B (zh) | 基于人脸表情识别的顾客满意度获取方法 | |
| JP2019517693A (ja) | 表情の認識および注釈付けのためのシステムおよび方法 | |
| Sebe et al. | Robust computer vision: Theory and applications | |
| Yadav | Emotion recognition model based on facial expressions | |
| CN108830237B (zh) | 一种人脸表情的识别方法 | |
| CN110110603A (zh) | 一种基于面部生理信息的多模态唇读方法 | |
| CN113920561A (zh) | 一种基于零样本学习的人脸表情识别方法及装置 | |
| CN113076916A (zh) | 基于几何特征加权融合的动态人脸表情识别方法及系统 | |
| Tong et al. | Research on face recognition method based on deep neural network | |
| CN111967295B (zh) | 一种语义标签挖掘的微表情捕捉方法 | |
| Nagaral et al. | Hybrid approach for facial expression recognition using HJDLBP and LBP histogram in video sequences | |
| Kakkar | Facial expression recognition with LDPP & LTP using deep belief network | |
| Chen | An analysis of Mandarin emotional tendency recognition based on expression spatiotemporal feature recognition | |
| Zeng et al. | Controllable face aging | |
| Zhao et al. | Part-based PCA for facial feature extraction and classification | |
| CN116230244A (zh) | 一种基于增广判别信息的ehr数据分析方法及系统 | |
| Lee et al. | Recognition of facial emotion through face analysis based on quadratic bezier curves | |
| CN112749669B (zh) | 一种基于人面部图像的微表情智能识别系统 | |
| Yavuz et al. | Automatic lipreading with principle component analysis | |
| Dembani et al. | UNSUPERVISED FACIAL EXPRESSION DETECTION USING GENETIC ALGORITHM. | |
| Kumar et al. | Emotion recognition using anatomical information in facial expressions | |
| Tejaashwini Goud et al. | A Survey: Classifying and Predicting Features Based on Facial Analysis |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |