CN112749669B - 一种基于人面部图像的微表情智能识别系统 - Google Patents
一种基于人面部图像的微表情智能识别系统 Download PDFInfo
- Publication number
- CN112749669B CN112749669B CN202110064518.1A CN202110064518A CN112749669B CN 112749669 B CN112749669 B CN 112749669B CN 202110064518 A CN202110064518 A CN 202110064518A CN 112749669 B CN112749669 B CN 112749669B
- Authority
- CN
- China
- Prior art keywords
- facial expression
- module
- micro
- image
- feature vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000001815 facial effect Effects 0.000 title claims abstract description 45
- 230000008921 facial expression Effects 0.000 claims abstract description 96
- 238000012549 training Methods 0.000 claims abstract description 30
- 238000013507 mapping Methods 0.000 claims abstract description 29
- 238000012545 processing Methods 0.000 claims abstract description 24
- 230000014509 gene expression Effects 0.000 claims abstract description 20
- 238000010606 normalization Methods 0.000 claims abstract description 12
- 239000013598 vector Substances 0.000 claims description 64
- 230000008451 emotion Effects 0.000 claims description 35
- 238000000034 method Methods 0.000 claims description 18
- 238000010276 construction Methods 0.000 claims description 11
- 238000012847 principal component analysis method Methods 0.000 claims description 11
- 230000003068 static effect Effects 0.000 claims description 11
- 238000000605 extraction Methods 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000010195 expression analysis Methods 0.000 claims 1
- 238000000513 principal component analysis Methods 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 11
- 239000000284 extract Substances 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 5
- 241000228740 Procrustes Species 0.000 description 4
- 230000002996 emotional effect Effects 0.000 description 4
- 210000000744 eyelid Anatomy 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 210000004709 eyebrow Anatomy 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 206010063659 Aversion Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 210000004279 orbit Anatomy 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000007665 sagging Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
- G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明提出了一种基于人面部图像的微表情智能识别系统。包括：采集模块，用于采集面部图像样本，并根据该面部图像样本建立面部表情训练集；处理模块，用于对该面部表情训练集进行归一化和对齐，获取对齐后的面部表情状态特征，根据该面部表情状态特征提取核心信息特征；映射模块，用于根据核心信息特征构建微表情识别模型；识别模块，用于获取待识别面部图像样本，通过该微表情识别模型对该待识别面部图像样本进行识别。本发明通过通过归一化、对齐以及核主成分分析的方式将人面部图像微表情识别方式转化为线性方式，能够提高识别效率以及识别精确度，同时也能够降低资源消耗。
Description
技术领域
本发明涉及计算机领域，尤其涉及一种基于人面部图像的微表情智能识别系统。
背景技术
面部表情是人体(形体)语言的一部分，是一种生理及心理的反应，通常用于传递情感。微表情是一种人类在试图隐藏某种情感时无意识做出的、短暂的面部表情。人们通过做一些表情把内心感受表达给对方看，在人们做的不同表情之间，或是某个表情里，脸部会“泄露”出其它的信息。
微表情的在自动谎言识别等众多领域有巨大的潜在应用价值，目前所用到的识别特征主要有：灰度特征、运动特征和频率特征三种。但是现有的识别特征方法对于微表情的识别要么不够精确，要么识别条件比较多，难以达到，所以亟需一种基于人面部图像的微表情智能识别系统，能够快速精确对微表情进行识别。
上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。
发明内容
有鉴于此，本发明提出了一种基于人面部图像的微表情智能识别系统，旨在解决现有技术无法提高通过人面部图像对微表情识别的精确度的技术问题。
本发明的技术方案是这样实现的：
一方面，本发明提供了一种基于人面部图像的微表情智能识别系统，所述基于人面部图像的微表情智能识别系统包括：
采集模块，用于采集面部图像样本，并根据该面部图像样本建立面部表情训练集；
处理模块，用于对该面部表情训练集进行归一化和对齐，获取对齐后的面部表情状态特征，根据该面部表情状态特征提取核心信息特征；
映射模块，用于根据核心信息特征构建微表情识别模型；
识别模块，用于获取待识别面部图像样本，通过该微表情识别模型对该待识别面部图像样本进行识别。
在以上技术方案的基础上，优选的，采集模块包括集建立模块，用于采集面部图像样本，所述面部图像样本包括：微表情图像样本、情绪图像样本以及对应的文本描述，根据该面部图像样本获取对应的静态图像或者动态图像序列，并从该对应的静态图像或者动态图像序列中获取图像关键点，根据该关键点建立面部表情训练集，并将该面部表情训练集中关键点的坐标串成面部表情状态特征向量。
在以上技术方案的基础上，优选的，处理模块包括归一化与对齐模块，用于对该面部表情状态特征向量进行归一化，获取归一化后的面部表情状态特征向量，并通过Procrustes方法进行对齐，获取对齐后的面部表情状态特征向量，并根据对齐后的面部表情状态特征向量提取核心信息特征。
在以上技术方案的基础上，优选的，处理模块包括构建模块，用于根据情绪图像样本以及对应的文本描述获取对应的情绪图像特征信息以及文本描述特征信息，根据该情绪图像特征信息以及文本描述特征信息分别建立情绪图像特征信息集以及文本描述特征信息集，并将该情绪图像特征信息集以及文本描述特征信息集进行关联。
在以上技术方案的基础上，优选的，处理模块包括核心信息特征提取模块，用于构建核主成分分析法，根据该核主成分分析法对该对齐后的面部表情状态特征向量进行计算，获取计算结果作为该对齐后的面部表情状态特征向量的核心信息特征，根据该核心信息特征构建核心信息特征向量空间集。
在以上技术方案的基础上，优选的，映射模块包括识别模型构建模块，用于构建该核心信息特征向量空间集、情绪图像特征信息集以及文本描述特征信息集之间的映射关系，并根据该映射关系建立微表情识别模型。
在以上技术方案的基础上，优选的，识别模块包括识别记录模块，用于获取待识别面部图像样本，通过归一化以及对齐的方式获取该待识别面部图像样本的待识别面部图像样本特征向量，通过该微表情识别模型对该待识别面部图像样本特征向量进行识别记录。
更进一步优选的，所述基于人面部图像的微表情智能识别设备包括：
采集单元，用于采集面部图像样本，并根据该面部图像样本建立面部表情训练集；
处理单元，用于对该面部表情训练集进行归一化和对齐，获取对齐后的面部表情状态特征，根据该面部表情状态特征提取核心信息特征；
映射单元，用于根据核心信息特征构建微表情识别模型；
识别单元，用于获取待识别面部图像样本，通过该微表情识别模型对该待识别面部图像样本进行识别。
本发明的一种基于人面部图像的微表情智能识别系统相对于现有技术具有以下有益效果：
(1)通过归一化以及对齐的方式能够对人面部图像进行提前处理，能够从人面部图像中提取面部表情状态特征，能够提高后期对微表情识别的精确度，提高系统对于微表情识别的效率；
(2)通过核主成分分析方法提取人的各种面部表情图像状态特征的核心信息特征，并建立核心信息特征映射关系，能够快速对微表情进行识别鉴定，同时提高识别识别精确度，提升用户体验。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明基于人面部图像的微表情智能识别系统第一实施例的结构框图；
图2为本发明基于人面部图像的微表情智能识别系统的第二实施例结构框图；
图3为本发明基于人面部图像的微表情智能识别系统的第三实施例结构框图；
图4为本发明基于人面部图像的微表情智能识别系统的第四实施例结构框图；
图5为本发明基于人面部图像的微表情智能识别系统的第五实施例结构框图；
图6为本发明基于人面部图像的微表情智能识别设备结构框图。
具体实施方式
下面将结合本发明实施方式，对本发明实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式仅仅是本发明一部分实施方式，而不是全部的实施方式。基于本发明中的实施方式，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。
如图1所示，图1为本发明基于人面部图像的微表情智能识别系统第一实施例的结构框图。其中，所述基于人面部图像的微表情智能识别系统包括：采集模块10、处理模块20、映射模块30和识别模块40。
采集模块10，用于采集面部图像样本，并根据该面部图像样本建立面部表情训练集；
处理模块20，用于对该面部表情训练集进行归一化和对齐，获取对齐后的面部表情状态特征，根据该面部表情状态特征提取核心信息特征；
映射模块30，用于根据核心信息特征构建微表情识别模型；
识别模块40，用于获取待识别面部图像样本，通过该微表情识别模型对该待识别面部图像样本进行识别。
进一步地，如图2所示，基于上述各实施例提出本发明基于人面部图像的微表情智能识别系统的第二实施例结构框图，在本实施例中，采集模块10还包括：
集建立模块101，用于采集面部图像样本，所述面部图像样本包括：微表情图像样本、情绪图像样本以及对应的文本描述，根据该面部图像样本获取对应的静态图像或者动态图像序列，并从该对应的静态图像或者动态图像序列中获取图像关键点，根据该关键点建立面部表情训练集，并将该面部表情训练集中关键点的坐标串成面部表情状态特征向量。
应当理解的是，本实施例中系统会采集面部图像样本，所述面部图像样本包括：微表情图像样本、情绪图像样本以及对应的文本描述，根据该面部图像样本获取对应的静态图像或者动态图像序列，并从该对应的静态图像或者动态图像序列中获取图像关键点，根据该关键点建立面部表情训练集，并将该面部表情训练集中关键点的坐标串成面部表情状态特征向量。
应当理解的是，本实施中系统会采集人的各种面部表情(即微表情，包括情绪)图像样本，获取面部表情静态图像或动态图像序列，自动标记出面部表情对应的关键点，并建立面部表情数据库和面部表情关键点训练集。人类的面部微表情至少有21种，除了常见的高兴、吃惊、悲伤、愤怒、厌恶和恐惧6种，还有惊喜(高兴+吃惊)、悲愤(悲伤+愤怒)等15种可被区分的复合表情。这里，可采用人脸识别中最常用的68点模型。归一化后的特征点位于一个平稳尺度旋转不变的人脸形状空间中。并将训练集中关键点的坐标串成面部表情状态特征向量。
进一步地，如图3所示，基于上述各实施例提出本发明基于人面部图像的微表情智能识别系统的第三实施例结构框图，在本实施例中，处理模块20还包括：
归一化与对齐模块201，用于对该面部表情状态特征向量进行归一化，获取归一化后的面部表情状态特征向量，并通过Procrustes方法进行对齐，获取对齐后的面部表情状态特征向量，并根据对齐后的面部表情状态特征向量提取核心信息特征。
构建模块202，用于根据情绪图像样本以及对应的文本描述获取对应的情绪图像特征信息以及文本描述特征信息，根据该情绪图像特征信息以及文本描述特征信息分别建立情绪图像特征信息集以及文本描述特征信息集，并将该情绪图像特征信息集以及文本描述特征信息集进行关联。
核心信息特征提取模块203，用于构建核主成分分析法，根据该核主成分分析法对该对齐后的面部表情状态特征向量进行计算，获取计算结果作为该对齐后的面部表情状态特征向量的核心信息特征，根据该核心信息特征构建核心信息特征向量空间集。
应当理解的是，之后系统会对该面部表情状态特征向量进行归一化，获取归一化后的面部表情状态特征向量，并通过Procrustes方法进行对齐，获取对齐后的面部表情状态特征向量，并根据对齐后的面部表情状态特征向量提取核心信息特征。
应当理解的是，对面部表情状态特征进行归一化和对齐(对齐采用Procrustes方法)，形成对齐后的面部表情状态特征。在人脸相关应用中，获得的人脸图像常常形状各异，这时就需要对人脸形状进行归一化处理。人脸对齐就是将两个不同的形状进行归一化的过程，将一个形状尽可能地贴近另一个形状。
应当理解的是，然后根据情绪图像样本以及对应的文本描述获取对应的情绪图像特征信息以及文本描述特征信息，根据该情绪图像特征信息以及文本描述特征信息分别建立情绪图像特征信息集以及文本描述特征信息集，并将该情绪图像特征信息集以及文本描述特征信息集进行关联。
应当理解的是，本实施系统还会获取人的面部图象对应的各种表情(包括情绪)的特征信息以及描述性语义信息，建立人的面部图象特征信息向量空间集和对应的表情(包括情绪)特征信息以及描述性语义信息集。比如，愤怒：眉毛下扬且并拢，眼睛怒视，嘴唇紧锁；轻蔑：嘴角翘起且只展露在脸的一侧；讨厌、厌恶：印堂起皱纹，上嘴唇上扬；害怕、恐惧：眉毛上扬且紧锁，眼皮上扬，眼皮收紧，嘴唇微微张开，水平靠近两耳；快乐、高兴：会有类似鹰爪皱纹。脸颊上扬鼓起，扯动眼窝周围的肌肉；悲伤：上层眼皮下垂，两眼无光，两侧嘴角微微下拉等。
应当理解的是，并构建核主成分分析法，根据该核主成分分析法对该对齐后的面部表情状态特征向量进行计算，获取计算结果作为该对齐后的面部表情状态特征向量的核心信息特征，根据该核心信息特征构建核心信息特征向量空间集。
应当理解的是，利用KPCA(核主成分分析)方法提取人的各种面部表情图像状态特征的核心信息特征。KPCA的基本思想就是：首先经过一个非线性映射，将输入空间的数据映射到一个高维的特征空间中，以求数据在特征空间中线性可分(或近似线性可分)，然后在特征空间中进行标准的PCA提取主元，作为特征向量。
应当理解的是，KPCA算法的计算过程为：1)、去除平均值，进行中心化。2)、利用核函数计算核矩阵K；3)、计算核矩阵的特征值和特征向量；4)、将特征相量按对应特征值大小从上到下按行排列成矩阵，取前k行组成矩阵P；5)、P即为降维后的数据。
进一步地，如图4所示，基于上述各实施例提出本发明基于人面部图像的微表情智能识别系统的第四实施例结构框图，在本实施例中，映射模块30包括：
识别模型构建模块301，用于构建该核心信息特征向量空间集、情绪图像特征信息集以及文本描述特征信息集之间的映射关系，并根据该映射关系建立微表情识别模型。
应当理解的是，之后系统会构建该核心信息特征向量空间集、情绪图像特征信息集以及文本描述特征信息集之间的映射关系，并根据该映射关系建立微表情识别模型。
应当理解的是，系统会建立人的面部图象特征信息向量空间集和对应的表情特征信息以及描述性语义信息集映射关系。包括为每个关键点构建局部特征，即将点阵转化成更高级别图像表述—如形状、运动、颜色、纹理、空间结构等,在尽可能保证稳定性和识别率的前提下，对庞大的图像数据进行降维处理。局部特征一般用梯度特征，以防光照变化。然后利用对象关系映射(简称ORM)模式，解决面向对象与关系数据库存在的互不匹配的现象的问题。简单的说，ORM是通过使用描述对象和数据库之间映射的元数据，将程序中的对象自动持久化到关系数据库中。
进一步地，如图5所示，基于上述各实施例提出本发明基于人面部图像的微表情智能识别系统的第五实施例结构框图，在本实施例中，识别模块40包括：
识别记录模块401，用于获取待识别面部图像样本，通过归一化以及对齐的方式获取该待识别面部图像样本的待识别面部图像样本特征向量，通过该微表情识别模型对该待识别面部图像样本特征向量进行识别记录。
应当理解的是，最后系统会获取待识别面部图像样本，通过归一化以及对齐的方式获取该待识别面部图像样本的待识别面部图像样本特征向量，通过该微表情识别模型对该待识别面部图像样本特征向量进行识别记录。
应当理解的是，“微表情”最短可持续1/25秒，有一定的运动特征。所以必须考虑提取动态图像序列的运动特征的问题。可以考虑采取光流法来实现。光流是指亮度模式引起的表观运动，是景物中可见点的三维速度矢量在成像平面上的投影，它表示景物表面上的点在图像中位置的瞬时变化，同时光流场携带了有关运动和结构的丰富信息。
需要说明的是，以上仅为举例说明，并不对本申请的技术方案构成任何限定。
通过上述描述不难发现，本实施例提出了一种基于人面部图像的微表情智能识别系统，包括：采集模块，用于采集面部图像样本，并根据该面部图像样本建立面部表情训练集；处理模块，用于对该面部表情训练集进行归一化和对齐，获取对齐后的面部表情状态特征，根据该面部表情状态特征提取核心信息特征；映射模块，用于根据核心信息特征构建微表情识别模型；识别模块，用于获取待识别面部图像样本，通过该微表情识别模型对该待识别面部图像样本进行识别。本实施例通过通过归一化、对齐以及核主成分分析的方式将人面部图像微表情识别方式转化为线性方式，能够提高识别效率以及识别精确度，同时也能够降低资源消耗。
此外，本发明实施例还提出一种基于人面部图像的微表情智能识别设备。如图6所示，该基于人面部图像的微表情智能识别设备包括：采集单元10、处理单元20、映射单元30以及识别单元40。
采集单元10，用于采集面部图像样本，并根据该面部图像样本建立面部表情训练集；
处理单元20，用于对该面部表情训练集进行归一化和对齐，获取对齐后的面部表情状态特征，根据该面部表情状态特征提取核心信息特征；
映射单元30，用于根据核心信息特征构建微表情识别模型；
识别单元40，用于获取待识别面部图像样本，通过该微表情识别模型对该待识别面部图像样本进行识别。
此外，需要说明的是，以上所描述的装置实施例仅仅是示意性的，并不对本发明的保护范围构成限定，在实际应用中，本领域的技术人员可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的，此处不做限制。
另外，未在本实施例中详尽描述的技术细节，可参见本发明任意实施例所提供的基于人面部图像的微表情智能识别系统，此处不再赘述。
以上所述仅为本发明的较佳实施方式而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (3)
1.一种基于人面部图像的微表情智能识别系统，其特征在于，所述基于人面部图像的微表情智能识别系统包括：
采集模块，用于采集面部图像样本，并根据该面部图像样本建立面部表情训练集；采集模块包括集建立模块，用于采集面部图像样本，所述面部图像样本包括：微表情图像样本、情绪图像样本以及对应的文本描述，根据该面部图像样本获取对应的静态图像或者动态图像序列，并从该对应的静态图像或者动态图像序列中获取图像关键点，根据该关键点建立面部表情训练集，并将该面部表情训练集中关键点的坐标串成面部表情状态特征向量；
处理模块，用于对该面部表情训练集进行归一化和对齐，获取对齐后的面部表情状态特征，根据该面部表情状态特征提取核心信息特征；处理模块包括归一化与对齐模块，用于对该面部表情状态特征向量进行归一化，获取归一化后的面部表情状态特征向量，并通过Procrustes方法进行对齐，获取对齐后的面部表情状态特征向量，并根据对齐后的面部表情状态特征向量提取核心信息特征；处理模块包括构建模块，用于根据情绪图像样本以及对应的文本描述获取对应的情绪图像特征信息以及文本描述特征信息，根据该情绪图像特征信息以及文本描述特征信息分别建立情绪图像特征信息集以及文本描述特征信息集，并将该情绪图像特征信息集以及文本描述特征信息集进行关联；处理模块包括核心信息特征提取模块，用于构建核主成分分析法，根据该核主成分分析法对该对齐后的面部表情状态特征向量进行计算，获取计算结果作为该对齐后的面部表情状态特征向量的核心信息特征，根据该核心信息特征构建核心信息特征向量空间集；
映射模块，用于根据核心信息特征构建微表情识别模型；映射模块包括识别模型构建模块，用于构建该核心信息特征向量空间集、情绪图像特征信息集以及文本描述特征信息集之间的映射关系，并根据该映射关系建立微表情识别模型；
识别模块，用于获取待识别面部图像样本，通过该微表情识别模型对该待识别面部图像样本进行识别。
2.如权利要求1所述的基于人面部图像的微表情智能识别系统，其特征在于：识别模块包括识别记录模块，用于获取待识别面部图像样本，通过归一化以及对齐的方式获取该待识别面部图像样本的待识别面部图像样本特征向量，通过该微表情识别模型对该待识别面部图像样本特征向量进行识别记录。
3.一种基于人面部图像的微表情智能识别设备，其特征在于，所述基于人面部图像的微表情智能识别设备包括：
采集单元，用于采集面部图像样本，并根据该面部图像样本建立面部表情训练集；具体包括集建立模块，用于采集面部图像样本，所述面部图像样本包括：微表情图像样本、情绪图像样本以及对应的文本描述，根据该面部图像样本获取对应的静态图像或者动态图像序列，并从该对应的静态图像或者动态图像序列中获取图像关键点，根据该关键点建立面部表情训练集，并将该面部表情训练集中关键点的坐标串成面部表情状态特征向量；
处理单元，用于对该面部表情训练集进行归一化和对齐，获取对齐后的面部表情状态特征，根据该面部表情状态特征提取核心信息特征；具体包括归一化与对齐模块，用于对该面部表情状态特征向量进行归一化，获取归一化后的面部表情状态特征向量，并通过Procrustes方法进行对齐，获取对齐后的面部表情状态特征向量，并根据对齐后的面部表情状态特征向量提取核心信息特征；具体包括构建模块，用于根据情绪图像样本以及对应的文本描述获取对应的情绪图像特征信息以及文本描述特征信息，根据该情绪图像特征信息以及文本描述特征信息分别建立情绪图像特征信息集以及文本描述特征信息集，并将该情绪图像特征信息集以及文本描述特征信息集进行关联；具体包括核心信息特征提取模块，用于构建核主成分分析法，根据该核主成分分析法对该对齐后的面部表情状态特征向量进行计算，获取计算结果作为该对齐后的面部表情状态特征向量的核心信息特征，根据该核心信息特征构建核心信息特征向量空间集；
映射单元，用于根据核心信息特征构建微表情识别模型；具体包括识别模型构建模块，用于构建该核心信息特征向量空间集、情绪图像特征信息集以及文本描述特征信息集之间的映射关系，并根据该映射关系建立微表情识别模型；
识别单元，用于获取待识别面部图像样本，通过该微表情识别模型对该待识别面部图像样本进行识别。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110064518.1A CN112749669B (zh) | 2021-01-18 | 2021-01-18 | 一种基于人面部图像的微表情智能识别系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110064518.1A CN112749669B (zh) | 2021-01-18 | 2021-01-18 | 一种基于人面部图像的微表情智能识别系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112749669A CN112749669A (zh) | 2021-05-04 |
| CN112749669B true CN112749669B (zh) | 2024-02-02 |
Family
ID=75652367
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110064518.1A Active CN112749669B (zh) | 2021-01-18 | 2021-01-18 | 一种基于人面部图像的微表情智能识别系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112749669B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1599917A (zh) * | 2001-12-03 | 2005-03-23 | 本田技研工业株式会社 | 使用Kernel Fisherfaces的面部识别 |
| CN101299235A (zh) * | 2008-06-18 | 2008-11-05 | 中山大学 | 一种基于核主成分分析的人脸超分辨率重构方法 |
| CN101620669A (zh) * | 2008-07-01 | 2010-01-06 | 邹采荣 | 一种人脸身份和表情的同步识别方法 |
| WO2017115937A1 (ko) * | 2015-12-30 | 2017-07-06 | 단국대학교 산학협력단 | 가중치 보간 맵을 이용한 표정 합성 장치 및 방법 |
| CN107480622A (zh) * | 2017-08-07 | 2017-12-15 | 深圳市科迈爱康科技有限公司 | 微表情识别方法、装置及存储介质 |
| CN110674684A (zh) * | 2019-08-15 | 2020-01-10 | 深圳壹账通智能科技有限公司 | 微表情分类模型生成、图像识别方法、装置、设备及介质 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9355303B2 (en) * | 2011-12-04 | 2016-05-31 | King Saud University | Face recognition using multilayered discriminant analysis |
| US20130215113A1 (en) * | 2012-02-21 | 2013-08-22 | Mixamo, Inc. | Systems and methods for animating the faces of 3d characters using images of human faces |
-
2021
- 2021-01-18 CN CN202110064518.1A patent/CN112749669B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1599917A (zh) * | 2001-12-03 | 2005-03-23 | 本田技研工业株式会社 | 使用Kernel Fisherfaces的面部识别 |
| CN101299235A (zh) * | 2008-06-18 | 2008-11-05 | 中山大学 | 一种基于核主成分分析的人脸超分辨率重构方法 |
| CN101620669A (zh) * | 2008-07-01 | 2010-01-06 | 邹采荣 | 一种人脸身份和表情的同步识别方法 |
| WO2017115937A1 (ko) * | 2015-12-30 | 2017-07-06 | 단국대학교 산학협력단 | 가중치 보간 맵을 이용한 표정 합성 장치 및 방법 |
| CN107480622A (zh) * | 2017-08-07 | 2017-12-15 | 深圳市科迈爱康科技有限公司 | 微表情识别方法、装置及存储介质 |
| CN110674684A (zh) * | 2019-08-15 | 2020-01-10 | 深圳壹账通智能科技有限公司 | 微表情分类模型生成、图像识别方法、装置、设备及介质 |
Non-Patent Citations (4)
| Title |
|---|
| Facial Emotion Recognition Using NLPCA and SVM;Reddy 等;《Traitement du Signal》;第36卷(第1期);13-22 * |
| Non-Linear Approaches for the Classification of Facial Expressions at Varying Degrees of Intensity;Jane Reilly 等;《International Machine Vision and Image Processing Conference (IMVIP 2007)》;125-132 * |
| 基于KPCANet和线性判别分析的表情识别;陈香敏 等;《华中科技大学学报(自然科学版)》;第48卷(第9期);95-99 * |
| 基于深度学习模型的自发学习表情识别方法研究;何秀玲 等;《计算机应用与软件》;第36卷(第3期);180-186 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112749669A (zh) | 2021-05-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109472198B (zh) | 一种姿态鲁棒的视频笑脸识别方法 | |
| CN108898125A (zh) | 一种基于嵌入式人脸识别管理系统 | |
| CN109325443A (zh) | 一种基于多实例多标签深度迁移学习的人脸属性识别方法 | |
| CN107180234A (zh) | 基于人脸表情识别和人脸特征提取的信用风险预测方法 | |
| CN109635727A (zh) | 一种人脸表情识别方法及装置 | |
| CN109034099A (zh) | 一种表情识别方法及装置 | |
| CN109583431A (zh) | 一种人脸情绪识别模型、方法及其电子装置 | |
| CN110796101A (zh) | 一种嵌入式平台的人脸识别方法及系统 | |
| CN107392151A (zh) | 基于神经网络的人脸影像多维度情感判别系统及方法 | |
| CN111178195A (zh) | 人脸表情识别方法、装置及计算机可读存储介质 | |
| CN108022243A (zh) | 一种基于深度学习的图像中纸张检测方法 | |
| CN111666845A (zh) | 基于关键帧采样的小样本深度学习多模态手语识别方法 | |
| CN114550270A (zh) | 一种基于双注意力机制的微表情识别方法 | |
| CN113920561A (zh) | 一种基于零样本学习的人脸表情识别方法及装置 | |
| CN112749669B (zh) | 一种基于人面部图像的微表情智能识别系统 | |
| Pantic et al. | Facial action recognition in face profile image sequences | |
| CN108090460B (zh) | 基于韦伯多方向描述子的人脸表情识别特征提取方法 | |
| CN113076916A (zh) | 基于几何特征加权融合的动态人脸表情识别方法及系统 | |
| Pahuja et al. | Recognition of sign language symbols using templates | |
| Lee et al. | Recognition of facial emotion through face analysis based on quadratic bezier curves | |
| Yu | Computer-aided english pronunciation accuracy detection based on lip action recognition algorithm | |
| Tripathi et al. | Facial expression recognition using data mining algorithm | |
| CN111967295B (zh) | 一种语义标签挖掘的微表情捕捉方法 | |
| CN112364787A (zh) | 一种面部微表情识别方法 | |
| CN110879966A (zh) | 一种基于人脸识别与图像处理的学生听课理解度评估方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |