CN110363187A - 一种人脸识别方法、装置、机器可读介质及设备 - Google Patents

一种人脸识别方法、装置、机器可读介质及设备 Download PDF

Info

Publication number
CN110363187A
CN110363187A CN201910806194.7A CN201910806194A CN110363187A CN 110363187 A CN110363187 A CN 110363187A CN 201910806194 A CN201910806194 A CN 201910806194A CN 110363187 A CN110363187 A CN 110363187A
Authority
CN
China
Prior art keywords
face
expressive features
features vector
human face
dynamic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910806194.7A
Other languages
English (en)
Other versions
CN110363187B (zh
Inventor
周曦
姚志强
吴媛
吴大为
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Yunconghuilin Artificial Intelligence Technology Co Ltd
Original Assignee
Shanghai Yunconghuilin Artificial Intelligence Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Yunconghuilin Artificial Intelligence Technology Co Ltd filed Critical Shanghai Yunconghuilin Artificial Intelligence Technology Co Ltd
Priority to CN201910806194.7A priority Critical patent/CN110363187B/zh
Publication of CN110363187A publication Critical patent/CN110363187A/zh
Application granted granted Critical
Publication of CN110363187B publication Critical patent/CN110363187B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/175—Static expression
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/176—Dynamic expression

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种人脸识别方法及装置，其中所述方法包括从视频流中提取出每帧图像并确定待识别人脸图像；从连续的多帧待识别人脸图像中提取出第一动态人脸表情特征向量；所述第一动态人脸表情特征向量依次与预存的第二动态人脸表情特征向量进行比对；根据所述比对结果进行人脸识别。本发明的通过提取人脸表情的动态特征进行人脸识别，相比于静态特征的人脸识别具有更高的识别率。

Description

一种人脸识别方法、装置、机器可读介质及设备
技术领域
本发明涉及人脸识别技术领域，特别是涉及一种人脸识别方法、装置、机器可读介质及设备。
背景技术
人脸识别技术已经广泛用在视频监控、银行开户、门禁等行业中。在传统技术中，当摄像头采集到视频流后，是通过逐帧分析静态图像中是否有人脸，以及人脸是否和已有人脸数据库匹配。但这类传统方法具体存在如下局限性：
1.损失了人脸的时间维度信息
能代表一个人的人脸特征，不仅包括他的五官排布、脸型等显性特征，而且还包括例如微笑时眉头舒展、无奈时撇嘴等微表情动态特征。然而，传统的人脸识别一般属于静态识别，即只是对单帧图像进行分析，缺少了对人脸表情变化过程的分析。
2.对人脸表情敏感
不同的表情会带来脸部特征产生较大的变化，因而当人脸数据库中的人脸表情与摄像头正采集到的人脸表情不一致时，系统很可能会错误判定同一个人的两张照片为不相似。
发明内容
鉴于以上所述现有技术的缺点，本发明的目的在于提供一种人脸识别方法、装置、机器可读介质及设备，用于解决现有技术中静态识别准确度不够高的问题。
为实现上述目的及其他相关目的，本发明提供一种人脸识别方法，该人脸识别方法包括：
从视频流中提取出每帧图像并确定待识别人脸图像；
从连续的多帧待识别人脸图像中提取出第一动态人脸表情特征向量；其中单帧待识别人脸图像包含于多帧待识别人脸图像内；
将所述第一动态人脸表情特征向量依次与预存的第二动态人脸表情特征向量进行比对；
根据比对结果进行人脸识别。
可选地，该人脸检测方法还包括：
从单帧待识别人脸图像中提取出静态人脸表情特征向量；
确定所述静态人脸表情特征向量所属类别；
根据静态人脸表情特征向量所属类别从连续的多帧待识别人脸图像中提取出第一动态人脸表情特征向量；其中单帧待识别人脸图像包含于多帧待识别人脸图像内；
可选地，从视频流中提取出每帧图像并对每帧图像进行预处理，确定待识别人脸图像，其中，所述预处理包括人脸检测和人脸对齐。
可选地，所述人脸检测包括：
使用人脸检测算法判断图片中是否有人脸；若存在人脸，则计算该人脸的位置和角度。
可选地，所述人脸的位置由人脸的外接矩形的四个角点的坐标点表示。
可选地，人脸的角度包括人脸的俯仰角、横滚角和偏航角。
可选地，所述人脸的角度通过以下方法获得：
检测出人脸关键点；
根据所述关键点计算出当前图片中人脸的角度。
可选地，所述人脸关键点包括眼睛、鼻子、嘴巴。
可选地，人脸对齐算法包括Procrustes分析算法。
可选地，静态人脸表情特征向量的提取方法包括LBP、LPQ。
可选地，确定静态人脸表情特征向量的类别的方法包括SVM、决策树。
可选地，第一动态人脸表情特征向量的提取方法包括VLBP、LBP-TOP。
可选地，所述比对结果用提取的第一动态人脸表情特征向量与预存的第二动态人脸表情特征向量间的相似度表示。
可选地，相似度计算方法包括欧氏距离或余弦距离。
为实现上述目的及其他相关目的，本发明还提供一种人脸识别装置，该人脸识别装置包括：
视频解析模块，用于从视频流中提取出每帧图像并确定待识别人脸图像；
动态表情提取模块，用于从连续的多帧待识别人脸图像中提取出第一动态人脸表情特征向量；
比对模块，用于将所述第一动态人脸表情特征向量依次与预存的第二动态人脸表情特征向量进行比对；
人脸识别模块，用于根据比对结果进行人脸识别
可选地，该人脸检测装置还包括：
静态表情提取模块，用于从单帧待识别人脸图像中提取出静态人脸表情特征向量；
分类模块，用于确定所述静态人脸表情特征向量所属类别；
动态表情提取模块，用于根据静态人脸表情特征向量所属类别从连续的多帧待识别人脸图像中提取出第一动态人脸表情特征向量；其中单帧待识别人脸图像包含于多帧待识别人脸图像内；
可选地，所述视频解析模块，还用于从视频流中提取出每帧图像，对每帧图像进行预处理，以确定待识别人脸图像，其中，所述预处理包括人脸检测和人脸对齐。
可选地，人脸检测包括：
使用人脸检测算法判断图片中是否有人脸；若存在人脸，则计算该人脸的位置和角度。
可选地，所述人脸的位置由人脸的外接矩形的四个角点坐标点表示。
可选地，所述人脸的角度包括人脸的俯仰角、横滚角和偏航角。
可选地，所述人脸的角度通过以下方法获得：
检测出人脸关键点；
根据所述关键点计算出当前图片中人脸的角度。
可选地，所述人脸关键点包括眼睛、鼻子、嘴巴。
可选地，人脸对齐算法包括Procrustes分析。
可选地，静态人脸表情特征向量的提取方法包括LBP、LPQ。
可选地，确定静态人脸表情特征向量的类别的方法包括SVM、决策树。
可选地，第一动态人脸表情特征向量的提取方法包括VLBP、LBP-TOP。
可选地，所述比对结果用提取的第一动态人脸表情特征向量与预存的第二动态人脸特征向量间的相似度表示。
可选地，相似度计算方法包括欧氏距离或余弦距离。
为实现上述目的及其他相关目的，本发明还提供一种设备，包括：
一个或多个处理器；和
其上存储有指令的一个或多个机器可读介质，当所述一个或多个处理器执行时，使得所述设备执行前述的一个或多个所述的方法。
为实现上述目的及其他相关目的，本发明还提供一个或多个机器可读介质，其上存储有指令，当由一个或多个处理器执行时，使得设备执行前述的一个或多个所述的方法。
如上所述，本发明提供的一种人脸识别方法、装置、机器可读介质及设备，具有以下有益效果：
本发明的通过提取人脸表情的动态特征进行人脸识别，相比于静态特征的人脸识别具有更高的识别率。
本发明的一种基于动态表情分析的人脸识别方法以及装置，首先通过表情识别算法，将人脸表情分类，然后结合人脸的时空信息，在预存搜索查找与待测人脸表情一致的时空描述特征向量，从而识别出人脸。
由于发明在进行人脸搜索时是将表情一致的人脸进行比对，因而解决了传统人脸识别方法中对人脸表情敏感的问题。本发明还通过结合人脸的时间和空间维度信息，能识别例如微笑时眉头舒展等微表情的动态特征，是比传统人脸识别方法更加准确的方法。
附图说明
图1为一实施例提供的人脸识别方法的流程图；
图2为人脸相对于相机坐标系的角度定义；
图3为另一实施例提供的人脸识别方法的流程图；
图4为一实施例提供的人脸识别装置的框图；
图5为另一实施例的人脸识别装置的框图；
图6为一实施例提供的终端设备的硬件结构示意图；
图7为另一实施例提供的终端设备的硬件结构示意图。
元件标号说明
11 第一视频解析模块
12 第一预处理模块
13 第一动态表情提取模块
14 第一比对模块
15 第一人脸识别模块
21 第二视频解析模
22 第二预处理模块
23 静态表情提取模块
24 分类模块
25 第二动态表情提取模块
26 第二比对模块
27 第二人脸识别模块
1100 输入设备
1101 第一处理器
1102 输出设备
1103 第一存储器
1104 通信总线
1200 处理组件
1201 第二处理器
1202 第二存储器
1203 通信组件
1204 电源组件
1205 多媒体组件
1206 语音组件
1207 输入/输出接口
1208 传感器组件
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
请参阅图1，本发明提供一种人脸识别方法，该方法包括：
S11从视频流中提取出每帧图像并确定待识别人脸图像；
S12从连续的多帧待识别人脸图像中提取出第一动态人脸表情特征向量；
S13将所述第一动态人脸表情特征向量依次与预存的第二动态人脸表情特征向量进行比对；
S14根据比对结果进行人脸识别。
以下对步骤S11至步骤S14进行详细的说明
在步骤S11.从视频流中提取出每帧图像并确定待识别人脸图像。
在一实施例中，视频流可以来源于摄像头、网络视频、视频文件等。从视频流中提取出每帧图像，提取出的每帧图像可以形成一个图片的时间序列{F1,F2…,FN}。
其中，通过对从视频流中提取出的每帧图像进行预处理，确定待识别人脸图像，
预处理的方法包括人脸检测、人脸对齐。
在一实施例中，人脸检测可以包括：使用人脸检测算法判断图片中是否存在有人脸，若存在人脸，则计算该人脸的位置和角度。
具体地，人脸检测算法可以包括AAM(Active Appearance Model)算法、神经网络算法。人脸的位置由人脸外接矩形的四个角点的坐标点表示；人脸的角度包括人脸的俯仰角、横滚角、偏航角。
更加具体地，人脸的角度通过以下方法获得：
检测出人脸关键点；其中，人脸关键点包括眼睛、鼻子、嘴巴等。
根据关键点计算出当前图片中人脸的角度；具体地，根据这些关键点的实际坐标以及空间坐标变化矩阵计算出当前图片中人脸的俯仰角(pitch)、横滚角(roll)、偏航角(yaw)。其中，人脸的俯仰角、横滚角、偏航角都是相对于如图3所示的相机坐标系定义。
在一实施例中，人脸对齐，即根据人脸的位置和角度，利用人脸对齐算法，将人脸的角度统一纠正，经过对齐后的人脸角度变为：pitch＝roll＝yaw＝0。
具体地，人脸对齐算法包括但不限于Procrustes Analysis普氏分析法。
在步骤S12中，从连续的多帧待识别人脸图像中提取出第一动态人脸表情特征向量。
在一实施例中，动态人脸表情反应的是表情在多幅图像之间的运动过程，因此，在进行动态表情特征提取的时候，提取的是连续多帧的人脸图像的表情特征。
具体地，动态表情特征提取算法包括但不限于VLBP(volume local binarypatterns)、LBP-TOP(Local Binary Pattern from Three Orthogonal Planes)。
在步骤S13中，将所述第一动态人脸表情特征向量依次与预存的第二动态人脸表情特征向量进行比对。
在一实施例中，比对的结果可以采用提取的第一动态人脸表情特征向量与预存的第二动态人脸表情特征向量间的相似度表示。预存的第二动态人脸表情特征向量可以采用表情特征提取算法进行提取，并按前述的表情别类存入到数据库中。
具体地，相似度可以采用欧氏距离、余弦距离来表示。
在步骤S14中，根据比对结果进行人脸识别。
根据比对结果进行人脸识别，即是根据相似的大小来进行人脸识别。具体方法可以是将相似度超过预设的相度阈值判断为同一张人脸，即可以完成人脸识别。其中，阈值可以是0.8。
在本申请中，采用提取连续的多帧待识别人脸图像的动态人脸表情的第一动态人脸表情特征向量，然后将所述第一动态人脸表情特征向量依次与预存的第二动态人脸表情特征向量进行比对；根据比对结果完成人脸识别。由于采用了多帧图像，因此，相对于传统的单帧识别的方法来说，具有更高的识别率。
如图3所示，本发明还提供一种人脸识别方法，包括以下步骤：
S21从视频流中提取出每帧图像并确定待识别人脸图像；
S22从单帧待识别人脸图像中提取出静态人脸表情特征向量；
S23确定所述静态人脸表情特征向量所属类别；
S24根据静态人脸表情特征向量所属类别从连续的多帧待识别人脸图像中提取出第一动态人脸表情特征向量。
S25将所述第一动态人脸表情特征向量依次与预存的第二动态人脸表情特征向量进行比；
S26根据比对结果进行人脸识别。
在本实施例中，步骤S21、S25、S26的实现方式与前述步骤相同或相对应，此处不再重复。以下对步骤S22～S24进行详细说明。
在步骤S22中，从单帧待识别人脸图像中提取出静态人脸表情特征向量；
在本步骤中，从对齐后的待识别人脸图像中提取出静态人脸表情特征向量。
在一实施例中，表情特征提取算法可以是LBP(Local Binary Patterns,局部二值模式)或LPQ(Local Phase Quantization)。
在步骤S23中，确定所述静态人脸表情特征向量所属类别；
本发明将人脸表情分类，然后结合人脸的时空信息，在预存搜索查找与待测人脸表情一致的时空描述特征向量，从而识别出人脸。因此，首先必须对人脸静态人脸表情特征进行分类，再判断待检测人脸表情属于哪一类。
在一实施例中，对静态人脸表情特征进行分类，分类算法包括但不限于SVM、决策树、K-means算法。其中，支持向量机(Support Vector Machine,SVM)是一类按监督学习(supervised learning)方式对数据进行二元分类(binary classification)的广义线性分类器(generalized linear classifier)。K-means算法(k-means clusteringalgorithm，k均值聚类算法)是一种迭代求解的聚类分析算法，其步骤是随机选取K个对象作为初始的聚类中心，然后计算每个对象与各个种子聚类中心之间的距离，把每个对象分配给距离它最近的聚类中心。聚类中心以及分配给它们的对象就代表一个聚类。每分配一个样本，聚类的聚类中心会根据聚类中现有的对象被重新计算。这个过程将不断重复直到满足某个终止条件。
具体地，基于SVM分类算法的其中一种实现是：
1.提前准备训练用的表情样本数据，例如CASMEII等公开数据集，或自行采集的表情图片。提前准备表情分类类型，例如CASMEII中将表情分为5种：Happiness、Others、Disgust、Repression、Surprise；
2.利用训练数据来训练SVM模型，得到表情的SVM模型的决策面，将SVM模型存储到模型库中；
在进行人脸表情特征分类时，只需要将待测静态人脸表情特征向量带入SVM模型，即可确定出待测表情的表情分类。
在步骤S24中，根据静态人脸表情特征向量所属类别从连续的多帧待识别人脸图像中提取出第一动态人脸表情特征向量。
在一实施例中，在前述步骤中，提取了第Fi帧的人脸图像的静态人脸表情特征，并确定了该静态人脸表情特征所属的类别。因此，在提取动态人脸表情特征时，提取的是以Fi为基准，前后各取RT帧，RT为时间轴半径的连续的多帧图像。
最后，将所述第一动态人脸表情特征向量依次与预存的第二动态人脸表情特征向量进行比对，根据比对结果进行人脸识别。预存的第二动态人脸表情特征向量可以采用表情特征提取算法进行提取，并按前述的表情别类存入到数据库中。
在一实施例中，比对的结果可以采用提取的第一动态人脸表情特征向量与预存的第二动态人脸表情特征向量间的相似度表示。
具体地，相似度可以采用欧氏距离、余弦距离来表示。根据比对结果进行人脸识别，即是根据相似的大小来进行人脸识别。具体方法可以是将相似度超过预设的相度阈值判断为同一张人脸，即可以完成人脸识别。其中，阈值可以是0.8。
本发明通过结合人脸的时间和空间维度信息，能识别例如微笑时眉头舒展等微表情的动态特征，是比传统人脸识别方法更加准确的方法。
如图4所示，本发明还提供了一种人脸识别装置，该人脸识别装置包括：第一视频解析模块11、第一动态表情提取模块12、第一比对模块13、第一人脸识别模块14。
第一视频解析模块11，用于从视频流中提取出每帧图像并确定待识别人脸图像；
在一实施例中，视频流可以来源于摄像头、网络视频、视频文件等。从视频流中提取出每帧图像，提取出的每帧图像可以形成一个图片的时间序列{F1,F2…,FN}。
其中，第一视频解析模块通过对从视频流中提取出的每帧图像进行预处理，确定待识别人脸图像，
预处理的方法包括人脸检测、人脸对齐。
在一实施例中，人脸检测可以包括使用人脸检测算法判断图片中是否存在有人脸，若存在人脸，则计算该人脸的位置和角度。
具体地，人脸检测算法可以包括AAM(Active Appearance Model)算法、神经网络算法。人脸的位置由人脸外接矩形的四个角点的坐标点表示；人脸的角度包括人脸的俯仰角、横滚角、偏航角。
更加具体地，人脸的角度通过以下方法获得：
检测出人脸关键点；其中，人脸关键点包括眼睛、鼻子、嘴巴等。
根据关键点计算出当前图片中人脸的角度；具体地，根据这些关键点的实际坐标以及空间坐标变化矩阵计算出当前图片中人脸的俯仰角(pitch)、横滚角(roll)、偏航角(yaw)。其中，人脸的俯仰角、横滚角、偏航角都是相对于如图2所示的相机坐标系定义。
在一实施例中，人脸对齐，即根据人脸的位置和角度，利用人脸对齐算法，将人脸的角度统一纠正，经过对齐后的人脸角度变为：pitch＝roll＝yaw＝0。
具体地，人脸对齐算法包括但不限于Procrustes Analysis普氏分析法。
第一动态表情提取模块12，用于从连续的多帧待识别人脸图像中提取出第一动态人脸表情特征向量；
在一实施例中，动态人脸表情反应的是表情在多幅图像之间的运动过程，因此，在进行动态表情特征提取的时候，提取的是连续多帧的人脸图像的表情特征。
具体地，动态表情特征提取算法包括但不限于VLBP(volume local binarypatterns)、LBP-TOP(Local Binary Pattern from Three Orthogonal Planes)。
第一比对模块13，用于将所述第一动态人脸表情特征向量依次与预存的第二动态人脸表情特征向量进行比对；
在一实施例中，比对的结果可以采用提取的第一动态人脸表情特征向量与预存的第二动态人脸表情特征向量间的相似度表示。预存的第二动态人脸表情特征向量可以采用表情特征提取算法进行提取，并按前述的表情别类存入到数据库中。
具体地，相似度可以采用欧氏距离、余弦距离来表示。
第一人脸识别模块14，用于根据比对结果进行人脸识别。
根据比对结果进行人脸识别，即是根据相似的大小来进行人脸识别。具体方法可以是将相似度超过预设的相度阈值判断为同一张人脸，即可以完成人脸识别。其中，阈值可以是0.8。
如图5所示，本发明还提供一种人脸识别装置，包括第二视频解析模块21、静态表情提取模块22、分类模块23、第二动态表情提取模块24、第二比对模块25、第二人脸识别模块26。
第二视频解析模块21，用于从视频流中提取出每帧图像并确定待识别人脸图像；
静态表情提取模块22，用于单帧待识别人脸图像中提取出静态人脸表情特征向量；
分类模块23，用于确定所述静态人脸表情特征向量所属类别；
第二动态表情提取模块24，用于静态人脸表情特征向量所属类别从连续的多帧待识别人脸图像中提取出第一动态人脸表情特征向量。
第二比对模块25，用于将所述第一动态人脸表情特征向量依次与预存的第二动态人脸表情特征向量进行比；
第二人脸识别模块26，用于根据比对结果进行人脸识别。
在本实施例中，第二视频解析模块21、第二比对模块26、第二人脸识别模块27的实现方式与前述步骤相同或相对应，此处不再重复。
静态表情提取模块22，用于从单帧待识别人脸图像中提取出静态人脸表情特征向量；
静态表情提取模块是从对齐后的待识别人脸图像中提取出静态人脸表情特征向量。
在一实施例中，表情特征提取算法可以是LBP(Local Binary Patterns,局部二值模式)或LPQ(Local Phase Quantization)。
分类模块23，用于确定所述静态人脸表情特征向量所属类别；
本发明将人脸表情分类，然后结合人脸的时空信息，在预存搜索查找与待测人脸表情一致的时空描述特征向量，从而识别出人脸。因此，首先必须对人脸静态人脸表情特征进行分类，再判断待检测人脸表情属于哪一类。
在一实施例中，对静态人脸表情特征进行分类，分类算法包括但不限于SVM、决策树、K-means算法。其中，支持向量机(Support Vector Machine,SVM)是一类按监督学习(supervised learning)方式对数据进行二元分类(binary classification)的广义线性分类器(generalized linear classifier)。K-means算法(k-means clusteringalgorithm，k均值聚类算法)是一种迭代求解的聚类分析算法，其步骤是随机选取K个对象作为初始的聚类中心，然后计算每个对象与各个种子聚类中心之间的距离，把每个对象分配给距离它最近的聚类中心。聚类中心以及分配给它们的对象就代表一个聚类。每分配一个样本，聚类的聚类中心会根据聚类中现有的对象被重新计算。这个过程将不断重复直到满足某个终止条件。
具体地，基于SVM分类算法的其中一种实现是：
1.提前准备训练用的表情样本数据，例如CASMEII等公开数据集，或自行采集的表情图片。提前准备表情分类类型，例如CASMEII中将表情分为5种：Happiness、Others、Disgust、Repression、Surprise；
2.利用训练数据来训练SVM模型，得到表情的SVM模型的决策面，将SVM模型存储到模型库中；
在进行人脸表情特征分类时，只需要将待测静态人脸表情特征向量带入SVM模型，即可确定出待测表情的表情分类。
第二动态表情提取模块24，根据静态人脸表情特征向量所属类别从连续的多帧待识别人脸图像中提取出第一动态人脸表情特征向量；其中单帧待识别人脸图像包含于多帧待识别人脸图像内；
在前述实施例中，提取了第Fi帧的人脸图像的静态人脸表情特征，并确定了该静态人脸表情特征所属的类别。因此，在提取动态人脸表情特征时，提取的是以Fi为基准，前后各取RT帧，RT为时间轴半径的连续的多帧图像。
最后，将所述第一动态人脸表情特征向量依次与预存的第二动态人脸表情特征向量进行比对，根据比对结果进行人脸识别。
在一实施例中，比对的结果可以采用提取的第一动态人脸表情特征向量与预存的第二动态人脸表情特征向量间的相似度表示。预存的第二动态人脸表情特征向量可以采用表情特征提取算法进行提取，并按前述的表情别类存入到数据库中。
具体地，相似度可以采用欧氏距离、余弦距离来表示。根据比对结果进行人脸识别，即是根据相似的大小来进行人脸识别。具体方法可以是将相似度超过预设的相度阈值判断为同一张人脸，即可以完成人脸识别。其中，阈值可以是0.8。
本发明通过结合人脸的时间和空间维度信息，能识别例如微笑时眉头舒展等微表情的动态特征，相对于静态人脸识别，具有更高的准确率。
本申请实施例还提供了一种设备，该设备可以包括：一个或多个处理器；和其上存储有指令的一个或多个机器可读介质，当由所述一个或多个处理器执行时，使得所述设备执行图1所述的方法。在实际应用中，该设备可以作为终端设备，也可以作为服务器，终端设备的例子可以包括：智能手机、平板电脑、电子书阅读器、MP3(动态影像专家压缩标准语音层面3，Moving Picture Experts Group Audio Layer III)播放器、MP4(动态影像专家压缩标准语音层面4，Moving Picture Experts Group Audio Layer IV)播放器、膝上型便携计算机、车载电脑、台式计算机、机顶盒、智能电视机、可穿戴设备等等，本申请实施例对于具体的设备不加以限制。
本申请实施例还提供了一种非易失性可读存储介质，该存储介质中存储有一个或多个模块(programs)，该一个或多个模块被应用在设备时，可以使得该设备执行本申请实施例的图1中人脸识别方法所包含步骤的指令(instructions)。
图6为本申请一实施例提供的终端设备的硬件结构示意图。如图所示，该终端设备可以包括：输入设备1100、第一处理器1101、输出设备1102、第一存储器1103和至少一个通信总线1104。通信总线1104用于实现元件之间的通信连接。第一存储器1103可能包含高速RAM存储器，也可能还包括非易失性存储NVM，例如至少一个磁盘存储器，第一存储器1103中可以存储各种程序，用于完成各种处理功能以及实现本实施例的方法步骤。
可选的，上述第一处理器1101例如可以为中央处理器(Central ProcessingUnit，简称CPU)、应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，该第一处理器1101通过有线或无线连接耦合到上述输入设备1100和输出设备1102。
可选的，上述输入设备1100可以包括多种输入设备，例如可以包括面向用户的用户接口、面向设备的设备接口、软件的可编程接口、摄像头、传感器中至少一种。可选的，该面向设备的设备接口可以是用于设备与设备之间进行数据传输的有线接口、还可以是用于设备与设备之间进行数据传输的硬件插入接口(例如USB接口、串口等)；可选的，该面向用户的用户接口例如可以是面向用户的控制按键、用于接收语音输入的语音输入设备以及用户接收用户触摸输入的触摸感知设备(例如具有触摸感应功能的触摸屏、触控板等)；可选的，上述软件的可编程接口例如可以是供用户编辑或者修改程序的入口，例如芯片的输入引脚接口或者输入接口等；输出设备1102可以包括显示器、音响等输出设备。
在本实施例中，该终端设备的处理器包括用于执行各设备中人脸识别装置各模块的功能，具体功能和技术效果参照上述实施例即可，此处不再赘述。
图7为本申请的一个实施例提供的终端设备的硬件结构示意图。图7是对图6在实现过程中的一个具体的实施例。如图所示，本实施例的终端设备可以包括第二处理器1201以及第二存储器1202。
第二处理器1201执行第二存储器1202所存放的计算机程序代码，实现上述实施例中图1所述方法。
第二存储器1202被配置为存储各种类型的数据以支持在终端设备的操作。这些数据的示例包括用于在终端设备上操作的任何应用程序或方法的指令，例如消息，图片，视频等。第二存储器1202可能包含随机存取存储器(random access memory，简称RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
可选地，第二处理器1201设置在处理组件1200中。该终端设备还可以包括：通信组件1203，电源组件1204，多媒体组件1205，语音组件1206，输入/输出接口1207和/或传感器组件1208。终端设备具体所包含的组件等依据实际需求设定，本实施例对此不作限定。
处理组件1200通常控制终端设备的整体操作。处理组件1200可以包括一个或多个第二处理器1201来执行指令，以完成上述数据处理方法中的全部或部分步骤。此外，处理组件1200可以包括一个或多个模块，便于处理组件1200和其他组件之间的交互。例如，处理组件1200可以包括多媒体模块，以方便多媒体组件1205和处理组件1200之间的交互。
电源组件1204为终端设备的各种组件提供电力。电源组件1204可以包括电源管理系统，一个或多个电源，及其他与为终端设备生成、管理和分配电力相关联的组件。
多媒体组件1205包括在终端设备和用户之间的提供一个输出接口的显示屏。在一些实施例中，显示屏可以包括液晶显示器(LCD)和触摸面板(TP)。如果显示屏包括触摸面板，显示屏可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。
语音组件1206被配置为输出和/或输入语音信号。例如，语音组件1206包括一个麦克风(MIC)，当终端设备处于操作模式，如语音识别模式时，麦克风被配置为接收外部语音信号。所接收的语音信号可以被进一步存储在第二存储器1202或经由通信组件1203发送。在一些实施例中，语音组件1206还包括一个扬声器，用于输出语音信号。
输入/输出接口1207为处理组件1200和外围接口模块之间提供接口，上述外围接口模块可以是点击轮，按钮等。这些按钮可包括但不限于：音量按钮、启动按钮和锁定按钮。
传感器组件1208包括一个或多个传感器，用于为终端设备提供各个方面的状态评估。例如，传感器组件1208可以检测到终端设备的打开/关闭状态，组件的相对定位，用户与终端设备接触的存在或不存在。传感器组件1208可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在，包括检测用户与终端设备间的距离。在一些实施例中，该传感器组件1208还可以包括摄像头等。
通信组件1203被配置为便于终端设备和其他设备之间有线或无线方式的通信。终端设备可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个实施例中，该终端设备中可以包括SIM卡插槽，该SIM卡插槽用于插入SIM卡，使得终端设备可以登录GPRS网络，通过互联网与服务器建立通信。
由上可知，在图7实施例中所涉及的通信组件1203、语音组件1206以及输入/输出接口1207、传感器组件1208均可以作为图6实施例中的输入设备的实现方式。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (30)

1.一种人脸识别方法，其特征在于，该人脸识别方法包括：
从视频流中提取出每帧图像并确定待识别人脸图像；
从连续的多帧待识别人脸图像中提取出第一动态人脸表情特征向量；
所述第一动态人脸表情特征向量依次与预存的第二动态人脸表情特征向量进行比对；
根据所述比对结果进行人脸识别。
2.根据权利要求1所述的一种人脸识别方法，其特征在于，该人脸识别方法还包括：
从单帧待识别人脸图像中提取出静态人脸表情特征向量；
确定所述静态人脸表情特征向量所属类别；
根据静态人脸表情特征向量所属类别从连续的多帧待识别人脸图像中提取出第一动态人脸表情特征向量；其中单帧待识别人脸图像包含于多帧待识别人脸图像内。
3.根据权利要求1所述的人脸识别方法，其特征在于，从视频流中提取出每帧图像并对每帧图像进行预处理，确定待识别人脸图像，其中，所述预处理包括人脸检测和人脸对齐。
4.根据权利要求3所述的人脸识别方法，其特征在于，所述人脸检测包括：
使用人脸检测算法判断图片中是否有人脸；若存在人脸，则计算该人脸的位置和角度。
5.根据权利要求4所述的人脸识别方法，其特征在于，所述人脸的位置由人脸的外接矩形的四个角点的坐标点表示。
6.根据权利要求4所述的人脸识别方法，其特征在于，人脸的角度包括人脸的俯仰角、横滚角和偏航角。
7.根据权利要求6所述的人脸识别方法，其特征在于，所述人脸的角度通过以下方法获得：检测出人脸关键点；
根据所述关键点计算出当前图片中人脸的角度。
8.根据权利要求7所述的人脸识别方法，其特征在于，所述人脸关键点包括眼睛、鼻子、嘴巴。
9.根据权利要求3所述的人脸识别方法，其特征在于，人脸对齐算法包括Procrustes分析算法。
10.根据权利要求2所述的人脸识别方法，其特征在于，静态人脸表情特征向量的提取方法包括LBP或LPQ。
11.根据权利要求2所述的人脸识别方法，其特征在于，确定静态人脸表情特征向量所属的类别的方法包括SVM、决策树。
12.根据权利要求1所述的人脸识别方法，其特征在于，第一动态人脸表情特征向量的提取方法包括VLBP或LBP-TOP。
13.根据权利要求1所述的人脸识别方法，其特征在于，所述比对结果用提取的第一动态人脸表情特征向量与预存的第二动态人脸表情特征向量间的相似度表示。
14.根据权利要求13所述的人脸识别方法，其特征在于，相似度计算方法包括欧氏距离或余弦距离。
15.一种人脸识别装置，其特征在于，该人脸识别装置包括：
视频解析模块，用于从视频流中提取出每帧图像并确定待识别人脸图像；
动态表情提取模块，用于根据静态人脸表情特征向量所属类别从连续的多帧待识别人脸图像中提取出第一动态人脸表情特征向量；
比对模块，用于将所述第一动态人脸表情特征向量依次与预存的第二动态人脸表情特征向量进行比对；
人脸识别模块，用于根据比对结果进行人脸识别。
16.根据权利要求15所述的一种人脸识别装置，其特征在于，该人脸识别装置包括还包括：静态表情提取模块，用于从单帧待识别人脸图像中提取出静态人脸表情特征向量；
分类模块，用于确定所述静态人脸表情特征向量所属类别；
所述动态表情提取模块，用于根据静态人脸表情特征向量所属类别从连续的多帧待识别人脸图像中提取出第一动态人脸表情特征向量；其中单帧待识别人脸图像包含于多帧待识别人脸图像内。
17.根据权利要求15所述的人脸识别装置，其特征在于，所述视频解析模块，还用于从视频流中提取出每帧图像，对每帧图像进行预处理，以确定待识别人脸图像，其中，所述预处理包括人脸检测和人脸对齐。
18.根据权利要求17所述的人脸识别装置，其特征在于，人脸检测包括：
使用人脸检测算法判断图片中是否有人脸；若存在人脸，则计算该人脸的位置和角度。
19.根据权利要求18所述的人脸识别装置，其特征在于，所述人脸的位置由人脸的外接矩形的四个角点坐标点表示。
20.根据权利要求18所述的人脸识别装置，其特征在于，所述人脸的角度包括人脸的俯仰角、横滚角和偏航角。
21.根据权利要求20所述的人脸识别装置，其特征在于，所述人脸的角度通过以下方法获得：检测出人脸关键点；
根据所述关键点计算出当前图片中人脸的角度。
22.根据权利要求21所述的人脸识别装置，其特征在于，所述人脸关键点包括眼睛、鼻子、嘴巴。
23.根据权利要求17所述的人脸识别装置，其特征在于，人脸对齐算法包括Procrustes分析。
24.根据权利要求16所述的人脸识别装置，其特征在于，静态人脸表情特征向量的提取方法包括LBP、LPQ。
25.根据权利要求16所述的人脸识别装置，其特征在于，确定静态人脸表情特征向量的类别的方法包括SVM、决策树。
26.根据权利要求15所述的人脸识别装置，其特征在于，第一动态人脸表情特征向量的提取方法包括VLBP、LBP-TOP。
27.根据权利要求15所述的人脸识别装置，其特征在于，所述比对结果用提取的第一动态人脸表情征向量与预存的第二动态人脸表情特征向量间的相似度表示。
28.根据权利要求27所述的人脸识别装置，其特征在于，相似度计算方法包括欧氏距离或余弦距离。
29.一种设备，其特征在于，包括：
一个或多个处理器；和
其上存储有指令的一个或多个机器可读介质，当所述一个或多个处理器执行时，使得所述设备执行如权利要求1-14中一个或多个所述的方法。
30.一个或多个机器可读介质，其特征在于，其上存储有指令，当由一个或多个处理器执行时，使得设备执行如权利要求1-14中一个或多个所述的方法。
CN201910806194.7A 2019-08-29 2019-08-29 一种人脸识别方法、装置、机器可读介质及设备 Active CN110363187B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910806194.7A CN110363187B (zh) 2019-08-29 2019-08-29 一种人脸识别方法、装置、机器可读介质及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910806194.7A CN110363187B (zh) 2019-08-29 2019-08-29 一种人脸识别方法、装置、机器可读介质及设备

Publications (2)

Publication Number Publication Date
CN110363187A true CN110363187A (zh) 2019-10-22
CN110363187B CN110363187B (zh) 2020-12-25

Family

ID=68225539

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910806194.7A Active CN110363187B (zh) 2019-08-29 2019-08-29 一种人脸识别方法、装置、机器可读介质及设备

Country Status (1)

Country Link
CN (1) CN110363187B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111242020A (zh) * 2020-01-10 2020-06-05 广州康行信息技术有限公司 一种人脸识别方法及装置
CN111738120A (zh) * 2020-06-12 2020-10-02 北京奇艺世纪科技有限公司 人物识别方法、装置、电子设备及存储介质

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101339619A (zh) * 2008-08-11 2009-01-07 重庆大学 用于模式分类的动态特征选择方法
CN101826155A (zh) * 2010-04-02 2010-09-08 浙江大学 一种基于哈尔特征和动态时序匹配的投篮动作识别方法
CN104200220A (zh) * 2014-08-21 2014-12-10 武汉大学 一种基于静态纹理模型聚集的动态纹理识别方法
CN104537336A (zh) * 2014-12-17 2015-04-22 厦门立林科技有限公司 一种具备自学习功能的人脸识别方法和系统
CN105139039A (zh) * 2015-09-29 2015-12-09 河北工业大学 视频序列中人脸微表情的识别方法
CN105787478A (zh) * 2016-04-14 2016-07-20 中南大学 基于神经网络和灵敏度参数的人脸转向识别方法
KR101705584B1 (ko) * 2015-07-02 2017-02-13 주식회사 에스원 얼굴 정렬을 위한 특징점별 특징을 추출하기 위한 서술자 생성 시스템 및 이를 이용한 특징점별 서술자 생성 방법
CN106778677A (zh) * 2016-12-30 2017-05-31 东北农业大学 基于特征选择和面部多区域分类器集成的驾驶者疲劳状态识别方法与装置
CN107633203A (zh) * 2017-08-17 2018-01-26 平安科技（深圳）有限公司 面部情绪识别方法、装置及存储介质
KR20180062221A (ko) * 2016-11-30 2018-06-08 주식회사 트라이캐치미디어 게임플레이어의 얼굴 인식을 통한 게임운영 방법
CN108363979A (zh) * 2018-02-12 2018-08-03 南京邮电大学 基于双通道三维卷积神经网络的新生儿疼痛表情识别方法
CN109766765A (zh) * 2018-12-18 2019-05-17 深圳壹账通智能科技有限公司 音频数据推送方法、装置、计算机设备和存储介质
CN109840485A (zh) * 2019-01-23 2019-06-04 科大讯飞股份有限公司 一种微表情特征提取方法、装置、设备及可读存储介质

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101339619A (zh) * 2008-08-11 2009-01-07 重庆大学 用于模式分类的动态特征选择方法
CN101826155A (zh) * 2010-04-02 2010-09-08 浙江大学 一种基于哈尔特征和动态时序匹配的投篮动作识别方法
CN104200220A (zh) * 2014-08-21 2014-12-10 武汉大学 一种基于静态纹理模型聚集的动态纹理识别方法
CN104537336A (zh) * 2014-12-17 2015-04-22 厦门立林科技有限公司 一种具备自学习功能的人脸识别方法和系统
KR101705584B1 (ko) * 2015-07-02 2017-02-13 주식회사 에스원 얼굴 정렬을 위한 특징점별 특징을 추출하기 위한 서술자 생성 시스템 및 이를 이용한 특징점별 서술자 생성 방법
CN105139039A (zh) * 2015-09-29 2015-12-09 河北工业大学 视频序列中人脸微表情的识别方法
CN105787478A (zh) * 2016-04-14 2016-07-20 中南大学 基于神经网络和灵敏度参数的人脸转向识别方法
KR20180062221A (ko) * 2016-11-30 2018-06-08 주식회사 트라이캐치미디어 게임플레이어의 얼굴 인식을 통한 게임운영 방법
CN106778677A (zh) * 2016-12-30 2017-05-31 东北农业大学 基于特征选择和面部多区域分类器集成的驾驶者疲劳状态识别方法与装置
CN107633203A (zh) * 2017-08-17 2018-01-26 平安科技（深圳）有限公司 面部情绪识别方法、装置及存储介质
CN108363979A (zh) * 2018-02-12 2018-08-03 南京邮电大学 基于双通道三维卷积神经网络的新生儿疼痛表情识别方法
CN109766765A (zh) * 2018-12-18 2019-05-17 深圳壹账通智能科技有限公司 音频数据推送方法、装置、计算机设备和存储介质
CN109840485A (zh) * 2019-01-23 2019-06-04 科大讯飞股份有限公司 一种微表情特征提取方法、装置、设备及可读存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
HAPPY SL ET AL: "《Fuzzy Histogram of Optical Flow Orientations for Micro-Expression Recognition》", 《IEEE》 *
谭华春等: "《基于人脸相似度加权距离的非特定人表情识别》", 《电子与信息学报》 *
贾月娟: "《基于多特征融合的表情与微表情识别研究》", 《中国优秀硕士学位论文全文数据库信息科技辑》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111242020A (zh) * 2020-01-10 2020-06-05 广州康行信息技术有限公司 一种人脸识别方法及装置
CN111738120A (zh) * 2020-06-12 2020-10-02 北京奇艺世纪科技有限公司 人物识别方法、装置、电子设备及存储介质
CN111738120B (zh) * 2020-06-12 2023-12-05 北京奇艺世纪科技有限公司 人物识别方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN110363187B (zh) 2020-12-25

Similar Documents

Publication Publication Date Title
Bao et al. Tiny hand gesture recognition without localization via a deep convolutional network
Koo et al. Image recognition performance enhancements using image normalization
Yuan et al. Mid-level features and spatio-temporal context for activity recognition
Khan et al. Painting-91: a large scale database for computational painting categorization
WO2019033573A1 (zh) 面部情绪识别方法、装置及存储介质
CN112052186B (zh) 目标检测方法、装置、设备以及存储介质
Yan et al. Multiscale convolutional neural networks for hand detection
CN109829448A (zh) 人脸识别方法、装置及存储介质
Hussain et al. [Retracted] Internet of Things with Deep Learning‐Based Face Recognition Approach for Authentication in Control Medical Systems
CN111931592A (zh) 对象识别方法、装置及存储介质
CN111784372A (zh) 门店商品推荐方法及设备
CN113435335B (zh) 微观表情识别方法、装置、电子设备及存储介质
Yingxin et al. A robust hand gesture recognition method via convolutional neural network
CN110363187A (zh) 一种人脸识别方法、装置、机器可读介质及设备
CN111598012A (zh) 一种图片聚类管理方法、系统、设备及介质
CN112529939A (zh) 一种目标轨迹匹配方法、装置、机器可读介质及设备
Rameswari et al. Automated access control system using face recognition
CN107169530A (zh) 图片的标注方法、装置及电子设备
CN111178455B (zh) 图像聚类方法、系统、设备及介质
CN113657903A (zh) 一种刷脸支付方法、装置、电子设备和存储介质
Chuang et al. Hand posture recognition and tracking based on bag-of-words for human robot interaction
Zhang et al. Hierarchical facial landmark localization via cascaded random binary patterns
CN114360182A (zh) 一种智能告警方法、装置、设备及存储介质
Lu et al. Temporal segmentation and assignment of successive actions in a long-term video
CN111818364B (zh) 视频融合方法、系统、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant