CN110363081A - 人脸识别方法、装置、设备及计算机可读存储介质 - Google Patents
人脸识别方法、装置、设备及计算机可读存储介质 Download PDFInfo
- Publication number
- CN110363081A CN110363081A CN201910489828.0A CN201910489828A CN110363081A CN 110363081 A CN110363081 A CN 110363081A CN 201910489828 A CN201910489828 A CN 201910489828A CN 110363081 A CN110363081 A CN 110363081A
- Authority
- CN
- China
- Prior art keywords
- face
- time sequence
- feature group
- feature
- group
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 46
- 238000000605 extraction Methods 0.000 claims abstract description 44
- 238000003062 neural network model Methods 0.000 claims description 53
- 238000013507 mapping Methods 0.000 claims description 40
- 230000000306 recurrent effect Effects 0.000 claims description 36
- 230000004927 fusion Effects 0.000 claims description 32
- 210000002569 neuron Anatomy 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 12
- 238000007499 fusion processing Methods 0.000 claims description 7
- 230000001815 facial effect Effects 0.000 abstract description 5
- 230000002123 temporal effect Effects 0.000 abstract description 4
- 239000013598 vector Substances 0.000 description 21
- 210000004027 cell Anatomy 0.000 description 17
- 230000006870 function Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 11
- 238000012545 processing Methods 0.000 description 10
- 230000004913 activation Effects 0.000 description 8
- 238000013527 convolutional neural network Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 230000014509 gene expression Effects 0.000 description 6
- 238000001514 detection method Methods 0.000 description 5
- 210000001744 T-lymphocyte Anatomy 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000000295 complement effect Effects 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000011840 criminal investigation Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000036544 posture Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明实施例公开了一种人脸识别方法、装置、设备及计算机可读存储介质，其中方法包括：提取视频流中同一目标人脸的N帧人脸图像，其中，所述N帧人脸图像具有时序性；N为大于1的正整数；对所述N帧人脸图像进行空间特征提取，得到第一人脸空间特征组，其中，所述第一人脸空间特征组包括每帧人脸图像对应的人脸特征；在所述第一人脸空间特征组中提取时序特征，得到人脸时序特征组；在人脸数据库中匹配与所述人脸时序特征组对应的所述目标人脸，通过本申请，可以提高人脸特征提取过程中的准确性，以提高人脸识别的精度。
Description
技术领域
本发明涉及计算机视觉技术领域，尤其涉及一种人脸识别方法、装置、设备及计算机可读存储介质。
背景技术
人脸识别，是指基于人的脸部特征信息进行身份识别的一种生物识别技术，被广泛应用于多种领域，如小区门禁、公司考勤、司法刑侦等。结合实际应用可以知道，人脸是具有相当复杂细节变化的自然结构目标，所以，对于这类目标的检测与识别是一个富有挑战性的课题。具体来说，识别难度体现在：(1)由于外貌、表情、姿态、皮肤颜色等不同，人脸本身具有模式的可变性；(2)由于刘海、眼镜、胡须等附属物存在的不确定性而使人脸有不同的特征；(3)图像的大小、光源方向和光照强弱等都会影响人脸的最终表达。因此，正面/垂直/光线较好的人脸，可以比较容易的识别出来；而正侧面/歪斜/光线不好的人脸，一般无法识别。
目前，人脸识别的实现过程可以包括：首先，从视频流中截取包含人脸的图像，得到人脸图像；其次，提取人脸图像中的人脸特征；然后，对提取的人脸特征进行分类，完成人脸识别。
现有技术中，在人脸图像中提取人脸特征时，因特征提取率不高(例如，特征提取率不高可以表现为：提取的人脸特征单一、不准确、计算过程复杂等)容易带来人脸识别精度低的问题。
发明内容
本发明实施例提供一种人脸识别方法、装置、设备及计算机可读存储介质，可以提高人脸特征提取过程中的准确性，以提高人脸识别的精度。
为实现上述目的，第一方面，本发明实施例提供了一种人脸识别方法，该方法包括：
提取视频流中同一目标人脸的N帧人脸图像，其中，所述N帧人脸图像具有时序性；N为大于1的正整数；
对所述N帧人脸图像进行空间特征提取，得到第一人脸空间特征组，其中，所述第一人脸空间特征组包括每帧人脸图像对应的人脸特征；
在所述第一人脸空间特征组中提取时序特征，得到人脸时序特征组；
在人脸数据库中匹配与所述人脸时序特征组对应的所述目标人脸。
在其中一种可能的实现方式中，所述在所述第一人脸空间特征组中提取时序特征，得到人脸时序特征组，包括：
将所述第一人脸空间特征组输入到预设的循环神经网络模型中，以输出人脸时序特征组，其中，所述人脸时序特征组包括第一人脸空间特征组中每个人脸特征对应的的时序特征；
将所述人脸时序特征组中的时序特征经过融合处理得到融合时序特征；
当所述第一人脸空间特征组的维数与所述人脸时序特征组的维数不相等时，对所述融合时序特征进行空间映射，以得到映射后的人脸时序特征组。
在其中一种可能的实现方式中，所述第一人脸空间特征组的维数为M，所述第一人脸空间特征组的维数为根据FaceNet模型确定的，所述第一人脸空间特征组处于第一空间；所述人脸时序特征组的维数为S，所述人脸时序特征组的维数为根据所述预设的循环神经网络模型中的隐含层神经元数量确定的；所述人脸时序特征组处于第二空间；所述当所述第一人脸空间特征组的维数与所述人脸时序特征组的维数不相等时，对所述融合时序特征进行空间映射，以得到映射后的人脸时序特征组，包括：
在预设的循环神经网络模型中添加全连接层，以使所述融合时序特征映射到所述第一空间，并得到与所述第一人脸空间特征组维数相同的人脸时序特征。
在其中一种可能的实现方式中，所述预设的循环神经网络模型为双层的长短期记忆网络模型，且每层的网络结构均相同。
在其中一种可能的实现方式中，所述在所述第一人脸空间特征组中提取时序特征，得到人脸时序特征组，还包括：
将所述第一人脸空间特征组输入到预设的循环神经网络模型中，以输出人脸时序特征组，其中，所述人脸时序特征组包括第一人脸空间特征组中每个人脸特征对应的的时序特征；
在所述人脸时序特征组中确定第一人脸时序特征；其中，所述第一人脸时序特征为所述人脸时序特征组中的任意一个人脸时序特征；
当所述第一人脸空间特征组的维数与所述人脸时序特征组的维数不相等时，对所述第一人脸时序特征进行空间映射，以得到第二人脸时序特征；
在人脸数据库中匹配与所述人脸时序特征组对应的所述目标人脸，包括：
确定所述第二人脸时序特征与所述人脸数据库中存储的人脸图像的匹配度；
若所述匹配度小于预设阈值，则继续计算剩余的所述第二人脸时序特征与所述人脸图像的匹配度，直至所述匹配度大于预设阈值时，确定所述第二人脸时序特征对应的所述目标人脸。
在其中一种可能的实现方式中，所述提取视频流中同一目标人脸的N帧人脸图像，包括：
通过训练好的多任务级联卷积神经网络模型提取所述视频流中同一个目标人脸的N帧人脸图像。
在其中一种可能的实现方式中，所述对所述N帧人脸图像进行空间特征提取，得到第一人脸空间特征组，包括：
将所述N帧人脸图像输入FaceNet模型中，以提取所述N帧人脸图像中的空间特征。
实施本申请实施例，通过在第一人脸空间特征组中提取时序信息，可以得到人脸时序特征组，由于人脸时序特征组可以反映多帧人脸图像中包含的互补信息，可以提高人脸特征提取过程中的准确性，以提高人脸识别的精度。
第二方面，本发明实施例提供了一种人脸识别装置，该人脸识别装置包括：
图像提取单元，用于提取视频流中同一目标人脸的N帧人脸图像，其中，所述N帧人脸图像具有时序性；N为大于1的正整数；
第一特征提取单元，用于对所述N帧人脸图像进行空间特征提取，得到第一人脸空间特征组，其中，所述第一人脸空间特征组包括每帧人脸图像对应的人脸特征；
第二特征提取单元，用于在所述第一人脸空间特征组中提取时序特征，得到人脸时序特征组；
识别单元，用于在人脸数据库中匹配与所述人脸时序特征组对应的所述目标人脸。
在其中一种可能的实现方式中，所述第二特征提取单元包括第一时序特征提取单元、融合单元以及第一空间映射单元；其中，
所述第一时序特征提取单元，用于将所述第一人脸空间特征组输入到预设的循环神经网络模型中，以输出人脸时序特征组，其中，所述人脸时序特征组包括第一人脸空间特征组中每个人脸特征对应的的时序特征；
所述融合单元，用于将所述人脸时序特征组中的时序特征经过融合处理得到融合时序特征；
所述第一空间映射单元，用于当所述第一人脸空间特征组的维数与所述人脸时序特征组的维数不相等时，对所述融合时序特征进行空间映射，以得到映射后的人脸时序特征组。
在其中一种可能的实现方式中，所述第一人脸空间特征组的维数为M，所述第一人脸空间特征组的维数为根据FaceNet模型确定的，所述第一人脸空间特征组处于第一空间；所述人脸时序特征组的维数为S，所述人脸时序特征组的维数为根据所述预设的循环神经网络模型中的隐含层神经元数量确定的；所述人脸时序特征组处于第二空间；所述空间映射单元，具体用于：
在预设的循环神经网络模型中添加全连接层，以使所述融合时序特征映射到所述第一空间，并得到与所述第一人脸空间特征组维数相同的人脸时序特征。
在其中一种可能的实现方式中，所述预设的循环神经网络模型为双层的长短期记忆网络模型，且每层的网络结构均相同。
在其中一种可能的实现方式中，所述第二特征提取单元还包括第二时序特征提取单元、确定单元以及第二空间映射单元；其中，
所述第二时序特征提取单元，用于将所述第一人脸空间特征组输入到预设的循环神经网络模型中，以输出人脸时序特征组，其中，所述人脸时序特征组包括第一人脸空间特征组中每个人脸特征对应的的时序特征；
所述确定单元，用于在所述人脸时序特征组中确定第一人脸时序特征；其中，所述第一人脸时序特征为所述人脸时序特征组中的任意一个人脸时序特征；
所述第二空间映射单元，用于当所述第一人脸空间特征组的维数与所述人脸时序特征组的维数不相等时，对所述第一人脸时序特征进行空间映射，以得到第二人脸时序特征；
所述识别单元包括：匹配度确定单元、处理单元；
其中，所述匹配度确定单元，用于在所述匹配度小于预设阈值时，继续计算剩余的所述第二人脸时序特征与所述人脸图像的匹配度，直至所述匹配度大于预设阈值时，确定所述第二人脸时序特征对应的所述目标人脸。
在其中一种可能的实现方式中，所述图像提取单元，具体用于：
通过训练好的多任务级联卷积神经网络模型提取所述视频流中同一个目标人脸的N帧人脸图像。
在其中一种可能的实现方式中，所述第一特征提取单元，具体用于：
将所述N帧人脸图像输入FaceNet模型中，以提取所述N帧人脸图像中的空间特征。
第三方面，本发明实施例提供了一种人脸识别设备，包括处理器和存储器，所述处理器和存储器相互连接，其中，所述存储器用于存储支持人脸识别设备执行上述方法的计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行上述第一方面的方法。
第四方面，本发明实施例提供了一种计算机可读存储介质，所述计算机存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行上述第一方面的方法。
第五方面，本发明实施例提供了一种计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行上述第一方面的方法。
实施本申请实施例，通过在第一人脸空间特征组中提取时序信息，可以得到人脸时序特征组，并通过对人脸时序特征组中包含的人脸特征进行特征融合，得到融合时序特征，当第一人脸空间特征组的维数与人脸时序组的维数不相等时，通过空间映射可以得到人脸时序特征，由于人脸时序特征可以反映多帧人脸图像的多重属性，且人脸特征更为丰富，可以提高人脸特征提取过程中的准确性，以提高人脸识别的精度。
附图说明
为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍。
图1是本申请实施例提供的一种LSTM神经网络模型的内部处理逻辑的结构示意图；
图2是本申请实施例提供的一种级联形式的LSTM神经网络模型的结构示意图；
图3是本申请实施例提供的一种人脸识别系统的架构示意图；
图4是本申请实施例提供的一种人脸识别方法的流程示意图；
图5是本申请实施例提供的一种双层LSTM模型的结构示意图；
图6A本申请实施例提供的一种针对人脸时序特征进行空间映射的方法流程示意图；
图6B本申请实施例提供的另一种针对人脸时序特征进行空间映射的方法流程示意图；
图7是本申请实施例提供的一种人脸识别装置的示意性框图；
图8是本申请另一实施例提供的一种人脸识别设备示意性框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
如在本说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
接下来，对本申请中的部分用语进行解释说明，以便本领域技术人员理解。
(1)长短时记忆神经网络(Long-Short Term Memory，LSTM)
在本申请实施例中，LSTM模型是将输入门、输出门、遗忘门以及细胞(cell)结构，用于控制对历史信息的学习和遗忘，使模型适合处理长序列问题。请参见图1，是本申请实施例提供的一种LSTM的结构示意图。如图1所示，设时刻t，LSTM模型的记忆单元表示为Ct，遗忘门的输出表示为ft，输入门的输出表示为it，输出门的输出表示为O(t)，三个门的元素值都在区间[0,1]。
具体来说，遗忘门是控制是否遗忘的，即以一定的概率控制是否遗忘上一层的隐藏细胞状态。在时刻t，对于遗忘门来说，其输入为上一序列的隐藏状态h(t-1)和本序列数据x(t)，在激活函数的作用下，得到遗忘门的输出。具体地，这里的激活函数可以为sigmoid。
在实际应用中，遗忘门的处理逻辑可以表示为如下数学表达式(1)：
ft＝σ(Wfh(t-1)+Ufx(t)+bf)
其中，Wf、Uf、bf为线性关系的系数和偏置，σ表示激活函数sigmoid。
具体来说，输入门负责处理当前序列位置的输入，决定放什么新信息到“细胞状态”中，从图1中可以看出，输入门由两部分组成，第一部分在激活函数sigmoid的作用下，输出为it，第二部分在激活函数tanh的作用下，输出为at，这两部分结果进行相乘再去更新细胞状态。总的来说，输入门的作用是为了状态更新做准备。
在实际应用中，输入门的处理逻辑可以表示为如下数学表达式(2)：
it＝σ(Wih(t-1)+Uix(t)+bi)
at＝tanh(Wah(t-1)+Uax(t)+ba)
其中，Wi、Ui、bi，Wa、Ua、ba为线性关系的系数和偏置，σ表示激活函数sigmoid。
在经过遗忘门和输入门后，可以确定传递信息的删除和增加，也即可以进行“细胞状态”的更新，由图1可以知道，细胞状态C(t)由两部分组成，第一部分是C(t-1)和遗忘门输出ft的乘积，第二部分是输入门it和at的乘积，也即可以表示为如下数学表达式(3)：
C(t)＝C(t-1)*f(t)+i(t)*a(t)
其中，*表示哈达玛积Hadamard积。
具体来说，这里，Hadamard积按位做乘法运算。
从图1中可以看出，隐藏状态h(t)的更新由两部分组成，第一部分是O(t)，它由上一序列的隐藏状态h(t-1)和本序列数据x(t)，以及激活函数sigmoid得到，第二部分由隐藏状态C(t)和激活函数tanh组成，其处理逻辑可以表示为如下数学表达式(4)：
O(t)＝σ(WOh(t-1)+UOx(t)+bO)
h(t)＝O(t)*tanh(C(t))
在本申请实施例中，预设的循环神经网络模型可以包括但不限于LSTM神经网络模型，还可以包括卷积神经网络(Convolutional Neural Network，CNN)。具体地，LSTM神经网络模型为例，该模型的具体架构可以如图2所示，在该LSTM神经网络模型中，级联了多个细胞，例如，如图2所示的t个细胞，该模型可以提取多帧人脸图像中包含的时序信息。
(2)多任务级联卷积神经网络模型
在本申请实施例中，构建多任务级联卷积神经网络模型的实现过程可以包括：
A1、确定训练集样本数据；
A2、设计多任务级联卷积神经网络模型的具体结构，例如，多任务级联卷积神经网络模型中包含三个子网络，其中，级联的第一个子网络为小型卷积神经网络，级联的第二个子网络为中型卷积神经网络，级联的第三个子网络大型卷积神经网络。
A3、在多任务级联卷积神经网络模型内，对于每一个级联的子网络，采用多任务学习，例如，同时学习“人脸分类”、“边框回归”、“人脸关键点检测”、“人脸属性分析”四个任务；
A4、将训练集样本数据中的所有图像放进多任务级联卷积神经网络模型进行训练，得到训练好的多任务级联卷积神经网络模型。
那么，在得到训练好的多任务级联卷积神经网络模型之后，将视频流中截取的多张图像(也即测试集样本数据)输入训练好的多任务级联卷积神经网络模型中，以确定是否存在人脸以及确定人脸候选框。
为了便于更好的理解本申请实施例提供的一种人脸识别方法，下面结合图3所示的本申请实施例提供的一种人脸识别系统30来具体说明在实际应用中是如何实现人脸识别的，如图3所示，该人脸识别系统30集成了多任务级联卷积神经网络模型300、FaceNet模型301、预设的循环神经网络模型302、全连接层303以及人脸匹配模型304。
其中，多任务级联卷积神经网络模型300，用于提取视频流中同一目标人脸的N帧人脸图像，其中，所述N帧人脸图像具有时序性；N为大于1的正整数；
FaceNet模型301，用于对所述N帧人脸图像进行空间特征提取，得到第一人脸空间特征组，其中，所述第一人脸空间特征组包括每帧人脸图像对应的人脸特征；
预设的循环神经网络模型302，用于在所述第一人脸空间特征组中提取时序信息，得到人脸时序特征组；
所述全连接层303，用于当所述第一人脸空间特征组的维数M不等于所述人脸时序特征组的维数S(例如M小于S)时，对第一人脸时序特征进行空间映射，以得到第二人脸时序特征；其中，所述第一人脸时序特征为人脸时序特征组中的任意一个人脸时序特征；
人脸匹配模型304，用于确定所述第二人脸时序特征与所述人脸数据库中存储的人脸图像的匹配度；若所述匹配度小于预设阈值，则继续计算剩余的所述第二人脸时序特征与所述人脸图像的匹配度，直至所述匹配度大于预设阈值时，确定所述第二人脸时序特征对应的所述目标人脸。
在其中一种可能的实现方式中，所述预设的循环神经网络模型302，还用于对人脸时序特征组中包含的人脸特征进行特征融合处理，得到融合时序特征。在这种情况下，全连接层303具体用于：
当所述第一人脸空间特征组的维数与所述人脸时序特征组的维数不相等时，对所述融合时序特征进行空间映射，以得到映射后的人脸时序特征组。
在这种情况下，人脸识别模型304具体用于：
在人脸数据库中匹配与所述人脸时序特征组对应的所述目标人脸。
基于图3所示的人脸识别系统的架构示意图，下面将结合图4所示的本申请实施例提供的一种人脸识别方法的流程示意图具体说明如何实现人脸识别，可以包括但不限于如下步骤：
步骤S401、提取视频流中同一目标人脸的N帧人脸图像，其中，所述N帧人脸图像具有时序性；N为大于1的正整数。
在本申请实施例中，设备可以在原始视频中按照时间顺序提取视频中包含人脸的视频帧，从而可以得到包含人脸图像的视频流。例如，视频流中包含人物A、人物B、人物C以及人物D各自对应的人脸图像。之后，设备可以在视频流中按照时间顺序截取同一目标人脸(例如，人物A)的N帧人脸图像。具体地，N帧人脸图像是通过对视频流中的各帧图像进行人脸检测和人脸跟踪处理所确定的包含同一目标人脸的图像帧。可以理解的是，在视频流中截取得到的N帧人脸图像在时间维度上具有关联性，也即：N帧人脸图像具有时序性。
在本申请实施例中，可以采用训练好的多任务级联卷积神经网络模型对视频流中的同一目标人脸的人脸图像进行人脸检测，在检测到同一目标人脸的人脸图像时，确定该人脸图像的人脸候选框，然后根据人脸候选框对人脸图像进行裁剪，以去除复杂环境背景对识别效果的影响。
步骤S402、对所述N帧人脸图像进行空间特征提取，得到第一人脸空间特征组，其中，所述第一人脸空间特征组包括每帧人脸图像对应的人脸特征。
在本申请实施例中，可以采用FaceNet模型提取N帧人脸图像中各自包含的人脸空间特征，继而可以生成N帧人脸图像各自对应的N个特征向量。具体地，这N个特征向量组成了第一人脸空间特征组。需要说明的是，通过FaceNet模型提取得到的第一人脸空间特征组为维数(Q)为128的高阶特征。由于采用FaceNet模型可以获取到人脸图像的多维度矩阵，这多维矩阵可以反映人脸的更多细节特点，从而可以满足人脸识别精度的需求。
步骤S403、在所述第一人脸空间特征组中提取时序特征，得到人脸时序特征组。
在本申请实施例中，人脸时序特征组中包含的人脸时序特征的数量为N(也即，人脸时序特征的数量与人脸图像的帧数相等)。
在本申请实施例中，设备可以将第一人脸空间特征组输入到预设的循环神经网络模型中，以输出人脸时序特征组；其中，人脸时序特征组包括第一人脸空间特征组的每个人脸特征对应的时序特征。
可选的，预设的循环神经网络模型可以为LSTM模型。
进一步可选的，LSTM模型的层数大于等于2，并且每层的网络结构均相同。参见图5，是本申请实施例提供的一种双层LSTM模型的结构示意图。在实际应用中，将第一人脸空间特征组中的人脸特征输入双层LSTM模型以提取第一人脸空间特征组中的时序信息时，第1层LSTM的输出作为第2层LSTM的输入。如图5所示，第1层LSTM模型中级联了t个细胞，这t个细胞分别为细胞1，细胞2，……、细胞t；第2层LSTM模型中级联了t个细胞，这t个细胞分别为细胞1，细胞2，……、细胞t。以第1层LSTM模型中的细胞1为例，其输入为x10，其输出x20作为第2层LSTM模型中的细胞1的输入。
这里，在LSTM模型的层数为大于等于2的情况下，可以提高人脸特征提取过程中的准确性，以提高人脸识别的精度。
如前所述，N帧人脸图像具有时序性。当采用LSTM模型提取第一人脸空间特征组中的时序信息时，将LSTM模型的时间步长设置为N(这里，时间步长等于人脸图像的帧数)，即采用N帧人脸图像各自对应的人脸特征作为LSTM模型的输入进行时序信息的提取，进一步地，将LSTM模型中的隐含层神经元的数量设置为S(S为大于1的正整数)，例如，S＝256，S＝512等等，本申请实施例不作具体限定。那么，在经过LSTM模型计算输出之后，可以得到一组带有时序信息的人脸时序特征组，其中，人脸时序特征组的长度为N，人脸时序特征组中的每个人脸特征的维数为S，即人脸时序特征组中的每个人脸特征的维数与LSTM模型中隐含层神经元的数量S相等。
需要说明的是，当在实际应用中采用LSTM模型提取第一人脸空间特征中的时序特征时，在N＝10，S＝512的情况下，通过这一实现方式，可以提高人脸特征提取过程中的准确度，以达到提高人脸识别精度的目的。
如前所述，通过FaceNet模型提取得到的第一人脸空间特征组为维数(Q)为128的高阶特征(其中，第一人脸空间特征处于第一空间)，而人脸时序特征组中的每个人脸特征的维数由LSTM模型中隐含层神经元的数量S决定，且人脸时序特征组处于第二空间，那么，这也就意味着第一人脸空间特征组的每个人脸特征的维数与人脸时序特征组中的每个人脸特征的维数之间容易出现维数相等、维数不相等的两种情形，以下对这两种情形进行具体阐述：
在第一种情形下，第一人脸空间特征组中的每个人脸特征的维数为128，LSTM模型中隐含层神经元的数量S＝128(也即人脸时序特征组中的每个人脸特征的维数为128)时，此时，无需在LSTM模型后添加一个全连接层，这也意味着无需将处于第二空间的人脸时序特征组映射到第一空间。此时，在人脸数据库中匹配人脸时序特征组对应的目标人脸，其具体实现请参考后续步骤S404。
在第二种情形下，第一人脸空间特征组中的每个人脸特征的维数M为128，LSTM模型中隐含层神经元的数量S不等于128(也即人脸时序特征组中的每个人脸特征的维数不等于128)，例如，当M小于S时，此时，在LSTM模型后添加一个全连接层，并将其隐含层神经元的数量设置为128，以实现将处于第二空间的人脸时序特征组映射到处于第一空间，得到映射后的人脸时序特征组。在第二种情形下，可以包括以下两种不同的实现方式：
在一种可能的方式中，可以将融合时序特征进行空间映射，以得到映射后的人脸时序特征组，这里，融合时序特征为对人脸时序特征组中时序特征进行融合处理得到的；在另一种可能的方式中，可以将第一人脸时序特征进行空间映射，以得到映射后的第二人脸时序特征，这里，第一人脸时序特征为人脸时序特征组中的任意一个人脸时序特征。接下来对这两种实现方式进行具体阐述。
第一种实现方式：将融合时序特征进行空间映射，以得到映射后的人脸时序特征组。
具体实现中，可以通过执行如下步骤(参见图6A)得到映射后的人脸时序特征组：
步骤B1、将所述第一人脸空间特征组输入到预设的循环神经网络模型中，以输出人脸时序特征组，其中，所述人脸时序特征组包括第一人脸空间特征组中每个人脸特征对应的的时序特征；
步骤B2、将所述人脸时序特征组中的时序特征经过融合处理得到融合时序特征；
在本申请实施例中，对人脸时序特征组中的时序特征进行融合处理的技术手段可以包括但不限于：对时序特征取平均、归一化等操作。
如前所述，人脸时序特征组中包含的时序特征的数量为N，当对人脸时序特征组中的时序特征进行融合处理所得到的融合时序特征的数量为1个。可以理解的是，融合时序特征可以更好的反映多帧人脸图像的多重属性，且人脸特征更为丰富。
步骤B3、当所述第一人脸空间特征组的维数与所述人脸时序特征组的维数不相等时，对所述融合时序特征进行空间映射，以得到映射后的人脸时序特征组。
在本申请实施例中，第一人脸空间特征组的维数M与人脸时序特征组的维数S不相等可以包括：例如，M小于S。
具体实现中，所述当所述第一人脸空间特征组的维数与所述人脸时序特征组的维数不相等时，对所述融合时序特征进行空间映射，以得到映射后的人脸时序特征组，包括：
在预设的循环神经网络模型中添加全连接层，以使所述融合时序特征映射到所述第一空间，并得到与所述第一人脸空间特征组维数相同的人脸时序特征。
例如，预设的循环神经网络模型为LSTM模型，设置LSTM模型的时间步长N＝10，LSTM模型中包含的隐含层神经元的数量为512，通过FaceNet模型提取得到的第一人脸空间特征组为维数(Q)为128的高阶特征，当在LSTM模型后添加一个全连接层时，将当前网络结构中隐含层神经元的数量设置为128，在这种情况下，可以实现将512维的融合时序特征映射到第一空间，并得到128维的人脸时序特征。此时，在人脸数据库中匹配人脸时序特征对应的目标人脸，其具体实现请参考后续步骤S404。可以理解的是，在这一实现方式中，由于经过空间映射后的人脸时序特征可以更好的反映多帧人脸图像的多重属性，且人脸特征更为丰富，可以提高人脸特征提取过程中的准确性，以提高人脸识别的精度。
第二种实现方式：将第一人脸时序特征进行空间映射，以得到映射后的第二人脸时序特征。
具体实现中，可以通过执行如下步骤(参见图6B)得到映射后的第二人脸时序特征：
C1、将所述第一人脸空间特征组输入到预设的循环神经网络模型中，以输出人脸时序特征组，其中，所述人脸时序特征组包括第一人脸空间特征组中每个人脸特征对应的的时序特征。
C2、在所述人脸时序特征组中确定第一人脸时序特征；其中，所述第一人脸时序特征为所述人脸时序特征组中的任意一个人脸时序特征。
C3、当所述第一人脸空间特征组的维数与所述人脸时序特征组的维数不相等时，对所述第一人脸时序特征进行空间映射，以得到第二人脸时序特征。
例如，预设的循环神经网络模型为LSTM模型，设置LSTM模型的时间步长N＝10，LSTM模型中包含的隐含层神经元的数量为512，通过FaceNet模型提取得到的第一人脸空间特征组为维数(Q)为128的高阶特征，当在LSTM模型后添加一个全连接层时，将当前网络结构中隐含层神经元的数量设置为128，在这种情况下，可以实现将512维的第一人脸时序特征(这里，第一人脸时序特征为人脸时序特征组中的任意一个人脸时序特征)映射到第一空间，并得到128维的第二人脸时序特征。此时，在人脸数据库中匹配第二人脸时序特征对应的目标人脸，其具体实现请参考后续步骤S404。
步骤S404、在人脸数据库中匹配与所述人脸时序特征对应的所述目标人脸。
在本申请实施例中，人脸数据库中存储有多个人物的人脸图像，例如，数据库中存储有目标人脸A、目标人脸B、目标人脸C以及目标人脸D各自对应的人脸图像。
可选的，人脸数据库中存储的每个人物的人脸图像为正脸图像。
在实际应用中，可以提取数据库中每个人物的人脸图像的特征，得到注册特征向量。这里，注册特征向量为目标人脸在数据库中的人脸图像的一种具体表现形式。可以理解的是，不同人物的人脸图像，提取得到的注册特征向量不同。例如，人脸图像与注册特征向量之间的对应关系可以如表1所示：
表1
| 人物 | 注册特征向量 |
| 目标人脸A | 注册特征向量A |
| 目标人脸B | 注册特征向量B |
在本申请实施例中，可以通过计算人脸时序特征组中的特征向量与目标人脸在数据库中的注册特征向量之间的匹配度来实现目标人脸的识别。具体地，计算人脸时序特征组中的特征向量与注册特征向量之间的欧式距离，当二者之间的欧式距离小于设定好的阈值(例如，该阈值为0.2)，则识别为同一个人；若否，则识别为不同的人。需要说明的是，在本申请实施例中，人脸时序特征组中的特征向量与注册特征向量之间的欧式距离越小表示匹配度越高。
如前所述，在上述第一种实现方式中，可以通过计算融合时序特征与注册特征向量之间的匹配度来实现目标人脸的识别。
在上述第二种实现方式中，可以通过计算第二人脸时序特征与注册特征向量之间的匹配度来实现目标人脸的识别。在这一实现方式中，考虑到当第二人脸时序特征与数据库中存储的人脸图像之间的匹配度小于预设阈值时，此时，继续计算剩余的第二人脸时序特征与人脸图像的匹配度，直至匹配度大于预设阈值，从而完成目标人脸的识别。
例如，人脸时序特征组中包括10个人脸时序特征，分别为：人脸时序特征1、人脸时序特征2、......、人脸时序特征10，其中，设备确定经过空间映射后的人脸时序特征1与注册特征向量(例如，目标人脸C)之间的匹配度为0.6，该匹配度小于预设阈值0.8，此时，设备继续计算经过空间映射后的人脸时序特征2与注册向量(例如，目标人脸D)之间的匹配度为0.9，该匹配度大于预设阈值0.8，此时，可以识别出目标人脸D。此时，无需计算剩余的其他人脸时序特征与人脸图像的匹配度。
实施本申请实施例，通过在第一人脸空间特征组中提取时序信息，可以得到人脸时序特征组，由于人脸时序特征组可以反映多帧人脸图像中包含的互补信息，可以提高人脸特征提取过程中的准确性，以提高人脸识别的精度。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本披露并不受所描述的动作顺序的限制，因为依据本披露，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于可选实施例，所涉及的动作和模块并不一定是本披露所必须的。
进一步需要说明的是，虽然图4、图6A、图6B的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图4、图6A、图6B中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
基于本申请以上描述的方法，本申请实施例还提供了一种人脸识别装置70，如图7所示，所述人脸识别装置70可以包括：
图像提取单元701，用于提取视频流中同一目标人脸的N帧人脸图像，其中，所述N帧人脸图像具有时序性；N为大于1的正整数；
第一特征提取单元702，用于对所述N帧人脸图像进行空间特征提取，得到第一人脸空间特征组，其中，所述第一人脸空间特征组包括每帧人脸图像对应的人脸特征；
第二特征提取单元703，用于在所述第一人脸空间特征组中提取时序特征，得到人脸时序特征组；
识别单元704，用于在人脸数据库中匹配与所述人脸时序特征组对应的所述目标人脸。
在其中一个可能的实现方式中，所述第二特征提取单元703包括第一时序特征提取单元、融合单元以及第一空间映射单元；其中，
所述第一时序特征提取单元，用于将所述第一人脸空间特征组输入到预设的循环神经网络模型中，以输出人脸时序特征组，其中，所述人脸时序特征组包括第一人脸空间特征组中每个人脸特征对应的的时序特征；
所述融合单元，用于将所述人脸时序特征组中的时序特征经过融合处理得到融合时序特征；
所述第一空间映射单元，用于当所述第一人脸空间特征组的维数与所述人脸时序特征组的维数不相等时，对所述融合时序特征进行空间映射，以得到映射后的人脸时序特征组。
在其中一个可能的实现方式中，所述第一人脸空间特征组的维数为M，所述第一人脸空间特征组的维数为根据FaceNet模型确定的，所述第一人脸空间特征组处于第一空间；所述人脸时序特征组的维数为S，所述人脸时序特征组的维数为根据所述预设的循环神经网络模型中的隐含层神经元数量确定的；所述人脸时序特征组处于第二空间；所述空间映射单元，具体用于：
在预设的循环神经网络模型中添加全连接层，以使所述融合时序特征映射到所述第一空间，并得到与所述第一人脸空间特征组维数相同的人脸时序特征。
在其中一种可能的实现方式中，所述预设的循环神经网络模型为双层的长短期记忆网络模型，且每层的网络结构均相同。
所述第二特征提取单元703还包括第二时序特征提取单元、确定单元以及第二空间映射单元；其中，
所述第二时序特征提取单元，用于将所述第一人脸空间特征组输入到预设的循环神经网络模型中，以输出人脸时序特征组，其中，所述人脸时序特征组包括第一人脸空间特征组中每个人脸特征对应的的时序特征；
所述确定单元，用于在所述人脸时序特征组中确定第一人脸时序特征；其中，所述第一人脸时序特征为所述人脸时序特征组中的任意一个人脸时序特征；
所述第二空间映射单元，用于当所述第一人脸空间特征组的维数与所述人脸时序特征组的维数不相等时，对所述第一人脸时序特征进行空间映射，以得到第二人脸时序特征；
所述识别单元704包括：匹配度确定单元、处理单元；
其中，所述匹配度确定单元，用于在所述匹配度小于预设阈值时，继续计算剩余的所述第二人脸时序特征与所述人脸图像的匹配度，直至所述匹配度大于预设阈值时，确定所述第二人脸时序特征对应的所述目标人脸。
在其中一种可能的实现方式中，所述图像提取单元701，具体用于：
通过训练好的多任务级联卷积神经网络模型提取所述视频流中同一个目标人脸的N帧人脸图像。
在其中一种可能的实现方式中，所述第一特征提取单元702，具体用于：
将所述N帧人脸图像输入FaceNet模型中，以提取所述N帧人脸图像中的空间特征。
应该理解，上述的装置实施例仅是示意性的，本披露的装置还可通过其它的方式实现。例如，上述实施例中所述单元/模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。例如，多个单元、模块或组件可以结合，或者可以集成到另一个系统，或一些特征可以忽略或不执行。
为了便于更好地实施本发明实施例的上述方案，本发明还对应提供了一种人脸识别设备，下面结合附图来进行详细说明：
如图8示出的本发明实施例提供的人脸识别设备的结构示意图，设备80可以包括处理器801、存储器804和通信模块805，处理器801、存储器804和通信模块805可以通过总线806相互连接。存储器804可以是高速随机存储记忆体(Random Access Memory，RAM)存储器，也可以是非易失性的存储器(non-volatile memory)，例如至少一个磁盘存储器。存储器804可选的还可以是至少一个位于远离前述处理器801的存储系统。存储器804用于存储应用程序代码，可以包括操作系统、网络通信模块、用户接口模块以及数据处理程序，通信模块805用于与外部设备进行信息交互；处理器801被配置用于调用该程序代码，执行以下步骤：
提取视频流中同一目标人脸的N帧人脸图像，其中，所述N帧人脸图像具有时序性；N为大于1的正整数；
对所述N帧人脸图像进行空间特征提取，得到第一人脸空间特征组，其中，所述第一人脸空间特征组包括每帧人脸图像对应的人脸特征；
在所述第一人脸空间特征组中提取时序特征，得到人脸时序特征组；
在人脸数据库中匹配与所述人脸时序特征组对应的所述目标人脸。
其中，处理器801在所述第一人脸空间特征组中提取时序特征，得到人脸时序特征组，包括：
将所述第一人脸空间特征组输入到预设的循环神经网络模型中，以输出人脸时序特征组，其中，所述人脸时序特征组包括第一人脸空间特征组中每个人脸特征对应的的时序特征；
将所述人脸时序特征组中的时序特征经过融合处理得到融合时序特征；
当所述第一人脸空间特征组的维数与所述人脸时序特征组的维数不相等时，对所述融合时序特征进行空间映射，以得到映射后的人脸时序特征组。
其中，所述第一人脸空间特征组的维数为M，所述第一人脸空间特征组的维数为根据FaceNet模型确定的，所述第一人脸空间特征组处于第一空间；所述人脸时序特征组的维数为S，所述人脸时序特征组的维数为根据所述预设的循环神经网络模型中的隐含层神经元数量确定的；所述人脸时序特征组处于第二空间；处理器801在所述第一人脸空间特征组的维数与所述人脸时序特征组的维数不相等时，对所述融合时序特征进行空间映射，以得到映射后的人脸时序特征组，可以包括：
在预设的循环神经网络模型中添加全连接层，以使所述融合时序特征映射到所述第一空间，并得到与所述第一人脸空间特征组维数相同的人脸时序特征。
其中，所述预设的循环神经网络模型为双层的长短期记忆网络模型，且每层的网络结构均相同。
其中，处理器801在所述第一人脸空间特征组中提取时序特征，得到人脸时序特征组，还可以包括：
将所述第一人脸空间特征组输入到预设的循环神经网络模型中，以输出人脸时序特征组，其中，所述人脸时序特征组包括第一人脸空间特征组中每个人脸特征对应的的时序特征；
在所述人脸时序特征组中确定第一人脸时序特征；其中，所述第一人脸时序特征为所述人脸时序特征组中的任意一个人脸时序特征；
当所述第一人脸空间特征组的维数与所述人脸时序特征组的维数不相等时，对所述第一人脸时序特征进行空间映射，以得到第二人脸时序特征；
处理器801在人脸数据库中匹配与所述人脸时序特征组对应的所述目标人脸，可以包括：
确定所述第二人脸时序特征与所述人脸数据库中存储的人脸图像的匹配度；
若所述匹配度小于预设阈值，则继续计算剩余的所述第二人脸时序特征与所述人脸图像的匹配度，直至所述匹配度大于预设阈值时，确定所述第二人脸时序特征对应的所述目标人脸。
其中，处理器801提取视频流中同一目标人脸的N帧人脸图像，可以包括：
通过训练好的多任务级联卷积神经网络模型提取所述视频流中同一个目标人脸的N帧人脸图像。
其中，处理器801对所述N帧人脸图像进行空间特征提取，得到第一人脸空间特征组，可以包括：
将所述N帧人脸图像输入FaceNet模型中，以提取所述N帧人脸图像中的空间特征。
在具体实现中，人脸识别设备80可以为终端或者服务器，具体地，其表现形式可以包括移动手机、平板电脑、个人数字助理(Personal Digital Assistant，PDA)、移动互联网设备(Mobile Internet Device，MID)等各种用户可以使用的设备，本发明实施例不作具体限定。
应理解，本申请实施例提供的方法可以适用的应用场景只是作为一种示例，实际应用中并不限于此。
还应理解，本申请中涉及的第一、第二、第三以及各种数字编号仅仅为描述方便进行的区分，并不用来限制本申请的范围。
应理解，本申请中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本申请中字符“/”，一般表示前后关联对象是一种“或”的关系。
此外，在本申请的各个实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及方法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚的了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。
在本申请所提供的实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块和单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。
所述作为分离部件说明的单元可以是物理上分开的，也可以不是物理上分开的，作为单元显示的部件可以是物理单元，也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本申请实施例方案的目的。
此外，在本申请各个实施例中所涉及的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现，本申请对此不作限定。
在本实施例中，本申请实施例还提供一种可读存储介质，其上存储有计算机程序，所述计算机程序被执行时实现上述图4、图6A、图6B所示的人脸识别方法。上述装置的各组成模块如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在所述计算机可读取存储介质中，基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机产品存储在计算机可读存储介质中。
上述计算机可读存储介质可以是前述实施例所述的人脸识别设备的内部存储单元，例如硬盘或内存。上述计算机可读存储介质也可以是上述人脸识别设备的外部存储设备，例如配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(SecureDigital,SD)卡，闪存卡(Flash Card)等。进一步地，上述计算机可读存储介质还可以既包括上述人脸识别设备的内部存储单元也包括外部存储设备。上述计算机可读存储介质用于存储上述计算机程序以及上述人脸识别设备所需的其他程序和数据。上述计算机可读存储介质还可以用于暂时地存储已经输出或者将要输出的数据。
由上可见，本申请实施例提供一种人脸识别方法，通过在第一人脸空间特征组中提取时序信息，可以得到人脸时序特征组，由于人脸时序特征组可以反映多帧人脸图像中包含的互补信息，可以提高提取人脸特征的准确性，以提高人脸识别的精度。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，可通过计算机程序来指令相关的硬件来完成，该计算机的程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可存储程序代码的介质。
本申请实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。
本申请实施例装置中的模块可以根据实际需要进行合并、划分和删减。
以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。
Claims (10)
1.一种人脸识别方法，其特征在于，包括：
提取视频流中同一目标人脸的N帧人脸图像，其中，所述N帧人脸图像具有时序性；N为大于1的正整数；
对所述N帧人脸图像进行空间特征提取，得到第一人脸空间特征组，其中，所述第一人脸空间特征组包括每帧人脸图像对应的人脸特征；
在所述第一人脸空间特征组中提取时序特征，得到人脸时序特征组；
在人脸数据库中匹配与所述人脸时序特征组对应的所述目标人脸。
2.根据权利要求1所述的方法，其特征在于，所述在所述第一人脸空间特征组中提取时序特征，得到人脸时序特征组，包括：
将所述第一人脸空间特征组输入到预设的循环神经网络模型中，以输出人脸时序特征组，其中，所述人脸时序特征组包括第一人脸空间特征组中每个人脸特征对应的的时序特征；
将所述人脸时序特征组中的时序特征经过融合处理得到融合时序特征；
当所述第一人脸空间特征组的维数与所述人脸时序特征组的维数不相等时，对所述融合时序特征进行空间映射，以得到映射后的人脸时序特征组。
3.根据权利要求2所述的方法，其特征在于，所述第一人脸空间特征组的维数为M，所述第一人脸空间特征组的维数为根据FaceNet模型确定的，所述第一人脸空间特征组处于第一空间；所述人脸时序特征组的维数为S，所述人脸时序特征组的维数为根据所述预设的循环神经网络模型中的隐含层神经元数量确定的；所述人脸时序特征组处于第二空间；所述当所述第一人脸空间特征组的维数与所述人脸时序特征组的维数不相等时，对所述融合时序特征进行空间映射，以得到映射后的人脸时序特征组，包括：
在预设的循环神经网络模型中添加全连接层，以使所述融合时序特征映射到所述第一空间，并得到与所述第一人脸空间特征组维数相同的人脸时序特征。
4.根据权利要求2所述的方法，其特征在于，所述预设的循环神经网络模型为双层的长短期记忆网络模型，且每层的网络结构均相同。
5.根据权利要求2所述的方法，其特征在于，所述在所述第一人脸空间特征组中提取时序特征，得到人脸时序特征组，还包括：
将所述第一人脸空间特征组输入到预设的循环神经网络模型中，以输出人脸时序特征组，其中，所述人脸时序特征组包括第一人脸空间特征组中每个人脸特征对应的的时序特征；
在所述人脸时序特征组中确定第一人脸时序特征；其中，所述第一人脸时序特征为所述人脸时序特征组中的任意一个人脸时序特征；
当所述第一人脸空间特征组的维数与所述人脸时序特征组的维数不相等时，对所述第一人脸时序特征进行空间映射，以得到第二人脸时序特征；
在人脸数据库中匹配与所述人脸时序特征组对应的所述目标人脸，包括：
确定所述第二人脸时序特征与所述人脸数据库中存储的人脸图像的匹配度；
若所述匹配度小于预设阈值，则继续计算剩余的所述第二人脸时序特征与所述人脸图像的匹配度，直至所述匹配度大于预设阈值时，确定所述第二人脸时序特征对应的所述目标人脸。
6.根据权利要求1所述的方法，其特征在于，所述提取视频流中同一目标人脸的N帧人脸图像，包括：
通过训练好的多任务级联卷积神经网络模型提取所述视频流中同一个目标人脸的N帧人脸图像。
7.根据权利要求3所述的方法，其特征在于，所述对所述N帧人脸图像进行空间特征提取，得到第一人脸空间特征组，包括：
将所述N帧人脸图像输入所述FaceNet模型中，以提取所述N帧人脸图像中的空间特征。
8.一种人脸识别装置，其特征在于，包括：
图像提取单元，用于提取视频流中同一目标人脸的N帧人脸图像，其中，所述N帧人脸图像具有时序性；N为大于1的正整数；
第一特征提取单元，用于对所述N帧人脸图像进行空间特征提取，得到第一人脸空间特征组，其中，所述第一人脸空间特征组包括每帧人脸图像对应的人脸特征；
第二特征提取单元，用于在所述第一人脸空间特征组中提取时序特征，得到人脸时序特征组；
识别单元，用于在人脸数据库中匹配与所述人脸时序特征组对应的所述目标人脸。
9.一种人脸识别设备，其特征在于，包括处理器和存储器，所述处理器和存储器相互连接，其中，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行如权利要求1-7任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行如权利要求1-7任一项所述的方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910489828.0A CN110363081B (zh) | 2019-06-05 | 2019-06-05 | 人脸识别方法、装置、设备及计算机可读存储介质 |
| PCT/CN2019/121347 WO2020244174A1 (zh) | 2019-06-05 | 2019-11-27 | 人脸识别方法、装置、设备及计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910489828.0A CN110363081B (zh) | 2019-06-05 | 2019-06-05 | 人脸识别方法、装置、设备及计算机可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110363081A true CN110363081A (zh) | 2019-10-22 |
| CN110363081B CN110363081B (zh) | 2022-01-11 |
Family
ID=68215621
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910489828.0A Active CN110363081B (zh) | 2019-06-05 | 2019-06-05 | 人脸识别方法、装置、设备及计算机可读存储介质 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN110363081B (zh) |
| WO (1) | WO2020244174A1 (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020244174A1 (zh) * | 2019-06-05 | 2020-12-10 | 深圳云天励飞技术有限公司 | 人脸识别方法、装置、设备及计算机可读存储介质 |
| CN112381448A (zh) * | 2020-11-30 | 2021-02-19 | 深圳云天励飞技术股份有限公司 | 基于人脸时空特征的教学质量评估方法、装置及电子设备 |
| CN112734682A (zh) * | 2020-12-31 | 2021-04-30 | 杭州艾芯智能科技有限公司 | 人脸检测表面向量数据加速方法、系统、计算机设备和存储介质 |
| CN117274727A (zh) * | 2023-10-25 | 2023-12-22 | 荣耀终端有限公司 | 生物特征信息的处理方法、电子设备及可读存储介质 |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114821844B (zh) * | 2021-01-28 | 2024-05-07 | 深圳云天励飞技术股份有限公司 | 基于人脸识别的考勤方法、装置、电子设备和存储介质 |
| CN113011357B (zh) * | 2021-03-26 | 2023-04-25 | 西安电子科技大学 | 基于时空融合的深度伪造人脸视频定位方法 |
| CN113361456B (zh) * | 2021-06-28 | 2024-05-07 | 北京影谱科技股份有限公司 | 一种人脸识别方法和系统 |
| CN114613058B (zh) * | 2022-03-25 | 2024-06-11 | 中国农业银行股份有限公司 | 一种具有考勤功能的门禁系统、考勤方法和相关装置 |
| CN115269494A (zh) * | 2022-05-06 | 2022-11-01 | 深圳云天励飞技术股份有限公司 | 数据归档方法及装置 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090324020A1 (en) * | 2007-02-13 | 2009-12-31 | Kabushiki Kaisha Toshiba | Person retrieval apparatus |
| CN105678250A (zh) * | 2015-12-31 | 2016-06-15 | 北京小孔科技有限公司 | 视频中的人脸识别方法和装置 |
| CN107895160A (zh) * | 2017-12-21 | 2018-04-10 | 曙光信息产业(北京)有限公司 | 人脸检测与识别装置及方法 |
| CN108960080A (zh) * | 2018-06-14 | 2018-12-07 | 浙江工业大学 | 基于主动防御图像对抗攻击的人脸识别方法 |
| CN109086707A (zh) * | 2018-07-25 | 2018-12-25 | 电子科技大学 | 一种基于DCNNs-LSTM模型的表情追踪方法 |
| EP3467712A1 (en) * | 2017-10-06 | 2019-04-10 | Be More Digital Limited | Methods and systems for processing image data |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106415594B (zh) * | 2014-06-16 | 2020-01-10 | 北京市商汤科技开发有限公司 | 用于面部验证的方法和系统 |
| CN110363081B (zh) * | 2019-06-05 | 2022-01-11 | 深圳云天励飞技术有限公司 | 人脸识别方法、装置、设备及计算机可读存储介质 |
-
2019
- 2019-06-05 CN CN201910489828.0A patent/CN110363081B/zh active Active
- 2019-11-27 WO PCT/CN2019/121347 patent/WO2020244174A1/zh active Application Filing
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090324020A1 (en) * | 2007-02-13 | 2009-12-31 | Kabushiki Kaisha Toshiba | Person retrieval apparatus |
| CN105678250A (zh) * | 2015-12-31 | 2016-06-15 | 北京小孔科技有限公司 | 视频中的人脸识别方法和装置 |
| EP3467712A1 (en) * | 2017-10-06 | 2019-04-10 | Be More Digital Limited | Methods and systems for processing image data |
| CN107895160A (zh) * | 2017-12-21 | 2018-04-10 | 曙光信息产业(北京)有限公司 | 人脸检测与识别装置及方法 |
| CN108960080A (zh) * | 2018-06-14 | 2018-12-07 | 浙江工业大学 | 基于主动防御图像对抗攻击的人脸识别方法 |
| CN109086707A (zh) * | 2018-07-25 | 2018-12-25 | 电子科技大学 | 一种基于DCNNs-LSTM模型的表情追踪方法 |
Non-Patent Citations (2)
| Title |
|---|
| DAKSHINA RANJAN KISKU 等: "Face image abstraction by Ford-Fulkerson algorithm and invariant feature descriptor for human identification", 《2014 INTERNATIONAL CARNAHAN CONFERENCE ON SECURITY TECHNOLOGY (ICCST)》 * |
| 任玉强 等: "高安全性人脸识别系统中的唇语识别算法研究", 《计算机应用研究》 * |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020244174A1 (zh) * | 2019-06-05 | 2020-12-10 | 深圳云天励飞技术有限公司 | 人脸识别方法、装置、设备及计算机可读存储介质 |
| CN112381448A (zh) * | 2020-11-30 | 2021-02-19 | 深圳云天励飞技术股份有限公司 | 基于人脸时空特征的教学质量评估方法、装置及电子设备 |
| CN112381448B (zh) * | 2020-11-30 | 2023-10-13 | 深圳云天励飞技术股份有限公司 | 基于人脸时空特征的教学质量评估方法、装置及电子设备 |
| CN112734682A (zh) * | 2020-12-31 | 2021-04-30 | 杭州艾芯智能科技有限公司 | 人脸检测表面向量数据加速方法、系统、计算机设备和存储介质 |
| CN112734682B (zh) * | 2020-12-31 | 2023-08-01 | 杭州芯炬视人工智能科技有限公司 | 人脸检测表面向量数据加速方法、系统、计算机设备和存储介质 |
| CN117274727A (zh) * | 2023-10-25 | 2023-12-22 | 荣耀终端有限公司 | 生物特征信息的处理方法、电子设备及可读存储介质 |
| CN117274727B (zh) * | 2023-10-25 | 2024-04-12 | 荣耀终端有限公司 | 生物特征信息的处理方法、电子设备及可读存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110363081B (zh) | 2022-01-11 |
| WO2020244174A1 (zh) | 2020-12-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110363081B (zh) | 人脸识别方法、装置、设备及计算机可读存储介质 | |
| WO2021077984A1 (zh) | 对象识别方法、装置、电子设备及可读存储介质 | |
| CN107169454B (zh) | 一种人脸图像年龄估算方法、装置及其终端设备 | |
| Liu et al. | Learning structures of interval-based Bayesian networks in probabilistic generative model for human complex activity recognition | |
| CN109961005B (zh) | 一种基于二维卷积网络的动态手势识别方法及系统 | |
| CN112395979B (zh) | 基于图像的健康状态识别方法、装置、设备及存储介质 | |
| CN112464865A (zh) | 一种基于像素和几何混合特征的人脸表情识别方法 | |
| JP7292657B2 (ja) | データ処理方法、データ処理装置、コンピュータプログラム及び電子装置 | |
| WO2023179429A1 (zh) | 一种视频数据的处理方法、装置、电子设备及存储介质 | |
| CN111133453A (zh) | 人工神经网络 | |
| CN110633004B (zh) | 基于人体姿态估计的交互方法、装置和系统 | |
| CN110321761B (zh) | 一种行为识别方法、终端设备及计算机可读存储介质 | |
| CN112381019B (zh) | 复合表情识别方法、装置、终端设备及存储介质 | |
| CN113205002B (zh) | 非受限视频监控的低清人脸识别方法、装置、设备及介质 | |
| Núñez et al. | Multiview 3D human pose estimation using improved least-squares and LSTM networks | |
| Guo et al. | Enhancing sparsity via ℓp (0< p< 1) minimization for robust face recognition | |
| WO2021068613A1 (zh) | 面部识别方法、装置、设备及计算机可读存储介质 | |
| US20220172271A1 (en) | Method, device and system for recommending information, and storage medium | |
| Chauhan et al. | Analysis of Intelligent movie recommender system from facial expression | |
| Kumar et al. | A Mobile App for Age and Gender Identification Using Deep Learning Technique | |
| Aiman et al. | Angle based hand gesture recognition using graph convolutional network | |
| CN112784652B (zh) | 图像识别方法及装置 | |
| Drosou et al. | Activity related authentication using prehension biometrics | |
| Cao et al. | Sparse representation for robust face recognition by dictionary decomposition | |
| CN114331774A (zh) | 学生归寝判断方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |