CN105678250B - 视频中的人脸识别方法和装置 - Google Patents

视频中的人脸识别方法和装置 Download PDF

Info

Publication number
CN105678250B
CN105678250B CN201511032506.1A CN201511032506A CN105678250B CN 105678250 B CN105678250 B CN 105678250B CN 201511032506 A CN201511032506 A CN 201511032506A CN 105678250 B CN105678250 B CN 105678250B
Authority
CN
China
Prior art keywords
vector
image
face
static nature
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201511032506.1A
Other languages
English (en)
Other versions
CN105678250A (zh
Inventor
周而进
印奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Maigewei Technology Co Ltd
Original Assignee
Beijing Maigewei Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Maigewei Technology Co Ltd filed Critical Beijing Maigewei Technology Co Ltd
Priority to CN201511032506.1A priority Critical patent/CN105678250B/zh
Publication of CN105678250A publication Critical patent/CN105678250A/zh
Priority to US15/340,407 priority patent/US10102421B2/en
Application granted granted Critical
Publication of CN105678250B publication Critical patent/CN105678250B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/169—Holistic features and representations, i.e. based on the facial image taken as a whole
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Abstract

提供了视频中的人脸识别方法和装置。所述视频中的人脸识别方法包括：对视频中的多帧图像中的目标人脸进行特征提取，以生成分别与所述多帧图像中的目标人脸对应的多个特征向量；对所述多个特征向量进行时序特征提取，以将所述多个特征向量转换为一个预定维度的特征向量；利用分类器对所述预定维度的特征向量进行判决，以识别所述目标人脸。所述视频中的人脸识别方法和装置采用动态识别方式，利用视频中各帧图像在时间维度上具有关联性的特性对各帧图像的信息进行互补，从而提高了人脸识别的准确性。

Description

视频中的人脸识别方法和装置
技术领域
本公开总体涉及图像处理及模式识别，具体涉及视频中的人脸识别方法和装置。
背景技术
近年来，视频中的人脸识别已成为人脸识别领域非常活跃的一个研究方向。视频中的人脸识别技术在安全监控、智能身份认证、家庭娱乐等很多方面都有广泛的应用前景。一般来说，视频中的人脸识别是指对视频中的各帧图像中检测出的人脸区域进行特征提取，随后将各帧中提取出的特征与已有的人脸数据库进行比对，最终根据比对结果识别出人脸的身份。
现有的视频中人脸识别方法通常是将视频中的图像逐帧取出，将各帧图像中的人脸分别与人脸数据库进行比对识别，并且当各帧的比对识别结果满足某一预设条件时(例如连续5帧识比对别为同一个人)认为识别出了人脸。该识别方法是一种静态的识别方法，其依赖于各帧图像独立的比对结果，因而当视频中某些帧图像的质量不高、人脸检测结果不准确、或其中的人脸的角度在人脸数据库中没有对应的样本时，会影响识别的准确率，从而导致识别准确率低。
发明内容
考虑到上述问题而提出了本公开。
根据本公开的一个方面，提供了一种视频中的人脸识别方法，包括：对所述视频中的多帧图像中的目标人脸进行特征提取，以生成分别与所述多帧图像中的目标人脸对应的多个特征向量；对所述多个特征向量进行时序特征提取，以将所述多个特征向量转换为一个预定维度的特征向量；利用分类器对所述预定维度的特征向量进行判决，以识别所述目标人脸。
根据本公开的另一个方面，提供了一种视频中的人脸识别装置，包括：提取单元，配置为对所述视频中的多帧图像中的目标人脸进行特征提取，以生成分别与所述多帧图像中的目标人脸对应的多个特征向量；转换单元，配置为对所述多个特征向量进行时序特征提取，以将所述多个特征向量转换为一个预定维度的特征向量；识别单元，配置为利用分类器对所述预定维度的特征向量进行判决，以识别所述目标人脸。
根据本公开的又一个方面，提供了一种视频中的人脸识别装置，包括：处理器；存储器；和存储在所述存储器中的计算机程序指令。所述计算机程序指令在被所述处理器运行时执行以下步骤：对所述视频中的多帧图像中的目标人脸进行特征提取，以生成分别与所述多帧图像中的目标人脸对应的多个特征向量；对所述多个特征向量进行时序特征提取，以将所述多个特征向量转换为一个预定维度的特征向量；利用分类器对所述预定维度的特征向量进行判决，以识别所述目标人脸。
根据本公开的再一个方面，提供了一种用于视频中的人脸识别的计算机程序产品，包括计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令可由处理器执行以使得所述处理器：对所述视频中的多帧图像中的目标人脸进行特征提取，以生成分别与所述多帧图像中的目标人脸对应的多个特征向量；对所述多个特征向量进行时序特征提取，以将所述多个特征向量转换为一个预定维度的特征向量；利用分类器对所述预定维度的特征向量进行判决，以识别所述目标人脸。
根据本公开的视频中的人脸识别方法、装置和计算机程序产品利用视频中各帧图像在时间维度上具有关联性的特性，提取视频中多帧图像的时序特征来表示该多帧图像，由此对多帧图像的信息进行了互补，从而提高了人脸识别的准确性。
附图说明
通过结合附图对本公开实施例进行更详细的描述，本公开的上述以及其它目的、特征和优势将变得更加明显。附图用来提供对本公开实施例的进一步理解，并且构成说明书的一部分，与本公开实施例一起用于解释本公开，并不构成对本公开的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
图1示意性地示出了根据本公开实施例的视频中的人脸识别方法的流程图。
图2示出了根据本公开实施例的视频中的人脸识别方法、在人脸图像区域的不同子图像区域中分别进行特征提取的一个示例应用。
图3示出了根据本公开实施例的视频中的人脸识别装置的示例性结构框图。
图4示出了可用于实现本公开的实施例的、视频中的人脸识别装置的计算设备的示意性框图。
具体实施方式
为了使得本公开的目的、技术方案和优点更为明显，下面将参照附图详细描述根据本公开的示例实施例。显然，所描述的实施例仅仅是本公开的一部分实施例，而不是本公开的全部实施例，应理解，本公开不受这里描述的示例实施例的限制。基于本公开中描述的实施例，本领域技术人员在没有付出创造性劳动的情况下所得到的所有其它实施例都应落入本公开的保护范围之内。
首先对根据本公开实施例的视频中的人脸识别技术的基本思想进行简单介绍。本发明人认识到，视频中的各帧图像在时间维度上具有关联性，因此针对视频中的各帧图像，除了提取其静态特征之外，可以进一步提取并利用其时序特征来对各帧图像的静态信息进行互补，从而提高人脸识别的准确性。
下面将参考图1对根据本公开实施例的视频中的人脸识别方法进行详细的描述。图1示意性地示出了根据本公开实施例的视频中的人脸识别方法的流程图。
如图1所示，在步骤S110，对所述视频中的多帧图像中的目标人脸进行特征提取，以生成分别与所述多帧图像中的目标人脸对应的多个特征向量。
所述多帧图像是通过对视频中的各帧图像进行人脸检测和人脸跟踪处理所确定的包含有目标人脸的图像帧。具体的，可以通过诸如模板匹配、SVM(支持向量机)、神经网络等各种本领域中常用的人脸检测方法在包含目标人脸的起始图像帧中确定该目标人脸的大小和位置，随后基于目标人脸的颜色信息、局部特征、或运动信息等对该目标人脸进行跟踪，从而确定视频中包含有目标人脸的各帧图像。上述通过人脸检测和人脸跟踪确定包含有目标人脸的图像帧的处理是图像处理领域中的常见处理，此处不再对其进行详细描述。
需要说明的是，所述多帧图像并非必须是视频中所有包含有目标人脸的图像，而可以仅是其中的部分图像帧；另一方面，所述多帧图像可以是连续的多帧图像，也可以是不连续的、任意选定的多帧图像。
在该步骤中，可以采用诸如LBP(局部二值模式)、HoG(方向梯度直方图)、PCA(主成分分析法)或者神经网络等各种适当的人脸特征提取方法来进行特征提取并生成所述多个特征向量。可选的，对于所述多帧图像中的每一帧图像中的目标人脸均采用相同的特征提取方法生成特征向量。下面仅仅是为了说明的完整性，对本实施例中所采用的人脸特征提取方法进行简单的说明。
作为一个示例，在本实施例中，采用基于卷积神经网络的特征提取方法对视频中的多帧图像中的目标人脸进行特征提取以生成分别与所述多帧图像中的目标人脸对应的多个特征向量。根据该示例，首先对于所述多帧图像中的每一帧图像，确定其中与目标人脸对应的人脸图像区域；随后，对该人脸图像区域基于卷积神经网络进行特征提取，以生成与该帧图像中的目标人脸对应的一个特征向量。此处，可以将该人脸图像区域作为一个整体进行特征提取，也可以在该人脸图像区域的不同子图像区域中分别进行特征提取。下面将结合图2对后者进行说明。
具体的，可以通过以下处理在人脸图像区域的不同子图像区域中分别进行特征提取：(a)利用滑动窗口在该人脸图像区域中进行滑动；(b)对于滑动到的每个位置所包含的子图像区域，进行特征提取以生成与该子图像区域对应的特征向量；(c)将生成的多个特征向量合并为一个特征向量。在所述处理(a)中，可以根据具体情形任意选择适当大小的滑动窗口在人脸图像区域中进行滑动，该滑动窗口的大小在滑动过程中可以保持固定也可以适当地变化。滑动的步长以及滑动的路径可以根据需要任意设置，并且可以滑动遍历整个人脸图像区域也可以仅仅滑动遍历部分人脸图像区域。在处理(c)中可以通过诸如简单叠加等方式将生成的多个特征向量合并为一个特征向量。图2示出了上述在人脸图像区域的不同子图像区域中分别进行特征提取的处理的一个示例应用。如图2所示，左侧所示的大图为某一帧图像中与目标人脸对应的人脸图像区域；中部的多幅小图是经过上述处理(a)滑动到的各个位置中所包含的各个子图像区域；右侧所示的多个卷积神经网络处理框表示对于滑动得到的每个子图像区域基于卷积神经网络进行特征提取以生成与该子图像区域对应的特征向量；最后通过对所生成的多个特征向量进行合并得到与左侧所示的大图对应的特征向量。
在步骤S120，对所述多个特征向量进行时序特征提取，以将所述多个特征向量转换为一个预定维度的特征向量。
如前所述，视频中的各帧图像在时间维度上具有关联性，在该步骤中通过对在步骤S110中生成的具有时序性的多个特征向量进行时序特征提取将它们转换为一个预定维度的特征向量。所述预定维度是预先建立的人脸的特征向量库中的各特征向量的维度，在该步骤中将多个特征向量转换为该预定维度的特征向量后，该转换后的特征向量与预先建立的人脸的特征向量库中的各特征向量具有相同的维度，因而可以在后续的处理中进行比对识别。
在该步骤中可以采用本领域中各种适当的方式进行所述转换。以采用循环神经网络为例，可以如下式(1)所示，对所述多个特征向量进行时序特征提取以将它们转换为一个预定维度的特征向量：
h(t)＝f1(W1×h(t-1)+W2×s(t)+b1)
p(t)＝f2(W3×h(t)+b2)…(1)
其中，s(t)是循环神经网络的输入，其表示与视频中t时刻的图像帧中的目标人脸对应的特征向量；h(t)是循环神经网络的隐藏层在t时刻的状态，h(-1)在实现中一般置为零向量；p(t)为循环神经网络的输出，其表示对与截止至t时刻的多帧图像中的目标人脸对应的多个特征向量进行转换得到的特征向量，能够理解，p(t)可以看做是时刻t目标人脸的特征向量表示；f1和f2均为非线性函数，如tanh(x),sigmoid(x),max(x,0)等；W1,W2,W3是线性变换矩阵；b1,b2是常向量。这些参数可通过训练样本预先训练得到。
如上所述，上述循环神经网络仅仅是将多个特征向量转化为一个预定维度的特征向量的一种示例转换方式，而并非是对本公开的限制，本领域技术人员也可以采用其他的转换方式，只要能够提取出多个特征向量的时序特征并将它们转换为一个预定维度的特征向量即可。比如，作为一个可能的示例，可以采用1阶马尔科夫模型进行该转换。再比如，作为一种基本的方法，可以对所述多个特征向量在时间维度上直接进行叠加得到一个特征向量，并对叠加得到的该特征向量进行维度归约从而得到预定维度的特征向量。相对于采用循环神经网络而言，这种直接叠加的方法的特征提取能力较弱。
在步骤S130，利用分类器对所述预定维度的特征向量进行判决，以识别所述目标人脸。
分类器是预先学习得到的，其可以采用诸如SVM、Adaboost、神经网络等本领域中各种常用的分类器。以采用神经网络为例，可以如下式(2)所示，对在步骤S120得到的预定维度的特征向量进行判决，以识别目标人脸：
u1＝f3(W4×p(t)+b3)
u2＝softmax(W5×u1+b4)…(2)
其中，p(t)如前所述是在时刻t目标人脸的特征向量表示；u2是概率分布；softmax(xi)是归一化后的概率；f3为非线性函数，如tanh(x),sigmoid(x),max(x,0)等；n是分类器的分类数目；W4,W5是线性变换矩阵,b3,b4是常向量。这些参数可通过训练样本预先训练得到。
利用如表达式(2)所示的分类器，可以对步骤S120得到的预定维度的特征向量进行判决，确定目标人脸为分数最高的归一化后的概率所对应的分类，由此识别出目标人脸。
以上，已经对根据本公开实施例的视频中的人脸识别方法进行了描述。在该方法中，利用视频中各帧图像在时间维度上具有关联性的特性，提取视频中多帧图像的时序特征来表示该多帧图像，由此对多帧图像的信息进行了互补，从而提高了人脸识别的准确性。
下面，将参考图3来描述根据本公开实施例的视频中的人脸识别装置。图3示出了根据本公开实施例的视频中的人脸识别装置300的示例性结构框图。如图3所示，该行人再识别设备可以包括提取单元310、转换单元320和识别单元330，所述各个单元可分别执行上文中结合图1和图2描述的视频中的人脸识别方法的各个步骤/功能。以下仅对该视频中的人脸识别装置300的各单元的主要功能进行描述，而省略以上已经描述过的细节内容。
提取单元310对视频中的多帧图像中的目标人脸进行特征提取，以生成分别与所述多帧图像中的目标人脸对应的多个特征向量。
所述多帧图像是通过对视频中的各帧图像进行人脸检测和人脸跟踪处理所确定的包含有目标人脸的图像帧。需要说明的是，所述多帧图像并非必须是视频中所有包含有目标人脸的图像，而可以仅是其中的部分图像帧；另一方面，所述多帧图像可以是连续的多帧图像，也可以是不连续的、任意选定的多帧图像。
提取单元310可以采用诸如LBP(局部二值模式)、HoG(方向梯度直方图)、PCA(主成分分析法)或者神经网络等各种适当的人脸特征提取方法来进行特征提取并生成所述多个特征向量。可选的，对于所述多帧图像中的每一帧图像中的目标人脸均采用相同的特征提取方法生成特征向量。
作为一个示例，提取单元310可以采用基于卷积神经网络的特征提取方法对视频中的多帧图像中的目标人脸进行特征提取以生成分别与所述多帧图像中的目标人脸对应的多个特征向量。根据该示例，提取单元310首先对于所述多帧图像中的每一帧图像，确定其中与目标人脸对应的人脸图像区域；随后，对该人脸图像区域基于卷积神经网络进行特征提取，以生成与该帧图像中的目标人脸对应的一个特征向量。此处，可以将该人脸图像区域作为一个整体进行特征提取，也可以在该人脸图像区域的不同子图像区域中分别进行特征提取。具体的，对于后者，提取单元310可以通过以下处理在人脸图像区域的不同子图像区域中分别进行特征提取：(a)利用滑动窗口在该人脸图像区域中进行滑动；(b)对于滑动到的每个位置所包含的子图像区域，进行特征提取以生成与该子图像区域对应的特征向量；(c)将生成的多个特征向量合并为一个特征向量。
转换单元320对所述多个特征向量进行时序特征提取，以将所述多个特征向量转换为一个预定维度的特征向量。如前所述，视频中的各帧图像在时间维度上具有关联性，因此转换单元320通过对由提取单元310生成的具有时序性的多个特征向量进行时序特征提取将它们转换为一个预定维度的特征向量，其中所述预定维度是预先建立的人脸的特征向量库中的各特征向量的维度。
转换单元320可以采用本领域中各种适当的方式进行所述转换。例如，转换单元320可以采用循环神经网络，如上文中的表达式(1)所示，对多个特征向量进行时序特征提取以将它们转换为一个预定维度的特征向量。当然，循环神经网络仅仅是将多个特征向量转化为一个预定维度的特征向量的一种示例转换方式，而并非是对本公开的限制，本领域技术人员也可以采用其他的转换方式，只要能够提取出多个特征向量的时序特征并将它们转换为预定维度的特征向量即可。比如，作为一个可能的示例，转换单元320可以采用1阶马尔科夫模型进行该转换。再比如，作为一种基本的方法，转换单元320可以对所述多个特征向量在时间维度上直接进行叠加得到一个特征向量，并对叠加得到的该特征向量进行维度归约从而得到预定维度的特征向量。
识别单元330利用分类器对由转换单元320得到的预定维度的特征向量进行判决，以识别所述目标人脸。所述分类器是预先学习得到的，其可以采用诸如SVM、Adaboost、神经网络等本领域中各种常用的分类器。以采用神经网络为例，识别单元330可以如上文中的表达式(2)所示，对由转换单元320得到的预定维度的特征向量进行判决，以识别目标人脸
以上结合附图描述了根据本公开实施例的视频中的人脸识别装置300，该装置利用视频中各帧图像在时间维度上具有关联性的特性，提取视频中多帧图像的时序特征来表示该多帧图像，由此对多帧图像的信息进行了互补，从而提高了人脸识别的准确性。
下面，参照图4来描述可用于实现本公开的实施例的、视频中的人脸识别装置的计算设备的示意性框图。该计算设备可以是配备有摄像头的计算机或服务器。
如图4所示，计算设备400包括一个或多个处理器402、存储装置404、摄像头406和输出装置408，这些组件通过总线系统410和/或其它形式的连接机构(未示出)互连。应当注意，图4所示的计算设备400的组件和结构只是示例性的，而非限制性的，根据需要，计算设备400也可以具有其他组件和结构。
处理器402可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元，并且可以控制计算设备400中的其它组件以执行期望的功能。
存储装置404可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器402可以运行所述程序指令，以实现上文所述的本公开的实施例的人脸识别装置的功能以及/或者其它期望的功能，并且/或者可以执行根据本发明实施例的视频中的人脸识别方法。在所述计算机可读存储介质中还可以存储各种应用程序和各种数据，例如与多帧图像中的目标人脸对应的多个特征向量、转换后的预定维度的特征向量、滑动窗口的大小及滑动路径、预定维度等等。
摄像头406用于拍摄待分析的视频，并且将所拍摄的视频存储在存储装置404中以供其它组件使用。当然，也可以利用其他拍摄设备拍摄所述视频，并且将拍摄的视频发送给计算设备400。在这种情况下，可以省略摄像头406。
输出装置408可以向外部(例如用户)输出各种信息，例如图像信息、声音信息、人脸识别结果，并且可以包括显示器、扬声器等中的一个或多个。
以上结合具体实施例描述了本公开的基本原理，但是，需要指出的是，在本公开中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本公开的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本公开为必须采用上述具体的细节来实现。
本公开中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。
另外，如在此使用的，在以“至少一个”开始的项的列举中使用的“或”指示分离的列举，以便例如“A、B或C的至少一个”的列举意味着A或B或C，或AB或AC或BC，或ABC(即A和B和C)。此外，措辞“示例的”不意味着描述的例子是优选的或者比其他例子更好。
还需要指出的是，在本公开的系统和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本公开的等效方案。
可以不脱离由所附权利要求定义的教导的技术而进行对在此所述的技术的各种改变、替换和更改。此外，本公开的权利要求的范围不限于以上所述的处理、机器、制造、事件的组成、手段、方法和动作的具体方面。可以利用与在此所述的相应方面进行基本相同的功能或者实现基本相同的结果的当前存在的或者稍后要开发的处理、机器、制造、事件的组成、手段、方法或动作。因而，所附权利要求包括在其范围内的这样的处理、机器、制造、事件的组成、手段、方法或动作。
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本公开。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本公开的范围。因此，本公开不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。
为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本公开的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (16)

1.一种视频中的人脸识别方法，包括：
对所述视频中的多帧图像中的目标人脸进行特征提取，以生成分别与所述多帧图像中的目标人脸对应的多个静态特征向量；
对所述多个静态特征向量进行时序特征提取，以将所述多个静态特征向量转换为一个预定维度的时序特征向量；
利用分类器对所述预定维度的时序特征向量进行判决，以识别所述视频中的多帧图像中的所述目标人脸。
2.如权利要求1所述的人脸识别方法，其中所述多帧图像是所述视频中连续的多帧图像。
3.如权利要求1所述的人脸识别方法，其中对所述视频中的多帧图像中的目标人脸进行特征提取以生成分别与所述多帧图像中的目标人脸对应的多个静态特征向量进一步包括：
对于所述多帧图像中的每一帧图像中的目标人脸采用相同的特征提取方法。
4.如权利要求3所述的人脸识别方法，其中对所述视频中的多帧图像中的目标人脸进行特征提取以生成分别与所述多帧图像中的目标人脸对应的多个静态特征向量进一步包括：
对于所述多帧图像中的每一帧图像，确定与目标人脸对应的人脸图像区域；
对该人脸图像区域进行所述特征提取，以生成与该帧图像中的目标人脸对应的一个静态特征向量。
5.如权利要求4所述的人脸识别方法，其中对该人脸图像区域进行所述特征提取以生成与该帧图像中的目标人脸对应的一个静态特征向量进一步包括：
利用滑动窗口在该人脸图像区域中进行滑动；
对于滑动到的每个位置中所包含的子图像区域，进行特征提取以生成与该子图像区域对应的静态特征向量；
将生成的多个特征向量合并为一个静态特征向量。
6.如权利要求1所述的人脸识别方法，其中对所述多个静态特征向量进行时序特征提取以将所述多个静态特征向量转换为一个预定维度的时序特征向量进一步包括：
对所述多个静态特征向量在时间维度上直接进行叠加；
对叠加得到特征向量进行维度归约以生成所述预定维度的时序特征向量。
7.如权利要求1所述的人脸识别方法，其中对所述多个静态特征向量进行时序特征提取以将所述多个静态特征向量转换为一个预定维度的时序特征向量进一步包括：
利用循环神经网络对所述多个静态特征向量进行时序特征提取，以将所述多个静态特征向量转换为所述预定维度的时序特征向量。
8.如权利要求1所述的人脸识别方法，其中所述预定维度是预先建立的人脸的特征向量库中的各特征向量的维度。
9.一种视频中的人脸识别装置，包括：
处理器；
存储器；和
存储在所述存储器中的计算机程序指令，在所述计算机程序指令被所述处理器运行时执行以下步骤：
对所述视频中的多帧图像中的目标人脸进行特征提取，以生成分别与所述多帧图像中的目标人脸对应的多个静态特征向量；
对所述多个静态特征向量进行时序特征提取，以将所述多个静态特征向量转换为一个预定维度的时序特征向量；
利用分类器对所述预定维度的时序特征向量进行判决，以识别所述视频中的多帧图像中的所述目标人脸。
10.如权利要求9所述的人脸识别装置，其中所述多帧图像是所述视频中连续的多帧图像。
11.如权利要求9所述的人脸识别装置，其中对所述视频中的多帧图像中的目标人脸进行特征提取以生成分别与所述多帧图像中的目标人脸对应的多个静态特征向量进一步包括：
对于所述多帧图像中的每一帧图像中的目标人脸采用相同的特征提取方法。
12.如权利要求11所述的人脸识别装置，其中对所述视频中的多帧图像中的目标人脸进行特征提取以生成分别与所述多帧图像中的目标人脸对应的多个静态特征向量进一步包括：
对于所述多帧图像中的每一帧图像，确定与目标人脸对应的人脸图像区域；
对该人脸图像区域进行所述特征提取，以生成与该帧图像中的目标人脸对应的一个静态特征向量。
13.如权利要求12所述的人脸识别装置，其中对该人脸图像区域进行所述特征提取以生成与该帧图像中的目标人脸对应的一个静态特征向量进一步包括：
利用滑动窗口在该人脸图像区域中进行滑动；
对于滑动到的每个位置中所包含的图像区域，进行特征提取以生成与该图像区域对应的静态特征向量；
将生成的多个静态特征向量合并为一个静态特征向量。
14.如权利要求9所述的人脸识别装置，其中对所述多个静态特征向量进行时序特征提取以将所述多个静态特征向量转换为一个预定维度的时序特征向量进一步包括：
对所述多个静态特征向量在时间维度上直接进行叠加；
对叠加得到特征向量进行维度规约以生成所述预定维度的时序特征向量。
15.如权利要求9所述的人脸识别装置，其中对所述多个静态特征向量进行时序特征提取以将所述多个静态特征向量转换为一个预定维度的时序特征向量进一步包括：
利用循环神经网络对所述多个静态特征向量进行时序特征提取，以将所述多个静态特征向量转换为所述预定维度的时序特征向量。
16.如权利要求9所述的人脸识别装置，其中所述预定维度是预先建立的人脸的特征向量库中的各特征向量的维度。
CN201511032506.1A 2015-12-31 2015-12-31 视频中的人脸识别方法和装置 Active CN105678250B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201511032506.1A CN105678250B (zh) 2015-12-31 2015-12-31 视频中的人脸识别方法和装置
US15/340,407 US10102421B2 (en) 2015-12-31 2016-11-01 Method and device for face recognition in video

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201511032506.1A CN105678250B (zh) 2015-12-31 2015-12-31 视频中的人脸识别方法和装置

Publications (2)

Publication Number Publication Date
CN105678250A CN105678250A (zh) 2016-06-15
CN105678250B true CN105678250B (zh) 2019-10-11

Family

ID=56298587

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201511032506.1A Active CN105678250B (zh) 2015-12-31 2015-12-31 视频中的人脸识别方法和装置

Country Status (2)

Country Link
US (1) US10102421B2 (zh)
CN (1) CN105678250B (zh)

Families Citing this family (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106203387A (zh) * 2016-07-21 2016-12-07 乐视控股（北京）有限公司 人脸验证方法及系统
CN106447625A (zh) * 2016-09-05 2017-02-22 北京中科奥森数据科技有限公司 基于人脸图像序列的属性识别方法及装置
CN106980811A (zh) * 2016-10-21 2017-07-25 商汤集团有限公司 人脸表情识别方法和人脸表情识别装置
CN106559654A (zh) * 2016-11-18 2017-04-05 广州炫智电子科技有限公司 一种人脸识别监控采集系统及其控制方法
CN106599837A (zh) * 2016-12-13 2017-04-26 北京智慧眼科技股份有限公司 基于多图像输入的人脸识别方法及装置
US20180232566A1 (en) * 2017-02-15 2018-08-16 Cisco Technology, Inc. Enabling face recognition in a cognitive collaboration environment
CN106934373A (zh) * 2017-03-14 2017-07-07 重庆文理学院 一种图书馆图书损坏评定方法及系统
US11869150B1 (en) 2017-06-01 2024-01-09 Apple Inc. Avatar modeling and generation
CN109101103B (zh) * 2017-06-21 2022-04-12 阿里巴巴集团控股有限公司 一种眨眼检测方法和装置
CA3034688C (en) * 2017-06-30 2021-11-30 Beijing Didi Infinity Technology And Development Co., Ltd. Systems and methods for verifying authenticity of id photo
CN109309808A (zh) * 2017-07-26 2019-02-05 梭维智能科技（深圳）有限公司 一种基于人脸识别的监控系统及方法
CN109308678B (zh) * 2017-07-28 2023-10-27 株式会社理光 利用全景图像进行重定位的方法、装置及设备
CN107295309A (zh) * 2017-07-29 2017-10-24 安徽博威康信息技术有限公司 一种基于多监控视频的目标人物锁定显示系统
CN107578017B (zh) * 2017-09-08 2020-11-17 百度在线网络技术（北京）有限公司 用于生成图像的方法和装置
CN107770487B (zh) * 2017-09-12 2020-06-16 深圳英飞拓科技股份有限公司 一种特征提取并优选的方法、系统及终端设备
CN108875494A (zh) * 2017-10-17 2018-11-23 北京旷视科技有限公司 视频结构化方法、装置、系统及存储介质
CN107729857B (zh) * 2017-10-26 2021-05-28 Oppo广东移动通信有限公司 人脸识别方法、装置、存储介质和电子设备
CN107844766A (zh) * 2017-10-31 2018-03-27 北京小米移动软件有限公司 人脸图像模糊度的获取方法、装置和设备
CN107832746A (zh) * 2017-12-01 2018-03-23 北京小米移动软件有限公司 表情识别方法及装置
CN108229330A (zh) * 2017-12-07 2018-06-29 深圳市商汤科技有限公司 人脸融合识别方法及装置、电子设备和存储介质
US10373332B2 (en) 2017-12-08 2019-08-06 Nvidia Corporation Systems and methods for dynamic facial analysis using a recurrent neural network
WO2019119449A1 (zh) * 2017-12-22 2019-06-27 深圳中兴力维技术有限公司 人脸图像特征融合处理方法、装置及设备、存储介质
WO2019127273A1 (zh) * 2017-12-28 2019-07-04 深圳市锐明技术股份有限公司 一种多人脸检测方法、装置、服务器、系统及存储介质
CN108062539A (zh) * 2017-12-30 2018-05-22 广州供电局有限公司 配电房安全管理方法和系统、计算机设备和存储介质
CN107958244B (zh) * 2018-01-12 2020-07-10 成都视观天下科技有限公司 一种基于视频多帧人脸特征融合的人脸识别方法及装置
EP3740898A4 (en) * 2018-01-19 2021-10-13 Board of Regents, The University of Texas System SYSTEMS AND PROCEDURES FOR EVALUATING THE ATTENTION AND EMOTIONAL ENGAGEMENT OF AN INDIVIDUAL, GROUP AND CROWD
CN108460335B (zh) * 2018-01-26 2022-05-27 百度在线网络技术（北京）有限公司 视频细粒度识别方法、装置、计算机设备及存储介质
CN108629753A (zh) * 2018-05-22 2018-10-09 广州洪森科技有限公司 一种基于循环神经网络的人脸图像恢复方法及装置
CN109190475B (zh) * 2018-08-01 2021-09-14 中国计量大学 一种人脸识别网络与行人再识别网络协同训练方法
CN109359536B (zh) * 2018-09-14 2020-07-28 华南理工大学 基于机器视觉的乘客行为监控方法
US11727724B1 (en) * 2018-09-27 2023-08-15 Apple Inc. Emotion detection
CN109359570A (zh) * 2018-09-30 2019-02-19 广东司法警官职业学院 一种视频人物鉴定的方法
CN109800661A (zh) * 2018-12-27 2019-05-24 东软睿驰汽车技术（沈阳）有限公司 一种道路识别模型训练方法、道路识别方法及装置
CN111382642A (zh) * 2018-12-29 2020-07-07 北京市商汤科技开发有限公司 人脸属性识别方法及装置、电子设备和存储介质
CN109492624A (zh) * 2018-12-29 2019-03-19 北京灵汐科技有限公司 一种人脸识别方法、特征提取模型的训练方法及其装置
CN111476838A (zh) * 2019-01-23 2020-07-31 华为技术有限公司 图像分析方法以及系统
CN110210194A (zh) * 2019-04-18 2019-09-06 深圳壹账通智能科技有限公司 电子合同显示方法、装置、电子设备及存储介质
CN110363081B (zh) * 2019-06-05 2022-01-11 深圳云天励飞技术有限公司 人脸识别方法、装置、设备及计算机可读存储介质
CN110321872B (zh) * 2019-07-11 2021-03-16 京东方科技集团股份有限公司 人脸表情识别方法及装置、计算机设备、可读存储介质
US11830182B1 (en) 2019-08-20 2023-11-28 Apple Inc. Machine learning-based blood flow tracking
CN110781842A (zh) * 2019-10-29 2020-02-11 深圳市商汤科技有限公司 图像处理方法及装置、电子设备和存储介质
CN112115790A (zh) * 2020-08-18 2020-12-22 北京嘀嘀无限科技发展有限公司 人脸识别方法、装置、可读存储介质和电子设备
CN112652032B (zh) * 2021-01-14 2023-05-30 深圳科亚医疗科技有限公司 器官的建模方法、图像分类装置和存储介质
CN112949495A (zh) * 2021-03-04 2021-06-11 安徽师范大学 一种基于大数据的智能识别系统
US11823490B2 (en) * 2021-06-08 2023-11-21 Adobe, Inc. Non-linear latent to latent model for multi-attribute face editing
WO2023038898A1 (en) * 2021-09-07 2023-03-16 Vizio, Inc. Methods and systems for detecting content within media streams
US20230244769A1 (en) * 2022-02-03 2023-08-03 Johnson Controls Tyco IP Holdings LLP Methods and systems for employing an edge device to provide multifactor authentication
US11496288B1 (en) * 2022-04-08 2022-11-08 Verkada Inc. Enhanced encryption for face-related data

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101604376A (zh) * 2008-10-11 2009-12-16 大连大学 基于hmm-svm混合模型的人脸识别方法
CN104361316A (zh) * 2014-10-30 2015-02-18 中国科学院自动化研究所 一种基于多尺度时序建模的维度情感识别方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5336995B2 (ja) * 2009-10-19 2013-11-06 キヤノン株式会社 特徴点位置決め装置、画像認識装置、その処理方法及びプログラム
US9047376B2 (en) * 2012-05-01 2015-06-02 Hulu, LLC Augmenting video with facial recognition
CN103514432B (zh) * 2012-06-25 2017-09-01 诺基亚技术有限公司 人脸特征提取方法、设备和计算机程序产品
CN104586398A (zh) * 2013-10-30 2015-05-06 广州华久信息科技有限公司 一种基于多传感器融合的老人跌倒检测方法及系统
WO2015180100A1 (en) 2014-05-29 2015-12-03 Beijing Kuangshi Technology Co., Ltd. Facial landmark localization using coarse-to-fine cascaded neural networks
WO2015192316A1 (en) 2014-06-17 2015-12-23 Beijing Kuangshi Technology Co., Ltd. Face hallucination using convolutional neural networks
CN110826530B (zh) 2014-11-15 2023-06-30 北京旷视科技有限公司 使用机器学习进行面部检测
CN104573652B (zh) * 2015-01-04 2017-12-22 华为技术有限公司 确定人脸图像中人脸的身份标识的方法、装置和终端

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101604376A (zh) * 2008-10-11 2009-12-16 大连大学 基于hmm-svm混合模型的人脸识别方法
CN104361316A (zh) * 2014-10-30 2015-02-18 中国科学院自动化研究所 一种基于多尺度时序建模的维度情感识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Complete neighborhood preserving embedding for face recognition;Yong Wang 等;《Pattern Recognition》;20101231;第2010卷(第43期);第1008页-1015页 *
基于复合特征向量提取的隐马尔可夫实时人脸识别算法;李辉 等;《小型微型计算机系统》;20080228;第29卷(第2期);第329页-332页 *

Also Published As

Publication number Publication date
US10102421B2 (en) 2018-10-16
US20170193286A1 (en) 2017-07-06
CN105678250A (zh) 2016-06-15

Similar Documents

Publication Publication Date Title
CN105678250B (zh) 视频中的人脸识别方法和装置
Levi et al. Age and gender classification using convolutional neural networks
Ghimire et al. Recognition of facial expressions based on salient geometric features and support vector machines
CN110889672B (zh) 一种基于深度学习的学生打卡及上课状态的检测系统
Zafaruddin et al. Face recognition using eigenfaces
Tang et al. View-independent facial action unit detection
Aslan et al. Multi-channel multi-model feature learning for face recognition
CN114241459B (zh) 一种驾驶员身份验证方法、装置、计算机设备及存储介质
Zhang et al. Facial action unit detection with local key facial sub-region based multi-label classification for micro-expression analysis
Boka et al. Person recognition for access logging
Rodríguez et al. Towards on-line sign language recognition using cumulative SD-VLAD descriptors
Shukla et al. Deep Learning Model to Identify Hide Images using CNN Algorithm
Tősér et al. Personalization of gaze direction estimation with deep learning
Caroppo et al. Facial expression recognition in ageing adults: A comparative study
Granda et al. Face recognition systems in math classroom through computer vision traditional techniques
Wang et al. Artificial aging of faces by support vector machines
Aulestia et al. Real-time face detection using artificial neural networks
Olaitan et al. Face recognition using VGG16 CNN architecture for enhanced security surveillance—a survey
Ma et al. Is a picture worth 1000 votes? Analyzing the sentiment of election related social photos
Nigam et al. Review of Facial Recognition Techniques
Sugianto et al. Indonesian dynamic sign language recognition at complex background with 2d convolutional neural networks
Yang et al. In-the-wild facial expression recognition in extreme poses
Wang et al. Face detection technology research based on AdaBoost algorithm and haar features
Nikisins et al. A mini-batch discriminative feature weighting algorithm for lbp-based face recognition
Pant et al. Deep Fake Detection using LSTM and Survey of Deep Fake Creation Technologies

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 100080 A, block 2, South Road, Haidian District Academy of Sciences, Beijing 316-318, China

Applicant after: Beijing maigewei Technology Co., Ltd.

Address before: 100080 A, block 2, South Road, Haidian District Academy of Sciences, Beijing 316-318, China

Applicant before: Beijing aperture Science and Technology Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant