CN109063626A - 动态人脸识别方法和装置 - Google Patents

动态人脸识别方法和装置 Download PDF

Info

Publication number
CN109063626A
CN109063626A CN201810842392.4A CN201810842392A CN109063626A CN 109063626 A CN109063626 A CN 109063626A CN 201810842392 A CN201810842392 A CN 201810842392A CN 109063626 A CN109063626 A CN 109063626A
Authority
CN
China
Prior art keywords
face
image
features
features point
current frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810842392.4A
Other languages
English (en)
Other versions
CN109063626B (zh
Inventor
林奕斌
胡伟韬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Jian Yi Science And Technology Co Ltd
Original Assignee
Shenzhen Jian Yi Science And Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Jian Yi Science And Technology Co Ltd filed Critical Shenzhen Jian Yi Science And Technology Co Ltd
Priority to CN201810842392.4A priority Critical patent/CN109063626B/zh
Publication of CN109063626A publication Critical patent/CN109063626A/zh
Application granted granted Critical
Publication of CN109063626B publication Critical patent/CN109063626B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification

Abstract

本发明公开了一种动态人脸识别方法和装置,该方法包括:将当前帧图像通过预定的卷积核计算窗口采样的图像;将采样的图像经过非线性激活函数映射后进行压缩得到压缩图像;将压缩图像转换为一维向量矩阵;根据一维向量矩阵判断当前帧图像是否是人脸图像;若当前帧图像是人脸图像,根据人脸五官分布特征将所述人脸图像分割为多个区域;分别将每区域的图像通过隐藏层的多个神经元进行学习得到每一区域图像对应的五官特征;根据不同区域图像对应的五官特征之间的联系将所有五官特征进行特征融合得到所述人脸图像对应的人脸特征。本发明的动态人脸识别方法可快速识别人脸,提高人脸特征提取的精确程度,算法准确度和效率优于当前同场景下的识别算法。

Description

动态人脸识别方法和装置
技术领域
本发明涉及人工智能技术领域,具体而言,涉及一种动态人脸识别方法和装置。
背景技术
人脸识别技术越来越多地应用到各个领域,例如网上支付领域、出入管理、边检、门禁考勤、计算机安全防范、公安犯罪逃犯智能报警及社保医保安全认证等,并且越来越成为许多研究机构及企业的热门研究方向。
现有的人脸识别技术往往基于肤色识别、特征提取及特征分类等等方法实现。然而这些方法均存在识别精度低、稳定性不足及识别速率慢等问题,难以应用到对安全性级别要求更高的应用场景中。
发明内容
本发明目的在于提出一种新的动态人脸识别方法和装置。
本发明的一个实施方案提供一种动态人脸识别方法,包括:
通过预定的卷积核对当前帧图像做卷积运算得到窗口采样图像的特征图;
将所述窗口采样图像的特征图经过非线性激活函数映射后进行压缩得到压缩图像的特征图;将所述压缩图像的特征图转换为一维向量矩阵;
根据所述一维向量矩阵判断所述当前帧图像是否是人脸正脸图像;
若所述当前帧图像是人脸正脸图像,根据人脸五官分布特征将所述人脸正脸图像分割为多个区域;
分别将每区域的图像通过隐藏层的多个神经元进行学习得到每一区域图像对应的五官特征;
根据不同区域图像对应的五官特征之间的联系将所有五官特征进行特征融合得到人脸图像对应的人脸特征。
在上述的动态人脸识别方法中,通过多进程方式同时对多张图像进行人脸识别及根据识别的人脸图像获取对应的人脸特征。
在上述的动态人脸识别方法中,所述通过预定的卷积核对当前帧图像做卷积运算得到窗口采样图像的特征图之前还包括:
将获取的当前帧图像进行预处理,所述预处理包括去均值、归一化、去相关或白化中的一种或几种。
在上述的动态人脸识别方法中,在识别所述当前帧图像是人脸正脸图像后,还包括:
将所述人脸图像的正脸五官特征点的坐标矩阵与当前帧之前的邻近帧图像中检测到的正脸五官特征点的坐标矩阵对比以求出位移向量矩阵;
根据所述位移向量矩阵确定人脸是否移动;
若人脸未移动,则根据检测出的人脸区域指定在下一帧中的检测范围;
若人脸移动,则用所述当前帧的正脸五官特征点的坐标矩阵更新存储器中的正脸五官特征点的坐标矩阵并根据所述位移向量矩阵和检测出的人脸区域指定在下一帧中的检测范围;
在下一帧中在所述检测范围内执行直至判断是否是人脸正脸图像的所有步骤。
在上述的动态人脸识别方法中,在第一帧图像中检测到正脸五官特征点时,将第一帧的五官特征点的坐标矩阵写入存储器中;在第一帧图像中未检测到所述正脸五官特征点时,在第二帧图像中检测所述正脸五官特征点。
在上述的动态人脸识别方法中,在所述当前帧图像不是人脸正脸图像时,则进行侧脸识别,并且将检测到的侧脸图像的五官特征点与邻近帧中检测到的正脸五官特征点进行关联,若检测到的侧脸图像的五官特征点与所述邻近帧中检测到的正脸五官特征点关联成功,则将该侧脸图像识别为当前帧的人脸图像;
若检测到的侧脸图像的五官特征点与所述邻近帧中检测到的正脸五官特征点关联不成功,舍弃当前帧的所述侧脸图像。
在上述的动态人脸识别方法中,将所述侧脸图像的五官特征点的坐标矩阵转换为正脸五官特征点的坐标矩阵,将转换后的坐标矩阵与所述邻近帧中检测到的正脸五官特征点的坐标矩阵进行匹配,若匹配度大于等于预定阈值,则所述侧脸图像的五官特征点与所述邻近帧中检测到的正脸五官特征点关联成功;若匹配度小于预定阈值,则所述侧脸图像的五官特征点与所述邻近帧中检测到的正脸五官特征点关联不成功。
在上述的动态人脸识别方法中,在识别当前帧图像是人脸图像后,还判断所述人脸图像是否为模糊图像,所述模糊图像包括特征点缺失的图像;
若所述人脸图像为模糊图像,舍弃当前帧的人脸图像。
在上述的动态人脸识别方法中,若所述当前帧图像不是模糊图像,执行根据人脸五官分布特征将所述人脸正脸图像分割为多个区域之后的所有步骤。
在上述的动态人脸识别方法中,若在所述当前帧图像不是人脸图像,对当前帧之后的所有帧图像进行人脸识别。
在上述的动态人脸识别方法中,在得到所述人脸特征后,还将所述人脸特征与预定的人脸模板的特征进行对比,及根据对比结果确定该人脸图像对应的身份信息。
在上述的动态人脸识别方法中,所述非线性映射函数为ReLU函数。
本发明的另一个实施方案提供一种动态人脸识别装置,包括:
运算模块,用于通过预定的卷积核对当前帧图像做卷积运算得到窗口采样图像的特征图;
压缩模块,用于将所述窗口采样图像的特征图经过非线性激活函数映射后进行压缩得到压缩图像的特征图;
转换模块,用于将所述压缩图像的特征图转换为一维向量矩阵;
判断模块,用于根据所述一维向量矩阵判断所述当前帧图像是否是人脸正脸图像;
分割模块,若所述当前帧图像是人脸正脸图像,所述分割模块用于根据人脸五官分布特征将所述人脸图像分割为多个区域;
学习模块,用于分别将每区域的图像通过隐藏层的多个神经元进行学习得到每一区域图像对应的五官特征;
特征融合模块,用于根据不同区域图像对应的五官特征之间的联系将所有五官特征进行特征融合得到人脸图像对应的人脸特征。
本发明的又一个实施方案提供一种摄像头,包括:动态人脸识别模块和存储有指令的存储模块,在所述动态人脸识别模块执行所述指令时实施上述动态人脸识别方法。
本发明的再一个实施方案提供一种计算机可读存储介质,该计算机存储介质中存储有计算机程序,所述计算机程序运行时使计算机执行权利要求1-8中任意一项所述的动态人脸识别方法。
本发明的一个实施方式的动态人脸识别方法可实时动态的识别人脸,提高人脸特征提取及识别的精确程度及算法执行效率,增加算法鲁棒性。
附图说明
为了更清楚地说明本发明的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对本发明保护范围的限定。
图1示出了本发明第一实施例提供的一种动态人脸识别方法的流程示意图。
图2a~图2c示出了本发明第二实施例提供的一种动态人脸识别方法的流程示意图。
图3示出了本发明实施例提供的一种动态人脸识别装置的结构示意图。
主要元件符号说明:
500-动态人脸识别装置;510-运算模块;520-压缩模块;530-转换模块;540-判断模块;550-分割模块;560-学习模块;570-特征融合模块。
具体实施方式
下面将结合本发明实施例中附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。
此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中,“多个”的含义是两个或两个以上,除非另有明确具体的限定。
本文中所用的术语“包含”、“包括”、“具有”、“含有”或其任何其它变形,意在覆盖非排它性的包括。例如,包含所列要素的组合物、步骤、方法、制品或装置不必仅限于那些要素,而是可以包括未明确列出的其它要素或此种组合物、步骤、方法、制品或装置所固有的要素。
通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
实施例1
图1中示出了本发明第一实施例提供的动态人脸识别方法的流程示意图。
在步骤S110中,通过预定的卷积核对当前帧图像做卷积运算得到窗口采样图像的特征图。
本实施例中,将所述当前帧图像通过卷积神经网络实现动态的人脸识别。在一些其他的实施例中,还可以通过其他网络模型实现人脸识别。
所述卷积神经网络包括预定数量的卷积层、池化层及全连接层。
其中,所述卷积层、所述池化层及所述全连接层的数量可根据具体的分类需求而定。
本实施例中,采用一个卷积层、一个池化层及两个全连接层的网络结构对人脸进行识别。在一些其他的实施例中,所述卷积神经网络还可以包括多个卷积层、池化层及全连接层,可根据实现的功能来设计所述卷积神经网络的网络结构。
将采集的图像流中的每一帧图像均送入卷积神经网络对人脸进行识别。
进一步地,可通过摄像头、录像机等成像装置采集用于人脸识别的图像流。
将要识别人脸的当前帧图像作为输入,送入循环神经网络的卷积层,每卷积层包括预定数量的神经元,每一层的神经元共享共同的权值,所述权值即卷积核。可选取所有帧图像的共同特征作为卷积核,根据该卷积核分别对要识别人脸的所有帧图像做卷积操作,提取符合条件的特征。
所述卷积核可为3×3或5×5大小的样本。
本实施例中,可将五官中每一部分的特征均作为卷积核,卷积核为3×3大小的样本,将从5个卷积核中学习到的特征作为探测器,对当前帧图像以窗口大小为3×3,步长为1进行滑动,通过一系列的卷积对应相乘将图像中符合条件的特征筛选出来,获得5幅窗口采样图像的特征图。该5幅特征图中,值越大表示与该卷积核特征关联度越大,值越小与该卷积核特征关联度越小。
值得注意的是,由于成像装置的分辨率,采集对象的姿态,采集对象与成像装置之间的距离等因素,导致采集的用于人脸识别的每一帧图像相同的几率很小,因此,选取相同的五官特征作为卷积核变得难度很大且不再适用。为了提高网络模型的泛化能力,需要提取出一个可以应用到不同待识别的人脸图像中的卷积核,来实现对不同采集对象、不同分辨率及不同姿态的图像进行人脸识别,提高网络模型的通用性。
为了获取可以应用到不同待识别的人脸图像中的卷积核,可通过初始化方法对卷积核进行赋予初始随机值,例如,通过随机小数矩阵对卷积核赋初值。通过成千上万的训练样本对该神经网络模型进行训练,每一次训练均可能对卷积核的值造成影响,根据每一训练对卷积核的值进行更新。本实施例中,可通过Backprop反向传播算法对所述神经网络模型进行训练,通过调整网络模型层数、结构等,直至模型的识别率及系统平均误差达到预定值,在模型的识别率及系统平均误差达到预定值时,停止对所述神经网络模型的训练,此时,该神经网络模型即可开始对采集的所有帧图像进行人脸识别了。
在卷积层,通过卷积核对当前帧图像进行卷积操作,以卷积核尺寸为窗口尺寸与当前帧图像进行局部连接,减少卷积层数据处理量。
进一步地,可通过多进程方式同时对多帧图像进行人脸识别。
这里的邻近帧指在当前帧之前并且与当前帧最接近的检测到正脸五官特征点的帧
在步骤S120中,将所述窗口采样图像的特征图经过非线性激活函数映射后进行压缩得到压缩图像的特征图。
本实施例中,所述非线性激活函数可以为ReLU函数。ReLU函数收敛较快,求取梯度比较简单。在一些其他的实施例中,所述非线性激活函数还可以为tanh函数、sigmoid函数等。
所述ReLU函数定义如下:
f(x)=max(0,x)
为了使后续处理的数据越来越少,算法处理速度更快,将步骤S110中获取的窗口采样图像经过该ReLU函数后,保留大于或等于0的特征,舍弃关联度比较小的数据。
将经过非线性映射后的特征图送入池化层进行压缩,减少特征图的数据量。
本实施例中,池化采用最大池化,取特征图中数据的最大值。在一些其他的实施例中,还可以采用平均池化等。
选取池化尺寸,以该池化尺寸为窗口尺寸,将该窗口以预定的步长在经过非线性映射后的特征图上进行滑动,每窗口选取最大值作为压缩图像的特征图中的该窗口对应的数据值。
在步骤S130中,将所述压缩图像的特征图转换为一维向量矩阵。
将步骤S120中计算的压缩图像的特征图送入全连接层进行分类,对特征图进行维度上的转换,将压缩图像的特征图转换为一维向量的矩阵
本实施例中,在全连接层,通过分类函数Softmax函数对压缩图像的特征图进行分类,输出为一个一维向量矩阵,该一维向量矩阵中每一个值为每个类别对应的概率值。
在步骤S140中,根据一维向量矩阵判断所述当前帧图像是否是人脸正脸图像。
该一维向量矩阵中,最大值对应的即为对当前帧图像进行人脸正脸识别的结果,若最大值对应的类别为人脸,则前进至步骤S150;若最大值对应的类别为非人脸,则前进至步骤S110,继续对当前帧之后的所有帧图像进行人脸识别。
例如,所述一维向量矩阵A=[0.97 0.03],表示该分类结果有两个类别,即人脸类别和非人脸类别。矩阵A中第一个值最大且对应的为人脸类别,因此判断对当前帧的识别结果为人脸正脸。
在步骤S150中,根据人脸五官分布特征将所述人脸正脸图像分割为多个区域。
在当前帧图像中识别出人脸后,根据人脸五官分布特征可将人脸图像分割为眉毛区域、眼睛区域、鼻子区域、嘴巴区域及耳朵区域等。
进一步的,还可将眉毛区域具体分为左眉毛区域及右眉毛区域,将眼睛区域具体分为左眼睛区域及右眼睛区域。
本实施例中,将识别出的人脸图像分割为眉毛区域、左眼睛区域、右眼睛区域、鼻子区域及嘴巴区域。
在步骤S160中,分别将每区域的图像通过隐藏层的多个神经元进行学习得到每一区域图像对应的五官特征。
将分割的每区域的图像作为输入,送入循环神经网络。该循环神经网络包括预定数量的隐藏层,每一隐藏层包括多个神经元节点,每一隐藏层的所有神经元节点之间均可连接。
本实施例中,所述循环神经网络的隐藏层的个数可为1层,根据该循环神经网络所依赖的当前帧之前所有帧的隐藏层状态可将该隐藏层进行展开,即可变为多层的网络。具体可根据应用需求进行设定。
所述隐藏层中的多个神经元根据当前的输入的每个区域图像及所述循环神经网络在处理当前帧的前一帧的隐藏状态,对输入的每个区域图像进行学习,得到该区域图像对应的五官特征。
本实施例中,所述隐藏状态可通过以下方式得到:
St=f(W1Xt+W2St-1)
其中,f为非线性的激活函数,如tanh或ReLU等,W1为输入层到隐藏层之间的权值,W2为隐藏层到输出层之间的权值,Xt为t时刻的输入,St-1为t-1时刻的隐藏层的状态,即该隐藏层的记忆。
在计算当前帧图像St时,往往需要用到其前面所有帧的隐藏层状态。本实施例中,为了减少网络模型的复杂度,可只包含当前帧的前一帧图像的隐藏层状态St-1
在循环神经网络对每个区域的图像进行学习之前,每个区域图像还用于转换成计算机能识别的符号,将该图像进行数值化。
本实施例中,可通过BackProp反向传播算法对该循环神经网络进行训练。在一些其他的实施例中,还可通过其他算法对该循环神经网络进行训练。
在步骤S170中,根据不同区域图像对应的五官特征之间的联系将所有五官特征进行特征融合得到所述人脸图像对应的人脸特征。
本实施例中,通过基于贝叶斯决策论的算法对所有区域的五官特征进行融合。在一些其他的实施例中,还可以通过基于稀疏表示理论的算法、基于深度学习的算法等对所有区域的五官特征进行融合。
根据不同区域图像对应的五官特征之间的联系,通过特征融合算法将不同的特征信息融合到一起,去冗余,得到该人脸图像对应的人脸特征。
实施例2
图2a~图2c示出了本发明第二实施例提供的一种动态人脸识别方法的流程示意图。该方法包括:
在步骤S210中,将获取的当前帧图像进行预处理。
通过对当前帧图像进行预处理,将图像转换为同样的可被计算机进行处理的格式,将图像幅度归一化到同样的范围,减少各维度数据取值范围的差异而带来的干扰。
所述预处理包括去均值、归一化、去相关或白化中的一种或几种。
在步骤S220中,通过预定的卷积核对当前帧图像做卷积运算得到窗口采样图像的特征图。
在步骤S230中,将窗口采样图像的特征图经过非线性激活函数映射后进行压缩得到压缩图像的特征图。
在步骤S240中,将压缩图像的特征图转换为一维向量矩阵。
在步骤S250中,根据一维向量矩阵判断所述当前帧图像是否是人脸正脸图像。
若当前帧图像不是人脸正脸图像,前进至步骤S210,继续对当前帧之后的所有帧图像进行人脸识别;若当前帧图像是人脸正脸图像,前进至步骤S310,同时前进至步骤S260。
在步骤S260中,将人脸图像正脸五官特征点的坐标矩阵与当前帧之前的临近帧图像中检测到的正脸五官特征点的坐标矩阵对比求出位移向量矩阵。
例如,将作为当前帧的第N帧图像中检测到的正脸五官特征点的坐标矩阵与第N-1帧图像中检测到的正脸五官特征点的坐标矩阵对比,通过正交求解得到位移向量矩阵。这里N是大于等于2的整数,即可以从第二帧图像起与之前的帧中检测到的正脸五官特征点的坐标矩阵进行对比。若在第N-1帧中未检测到正脸五官特征点,则利用第N-2帧中检测到的正脸五官特征点进行对比,依次类推。因此,这里的邻近帧指在当前帧之前并且与当前帧最接近的检测到正脸五官特征点的帧。五官特征点可以包括眉毛、眼睛、鼻子、嘴巴和脸型轮廓的特征点。
人脸特征点检测可以采用ASM算法。ASM算法可以利用ASMLibrary、asmlib-opencv、stasm等工具包。
人脸特征点检测也可以利用深度学习来实现,而且效果更优。深度学习主要用来做分类(classification)和回归(regression),特征点检测就是回归问题,将每个特征点坐标(x,y)作为连续变量,多个特征点就代表多类回归。
对于第一帧图像,直接进行五官特征点的检测,并且将检测出的五官特征点的坐标矩阵记录在存储器中,例如写入缓存;若在第一帧图像中未检测到五官特征点时,继续对作为下一帧的第二帧图像检测五官特征点,将随后第一次检测到的五官特征点的坐标矩阵写入缓存作为初始矩阵。只有在记录有初始矩阵的情况下,才在之后进行坐标矩阵的对比计算。
在步骤S270中,根据位移向量矩阵判断人脸是否移动。
可以直接利用位移向量矩阵来判断人脸是否移动,但是为了增强判断的准确性,可以预设作为阈值集合的五官特征点位移矩阵来进行判断。例如,可将位移向量矩阵与预设的五官特征点位移矩阵比较以确定人脸是否移动,若超过作为阈值的五官特征点位移矩阵,则判断人脸移动,若未超过该阈值,则判断人脸未移动。
五官特征点位移矩阵与位移向量矩阵同维度,五官采样点的相对位置是固定的,同一张人脸,同一个采样点的距离差就是位移差,作为位移差矩阵的五官特征点位移矩阵就是判断移动距离的阈值集合,可通过实验室数据来设定。
在步骤S280中,用当前帧的正脸五官特征点的坐标矩阵更新存储器中的正脸五官特征点的坐标矩阵并根据位移向量矩和检测出的人脸区域指定在下一帧中的检测范围。
若在步骤S270中确定人脸存在移动,则可以根据所述位移向量矩阵和检测出的人脸区域指定在下一帧中的检测范围。
可以根据位移向量矩阵判断人脸的移动方向(例如可以是上、下、左、右、左上、左下、右上和右下一共八个方向)和移动速度,结合已经检测出的人脸区域,可以指定下一帧的检测区域。由此,在下一帧中优选在预测的检测区域中进行人脸检索,由此,可以显著降低搜索计算量,从而大大提升人脸搜索的效率。
此外,可以记录当前帧的五官特征点的坐标矩阵,例如可以写入缓存中替换之前帧的五官特征点的坐标矩阵。
在步骤S290中,根据检测出的人脸区域指定在下一帧中的检测范围。
若在步骤270中确定人脸未移动,则可以根据检测出的人脸区域指定在下一帧中的检测范围。
例如,由于人脸未移动,则预测在下一帧中也没有移动,因此,可以将下一帧的检测范围直接指定为当前帧中的人脸区域。由此,可以著降低搜索计算量,从而大大提升人脸搜索的效率。此外,也可以将检测范围设定为比检测出的人脸区域稍大(大于一预设阈值)的区域,此时,同样可以大大减少搜索计算量。
在确定人脸未移动的情况下,可以不用更新当前帧的五官特征点的坐标矩阵。当然,即使在判断人脸未移动的情况下,当前帧的五官特征点的坐标矩阵也可能与之前帧的相应坐标矩阵有微小差别,因此,也可以更新缓存中的五官特征点的坐标矩阵。
在步骤S300中,在下一帧中的所述检测范围内进行检测。
在判断出下一帧的检测范围后,根据该检测范围对下一帧图像中的人脸范围进行预测。
在步骤S310中,判断人脸图像是否为模糊图像。
可以直接利用人脸图像中的特征点的个数来判断人脸是否移动,为了增强判断的准确性,可通过预设的特征点个数阈值来进行判断。例如,可将人脸图像中特征点个数与预设的特征点个数阈值进行比较以确定人脸是否模糊,若超过所述阈值,则判断人脸图像不模糊,前进至步骤S320;若未超过该阈值,则判断人脸模糊,前进至步骤S330。
在步骤S320中,判断当前帧图像是否能检测到正脸。
在检测到的当前帧图像不模糊后,还判断当前帧图像是否能检测到正脸的特征点信息。例如,在检测的五官特征点信息时,检测到的五官特征点信息是否全面,例如,是否包括全部五官特征点信息,若包括全部五官特征点信息,则能检测到正脸,前进至步骤S420;若检测到的五官特征点只包含部分五官特征点的信息,如右眉毛、右眼睛等,则不能检测到正脸,前进至步骤S340。
在步骤S330中,舍弃当前帧的人脸图像。
在步骤S340中,进行侧脸识别。
在当前帧图像中未检测到所述正脸五官特征点时,可进行侧脸识别,并且将检测到的侧脸图像与所述邻近帧中检测到的正脸五官特征点进行关联。
在步骤S350中,将侧脸图像的五官特征点的坐标矩阵转换为正脸五官特征点的坐标矩阵。
在关联时,可通过等变映射方法在正脸和侧脸之间建立联系,将侧脸图像的五官特征点的坐标矩阵转换为正脸五官特征点的坐标矩阵。
在步骤S360中,将转换后的坐标矩阵与临近帧中检测到的正脸五官特征点的坐标矩阵进行匹配。
例如,在第N帧图像中检测未检测到所述正脸五官特征点时,则进行侧脸检测,并且将检测到的侧脸图像转换为正脸五官特征点的坐标矩阵,将该转换后的坐标矩阵与第N-1帧中检测到的正脸五官特征点的坐标矩阵进行匹配。若在第N-1帧中未检测到正脸五官特征点,则利用第N-2帧中检测到的正脸五官特征点的坐标矩阵进行匹配,依次类推。可将转换为正脸信息后的每一点的坐标分别与的临近帧中检测到的正脸五官特征点的坐标分别进行匹配,建立映射关系,由此能有效提升识别率。
在步骤S370中,判断匹配度是否大于或等于预定阈值。
进一步地,所述匹配度可通过匹配成功的特征点的个数与所有进行匹配的特征点的个数的比值进行描述。
若匹配度大于等于预定阈值,则认为侧脸五官特征点与临近帧中检测到的正脸五官特征点关联成功,前进至步骤S380;若匹配度小于预定阈值,则认为侧脸五官特征点与临近帧中检测到的正脸五官特征点关联不成功,前进至步骤S400。侧脸识别作为线下场景的补充算法,在正脸识别不到的情况下,与正脸识别相结合可提升整体识别率。
侧脸识别获取耳朵特征点以及五官特征点(包括眉毛、眼睛、鼻子、嘴巴和脸型轮廓中的至少一种的特征点)。侧脸识别可以采用传统的侧脸识别算法。也可以利用机器学习生成测量检测模型,即机器学习大量的侧脸数据后产生检测模型来进行侧脸特征点检测。
在步骤S380中,侧脸五官特征点与临近帧中检测到的正脸五官特征点关联成功。
在步骤S390中,将侧脸图像识别为当前帧的人脸图像。
当侧脸五官特征点与临近帧中检测到的正脸五官特征点关联成功后,将侧脸图像识别为当前帧的人脸信息。
在步骤S400中,侧脸五官特征点与临近帧中检测到的正脸五官特征点关联不成功。
在步骤S410中,舍弃当前帧的侧脸图像。
若侧脸五官特征点与临近帧中检测到的正脸五官特征点关联不成功,舍弃当前帧的侧脸图像,进而进行下一帧图像的人脸识别。
在步骤S420中,根据人脸五官分布特征将所述人脸图像分割为多个区域。
在步骤S430中,分别将每区域的图像通过隐藏层的多个神经元进行学习得到每一区域对应的五官特征。
在步骤S440中,根据不同区域图像对应的五官特征之间的联系将所有五官特征进行特征融合得到所述人脸图像对应的人脸特征。
在步骤S450中,判断人脸特征与预定的人脸模板的特征是否一致。
本实施例中,可通过将步骤S440中获取的人脸特征与预定的人脸模板的特征之间的相似度判断人脸特征与预定的人脸模板的特征是否一致,若所述相似度大于或等于预定的相似度阈值,则认为当前帧的人脸特征与预先存储的人脸模板特征一致,认为该人员为已注册人员,前进至步骤S460;若所述相似度小于预定的相似度阈值,则认为当前帧的人脸特征与预先存储的人脸模板特征不一致,认为该人员为陌生人,前进至步骤S470。
在步骤S460中,注册人员。
在步骤S470中,陌生人。
进一步地,通过多进程方式同时对多张图像进行人脸识别及根据识别的人脸图像获取对应的人脸特征。
多人脸的动态捕捉和实时处理能力仍然是现有的人脸识别产品的瓶颈,已有的人脸识别技术都是基于CNN(卷积神经网络)的改造算法,检测精度不高,本实施例通过CNN和RNN(循环神经网络)相结合的方式,在进行人脸识别的同时提取人脸的特征,提高人脸识别及人脸特征提取的精度,使基于该人脸特征的后续应用准确度越高;基于单张图片的技术,无法同时处理多张图片。通过多进程方式可同时处理多张图像,对多张图像中的人脸进行识别,大大加快图像流的识别速度,使针对该图像流进行人脸识别的实时性更强,提高识别对象的舒适度,以应用到对实时性要求较高的人脸识别技术领域。
实施例3
图3中示出了本发明实施例提出的一种动态人脸识别装置的结构示意图。该动态人脸识别装置500对应于实施例1中的动态人脸识别方法,实施例1中的任何可选项也适用于本实施例,这里不再详述。
该动态人脸识别装置500包括:运算模块510、压缩模块520、转换模块530、判断模块540、分割模块550、学习模块560及特征融合模块570。
运算模块510,用于通过预定的卷积核对当前帧图像做卷积运算得到窗口采样图像的特征图。
压缩模块520,用于将所述窗口采样图像的特征图经过非线性激活函数映射后进行压缩得到压缩图像的特征图。
转换模块530,用于将所述压缩图像的特征图转换为一维向量矩阵。
判断模块540,用于根据所述一维向量矩阵判断所述当前帧图像是否是人脸正脸图像。
分割模块550,若所述当前帧图像是人脸正脸图像,所述分割模块用于根据人脸五官分布特征将所述人脸正脸图像分割为多个区域。
学习模块560,用于分别将每区域的图像通过隐藏层的多个神经元进行学习得到每一区域图像对应的五官特征。
特征融合模块570,用于根据不同区域图像对应的五官特征之间的联系将所有五官特征进行特征融合得到所述人脸图像对应的人脸特征。
本发明的实施方式还提供一种摄像头,包括:动态人脸识别模块和存储有指令的存储模块,在所述动态人脸识别模块执行所述指令时上述动态人脸识别方法。可在硬件配置不高的情况下,例如应用于摄像头时,也支持多人多帧同时识别,而且可以针对每一帧都进行识别。嵌入在硬件设备上,在不需要强大硬件配置的情况下,准确度和算法效率优于当前同场景下的识别算法,由于算法部署在摄像头而非服务器,不会有网络延时或者断网的问题,单位时间处理的视频帧数据高于比服务器算法。
存储模块可包括存储程序区和存储数据区,其中,存储程序区可存储操作系统和至少一个功能所需的应用程序;存储数据区可存储根据摄像头的使用所创建的数据等。此外,存储器可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
本实施例还提供一种计算机可读存储介质,其存储有上述摄像头中所使用的指令,在所述指令被执行时实施上述的动态人脸识别方法。
在本发明所提供的几个实施例中,应该理解到,所揭露的装置和方法,也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,附图中的流程图和结构图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。
也应当注意,在作为替换的实现方式中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,结构图和/或流程图中的每个方框、以及结构图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
另外,在本发明各个实施例中的各功能模块或单元可以集成在一起形成一个独立的部分,也可以是各个模块单独存在,也可以两个或更多个模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是智能手机、个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种动态人脸识别方法,其特征在于,包括:
通过预定的卷积核对当前帧图像做卷积运算得到窗口采样图像的特征图;
将所述窗口采样图像的特征图经过非线性激活函数映射后进行压缩得到压缩图像的特征图;将所述压缩图像的特征图转换为一维向量矩阵;
根据所述一维向量矩阵判断所述当前帧图像是否是人脸正脸图像;
若所述当前帧图像是人脸正脸图像,根据人脸五官分布特征将所述人脸正脸图像分割为多个区域;
分别将每区域的图像通过隐藏层的多个神经元进行学习得到每一区域图像对应的五官特征;
根据不同区域图像对应的五官特征之间的联系将所有五官特征进行特征融合得到人脸图像对应的人脸特征。
2.根据权利要求1所述的动态人脸识别方法,其特征在于,通过多进程方式同时对多张图像进行人脸识别及根据识别的人脸图像获取对应的人脸特征。
3.根据权利要求1所述的动态人脸识别方法,其特征在于,在识别所述当前帧图像是人脸正脸图像后,还包括:
将所述人脸图像的正脸五官特征点的坐标矩阵与当前帧之前的邻近帧图像中检测到的正脸五官特征点的坐标矩阵对比以求出位移向量矩阵;
根据所述位移向量矩阵确定人脸是否移动;
若人脸未移动,则根据检测出的人脸区域指定在下一帧中的检测范围;
若人脸移动,则用所述当前帧的正脸五官特征点的坐标矩阵更新存储器中的正脸五官特征点的坐标矩阵并根据所述位移向量矩阵和检测出的人脸区域指定在下一帧中的检测范围;
在下一帧中在所述检测范围内执行直至判断是否是人脸正脸图像的所有步骤。
4.根据权利要求1所述的动态人脸识别方法,其特征在于,在所述当前帧图像不是人脸正脸图像时,则进行侧脸识别,并且将检测到的侧脸图像的五官特征点与邻近帧中检测到的正脸五官特征点进行关联,若检测到的侧脸图像的五官特征点与所述邻近帧中检测到的正脸五官特征点关联成功,则将该侧脸图像识别为当前帧的人脸图像;
若检测到的侧脸图像的五官特征点与所述邻近帧中检测到的正脸五官特征点关联不成功,舍弃当前帧的所述侧脸图像。
5.根据权利要求4所述的动态人脸识别方法,其特征在于,将所述侧脸图像的五官特征点的坐标矩阵转换为正脸五官特征点的坐标矩阵,将转换后的坐标矩阵与所述邻近帧中检测到的正脸五官特征点的坐标矩阵进行匹配,若匹配度大于等于预定阈值,则所述侧脸图像的五官特征点与所述邻近帧中检测到的正脸五官特征点关联成功;若匹配度小于预定阈值,则所述侧脸图像的五官特征点与所述邻近帧中检测到的正脸五官特征点关联不成功。
6.根据权利要求1所述的动态人脸识别方法,其特征在于,在识别当前帧图像是人脸图像后,还判断所述人脸图像是否为模糊图像,所述模糊图像包括特征点缺失的图像;
若所述人脸图像为模糊图像,舍弃当前帧的人脸图像。
7.根据权利要求1所述的动态人脸识别方法,其特征在于,在得到所述人脸特征后,还将所述人脸特征与预定的人脸模板的特征进行对比,及根据对比结果确定该人脸图像对应的身份信息。
8.根据权利要求1所述的动态人脸识别方法,其特征在于,所述非线性映射函数为ReLU函数。
9.一种动态人脸识别装置,其特征在于,包括:
运算模块,用于通过预定的卷积核对当前帧图像做卷积运算得到窗口采样图像的特征图;
压缩模块,用于将所述窗口采样图像的特征图经过非线性激活函数映射后进行压缩得到压缩图像的特征图;
转换模块,用于将所述压缩图像的特征图转换为一维向量矩阵;
判断模块,用于根据所述一维向量矩阵判断所述当前帧图像是否是人脸正脸图像;
分割模块,若所述当前帧图像是人脸正脸图像,所述分割模块用于根据人脸五官分布特征将所述人脸图像分割为多个区域;
学习模块,用于分别将每区域的图像通过隐藏层的多个神经元进行学习得到每一区域图像对应的五官特征;
特征融合模块,用于根据不同区域图像对应的五官特征之间的联系将所有五官特征进行特征融合得到人脸图像对应的人脸特征。
10.一种计算机可读存储介质,其特征在于,该计算机存储介质中存储有计算机程序,所述计算机程序运行时使计算机执行权利要求1-8中任意一项所述的动态人脸识别方法。
CN201810842392.4A 2018-07-27 2018-07-27 动态人脸识别方法和装置 Active CN109063626B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810842392.4A CN109063626B (zh) 2018-07-27 2018-07-27 动态人脸识别方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810842392.4A CN109063626B (zh) 2018-07-27 2018-07-27 动态人脸识别方法和装置

Publications (2)

Publication Number Publication Date
CN109063626A true CN109063626A (zh) 2018-12-21
CN109063626B CN109063626B (zh) 2020-11-03

Family

ID=64835743

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810842392.4A Active CN109063626B (zh) 2018-07-27 2018-07-27 动态人脸识别方法和装置

Country Status (1)

Country Link
CN (1) CN109063626B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110119673A (zh) * 2019-03-27 2019-08-13 广州杰赛科技股份有限公司 无感人脸考勤方法、装置、设备及存储介质
CN110244775A (zh) * 2019-04-29 2019-09-17 广州市景沃电子有限公司 基于移动设备夹持云台的自动跟踪方法及装置
CN110852254A (zh) * 2019-11-08 2020-02-28 杭州网易云音乐科技有限公司 人脸关键点跟踪方法、介质、装置和计算设备
WO2020233427A1 (zh) * 2019-05-17 2020-11-26 北京京东尚科信息技术有限公司 目标的特征的确定方法和装置
CN113434227A (zh) * 2021-06-18 2021-09-24 深圳掌酷软件有限公司 锁屏壁纸切换方法、装置、设备及存储介质
CN114616834A (zh) * 2019-08-16 2022-06-10 谷歌有限责任公司 用于视频通话的基于面容的帧封装

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102722699A (zh) * 2012-05-22 2012-10-10 湖南大学 基于多尺度韦伯局部特征和核组稀疏表示的人脸识别方法
CN103218606A (zh) * 2013-04-10 2013-07-24 哈尔滨工程大学 一种基于人脸均值和方差能量图的多姿态人脸识别方法
CN105320950A (zh) * 2015-11-23 2016-02-10 天津大学 一种视频人脸活体检测方法
CN105354565A (zh) * 2015-12-23 2016-02-24 北京市商汤科技开发有限公司 基于全卷积网络人脸五官定位与判别的方法及系统
CN105718050A (zh) * 2016-01-14 2016-06-29 深圳市商汤科技有限公司 一种实时的人脸交互方法及其系统
CN105868769A (zh) * 2015-01-23 2016-08-17 阿里巴巴集团控股有限公司 图像中的人脸关键点定位方法及装置
US9852364B2 (en) * 2014-03-19 2017-12-26 Hulu, LLC Face track recognition with multi-sample multi-view weighting

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102722699A (zh) * 2012-05-22 2012-10-10 湖南大学 基于多尺度韦伯局部特征和核组稀疏表示的人脸识别方法
CN103218606A (zh) * 2013-04-10 2013-07-24 哈尔滨工程大学 一种基于人脸均值和方差能量图的多姿态人脸识别方法
US9852364B2 (en) * 2014-03-19 2017-12-26 Hulu, LLC Face track recognition with multi-sample multi-view weighting
CN105868769A (zh) * 2015-01-23 2016-08-17 阿里巴巴集团控股有限公司 图像中的人脸关键点定位方法及装置
CN105320950A (zh) * 2015-11-23 2016-02-10 天津大学 一种视频人脸活体检测方法
CN105354565A (zh) * 2015-12-23 2016-02-24 北京市商汤科技开发有限公司 基于全卷积网络人脸五官定位与判别的方法及系统
CN105718050A (zh) * 2016-01-14 2016-06-29 深圳市商汤科技有限公司 一种实时的人脸交互方法及其系统

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110119673A (zh) * 2019-03-27 2019-08-13 广州杰赛科技股份有限公司 无感人脸考勤方法、装置、设备及存储介质
CN110244775A (zh) * 2019-04-29 2019-09-17 广州市景沃电子有限公司 基于移动设备夹持云台的自动跟踪方法及装置
WO2020233427A1 (zh) * 2019-05-17 2020-11-26 北京京东尚科信息技术有限公司 目标的特征的确定方法和装置
CN114616834A (zh) * 2019-08-16 2022-06-10 谷歌有限责任公司 用于视频通话的基于面容的帧封装
CN110852254A (zh) * 2019-11-08 2020-02-28 杭州网易云音乐科技有限公司 人脸关键点跟踪方法、介质、装置和计算设备
CN113434227A (zh) * 2021-06-18 2021-09-24 深圳掌酷软件有限公司 锁屏壁纸切换方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN109063626B (zh) 2020-11-03

Similar Documents

Publication Publication Date Title
Wang et al. Depth pooling based large-scale 3-d action recognition with convolutional neural networks
Reddy et al. Spontaneous facial micro-expression recognition using 3D spatiotemporal convolutional neural networks
CN109063626A (zh) 动态人脸识别方法和装置
Vyas et al. Survey on face expression recognition using CNN
Yan et al. Multi-attributes gait identification by convolutional neural networks
CN109409198A (zh) Au检测模型训练方法、au检测方法、装置、设备及介质
CN112784763B (zh) 基于局部与整体特征自适应融合的表情识别方法及系统
CN109002755B (zh) 基于人脸图像的年龄估计模型构建方法及估计方法
CN106485214A (zh) 一种基于卷积神经网络的眼睛和嘴部状态识别方法
Caroppo et al. Comparison between deep learning models and traditional machine learning approaches for facial expression recognition in ageing adults
Manttari et al. Interpreting video features: A comparison of 3D convolutional networks and convolutional LSTM networks
Julina et al. Facial emotion recognition in videos using hog and lbp
Das et al. Deep-temporal lstm for daily living action recognition
Borgalli et al. Deep learning for facial emotion recognition using custom CNN architecture
Archana et al. Real time face detection and optimal face mapping for online classes
Kumar et al. Artificial Emotional Intelligence: Conventional and deep learning approach
Cohen Event-based feature detection, recognition and classification
Clawson et al. Human centric facial expression recognition
Costache et al. Facial expression detection by combining deep learning neural networks
Jaison et al. A review on facial emotion recognition and classification analysis with deep learning
Moran Classifying emotion using convolutional neural networks
CN106803080B (zh) 一种基于形状玻尔兹曼机的补全式行人检测方法
CN113128289B (zh) 人脸识别的特征提取计算方法及设备
Ahmadvand et al. Estimating Conformity of Head Yaw to the ICAO Standard using a Convolutional Neural Network
Shah Automatic human face texture analysis for age and gender recognition

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant