CN110490065B - 人脸识别方法及装置、存储介质、计算机设备 - Google Patents

人脸识别方法及装置、存储介质、计算机设备 Download PDF

Info

Publication number
CN110490065B
CN110490065B CN201910625526.1A CN201910625526A CN110490065B CN 110490065 B CN110490065 B CN 110490065B CN 201910625526 A CN201910625526 A CN 201910625526A CN 110490065 B CN110490065 B CN 110490065B
Authority
CN
China
Prior art keywords
picture
face
key point
sample
identified
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910625526.1A
Other languages
English (en)
Other versions
CN110490065A (zh
Inventor
张国辉
雷晨雨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN201910625526.1A priority Critical patent/CN110490065B/zh
Publication of CN110490065A publication Critical patent/CN110490065A/zh
Application granted granted Critical
Publication of CN110490065B publication Critical patent/CN110490065B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Abstract

本申请公开了一种人脸识别方法及装置、存储介质、计算机设备，该方法包括：获取人脸样本图片以及对应的图片标签，其中，图片标签包括人脸正面图片标签、人脸侧面图片标签以及非人脸图片标签；从人脸样本图片中提取出关键点HOG特征；根据图片标签将人脸样本图片分为人脸正面样本集及人脸侧面样本集，并根据人脸正面样本集以及人脸侧面样本集中人脸样本图片对应的关键点HOG特征，分别训练人脸正面图片识别模型以及人脸侧面图片识别模型；利用训练后的人脸正面图片识别模型以及人脸侧面图片识别模型，对待识别视频文件进行人脸识别。本申请解决了在人存在转身等动作时容易造成人脸跟踪终止的问题，提高了人脸识别和人脸跟踪的准确率。

Description

人脸识别方法及装置、存储介质、计算机设备
技术领域
本申请涉及图像识别技术领域，尤其是涉及到一种人脸识别方法及装置、存储介质、计算机设备。
背景技术
近年来，随着计算机科学在人机交互领域的快速发展，作为人脸信息处理中的一项关键技术，人脸跟踪技术在模式识别与计算机视觉领域受到普遍重视。人脸跟踪技术利用人脸在视频帧中所具有的特征，来实现人脸在不同视频帧中的定位，进而实现人脸跟踪。
目前的人脸跟踪对正脸图像的跟踪效果较好，但是当人存在转身等只能显示侧脸的动作时容易造成人脸跟踪终止，也就是说，对侧脸、正脸交替存在的视频帧的人脸跟踪效果不佳。
发明内容
有鉴于此，本申请提供了一种人脸识别方法及装置、存储介质、计算机设备，解决了在人存在转身等动作时容易造成人脸跟踪终止的问题，提高了人脸识别和人脸跟踪的准确率。
根据本申请的一个方面，提供了一种人脸识别方法，其特征在于，包括：
获取人脸样本图片以及对应的图片标签，其中，所述图片标签包括人脸正面图片标签、人脸侧面图片标签以及非人脸图片标签；
从所述人脸样本图片中提取出关键点HOG特征；
根据所述图片标签将人脸样本图片分为人脸正面样本集及人脸侧面样本集，并根据所述人脸正面样本集以及所述人脸侧面样本集中所述人脸样本图片对应的所述关键点HOG特征，分别训练人脸正面图片识别模型以及人脸侧面图片识别模型；
利用训练后的所述人脸正面图片识别模型以及所述人脸侧面图片识别模型，对待识别视频文件进行人脸识别。
具体地，所述从所述人脸样本图片中提取出关键点HOG特征，具体包括：
根据预设标准人脸关键点坐标，从所述人脸样本图片中提取出标准关键点HOG特征；
基于所述标准关键点HOG特征，计算所述人脸样本图片对应的实际关键点坐标；
利用所述实际关键点坐标，从所述人脸样本图片中提取出所述关键点HOG特征。
具体地，所述根据预设标准人脸关键点坐标，从所述人脸样本图片中提取出标准关键点HOG特征，具体包括：
根据所述预设标准人脸关键点坐标，从所述人脸样本图片中截取预设尺寸的关键点图片，并结合预设滑动步长以及预设细胞单元尺寸确定所述关键点图片对应的多个细胞单元；
分别计算所述关键点图片中每个像素点的梯度强度和梯度方向；
根据所述梯度强度以及所述梯度方向，分别计算每个所述细胞单元在每个方向区间的梯度强度，其中，所述方向区间包括多个，任一所述梯度方向属于多个所述方向区间中的任一个；
根据每个所述细胞单元在每个所述方向区间的梯度强度，确定所述标准关键点HOG特征。
具体地，所述根据所述梯度强度以及所述梯度方向，分别计算每个所述细胞单元在每个方向区间的梯度强度，具体包括：
按照预设第二梯度强度计算公式，分别计算每个所述细胞单元在每个方向区间的梯度强度，其中，所述预设第二梯度强度计算公式为
Mi表示任一所述细胞单元在方向区间i的梯度强度，Gij表示第j个像素点在方向区间i的梯度强度值，n表示任一所述细胞单元包含的像素点数量。
具体地，所述基于所述标准关键点HOG特征，计算所述人脸样本图片对应的实际关键点坐标，具体包括：
按照关键点坐标计算公式，计算所述人脸样本图片对应的实际关键点坐标，其中，所述关键点坐标计算公式为
W和b分别表示第一预设偏移参数和第二预设偏移参数，Fm表示所述预设关键点HOG特征向量，m表示预设偏移系数。
具体地，所述利用训练后的所述人脸正面图片识别模型以及所述人脸侧面图片识别模型，对待识别视频文件进行人脸识别，具体包括：
从待识别视频文件中逐帧解析所述待识别图片；
提取每张所述待识别图片对应的待识别关键点HOG特征；
基于所述待识别关键点HOG特征，利用所述人脸正面图片识别模型逐帧判断所述待识别图片是否为人脸图片；
若任一帧所述待识别图片是所述人脸图片，则基于上一帧所述待识别图片的所述待识别关键点HOG特征，利用所述人脸侧面图片识别模型识别上一帧所述待识别图片是否为所述人脸图片，直至所述人脸侧面图片识别模型的识别结果为不是所述人脸图片为止。
具体地，所述根据所述关键点HOG特征以及所述图片标签，分别训练人脸正面图片识别模型以及人脸侧面图片识别模型，具体包括：
利用所述图片标签为所述人脸正面图片标签和所述非人脸图片标签的所述人脸样本图片建立正面训练集，以及利用所述图片为所述人脸侧面图片标签和所述非人脸图片标签的所述人脸样本图片建立侧面训练集；
分别将所述正面训练集中所述人脸样本图片对应的所述关键点HOG特征和所述图片标签，以及所述侧面训练集中所述人脸样本图片对应的所述关键点HOG特征和所述图片标签输入至训练模型中，得到所述人脸正面图片识别模型以及所述人脸侧面图片识别模型的模型参数，其中，所述训练模型为
α、β分别为所述模型参数，Fo为所述关键点HOG特征，当所述图片标签为所述人脸正面图片标签以及所述人脸侧面图片标签时，yo为1，当所述图片标签为所述非人脸图片标签时，yo为-1。
根据本申请的另一方面，提供了一种人脸识别装置，其特征在于，包括：
样本图片获取模块，用于获取人脸样本图片以及对应的图片标签，其中，所述图片标签包括人脸正面图片标签、人脸侧面图片标签以及非人脸图片标签；
特征提取模块，用于从所述人脸样本图片中提取出关键点HOG特征；
模型训练模块，用于根据所述图片标签将人脸样本图片分为人脸正面样本集及人脸侧面样本集，并根据所述人脸正面样本集以及所述人脸侧面样本集中所述人脸样本图片对应的所述关键点HOG特征，分别训练人脸正面图片识别模型以及人脸侧面图片识别模型；
识别模块，用于利用训练后的所述人脸正面图片识别模型以及所述人脸侧面图片识别模型，对待识别视频文件进行人脸识别。
具体地，所述特征提取模块，具体包括：
第一特征提取单元，用于根据预设标准人脸关键点坐标，从所述人脸样本图片中提取出标准关键点HOG特征；
坐标计算单元，用于基于所述标准关键点HOG特征，计算所述人脸样本图片对应的实际关键点坐标；
第二特征提取单元，用于利用所述实际关键点坐标，从所述人脸样本图片中提取出所述关键点HOG特征。
具体地，所述第一特征提取单元，具体包括：
关键点图片截取子单元，用于根据所述预设标准人脸关键点坐标，从所述人脸样本图片中截取预设尺寸的关键点图片，并结合预设滑动步长以及预设细胞单元尺寸确定所述关键点图片对应的多个细胞单元；
第一梯度强度计算子单元，用于分别计算所述关键点图片中每个像素点的梯度强度和梯度方向；
第二梯度强度计算子单元，用于根据所述梯度强度以及所述梯度方向，分别计算每个所述细胞单元在每个方向区间的梯度强度，其中，所述方向区间包括多个，任一所述梯度方向属于多个所述方向区间中的任一个；
标准特征确定子单元，用于根据每个所述细胞单元在每个所述方向区间的梯度强度，确定所述标准关键点HOG特征。
具体地，所述第二梯度强度计算子单元，具体用于：
按照预设第二梯度强度计算公式，分别计算每个所述细胞单元在每个方向区间的梯度强度，其中，所述预设第二梯度强度计算公式为
Mi表示任一所述细胞单元在方向区间i的梯度强度，Gij表示第j个像素点在方向区间i的梯度强度值，n表示任一所述细胞单元包含的像素点数量。
具体地，所述坐标计算单元，具体用于：
按照关键点坐标计算公式，计算所述人脸样本图片对应的实际关键点坐标，其中，所述关键点坐标计算公式为
W和b分别表示第一预设偏移参数和第二预设偏移参数，Fm表示所述预设关键点HOG特征向量，m表示预设偏移系数。
具体地，所述识别模块，具体包括：
视频解析单元，用于从待识别视频文件中逐帧解析所述待识别图片；
待识别特征提取单元，用于提取每张所述待识别图片对应的待识别关键点HOG特征；
正面图片识别单元，用于基于所述待识别关键点HOG特征，利用所述人脸正面图片识别模型逐帧判断所述待识别图片是否为人脸图片；
侧面图片识别单元，用于若任一帧所述待识别图片是所述人脸图片，则基于上一帧所述待识别图片的所述待识别关键点HOG特征，利用所述人脸侧面图片识别模型识别上一帧所述待识别图片是否为所述人脸图片，直至所述人脸侧面图片识别模型的识别结果为不是所述人脸图片为止。
具体地，所述模型训练模块，具体包括：
训练集建立单元，用于利用所述图片标签为所述人脸正面图片标签和所述非人脸图片标签的所述人脸样本图片建立正面训练集，以及利用所述图片为所述人脸侧面图片标签和所述非人脸图片标签的所述人脸样本图片建立侧面训练集；
模型训练单元，用于分别将所述正面训练集中所述人脸样本图片对应的所述关键点HOG特征和所述图片标签，以及所述侧面训练集中所述人脸样本图片对应的所述关键点HOG特征和所述图片标签输入至训练模型中，得到所述人脸正面图片识别模型以及所述人脸侧面图片识别模型的模型参数，其中，所述训练模型为
α、β分别为所述模型参数，Fo为所述关键点HOG特征，当所述图片标签为所述人脸正面图片标签以及所述人脸侧面图片标签时，yo为1，当所述图片标签为所述非人脸图片标签时，yo为-1。
依据本申请又一个方面，提供了一种存储介质，其上存储有可读计算机指令，所述可读计算机指令被处理器执行时实现上述人脸识别方法。
依据本申请再一个方面，提供了一种计算机设备，包括存储介质、处理器及存储在存储介质上并可在处理器上运行的可读计算机指令，所述处理器执行所述可读计算机指令时实现上述人脸识别方法。
借由上述技术方案，本申请提供的一种人脸识别方法及装置、存储介质、计算机设备，利用人脸图片样本对应的关键点HOG特征，分别训练两种人脸图片识别模型，即人脸正面图片识别模型和人脸侧面图片识别模型，从而采用两种人脸图片识别模型相结合的方式，对待识别视频文件包含的图片进行人脸识别，以实现人脸跟踪。相比于现有技术中的人脸识别跟踪方法，本申请不仅可以实现对正面人脸的跟踪，而且对侧面人脸也有很好的识别效果，解决了在人存在转身等动作时容易造成人脸跟踪终止的问题，提高了人脸识别和人脸跟踪的准确率。
上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，而可依照说明书的内容予以实施，并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂，以下特举本申请的具体实施方式。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1示出了本申请实施例提供的一种人脸识别方法的流程示意图；
图2示出了本申请实施例提供的另一种人脸识别方法的流程示意图；
图3示出了本申请实施例提供的一种人脸识别装置的结构示意图；
图4示出了本申请实施例提供的另一种人脸识别装置的结构示意图。
具体实施方式
下文中将参考附图并结合实施例来详细说明本申请。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
在本实施例中提供了一种人脸识别方法，如图1所示，该方法包括：
步骤101，获取人脸样本图片以及对应的图片标签，其中，图片标签包括人脸正面图片标签、人脸侧面图片标签以及非人脸图片标签。
本申请实施例中的训练样本图片包括人脸正面图片、人脸侧面图片以及非人脸图片，从而利用上述三种图片训练人脸识别模型，有助于实现利用人脸识别模型全面的识别人脸图片。
需要说明的是，一般来说人脸正面样本图片是很容易获取到的，如果人脸侧脸样本图片难以获取或者样本量较小，可以通过对人脸正面样本图片进行旋转、偏移等操作后得到人脸侧脸样本图片。另外，如果样本图片为彩色图片，需要对图片进行灰度化处理，使其变为灰度图，降低图片的特征维度，方便分析处理。
步骤102，从人脸样本图片中提取出关键点HOG特征。
本申请实施例通过在人脸样本图片中按照预先设置的多个关键点坐标位置，从样本图片的多个关键点处提取相应的关键点方向梯度直方图(Histogram ofOrientedGradient，HOG)特征，通过关键点HOG特征可以反应人脸样本图片的特征。其中，方向梯度直方图(Histogram ofOriented Gradient，HOG)特征是一种在计算机视觉和图像处理中用来进行物体检测的特征描述子。HOG特征通过计算和统计图像局部区域的梯度方向直方图来构成特征。
步骤103，根据图片标签将人脸样本图片分为人脸正面样本集及人脸侧面样本集，并根据人脸正面样本集以及人脸侧面样本集中人脸样本图片对应的关键点HOG特征，分别训练人脸正面图片识别模型以及人脸侧面图片识别模型。
利用人脸正面样本图片对应的关键点HOG特征和部分非人脸样本图片对应的关键点HOG特征训练人脸正面图片识别模型，用以识别人脸正面图片，并利用人脸侧面样本图片对应的关键点HOG特征和另一部分非人脸样本图片对应的关键点HOG特征训练人脸侧面图片识别模型，用以识别人脸侧面图片。
步骤104，利用训练后的人脸正面图片识别模型以及人脸侧面图片识别模型，对待识别视频文件进行人脸识别。
利用训练后的人脸正面图片识别模型和人脸侧面图片识别模型相结合的方式，对待识别视频文件解析而出的图片进行人脸识别，从而不仅可以实现对正面人脸的识别，也可以实现对侧面人脸的识别，最终实现人脸跟踪检测，以解决现有技术中只能跟踪正面人脸图像进行跟踪，容易在转身等行为发生时造成人脸跟踪终止的问题。
通过应用本实施例的技术方案，利用人脸图片样本对应的关键点HOG特征，分别训练两种人脸图片识别模型，即人脸正面图片识别模型和人脸侧面图片识别模型，从而采用两种人脸图片识别模型相结合的方式，对待识别视频文件包含的图片进行人脸识别，以实现人脸跟踪。相比于现有技术中的人脸识别跟踪方法，本申请不仅可以实现对正面人脸的跟踪，而且对侧面人脸也有很好的识别效果，解决了在人存在转身等动作时容易造成人脸跟踪终止的问题，提高了人脸识别和人脸跟踪的准确率。
进一步的，作为上述实施例具体实施方式的细化和扩展，为了完整说明本实施例的具体实施过程，提供了另一种人脸识别方法，如图2所示，该方法包括：
步骤201，获取人脸样本图片以及对应的图片标签，其中，图片标签包括人脸正面图片标签、人脸侧面图片标签以及非人脸图片标签。
获取预设规格的样本图片(若样本图片尺寸不符合预设规格，则对图片进行缩放处理使其满足预设的尺寸规格)，并对样本图片进行灰度化处理备用，在本申请实施例中选用的样本图片包括人脸正面图片、人脸侧面图片和非人脸图片。
步骤202，根据预设标准人脸关键点坐标，从人脸样本图片中提取出标准关键点HOG特征。
在步骤202中，首先根据预先设置的标准人脸关键点坐标，从样本图片中提取对应的标准关键点HOG特征，具体过程如下：
步骤2021，根据预设标准人脸关键点坐标，从人脸样本图片中截取预设尺寸的关键点图片，并结合预设滑动步长以及预设细胞单元尺寸确定关键点图片对应的多个细胞单元。
对于任一样本图片，根据预设标准人脸关键点坐标，从样本图片中进行关键点图片的截取，例如预设尺寸为64×64、关键点1的坐标为(50，50)则在关键点1的坐标周围截取64×64尺寸的图片作为关键点图片，即关键点图片为正方形，四个顶点坐标分别可以为(18，18)、(18，81)、(81，18)、(81，81)。
截取关键点图片后，依据预设滑动步长和预设细胞单元尺寸，确定关键点图片对应的多个细胞单元，例如以关键点为中心的64×64的图像大小作为关键点图片，细胞单元大小16×16，滑动步长16×16，则从(18，18)开始按照16×16的细胞单元大小，16×16的滑动步长，可以确定关键点图片对应的16个细胞单元。
步骤2022，分别计算关键点图片中每个像素点的梯度强度和梯度方向。
确定关键点图片后，为了实现关键点HOG特征的提取，首先需要计算关键点图片中每个像素点的梯度强度和梯度方向。
具体地，按照预设第一梯度强度计算公式以及预设梯度方向计算公式，计算梯度强度和梯度方向，其中，预设第一梯度强度计算公式为
预设梯度方向计算公式为
θ＝arctan(Gy/Gx)，
Gx、Gy分别表示任一像素点G的灰度值在水平方向的一阶导数值以及在垂直方向的一阶导数值。
步骤2023，根据梯度强度以及梯度方向，分别计算每个细胞单元在每个方向区间的梯度强度，其中，方向区间包括多个，任一梯度方向属于多个方向区间中的任一个。
根据每个细胞单元中的每个像素点的梯度强度和梯度方向，计算每个细胞单元在不同方向区间的梯度强度。
具体地，按照预设第二梯度强度计算公式，分别计算每个细胞单元在每个方向区间的梯度强度，其中，预设第二梯度强度计算公式为
Mi表示任一细胞单元在方向区间i的梯度强度，Gij表示第j个像素点在方向区间i的梯度强度值，n表示任一细胞单元包含的像素点数量。
例如，每个细胞单元的大小为16×16个像素。假设采用8个方向区间的直方图来统计这16×16个像素的梯度信息。也就是将细胞单元的梯度方向180度分成8个方向块，如果这个像素的梯度方向是22.5-45度，直方图第2个方向区间的计数就加上这个像素点的梯度强度，这样，对细胞单元内每个像素用梯度方向在直方图中进行加权投影(映射到固定的角度范围)，就可以得到这个细胞单元的梯度方向直方图了，就是该细胞单元对应的8维特征向量(因为有8个方向区间)。梯度强度就是作为投影的权值的。例如说：这个像素的梯度方向是22.5-45度，然后它的梯度强度是2，那么直方图第2个方向区间的计数加2。
步骤2024，根据每个细胞单元在每个方向区间的梯度强度，确定标准关键点HOG特征。
根据上述计算的每个细胞单元在每个方向区间的梯度强度，可以确定相应关键点HOG特征，具体地，关键点图片包含的多个细胞单元的梯度强度特征构建成标准关键点HOG特征向量，用以反应标准关键点图片的标准关键点HOG特征，例如，采用8个bin的直方图来统计每个细胞单元的16×16个像素的梯度信息，每个标准关键点图片包括16个细胞单元，那么一个关键点的特征值大小为16×8＝128。假设每张样本图片包含68个关键点，会得到68×128＝8704维特征向量。特征向量采用特征值拼接的方式构成，比如一张关键点图片包含的第一个细胞单元的梯度强度分别为A1、A2、……、A8，第二个细胞单元的梯度强度分别为B1、B2、……、B8……，那么这张关键点图片对应的特征强度为(A1、A2、……、A8、B1、B2、……、B8……)，样本图片对应的标准关键点HOG特征也采取类似的特征值拼接的方式，得到8704维特征向量。
步骤203，基于标准关键点HOG特征，计算人脸样本图片对应的实际关键点坐标。
由于每张样本图片中的人脸位置可能各不相同，若按照固定的关键点坐标进行HOG特征提取可能造成提取的特征不能很好的反应人脸特征，因此，还需要对样本图片的实际关键点坐标进行分析。
具体地，按照关键点坐标计算公式，计算人脸样本图片对应的实际关键点坐标，其中，关键点坐标计算公式为
W和b分别表示第一预设偏移参数和第二预设偏移参数，Fm表示预设关键点HOG特征向量，m表示预设偏移系数。
本申请实施例按照上述的关键点坐标计算公式分析样本图片的实际关键点坐标，W表示第一预设偏移参数，b表示第二预设偏移参数，例如本申请采用68个关键点，每个关键点包含128个特征，W选取(68×2，68×128)维的矩阵，b选取(68×2，1)维的向量，Xm表示关键点坐标，当m＝1时，X1表示标准关键点坐标，为(68×2，1)维的特征向量，X1的特征向量上的每个特征值分别表示(第一个关键点的x坐标、第一个点的y轴坐标、第二个点的x轴坐标、第二个点的y轴坐标……)，最终经过多次迭代计算，得出最终的实际关键点坐标。
步骤204，利用实际关键点坐标，从人脸样本图片中提取出关键点HOG特征。
按照上述步骤202中提取标准关键点HOG特征的方式，根据实际关键点坐标，从人脸样本图片中提取出关键点HOG特征，以得到能够更准确的反应图片中人脸信息的特征，以便进行模型训练。
步骤205，根据图片标签将人脸样本图片分为人脸正面样本集及人脸侧面样本集，并根据人脸正面样本集以及人脸侧面样本集中人脸样本图片对应的关键点HOG特征，分别训练人脸正面图片识别模型以及人脸侧面图片识别模型。
利用样本图片的关键点HOG特征及其对应的图片标签，进行人脸正面图片识别模型以及人脸侧面图片识别模型的训练，具体过程如下：
步骤2051，利用图片标签为人脸正面图片标签和非人脸图片标签的人脸样本图片建立正面训练集，以及利用图片为人脸侧面图片标签和非人脸图片标签的人脸样本图片建立侧面训练集。
将人脸正面图片以及部分非人脸图片放入正面训练集，以备训练人脸正面图片识别模型，以及将人脸侧面图片以及另一部分非人脸图片放入侧面训练集，以备训练人脸侧面图片识别模型。
步骤2052，分别将正面训练集中人脸样本图片对应的关键点HOG特征和图片标签，以及侧面训练集中人脸样本图片对应的关键点HOG特征和图片标签输入至训练模型中，得到人脸正面图片识别模型以及人脸侧面图片识别模型的模型参数，其中，训练模型为
α、β分别为模型参数，Fo为关键点HOG特征，当图片标签为人脸正面图片标签以及人脸侧面图片标签时，yo为1，当图片标签为非人脸图片标签时，yo为-1。
在上述实施例中，利用上述的训练模型分别训练人脸正面图片识别模型以及人脸侧面图片识别模型，以训练人脸正面图片识别模型为例，将正面训练集包含的样本图片的关键点HOG特征Fo和图片标签数据输入到训练模型中，得到模型参数α1、β1，从而可以构建人脸正面图片识别模型α1Fo+β1，对于待识别图片来说，将待识别图片的关键点HOG特征输入至人脸正面图片识别模型中，若得出的结果大于或等于1，则判定待识别图片为人脸正面图片，否则判定为非人脸正面图片。
另外，人脸侧面图片识别模型的训练方式以及模型的识别方式，与人脸正面图片识别模型类似，在此不再赘述。
步骤206，从待识别视频文件中逐帧解析待识别图片。
对待识别视频进行解析，得到每一帧的待识别图片，从而逐帧进行人脸识别。
步骤207，提取每张待识别图片对应的待识别关键点HOG特征。
在上述实施例中，对于每一帧的待识别图片，分别提取对应的关键点HOG特征，具体的HOG特征提取方法与步骤202至步骤204中提取样本图片的关键点HOG特征相似，可参见步骤202至步骤204对应的实施例，在此不再赘述。
步骤208，基于待识别关键点HOG特征，利用人脸正面图片识别模型逐帧判断待识别图片是否为人脸图片。
基于每一帧的待识别图片对应的关键点HOG特征，分别判断每一帧的待识别图片是否人脸图片，具体来说，首先利用人脸正面图片识别模型判断任意一帧待识别图片k是否为人脸正面图片，如果判断结果为否，则继续利用人脸正面图片识别模型判断下一帧待识别图片k+1是否为人脸正面图片。
步骤209，若任一帧待识别图片是人脸图片，则基于上一帧待识别图片的待识别关键点HOG特征，利用人脸侧面图片识别模型识别上一帧待识别图片是否为人脸图片，直至人脸侧面图片识别模型的识别结果为不是人脸图片为止。
而如果经过人脸正面图片识别模型判断任意一阵待识别图片k是人脸图片，则利用人脸侧面图片识别模型判断上一帧待识别图片k-1是否为人脸侧面图片，若判断结果为是，则继续利用人脸侧面图片识别模型判断上一帧的待识别图片k-2是否为人脸侧面图片，若判断结果为否，则继续利用人脸正面图片识别模型判断下一帧待识别图片k+1是否为人脸正面图片。
例如，从待识别视频中解析得到100张待识别图片，逐帧对待识别图片进行人脸识别分析。首先，利用人脸正面图片识别模型S1判断第1帧待识别图片是否为人脸正面图片，若第1帧图片不是人脸正面图片，则继续利用S1判断第2、3……帧图片是否为人脸正面图片，直至发现人脸正面图片为止；其次，假设利用S1判断第20帧图片是人脸正面图片，则利用人脸侧面图片识别模型S2判断第19帧图片是否为人脸侧面图片，若第19帧图片是人脸侧面图片则继续利用S2判断第18、17……帧图片是否为人脸侧面图片，直至判断结果为不是人脸侧面图片为止；最后，假设利用S2判断第17帧图片不是人脸侧面图片，则继续利用S1判断第21帧图片是否为人脸正面图片，并重复上述过程。
通过应用本实施例的技术方案，第一，从样本图片中提取标准关键点HOG特征，进而基于标准关键点HOG特征计算样本图片的实际关键点坐标并提取样本图片的实际关键点坐标对应的关键点HOG特征，通过关键点HOG特征可以更准确的表征样本图片的特征；第二，利用关键点HOG特征，分别训练人脸正面图片识别模型和人脸侧面图片识别模型，有助于实现对人脸正面图片和角度偏移的人脸图片的识别；第三，结合训练人脸正面图片识别模型和人脸侧面图片识别模型对待识别视频文件包含的图片信息进行人脸识别和跟踪，解决了在人存在转身等动作时容易造成人脸跟踪终止的问题，提高了人脸识别和人脸跟踪的准确率。
进一步的，作为图1方法的具体实现，本申请实施例提供了一种人脸识别装置，如图3所示，该装置包括：样本图片获取模块31、特征提取模块32、模型训练模块33、识别模块34。
样本图片获取模块31，用于获取人脸样本图片以及对应的图片标签，其中，图片标签包括人脸正面图片标签、人脸侧面图片标签以及非人脸图片标签；
特征提取模块32，用于从人脸样本图片中提取出关键点HOG特征；
模型训练模块33，用于根据图片标签将人脸样本图片分为人脸正面样本集及人脸侧面样本集，并根据人脸正面样本集以及人脸侧面样本集中人脸样本图片对应的关键点HOG特征，分别训练人脸正面图片识别模型以及人脸侧面图片识别模型；
识别模块34，用于利用训练后的人脸正面图片识别模型以及人脸侧面图片识别模型，对待识别视频文件进行人脸识别。
在具体的应用场景中，如图4所示，特征提取模块32，具体包括：第一特征提取单元321、坐标计算单元322、第二特征提取单元323。
第一特征提取单元321，用于根据预设标准人脸关键点坐标，从人脸样本图片中提取出标准关键点HOG特征；
坐标计算单元322，用于基于标准关键点HOG特征，计算人脸样本图片对应的实际关键点坐标；
第二特征提取单元323，用于利用实际关键点坐标，从人脸样本图片中提取出关键点HOG特征。
在具体的应用场景中，第一特征提取单元321，具体包括：关键点图片截取子单元3211、第一梯度强度计算子单元3212、第二梯度强度计算子单元3213、标准特征确定子单元3214。图中未示出。
关键点图片截取子单元3211，用于根据预设标准人脸关键点坐标，从人脸样本图片中截取预设尺寸的关键点图片，并结合预设滑动步长以及预设细胞单元尺寸确定关键点图片对应的多个细胞单元；
第一梯度强度计算子单元3212，用于分别计算关键点图片中每个像素点的梯度强度和梯度方向；
第二梯度强度计算子单元3213，用于根据梯度强度以及梯度方向，分别计算每个细胞单元在每个方向区间的梯度强度，其中，方向区间包括多个，任一梯度方向属于多个方向区间中的任一个；
标准特征确定子单元3214，用于根据每个细胞单元在每个方向区间的梯度强度，确定标准关键点HOG特征。
在具体的应用场景中，第二梯度强度计算子单元3213，具体用于：
按照预设第二梯度强度计算公式，分别计算每个细胞单元在每个方向区间的梯度强度，其中，预设第二梯度强度计算公式为
Mi表示任一细胞单元在方向区间i的梯度强度，Gij表示第j个像素点在方向区间i的梯度强度值，n表示任一细胞单元包含的像素点数量。
在具体的应用场景中，坐标计算单元322，具体用于：
按照关键点坐标计算公式，计算人脸样本图片对应的实际关键点坐标，其中，关键点坐标计算公式为
W和b分别表示第一预设偏移参数和第二预设偏移参数，Fm表示预设关键点HOG特征向量，m表示预设偏移系数。
在具体的应用场景中，识别模块34，具体包括：视频解析单元341、待识别特征提取单元342、正面图片识别单元343、侧面图片识别单元344。
视频解析单元341，用于从待识别视频文件中逐帧解析待识别图片；
待识别特征提取单元342，用于提取每张待识别图片对应的待识别关键点HOG特征；
正面图片识别单元343，用于基于待识别关键点HOG特征，利用人脸正面图片识别模型逐帧判断待识别图片是否为人脸图片；
侧面图片识别单元344，用于若任一帧待识别图片是人脸图片，则基于上一帧待识别图片的待识别关键点HOG特征，利用人脸侧面图片识别模型识别上一帧待识别图片是否为人脸图片，直至人脸侧面图片识别模型的识别结果为不是人脸图片为止。
在具体的应用场景中，模型训练模块33，具体包括：训练集建立单元331、模型训练单元332。
训练集建立单元331，用于利用图片标签为人脸正面图片标签和非人脸图片标签的人脸样本图片建立正面训练集，以及利用图片为人脸侧面图片标签和非人脸图片标签的人脸样本图片建立侧面训练集；
模型训练单元332，用于分别将正面训练集中人脸样本图片对应的关键点HOG特征和图片标签，以及侧面训练集中人脸样本图片对应的关键点HOG特征和图片标签输入至训练模型中，得到人脸正面图片识别模型以及人脸侧面图片识别模型的模型参数，其中，训练模型为
α、β分别为模型参数，Fo为关键点HOG特征，当图片标签为人脸正面图片标签以及人脸侧面图片标签时，yo为1，当图片标签为非人脸图片标签时，yo为-1。
需要说明的是，本申请实施例提供的一种人脸识别装置所涉及各功能单元的其他相应描述，可以参考图1和图2中的对应描述，在此不再赘述。
基于上述如图1和图2所示方法，相应的，本申请实施例还提供了一种存储介质，其上存储有可读计算机指令，该程序被处理器执行时实现上述如图1和图2所示的人脸识别方法。
基于这样的理解，本申请的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施场景所述的方法。
基于上述如图1、图2所示的方法，以及图3、图4所示的虚拟装置实施例，为了实现上述目的，本申请实施例还提供了一种计算机设备，具体可以为个人计算机、服务器、网络设备等，该计算机设备包括存储介质和处理器；存储介质，用于存储可读计算机指令；处理器，用于执行可读计算机指令以实现上述如图1和图2所示的人脸识别方法。
可选地，该计算机设备还可以包括用户接口、网络接口、摄像头、射频(RadioFrequency，RF)电路，传感器、音频电路、WI-FI模块等等。用户接口可以包括显示屏(Display)、输入单元比如键盘(Keyboard)等，可选用户接口还可以包括USB接口、读卡器接口等。网络接口可选的可以包括标准的有线接口、无线接口(如蓝牙接口、WI-FI接口)等。
本领域技术人员可以理解，本实施例提供的一种计算机设备结构并不构成对该计算机设备的限定，可以包括更多或更少的部件，或者组合某些部件，或者不同的部件布置。
存储介质中还可以包括操作系统、网络通信模块。操作系统是管理和保存计算机设备硬件和软件资源的程序，支持信息处理程序以及其它软件和/或程序的运行。网络通信模块用于实现存储介质内部各组件之间的通信，以及与该实体设备中其它硬件和软件之间通信。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本申请可以借助软件加必要的通用硬件平台的方式来实现，也可以通过硬件实现利用人脸图片样本对应的关键点HOG特征，分别训练两种人脸图片识别模型，即人脸正面图片识别模型和人脸侧面图片识别模型，从而采用两种人脸图片识别模型相结合的方式，对待识别视频文件包含的图片进行人脸识别，以实现人脸跟踪。相比于现有技术中的人脸识别跟踪方法，本申请不仅可以实现对正面人脸的跟踪，而且对侧面人脸也有很好的识别效果，解决了在人存在转身等动作时容易造成人脸跟踪终止的问题，提高了人脸识别和人脸跟踪的准确率。
本领域技术人员可以理解附图只是一个优选实施场景的示意图，附图中的模块或流程并不一定是实施本申请所必须的。本领域技术人员可以理解实施场景中的装置中的模块可以按照实施场景描述进行分布于实施场景的装置中，也可以进行相应变化位于不同于本实施场景的一个或多个装置中。上述实施场景的模块可以合并为一个模块，也可以进一步拆分成多个子模块。
上述本申请序号仅仅为了描述，不代表实施场景的优劣。以上公开的仅为本申请的几个具体实施场景，但是，本申请并非局限于此，任何本领域的技术人员能思之的变化都应落入本申请的保护范围。

Claims (9)

1.一种人脸识别方法，其特征在于，包括：
获取人脸样本图片以及对应的图片标签，其中，所述图片标签包括人脸正面图片标签、人脸侧面图片标签以及非人脸图片标签；
从所述人脸样本图片中提取出关键点HOG特征；
利用所述图片标签为所述人脸正面图片标签和所述非人脸图片标签的所述人脸样本图片建立正面训练集，以及利用所述图片标签为所述人脸侧面图片标签和所述非人脸图片标签的所述人脸样本图片建立侧面训练集；
分别将所述正面训练集中所述人脸样本图片对应的所述关键点HOG特征和所述图片标签，以及所述侧面训练集中所述人脸样本图片对应的所述关键点HO特征和所述图片标签输入至训练模型中，得到人脸正面图片识别模型以及人脸侧面图片识别模型的模型参数，其中，所述训练模型为
，
，
、/>分别为所述模型参数，/>为所述关键点HOG特征，当所述图片标签为所述人脸正面图片标签以及所述人脸侧面图片标签时，/>为1，当所述图片标签为所述非人脸图片标签时,/>为-1；
从待识别视频文件中逐帧解析待识别图片；
利用所述人脸正面图像识别模型逐帧判断所述待识别图片是否为人脸正面图片；
若任一帧所述待识别图片是所述人脸正面图片，则利用所述人脸侧面图片识别模型逐帧识别上一帧所述待识别图片是否为所述人脸侧面图片，直至所述人脸侧面图片识别模型的识别结果为不是所述人脸侧面图片。
2.根据权利要求1所述的方法，其特征在于，所述从所述人脸样本图片中提取出关键点HOG特征，具体包括：
根据预设标准人脸关键点坐标，从所述人脸样本图片中提取出标准关键点HOG特征；
基于所述标准关键点HOG特征，计算所述人脸样本图片对应的实际关键点坐标；
利用所述实际关键点坐标，从所述人脸样本图片中提取出所述关键点HOG特征。
3.根据权利要求2所述的方法，其特征在于，所述根据预设标准人脸关键点坐标，从所述人脸样本图片中提取出标准关键点HOG特征，具体包括：
根据所述预设标准人脸关键点坐标，从所述人脸样本图片中截取预设尺寸的关键点图片，并结合预设滑动步长以及预设细胞单元尺寸确定所述关键点图片对应的多个细胞单元；
分别计算所述关键点图片中每个像素点的梯度强度和梯度方向；
根据所述梯度强度以及所述梯度方向，分别计算每个所述细胞单元在每个方向区间的梯度强度，其中，所述方向区间包括多个，任一所述梯度方向属于多个所述方向区间中的任一个；
根据每个所述细胞单元在每个所述方向区间的梯度强度，确定所述标准关键点HOG特征。
4.根据权利要求3所述的方法，其特征在于，所述根据所述梯度强度以及所述梯度方向，分别计算每个所述细胞单元在每个方向区间的梯度强度，具体包括：
按照预设第二梯度强度计算公式，分别计算每个所述细胞单元在每个方向区间的梯度强度，其中，所述预设第二梯度强度计算公式为
，
表示任一所述细胞单元在方向区间/>的梯度强度，/>表示第/>个像素点在方向区间的梯度强度值，/>表示任一所述细胞单元包含的像素点数量。
5.根据权利要求2至4中任一项所述的方法，其特征在于，所述基于所述标准关键点HOG特征，计算所述人脸样本图片对应的实际关键点坐标，具体包括：
按照关键点坐标计算公式，计算所述人脸样本图片对应的实际关键点坐标，其中，所述关键点坐标计算公式为
，
，
和/>分别表示第一预设偏移参数和第二预设偏移参数，/>表示所述预设关键点HOG特征向量，/>表示预设偏移系数。
6.根据权利要求5所述的方法，其特征在于，所述从待识别视频文件中逐帧解析所述待识别图片后，具体包括：
提取每张所述待识别图片对应的待识别关键点HOG特征；
基于所述待识别关键点HOG特征，利用所述人脸正面图片识别模型逐帧判断所述待识别图片是否为人脸正面图片；
若任一帧所述待识别图片是所述人脸正面图片，则基于上一帧所述待识别图片的所述待识别关键点HOG特征，利用所述人脸侧面图片识别模型逐帧识别上一帧所述待识别图片是否为所述人脸侧面图片，直至所述人脸侧面图片识别模型的识别结果为不是所述人脸侧面图片为止。
7.一种人脸识别装置，其特征在于，包括：
样本图片获取模块，用于获取人脸样本图片以及对应的图片标签，其中，所述图片标签包括人脸正面图片标签、人脸侧面图片标签以及非人脸图片标签；
特征提取模块，用于从所述人脸样本图片中提取出关键点HOG特征；
模型训练模块，用于利用所述图片标签为所述人脸正面图片标签和所述非人脸图片标签的所述人脸样本图片建立正面训练集，以及利用所述图片标签为所述人脸侧面图片标签和所述非人脸图片标签的所述人脸样本图片建立侧面训练集；分别将所述正面训练集中所述人脸样本图片对应的所述关键点HOG特征和所述图片标签，以及所述侧面训练集中所述人脸样本图片对应的所述关键点HO特征和所述图片标签输入至训练模型中，得到人脸正面图片识别模型以及人脸侧面图片识别模型的模型参数，其中，所述训练模型为
，
，
、/>分别为所述模型参数，/>为所述关键点HOG特征，当所述图片标签为所述人脸正面图片标签以及所述人脸侧面图片标签时，/>为1，当所述图片标签为所述非人脸图片标签时,/>为-1；
识别模块，用于从待识别视频文件中逐帧解析待识别图片；利用所述人脸正面图像识别模型逐帧判断所述待识别图片是否为人脸正面图片；若任一帧所述待识别图片是所述人脸正面图片，则利用所述人脸侧面图片识别模型逐帧识别上一帧所述待识别图片是否为所述人脸侧面图片，直至所述人脸侧面图片识别模型的识别结果为不是所述人脸侧面图片。
8.一种存储介质，其上存储有可读计算机指令，其特征在于，所述可读计算机指令被处理器执行时实现权利要求1至6中任一项所述的人脸识别方法。
9.一种计算机设备，包括存储介质、处理器及存储在存储介质上并可在处理器上运行的可读计算机指令，其特征在于，所述处理器执行所述可读计算机指令时实现权利要求1至6中任一项所述的人脸识别方法。
CN201910625526.1A 2019-07-11 2019-07-11 人脸识别方法及装置、存储介质、计算机设备 Active CN110490065B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910625526.1A CN110490065B (zh) 2019-07-11 2019-07-11 人脸识别方法及装置、存储介质、计算机设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910625526.1A CN110490065B (zh) 2019-07-11 2019-07-11 人脸识别方法及装置、存储介质、计算机设备

Publications (2)

Publication Number Publication Date
CN110490065A CN110490065A (zh) 2019-11-22
CN110490065B true CN110490065B (zh) 2024-02-02

Family

ID=68547010

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910625526.1A Active CN110490065B (zh) 2019-07-11 2019-07-11 人脸识别方法及装置、存储介质、计算机设备

Country Status (1)

Country Link
CN (1) CN110490065B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111860453A (zh) * 2020-08-04 2020-10-30 沈阳工业大学 一种戴口罩的人脸识别方法
CN113487597B (zh) * 2021-07-23 2023-08-29 四川大学 一种正畸术后侧貌预测方法、装置、电子设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104268539A (zh) * 2014-10-17 2015-01-07 中国科学技术大学 一种高性能的人脸识别方法及系统
CN109725721A (zh) * 2018-12-29 2019-05-07 上海易维视科技股份有限公司 用于裸眼3d显示系统的人眼定位方法及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070098229A1 (en) * 2005-10-27 2007-05-03 Quen-Zong Wu Method and device for human face detection and recognition used in a preset environment

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104268539A (zh) * 2014-10-17 2015-01-07 中国科学技术大学 一种高性能的人脸识别方法及系统
CN109725721A (zh) * 2018-12-29 2019-05-07 上海易维视科技股份有限公司 用于裸眼3d显示系统的人眼定位方法及系统

Also Published As

Publication number Publication date
CN110490065A (zh) 2019-11-22

Similar Documents

Publication Publication Date Title
CN109961009B (zh) 基于深度学习的行人检测方法、系统、装置及存储介质
US9349076B1 (en) Template-based target object detection in an image
EP2864933B1 (en) Method, apparatus and computer program product for human-face features extraction
CN112052186B (zh) 目标检测方法、装置、设备以及存储介质
CN110874594A (zh) 基于语义分割网络的人体外表损伤检测方法及相关设备
CN109345553B (zh) 一种手掌及其关键点检测方法、装置和终端设备
CN111291629A (zh) 图像中文本的识别方法、装置、计算机设备及计算机存储介质
CN112561080B (zh) 样本筛选方法、样本筛选装置及终端设备
CN111612822B (zh) 对象跟踪方法、装置、计算机设备和存储介质
CN111290684B (zh) 图像显示方法、图像显示装置及终端设备
CN111476271B (zh) 图标识别的方法、装置、系统、计算机设备和存储介质
CN110490065B (zh) 人脸识别方法及装置、存储介质、计算机设备
CN104751093A (zh) 用于获取宿主设备显示的图像识别码的方法和装置
CN110059624B (zh) 用于检测活体的方法和装置
CN111832579B (zh) 地图兴趣点数据处理方法、装置、电子设备以及可读介质
WO2020244151A1 (zh) 图像处理方法、装置、终端及存储介质
US11455783B2 (en) Image recognition method and apparatus, device and non-volatile computer storage medium
CN110826646A (zh) 机器人视觉测试方法、装置、存储介质及终端设备
CN111368657A (zh) 牛脸识别方法和装置
CN109829431B (zh) 用于生成信息的方法和装置
CN111738199A (zh) 图像信息验证方法、装置、计算装置和介质
CN111126159A (zh) 用于实时跟踪行人的方法、装置、电子设备和介质
CN112419257A (zh) 文本录制视频清晰度检测方法、装置、计算机设备及存储介质
CN112329663A (zh) 一种基于人脸图像序列的微表情时刻检测方法及装置
CN111310595A (zh) 用于生成信息的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant