CN109508701B - 一种人脸识别和追踪方法 - Google Patents

一种人脸识别和追踪方法 Download PDF

Info

Publication number
CN109508701B
CN109508701B CN201811624549.2A CN201811624549A CN109508701B CN 109508701 B CN109508701 B CN 109508701B CN 201811624549 A CN201811624549 A CN 201811624549A CN 109508701 B CN109508701 B CN 109508701B
Authority
CN
China
Prior art keywords
sample
sub
target
face
blocks
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811624549.2A
Other languages
English (en)
Other versions
CN109508701A (zh
Inventor
于东亮
贾朝藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Million Curtain Mdt Infotech Ltd
Original Assignee
Beijing Easub Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Easub Information Technology Co ltd filed Critical Beijing Easub Information Technology Co ltd
Priority to CN201811624549.2A priority Critical patent/CN109508701B/zh
Publication of CN109508701A publication Critical patent/CN109508701A/zh
Application granted granted Critical
Publication of CN109508701B publication Critical patent/CN109508701B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种人脸识别与追踪系统，首先通过多幅样本图片构建立体的目标人像模型，然后对人脸样本的特征进行分析，通过卷积神经网络对目标人像模型和人脸样本的面部特征进行提取、量化和比对，以此判断人脸样本与目标人像模型是否属于同一人；在确定为同一人的情况下，通过粒子滤波算法对后续的视频帧进行运动目标跟踪，并通过稀疏表示方法得到跟踪结果。该方法可以综合人面部的线条、底色、比例等特征信息对人脸样本和目标人像模型进行分析，能适应真实模型的各种角度、各种方向的判断分析，并能将定性比对转化为定量比对，从而大大提高了人脸识别判断的可靠性。

Description

一种人脸识别和追踪方法
技术领域
本发明属于图像识别技术领域，特别涉及一种人脸识别和追踪方法。
背景技术
人脸识别，是基于人的脸部特征信息进行身份识别的一种生物识别技术。用摄像机或摄像头采集含有人脸的图像或视频流，并自动在图像中检测和跟踪人脸，进而对检测到的人脸进行脸部识别的一系列相关技术。目前人脸识别主要用于身份验证(考勤、门禁、乘坐交通工具以及出入境的身份验证等)以及安全监控(如通过监控视频或其他视频信息查找嫌疑人等)等领域。随着人脸识别的适用范围不断扩大，对人脸识别方法的安全性和可靠性的要求逐渐提高，传统的平面图像识别已经不能满足需求，因此需要一种能适应真实人像模型的不同角度、不同方位的人脸识别方法。
发明内容
为了解决上述技术问题，本发明提供了一种人脸识别和追踪方法。
本发明具体技术方案如下：
本发明提供了一种人脸识别和追踪方法，包括如下步骤：
S1：选择至少一个目标人像，并为同一个目标人像选择多幅样本图片，利用卷积神经网络进行分析、构建目标人像模型，并获取目标人像模型特征值；
S2：从视频流中提取样本帧，查找人脸样本，并确定所述人脸样本在所述样本帧中的位置；
S3：利用S1中的卷积神经网络对所述人脸样本进行分析，获取人脸样本特征值；
S4：将所述人脸样本特征值与所述目标人像模型特征值进行比对，判断所述人脸样本与所述目标人像模型是否属于同一人，如判断结果为“是”，则对所述人脸样本的运动特征进行提取，并根据所述运动特征继续在所述视频中位于所述样本帧之后的部分对所述人脸样本进行运动跟踪、提取所述人脸样本出现的疑似区域；如判断结果为“否”，则返回步骤S2；
S5：对所述疑似区域重复步骤S2～S4的操作，再次进行判断，如判断结果为“是”，则继续进行跟踪；如判断结果为“否”，则返回步骤S1。
进一步地，步骤S1的具体方法如下：
S1.1：选择至少一个目标人像，并为每个所述目标人像选择多幅不同角度的样本图片；
S1.2：对所述多幅不同角度的样本图片进行边缘检测、得到多幅不同角度的人像边缘图像，并对所述样本图片进行二值化处理，分别从每幅经过二值化处理的样本图片中去掉对应的人像边缘图像，得到多个不同角度的人像图像；
S1.3：通过卷积神经网络对多幅所述人像图像分别进行特征提取，并构建三维的目标人像模型；
S1.4：对多幅所述人像图像进行归一化处理，得到目标人像模型特征值。
进一步地，步骤S1.3的具体方法如下：
S1.3.1：以多幅所述人像图像作为训练图像，在所述训练图像中标注线条像素点和底色像素点，根据所述线条像素点和所述底色像素点划分若干子块，并分别标记为训练子块，组成训练样本集合；
S1.3.2：将所述训练样本集合输入值所述卷积神经网络中进行分类模型的训练，所述卷积神经网络分别根据每个所述子块输出一个深度特征向量，组成深度特征向量集合；
S1.3.3：通过支持向量机对所述深度特征向量集合进行分类计算、得到每个所述深度特征向量在所述目标人像中的权重w；
S1.3.4：通过三维卷积构建3D人像模型，并根据所述权重得到增强的目标人像模型。
进一步地，所述卷积神经网络的卷积层根据所述训练子块输出深度特征向量的计算公式如下：
Figure BDA0001927692800000031
其中，
Figure BDA0001927692800000032
是第l层的输入谱，
Figure BDA0001927692800000033
是第m个输入和n个输出特征谱之间的卷积核，*是卷积操作,Ml-1是输入特征谱的数量,
Figure BDA0001927692800000034
是第n个输出谱的偏移。
进一步地，步骤S1.4的具体方法如下：
S1.4.1：根据如下公式计算每个所述子块的一阶矩：
Figure BDA0001927692800000035
Figure BDA0001927692800000036
其中，V(i,j)为所述人像图像在(i,j)上的灰度值；
根据如下公式，计算每个所述子块的重心：
Figure BDA0001927692800000037
Figure BDA0001927692800000038
S1.4.2：根据如下公式计算每个所述子块的二阶矩：
Figure BDA0001927692800000041
Figure BDA0001927692800000042
Figure BDA0001927692800000043
根据如下公式，计算每个所述子块的旋转角度：
Figure BDA0001927692800000044
其中：
Figure BDA0001927692800000045
S1.4.3：利用所述重心与所述旋转角度对所述目标人像模型进行校正，得到空间重心以及各个所述子块相对于所述空间重心的空间旋转角度，并与每个所述子块的所述权重一一对应，得到子块特征数据集，即为所述目标人像模型特征值。
进一步地，步骤S3的具体方法如下：
S3.1：对所述人脸样本进行边缘检测、得到人脸样本边缘图像，并对所述人脸边缘图像进行二值化处理，从经过二值化处理的样本图片中去掉人脸样本边缘图像，得到人脸样本图像；
S3.2：对所述人脸样本图像划分若干子块，并分别标记为样本子块，分别计算每个所述样本子块之间的重心和旋转角度；
S3.3：在所述目标人像模型中查找与所述样本子块相匹配的子块，计算相应的两个子块重心的水平偏移距离d和竖直偏移距离h、以及两个子块的旋转角度之差α，即为所述人脸样本特征值。
进一步地，步骤S4中，判断所述人脸样本与所述目标人像模型是否属于同一人的方法如下：
通过如下公式计算所述人脸样本与所述目标人像的匹配分数：
Figure BDA0001927692800000051
Figure BDA0001927692800000052
若匹配分数N(T,R)小于预设的阈值，则认证失败；反之，则认证成功；
其中，n为与目标人像模型相匹配的样本子块的数量，N为样本子块的总数，w为目标人像模型中与样本子块匹配的子块的权重。
进一步地，步骤S4中，对所述人脸样本进行运动跟踪的具体方法如下：
S4.1：获得的所述运动目标模板进行特征提取，得到运动目标特征；
S4.2：提取到的所述运动目标特征进行降维处理，并利用降维后的所述运动目标特征建立目标模板字典；
S4.3：在当前帧中的所述运动目标模板中进行粒子滤波，提取N个粒子，构成初始样本集；
S4.4：所述目标模板字典对所述运动目标进行稀疏表示，从而得到下一帧中的跟踪结果；
S4.5：计算残差，寻找残差最小的所述运动目标，该运动目标即为该帧的跟踪结果。
进一步地，所述粒子滤波的具体方法如下：
S4.3.1：初始化：从初始概率密度p(x0)中随机抽取N个样本点，构成初始采样粒子集
Figure BDA0001927692800000053
S4.3.2：预测：在t时刻，从状态的后验概率分布采样粒子集
Figure BDA0001927692800000054
Figure BDA0001927692800000061
S4.3.3：权值计算：根据公式
Figure BDA0001927692800000062
计算权值，并根据公式
Figure BDA0001927692800000063
做归一化处理；
S4.3.4：状态估计：以权值代替概率密度，根据公式
Figure BDA0001927692800000064
估计目标状态。
进一步地，所述稀疏表示的方法如下：
从所述目标模板字典中选择若干原子，使用所述若干原子的线性组合来表示信号，从中选出具有最少非零系数的表示方式，即最稀疏的线性组合，其公式如下：
y＝Ax
其中，A为所述目标模板字典，y为待表示的信号，x为求解出的信号表示系数。
本发明的有益效果如下：本发明提供了一种人脸识别与追踪系统，首先通过多幅样本图片构建立体的目标人像模型，然后对人脸样本的特征进行分析，通过卷积神经网络对目标人像模型和人脸样本的面部特征进行提取、量化和比对，以此判断人脸样本与目标人像模型是否属于同一人；在确定为同一人的情况下，通过粒子滤波算法对后续的视频帧进行运动目标跟踪，并通过稀疏表示方法得到跟踪结果。该方法可以综合人面部的线条、底色、比例等特征信息对人脸样本和目标人像模型进行分析，能适应真实模型的各种角度、各种方向的判断分析，并能将定性比对转化为定量比对，从而大大提高了人脸识别判断的可靠性。
附图说明
图1为实施例所述的一种人脸识别和追踪方法的流程图；
图2为实施例所述的一种人脸识别和追踪方法中S1的流程图；
图3为实施例所述的一种人脸识别和追踪方法中S1.3的流程图；
图4为实施例所述的一种人脸识别和追踪方法中S1.4的流程图；
图5为实施例所述的一种人脸识别和追踪方法中S4的流程图；
图6为实施例所述的一种人脸识别和追踪方法中S4.3的流程图。
具体实施方式
下面结合附图和以下实施例对本发明作进一步详细说明。
实施例
如图1所示，本发明实施例1提供了一种人脸识别和追踪方法，包括如下步骤：
S1：选择至少一个目标人像，并为同一个目标人像选择多幅样本图片，利用卷积神经网络进行分析、构建目标人像模型，并获取目标人像模型特征值；
S2：从视频流中提取样本帧，查找人脸样本，并确定人脸样本在样本帧中的位置；
S3：利用S1中的卷积神经网络对人脸样本进行分析，获取人脸样本特征值；
S4：将人脸样本特征值与目标人像模型特征值进行比对，判断人脸样本与目标人像模型是否属于同一人，如判断结果为“是”，则对人脸样本的运动特征进行提取，并根据运动特征继续在视频中位于样本帧之后的部分对人脸样本进行运动跟踪、提取人脸样本出现的疑似区域；如判断结果为“否”，则返回步骤S2；
S5：对疑似区域重复步骤S2～S4的操作，再次进行判断，如判断结果为“是”，则继续进行跟踪；如判断结果为“否”，则返回步骤S1。
如图2所示，在一个优选的实施例中，步骤S1的具体方法如下：
S1.1：选择至少一个目标人像，并为每个目标人像选择多幅不同角度的样本图片；
S1.2：对多幅不同角度的样本图片进行边缘检测、得到多幅不同角度的人像边缘图像，并对样本图片进行二值化处理，分别从每幅经过二值化处理的样本图片中去掉对应的人像边缘图像，得到多个不同角度的人像图像；
S1.3：通过卷积神经网络对多幅人像图像分别进行特征提取，并构建三维的目标人像模型；
S1.4：对多幅人像图像进行归一化处理，得到目标人像模型特征值。
通过多幅不同角度的样本图片，可以获取目标人像不同部位、不同角度的特征信息，便于拼接出完整的、立体的目标人像模型；对运动目标进行二值化，可以有效地进行降噪，从而提高目标识别的精确度、减小干扰，去除边缘图像可以去除无效信息，以降低后续分析的计算量；归一化处理可以对人像图像特征进行量化，从而便于后续的分析。
如图3所示，在一个优选的实施例中，步骤S1.3的具体方法如下：
S1.3.1：以多幅人像图像作为训练图像，在训练图像中标注线条像素点(人面部五官的线条、疤痕、痣等肉眼可分辨的部位)和底色像素点(皮肤或成片毛发的底色)，根据线条像素点和底色像素点(同时包含两种像素点)划分若干子块，并分别标记为训练子块，组成训练样本集合；
S1.3.2：将训练样本集合输入卷积神经网络中进行分类模型的训练，卷积神经网络分别根据每个子块输出一个深度特征向量，组成深度特征向量集合；
S1.3.3：通过支持向量机对深度特征向量集合进行分类计算、得到每个深度特征向量在目标人像中的权重w；
S1.3.4：通过三维卷积构建3D人像模型，并根据权重得到增强的目标人像模型。
每个子块包含的线条像素点的数量和种类都不相同，因此辨识度也各不相同，即，通过每个子块与目标人像模型进行匹配的可靠性也不相同；因此，通过支持向量机分别计算每个子块的深度特征向量在目标人像中的权重，可以表征其在人像辨识中的重要性。
卷积神经网络的卷积层根据训练子块输出深度特征向量的计算公式如下：
Figure BDA0001927692800000091
其中，
Figure BDA0001927692800000092
是第l层的输入谱，
Figure BDA0001927692800000093
是第m个输入和n个输出特征谱之间的卷积核，*是卷积操作,Ml-1是输入特征谱的数量,
Figure BDA0001927692800000094
是第n个输出谱的偏移。
如图4所示，在一个优选的实施例中，步骤S1.4的具体方法如下：
S1.4.1：根据如下公式计算每个子块的一阶矩：
Figure BDA0001927692800000095
Figure BDA0001927692800000096
其中，V(i,j)为人像图像在(i,j)上的灰度值；
根据如下公式，计算每个子块的重心：
Figure BDA0001927692800000097
Figure BDA0001927692800000098
S1.4.2：根据如下公式计算每个子块的二阶矩：
Figure BDA0001927692800000101
Figure BDA0001927692800000102
Figure BDA0001927692800000103
根据如下公式，计算每个子块的旋转角度：
Figure BDA0001927692800000104
其中：
Figure BDA0001927692800000105
S1.4.3：利用重心与旋转角度对目标人像模型进行校正，得到空间重心以及各个子块相对于空间重心的空间旋转角度，并与每个子块的权重一一对应，得到子块特征数据集，即为目标人像模型特征值。
通过上述计算过程，可以得到每个子块在三维的目标人像模型中的位置和角度，同时与子块的权重一一关联，从而为每个子块确定其在该目标人像模型中的量化的特征信息(特征值)
在一个优选的实施例中，步骤S3的具体方法如下：
S3.1：对人脸样本进行边缘检测、得到人脸样本边缘图像，并对人脸边缘图像进行二值化处理，从经过二值化处理的样本图片中去掉人脸样本边缘图像，得到人脸样本图像；
S3.2：对人脸样本图像划分若干子块，并分别标记为样本子块，分别计算每个样本子块之间的重心和旋转角度；
S3.3：在目标人像模型中查找与样本子块相匹配的子块，计算相应的两个子块重心的水平偏移距离d和竖直偏移距离h、以及两个子块的旋转角度之差α，即为人脸样本特征值。
对子块进行匹配时，应当综合考虑形状(通过像素点和灰度分布判断)、位置(重心)、方向(角度)等等多方面的信息，才能准确判定目标人像模型中是否存在与样本子块相匹配的子块。
步骤S4中，判断人脸样本与目标人像模型是否属于同一人的方法如下：
通过如下公式计算人脸样本与目标人像的匹配分数：
Figure BDA0001927692800000111
Figure BDA0001927692800000112
若匹配分数N(T,R)小于预设的阈值，则认证失败；反之，则认证成功；
其中，n为与目标人像模型相匹配的样本子块的数量，N为样本子块的总数，w为目标人像模型中与样本子块匹配的子块的权重。
通过上述公式，能综合各个匹配的样本子块的各方面特征信息(形状、位置、方向)对人脸样本和目标人像模型进行匹配，并能利用各个匹配的样本子块在目标人像模型中的权重进行校正，从而得到可靠的匹配分数，以便对人脸样本进行是否与目标人像模型属于同一人。
如图5所示，在一个优选的实施例中，步骤S4中，对人脸样本进行运动跟踪的具体方法如下：
S4.1：对获得的运动目标模板进行特征提取，得到运动目标特征；
S4.2：采用SIFT算法提取到的运动目标特征进行降维处理，并利用降维后的运动目标特征建立目标模板字典；
S4.3：使用PCA算法在当前帧中的运动目标模板中进行粒子滤波，提取N个粒子，构成初始样本集；
S4.4：采用BLOOMP算法目标模板字典对运动目标进行稀疏表示，从而得到下一帧中的跟踪结果；
S4.5：计算残差，寻找残差最小的运动目标，该运动目标即为该帧的跟踪结果。
该方法通过检测与跟踪算法，在录像中寻找感兴趣的运动目标，将每帧的结果输出，从而避免使用人工进行查找，大大减少了时间，提高了查找的效率。
如图6所示，在一个优选的实施例中，粒子滤波的具体方法如下：
S4.3.1：初始化：从初始概率密度p(x0)中随机抽取N个样本点，构成初始采样粒子集
Figure BDA0001927692800000121
S4.3.2：预测：在t时刻，从状态的后验概率分布采样粒子集
Figure BDA0001927692800000122
Figure BDA0001927692800000123
S4.3.3：权值计算：根据公式
Figure BDA0001927692800000124
计算权值，并根据公式
Figure BDA0001927692800000125
做归一化处理；
S4.3.4：状态估计：以权值代替概率密度，根据公式
Figure BDA0001927692800000126
估计目标状态。
假设状态变量的初始概率p(x0)已知，用
Figure BDA0001927692800000127
来近似表示时刻目标状态xt为的后验概率p(x0:t|y1:t)，其中：
Figure BDA0001927692800000128
是粒子集，
Figure BDA0001927692800000129
是归一化的权值，x0:t＝xj,j＝0,1…t是从幵始到t时刻的所有目标状态。则t时刻目标状态的后验概率密度分布可近似表示为：
Figure BDA00019276928000001210
通常情况下，直接通过非标准的多变量函数p(x0:t|y1:t)采样粒子是非常困难的。此时引入一个容易采样且已知的参考概率密度分布函数q(x0:t|y1:t)，借助重要性釆样的概念，通过q(x0:t|y1:t)采样得到粒子集。此时，上式中的权值计算如下：
Figure BDA0001927692800000131
同时，因为q(x0:t|y1:t)＝q(xt|x0:t-1,y1:t)q(x0:t-1|y1:t)，则可从前t-1个时刻已存在的粒子集
Figure BDA0001927692800000132
以及t时刻的新粒子样本
Figure BDA0001927692800000133
来获得样本
Figure BDA0001927692800000134
此时，后验概率密度p(xt|y1:t)可以表示为：
Figure BDA0001927692800000135
在一个优选的实施例中，稀疏表示的方法如下：
从目标模板字典中选择若干原子，使用若干原子的线性组合来表示信号，从中选出具有最少非零系数的表示方式，即最稀疏的线性组合，其公式如下：
y＝Ax
其中，A为目标模板字典，y为待表示的信号，x为求解出的信号表示系数。
BLOOMP算法全称为带宽排除局部最优正交匹配追踪算法，是由BOMP算法(局部最优正交匹配追踪算法)和LO算法结合而成，可以解决字典中原子划分过细造成彼此相关性太高的问题。
上述实施例提供了一种人脸识别与追踪系统，首先通过多幅样本图片构建立体的目标人像模型，然后对人脸样本的特征进行分析，通过卷积神经网络对目标人像模型和人脸样本的面部特征进行提取、量化和比对，以此判断人脸样本与目标人像模型是否属于同一人；在确定为同一人的情况下，通过粒子滤波算法对后续的视频帧进行运动目标跟踪，并通过稀疏表示方法得到跟踪结果。该方法可以综合人面部的线条、底色、比例等特征信息对人脸样本和目标人像模型进行分析，能适应真实模型的各种角度、各种方向的判断分析，并能将定性比对转化为定量比对，从而大大提高了人脸识别判断的可靠性。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (8)

1.一种人脸识别和追踪方法，其特征在于，包括如下步骤：
S1：选择至少一个目标人像，并为同一个目标人像选择多幅样本图片，利用卷积神经网络进行分析、构建目标人像模型，并获取目标人像模型特征值；
S2：从视频流中提取样本帧，查找人脸样本，并确定所述人脸样本在所述样本帧中的位置；
S3：利用S1中的卷积神经网络对所述人脸样本进行分析，获取人脸样本特征值；
S4：将所述人脸样本特征值与所述目标人像模型特征值进行比对，判断所述人脸样本与所述目标人像模型是否属于同一人，如判断结果为“是”，则对所述人脸样本的运动特征进行提取，并根据所述运动特征继续在所述视频中位于所述样本帧之后的部分对所述人脸样本进行运动跟踪、提取所述人脸样本出现的疑似区域；如判断结果为“否”，则返回步骤S2；
S5：对所述疑似区域重复步骤S2～S4的操作，再次进行判断，如判断结果为“是”，则继续进行跟踪；如判断结果为“否”，则返回步骤S1；步骤S1的具体方法如下：
S1.1：选择至少一个目标人像，并为每个所述目标人像选择多幅不同角度的样本图片；
S1.2：对所述多幅不同角度的样本图片进行边缘检测、得到多幅不同角度的人像边缘图像，并对所述样本图片进行二值化处理，分别从每幅经过二值化处理的样本图片中去掉对应的人像边缘图像，得到多个不同角度的人像图像；
S1.3：通过卷积神经网络对多幅所述人像图像分别进行特征提取，并构建三维的目标人像模型；
S1.4：对多幅所述人像图像进行归一化处理，得到目标人像模型特征值；
步骤S1.3的具体方法如下：
S1.3.1：以多幅所述人像图像作为训练图像，在所述训练图像中标注线条像素点和底色像素点，根据所述线条像素点和所述底色像素点划分若干子块，并分别标记为训练子块，组成训练样本集合；
S1.3.2：将所述训练样本集合输入值所述卷积神经网络中进行分类模型的训练，所述卷积神经网络分别根据每个所述子块输出一个深度特征向量，组成深度特征向量集合；
S1.3.3：通过支持向量机对所述深度特征向量集合进行分类计算、得到每个所述深度特征向量在所述目标人像中的权重w；
S1.3.4：通过三维卷积构建3D人像模型，并根据所述权重得到增强的目标人像模型。
2.如权利要求1所述的人脸识别与追踪方法，其特征在于，所述卷积神经网络的卷积层根据所述训练子块输出深度特征向量的计算公式如下：
Figure FDA0002531672820000021
其中，
Figure FDA0002531672820000031
是第l层的输入谱，
Figure FDA0002531672820000032
是第m个输入和n个输出特征谱之间的卷积核，*是卷积操作,Ml-1是输入特征谱的数量,
Figure FDA0002531672820000033
是第n个输出谱的偏移。
3.如权利要求1所述的人脸识别与追踪方法，其特征在于，步骤S1.4的具体方法如下：
S1.4.1：根据如下公式计算每个所述子块的一阶矩：
Figure FDA0002531672820000034
Figure FDA0002531672820000035
其中，V(i,j)为所述人像图像在(i,j)上的灰度值；
根据如下公式，计算每个所述子块的重心：
Figure FDA0002531672820000036
Figure FDA0002531672820000037
S1.4.2：根据如下公式计算每个所述子块的二阶矩：
Figure FDA0002531672820000038
Figure FDA0002531672820000039
Figure FDA00025316728200000310
根据如下公式，计算每个所述子块的旋转角度：
Figure FDA00025316728200000311
其中：
Figure FDA00025316728200000312
S1.4.3：利用所述重心与所述旋转角度对所述目标人像模型进行校正，得到空间重心以及各个所述子块相对于所述空间重心的空间旋转角度，并与每个所述子块的所述权重一一对应，得到子块特征数据集，即为所述目标人像模型特征值。
4.如权利要求3所述的人脸识别与追踪方法，其特征在于，步骤S3的具体方法如下：
S3.1：对所述人脸样本进行边缘检测、得到人脸样本边缘图像，并对所述人脸边缘图像进行二值化处理，从经过二值化处理的样本图片中去掉人脸样本边缘图像，得到人脸样本图像；
S3.2：对所述人脸样本图像划分若干子块，并分别标记为样本子块，分别计算每个所述样本子块之间的重心和旋转角度；
S3.3：在所述目标人像模型中查找与所述样本子块相匹配的子块，计算相应的两个子块重心的水平偏移距离d和竖直偏移距离h、以及两个子块的旋转角度之差α，即为所述人脸样本特征值。
5.如权利要求4所述的人脸识别与追踪方法，其特征在于，步骤S4中，判断所述人脸样本与所述目标人像模型是否属于同一人的方法如下：
通过如下公式计算所述人脸样本与所述目标人像的匹配分数：
Figure FDA0002531672820000041
Figure FDA0002531672820000042
若匹配分数N(T,R)小于预设的阈值，则认证失败；反之，则认证成功；其中，n为与目标人像模型相匹配的样本子块的数量，N为样本子块的总数，w为目标人像模型中与样本子块匹配的子块的权重。
6.如权利要求1所述的人脸识别与追踪方法，其特征在于，步骤S4中，对所述人脸样本进行运动跟踪的具体方法如下：
S4.1：获得的运动目标模板进行特征提取，得到运动目标特征；
S4.2：提取到的所述运动目标特征进行降维处理，并利用降维后的所述运动目标特征建立目标模板字典；
S4.3：在当前帧中的所述运动目标模板中进行粒子滤波，提取N个粒子，构成初始样本集；
S4.4：所述目标模板字典对所述运动目标进行稀疏表示，从而得到下一帧中的跟踪结果；
S4.5：计算残差，寻找残差最小的所述运动目标，该运动目标即为该帧的跟踪结果。
7.如权利要求6所述的人脸识别与追踪方法，其特征在于，所述粒子滤波的具体方法如下：
S4.3.1：初始化：从初始概率密度p(x0)中随机抽取N个样本点，构成初始采样粒子集
Figure FDA0002531672820000051
S4.3.2：预测：在t时刻，从状态的后验概率分布采样粒子集
Figure FDA0002531672820000052
Figure FDA0002531672820000053
S4.3.3：权值计算：根据公式
Figure FDA0002531672820000061
计算权值，并根据公式
Figure FDA0002531672820000062
做归一化处理；
S4.3.4：状态估计：以权值代替概率密度，根据公式
Figure FDA0002531672820000063
估计目标状态。
8.如权利要求6所述的人脸识别与追踪方法，其特征在于，所述稀疏表示的方法如下：
从所述目标模板字典中选择若干原子，使用所述若干原子的线性组合来表示信号，从中选出具有最少非零系数的表示方式，即最稀疏的线性组合，其公式如下：
y＝Ax
其中，A为所述目标模板字典，y为待表示的信号，x为求解出的信号表示系数。
CN201811624549.2A 2018-12-28 2018-12-28 一种人脸识别和追踪方法 Active CN109508701B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811624549.2A CN109508701B (zh) 2018-12-28 2018-12-28 一种人脸识别和追踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811624549.2A CN109508701B (zh) 2018-12-28 2018-12-28 一种人脸识别和追踪方法

Publications (2)

Publication Number Publication Date
CN109508701A CN109508701A (zh) 2019-03-22
CN109508701B true CN109508701B (zh) 2020-09-22

Family

ID=65756601

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811624549.2A Active CN109508701B (zh) 2018-12-28 2018-12-28 一种人脸识别和追踪方法

Country Status (1)

Country Link
CN (1) CN109508701B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112149497B (zh) * 2020-08-10 2021-07-06 中标慧安信息技术股份有限公司 基于人脸识别的操作系统安全登录方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101140620A (zh) * 2007-10-16 2008-03-12 上海博航信息科技有限公司 一种人脸识别系统
CN107437259A (zh) * 2017-08-08 2017-12-05 西安科技大学 一种矿井用单摄像头运动目标跟踪方法
CN107798308A (zh) * 2017-11-09 2018-03-13 石数字技术成都有限公司 一种基于短视频训练法的人脸识别方法
CN108764024A (zh) * 2018-04-09 2018-11-06 平安科技（深圳）有限公司 人脸识别模型的生成装置、方法及计算机可读存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101140620A (zh) * 2007-10-16 2008-03-12 上海博航信息科技有限公司 一种人脸识别系统
CN107437259A (zh) * 2017-08-08 2017-12-05 西安科技大学 一种矿井用单摄像头运动目标跟踪方法
CN107798308A (zh) * 2017-11-09 2018-03-13 石数字技术成都有限公司 一种基于短视频训练法的人脸识别方法
CN108764024A (zh) * 2018-04-09 2018-11-06 平安科技（深圳）有限公司 人脸识别模型的生成装置、方法及计算机可读存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Convolutional Neural Network with Particle Filter Approach for Visual Tracking;Vladimir Tyan et al.;《KSII TRANSACTIONS ON INTERNET AND INFORMATION SYSTEMS》;20180228;第12卷(第2期);全文 *

Also Published As

Publication number Publication date
CN109508701A (zh) 2019-03-22

Similar Documents

Publication Publication Date Title
CN107423690B (zh) 一种人脸识别方法及装置
CN107563345B (zh) 一种基于时空显著性区域检测的人体行为分析方法
Tome et al. The 1st competition on counter measures to finger vein spoofing attacks
Zhu et al. Latent fingerprint segmentation based on convolutional neural networks
CN102103690A (zh) 一种自动的头发区域分割方法
Liu et al. Automatic gait recognition from a distance
CN106557740B (zh) 一种遥感图像中油库目标的识别方法
Salve et al. Iris recognition using SVM and ANN
WO2013075295A1 (zh) 低分辨率视频的服装识别方法及系统
Bashbaghi et al. Watch-list screening using ensembles based on multiple face representations
Hilles et al. Adaptive latent fingerprint image segmentation and matching using Chan-Vese technique based on EDTV model
Hilles et al. Latent fingerprint enhancement and segmentation technique based on hybrid edge adaptive dtv model
Lee et al. An automated video-based system for iris recognition
Lin et al. Convolutional neural networks for face anti-spoofing and liveness detection
Porwik et al. DTW and voting-based lip print recognition system
Li et al. Face liveness detection and recognition using shearlet based feature descriptors
CN110121109A (zh) 面向监控系统数字视频实时溯源方法、城市视频监控系统
CN110458064B (zh) 结合数据驱动型和知识驱动型的低空目标检测与识别方法
CN104504161A (zh) 一种基于机器人视觉平台的图像检索方法
CN109508701B (zh) 一种人脸识别和追踪方法
Yang et al. Detection and segmentation of latent fingerprints
US7436999B2 (en) Data analysis device and data recognition device
Hamd et al. Fourier descriptors for iris recognition
CN106326827A (zh) 掌静脉识别系统
Saparudin et al. Segmentation of fingerprint image based on gradient magnitude and coherence

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20210425

Address after: 518057 Room 301, 3 / F, building 9, Shenzhen Software Park (phase 2), No.1, kejizhong 2 Road, Gaoxin Central District, Maling community, Yuehai street, Nanshan District, Shenzhen City, Guangdong Province

Patentee after: Shenzhen million curtain Mdt InfoTech Ltd.

Address before: Room 312, Room 3, Building 2, 28 Andingmen East Street, Dongcheng District, Beijing

Patentee before: BEIJING EASUB INFORMATION TECHNOLOGY Co.,Ltd.