CN108932727A - 人脸跟踪方法和装置 - Google Patents

人脸跟踪方法和装置 Download PDF

Info

Publication number
CN108932727A
CN108932727A CN201711477555.5A CN201711477555A CN108932727A CN 108932727 A CN108932727 A CN 108932727A CN 201711477555 A CN201711477555 A CN 201711477555A CN 108932727 A CN108932727 A CN 108932727A
Authority
CN
China
Prior art keywords
face
key point
depth characteristic
face key
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711477555.5A
Other languages
English (en)
Other versions
CN108932727B (zh
Inventor
刘承文
李聪廷
黄攀
陈航锋
汪辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Uniview Technologies Co Ltd
Original Assignee
Zhejiang Uniview Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Uniview Technologies Co Ltd filed Critical Zhejiang Uniview Technologies Co Ltd
Priority to CN201711477555.5A priority Critical patent/CN108932727B/zh
Publication of CN108932727A publication Critical patent/CN108932727A/zh
Application granted granted Critical
Publication of CN108932727B publication Critical patent/CN108932727B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例提供一种人脸跟踪方法和装置，所述人脸跟踪方法包括获取当前待跟踪的人脸图像对应的人脸关键点和深度特征，作为第一人脸关键点和第一深度特征；获取参考人脸图像对应的人脸关键点和深度特征，作为第二人脸关键点和第二深度特征；计算所述第一人脸关键点与所述第二人脸关键点之间的第一距离，以及计算所述第一深度特征与所述第二深度特征之间的第二距离；判断所述第一距离和所述第二距离是否满足第一预设需求，若满足第一预设需求，则判定人脸跟踪成功。本发明实施例综合人脸关键点和深度特征进行人脸跟踪，能够适应不同复杂环境下的人脸跟踪，确保人脸跟踪的可靠性。

Description

人脸跟踪方法和装置
技术领域
本发明涉及视频监控技术领域，具体而言，涉及一种人脸跟踪方法和装置。
背景技术
人脸监控在小区门禁、地铁安检等越来越多的实际场景中应用，尤其是在维稳反恐、流动人员管控等方面尤其重要。但在现有的人脸监控过程中，由于人员流动的随意性较大，经常出现如转头、低头、遮挡等情况，使得一般的人脸跟踪方法在此类情况下失效，进而导致产生大量的误拍、多拍问题，影响后续的人脸比对、识别和跟踪。
发明内容
有鉴于此，本发明实施例的目的在于提供一种人脸跟踪方法和装置，以改善上述问题。
本发明较佳实施例提供了一种人脸跟踪方法，包括：
获取当前待跟踪的人脸图像对应的人脸关键点和深度特征，作为第一人脸关键点和第一深度特征；
获取参考人脸图像对应的人脸关键点和深度特征，作为第二人脸关键点和第二深度特征；
计算所述第一人脸关键点与所述第二人脸关键点之间的第一距离，以及计算所述第一深度特征与所述第二深度特征之间的第二距离；
判断所述第一距离和所述第二距离是否满足第一预设需求，若满足第一预设需求，则判定人脸跟踪成功。
进一步地，所述第一人脸关键点与所述第二人脸关键点之间的第一距离DK通过以下公式计算得到：
其中，d为归一化参数，i为人脸关键点的数量，Kn(xi)为第二人脸关键点的x轴坐标，Kn(yi)为第二人脸关键点的y轴坐标，Kn+1(xi)为第一人脸关键点的x轴坐标，Kn+1(yi)为第一人脸关键点的y轴坐标。
进一步地，所述第一深度特征与所述第二深度特征之间的第二距离DF通过以下公式计算得到：
其中，i为深度特征Fn或Fn+1的维度数，Fn(i)为第i维的第二深度特征，Fn+1(i)为第i维的第一深度特征。
进一步地，在执行计算所述第一人脸关键点与所述第二人脸关键点之间的第一距离的步骤之前，所述方法还包括：
根据所述第一人脸关键点判断当前待跟踪的所述人脸图像区域数据是否存在异常；
若所述人脸图像区域数据不存在异常，则执行计算所述第一人脸关键点与所述第二人脸关键点之间的第一距离，直至若满足第一预设需求，则判定人脸跟踪成功的步骤。
进一步地，所述方法还包括：
若所述人脸图像区域数据存在异常，则计算所述第一深度特征与所述第二深度特征之间的第二距离；
判断所述第二距离是否满足第二预设需求，若满足第二预设需求，则判定人脸跟踪成功。
进一步地，获取当前待跟踪的人脸图像对应的人脸关键点和深度特征，作为第一人脸关键点和第一深度特征的步骤，包括：
获取当前待跟踪的人脸图像区域数据，以及训练后的人脸多任务学习及卷积神经网络模型；
将所述人脸图像区域数据输入所述人脸多任务学习及卷积神经网络模型中以计算得到用于人脸跟踪的人脸关键点和深度特征，作为第一人脸关键点和第一深度特征。
进一步地，所述人脸多任务学习及卷积神经网络模型通过以下训练步骤得到：
步骤S1113，获取训练样本；
步骤S1114，将所述训练样本输入预设人脸多任务学习及卷积神经网络中以计算得到人脸关键点和深度特征的损失函数值；
步骤S1115，根据所述损失函数值计算所述预设人脸多任务学习及卷积神经网络的反向导数；
步骤S1116，根据所述反向导数计算所述预设人脸多任务学习及卷积神经网络中所有节点的权重参数的偏导数，根据所述偏导数对所述预设人脸多任务学习及卷积神经网络的权重参数进行修正并更新；
重复上述步骤S1114至步骤S1116直到所述损失函数值收敛到最小值且不再减小，将该损失函数值对应的权重参数作为所述预设人脸多任务学习及卷积神经网络的权重参数以得到人脸多任务学习及卷积神经网络模型。
进一步地，所述人脸关键点和深度特征的损失函数值L(θ)以及所述反向导数分别通过以下公式计算得到：
L(θ)＝ηL1(θ)+λL2(θ)＝η∑l1(θ)+λ∑l2(θ)；
其中，
L1(θ)和L2(θ)分别表示人脸关键点和深度特征的前向损失，η表示人脸关键点的前向损失的权重值，λ表示深度特征的前向损失的权重值。
本发明较佳实施例还提供一种人脸跟踪装置，包括：
当前数据获取模块，用于获取当前待跟踪的人脸图像对应的人脸关键点和深度特征，作为第一人脸关键点和第一深度特征；
参考数据获取模块，用于获取参考人脸图像对应的人脸关键点和深度特征，作为第二人脸关键点和第二深度特征；
数据计算模块，用于计算所述第一人脸关键点与所述第二人脸关键点之间的第一距离，以及计算所述第一深度特征与所述第二深度特征之间的第二距离；
跟踪判断模块，用于判断所述第一距离和所述第二距离是否满足第一预设需求，若满足第一预设需求，则判定人脸跟踪成功。
进一步地，所述装置还包括：
异常判断模块，用于根据所述第一人脸关键点判断所述人脸图像区域数据是否存在异常；以及
在所述人脸图像区域数据不存在异常时，执行计算所述第一人脸关键点与所述第二人脸关键点之间的第一距离，直至若满足第一预设需求，则判定人脸跟踪成功的步骤。
本发明实施例提供一种人脸跟踪方法和装置，其中，通过联合人脸关键点和深度特征进行人脸追踪、监控，避免了现有技术中出现的由于被监控人员转头、低头、脸部遮挡等情况引起的监控失效问题。同时，本发明实施例能够适应不同复杂环境下的人脸跟踪，确保人脸跟踪的可靠性。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本发明实施例提供的电子设备的方框结构示意图。
图2为本发明实施例提供的人脸跟踪方法的流程示意图。
图3为图2中所示的步骤S110子流程示意图。
图4为图3中所示的步骤S111子流程示意图。
图5为图3中所示的步骤S111另一子流程示意图。
图6为本发明实施例提供的预设人脸多任务学习及卷积神经网络的结构示意图。
图7为本发明实施例提供的人脸跟踪装置的方框结构示意图。
图标：10-电子设备；100-人脸跟踪装置；110-当前数据获取模块；120-参考数据获取模块；130-数据计算模块；140-跟踪判断模块；150-异常判断模块；200-存储器；300-存储控制器；400-处理器。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
如图1所示，为应用本发明实施例提供的人脸跟踪方法和装置的电子设备10的方框结构示意图，该电子设备10包括人脸跟踪装置100、存储器200、存储控制器300以及处理器400。其中，所述存储器200、存储控制器300和处理器400各元件相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件之间通过一条或多条通讯总线或信号线实现电性连接。所述人脸跟踪装置100包括至少一个可以软件或固件的形式存储于所述存储器200中或固化在所述电子设备10的操作系统中的软件功能模块。所述处理器400在所述存储控制器300的控制下访问所述存储器200，以用于执行所述存储器200中存储的可执行模块，例如所述人脸跟踪装置100所包括的软件功能模块及计算机程序等，进而实现本发明实施例中的人脸跟踪方法。可选地，所述电子设备10可以是，但不限于智能手机、IPAD、电脑、服务器等。
应当理解，图1所示的结构仅为示意。所述电子设备10可以具有比图1所示更多或者更少的组件，或者具有与图1所示不同的配置。其中，图1所示的各组件可以由软件、硬件或者其组合实现。
进一步地，如图2所示，是本发明较佳实施例提供的人脸跟踪方法的流程示意图，所述人脸跟踪方法可应用于图1中所示的电子设备10。下面结合图2对所述人脸跟踪方法的具体流程及步骤进行详细阐述。
步骤S110，获取当前待跟踪的人脸图像对应的人脸关键点和深度特征，作为第一人脸关键点和第一深度特征。
其中，所述第一人脸关键点和所述第一深度特征的获取方式有多种，例如，可以通过参数共享的同一人脸多任务学习及卷积神经网络计算得到，也可以是通过不同的人脸多任务学习及卷积神经网络分别获得。如图3所示，下面以共享参数的同一人脸多任务学习及卷积神经网络为例对所述第一人脸关键点和第一深度特征的获取过程进行介绍。
步骤S111，获取当前待跟踪的人脸图像区域数据，以及训练后的人脸多任务学习及卷积神经网络模型。
其中，如图4所示，所述人脸图像区域数据可通过步骤S1110-步骤S1112实现。
步骤S1110，采集视频流中的一帧图像并对该图像进行灰度处理得到灰度图像。
步骤S1111，提取所述灰度图像中的类Haar特征，并基于adaboost级联分类器对所述类Haar特征进行分类运算。
步骤S1112，根据分类运算结果检测所述灰度图像中人脸初始数据以作为人脸图像区域数据。
上述步骤S1110-步骤S1112中，所述类Haar特征可以是但不限于两矩形特征、三矩形特征、对角特征等中的一种。另外，在得到所述类Haar特征之后，可利用训练后的Adaboost级联分类器对灰度图像的类Haar特征进行选择，并利用选择到的类Haar特征值对灰度图像进行检测得到初始人脸区域。应注意，本实施例中通过采用基于类Haar特征的Adaboost检测算法能够提高人脸图像区域数据的运算速度。
进一步地，如图5所示，所述人脸多任务学习及卷积神经网络模型通过以下步骤训练得到。
步骤S1113，获取训练样本。
其中，所述训练样本与上述的所述人脸图像区域数据的数据类型相同。另外，所述训练样本与所述人脸图像区域数据也可以为相同的数据，即进行人脸多任务学习及卷积神经网络模型训练时，可直接采用该人脸图像区域数据进行模型训练，以进一步提高人脸多任务学习及卷积神经网络模型的可靠性。
步骤S1114，将所述训练样本输入预设人脸多任务学习及卷积神经网络中以计算得到人脸关键点和深度特征的损失函数值。
本实施例中，所述预设人脸多任务学习及卷积神经网络采用卷积特征参数共享的方式，将人脸关键点任务和深度特征任务进行合并，从而通过实现一次前向计算以同时得到人脸关键点和深度特征。其中，所述人脸关键点可以包括但不限于左眼睛、右眼睛、鼻子、左嘴角和右嘴角共5个关键点，所述深度特征可以是但不限于160维，本实施例在此不做限制。
可选地，如图6所示，所述人脸多任务学习及卷积神经网络包括4个卷积层、3个池化层和4个全连接层。所述第一卷积层、第二卷积层、第三卷积层、第四卷积层可采用3*3的卷积核，三次池化可采用2*2大小的卷积核进行下采样运算，同时，第二全连接层的输出结果为人脸关键点，第三全连接层、第四全连接层的输出结果合并后作为深度特征。实际实施时，所述第一卷积层、第二卷积层、第三卷积层、第四卷积层的卷积核还可分别为20、40、60和80，那么，第一全连接层和第二全连接层的输出为250、80，第三全连接层和第四全连接层的输出均为80。
进一步地，在通过所述预设人脸多任务学习及卷积神经网络计算所述人脸关键点和深度特征的损失函数值时，首先需要对所述预设人脸多任务学习及卷积神经网络的各权重参数进行随机初始化，然后再将所述训练样本输入该初始化后的预设人脸多任务学习及卷积神经网络中进行损失函数值的计算。具体地，在本实施例中，所述损失函数值L(θ)通过公式(1)计算得到。
L(θ)＝ηL1(θ)+λL2(θ)＝η∑l1(θ)+λ∑l2(θ) (1)
其中，
L1(θ)和L2(θ)分别表示人脸关键点和深度特征的前向损失，η表示人脸关键点的前向损失的权重值，λ表示深度特征的前向损失的权重值。
步骤S1115，根据所述损失函数值计算所述预设人脸多任务学习及卷积神经网络的反向导数。
步骤S1116，根据所述反向导数计算所述预设人脸多任务学习及卷积神经网络中所有节点的权重参数的偏导数，根据所述偏导数对所述预设人脸多任务学习及卷积神经网络的权重参数进行修正并更新。
步骤S1115和步骤S1116中，所述反向导数可通过以下公式(2)计算得到。
基于所述反向导数再通过链式导数传导法则可计算出预设人脸多任务学习及卷积神经网络中所有节点权重参数的偏导数，并根据所述偏导数对所述预设人脸多任务学习及卷积神经网络中的各权重参数进行修正并更新。
重复上述步骤S1114至步骤S1116直到所述损失函数值收敛到最小值且不再减小，将该损失函数值对应的权重参数作为所述预设人脸多任务学习及卷积神经网络的权重参数以得到人脸多任务学习及卷积神经网络模型。
其中，在进行多次训练得到所述人脸多任务学习及卷积神经网络模型的过程中，除通过上述步骤S1114至步骤S1116中所述的训练方法外，若需要尽可能快的使所述损失函数值收敛到最小，可直接调整人脸关键点和深度特征的权重值η和λ实现，如η＝0.8,λ＝0.2。但应注意，相对于直接通过调整权重值η和λ的进行人脸多任务学习及卷积神经网络的模型训练方法，通过上述步骤S1114至步骤S1116得到的人脸多任务学习及卷积神经网络模型的性能更优。
步骤S112，将所述人脸图像区域数据输入所述人脸多任务学习及卷积神经网络模型中以计算得到用于人脸跟踪的人脸关键点和深度特征，作为第一人脸关键点和第一深度特征。
步骤S120，获取参考人脸图像对应的人脸关键点和深度特征，作为第二人脸关键点和第二深度特征。
本实施例中，所述参考人脸图像是指相对于当前待跟踪的人脸图像进行定义的，以作为进行人脸跟踪计算时的参考图像，因此，所述参考人脸图像获取方式有多种，本实施例在此不做限制。
步骤S130，根据所述第一人脸关键点判断当前待跟踪的所述人脸图像区域数据是否存在异常，若所述人脸图像区域数据不存在异常，则执行步骤S140和步骤S150；反之，则执行步骤S160和步骤S170。
首先需要说明的是，所述参考人脸图像区域数据用于在进行人脸跟踪时与当前获取待跟踪的人脸图像区域进行比对、计算，以判断人脸是否跟踪成功。因此，在本实施例中，所述参考人脸图像区域数据对应的人脸监控图像中不存在由于人员走动等出现遮挡、转头、低头或人脸消失、模糊等异常情况，即能够通过所述人脸多任务学习及卷积神经网络模型定位所述参考人脸图像区域中的人脸关键点，如左眼睛、右眼睛、鼻子、左嘴角和右嘴角等。另外，所述参考人脸图像区域数据对应的第二人脸关键点和第二深度特征可根据实际需求的不同进行选取，本实施例在此不做限制。
步骤S140，计算所述第一人脸关键点与所述第二人脸关键点之间的第一距离，以及计算所述第一深度特征与所述第二深度特征之间的第二距离。
其中，所述第一距离可以是但不限于欧式距离、欧式平均距离、马氏距离、曼哈顿距离等，在此，假设所述第一距离为所述第一人脸关键点与所述第二人脸关键点之间欧式平均距离，那么所述第一距离DK可通过以下公式计算得到：
上式(3)中，d为归一化参数，i为人脸关键点的数量，Kn(xi)为第二人脸关键点的x轴坐标，Kn(yi)为第二人脸关键点的y轴坐标，Kn+1(xi)为第一人脸关键点的x轴坐标，Kn+1(yi)为第一人脸关键点的y轴坐标。
另外，在本实施例中，所述第二距离可以是但不限于余弦距离、杰卡德距离等，在此，假设所述第二距离为所述第一深度特征与所述第二深度特征之间的余弦距离，那么所述第二距离DF可通过以下公式计算得到：
上式(4)中，i为深度特征Fn或Fn+1的维度数，Fn(i)为第i维的第二深度特征，Fn+1(i)为第i维的第一深度特征。
步骤S150，判断所述第一距离和所述第二距离是否满足第一预设需求，若满足第一预设需求，则判定人脸跟踪成功。
本实施例中，通过联合人脸关键点和深度特征实现人脸追踪的方式，能够有效解决现有技术中出现的由于人员密集或人员间的人脸距离过小而出现的跟踪错位问题，提高人脸追踪过程中的可靠性。可选地，所述第一预设需求可根据实际情况进行灵活设定，例如，所述第一预设需求可以为预先根据不同判定方式设定的阈值，也可以为包括与所述第一距离和所述第二距离分别对应的第一预设子需求和第二预设子需求等，本实施在此不做限制。此外，基于所述第一预设需求的不同，判断所述第一距离和所述第二距离是否满足第一预设需求的方式可以有多种。
例如，当所述第一预设需求为预先根据不同判定方式设定的阈值时，那么，可以将所述第一距离和所述第二距离之间的和/乘积/平方和等与所述预先设置的阈值进行比较判断，并在所述第一距离和所述第二距离的和/乘积/平方和与所述阈值匹配时，则判定所述第一距离和所述第二距离满足第一预设需求，即人脸跟踪成功。详细地，在此假设根据所述第一距离DK和所述第二距离DF的乘积D进行判定，那么所述乘积D可通过以下公式表示：
D＝DK·DF (5)
那么，当所述乘积D大于等于所述阈值时，可判定所述乘积D满足第一预设需求，反之，则不满足。
又例如，当所述第一预设需求为包括与所述第一距离和所述第二距离分别对应的第一预设子需求和第二预设子需求时，可针对所述第一距离和所述第二距离分别进行判断，并在所述第一距离满足第一预设子需求，所述第二距离满足第二预设子需求时，则判定所述第一距离和所述第二距离满足第一预设需求，即人脸跟踪成功。
应理解，在实际实施时，所述第一预设需求的设定方式以及判断所述第一距离和所述第二距离是否满足第一预设需求的判定方式可以是但不限于上述几种。
进一步地，在实际的人脸跟踪和监控过程中，若由于人员在行走过程中出现遮挡、低头、转头或人脸消失、模糊等异常情况，导致无法根据监控图像进行人脸检测以及人脸关键点的定位，进而导致人脸跟踪失败，对此，如下述步骤S160和步骤S170，本发明实施例采用基于深度特征的延时跟踪策略进行跟踪，具体如下。
步骤S160，计算所述第一深度特征与所述第二深度特征之间的第二距离。
步骤S170，判断所述第二距离是否满足第二预设需求，若满足第二预设需求，则判定人脸跟踪成功。
实际实施时，正常的人员移动轨迹为从图像的一端移动到另一端，假设在第n帧出现异常情况，人员轨迹在图像中间丢失，那么需要记录第n-1帧的人脸的深度特征Fn-1作为第二深度特征，并在i帧后在图像中出现异常轨迹的人脸，将其深度特征记为Fn+i，将第二深度特征Fn-1与第一深度特征Fn+i进行比对以求第二距离DF，如果第二距离DF满足第二预设需求，则判定人脸跟踪成功。
可选地，所述第二预设需求可以根据实际情况进行灵活设计。例如，本实施例中，所述第二预设需求可以为0.6，即当所述第二距离DF大于0.6时，可判定人脸追踪成功。应注意，所述第二距离的计算方式与上述步骤S140中的计算方式相同，即所述第二距离可以是但不限于余弦距离、杰卡德距离等，本实施例在此不再赘述。
进一步地，如图7所示，为本发明实施例提供的人脸跟踪装置100的方框结构示意图，所述人脸跟踪装置100包括当前数据获取模块110、参考数据获取模块120、数据计算模块130、跟踪判断模块140和异常判断模块150。
所述当前数据获取模块110，用于获取当前待跟踪的人脸图像对应的人脸关键点和深度特征，作为第一人脸关键点和第一深度特征。
本实施例中，关于所述当前数据获取模块110的描述具体可参考上述步骤S110的详细描述，也即，所述步骤S110可以由当前数据获取模块110执行，因而在此不作更多说明。
所述参考数据获取模块120，用于获取参考人脸图像对应的人脸关键点和深度特征，作为第二人脸关键点和第二深度特征。
本实施例中，关于所述参考数据获取模块120的描述具体可参考上述步骤S120的详细描述，也即，所述步骤S120可以由参考数据获取模块120执行，因而在此不作更多说明。
所述数据计算模块130，用于计算所述第一人脸关键点与所述第二人脸关键点之间的第一距离，以及计算所述第一深度特征与所述第二深度特征之间的第二距离。
本实施例中，关于所述数据计算模块130的描述具体可参考上述步骤S140的详细描述，也即，所述步骤S140可以由数据计算模块130执行，因而在此不作更多说明。
所述跟踪判断模块140，用于判断所述第一距离和所述第二距离是否满足第一预设需求，若满足第一预设需求，则判定人脸跟踪成功。
本实施例中，关于所述跟踪判断模块140的描述具体可参考上述步骤S150的详细描述，也即，所述步骤S150可以由跟踪判断模块140执行，因而在此不作更多说明。
所述异常判断模块150，用于根据所述第一人脸关键点判断所述人脸图像区域数据是否存在异常；以及在所述人脸图像区域数据不存在异常时，执行计算所述第一人脸关键点与所述第二人脸关键点之间的第一距离，直至若满足第一预设需求，则判定人脸跟踪成功的步骤。
本实施例中，关于所述异常判断模块150的描述具体可参考上述步骤S130的详细描述，也即，所述步骤S130可以由异常判断模块150执行，因而在此不作更多说明。
综上所述，本发明实施例提供一种人脸跟踪方法和装置，其中，通过联合人脸关键点和深度特征的方式进行人脸追踪、监控，避免了现有技术中出现的由于被监控人员转头、低头、脸部遮挡等情况引起的监控失效问题。同时，本发明实施例能够适应不同复杂环境下的人脸跟踪，确保人脸跟踪的可靠性。
在本发明实施例所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置和方法实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，电子设备，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅为本发明的可选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种人脸跟踪方法，其特征在于，包括：
获取当前待跟踪的人脸图像对应的人脸关键点和深度特征，作为第一人脸关键点和第一深度特征；
获取参考人脸图像对应的人脸关键点和深度特征，作为第二人脸关键点和第二深度特征；
计算所述第一人脸关键点与所述第二人脸关键点之间的第一距离，以及计算所述第一深度特征与所述第二深度特征之间的第二距离；
判断所述第一距离和所述第二距离是否满足第一预设需求，若满足第一预设需求，则判定人脸跟踪成功。
2.根据权利要求1所述的人脸跟踪方法，其特征在于，所述第一距离DK通过以下公式计算得到：
其中，d为归一化参数，i为人脸关键点的数量，Kn(xi)为第二人脸关键点的x轴坐标，Kn(yi)为第二人脸关键点的y轴坐标，Kn+1(xi)为第一人脸关键点的x轴坐标，Kn+1(yi)为第一人脸关键点的y轴坐标。
3.根据权利要求1所述的人脸跟踪方法，其特征在于，所述第二距离DF通过以下公式计算得到：
其中，i为深度特征Fn或Fn+1的维度数，Fn(i)为第i维的第二深度特征，Fn+1(i)为第i维的第一深度特征。
4.根据权利要求1所述的人脸跟踪方法，其特征在于，在执行计算所述第一人脸关键点与所述第二人脸关键点之间的第一距离的步骤之前，所述方法还包括：
根据所述第一人脸关键点判断当前待跟踪的所述人脸图像区域数据是否存在异常；
若所述人脸图像区域数据不存在异常，则执行计算所述第一人脸关键点与所述第二人脸关键点之间的第一距离，直至若满足第一预设需求，则判定人脸跟踪成功的步骤。
5.根据权利要求4所述的人脸跟踪方法，其特征在于，所述方法还包括：
若所述人脸图像区域数据存在异常，则计算所述第一深度特征与所述第二深度特征之间的第二距离；
判断所述第二距离是否满足第二预设需求，若满足第二预设需求，则判定人脸跟踪成功。
6.根据权利要求1所述的人脸跟踪方法，其特征在于，获取当前待跟踪的人脸图像对应的人脸关键点和深度特征，作为第一人脸关键点和第一深度特征的步骤，包括：
获取当前待跟踪的人脸图像区域数据，以及训练后的人脸多任务学习及卷积神经网络模型；
将所述人脸图像区域数据输入所述人脸多任务学习及卷积神经网络模型中以计算得到用于人脸跟踪的人脸关键点和深度特征，作为第一人脸关键点和第一深度特征。
7.根据权利要求6所述的人脸跟踪方法，其特征在于，所述人脸多任务学习及卷积神经网络模型通过以下训练步骤得到：
步骤S1113，获取训练样本；
步骤S1114，将所述训练样本输入预设人脸多任务学习及卷积神经网络中以计算得到人脸关键点和深度特征的损失函数值；
步骤S1115，根据所述损失函数值计算所述预设人脸多任务学习及卷积神经网络的反向导数；
步骤S1116，根据所述反向导数计算所述预设人脸多任务学习及卷积神经网络中所有节点的权重参数的偏导数，根据所述偏导数对所述预设人脸多任务学习及卷积神经网络的权重参数进行修正并更新；
重复上述步骤S1114至步骤S1116直到所述损失函数值收敛到最小值且不再减小，将该损失函数值对应的权重参数作为所述预设人脸多任务学习及卷积神经网络的权重参数以得到人脸多任务学习及卷积神经网络模型。
8.根据权利要求7所述的人脸跟踪方法，其特征在于，所述人脸关键点和深度特征的损失函数值L(θ)以及所述反向导数分别通过以下公式计算得到：
L(θ)＝ηL1(θ)+λL2(θ)＝η∑l1(θ)+λ∑l2(θ)；
其中，
L1(θ)和L2(θ)分别表示人脸关键点和深度特征的前向损失，η表示人脸关键点的前向损失的权重值，λ表示深度特征的前向损失的权重值。
9.一种人脸跟踪装置，其特征在于，包括：
当前数据获取模块，用于获取当前待跟踪的人脸图像对应的人脸关键点和深度特征，作为第一人脸关键点和第一深度特征；
参考数据获取模块，用于获取参考人脸图像对应的人脸关键点和深度特征，作为第二人脸关键点和第二深度特征；
数据计算模块，用于计算所述第一人脸关键点与所述第二人脸关键点之间的第一距离，以及计算所述第一深度特征与所述第二深度特征之间的第二距离；
跟踪判断模块，用于判断所述第一距离和所述第二距离是否满足第一预设需求，若满足第一预设需求，则判定人脸跟踪成功。
10.根据权利要求9所述的人脸跟踪装置，其特征在于，所述装置还包括：
异常判断模块，用于根据所述第一人脸关键点判断所述人脸图像区域数据是否存在异常；以及
在所述人脸图像区域数据不存在异常时，执行计算所述第一人脸关键点与所述第二人脸关键点之间的第一距离，直至若满足第一预设需求，则判定人脸跟踪成功的步骤。
CN201711477555.5A 2017-12-29 2017-12-29 人脸跟踪方法和装置 Active CN108932727B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711477555.5A CN108932727B (zh) 2017-12-29 2017-12-29 人脸跟踪方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711477555.5A CN108932727B (zh) 2017-12-29 2017-12-29 人脸跟踪方法和装置

Publications (2)

Publication Number Publication Date
CN108932727A true CN108932727A (zh) 2018-12-04
CN108932727B CN108932727B (zh) 2021-08-27

Family

ID=64448347

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711477555.5A Active CN108932727B (zh) 2017-12-29 2017-12-29 人脸跟踪方法和装置

Country Status (1)

Country Link
CN (1) CN108932727B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110263691A (zh) * 2019-06-12 2019-09-20 合肥中科奔巴科技有限公司 基于安卓系统的头部运动检测方法
CN110533006A (zh) * 2019-09-11 2019-12-03 北京小米智能科技有限公司 一种目标跟踪方法、装置及介质
CN111583146A (zh) * 2020-04-30 2020-08-25 济南博观智能科技有限公司 一种基于改进多尺度循环网络的人脸图像去模糊方法
CN111968163A (zh) * 2020-08-14 2020-11-20 济南博观智能科技有限公司 一种热电堆阵列测温方法及装置
CN112232311A (zh) * 2019-12-24 2021-01-15 杭州宇泛智能科技有限公司 人脸跟踪方法、装置及电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103064857A (zh) * 2011-10-21 2013-04-24 株式会社理光 图像查询方法及图像查询设备
CN106203242A (zh) * 2015-05-07 2016-12-07 阿里巴巴集团控股有限公司 一种相似图像识别方法及设备
CN106355138A (zh) * 2016-08-18 2017-01-25 电子科技大学 基于深度学习和关键点特征提取的人脸识别方法
CN107239780A (zh) * 2017-04-29 2017-10-10 安徽慧视金瞳科技有限公司 一种多特征融合的图像匹配方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103064857A (zh) * 2011-10-21 2013-04-24 株式会社理光 图像查询方法及图像查询设备
CN106203242A (zh) * 2015-05-07 2016-12-07 阿里巴巴集团控股有限公司 一种相似图像识别方法及设备
CN106355138A (zh) * 2016-08-18 2017-01-25 电子科技大学 基于深度学习和关键点特征提取的人脸识别方法
CN107239780A (zh) * 2017-04-29 2017-10-10 安徽慧视金瞳科技有限公司 一种多特征融合的图像匹配方法

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110263691A (zh) * 2019-06-12 2019-09-20 合肥中科奔巴科技有限公司 基于安卓系统的头部运动检测方法
CN110533006A (zh) * 2019-09-11 2019-12-03 北京小米智能科技有限公司 一种目标跟踪方法、装置及介质
US11158085B2 (en) 2019-09-11 2021-10-26 Beijing Xiaomi Intelligent Technology Co., Ltd. Method, apparatus and medium for object tracking
CN110533006B (zh) * 2019-09-11 2022-03-25 北京小米智能科技有限公司 一种目标跟踪方法、装置及介质
CN112232311A (zh) * 2019-12-24 2021-01-15 杭州宇泛智能科技有限公司 人脸跟踪方法、装置及电子设备
CN112232311B (zh) * 2019-12-24 2021-04-06 杭州宇泛智能科技有限公司 人脸跟踪方法、装置及电子设备
CN111583146A (zh) * 2020-04-30 2020-08-25 济南博观智能科技有限公司 一种基于改进多尺度循环网络的人脸图像去模糊方法
CN111968163A (zh) * 2020-08-14 2020-11-20 济南博观智能科技有限公司 一种热电堆阵列测温方法及装置
CN111968163B (zh) * 2020-08-14 2023-10-10 济南博观智能科技有限公司 一种热电堆阵列测温方法及装置

Also Published As

Publication number Publication date
CN108932727B (zh) 2021-08-27

Similar Documents

Publication Publication Date Title
CN108932727A (zh) 人脸跟踪方法和装置
Olowononi et al. Resilient machine learning for networked cyber physical systems: A survey for machine learning security to securing machine learning for CPS
US10417526B2 (en) Object recognition method and device
Su et al. Forecast the Plausible Paths in Crowd Scenes.
Jie et al. Tree-structured reinforcement learning for sequential object localization
CN102378992B (zh) 关节状区域检测装置及其方法
Hsieh et al. A real time hand gesture recognition system using motion history image
TWI459312B (zh) 人臉追蹤之方法
Hu et al. Learning motion patterns in crowded scenes using motion flow field
CN108549940A (zh) 基于多种对抗样例攻击的智能防御算法推荐方法及系统
CN107358149A (zh) 一种人体姿态检测方法和装置
CN108021846A (zh) 一种人脸识别方法和装置
CN108062562A (zh) 一种物体重识别方法及装置
Hu et al. Squirrel-cage local binary pattern and its application in video anomaly detection
EP3648015A2 (en) A method for training a neural network
CN108921111A (zh) 对象检测后处理方法及对应装置
CN109255802A (zh) 行人跟踪方法、装置、计算机设备及存储介质
Zernetsch et al. A holistic view on probabilistic trajectory forecasting–case study. cyclist intention detection
Henderson et al. Spike event based learning in neural networks
Kim et al. Keypoint aware robust representation for transformer-based re-identification of occluded person
Kurita et al. Recognition and detection of occluded faces by a neural network classifier with recursive data reconstruction
Vazquez et al. Visual attention using spiking neural maps
Zhao et al. Optimal Visual Sensor Network Configuration.
JP7074244B1 (ja) データ収集装置、データ収集方法及びデータ収集プログラム
Gaborski et al. VENUS: A System for Novelty Detection in Video Streams with Learning.

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant