CN110084130B - 基于多目标跟踪的人脸筛选方法、装置、设备及存储介质 - Google Patents

基于多目标跟踪的人脸筛选方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN110084130B
CN110084130B CN201910264378.5A CN201910264378A CN110084130B CN 110084130 B CN110084130 B CN 110084130B CN 201910264378 A CN201910264378 A CN 201910264378A CN 110084130 B CN110084130 B CN 110084130B
Authority
CN
China
Prior art keywords
face
target
preset time
screened
tracking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910264378.5A
Other languages
English (en)
Other versions
CN110084130A (zh
Inventor
孟勇
牛昕宇
蔡权雄
熊超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Corerain Technologies Co Ltd
Original Assignee
Shenzhen Corerain Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Corerain Technologies Co Ltd filed Critical Shenzhen Corerain Technologies Co Ltd
Priority to CN201910264378.5A priority Critical patent/CN110084130B/zh
Publication of CN110084130A publication Critical patent/CN110084130A/zh
Application granted granted Critical
Publication of CN110084130B publication Critical patent/CN110084130B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明实施例提供一种基于多目标跟踪的人脸筛选方法、装置、电子设备和存储介质，该方法包括：获取多目标跟踪算法输出的人脸跟踪结果，所述人脸跟踪结果包括置信度；根据所述置信度对第一预设时间内的多个人脸跟踪结果进行去重处理，得到待筛选人脸特征；将在第二预设时间内获取到的多个待筛选人脸特征输入预先训练好的卷积神经网络，得到目标人脸预测值，其中，所述第二预设时间为所述第一预设时间的大于1的整数倍；基于所述目标人脸预测值对目标人脸进行筛选。通过第一预设时间、第二预设时间获取待筛选人脸特征并输入预先训练好的卷积神经网络分类得到目标人脸预测值，最后根据目标人脸预测值筛选出目标人脸，从而提高人脸筛选的效率。

Description

基于多目标跟踪的人脸筛选方法、装置、设备及存储介质
技术领域
本发明涉及人工智能领域，尤其涉及一种基于多目标跟踪的人脸筛选方法、装置、设备及存储介质。
背景技术
人脸识别被认为是一种可广泛使用的生物特征识别技术，它在安全防范领域如刑侦破案、证件验证、视频监控等有着广阔的应用前景。人脸识别可分为基于静态图像的人脸识别和基于图像序列的人脸识别这两种方式。目前大部分有关人脸识别的研究也是基于图像序列的。基于图像序列的人脸识别方式中，自动人脸识别系统需要从采集到的图像序列中检测并截取出人脸图像并用于后续的人脸识别过程。在现有的人脸识别系统中，识别阶段需要利用已经采集到的人脸图像，因此人脸图像质量的好坏将直接影响到人脸识别系统的性能，模糊的人脸图像将导致识别错误率的上升。
然而，在现实环境中采集到的人脸图像的质量往往变化很大，例如可能会出现运动模糊、离焦模糊等情况。因此，为了保证人脸识别的准确性，在进入识别阶段之前，都有必要对得到的人脸图像进行筛选，将达到一定质量要求的图像进行后续的处理过程。
目前，人脸图像筛选的方法为：针对人脸图像组中的每一人脸图像，计算该人脸图像的清晰度、人脸大小以及人眼开合度这三个人脸属性，然后基于上述三个人脸属性确定该人脸图像的综合评价分数并将其中评分最高的确定为目标人脸图像。类似的方法是通过计算得到人脸属性，计算耗费时间长且过于粗糙，不适合人脸识别实时性和准确性要求，特别是在安防领域的实时视频监控。
发明内容
本发明实施例提供一种基于多目标跟踪的人脸筛选方法、装置、电子设备、和存储介质，能够提高人脸筛选的效率。
第一方面，本发明实施例提供一种基于多目标跟踪的人脸筛选方法，包括：
获取多目标跟踪算法输出的人脸跟踪结果，所述人脸跟踪结果包括置信度；
根据所述置信度对第一预设时间内的多个人脸跟踪结果进行去重处理，得到待筛选人脸特征；
将在第二预设时间内获取到的多个待筛选人脸特征输入预先训练好的卷积神经网络，得到目标人脸预测值，其中，所述第二预设时间为所述第一预设时间的大于1的整数倍；
基于所述目标人脸预测值对目标人脸进行筛选。
可选的，所述获取多目标跟踪算法输出的人脸跟踪结果，包括：
获取连续输入所述多目标跟踪算法的多帧图像的对应多个人脸跟踪结果，所述人脸跟踪结果还包括人脸标识。
可选的，所述根据所述置信度对第一预设时间内的多个人脸跟踪结果进行去重处理，得到待筛选人脸特征，包括：
在所述第一预设时间内，从具有相同人脸标识的人脸跟踪结果中选出置信度最大的一个人脸跟踪结果作为所述待筛选人脸特征，多个所述待筛选人脸特征组成一个具有相同人脸标识的待筛选人脸特征集。
可选的，所述将在第二预设时间内获取到的多个待筛选人脸特征输入预先训练好的卷积神经网络，得到目标人脸预测值，包括：
在第二预设时间内，从所述具有相同人脸标识的待筛选人脸特征集中获取待筛选人脸特征；
对所述第二预设时间内获取到的待筛选人脸特征进行预处理；
将所述预处理后的待筛选人脸特征输入预先训练好的卷积神经网络中进行分类，得到所述目标人脸预测值，所述目标人脸预测值包括人脸概率、人脸角度、人脸清晰度。
可选的，所述基于所述目标人脸预测值对目标人脸进行筛选，包括：
将所述目标人脸的人脸预测值中的人脸概率和预先设置的人脸概率阈值进行比较，如果所述人脸预测值中的人脸概率小于所述人脸概率阈值，则丢弃对应的目标人脸，得到第一目标人脸集；
在第一目标人脸集中，将所述目标人脸的人脸预测值中的人脸清晰度和预先设置的清晰度阈值进行比较，如果所述人脸预测值中的人脸清晰度小于所述清晰度阈值，则丢弃对应的目标人脸，得到第二目标人脸集；
根据所述人脸预测值中的人脸角度，对第二目标人脸集进行筛选，得到最优的目标人脸。
可选的，所述根据所述人脸预测值中的人脸角度，对第二目标人脸集进行筛选，得到最优的目标人脸，包括：
在所述第二目标人脸集中，基于所述目标人脸的人脸预测值中的人脸角度计算每个目标人脸的角度分数；
比较所述第二目标人脸集的每个目标人脸的角度分数，筛选出其中角度分数最小的目标人脸作为所述最优的目标人脸。
可选的，所述卷积神经网络的训练步骤，包括：
获取训练数据集；
对所述训练数据集进行标注、打标签、加噪声处理后输入所述卷积神经网络模型进行训练。
第二方面，本发明实施例提供一种基于多目标跟踪的人脸筛选装置，包括：
获取模块，用于获取多目标跟踪算法输出的人脸跟踪结果，所述人脸跟踪结果包括置信度；
去重模块，用于根据所述置信度对第一预设时间内的多个人脸跟踪结果进行去重处理，得到待筛选人脸特征；
输入模块，用于将在第二预设时间内获取到的多个待筛选人脸特征输入预先训练好的卷积神经网络，得到目标人脸预测值，其中，所述第二预设时间为所述第一预设时间的大于1的整数倍；
筛选模块，用于基于所述目标人脸预测值对目标人脸进行筛选。
第三方面，本发明实施例提供一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现本发明实施例提供的基于多目标跟踪的人脸筛选方法中的步骤。
第四方面，本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现本发明实施例提供的的基于多目标跟踪的人脸筛选方法中的步骤。
本发明实施例中，获取多目标跟踪算法输出的人脸跟踪结果，所述人脸跟踪结果包括置信度；根据所述置信度对第一预设时间内的多个人脸跟踪结果进行去重处理，得到待筛选人脸特征；将在第二预设时间内获取到的多个待筛选人脸特征输入预先训练好的卷积神经网络，得到目标人脸预测值，其中，所述第二预设时间为所述第一预设时间的大于1的整数倍；基于所述目标人脸预测值对目标人脸进行筛选。通过第一预设时间对上述多目标跟踪算法输出的人脸跟踪结果进行初步去重，然后在第二预设时间内获取待筛选人脸特征并输入预先训练好的卷积神经网络分类得到目标人脸预测值，最后根据目标人脸预测值筛选出目标人脸，从而提高人脸筛选的效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。
图1是本发明实施例提供的一种基于多目标跟踪的人脸筛选方法的流程示意图；
图2是本发明实施例提供的提供的一种基于多目标跟踪的人脸筛选装置的结构示意图；
图3是本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本申请的说明书和权利要求书及所述附图中的术语“第一”、“第二”、“第三”和“第四”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
如图1所示，本发明实施例提供了一种基于多目标跟踪的人脸筛选方法，包括以下步骤：
101、获取多目标跟踪算法输出的人脸跟踪结果，所述人脸跟踪结果包括置信度。
其中，在上述多目标跟踪算法执行之前，需要向人脸检测系统输入连续帧图像以得到人脸检测结果，然后将该人脸检测结果以人脸框的形式输出到上述多目标跟踪算法进行人脸跟踪并输出人脸跟踪结果，即判定连续帧图像之间，人脸框组是否同属于一个人，如果属于同一个人，则该组人脸框有唯一的人脸标识，否则，不同人脸框有不同的人脸标识。
102、根据所述置信度对第一预设时间内的多个人脸跟踪结果进行去重处理，得到待筛选人脸特征。
其中，上述第一预设时间可以是人为设定的固定值(如1秒)，也可以是每隔一定图像帧数(如10帧)的时间。在上述第一预设时间内，获取上述对应时间内的多个人脸跟踪结果，对于其中具有相同人脸标识的人脸跟踪结果进行初步去重，即取出每个人脸跟踪结果中的置信度并比较大小，将置信度最大的一个人脸跟踪结果作为上述待筛选人脸特征；重复上述初步去重步骤即可得到具有相同人脸标识的一组待筛选人脸特征。
进一步的，还可以重复该步骤以获得多个具有不同人脸标识的多组待筛选人脸特征。
103、将在第二预设时间内获取到的多个待筛选人脸特征输入预先训练好的卷积神经网络，得到目标人脸预测值，其中，所述第二预设时间为所述第一预设时间的大于1的整数倍。
其中，上述第二预设时间可以人为设定为上述第一预设时间的大于1的整数倍(如2秒)，也可以是上述第一预设时间的间隔的图像帧数的两倍以上(如30帧)的时间。在上述第二预设时间内，从上述步骤102得到的多组待筛选人脸特征中获取对应时间内的具有相同人脸标识的多个待筛选人脸特征，并将上述多个待筛选人脸特征进行预处理后依次输入上述预先训练好的卷积神经网络，进行特征提取和分类后得到对应多个目标人脸预测值，上述目标人脸预测值包括人脸概率、人脸角度、人脸清晰度。
进一步的，还可以重复该步骤以获得多个具有不同人脸标识的多组目标人脸预测值。
104、基于所述目标人脸预测值对目标人脸进行筛选。
首先，基于上述目标人脸预测值包括的人脸概率、人脸清晰度，预先设置对应的阈值，即人脸概率阈值(如0.5)、人脸清晰度阈值(如0.6)；然后将上述具有相同人脸标识的待筛选的目标人脸预测值的人脸概率、人脸清晰度和上述预先设置对应的阈值进行比较，将比较结果为小于的待筛选的目标人脸丢弃；最后通过计算剩余待筛选的目标人脸的预测值中的人脸角度得分并进行比较，选择其中人脸角度得分最小的一个作为最终的目标人脸，即最优的目标人脸。
进一步的，还可以重复该步骤以获得多个具有不同人脸标识的最终的最优的目标人脸。
本发明实施例中，获取多目标跟踪算法输出的人脸跟踪结果，所述人脸跟踪结果包括置信度；根据所述置信度对第一预设时间内的多个人脸跟踪结果进行去重处理，得到待筛选人脸特征；将在第二预设时间内获取到的多个待筛选人脸特征输入预先训练好的卷积神经网络，得到目标人脸预测值，其中，所述第二预设时间为所述第一预设时间的大于1的整数倍；基于所述目标人脸预测值对目标人脸进行筛选。通过第一预设时间对上述多目标跟踪算法输出的人脸跟踪结果进行初步去重，然后在第二预设时间内获取待筛选人脸特征并输入预先训练好的卷积神经网络分类得到目标人脸预测值，最后根据目标人脸预测值筛选出目标人脸，从而提高人脸筛选的效率。
可选的，所述获取多目标跟踪算法输出的人脸跟踪结果，包括：
获取连续输入所述多目标跟踪算法的多帧图像的对应多个人脸跟踪结果，所述人脸跟踪结果还包括人脸标识。
在连续视频帧序列中，帧图像依次被送入到目标检测算法中，算法检测出图中的人脸；接着将人脸送到上述多目标跟踪算法中，输出对应多个人脸跟踪结果(trackedFace)。上述人脸跟踪结果的构成为{frameID,FaceID,FaceImage,p}，其中frameID为一帧图像的序号，FaceID是人脸标识，FaceImage为该FaceID对应的人脸图像，p为人脸存在的置信度。
可选的，所述根据所述置信度对第一预设时间内的多个人脸跟踪结果进行去重处理，得到待筛选人脸特征，包括：
在所述第一预设时间内，从具有相同人脸标识的人脸跟踪结果中选出置信度最大的一个人脸跟踪结果作为所述待筛选人脸特征，多个所述待筛选人脸特征组成一个具有相同人脸标识的待筛选人脸特征集。
其中，上述第一预设时间可以是每隔K帧图像的时间(如K设定为10)；在上述第一预设时间内对人脸进行粗略筛选，即从start(起始)帧到start+K帧的时间段内(即frameID从start变化到start+K)，对于具有相同人脸标识FaceID的人脸跟踪结果trackedFace组中，比较其中每个trackedFace的置信度p的大小，并从中筛选出p值最大的trackedFace作为上述待筛选人脸特征，直到图像的最后一帧，这样可以将筛选的trackedFace总数降低到1/K，并得到一个具有相同人脸标识的待筛选人脸特征集。例如，K设定为10，有连续视频帧10000帧图像，则可以获得一组具有相同人脸标识的1000个trackedFace。
进一步的，更换上述人脸标识并重复该步骤，以获得多个具有不同人脸标识的待筛选人脸特征集。
可选的，所述将在第二预设时间内获取到的多个待筛选人脸特征输入预先训练好的卷积神经网络，得到目标人脸预测值，包括：
在第二预设时间内，从所述具有相同人脸标识的待筛选人脸特征集中获取待筛选人脸特征；
对所述第二预设时间内获取到的待筛选人脸特征进行预处理；
将所述预处理后的待筛选人脸特征输入预先训练好的卷积神经网络中进行分类，得到所述目标人脸预测值，所述目标人脸预测值包括人脸概率、人脸角度、人脸清晰度。
其中，上述第二预设时间可以是每隔M帧图像的时间，但应是上述第一预设时间的两倍以上，即M应大于2K(如M设定为100)；在该第二预设时间内，从上述具有相同人脸标识的待筛选人脸特征集中取出对应多个待筛选人脸特征。例如，若K设定为10，有连续视频帧10000帧图像，则首先可以获得一组具有相同人脸标识的1000个trackedFace；然后若M设定为100，则可以从上述1000个trackedFace中获得10个具有相同人脸标识的待筛选人脸特征，待筛选人脸特征包括人脸图像(FaceImage)。
接着，按照上述预先训练好的卷积神经网络的输入格式对上述获取到的多个待筛选人脸特征中的人脸图像进行预处理，比如输入格式要求是分辨率为96x 96的灰度图像，则需要将上述人脸图像缩放到相应大小，并转换为灰度图像然后作为上述卷积神经网络的输入；上述卷积神经网络可以通过六个卷积核对上述预处理后的人脸图像进行卷积和池化操作后提取图像的特征，然后通过一个全连接层对提取到的特征进行三分类，得到上述目标人脸的预测值，包括人脸概率、人脸角度、人脸清晰度。其中，人脸概率用以判定该图像是否是人脸，值为0到1的范围，值越大代表是人脸的可能性越大；人脸角度(pose)，用以判定人脸的角度，有三个角度：翻滚(roll)角度，俯仰(pitch)角度，偏航(yaw)角度，每个角度从0到180度，值越小则人脸越正；人脸清晰度(clarity)，值为0到1的范围，值越大则人脸图像越清晰。
通过上述轻量卷积神经网络可以快速、准确地获得目标人脸预测值。
可选的，所述基于所述目标人脸预测值对目标人脸进行筛选，包括：
将所述目标人脸的人脸预测值中的人脸概率和预先设置的人脸概率阈值进行比较，如果所述人脸预测值中的人脸概率小于所述人脸概率阈值，则丢弃对应的目标人脸，得到第一目标人脸集；
在第一目标人脸集中，将所述目标人脸的人脸预测值中的人脸清晰度和预先设置的清晰度阈值进行比较，如果所述人脸预测值中的人脸清晰度小于所述清晰度阈值，则丢弃对应的目标人脸，得到第二目标人脸集；
根据所述人脸预测值中的人脸角度，对第二目标人脸集进行筛选，得到最优的目标人脸。
首先，基于上述目标人脸预测值包括的人脸概率、人脸清晰度，预先设置对应的阈值，如人脸概率阈值0.5、人脸清晰度阈值0.6。
将通过上述卷积神经网络分类得到的目标人脸预测值中的人脸概率与上述人脸概率阈值进行比较，如果大于，则可以判定该图像是人脸；否则可以判定该图像不是人脸，并将该图像对应的待筛选人脸特征丢弃掉，剩余的待筛选人脸特征组成上述第一目标人脸集。
在上述第一目标人脸集中，将通过上述卷积神经网络分类得到的目标人脸预测值中的人脸清晰度与上述人脸清晰度阈值进行比较，如果大于，则可以认定该张人脸图像是相对清晰的；否则可以判定该人脸图像是模糊的，并将该该图像对应的待筛选人脸特征丢弃掉，剩余的待筛选人脸特征组成上述第二目标人脸集。
可选的，所述根据所述人脸预测值中的人脸角度，对第二目标人脸集进行筛选，得到最优的目标人脸，包括：
在所述第二目标人脸集中，基于所述目标人脸的人脸预测值中的人脸角度计算每个目标人脸的角度分数；
比较所述第二目标人脸集的每个目标人脸的角度分数，筛选出其中角度分数最小的目标人脸作为所述最优的目标人脸。
其中，上述人脸预测值中的人脸角度包括三个角度：roll(翻滚)，pitch(俯仰)，yaw(偏航)；上述人脸预测值中的人脸角度分数的计算可以通过如下公式：
poseScore＝a*|roll|+b*|pitch|+c*|yaw| (式1-1)
式中，a、b、c为对应项的权重值(可以根据经验调整)，poseScore即为人脸角度分数。
通过上述公式1-1可以得到第二目标人脸集中每个目标人脸的角度分数，选出其中角度分数最小的一个来作为最终的目标人脸，即在所有的帧图像中具有相同人脸标识的最优(最清晰、角度最正)的一帧人脸图像。
进一步的，还可以重复该实施例的两个步骤以获得多个具有不同人脸标识的最优的目标人脸，将上述最优的目标人脸作为人脸识别系统的输入，可以提高人脸识别系统的识别准确率。
可选的，所述卷积神经网络的训练步骤，包括：
获取训练数据集；
对所述训练数据集进行标注、打标签、加噪声处理后输入所述卷积神经网络模型进行训练。
如上所述，其中上述卷积神经网络可以是包括输入层、六个卷积层、一个全连接层的深度网络，输入层用来获取输入该网络的经过预处理的人脸图像，然后通过全连接层输出上述三个人脸特性值。对上述卷积神经网络的预训练，首先可以从一些网站获取公开的数据集，也可以通过摄像装置获取图像数据集；其次对采集到的数据集进行处理，即标注图像中是人脸的为1不是人脸的为0、对人脸的角度打上标签(上述三个人脸角度)以及对一部分图像加噪声并标注为不清晰；然后将上述处理后的数据集中心化、归一化后输入上述卷积神经网络进行训练，以便让训练易于收敛。
以上可选的实施例为图1中基于多目标跟踪的人脸筛选方法的补充实施例，执行上述可选的实施列中的方法均能达到相应的有益效果，为避免重复，这里不再赘述。
请参见图2，图2是本发明实施例提供的一种基于多目标跟踪的人脸筛选装置的结构示意图，如图2所示，所述装置包括：
获取模块201，用于获取多目标跟踪算法输出的人脸跟踪结果，所述人脸跟踪结果包括置信度；
去重模块202，用于根据所述置信度对第一预设时间内的多个人脸跟踪结果进行去重处理，得到待筛选人脸特征；
输入模块203，用于将在第二预设时间内获取到的多个待筛选人脸特征输入预先训练好的卷积神经网络，得到目标人脸预测值，其中，所述第二预设时间为所述第一预设时间的大于1的整数倍；
筛选模块204，用于基于所述目标人脸预测值对目标人脸进行筛选。
可选的，所述获取模块201包括：
获取子模块2011，用于获取连续输入所述多目标跟踪算法的多帧图像的对应多个人脸跟踪结果，所述人脸跟踪结果还包括人脸标识。
可选的，所述去重模块202包括：
选出子模块2021，用于在所述第一预设时间内，从具有相同人脸标识的人脸跟踪结果中选出置信度最大的一个人脸跟踪结果作为所述待筛选人脸特征，多个所述待筛选人脸特征组成一个具有相同人脸标识的待筛选人脸特征集。
可选的，所述输入模块203包括：
获取子模块2031，用于在第二预设时间内，从所述具有相同人脸标识的待筛选人脸特征集中获取待筛选人脸特征；
预处理子模块2032，用于对所述第二预设时间内获取到的待筛选人脸特征进行预处理；
输入子模块2033，将所述预处理后的待筛选人脸特征输入预先训练好的卷积神经网络中进行分类，得到所述目标人脸预测值，所述目标人脸预测值包括人脸概率、人脸角度、人脸清晰度。
可选的，所述筛选模块204包括：
第一比较子模块2041，用于将所述目标人脸的人脸预测值中的人脸概率和预先设置的人脸概率阈值进行比较，如果所述人脸预测值中的人脸概率小于所述人脸概率阈值，则丢弃对应的目标人脸，得到第一目标人脸集；
第二比较子模块2042，用于在第一目标人脸集中，将所述目标人脸的人脸预测值中的人脸清晰度和预先设置的清晰度阈值进行比较，如果所述人脸预测值中的人脸清晰度小于所述清晰度阈值，则丢弃对应的目标人脸，得到第二目标人脸集；
筛选子模块2043，用于根据所述人脸预测值中的人脸角度，对第二目标人脸集进行筛选，得到最优的目标人脸。
进一步的，上述筛选子模块2043包括：
计算单元20431，用于在所述第二目标人脸集中，基于所述目标人脸的人脸预测值中的人脸角度计算每个目标人脸的角度分数；
筛选单元20432，用于比较所述第二目标人脸集的每个目标人脸的角度分数，筛选出其中角度分数最小的目标人脸作为所述最优的目标人脸。
本发明实施例提供的一种基于多目标跟踪的人脸筛选装置能够实现上述实施例，具有相应的有益效果，为避免重复，这里不再赘述。
参见图3，图3是本发明实施例提供的一种电子设备的结构示意图，如图3所示，包括：存储器302、处理器301及存储在所述存储器302上并可在所述处理器301上运行的计算机程序，其中：
处理器301用于调用存储器302存储的计算机程序，执行上述基于多目标跟踪的人脸筛选方法的所有实施列的各步骤。
上述处理器301在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片等。
需要说明的是，由于上述处理器301执行计存储于上述存储器302内的计算机程序时可实现上述的基于多目标跟踪的人脸筛选方法的步骤，因此上述基于多目标跟踪的人脸筛选方法的所有实施例均适用于上述电子设备，且均能达到相同或相似的有益效果。
此外，本发明的具体实施例还提供了一种计算机可读存储介质302，计算机可读存储介质302存储有计算机程序，该计算机程序被处理器执行时实现上述的基于多目标跟踪的人脸筛选方法的步骤。
即，在本发明的具体实施例中，计算机可读存储介质的计算机程序被处理器执行时实现上述的基于多目标跟踪的人脸筛选方法的步骤，能提高人脸筛选的效率。
示例性的，计算机可读存储介质的计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。
需要说明的是，由于计算机可读存储介质的计算机程序被处理器执行时实现上述的基于多目标跟踪的人脸筛选方法的步骤，因此上述基于多目标跟踪的人脸筛选方法的所有实施例均适用于该计算机可读存储介质，且均能达到相同或相似的有益效果。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于可选实施例，所涉及的动作和模块并不一定是本申请所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置，可通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件程序模块的形式实现。
所述集成的单元如果以软件程序模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储器中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储器包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储器中，存储器可以包括：闪存盘、只读存储器(英文：Read-Only Memory，简称：ROM)、随机存取器(英文：Random Access Memory，简称：RAM)、磁盘或光盘等。
以上所揭露的仅为本发明较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。

Claims (9)

1.一种基于多目标跟踪的人脸筛选方法，其特征在于，包括下述步骤：
获取多目标跟踪算法输出的人脸跟踪结果，所述人脸跟踪结果包括置信度，所述人脸跟踪结果包括：第一预设时间的人脸跟踪结果和第二预设时间的人脸跟踪结果；
根据所述置信度对第一预设时间内的多个人脸跟踪结果进行去重处理，得到待筛选人脸特征；
将在第二预设时间内获取到的多个待筛选人脸特征输入预先训练好的卷积神经网络，得到目标人脸预测值，其中，所述第二预设时间为所述第一预设时间的大于1的整数倍，或者所述第二预设时间为所述第一预设时间的间隔的图像帧数的两倍以上的时间；
基于所述目标人脸预测值对目标人脸进行筛选；
其中，所述根据所述置信度对第一预设时间内的多个人脸跟踪结果进行去重处理，得到待筛选人脸特征的步骤具体包括：
在所述第一预设时间内，从具有相同人脸标识的人脸跟踪结果中选出置信度最大的一个人脸跟踪结果作为所述待筛选人脸特征，多个所述待筛选人脸特征组成一个具有相同人脸标识的待筛选人脸特征集。
2.如权利要求1所述方法，其特征在于，所述获取多目标跟踪算法输出的人脸跟踪结果的步骤具体包括：
获取连续输入所述多目标跟踪算法的多帧图像的对应多个人脸跟踪结果，所述人脸跟踪结果还包括人脸标识。
3.如权利要求1所述方法，其特征在于，所述将在第二预设时间内获取到的多个待筛选人脸特征输入预先训练好的卷积神经网络，得到目标人脸预测值的步骤具体包括：
在第二预设时间内，从所述具有相同人脸标识的待筛选人脸特征集中获取待筛选人脸特征；
对所述第二预设时间内获取到的待筛选人脸特征进行预处理；
将所述预处理后的待筛选人脸特征输入预先训练好的卷积神经网络中进行分类，得到所述目标人脸预测值，所述目标人脸预测值包括人脸概率、人脸角度、人脸清晰度。
4.如权利要求3所述方法，其特征在于，所述基于所述目标人脸预测值对目标人脸进行筛选的步骤具体包括：
将所述目标人脸的人脸预测值中的人脸概率和预先设置的人脸概率阈值进行比较，如果所述人脸预测值中的人脸概率小于所述人脸概率阈值，则丢弃对应的目标人脸，得到第一目标人脸集；
在第一目标人脸集中，将所述目标人脸的人脸预测值中的人脸清晰度和预先设置的清晰度阈值进行比较，如果所述人脸预测值中的人脸清晰度小于所述清晰度阈值，则丢弃对应的目标人脸，得到第二目标人脸集；
根据所述人脸预测值中的人脸角度，对第二目标人脸集进行筛选，得到最优的目标人脸。
5.如权利要求4所述方法，其特征在于，所述根据所述人脸预测值中的人脸角度，对第二目标人脸集进行筛选，得到最优的目标人脸的步骤具体包括：
在所述第二目标人脸集中，基于所述目标人脸的人脸预测值中的人脸角度计算每个目标人脸的角度分数；
比较所述第二目标人脸集的每个目标人脸的角度分数，筛选出其中角度分数最小的目标人脸作为所述最优的目标人脸。
6.如权利要求5所述方法，其特征在于，所述卷积神经网络的训练步骤包括：
获取训练数据集；
对所述训练数据集进行标注、打标签、加噪声处理后输入所述卷积神经网络模型进行训练。
7.一种基于多目标跟踪的人脸筛选装置，其特征在于，包括：
获取模块，用于获取多目标跟踪算法输出的人脸跟踪结果，所述人脸跟踪结果包括置信度，所述人脸跟踪结果包括：第一预设时间的人脸跟踪结果和第二预设时间的人脸跟踪结果；
去重模块，用于根据所述置信度对第一预设时间内的多个人脸跟踪结果进行去重处理，得到待筛选人脸特征；
输入模块，用于将在第二预设时间内获取到的多个待筛选人脸特征输入预先训练好的卷积神经网络，得到目标人脸预测值，其中，所述第二预设时间为所述第一预设时间的大于1的整数倍，或者所述第二预设时间为所述第一预设时间的间隔的图像帧数的两倍以上的时筛选模块，用于基于所述目标人脸预测值对目标人脸进行筛选；
其中，所述根据所述置信度对第一预设时间内的多个人脸跟踪结果进行去重处理，得到待筛选人脸特征的步骤具体包括：
在所述第一预设时间内，从具有相同人脸标识的人脸跟踪结果中选出置信度最大的一个人脸跟踪结果作为所述待筛选人脸特征，多个所述待筛选人脸特征组成一个具有相同人脸标识的待筛选人脸特征集。
8.一种计算机设备，其特征在于，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至6中任一项所述的基于多目标跟踪的人脸筛选方法的步骤。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至6中任一项所述的基于多目标跟踪的人脸筛选方法的步骤。
CN201910264378.5A 2019-04-03 2019-04-03 基于多目标跟踪的人脸筛选方法、装置、设备及存储介质 Active CN110084130B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910264378.5A CN110084130B (zh) 2019-04-03 2019-04-03 基于多目标跟踪的人脸筛选方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910264378.5A CN110084130B (zh) 2019-04-03 2019-04-03 基于多目标跟踪的人脸筛选方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN110084130A CN110084130A (zh) 2019-08-02
CN110084130B true CN110084130B (zh) 2023-07-25

Family

ID=67414192

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910264378.5A Active CN110084130B (zh) 2019-04-03 2019-04-03 基于多目标跟踪的人脸筛选方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN110084130B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110910586B (zh) * 2019-11-28 2022-03-04 中国银行股份有限公司 一种防盗刷卡的方法及系统
CN111401315B (zh) * 2020-04-10 2023-08-22 浙江大华技术股份有限公司 基于视频的人脸识别方法、识别装置及存储装置
CN111507238B (zh) * 2020-04-13 2023-08-01 盛景智能科技(嘉兴)有限公司 人脸数据筛选方法、装置及电子设备
CN111523501B (zh) * 2020-04-27 2023-09-15 阳光保险集团股份有限公司 体重指数预测方法及装置
CN111753731A (zh) * 2020-06-24 2020-10-09 上海立可芯半导体科技有限公司 人脸质量评估方法、装置和系统以及人脸质量评估模型的训练方法
CN111738193A (zh) * 2020-06-29 2020-10-02 湖南国科微电子股份有限公司 人脸抓拍方法和人脸抓拍系统
CN113569785A (zh) * 2021-08-04 2021-10-29 上海汽车集团股份有限公司 驾驶状态感知方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106446816A (zh) * 2016-09-14 2017-02-22 北京旷视科技有限公司 人脸识别方法及装置
WO2017080196A1 (zh) * 2015-11-10 2017-05-18 深圳Tcl新技术有限公司 基于人脸图像的视频分类方法和装置
CN107704797A (zh) * 2017-08-08 2018-02-16 深圳市安软慧视科技有限公司 基于安防视频中行人和车辆的实时检测方法和系统及设备
CN108388885A (zh) * 2018-03-16 2018-08-10 南京邮电大学 面向大型直播场景的多人特写实时识别与自动截图方法
CN108960047A (zh) * 2018-05-22 2018-12-07 中国计量大学 基于深度二次树的视频监控中人脸去重方法
WO2019041406A1 (zh) * 2017-08-28 2019-03-07 平安科技（深圳）有限公司 不雅图片识别方法、终端、设备及计算机可读存储介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8494231B2 (en) * 2010-11-01 2013-07-23 Microsoft Corporation Face recognition in video content
CN108228871A (zh) * 2017-07-21 2018-06-29 北京市商汤科技开发有限公司 人脸图像动态入库方法和装置、电子设备、介质、程序
CN107590212A (zh) * 2017-08-29 2018-01-16 深圳英飞拓科技股份有限公司 一种人脸图片的入库系统及方法
CN108269250A (zh) * 2017-12-27 2018-07-10 武汉烽火众智数字技术有限责任公司 基于卷积神经网络评估人脸图像质量的方法和装置
CN108304802B (zh) * 2018-01-30 2020-05-19 华中科技大学 一种面向大规模视频分析的快速过滤系统
CN108875542B (zh) * 2018-04-04 2021-06-25 北京旷视科技有限公司 一种人脸识别方法、装置、系统及计算机存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017080196A1 (zh) * 2015-11-10 2017-05-18 深圳Tcl新技术有限公司 基于人脸图像的视频分类方法和装置
CN106446816A (zh) * 2016-09-14 2017-02-22 北京旷视科技有限公司 人脸识别方法及装置
CN107704797A (zh) * 2017-08-08 2018-02-16 深圳市安软慧视科技有限公司 基于安防视频中行人和车辆的实时检测方法和系统及设备
WO2019041406A1 (zh) * 2017-08-28 2019-03-07 平安科技（深圳）有限公司 不雅图片识别方法、终端、设备及计算机可读存储介质
CN108388885A (zh) * 2018-03-16 2018-08-10 南京邮电大学 面向大型直播场景的多人特写实时识别与自动截图方法
CN108960047A (zh) * 2018-05-22 2018-12-07 中国计量大学 基于深度二次树的视频监控中人脸去重方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
Context-based person identification framework for smart video surveillance;Liyan Zhang 等;《Machine Vision and Applications》;第25卷;第1711–1725页 *
De-Duplication Using Automated Face Recognition: A Mathematical Model and All Babies Are Equally Cute;Luuk Spreeuwers;《2017 International Conference of the Biometrics Special Interest Group (BIOSIG)》;第1-5页 *
Longitudinal Study of Automatic Face Recognition;Lacey Best-Rowden 等;《IEEE Transactions on Pattern Analysis and Machine Intelligence》;第10卷(第1期);第148-162页 *
一种浮选泡沫视频图像自适应筛选方法;尹逊越 等;《微型机与应用》;第42-44页 *
基于卷积神经网络的人脸检测与特征点标定算法研究;王维;《中国优秀硕士学位论文全文数据库 信息科技辑(月刊)》(第04期);第I138-2792页 *
结合关联特征和卷积神经网络的视频目标检测;刘玉杰 等;《华南理工大学学报(自然科学版)》;第46卷(第12期);第26-33页 *

Also Published As

Publication number Publication date
CN110084130A (zh) 2019-08-02

Similar Documents

Publication Publication Date Title
CN110084130B (zh) 基于多目标跟踪的人脸筛选方法、装置、设备及存储介质
CN108875676B (zh) 活体检测方法、装置及系统
CN108830252B (zh) 一种融合全局时空特征的卷积神经网络人体动作识别方法
CN106557726B (zh) 一种带静默式活体检测的人脸身份认证系统及其方法
US20170300744A1 (en) Method and apparatus for determining identity identifier of face in face image, and terminal
CN111079655B (zh) 一种基于融合神经网络的视频中人体行为识别方法
CN110120064B (zh) 一种基于互强化与多注意机制学习的深度相关目标跟踪算法
CN108230291B (zh) 物体识别系统训练方法、物体识别方法、装置和电子设备
CN112950581A (zh) 质量评估方法、装置和电子设备
CN111144293A (zh) 带交互式活体检测的人脸身份认证系统及其方法
US12080100B2 (en) Face-aware person re-identification system
CN110135369A (zh) 一种行为识别方法、系统、设备及计算机可读存储介质
CN101950448B (zh) Atm的伪装与偷窥行为检测的方法和系统
CN111814690A (zh) 一种目标重识别方法、装置和计算机可读存储介质
Song et al. Feature extraction and target recognition of moving image sequences
CN116611491A (zh) 目标检测模型的训练方法、装置、电子设备和存储介质
CN113688804B (zh) 基于多角度视频的动作识别方法及相关设备
CN109359530B (zh) 一种智能视频监控方法及装置
CN111046769A (zh) 一种排队时长检测方法、装置及系统
Zhu et al. A novel simple visual tracking algorithm based on hashing and deep learning
CN103971100A (zh) 基于视频并针对自动提款机的伪装与偷窥行为的检测方法
CN107315985B (zh) 一种虹膜识别方法及终端
CN110738129B (zh) 一种基于r-c3d网络的端到端视频时序行为检测方法
CN111310587B (zh) 一种基于渐弱运动轨迹图的步态特征表示和特征提取方法
CN113554685A (zh) 遥感卫星运动目标检测方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information

Inventor after: Meng Yong

Inventor after: Niu Xinyu

Inventor after: Cai Quanxiong

Inventor after: Xiong Chao

Inventor before: Meng Yong

CB03 Change of inventor or designer information
GR01 Patent grant
GR01 Patent grant