CN112016353B - 一种基于视频的人脸图像进行身份识别方法及装置 - Google Patents

一种基于视频的人脸图像进行身份识别方法及装置 Download PDF

Info

Publication number
CN112016353B
CN112016353B CN201910461241.9A CN201910461241A CN112016353B CN 112016353 B CN112016353 B CN 112016353B CN 201910461241 A CN201910461241 A CN 201910461241A CN 112016353 B CN112016353 B CN 112016353B
Authority
CN
China
Prior art keywords
face image
target
frame
image
face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910461241.9A
Other languages
English (en)
Other versions
CN112016353A (zh
Inventor
杨茜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Potevio Information Technology Co Ltd
Original Assignee
Potevio Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Potevio Information Technology Co Ltd filed Critical Potevio Information Technology Co Ltd
Priority to CN201910461241.9A priority Critical patent/CN112016353B/zh
Publication of CN112016353A publication Critical patent/CN112016353A/zh
Application granted granted Critical
Publication of CN112016353B publication Critical patent/CN112016353B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Collating Specific Patterns (AREA)

Abstract

本发明的实施例公开了一种基于视频的人脸图像进行身份识别方法及装置，将目标视频中没有出现在当前检测周期的检测帧中且出现在上一检测周期的最后一帧跟踪帧中的人脸图像标记为疑似消失的可疑人脸图像。若某一目标可疑人脸图像出现在当前检测周期的跟踪帧中，则该目标可疑人脸图像没有消失，继续将检测到的该目标可疑人脸图像加入到其对应的第一图像序列中，使得第一图像序列中保存了目标视频中出现的每一目标可疑人脸图像。第一图像序列的数据完整性使得在通过第一图像序列识别目标可疑人脸图像的身份信息时，较容易从第一图像序列中获得图像质量较好的人脸图像，从而能够更为准确地匹配到与之对应的身份信息。

Description

一种基于视频的人脸图像进行身份识别方法及装置
技术领域
本发明涉及图像处理技术领域，尤其是涉及一种基于视频的人脸图像进行身份识别方法及装置。
背景技术
典型的基于视频图像的人脸识别系统一般都是自动检测人脸区域，从视频中提取人脸特征，如果存在于人脸库中则识别出人脸对应的身份。在视频监控和信息安全等应用中，基于视频的人脸识别是一个非常重要的问题，也是目前人脸识别的研究热点和难点。相对于图片数据，目前视频人脸识别有很多挑战，包括：视频数据一般为户外，视频图像质量比较差；人脸图像比较小且模糊；视频人脸识别对实时性要求更高。然而视频数据也有一些优越性，视频数据同时具有空间信息和时间信息，在时间和空间的联合空间中描述人脸和识别人脸会具有一定提升空间。在视频数据中人脸跟踪是一个提高识别率的方法，首先检测出人脸，然后跟踪人脸特征随时间的变化，当捕捉到一帧比较好的图像时使用图片人脸识别算法进行识别。
在识别人脸的身份时，对人脸位置的确定时，例如经典的人脸检测算法中的MTCNN(Multi-task Cascaded Convolutional Networks，多任务级联卷积网络)算法，在全图进行尺寸自适应检索并且内含人脸分类器，因此复杂度更高且定位更准确。而人脸跟踪算法，例如经典的相关滤波方法，在初始跟踪位置基础上进行模板匹配，可快速定位。为提高跟踪精度，跟踪算法也不断扩展出平移滤波、尺度滤波和特征模板等特性，但是性能提升的同时带来帧率下降。
为兼顾可靠性与实时性，周期性进行人脸检测，生成人脸序列，便于后续进行人脸识别。然而，在一个检测周期内，如果人脸经过遮挡物而未被检测到时，可能出现行人像消失的误判。在跟踪时刻，如果人脸快速离开镜头或者经过遮挡物，可能跟踪到若干帧只包含小部分人脸，或者人的背影甚至是背景图像，产生无效人脸图像，从而影响后续判决效率和/或准确率。
在实际应用过程中，发明人发现现有的通过视频中的人脸图像进行身份识别的方法，当人脸出现遮挡时容易判定为人脸消失从而丢弃人脸再次出现后的视频数据，导致采集的人脸图像序列不完整，在人脸识别时可能无法获取清晰图像而影响人脸识别的准确率。
发明内容
本发明实施例提供一种基于视频的人脸识别方法及装置，用以解决现有技术中现有的通过视频中的人脸图像进行身份识别的方法，当人脸出现遮挡时容易判定为人脸消失从而丢弃人脸再次出现后的视频数据，导致采集的人脸图像序列不完整，在人脸识别时可能无法获取清晰图像而影响人脸识别的准确率。
针对以上技术问题，本发明的实施例提供了一种基于视频的人脸图像进行身份识别方法，包括：
对欲进行人脸识别的目标视频，若读取到所述目标视频中预先设置的检测帧，则获取没有出现在当前检测周期的所述检测帧中且出现在上一检测周期的最后一帧跟踪帧中的人脸图像，作为疑似消失的可疑人脸图像；
对可疑人脸图像中的任一目标可疑人脸图像，判断所述目标可疑人脸图像是否出现在当前检测周期的跟踪帧中，若是，则将检测到的所述目标可疑人脸图像添加到所述目标可疑人脸图像对应的第一图像序列中；
根据所述第一图像序列识别所述目标可疑人脸图像对应的身份信息；
其中，目标视频的每一检测周期均包括作为检测帧的首帧和跟踪帧。
可选地，所述根据所述第一图像序列识别所述目标可疑人脸图像对应的身份信息，包括：
若检测到所述目标可疑人脸图像消失，或者所述第一图像序列中的人脸图像的帧数大于或等于第一预设帧数，或者读取的所述目标视频中的视频帧数大于或等于第二预设帧数，则从所述第一图像序列中筛选出图像质量符合要求的目标可疑人脸图像，根据筛选出的目标可疑人脸图像和预先存储的人脸库查找对应于所述目标可疑人脸图像的身份信息，输出筛选出的目标可疑人脸图像和对应于所述目标可疑人脸图像的身份信息；
其中，图像质量符合要求的目标可疑人脸图像为清晰度满足设定清晰度要求、曝光度满足设定曝光度要求且人脸图像不存在遮挡区域的目标可疑人脸图像。
可选地，所述判断所述目标可疑人脸图像是否出现在当前检测周期的跟踪帧中，包括：
获取所述目标可疑人脸图像在所述最后一帧跟踪帧中的第一跟踪框，根据所述第一跟踪框在当前检测周期的各跟踪帧中生成第二跟踪框；
若检测到生成的第二跟踪框中有人脸图像出现，则判断第二跟踪框中出现的人脸图像是否包括所述目标可疑人脸图像，若是，则所述目标可疑人脸图像出现在当前检测周期的跟踪帧中；
若检测到生成的第二跟踪框中没有人脸图像出现或者第二跟踪框中出现的人脸图像中均不包括所述目标可疑人脸图像，则所述目标可疑人脸图像没有出现在当前检测周期的跟踪帧中，判定所述目标可疑人脸图像消失；
其中，通过预先设置的人脸分类器检测生成的第二跟踪框中是否有人脸图像出现。
可选地，所述判断第二跟踪框中出现的人脸图像是否包括所述目标可疑人脸图像，包括：
对比第二跟踪框中出现的人脸图像和所述目标可疑人脸图像的人脸特征，若存在第二跟踪框中出现的人脸图像和所述目标可疑人脸图像的人脸特征的相似度大于或等于第一相似度阈值，则第二跟踪框中出现的人脸图像包括所述目标可疑人脸图像。
可选地，所述获取没有出现在当前检测周期的所述检测帧中且出现在上一检测周期的最后一帧跟踪帧中的人脸图像，作为疑似消失的可疑人脸图像，包括：
对上一检测周期的最后一帧跟踪帧中出现的任一目标人脸图像，获取所述目标人脸图像在上一检测周期的最后一帧跟踪帧中的第三跟踪框的位置坐标，若所述检测帧中不存在与所述第三跟踪框的位置坐标的重合度大于或等于重合度阈值的跟踪框，则所述目标人脸图像为疑似消失的可疑人脸图像；
和/或，
对上一检测周期的最后一帧跟踪帧中出现的任一目标人脸图像，若所述检测帧中不存在与所述目标人脸图像的人脸特征的相似度大于或等于第二相似度阈值的人脸图像，则所述目标人脸图像为疑似消失的可疑人脸图像。
可选地，还包括：
获取出现在当前检测周期的所述检测帧中且出现在上一检测周期的最后一帧跟踪帧中的人脸图像，作为已存在人脸图像，对已存在人脸图像中的任一目标已存在人脸图像，将当前周期中跟踪到的所述目标已存在人脸图像添加到所述目标已存在人脸图像对应的第二图像序列中，根据所述第二图像序列识别所述目标已存在人脸图像的身份信息；
获取出现在当前检测周期的所述检测帧中且没有出现在上一检测周期的最后一帧跟踪帧中的人脸图像，作为新增人脸图像，对新增人脸图像中的任一目标新增人脸图像，在当前周期中跟踪所述目标新增人脸图像，并新建对应于所述目标新增人脸图像的第三图像序列，将跟踪到的所述目标新增人脸图像添加到所述第三图像序列中，根据所述第三图像序列识别所述目标新增人脸图像的身份信息。
可选地，所述获取出现在当前检测周期的所述检测帧中且出现在上一检测周期的最后一帧跟踪帧中的人脸图像，作为已存在人脸图像，包括：
若所述检测帧中存在与所述第三跟踪框的位置坐标的重合度大于或等于重合度阈值的跟踪框，则所述目标人脸图像为已存在人脸图像；
和/或，
若所述检测帧中存在与所述目标人脸图像的人脸特征的相似度大于或等于所述第二相似度阈值的人脸图像，则所述目标人脸图像为已存在人脸图像。
注意本实施例中的第一跟踪框是目标可疑人脸图像的跟踪框，是在确定了可疑人脸图像之后生成的，第三跟踪框是目标人脸图像的跟踪框，是在区分出疑似消失人脸图像、已存在人脸图像和新增人脸图像之前生成的。
本发明的实施例提供了一种基于视频的人脸图像进行身份识别装置，包括：
获取模块，用于对欲进行人脸识别的目标视频，若读取到所述目标视频中预先设置的检测帧，则获取没有出现在当前检测周期的所述检测帧中且出现在上一检测周期的最后一帧跟踪帧中的人脸图像，作为疑似消失的可疑人脸图像；
添加模块，用于对可疑人脸图像中的任一目标可疑人脸图像，判断所述目标可疑人脸图像是否出现在当前检测周期的跟踪帧中，若是，则将检测到的所述目标可疑人脸图像添加到所述目标可疑人脸图像对应的第一图像序列中；
识别模块，用于根据所述第一图像序列识别所述目标可疑人脸图像对应的身份信息；
其中，目标视频的每一检测周期均包括作为检测帧的首帧和跟踪帧。
本发明的实施例提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现以上所述的基于视频的人脸图像进行身份识别方法的步骤。
本发明的实施例提供了一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以上所述的基于视频的人脸图像进行身份识别方法的步骤。
本发明的实施例提供了一种基于视频的人脸图像进行身份识别方法及装置，对欲进行人脸识别的目标视频，将没有出现在当前检测周期的检测帧中且出现在上一检测周期的最后一帧跟踪帧中的人脸图像标记为疑似消失的可疑人脸图像。对检测到的某一目标可疑人脸图像，若目标可疑人脸图像出现在当前检测周期的跟踪帧中，则该目标可疑人脸图像没有消失，继续将检测到的该目标可疑人脸图像加入到其对应的第一图像序列中，使得第一图像序列中保存了目标视频中出现的每一目标可疑人脸图像。相比于在因遮挡无法检测到目标可疑人脸图像而停止图像采集的方法，本申请提供的方法能够采集到目标视频中出现的每一目标可疑人脸图像。第一图像序列的数据完整性使得在通过第一图像序列识别目标可疑人脸图像的身份信息时，较容易从第一图像序列中获得图像质量较好的人脸图像，从而能够更为准确地匹配到与之对应的身份信息。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一个实施例提供的一种基于视频的人脸图像进行身份识别方法的流程示意图；
图2是本发明另一个实施例提供的基于视频的人脸图像进行身份识别方法的具体流程示意图；
图3是本发明另一个实施例提供的一种基于视频的人脸图像进行身份识别装置的结构框图；
图4是本发明另一个实施例提供的电子设备的结构框图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1是本实施例提供的一种基于视频的人脸图像进行身份识别方法的流程示意图，参见图1，该方法包括：
101：对欲进行人脸识别的目标视频，若读取到所述目标视频中预先设置的检测帧，则获取没有出现在当前检测周期的所述检测帧中且出现在上一检测周期的最后一帧跟踪帧中的人脸图像，作为疑似消失的可疑人脸图像；
102：对可疑人脸图像中的任一目标可疑人脸图像，判断所述目标可疑人脸图像是否出现在当前检测周期的跟踪帧中，若是，则将检测到的所述目标可疑人脸图像添加到所述目标可疑人脸图像对应的第一图像序列中；
103：根据所述第一图像序列识别所述目标可疑人脸图像对应的身份信息；
其中，目标视频的每一检测周期均包括作为检测帧的首帧和跟踪帧。
本实施例提供的方法由安装有执行上述步骤101-103软件的设备执行，该设备是服务器或者终端，通常该设备与拍摄视频的设备连接，用于通过上述方法对拍摄的视频中出现的人脸进行身份信息的识别。
对目标视频，预先将目标视频中的视频帧划分为片段，每一片段中的视频帧组成一个检测周期，每一检测周期的首帧视频帧为检测帧，其它视频帧为跟踪帧。在检测帧进行人脸检测，根据检测到的人脸初始化跟踪器，在检测帧中生成每一人脸图像对应的初始的跟踪框，由跟踪器在跟踪帧中对检测到的各人脸图像进行跟踪。在本实施例提供的方法中，将出现在上一检测周期的最后一帧跟踪帧中，但没有出现在当前检测周期的检测帧中的人脸图像标记为疑似消失的可疑人脸图像。对任一目标可疑人脸图像，需通过本检测周期中是否出现该目标可疑人脸图像来确定其是否消失，若没有消失，则继续对其对应的第一图像序列进行补充，以便通过更为完整的第一图像序列对其进行身份识别，提高用于进行身份识别的图片质量，进而提高进行身份识别的准确率和识别效率。
本实施例提供了一种基于视频的人脸图像进行身份识别方法，对欲进行人脸识别的目标视频，将没有出现在当前检测周期的检测帧中且出现在上一检测周期的最后一帧跟踪帧中的人脸图像标记为疑似消失的可疑人脸图像。对检测到的某一目标可疑人脸图像，若目标可疑人脸图像出现在当前检测周期的跟踪帧中，则该目标可疑人脸图像没有消失，继续将检测到的该目标可疑人脸图像加入到其对应的第一图像序列中，使得第一图像序列中保存了目标视频中出现的每一目标可疑人脸图像。相比于在因遮挡无法检测到目标可疑人脸图像而停止图像采集的方法，本申请提供的方法能够采集到目标视频中出现的每一目标可疑人脸图像。第一图像序列的数据完整性使得在通过第一图像序列识别目标可疑人脸图像的身份信息时，较容易从第一图像序列中获得图像质量较好的人脸图像，从而能够更为准确地匹配到与之对应的身份信息。
举例来说，图2为本实施例提供的基于视频的人脸图像进行身份识别方法的具体流程示意图，如图2所示，对目标视频中的人脸检测周期性执行，假设一个检测周期包括P个视频帧。以第一周期为例，第一帧T0为检测帧，其余P-1个视频帧T1,…,TP-1为跟踪帧。进行人脸检测的流程包括：
(1)读取到第一个周期的检测帧T0时，检测出M个人，则新建M个图像序列，将检测到的人脸图像和人脸框坐标存入相应的图像序列中，并且以检测结果初始化对应于每一人脸图像的跟踪器(共M个人脸跟踪帧)；
(2)第一个周期的人脸跟踪帧到达时，基于前一帧结果更新M个跟踪器并跟踪M个人。记录最后一帧跟踪帧中各人脸图像和人脸图像跟踪框的位置坐标；
(3)第二个周期的检测帧TP到达时，检测出N个人。当前时刻检测出的N个人脸图像与上一周期的最后一帧跟踪帧中的人脸图像进行同一人匹配，获取在上一周期的最后一个跟踪帧出现但没有出现在当前检测帧中的人脸图像，将这些人脸图像标记为疑似消失的可疑人脸图像。
对于(3)中标记的疑似消失的可疑人脸图像，上一检测周期的最后一帧跟踪帧中，如果存在与检测帧TP中的N个人均不匹配的人脸图像，则该人脸图像对应的人可能已离开镜头，也可能依然存在但是当前因为遮挡等原因未被检测到。在实施例提供的方法中，将这些标记的疑似消失的可疑人脸图像中的参数“可能消失”标记为真，并更新对应跟踪器。
对于某一目标可疑人脸图像，若其参数“可能消失”标记为真的，则判断当前检测周期内是否存在该目标可疑人脸图像，如果存在，则判定目标可疑人脸图像对应的人仍然存在，将参数“可能消失”标记置零，继续将检测到的目标可疑人脸图像添加到该目标可疑人脸图像对应的第一人脸序列中，对第一人脸序列进行补充。如果当前检测周期内不存在该目标可疑人脸图像，则判定该目标可疑人脸图像已离开镜头，不再对第一人脸序列进行补充。最后，通过判断第一人脸序列是否满足质量/识别模块准入条件，通过第一人脸序列对目标可疑人脸图像进行身份识别。
进一步地，在上述实施例的基础上，所述根据所述第一图像序列识别所述目标可疑人脸图像对应的身份信息，包括：
若检测到所述目标可疑人脸图像消失，或者所述第一图像序列中的人脸图像的帧数大于或等于第一预设帧数，或者读取的所述目标视频中的视频帧数大于或等于第二预设帧数，则从所述第一图像序列中筛选出图像质量符合要求的目标可疑人脸图像，根据筛选出的目标可疑人脸图像和预先存储的人脸库查找对应于所述目标可疑人脸图像的身份信息，输出筛选出的目标可疑人脸图像和对应于所述目标可疑人脸图像的身份信息；
其中，图像质量符合要求的目标可疑人脸图像为清晰度满足设定清晰度要求、曝光度满足设定曝光度要求且人脸图像不存在遮挡区域的目标可疑人脸图像。
进一步地，若从所述第一图像序列中筛选出的图像质量符合要求的目标可疑人脸图像的数量多于一张，且各筛选出的目标可疑人脸图像对应的识别结果不完全相同，则采用投票方式选择识别概率最高的身份信息作为最终是被的目标可疑人脸图像对应的身份信息。
进一步地，所述第一预设帧数随着同一人的人脸序列的识别次数的增加而增加。
得到第一图像序列后，只有在第一图像序列满足质量/识别模块准入条件时，才通过第一图像序列中的图像对目标可疑人脸图像进行身份识别。其中，“质量/识别模块准入条件”包括检测到所述目标可疑人脸图像消失、所述第一图像序列中的人脸图像的帧数大于或等于第一预设帧数或者读取的所述目标视频中的视频帧数大于或等于第二预设帧数。第一预设帧数和第二预设帧数均为设定值。人脸库为预先存储了人脸图像和身份信息对应关系的数据库。
本实施例提供了一种基于视频的人脸图像进行身份识别方法，对于筛选出的目标可疑人脸图像，通过该人脸库进行人脸识别能够匹配出与目标可疑人脸图像对应的身份信息，实现对视频中人脸图像的身份识别。
其中，“从所述第一图像序列中筛选出图像质量符合要求的目标可疑人脸图像”通常通过质量判别算法实现，主要考虑人脸清晰度，光照和姿态等因素。“根据筛选出的目标可疑人脸图像和预先存储的人脸库查找对应于所述目标可疑人脸图像的身份信息”由人脸识别算法实现，人脸识别算法可以通过深度学习训练得到。
举例来说，在通过人脸图像识别身份信息时，当人脸序列满足质量判别模块的准入条件时，将对应的人脸序列送入质量模块，得到图像质量较好的人脸序列。将经过质量筛选后的人脸序列送入人脸识别模块，与预先注册好的人脸库进行1：N比对，识别出是人脸库中的哪一位已注册人员。
进一步地，在上述各实施例的基础上，所述判断所述目标可疑人脸图像是否出现在当前检测周期的跟踪帧中，包括：
获取所述目标可疑人脸图像在所述最后一帧跟踪帧中的第一跟踪框，根据所述第一跟踪框在当前检测周期的各跟踪帧中生成第二跟踪框；
若检测到生成的第二跟踪框中有人脸图像出现，则判断第二跟踪框中出现的人脸图像是否包括所述目标可疑人脸图像，若是，则所述目标可疑人脸图像出现在当前检测周期的跟踪帧中；
若检测到生成的第二跟踪框中没有人脸图像出现或者第二跟踪框中出现的人脸图像中均不包括所述目标可疑人脸图像，则所述目标可疑人脸图像没有出现在当前检测周期的跟踪帧中，判定所述目标可疑人脸图像消失；
其中，通过预先设置的人脸分类器检测生成的第二跟踪框中是否有人脸图像出现。
根据最后一帧跟踪帧中的第一跟踪框生成检测帧中的跟踪框，根据检测帧中的跟踪框生成当前检测周期中各跟踪帧中的第二跟踪框。其中，跟踪框的在各帧中的位置根据人行走时的平均速度确定。
人脸分类器用于检测跟踪框中是否出现了人脸图像。在判断当前检测周期的跟踪帧中是否出现了目标可疑人脸图像时，由人脸分类器判断在当前检测周期内生成的各第二跟踪框中是否出现了人脸图像，若出现，再检测出现的人脸图像是否为目标可疑人脸图像。
本实施例提供了一种基于视频的人脸图像进行身份识别方法，通过第二跟踪框和人脸分类器能够快速对当前周期内是否出现了目标可疑人脸图像进行判断。
进一步地，在上述各实施例的基础上，所述判断第二跟踪框中出现的人脸图像是否包括所述目标可疑人脸图像，包括：
对比第二跟踪框中出现的人脸图像和所述目标可疑人脸图像的人脸特征，若存在第二跟踪框中出现的人脸图像和所述目标可疑人脸图像的人脸特征的相似度大于或等于第一相似度阈值，则第二跟踪框中出现的人脸图像包括所述目标可疑人脸图像，否则，第二跟踪框中出现的人脸图像不包括所述目标可疑人脸图像。
通常将首次检测到出现了人脸图像的第二跟踪框中的人脸图像和目标可疑人脸图像进行人脸特征相似度的对比，以判断目标可疑人脸图像是否出现在了本检测周期的跟踪帧中。
进一步地，对比第二跟踪框中出现的人脸图像和所述目标可疑人脸图像的人脸特征是基于颜色直方图、HOG(方向梯度直方图，Histogram of Oriented Gradient,HOG)和LBP(Local Binary Pattern,局部二值模式)特征进行相似度计算，或者，通过深度特征进行1:1识别进行相似度计算。
第一相似度阈值为设定值，可疑根据识别精度进行调整。
本实施例提供了一种基于视频的人脸图像进行身份识别方法，当通过人脸分类器检测到第二跟踪框中出现了人脸图像时，还需判断出现的人脸图像是否是目标可疑人脸图像，避免仅根据跟踪框位置断定出现的人脸图像为目标可疑人脸图像产生的误判。
进一步地，在上述各实施例的基础上，所述获取没有出现在当前检测周期的所述检测帧中且出现在上一检测周期的最后一帧跟踪帧中的人脸图像，作为疑似消失的可疑人脸图像，包括：
对上一检测周期的最后一帧跟踪帧中出现的任一目标人脸图像，获取所述目标人脸图像在上一检测周期的最后一帧跟踪帧中的第三跟踪框的位置坐标，若所述检测帧中不存在与所述第三跟踪框的位置坐标的重合度大于或等于重合度阈值的跟踪框，则所述目标人脸图像为疑似消失的可疑人脸图像；
和/或，
对上一检测周期的最后一帧跟踪帧中出现的任一目标人脸图像，若所述检测帧中不存在与所述目标人脸图像的人脸特征的相似度大于或等于第二相似度阈值的人脸图像，则所述目标人脸图像为疑似消失的可疑人脸图像。
需要说明的是，在判断目标人脸图像是否为疑似消失的可疑人脸图像时，可以通过最后一帧跟踪帧中的跟踪框和检测帧中跟踪框的重合度进行判断，也可以通过最后一帧跟踪帧和检测帧中人脸图像的相似度进行判断，或者将这两种判断方法同时作为判断条件，本实施例对此不做具体限制。
通过单独实施上述任一判断方法，或者通过上述两种判断方法的组合，实现了对人脸图像是否为可疑人脸图像的判断。
进一步地，在上述各实施例的基础上，还包括：
获取出现在当前检测周期的所述检测帧中且出现在上一检测周期的最后一帧跟踪帧中的人脸图像，作为已存在人脸图像，对已存在人脸图像中的任一目标已存在人脸图像，将当前周期中跟踪到的所述目标已存在人脸图像添加到所述目标已存在人脸图像对应的第二图像序列中，根据所述第二图像序列识别所述目标已存在人脸图像的身份信息；
获取出现在当前检测周期的所述检测帧中且没有出现在上一检测周期的最后一帧跟踪帧中的人脸图像，作为新增人脸图像，对新增人脸图像中的任一目标新增人脸图像，在当前周期中跟踪所述目标新增人脸图像，并新建对应于所述目标新增人脸图像的第三图像序列，将跟踪到的所述目标新增人脸图像添加到所述第三图像序列中，根据所述第三图像序列识别所述目标新增人脸图像的身份信息。
举例来说，在上述(3)的基础上，为了进一步加快识别效率，还可以在每一检测帧区分出“已存在人脸图像”和“新增人脸图像”。对于目标已存在人脸图像，继续在当前检测周期对目标已存在人脸图像进行跟踪，将跟踪到的目标已存在人脸图像添加到第二图像序列中，保证第二图像序列中图像的完整性。对于目标新增人脸图像，则创建新的第三图像序列，将跟踪到的目标新增人脸图像存入该第三图像序列中。
举例来说，针对TP帧检测的N个人，分别与已有M个人脸序列中的人通过人脸图像跟踪框重合度的匹配或者人脸图像特征的匹配来区分人脸图像是已存在、疑似消失或者新增。如果匹配到同一人，则为已存在的人，将检测图像及人脸框坐标加入相应的M个人脸序列之一中，并更新对应跟踪器。如果均未能匹配上，则为新检测的人，新建人脸序列，将检测图像及人脸框坐标加入新建人脸序列，并初始化对应跟踪器。
本实施例提供了一种基于视频的人脸图像进行身份识别方法，通过区分出“已存在人脸图像”和“新增人脸图像”，继续补充“已存在人脸图像”对应的图像序列，创建“新增人脸图像”对应的图像序列，实现对每一出现在视频中的人脸图像进行识别。
进一步地，在上述各实施例的基础上，
所述获取出现在当前检测周期的所述检测帧中且出现在上一检测周期的最后一帧跟踪帧中的人脸图像，作为已存在人脸图像，包括：
若所述检测帧中存在与所述第三跟踪框的位置坐标的重合度大于或等于重合度阈值的跟踪框，则所述目标人脸图像为已存在人脸图像；
和/或，
若所述检测帧中存在与所述目标人脸图像的人脸特征的相似度大于或等于所述第二相似度阈值的人脸图像，则所述目标人脸图像为已存在人脸图像。
需要说明的是，在判断目标人脸图像是否为已存在人脸图像时，可以通过最后一帧跟踪帧中的跟踪框和检测帧中跟踪框的重合度进行判断，也可以通过最后一帧跟踪帧和检测帧中人脸图像的相似度进行判断，或者将这两种判断方法同时作为判断条件，本实施例对此不做具体限制。
进一步地，获取出现在当前检测周期的所述检测帧中且没有出现在上一检测周期的最后一帧跟踪帧中的人脸图像，作为新增人脸图像，包括：
在区分出疑似消失的可疑人脸图像和已存在人脸图像后，判断检测帧中是否存在不属于疑似消失的可疑人脸图像和已存在人脸图像的人脸图像，若是，将不属于疑似消失的可疑人脸图像和已存在人脸图像的人脸图像作为新增人脸图像。
在检测“已存在人脸图像”时，先通过位置坐标的重合度确定与上一检测周期的最后一帧跟踪帧中出现的人脸图像对应的人脸图像。为了进一步确定，两个图像是否为同一人，则再结合人脸特征的相似度的计算进行确认，保证识别出的“已存在人脸图像”的准确性。
举例来说，TP帧检测的N个人的人脸框坐标分别与记录的最近一帧TP-1的M个跟踪图像的位置坐标作重合度判别，如果重合度高于重合度阈值，则两个跟踪框的人脸图像为同一人的概率较大。
TP帧检测的N个人的人脸特征分别与M个人脸序列中最近一帧TP-1的跟踪图像的人脸特征作相似度判别，如果相似度高于第二相似度阈值，则两个跟踪框的人脸图像为同一人。其中，人脸特征可以是颜色特征、纹理特征或者深度特征等。
此外，跟踪器后连接一个人脸分类器，进行跟踪图像过滤，如果当前跟踪图像存在人脸图像，则将跟踪图像及人脸框坐标存入相应序列中，否则丢弃当前跟踪图像。
如图2所示，本实施例提供的方法，在第一检测周期，检测到M个人脸图像，对M个人脸图像进行跟踪。当第二检测周期到达时，在检测帧检测到N个人脸图像。通过上一检测周期的最后一帧跟踪帧记录的M个人脸图像和本检测周期的检测帧中的N个人脸图像的对比，区别出“已存在人脸图像”、“新增人脸图像”和疑似消失的可疑人脸图像。通过上述的分类采用不同的方法完善各图像序列，在图像序列满足质量/判别准入条件后，通过图像序列完成对各图像的身份识别。
本实施例提供的基于视频的人脸图像进行身份识别方法，检测与跟踪联合判决方法，区分已存在的人、新检测的人和疑似消失的人等场景生成人脸序列。跟踪器后接一个人脸分类器对跟踪器定位出的图像进行过滤，去除非人脸图像和严重遮挡人脸图像。检测图像和跟踪图像进行同一人匹配的方法，基于检测图像与最近一帧跟踪图像的人脸坐标重合度和最近一帧过滤后跟踪图像的人脸特征相似度共同判决。
图3示出了本发明的实施例提供的一种基于视频的人脸图像进行身份识别装置的结构框图，参见图3，本实施例提供的基于视频的人脸图像进行身份识别装置，包括获取模块301、添加模块302和识别模块303，其中，
获取模块301，用于对欲进行人脸识别的目标视频，若读取到所述目标视频中预先设置的检测帧，则获取没有出现在当前检测周期的所述检测帧中且出现在上一检测周期的最后一帧跟踪帧中的人脸图像，作为疑似消失的可疑人脸图像；
添加模块302，用于对可疑人脸图像中的任一目标可疑人脸图像，判断所述目标可疑人脸图像是否出现在当前检测周期的跟踪帧中，若是，则将检测到的所述目标可疑人脸图像添加到所述目标可疑人脸图像对应的第一图像序列中；
识别模块303，用于根据所述第一图像序列识别所述目标可疑人脸图像对应的身份信息；
其中，目标视频的每一检测周期均包括作为检测帧的首帧和跟踪帧。
本实施例提供的基于视频的人脸图像进行身份识别装置适用于上述实施例中提供的基于视频的人脸图像进行身份识别方法，在此不再赘述。
本发明的实施例提供了一种基于视频的人脸图像进行身份识别装置，对欲进行人脸识别的目标视频，将没有出现在当前检测周期的检测帧中且出现在上一检测周期的最后一帧跟踪帧中的人脸图像标记为疑似消失的可疑人脸图像。对检测到的某一目标可疑人脸图像，若目标可疑人脸图像出现在当前检测周期的跟踪帧中，则该目标可疑人脸图像没有消失，继续将检测到的该目标可疑人脸图像加入到其对应的第一图像序列中，使得第一图像序列中保存了目标视频中出现的每一目标可疑人脸图像。相比于在因遮挡无法检测到目标可疑人脸图像而停止图像采集的方法，本申请提供的方法能够采集到目标视频中出现的每一目标可疑人脸图像。第一图像序列的数据完整性使得在通过第一图像序列识别目标可疑人脸图像的身份信息时，较容易从第一图像序列中获得图像质量较好的人脸图像，从而能够更为准确地匹配到与之对应的身份信息。
图4是示出本实施例提供的电子设备的结构框图。
参照图4，所述电子设备包括：处理器(processor)410、通信接口(CommunicationsInterface)420、存储器(memory)430和通信总线440，其中，处理器410，通信接口420，存储器430通过通信总线440完成相互间的通信。处理器410可以调用存储器430中的逻辑指令，以执行如下方法：对欲进行人脸识别的目标视频，若读取到所述目标视频中预先设置的检测帧，则获取没有出现在当前检测周期的所述检测帧中且出现在上一检测周期的最后一帧跟踪帧中的人脸图像，作为疑似消失的可疑人脸图像；对可疑人脸图像中的任一目标可疑人脸图像，判断所述目标可疑人脸图像是否出现在当前检测周期的跟踪帧中，若是，则将检测到的所述目标可疑人脸图像添加到所述目标可疑人脸图像对应的第一图像序列中；根据所述第一图像序列识别所述目标可疑人脸图像对应的身份信息；其中，目标视频的每一检测周期均包括作为检测帧的首帧和跟踪帧。
此外，上述的存储器430中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行如下方法：对欲进行人脸识别的目标视频，若读取到所述目标视频中预先设置的检测帧，则获取没有出现在当前检测周期的所述检测帧中且出现在上一检测周期的最后一帧跟踪帧中的人脸图像，作为疑似消失的可疑人脸图像；对可疑人脸图像中的任一目标可疑人脸图像，判断所述目标可疑人脸图像是否出现在当前检测周期的跟踪帧中，若是，则将检测到的所述目标可疑人脸图像添加到所述目标可疑人脸图像对应的第一图像序列中；根据所述第一图像序列识别所述目标可疑人脸图像对应的身份信息；其中，目标视频的每一检测周期均包括作为检测帧的首帧和跟踪帧。
本实施例公开一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的方法，例如，包括：对欲进行人脸识别的目标视频，若读取到所述目标视频中预先设置的检测帧，则获取没有出现在当前检测周期的所述检测帧中且出现在上一检测周期的最后一帧跟踪帧中的人脸图像，作为疑似消失的可疑人脸图像；对可疑人脸图像中的任一目标可疑人脸图像，判断所述目标可疑人脸图像是否出现在当前检测周期的跟踪帧中，若是，则将检测到的所述目标可疑人脸图像添加到所述目标可疑人脸图像对应的第一图像序列中；根据所述第一图像序列识别所述目标可疑人脸图像对应的身份信息；其中，目标视频的每一检测周期均包括作为检测帧的首帧和跟踪帧。
以上所描述的电子设备等实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上各实施例仅用以说明本发明的实施例的技术方案，而非对其限制；尽管参照前述各实施例对本发明的实施例进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明的实施例各实施例技术方案的范围。

Claims (7)

1.一种基于视频的人脸图像进行身份识别方法，其特征在于，包括：
对欲进行人脸识别的目标视频，若读取到所述目标视频中预先设置的检测帧，则获取没有出现在当前检测周期的所述检测帧中且出现在上一检测周期的最后一帧跟踪帧中的人脸图像，作为疑似消失的可疑人脸图像；
对可疑人脸图像中的任一目标可疑人脸图像，判断所述目标可疑人脸图像是否出现在当前检测周期的跟踪帧中，若是，则将检测到的所述目标可疑人脸图像添加到所述目标可疑人脸图像对应的第一图像序列中；
根据所述第一图像序列识别所述目标可疑人脸图像对应的身份信息；
其中，目标视频的每一检测周期均包括作为检测帧的首帧和跟踪帧；
所述根据所述第一图像序列识别所述目标可疑人脸图像对应的身份信息，包括：
若检测到所述目标可疑人脸图像消失，或者所述第一图像序列中的人脸图像的帧数大于或等于第一预设帧数，或者读取的所述目标视频中的视频帧数大于或等于第二预设帧数，则从所述第一图像序列中筛选出图像质量符合要求的目标可疑人脸图像，根据筛选出的目标可疑人脸图像和预先存储的人脸库查找对应于所述目标可疑人脸图像的身份信息，输出筛选出的目标可疑人脸图像和对应于所述目标可疑人脸图像的身份信息；
其中，图像质量符合要求的目标可疑人脸图像为清晰度满足设定清晰度要求、曝光度满足设定曝光度要求且人脸图像不存在遮挡区域的目标可疑人脸图像；
所述获取没有出现在当前检测周期的所述检测帧中且出现在上一检测周期的最后一帧跟踪帧中的人脸图像，作为疑似消失的可疑人脸图像，包括：
对上一检测周期的最后一帧跟踪帧中出现的任一目标人脸图像，获取所述目标人脸图像在上一检测周期的最后一帧跟踪帧中的第三跟踪框的位置坐标，若所述检测帧中不存在与所述第三跟踪框的位置坐标的重合度大于或等于重合度阈值的跟踪框，则所述目标人脸图像为疑似消失的可疑人脸图像；
和/或，
对上一检测周期的最后一帧跟踪帧中出现的任一目标人脸图像，若所述检测帧中不存在与所述目标人脸图像的人脸特征的相似度大于或等于第二相似度阈值的人脸图像，则所述目标人脸图像为疑似消失的可疑人脸图像；
所述方法还包括：
获取出现在当前检测周期的所述检测帧中且出现在上一检测周期的最后一帧跟踪帧中的人脸图像，作为已存在人脸图像，对已存在人脸图像中的任一目标已存在人脸图像，将当前周期中跟踪到的所述目标已存在人脸图像添加到所述目标已存在人脸图像对应的第二图像序列中，根据所述第二图像序列识别所述目标已存在人脸图像的身份信息；
获取出现在当前检测周期的所述检测帧中且没有出现在上一检测周期的最后一帧跟踪帧中的人脸图像，作为新增人脸图像，对新增人脸图像中的任一目标新增人脸图像，在当前周期中跟踪所述目标新增人脸图像，并新建对应于所述目标新增人脸图像的第三图像序列，将跟踪到的所述目标新增人脸图像添加到所述第三图像序列中，根据所述第三图像序列识别所述目标新增人脸图像的身份信息。
2.根据权利要求1所述的基于视频的人脸图像进行身份识别方法，其特征在于，所述判断所述目标可疑人脸图像是否出现在当前检测周期的跟踪帧中，包括：
获取所述目标可疑人脸图像在所述最后一帧跟踪帧中的第一跟踪框，根据所述第一跟踪框在当前检测周期的各跟踪帧中生成第二跟踪框；
若检测到生成的第二跟踪框中有人脸图像出现，则判断第二跟踪框中出现的人脸图像是否包括所述目标可疑人脸图像，若是，则所述目标可疑人脸图像出现在当前检测周期的跟踪帧中；
若检测到生成的第二跟踪框中没有人脸图像出现或者第二跟踪框中出现的人脸图像中均不包括所述目标可疑人脸图像，则所述目标可疑人脸图像没有出现在当前检测周期的跟踪帧中，判定所述目标可疑人脸图像消失；
其中，通过预先设置的人脸分类器检测生成的第二跟踪框中是否有人脸图像出现。
3.根据权利要求2所述的基于视频的人脸图像进行身份识别方法，其特征在于，所述判断第二跟踪框中出现的人脸图像是否包括所述目标可疑人脸图像，包括：
对比第二跟踪框中出现的人脸图像和所述目标可疑人脸图像的人脸特征，若存在第二跟踪框中出现的人脸图像和所述目标可疑人脸图像的人脸特征的相似度大于或等于第一相似度阈值，则第二跟踪框中出现的人脸图像包括所述目标可疑人脸图像。
4.根据权利要求1所述的基于视频的人脸图像进行身份识别方法，其特征在于，所述获取出现在当前检测周期的所述检测帧中且出现在上一检测周期的最后一帧跟踪帧中的人脸图像，作为已存在人脸图像，包括：
若所述检测帧中存在与所述第三跟踪框的位置坐标的重合度大于或等于重合度阈值的跟踪框，则所述目标人脸图像为已存在人脸图像；
和/或，
若所述检测帧中存在与所述目标人脸图像的人脸特征的相似度大于或等于所述第二相似度阈值的人脸图像，则所述目标人脸图像为已存在人脸图像。
5.一种基于视频的人脸图像进行身份识别装置，其特征在于，包括：
获取模块，用于对欲进行人脸识别的目标视频，若读取到所述目标视频中预先设置的检测帧，则获取没有出现在当前检测周期的所述检测帧中且出现在上一检测周期的最后一帧跟踪帧中的人脸图像，作为疑似消失的可疑人脸图像；
添加模块，用于对可疑人脸图像中的任一目标可疑人脸图像，判断所述目标可疑人脸图像是否出现在当前检测周期的跟踪帧中，若是，则将检测到的所述目标可疑人脸图像添加到所述目标可疑人脸图像对应的第一图像序列中；
识别模块，用于根据所述第一图像序列识别所述目标可疑人脸图像对应的身份信息；
其中，目标视频的每一检测周期均包括作为检测帧的首帧和跟踪帧；
所述根据所述第一图像序列识别所述目标可疑人脸图像对应的身份信息，包括：
若检测到所述目标可疑人脸图像消失，或者所述第一图像序列中的人脸图像的帧数大于或等于第一预设帧数，或者读取的所述目标视频中的视频帧数大于或等于第二预设帧数，则从所述第一图像序列中筛选出图像质量符合要求的目标可疑人脸图像，根据筛选出的目标可疑人脸图像和预先存储的人脸库查找对应于所述目标可疑人脸图像的身份信息，输出筛选出的目标可疑人脸图像和对应于所述目标可疑人脸图像的身份信息；
其中，图像质量符合要求的目标可疑人脸图像为清晰度满足设定清晰度要求、曝光度满足设定曝光度要求且人脸图像不存在遮挡区域的目标可疑人脸图像；
所述获取没有出现在当前检测周期的所述检测帧中且出现在上一检测周期的最后一帧跟踪帧中的人脸图像，作为疑似消失的可疑人脸图像，包括：
对上一检测周期的最后一帧跟踪帧中出现的任一目标人脸图像，获取所述目标人脸图像在上一检测周期的最后一帧跟踪帧中的第三跟踪框的位置坐标，若所述检测帧中不存在与所述第三跟踪框的位置坐标的重合度大于或等于重合度阈值的跟踪框，则所述目标人脸图像为疑似消失的可疑人脸图像；
和/或，
对上一检测周期的最后一帧跟踪帧中出现的任一目标人脸图像，若所述检测帧中不存在与所述目标人脸图像的人脸特征的相似度大于或等于第二相似度阈值的人脸图像，则所述目标人脸图像为疑似消失的可疑人脸图像；
所述装置还用于：
获取出现在当前检测周期的所述检测帧中且出现在上一检测周期的最后一帧跟踪帧中的人脸图像，作为已存在人脸图像，对已存在人脸图像中的任一目标已存在人脸图像，将当前周期中跟踪到的所述目标已存在人脸图像添加到所述目标已存在人脸图像对应的第二图像序列中，根据所述第二图像序列识别所述目标已存在人脸图像的身份信息；
获取出现在当前检测周期的所述检测帧中且没有出现在上一检测周期的最后一帧跟踪帧中的人脸图像，作为新增人脸图像，对新增人脸图像中的任一目标新增人脸图像，在当前周期中跟踪所述目标新增人脸图像，并新建对应于所述目标新增人脸图像的第三图像序列，将跟踪到的所述目标新增人脸图像添加到所述第三图像序列中，根据所述第三图像序列识别所述目标新增人脸图像的身份信息。
6.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至4任一项所述的基于视频的人脸图像进行身份识别方法的步骤。
7.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至4任一项所述的基于视频的人脸图像进行身份识别方法的步骤。
CN201910461241.9A 2019-05-30 2019-05-30 一种基于视频的人脸图像进行身份识别方法及装置 Active CN112016353B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910461241.9A CN112016353B (zh) 2019-05-30 2019-05-30 一种基于视频的人脸图像进行身份识别方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910461241.9A CN112016353B (zh) 2019-05-30 2019-05-30 一种基于视频的人脸图像进行身份识别方法及装置

Publications (2)

Publication Number Publication Date
CN112016353A CN112016353A (zh) 2020-12-01
CN112016353B true CN112016353B (zh) 2024-05-21

Family

ID=73501909

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910461241.9A Active CN112016353B (zh) 2019-05-30 2019-05-30 一种基于视频的人脸图像进行身份识别方法及装置

Country Status (1)

Country Link
CN (1) CN112016353B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112581506A (zh) * 2020-12-31 2021-03-30 北京澎思科技有限公司 人脸跟踪方法、系统及计算机可读存储介质
CN112686175A (zh) * 2020-12-31 2021-04-20 北京澎思科技有限公司 人脸抓拍方法、系统及计算机可读存储介质
CN113034541B (zh) * 2021-02-26 2021-12-14 北京国双科技有限公司 目标跟踪方法、装置、计算机设备和存储介质
CN112991393A (zh) * 2021-04-15 2021-06-18 北京澎思科技有限公司 目标检测与跟踪方法、装置、电子设备及存储介质
CN113223057A (zh) * 2021-06-04 2021-08-06 北京奇艺世纪科技有限公司 一种人脸跟踪方法、装置、电子设备及存储介质
CN113743387B (zh) * 2021-11-05 2022-03-22 中电科新型智慧城市研究院有限公司 视频行人重识别方法、装置、电子设备及可读存储介质
CN115050105B (zh) * 2022-08-17 2022-12-30 杭州觅睿科技股份有限公司 一种人影可疑性判定方法、装置、设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101567043A (zh) * 2009-05-31 2009-10-28 中山大学 基于分类识别的人脸跟踪方法
CN109271888A (zh) * 2018-08-29 2019-01-25 汉王科技股份有限公司 基于步态的身份识别方法、装置、电子设备
CN109325964A (zh) * 2018-08-17 2019-02-12 深圳市中电数通智慧安全科技股份有限公司 一种人脸追踪方法、装置及终端
CN109711318A (zh) * 2018-12-24 2019-05-03 北京澎思智能科技有限公司 一种基于视频流的多人脸检测与跟踪方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE602006017812D1 (de) * 2005-03-17 2010-12-09 British Telecomm Verfahren zur verfolgung von objekten in einer videosequenz
US8494231B2 (en) * 2010-11-01 2013-07-23 Microsoft Corporation Face recognition in video content

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101567043A (zh) * 2009-05-31 2009-10-28 中山大学 基于分类识别的人脸跟踪方法
CN109325964A (zh) * 2018-08-17 2019-02-12 深圳市中电数通智慧安全科技股份有限公司 一种人脸追踪方法、装置及终端
CN109271888A (zh) * 2018-08-29 2019-01-25 汉王科技股份有限公司 基于步态的身份识别方法、装置、电子设备
CN109711318A (zh) * 2018-12-24 2019-05-03 北京澎思智能科技有限公司 一种基于视频流的多人脸检测与跟踪方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于视觉跟踪的实时视频人脸识别;任梓涵;杨双远;;厦门大学学报(自然科学版)(第03期);第148-154页 *

Also Published As

Publication number Publication date
CN112016353A (zh) 2020-12-01

Similar Documents

Publication Publication Date Title
CN112016353B (zh) 一种基于视频的人脸图像进行身份识别方法及装置
CN109325964B (zh) 一种人脸追踪方法、装置及终端
CN106557726B (zh) 一种带静默式活体检测的人脸身份认证系统及其方法
CN105938622B (zh) 检测运动图像中的物体的方法和装置
CN104751136B (zh) 一种基于人脸识别的多相机视频事件回溯追踪方法
CN110569731B (zh) 一种人脸识别方法、装置及电子设备
CN107798272B (zh) 快速多目标检测与跟踪系统
CN106503691B (zh) 一种人脸图片的身份标注方法和装置
CN112016531A (zh) 模型训练方法、对象识别方法、装置、设备及存储介质
CN112037245B (zh) 一种确定追踪目标相似度的方法和系统
WO2019042195A1 (zh) 一种人体目标身份识别方法及装置
CN109255802B (zh) 行人跟踪方法、装置、计算机设备及存储介质
US20180107877A1 (en) Image processing apparatus, image processing method, and image processing system
KR101737430B1 (ko) 동적 배경을 가진 영상의 대상 객체 검출 방법
Lee et al. An automated video-based system for iris recognition
JP5698418B2 (ja) 虹彩認識による識別
CN111444817B (zh) 一种人物图像识别方法、装置、电子设备和存储介质
CN111814690A (zh) 一种目标重识别方法、装置和计算机可读存储介质
CN109558773B (zh) 信息识别方法、装置及电子设备
CN110175553B (zh) 基于步态识别与人脸识别建立特征库的方法及装置
CN113837006B (zh) 一种人脸识别方法、装置、存储介质及电子设备
KR20000035050A (ko) 얼굴 촬영/인식방법
CN114387296A (zh) 目标轨迹追踪方法、装置、计算机设备及存储介质
Ives et al. Iris recognition using the ridge energy direction (RED) algorithm
CN111079757A (zh) 服饰属性识别方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant