CN111767880A - 一种基于脸部特征的活体身份识别方法、装置和存储介质 - Google Patents

一种基于脸部特征的活体身份识别方法、装置和存储介质 Download PDF

Info

Publication number
CN111767880A
CN111767880A CN202010635560.XA CN202010635560A CN111767880A CN 111767880 A CN111767880 A CN 111767880A CN 202010635560 A CN202010635560 A CN 202010635560A CN 111767880 A CN111767880 A CN 111767880A
Authority
CN
China
Prior art keywords
face
living body
video
image
living
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010635560.XA
Other languages
English (en)
Other versions
CN111767880B (zh
Inventor
区小东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202010635560.XA priority Critical patent/CN111767880B/zh
Publication of CN111767880A publication Critical patent/CN111767880A/zh
Application granted granted Critical
Publication of CN111767880B publication Critical patent/CN111767880B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40—Spoof detection, e.g. liveness detection
    • G06V40/45—Detection of the body part being alive

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例公开了一种基于脸部特征的活体身份识别方法、装置和存储介质，所述方法包括：接收待查询对象的脸部样本图像，获取多个监控视频帧，对监控视频帧中脸部区域的遮挡进行识别，得到每个活体对象的脸部遮挡状态，将监控视频帧进行图像分类，得到每种脸部遮挡状态对应的视频片段，基于每种脸部遮挡状态对应的特征匹配模型，将相应脸部遮挡状态对应的视频片段中每个对象的脸部图像、与脸部样本图像进行特征匹配，得到匹配结果，基于匹配结果，查询出与待查询对象相似的目标对象，并显示目标对象的脸部图像。该方案可以更准确的对采集到的数据进行大数据分析，并查询到与待查询对象相似的目标对象。

Description

一种基于脸部特征的活体身份识别方法、装置和存储介质
技术领域
本申请涉及计算机技术领域，具体涉及一种基于脸部特征的活体身份识别方法、装置和存储介质。
背景技术
随着全国各地复产复工的有序开展，对象流动逐渐增多，甄别异常对象、保障辖区安全，就成为各级政府和企业当前的首要任务。根据疫情现状，大部分流动对象都戴口罩出行，在对象流动大的场所就会存在识别效率低、无法自动化判别对象身份等问题，容易出现误判和漏判的现象。
发明内容
本申请实施例提供一种基于脸部特征的活体身份识别方法、装置和存储介质，该方案可以更准确的查询到与待查询对象相似的目标对象。
本申请实施例提供一种基于脸部特征的活体身份识别方法，包括：
接收用户上传的待查询对象的脸部样本图像；
获取监控视频，并对所述监控视频进行分帧处理，得到多个监控视频帧，所述监控视频帧包含至少一个活体对象的脸部图像；
对所述监控视频帧中脸部区域的遮挡进行识别，得到每个活体对象的脸部遮挡状态；
基于所述监控视频帧中活体对象的脸部遮挡状态，将所述监控视频帧进行图像分类，得到每种脸部遮挡状态对应的视频片段；
基于每种脸部遮挡状态对应的特征匹配模型，将相应脸部遮挡状态对应的视频片段中每个对象的脸部图像、与所述脸部样本图像进行特征匹配，得到匹配结果；
基于所述匹配结果，从所述至少一个活体对象中查询出与所述待查询对象相似的目标对象，并显示所述目标对象的脸部图像。
相应的，本申请实施例还提供一种基于脸部特征的活体身份识别装置，包括：
接收模块，用于接收用户上传的待查询对象的脸部样本图像；
获取模块，用于获取监控视频，并对所述监控视频进行分帧处理，得到多个监控视频帧，所述监控视频帧包含至少一个活体对象的脸部图像；
识别模块，用于对所述监控视频帧中脸部区域的遮挡进行识别，得到每个活体对象的脸部遮挡状态；
分类模块，用于基于所述监控视频帧中活体对象的脸部遮挡状态，将所述监控视频帧进行图像分类，得到每种脸部遮挡状态对应的视频片段；
匹配模块，用于基于每种脸部遮挡状态对应的特征匹配模型，将相应脸部遮挡状态对应的视频片段中每个对象的脸部图像、与所述脸部样本图像进行特征匹配，得到匹配结果；
查询模块，用于基于所述匹配结果，从所述至少一个活体对象中查询出与所述待查询对象相似的目标对象，并显示所述目标对象的脸部图像。
则此时，所述识别模块具体可以用于对所述监控视频帧中脸部区域的遮挡参数进行检测，得到每个活体对象对应的遮挡参数信息，基于所述遮挡参数信息，确定每个活体对象的脸部遮挡状态。
可选的，在一些实施例中，所述基于脸部特征的活体身份识别装置还可以包括姿态识别模块和对象查询模块，如下：
姿态识别模块，用于对所述视频片段中的活体对象进行姿态识别，得到每个活体对象对应的运动轨迹和对象姿态；
对象查询模块，用于基于所述运动轨迹和所述对象姿态，从所述至少一个活体对象中查询出与所述目标对象同行的同行对象。
则此时，所述姿态识别模块具体可以用于基于所述目标对象的脸部图像，从所述视频片段中提取包括所述目标对象的目标视频片段，对所述目标视频片段中的对象进行姿态识别，得到所述目标视频片段中每个活体对象对应的运动轨迹和对象姿态。
则此时，所述对象查询模块具体可以用于基于所述活体对象的运动轨迹、以及所述待查询对象的运动轨迹，从所述至少一个活体对象中查询出候选同行对象，基于所述活体对象的对象姿态、以及所述待查询对象的对象姿态，从所述候选同行对象中查询出与所述目标对象同行的同行对象。
则此时，所述基于脸部特征的活体身份识别装置还可以用于基于所述同行对象的脸部图像，从所述视频片段中提取所述同行对象的对象整体图像，基于所述同行对象的脸部图像、以及所述同行对象的对象整体图像，对所述同行对象进行身份识别，得到所述同行对象的身份信息。
则此时，所述查询模块具体可以用于从所述至少一个活体对象中查询所述匹配结果满足预设条件的候选目标对象，基于所述匹配结果，从多个所述候选目标对象中确定出预设数量的目标对象，显示所述目标对象的脸部图像。
此外，本申请实施例还提供一种计算机存储介质，所述计算机存储介质存储有多条指令，所述指令适于处理器进行加载，以执行本申请实施例提供的任一种基于脸部特征的活体身份识别方法中的步骤。
此外，本申请实施例还提供一种电子设备，包括存储器，处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如本申请实施例提供的任一种基于脸部特征的活体身份识别方法中的步骤。
本申请实施例可以接收用户上传的待查询对象的脸部样本图像，获取监控视频，并对监控视频进行分帧处理，得到多个监控视频帧，监控视频帧包含至少一个活体对象的脸部图像，对监控视频帧中脸部区域的遮挡进行识别，得到每个活体对象的脸部遮挡状态，基于监控视频帧中活体对象的脸部遮挡状态，将监控视频帧进行图像分类，得到每种脸部遮挡状态对应的视频片段，基于每种脸部遮挡状态对应的特征匹配模型，将相应脸部遮挡状态对应的视频片段中每个对象的脸部图像、与脸部样本图像进行特征匹配，得到匹配结果，基于匹配结果，从至少一个活体对象中查询出与待查询对象相似的目标对象，并显示目标对象的脸部图像。该方案可以更准确的查询到与待查询对象相似的目标对象。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术对象来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的基于脸部特征的活体身份识别系统的场景示意图；
图2是本申请实施例提供的基于脸部特征的活体身份识别方法的第一流程图；
图3是本申请实施例提供的基于脸部特征的活体身份识别方法的第二流程图；
图4是本申请实施例提供的基于脸部特征的活体身份识别方法的第三流程图；
图5是本申请实施例提供的基于脸部特征的活体身份识别方法的第四流程图；
图6是本申请实施例提供的第一显示界面示意图；
图7是本申请实施例提供的第二显示界面示意图；
图8是本申请实施例提供的第三显示界面示意图；
图9是本申请实施例提供的硬件结构示意图；
图10是本申请实施例提供的技术架构示意图；
图11是本申请实施例提供的基于脸部特征的活体身份识别装置的结构示意图；
图12是本申请实施例提供的电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术对象在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本申请实施例提供一种基于脸部特征的活体身份识别方法、装置和存储介质。具体地，本申请实施例的基于脸部特征的活体身份识别方法可以由电子设备执行，其中，该电子设备可以为终端或者服务器等设备，该终端可以为手机、平板电脑、笔记本电脑、智能电视、穿戴式智能设备、个人计算机(PC，PersonalComputer)等设备。其中，终端可以包括客户端，该客户端可以是视频客户端或浏览器客户端等，服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。终端可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等，但并不局限于此。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接，本申请在此不做限制。
例如，参见图1，以该基于脸部特征的活体身份识别方法由服务器执行为例，该服务器可以接收用户上传的待查询对象的脸部样本图像，获取监控视频，并对监控视频进行分帧处理，得到多个监控视频帧，监控视频帧包含至少一个活体对象的脸部图像，对监控视频帧中脸部区域的遮挡进行识别，得到每个活体对象的脸部遮挡状态，基于监控视频帧中活体对象的脸部遮挡状态，将监控视频帧进行图像分类，得到每种脸部遮挡状态对应的视频片段，基于每种脸部遮挡状态对应的特征匹配模型，将相应脸部遮挡状态对应的视频片段中每个对象的脸部图像、与脸部样本图像进行特征匹配，得到匹配结果，基于匹配结果，从至少一个活体对象中查询出与待查询对象相似的目标对象，并将目标对象的脸部图像同步给智能终端。
本申请实施例提供的基于脸部特征的活体身份识别方法涉及人工智能领域中的机器学习方向。本申请实施例可以通过网络模型将监控视频划分为多种脸部遮挡状态对应的视频片段，并通过特征匹配模型对图像进行特征匹配，查询出目标对象。通过人体动作捕抓模型，识别出与目标对象有肢体接触的同行对象。
其中，人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。其中，人工智能软件技术主要包括计算机视觉技术、机器学习/深度学习等方向。
其中，机器学习(Machine Learning，ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。
以下分别进行详细说明。需说明的是，以下实施例的描述顺序不作为对实施例优选顺序的限定。
本申请实施例提供了一种基于脸部特征的活体身份识别方法，该方法可以由终端或服务器执行，也可以由终端和服务器共同执行；本申请实施例以基于脸部特征的活体身份识别方法由服务器执行为例来进行说明，如图2所示，该基于脸部特征的活体身份识别方法的具体流程可以如下：
201、接收用户上传的待查询对象的脸部样本图像。
其中，待查询对象是指需要查询的对象，比如，在疫情期间，需要准确地确定发热对象曾经到过哪些地方，曾经接触过哪些对象，那么待查询对象就可以设置为需要查询的发热对象，以便利用监控视频确定该待查询对象曾经到过哪些地方，曾经接触过哪些对象等等。
其中，脸部样本图像是指待查询对象的脸部图像，若需要在监控视频内查找待查询对象，就需要事先获取到该待查询对象的一张脸部图像作为样本图像，比如，可以获取如图6所示的脸部图像作为脸部样本图像。
在实际应用中，比如，为了对待查询对象的踪迹、行为等进行查询，用户可以将如图6所示的待查询对象的脸部样本图像进行上传，相应地，系统会接收到该脸部样本图像。
202、获取监控视频，并对监控视频进行分帧处理，得到多个监控视频帧。
其中，监控视频可以为视频监控系统所采集到的视频，该视频监控系统可以包括视频采集设备。比如，本申请可以将安装于交通枢纽场所(如机场、车站等)的视频采集设备所采集到的视频作为监控视频，利用该监控视频可以实现对来往对象的监控和识别。其中，监控视频包括多个监控视频帧，监控视频帧包含至少一个活体对象的脸部图像，由于视频采集设备所采集到的视频中未必始终包含活体对象的脸部图像，因此还可以对初始采集到的视频中不包含脸部图像的片段进行删除，得到包含至少一个活体对象的脸部图像的监控视频。
其中，云技术(Cloud technology)是指在广域网或局域网内将硬件、软件、网络等系列资源统一起来，实现数据的计算、储存、处理和共享的一种托管技术。
其中，大数据(Big data)是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。随着云时代的来临，大数据也吸引了越来越多的关注，大数据需要特殊的技术，以有效地处理大量的容忍经过时间内的数据。适用于大数据的技术，包括大规模并行处理数据库、数据挖掘、分布式文件系统、分布式数据库、云计算平台、互联网和可扩展的存储系统。
在实际应用中，比如，可以通过直连方式获取摄像头中完整的rtsp初始监控视频，由于本申请的目的就是进行对象的查询，因此可以将初始监控视频中不包括脸部图像的片段予以删除，得到包括清晰人脸的监控视频，并对监控视频进行分帧处理，得到多个监控视频帧。由于通过摄像头会获取到海量的监控视频，因此，利用本申请的基于脸部特征的活体身份识别方法，可以自动对获取到的监控视频进行大数据分析，并对区域内流动人员实现智能化动态检索，挖掘出需要查询的对象。
203、对监控视频帧中脸部区域的遮挡进行识别，得到每个活体对象的脸部遮挡状态。
其中，脸部遮挡是指图像中的人脸被口罩、墨镜、围巾、帽子等遮挡物遮挡，而无法被检测或者分类的情况。脸部遮挡检测的目的就是对包括人脸的图像进行分析处理，得出图像是否存在脸部遮挡的情况。比如，戴口罩是一种脸部遮挡的方式，利用脸部遮挡检测可以确定图像中的人脸是否戴了口罩。
其中，脸部遮挡状态是用于描述图像中人脸当前的遮挡情况的状态信息，比如，脸部遮挡状态可以用于描述图像中的人脸是否戴了口罩，此时，脸部遮挡状态可以分为戴口罩状态和不戴口罩状态；又比如，脸部遮挡状态还可以用于描述图像中人脸戴口罩的遮挡状态，此时，脸部遮挡状态可以分为遮住口鼻状态、只遮住嘴状态、只遮住下巴状态等等。
在实际应用中，比如，由于对戴口罩的脸部图像和不戴口罩的脸部图像进行图像处理的方法有所不同，因此，可以考虑将戴口罩的脸部图像和不戴口罩的脸部图像分别进行图像处理，那么就需要首先识别出图像里的人脸是否戴了口罩。可以利用深度学习网络模型对监控视频中的脸部图像进行脸部遮挡检测，得到监控视频中每个对象的脸部遮挡状态为戴口罩状态还是不戴口罩状态。
在一实施例中，可以通过至少一种遮挡参数确定监控视频中的对象是否戴了口罩，具体地，步骤“对所述监控视频帧中脸部区域的遮挡进行识别，得到每个活体对象的脸部遮挡状态”，可以包括：
对所述监控视频帧中脸部区域的遮挡参数进行检测，得到每个活体对象对应的遮挡参数信息；
基于所述遮挡参数信息，确定每个活体对象的脸部遮挡状态。
其中，遮挡参数是用于判定对象脸部遮挡状态的参数，该遮挡参数可以包括遮挡面积、遮挡形状、遮挡持续时间等参数中的一种或几种。
在实际应用中，当遮挡参数包括遮挡面积时，可以根据口罩遮挡面积与人脸面积之间的比值确定对象是否戴了口罩。比如，可以对监控视频中每个对象所对应的脸部图像遮挡面积、以及人脸面积进行检测，得到每个对象对应的遮挡面积数值、以及人脸面积数值，当该遮挡面积数值与人脸面积数值之间的比值满足预设范围条件时，此时可以认为该对象的脸部遮挡状态为戴口罩状态；当该遮挡面积数值与人脸面积数值之间的比值不满足预设范围条件时，此时可以认为该对象的脸部遮挡状态为不戴口罩状态。
在一实施例中，由于发型、墨镜等也会造成脸部遮挡，因此为了进行区分，可以引入遮挡形状这种遮挡参数，也即只有遮挡形状符合口罩形状的脸部遮挡才能认为是戴口罩状态。当遮挡参数包括遮挡形状时，可以根据遮挡部分的形状确定对象是否戴了口罩。比如，可以对监控视频中每个对象对应脸部图像的遮挡形状进行检测，得到每个对象对应的遮挡形状，当该遮挡形状与预设形状相匹配时，此时可以认为该对象的脸部遮挡状态为戴口罩状态；当该遮挡形状与预设形状不匹配时，此时可以认为该对象的脸部遮挡状态为不戴口罩状态。
在一实施例中，由于对象在进行用手捂嘴等肢体动作时，也会被识别为戴口罩状态，因此为了区分，可以引入遮挡持续时间这种遮挡参数，也即只有遮挡持续时间达到一定时长才能认为对象是戴口罩状态。当遮挡参数包括遮挡持续时间时，比如，可以对监控视频中每个对象对应脸部图像的遮挡持续时间进行检测，得到每个对象对应的遮挡持续时间，当该遮挡持续时间比预设时长长时，可以说明此时对象一直带着口罩，也即该对象的脸部遮挡状态为戴口罩状态；当该遮挡持续时间比预设时长短时，可以说明此时对象没有一直带着口罩，那么很有可能是捂嘴等动作带来的误判，也即该对象的脸部遮挡状态为不戴口罩状态。
在一实施例中，由于上述的几种遮挡参数是从不同的角度判定对象是否戴了口罩，因此为了提升对象查询的准确性，还可以设定当遮挡面积数值与人脸面积数值之间的比值满足预设范围条件、遮挡形状与预设形状相匹配、且遮挡持续时间比预设时长长时，确定对象的脸部遮挡状态为戴口罩状态。另外，遮挡参数的种类不限于遮挡面积、遮挡形状、以及遮挡持续时长中的一种或几种，还可以根据实际情况引入其他可行的遮挡参数。
在一实施例中，由于确定脸部遮挡状态的目的是将监控视频按照脸部遮挡状态划分为多种脸部遮挡状态对应的视频片段，并利用相应脸部遮挡状态的特征匹配模型对相应的视频片段进行处理，因此，可以根据特征匹配模型的需要相应地调整遮挡参数的种类和数量。比如，若特征匹配模型是根据是否戴了口罩进行划分的，那么可以将脸部遮挡状态划分为戴口罩状态和不戴口罩状态；若特征匹配模型是根据是否正确戴了口罩进行划分的，那么可以将脸部遮挡状态划分为正确戴口罩状态、不正确戴口罩状态、以及不戴口罩状态等等。针对不同的情况，可以相应地调整每个遮挡参数所应当满足的条件。
204、基于监控视频帧中活体对象的脸部遮挡状态，将监控视频帧进行图像分类，得到每种脸部遮挡状态对应的视频片段。
在实际应用中，比如，由于对戴口罩的脸部图像和不戴口罩的脸部图像进行图像处理的方法有所不同，因此，可以考虑将监控视频划分为戴口罩状态所对应的视频片段、以及不戴口罩状态所对应的视频片段，并对这两种视频片段分别进行图像处理。
在一实施例中，比如，可以确定出监控视频里每个视频帧对应的是戴口罩状态还是不戴口罩状态，其中，若视频帧中只有一个对象，且该对象的脸部遮挡状态被检测为戴口罩状态时，该视频帧就对应着戴口罩状态；若视频帧中只有一个对象，且该对象的脸部遮挡状态被检测为不戴口罩状态时，该视频帧就对应着不戴口罩状态。
但是，视频帧中可能存在不止一个对象，此时，只要检测到存在戴口罩状态的对象，该视频帧就对应着戴口罩状态，也即只有当视频帧中所有的对象都是不戴口罩状态时，才可以确定视频帧对应着不戴口罩状态。确定出每个视频帧所对应的脸部遮挡状态后，就可以将戴口罩状态对应的视频帧按时间顺序组合为戴口罩状态对应的视频片段，并将不戴口罩状态对应的视频帧按时间顺序组合为不戴口罩状态对应的视频片段。
205、基于每种脸部遮挡状态对应的特征匹配模型，将相应脸部遮挡状态对应的视频片段中每个对象的脸部图像、与查询参考脸部图像进行特征匹配，得到匹配结果。
其中，特征匹配模型是用于进行图像特征匹配的网络模型。比如，在本申请实施例中，特征匹配模型可以用于将视频片段中每个对象的脸部图像、与脸部样本图像进行特征匹配，进而得到匹配结果。其中，本申请实施例不对特征匹配模型的具体模型结构进行限定，只要其能够满足将视频片段中每个对象的脸部图像、与脸部样本图像进行特征匹配即可。本申请实施例也不对特征匹配模型的具体匹配逻辑进行限定，比如，特征匹配模型可以提取脸部图像的人脸特征、以及脸部样本图像的人脸特征，并通过计算特征匹对率来判断两张脸部图像的相似程度，此时的匹对率就可以理解为匹配结果。
在实际应用中，比如，对于特征匹配模型而言，戴口罩状态对应的特征匹配模型、与不戴口罩状态对应的特征匹配模型，在处理流程上有很大区别，因此可以分别获取戴口罩状态对应的特征匹配模型、以及不戴口罩状态对应的特征匹配模型。然后如图5所示，利用戴口罩状态对应的特征匹配模型，对戴口罩状态对应的视频片段中每个对象的脸部图像、与脸部样本图像进行特征匹配，得到匹配结果，同时利用不戴口罩状态对应的特征匹配模型，对不戴口罩状态对应的视频片段中每个对象的脸部图像、与脸部样本图像进行特征匹配，得到匹配结果。通过区分不同脸部遮挡状态对应的特征匹配模型，并利用特征匹配模型处理相应的视频片段，可以提升匹配的效率和准确率。
在一实施例中，该特征匹配模型可以为获取特征匹对率的模型，比如，对于戴口罩状态对应的特征匹配模型而言，可以将戴口罩状态对应视频片段中的脸部图像、以及脸部样本图像输入到特征匹配模型中，特征匹配模型可以自动识别图像中的多个人脸特征点，并对每个特征点进行单独对比与匹配。其中，人脸特征点是指能够对人脸上器官进行定位的点，如在嘴角、眼角、瞳孔等处都可以设置相应的人脸特征点。
206、基于匹配结果，从至少一个活体对象中查询出与待查询对象相似的目标对象，并显示目标对象的脸部图像。
在实际应用中，比如，若基于特征匹配模型获取到的匹配结果是对象的脸部图像、与脸部样本图像之间的特征匹对率数值，那么可以根据该特征匹对率数值确定对象与待查询对象之间的相似程度，并从至少一个对象中查询出目标对象。
在一实施例中，为了提升对象查询的准确性，可以设置预设条件，只有匹配结果满足这个预设条件，才能将相应的对象确定为目标对象。具体地，步骤“基于所述匹配结果，从所述至少一个活体对象中查询出与所述待查询对象相似的目标对象，并显示所述目标对象的脸部图像”，可以包括：
从所述至少一个活体对象中查询所述匹配结果满足预设条件的候选目标对象；
基于所述匹配结果，从多个所述候选目标对象中确定出预设数量的目标对象；
显示所述目标对象的脸部图像。
在实际应用中，比如，若基于特征匹配模型获取到的匹配结果是对象的脸部图像、与脸部样本图像之间的特征匹对率数值，可以将预设条件设置为大于80％，也即只有当对象的脸部图像与待查询对象的脸部样本图像之间的特征匹对率大于80％时，才可以将该对象确定为候选目标对象。在确定出多个候选目标对象之后，可以将这些候选目标对象按照特征匹对率数值的大小进行排序，当预设数量为2时，如图7所示，就将特征匹对率数值最大的前两个候选目标对象作为目标对象，并显示目标对象的脸部图像，同时还可以显示每个目标对象与待查询对象之间接近度的数值，也就是特征匹对率数值，以便用户更直观地了解到目标对象的样貌、以及相似程度。若没有查询到特征匹对率大于80％的对象，就可以确定“监控区域内无相应人员”，并将结果进行上报。
在一实施例中，在疫情期间，不但要关注疑似发烧的待查询对象，也要关注与待查询对象接触或者同行的同行对象，因此还需要查询与目标对象同行的同行对象。具体地，该基于脸部特征的活体身份识别方法还可以包括：
对所述视频片段中的活体对象进行姿态识别，得到每个活体对象对应的运动轨迹和对象姿态；
基于所述运动轨迹和所述对象姿态，从所述至少一个活体对象中查询出与所述目标对象同行的同行对象。
其中，姿态识别是指通过计算机技术，使计算机能够从视频或图像序列中自动识别出人体的姿态并对其进行分类的方法，可以通过图形格式描述视频或者图像中人体的姿态。姿态识别可以包括多种方法，比如Openpose是一种自底而上的人体姿态估计方法；又比如，深切(deepcut)是一种自底向上的人体姿态估计方法；又比如，区域多人姿态估计(regional multi-person pose estimation，RMPE)是一种自顶向下的姿态估计方法，前述三种示例均可以通过深度神经网络实现，应当理解，此处举例仅为证明本方案的可实现性，还可以采用其他的人体姿态估计方法，此处不进行穷举。
在实际应用中，比如，通过对视频片段中的对象进行姿态识别，不但可以确定每个对象对应的对象姿态，并且基于视频片段中的多个视频帧，还可以确定该对象对应的运动轨迹。通过运动轨迹可以得知视频中的对象之间是否同行，通过对象姿态可以得知视频中的对象之间是否发生了触碰等行为，因此，可以将视频片段做分帧处理，并通过姿态识别模型，确定每个对象的运动轨迹和对象姿态，进而识别出与目标对象同行的同行对象，并提取同行对象的脸部图像。
在一实施例中，可以通过对视频片段进行精简，提升对象查询的效率。具体地，步骤“对所述视频片段中的活体对象进行姿态识别，得到每个活体对象对应的运动轨迹和对象姿态”，可以包括：
基于所述目标对象的脸部图像，从所述视频片段中提取包括所述目标对象的目标视频片段；
对所述目标视频片段中的对象进行姿态识别，得到所述目标视频片段中每个活体对象对应的运动轨迹和对象姿态。
在实际应用中，比如，由于本申请的目的是要确定与待查询对象同行的同行对象，因此可以对视频片段进行精简。对视频片段进行静态化分帧处理，同时提取包括目标对象的脸部图像的视频帧，然后将这些视频帧组成目标视频片段，该目标视频片段可以保证每个视频帧中都包括目标对象，可以大大提升后期判定同行对象的效率。
在一实施例中，可以通过确定出的运动轨迹和对象姿态确定同行对象。具体地，步骤“基于所述运动轨迹和所述对象姿态，从所述至少一个活体对象中查询出与所述目标对象同行的同行对象”，可以包括：
基于所述活体对象的运动轨迹、以及所述待查询对象的运动轨迹，从所述至少一个活体对象中查询出候选同行对象；
基于所述活体对象的对象姿态、以及所述待查询对象的对象姿态，从所述候选同行对象中查询出与所述目标对象同行的同行对象。
在实际应用中，比如，在疫情期间，与发热对象走的过近，或者与发热对象发生身体上的触碰等，都会大大增加患病的几率，因此，可以首先分析运动轨迹，若同一时刻，某个对象的运动轨迹与目标对象的运动轨迹之间的距离小于预设阈值甚至于发生轨迹重合，此时，就可以认为该对象与目标对象距离过近，可以将这种对象确定为候选同行对象。为了进一步提升同行对象确定的准确性，还可以对对象姿态进行分析，若同一时刻，分析发现某个对象与目标对象发生了碰撞，就可以认为此时该对象与目标对象存在身体上的接触，可以将这种候选同行对象确定为同行对象。
在一实施例中，确定出同行对象后，还需要对同行对象进行身份识别，以便快速地对应到具体人员。具体地，该基于脸部特征的活体身份识别方法还可以包括：
基于所述同行对象的脸部图像，从所述视频片段中提取所述同行对象的对象整体图像；
基于所述同行对象的脸部图像、以及所述同行对象的对象整体图像，对所述同行对象进行身份识别，得到所述同行对象的身份信息。
其中，人脸识别是基于人的脸部特征信息进行身份识别的一种生物识别技术。用摄像机或摄像头采集含有人脸的图像或视频流，并自动在图像中检测和跟踪人脸，进而对检测到的人脸进行脸部识别的一系列相关技术。
在实际应用中，比如，确定出同行对象之后，可以根据同行对象的脸部图像，从视频片段中提取该同行对象的对象整体图像，也就是该同行对象整体的人体图像。然后可以对该同行对象的脸部图像进行人脸识别，确定出该同行对象的“性别”、“年龄”、“发型”等身份信息，并根据该同行对象的人体图像，确定出该同行对象的“衣着”、“身高”等身份信息。
在一实施例中，由于目标对象可能不止一个，因此分别获取不同目标对象对应的同行对象。比如，如图8所示，针对目标对象一可以查询到三个同行人员，那么可以在界面上显示每个同行人员的脸部图像，与目标对象接触的时间点、以及接触地点。还可以通过界面下方的切换按钮，切换显示目标对象二对应的同行人员。
在一实施例中，比如，如图9所示为本申请实施例的硬件架构，包括由客户现场部署的高清摄像头硬件，执行口罩识别AI服务、人脸匹对AI服务、以及动线轨迹追踪分析服务。其中，口罩识别AI服务用于将客户样本库中的数据分割为戴口罩状态对应的样本、以及不戴口罩状态对应的样本。最后输出人脸查询结果，并根据该人脸查询结果进行同行对象的动线分析。
在一实施例中，比如，如图10所示，执行基于脸部特征的活体身份识别方法的系统可以包括业务层、服务层、以及基础硬件层。其中，业务层(也即智能化流动人员识别及数据分析应用平台)包括：戴口罩的人脸匹对模块、不戴口罩的人脸匹对模块、人体特征动线追踪模块、以及人脸记录管理模块。其中，戴口罩的人脸匹对模块用于：对戴口罩状态的视频片段中每个对象的脸部图像、与脸部样本图像进行特征匹配，并得到匹配结果；不戴口罩的人脸匹对模块用于：对不戴口罩状态的视频片段中每个对象的脸部图像、与脸部样本图像进行特征匹配，并得到匹配结果；人体特征动线追踪模块用于：对人体动作特征的行为轨迹动线追踪，也即对视频片段中的对象进行姿态识别，得到每个对象对应的运动轨迹和对象姿态；人脸记录管理模块用于：结合人脸识别的记录和告警管理，也即对识别到的目标对象、以及同行对象进行信息记录存储，并进行相应的告警流程。
其中，服务层包括：存储服务模块、计算服务模块、通信服务模块、消息服务模块、设备管理服务模块、以及数据中心模块。服务层可以提供网络通信服务、数据库切割与整合服务、消息推送服务、视频流/静态图片的AI计算服务、设备管控管理服务等，用于给相应的业务提供服务支撑。
其中，基础硬件层包括：人脸识别模块和体温检测模块。基础硬件层用于提供基础的硬件支持，包括人脸识别摄像头、红外体温检测设备等，并用于提供服务器支持、部署web端、以及嵌入原有系统的API等各种服务。
随着全国各地复工复产的有序开展，人员流动逐渐增多，需要准确快速地甄别异常人员，以保障辖区安全。对于人员流动大的场所而言，目前的识别效率低，并且由于出入人员大多戴口罩，因此无法自动化判别人员的身份，而人工抽检的方法又耗时耗力。同时由于信息挖掘能力差，靠纯手工追溯的方法，信息化程度低，而且容易出现误判和漏判的现象。
因此，如图4所示，本申请可以通过大数据深度学习，对来自摄像头的监控视频进行大数据分析，将来往人员区分为戴口罩人员和不戴口罩人员，并通过样本输入匹对检索出异常的目标人员。通过姿态识别和人脸识别，追踪区域内流动人员的过往行径，并且自动挖掘同行人。
根据本申请的一个方面，提供了一种计算机程序产品或计算机程序，该计算机产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中，计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述对象查询方面的各种可选实现方式中提供的方法。
由上可知，本申请实施例可以接收用户上传的待查询对象的脸部样本图像，获取监控视频，并对监控视频进行分帧处理，得到多个监控视频帧，监控视频帧包含至少一个活体对象的脸部图像，对监控视频帧中脸部区域的遮挡进行识别，得到每个活体对象的脸部遮挡状态，基于监控视频帧中活体对象的脸部遮挡状态，将监控视频帧进行图像分类，得到每种脸部遮挡状态对应的视频片段，基于每种脸部遮挡状态对应的特征匹配模型，将相应脸部遮挡状态对应的视频片段中每个对象的脸部图像、与查询参考脸部图像进行特征匹配，得到匹配结果，基于匹配结果，从至少一个活体对象中查询出与待查询对象相似的目标对象，并显示目标对象的脸部图像。该方案可以将监控视频划分为戴口罩状态对应的视频片段和不戴口罩状态对应的视频片段，并利用不同的模型对二者进行处理，这样可以提高模型的识别精度和处理效率。同时，本申请不但能够从监控视频中确定出需要寻找的目标对象，还可以进一步确定出与目标对象同行的同行对象，以方便管理人员的发散式侦察。
根据前面实施例所描述的方法，以下将以该基于脸部特征的活体身份识别装置具体集成在电子设备中举例作进一步详细说明。
参考图3，本申请实施例的基于脸部特征的活体身份识别方法的具体流程可以如下：
301、接收用户上传的疑似人员的人脸图像，并采集监控视频。
在实际应用中，比如，电子设备可以通过直连方式采集摄像头的rtsp视频流，该视频流即为监控视频，并且接收用户上传的如图6所示的疑似人员的人脸图像。
302、检测监控视频中每个人员的脸部遮挡状态。
在实际应用中，比如，监控视频包括多个监控视频帧，每个监控视频帧中都包括若干人员，可以根据遮挡面积、遮挡形状、遮挡持续时间等遮挡参数，确定每个人员的脸部遮挡状态，其中，脸部遮挡状态分为戴口罩状态和不戴口罩状态。
303、根据监控视频中每个人员的脸部遮挡状态，将监控视频划分为戴口罩视频样本、以及不戴口罩视频样本。
在实际应用中，比如，如图5所示，可以通过模型对输入的监控视频进行处理，将监控视频区分成戴口罩状态对应的戴口罩视频样本、以及不戴口罩状态对应的不戴口罩视频样本，方便在后续特征匹配中进行区别匹对，能够进一步提高匹对效率和准确率。
304、通过针对戴口罩视频样本的人脸特征匹对模型，对疑似人员的人脸图像、以及戴口罩视频样本中的人脸图像进行人脸特征匹对。
在实际应用中，比如，如图5所示，可以向针对戴口罩视频样本的人脸特征匹对模型中，输入疑似人员的人脸图像、以及戴口罩视频样本中的人脸图像，并通过模型，自动地在人脸图像上打上不少于90个的特征点，并对两张图像的特征点进行单独对比与匹配。
305、通过针对不戴口罩视频样本的人脸特征匹对模型，对疑似人员的人脸图像、以及不戴口罩视频样本中的人脸图像进行人脸特征匹对。
在实际应用中，比如，步骤304与步骤305之间没有时间顺序的限定。
306、根据匹对结果，从视频样本的多个人员中确定出匹对率最高的两个目标人员。
在实际应用中，比如，通过针对戴口罩视频样本的人脸特征匹对模型，可以获取到戴口罩视频样本中每个人员、与疑似人员人脸图像之间的匹对率，相应地，通过针对不戴口罩视频样本的人脸特征匹对模型，可以获取到不戴口罩视频样本中每个人员、与疑似人员人脸图像之间的匹对率。此时，可以根据视频样本中每个人员与疑似人员人脸图像之间的匹对率，从多个人员中确定出匹对率最高的两个目标人员。
在一实施例中，如图5所示，若视频样本中所有人员的匹对率都小于等于80％，说明视频样本中所有人员都与疑似人员人脸图像之间的差异过大，可以直接确定为“监控区域无相应人员”；若视频样本中存在匹对率大于80％的人员，说明这种人员与疑似人员人脸图像之间差异在可接受范围内，可以直接确定为“监控区域可以找到相应人员”，并在这种人员中选定匹对率最高的两个目标人员。
307、从视频样本中提取出带有目标人员人脸图像的视频片段。
在实际应用中，比如，如图5所示，可以对视频样本中所有视频做静态化分帧处理，同时确定带有目标人员人脸图像的帧，进而根据确定出的帧，提取出相应的视频片段。
308、通过人体动作捕抓模型，从视频片段中识别出与目标人员有肢体接触的同行人员。
在实际应用中，比如，如图5所示，可以将视频片段做分帧处理，并通过人体动作捕抓模型，识别出与目标人员有肢体接触的同行人，进而提取同行人的人脸图像、以及人体图像。其中，可以通过运动轨迹和对象姿态确定是否有肢体接触。
309、识别同行人员的身份信息。
在实际应用中，比如，如图5所示，可以对同行人员的人脸图像和人体图像进行模型处理，分别识别出“性别”、“年龄”、“发型”、“衣着”和“身高”等身体特征，并显示出相应特征。
由上可知，本申请实施例可以通过电子设备接收用户上传的疑似人员的人脸图像，并采集监控视频，检测监控视频中每个人员的脸部遮挡状态，根据监控视频中每个人员的脸部遮挡状态，将监控视频划分为戴口罩视频样本、以及不戴口罩视频样本，通过针对戴口罩视频样本的人脸特征匹对模型，对疑似人员的人脸图像、以及戴口罩视频样本中的人脸图像进行人脸特征匹对，通过针对不戴口罩视频样本的人脸特征匹对模型，对疑似人员的人脸图像、以及不戴口罩视频样本中的人脸图像进行人脸特征匹对，根据匹对结果，从视频样本的多个人员中确定出匹对率最高的两个目标人员，从视频样本中提取出带有目标人员人脸图像的视频片段，通过人体动作捕抓模型，从视频片段中识别出与目标人员有肢体接触的同行人员，识别同行人员的身份信息。该方案可以将监控视频划分为戴口罩状态对应的视频片段和不戴口罩状态对应的视频片段，并利用不同的模型对二者进行处理，这样可以提高模型的识别精度和处理效率。同时，本申请不但能够从监控视频中确定出需要寻找的目标对象，还可以进一步确定出与目标对象同行的同行对象，以方便管理人员的发散式侦察。
为了更好地实施以上方法，相应的，本申请实施例还提供一种基于脸部特征的活体身份识别装置，该基于脸部特征的活体身份识别装置可以集成在电子设备中，参考图11，该基于脸部特征的活体身份识别装置包括接收模块111、获取模块112、识别模块113、分类模块114、匹配模块115和查询模块116，如下：
接收模块111，用于接收用户上传的待查询对象的脸部样本图像；
获取模块112，用于获取监控视频，并对所述监控视频进行分帧处理，得到多个监控视频帧，所述监控视频帧包含至少一个活体对象的脸部图像；
识别模块113，用于对所述监控视频帧中脸部区域的遮挡进行识别，得到每个活体对象的脸部遮挡状态；
分类模块114，用于基于所述监控视频帧中活体对象的脸部遮挡状态，将所述监控视频帧进行图像分类，得到每种脸部遮挡状态对应的视频片段；
匹配模块115，用于基于每种脸部遮挡状态对应的特征匹配模型，将相应脸部遮挡状态对应的视频片段中每个对象的脸部图像、与所述查询参考脸部图像进行特征匹配，得到匹配结果；
查询模块116，用于基于所述匹配结果，从所述至少一个活体对象中查询出与所述待查询对象相似的目标对象，并显示所述目标对象的脸部图像。
在一实施例中，所述识别模块113可以具体用于：
对所述监控视频帧中脸部区域的遮挡参数进行检测，得到每个活体对象对应的遮挡参数信息；
基于所述遮挡参数信息，确定每个活体对象的脸部遮挡状态。
在一实施例中，所述基于脸部特征的活体身份识别装置还可以包括姿态识别模块和对象查询模块，如下：
姿态识别模块，用于对所述视频片段中的活体对象进行姿态识别，得到每个活体对象对应的运动轨迹和对象姿态；
对象查询模块，用于基于所述运动轨迹和所述对象姿态，从所述至少一个活体对象中查询出与所述目标对象同行的同行对象。
在一实施例中，所述姿态识别模块可以具体用于：
基于所述目标对象的脸部图像，从所述视频片段中提取包括所述目标对象的目标视频片段；
对所述目标视频片段中的对象进行姿态识别，得到所述目标视频片段中每个活体对象对应的运动轨迹和对象姿态。
在一实施例中，所述对象查询模块可以具体用于：
基于所述活体对象的运动轨迹、以及所述待查询对象的运动轨迹，从所述至少一个活体对象中查询出候选同行对象；
基于所述活体对象的对象姿态、以及所述待查询对象的对象姿态，从所述候选同行对象中查询出与所述目标对象同行的同行对象。
在一实施例中，所述基于脸部特征的活体身份识别装置还可以具体用于：
基于所述同行对象的脸部图像，从所述视频片段中提取所述同行对象的对象整体图像；
基于所述同行对象的脸部图像、以及所述同行对象的对象整体图像，对所述同行对象进行身份识别，得到所述同行对象的身份信息。
在一实施例中，所述查询模块116可以具体用于：
从所述至少一个活体对象中查询所述匹配结果满足预设条件的候选目标对象；
基于所述匹配结果，从多个所述候选目标对象中确定出预设数量的目标对象；
显示所述目标对象的脸部图像。
具体实施时，以上各个单元可以作为独立的实体来实现，也可以进行任意组合，作为同一或若干个实体来实现，以上各个单元的具体实施可参见前面的方法实施例，在此不再赘述。
由上可知，本申请实施例可以接收用户上传的待查询对象的脸部样本图像，获取监控视频，并对监控视频进行分帧处理，得到多个监控视频帧，监控视频帧包含至少一个活体对象的脸部图像，对监控视频帧中脸部区域的遮挡进行识别，得到每个活体对象的脸部遮挡状态，基于监控视频帧中活体对象的脸部遮挡状态，将监控视频帧进行图像分类，得到每种脸部遮挡状态对应的视频片段，基于每种脸部遮挡状态对应的特征匹配模型，将相应脸部遮挡状态对应的视频片段中每个对象的脸部图像、与查询参考脸部图像进行特征匹配，得到匹配结果，基于匹配结果，从至少一个活体对象中查询出与待查询对象相似的目标对象，并显示目标对象的脸部图像。该方案可以将监控视频划分为戴口罩状态对应的视频片段和不戴口罩状态对应的视频片段，并利用不同的模型对二者进行处理，这样可以提高模型的识别精度和处理效率。同时，本申请不但能够从监控视频中确定出需要寻找的目标对象，还可以进一步确定出与目标对象同行的同行对象，以方便管理人员的发散式侦察。
本申请实施例还提供一种电子设备，该电子设备可以集成本申请实施例所提供的任一种基于脸部特征的活体身份识别装置。
例如，如图12所示，其示出了本申请实施例所涉及的电子设备的结构示意图，具体来讲：
该电子设备可以包括一个或者一个以上处理核心的处理器121、一个或一个以上计算机可读存储介质的存储器122、电源123和输入单元124等部件。本领域技术对象可以理解，图12中示出的电子设备结构并不构成对电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：
处理器121是该电子设备的控制中心，利用各种接口和线路连接整个电子设备的各个部分，通过运行或执行存储在存储器122内的软件程序和/或模块，以及调用存储在存储器122内的数据，执行电子设备的各种功能和处理数据，从而对电子设备进行整体监控。可选的，处理器121可包括一个或多个处理核心；优选的，处理器121可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器121中。
存储器122可用于存储软件程序以及模块，处理器121通过运行存储在存储器122的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器122可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据电子设备的使用所创建的数据等。此外，存储器122可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器122还可以包括存储器控制器，以提供处理器121对存储器122的访问。
电子设备还包括给各个部件供电的电源123，优选的，电源123可以通过电源管理系统与处理器121逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源123还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
该电子设备还可包括输入单元124，该输入单元124可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。
尽管未示出，电子设备还可以包括显示单元等，在此不再赘述。具体在本实施例中，电子设备中的处理器121会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器122中，并由处理器121来运行存储在存储器122中的应用程序，从而实现各种功能，如下：
接收用户上传的待查询对象的脸部样本图像，获取监控视频，并对监控视频进行分帧处理，得到多个监控视频帧，监控视频帧包含至少一个活体对象的脸部图像，对监控视频帧中脸部区域的遮挡进行识别，得到每个活体对象的脸部遮挡状态，基于监控视频帧中活体对象的脸部遮挡状态，将监控视频帧进行图像分类，得到每种脸部遮挡状态对应的视频片段，基于每种脸部遮挡状态对应的特征匹配模型，将相应脸部遮挡状态对应的视频片段中每个对象的脸部图像、与查询参考脸部图像进行特征匹配，得到匹配结果，基于匹配结果，从至少一个活体对象中查询出与待查询对象相似的目标对象，并显示目标对象的脸部图像。
以上各个操作的具体实施可参见前面的实施例，在此不再赘述。
由上可知，本申请实施例可以接收用户上传的待查询对象的脸部样本图像，获取监控视频，并对监控视频进行分帧处理，得到多个监控视频帧，监控视频帧包含至少一个活体对象的脸部图像，对监控视频帧中脸部区域的遮挡进行识别，得到每个活体对象的脸部遮挡状态，基于监控视频帧中活体对象的脸部遮挡状态，将监控视频帧进行图像分类，得到每种脸部遮挡状态对应的视频片段，基于每种脸部遮挡状态对应的特征匹配模型，将相应脸部遮挡状态对应的视频片段中每个对象的脸部图像、与查询参考脸部图像进行特征匹配，得到匹配结果，基于匹配结果，从至少一个活体对象中查询出与待查询对象相似的目标对象，并显示目标对象的脸部图像。该方案可以将监控视频划分为戴口罩状态对应的视频片段和不戴口罩状态对应的视频片段，并利用不同的模型对二者进行处理，这样可以提高模型的识别精度和处理效率。同时，本申请不但能够从监控视频中确定出需要寻找的目标对象，还可以进一步确定出与目标对象同行的同行对象，以方便管理人员的发散式侦察。
本领域普通技术对象可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。
为此，本申请实施例提供一种电子设备，其中存储有多条指令，该指令能够被处理器进行加载，以执行本申请实施例所提供的任一种基于脸部特征的活体身份识别方法中的步骤。例如，该指令可以执行如下步骤：
接收用户上传的待查询对象的脸部样本图像，获取监控视频，并对监控视频进行分帧处理，得到多个监控视频帧，监控视频帧包含至少一个活体对象的脸部图像，对监控视频帧中脸部区域的遮挡进行识别，得到每个活体对象的脸部遮挡状态，基于监控视频帧中活体对象的脸部遮挡状态，将监控视频帧进行图像分类，得到每种脸部遮挡状态对应的视频片段，基于每种脸部遮挡状态对应的特征匹配模型，将相应脸部遮挡状态对应的视频片段中每个对象的脸部图像、与查询参考脸部图像进行特征匹配，得到匹配结果，基于匹配结果，从至少一个活体对象中查询出与待查询对象相似的目标对象，并显示目标对象的脸部图像。
以上各个操作的具体实施可参见前面的实施例，在此不再赘述。
其中，该存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，Random Access Memory)、磁盘或光盘等。
由于该存储介质中所存储的指令，可以执行本申请实施例所提供的任一种基于脸部特征的活体身份识别方法中的步骤，因此，可以实现本申请实施例所提供的任一种基于脸部特征的活体身份识别方法所能实现的有益效果，详见前面的实施例，在此不再赘述。
以上对本申请实施例所提供的一种基于脸部特征的活体身份识别方法、装置和存储介质进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的技术对象，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种基于脸部特征的活体身份识别方法，其特征在于，包括：
接收用户上传的待查询对象的脸部样本图像；
获取监控视频，并对所述监控视频进行分帧处理，得到多个监控视频帧，所述监控视频帧包含至少一个活体对象的脸部图像；
对所述监控视频帧中脸部区域的遮挡进行识别，得到每个活体对象的脸部遮挡状态；
基于所述监控视频帧中活体对象的脸部遮挡状态，将所述监控视频帧进行图像分类，得到每种脸部遮挡状态对应的视频片段；
基于每种脸部遮挡状态对应的特征匹配模型，将相应脸部遮挡状态对应的视频片段中每个对象的脸部图像、与所述脸部样本图像进行特征匹配，得到匹配结果；
基于所述匹配结果，从所述至少一个活体对象中查询出与所述待查询对象相似的目标对象，并显示所述目标对象的脸部图像。
2.根据权利要求1所述的基于脸部特征的活体身份识别方法，其特征在于，对所述监控视频帧中脸部区域的遮挡进行识别，得到每个活体对象的脸部遮挡状态，包括：
对所述监控视频帧中脸部区域的遮挡参数进行检测，得到每个活体对象对应的遮挡参数信息；
基于所述遮挡参数信息，确定每个活体对象的脸部遮挡状态。
3.根据权利要求1所述的基于脸部特征的活体身份识别方法，其特征在于，所述方法还包括：
对所述视频片段中的活体对象进行姿态识别，得到每个活体对象对应的运动轨迹和对象姿态；
基于所述运动轨迹和所述对象姿态，从所述至少一个活体对象中查询出与所述目标对象同行的同行对象。
4.根据权利要求3所述的基于脸部特征的活体身份识别方法，其特征在于，对所述视频片段中的活体对象进行姿态识别，得到每个活体对象对应的运动轨迹和对象姿态，包括：
基于所述目标对象的脸部图像，从所述视频片段中提取包括所述目标对象的目标视频片段；
对所述目标视频片段中的对象进行姿态识别，得到所述目标视频片段中每个活体对象对应的运动轨迹和对象姿态。
5.根据权利要求3所述的基于脸部特征的活体身份识别方法，其特征在于，基于所述运动轨迹和所述对象姿态，从所述至少一个活体对象中查询出与所述目标对象同行的同行对象，包括：
基于所述活体对象的运动轨迹、以及所述待查询对象的运动轨迹，从所述至少一个活体对象中查询出候选同行对象；
基于所述活体对象的对象姿态、以及所述待查询对象的对象姿态，从所述候选同行对象中查询出与所述目标对象同行的同行对象。
6.根据权利要求3所述的基于脸部特征的活体身份识别方法，其特征在于，所述方法还包括：
基于所述同行对象的脸部图像，从所述视频片段中提取所述同行对象的对象整体图像；
基于所述同行对象的脸部图像、以及所述同行对象的对象整体图像，对所述同行对象进行身份识别，得到所述同行对象的身份信息。
7.根据权利要求1所述的基于脸部特征的活体身份识别方法，其特征在于，基于所述匹配结果，从所述至少一个活体对象中查询出与所述待查询对象相似的目标对象，并显示所述目标对象的脸部图像，包括：
从所述至少一个活体对象中查询所述匹配结果满足预设条件的候选目标对象；
基于所述匹配结果，从多个所述候选目标对象中确定出预设数量的目标对象；
显示所述目标对象的脸部图像。
8.一种基于脸部特征的活体身份识别装置，其特征在于，包括：
接收模块，用于接收用户上传的待查询对象的脸部样本图像；
获取模块，用于获取监控视频，并对所述监控视频进行分帧处理，得到多个监控视频帧，所述监控视频帧包含至少一个活体对象的脸部图像；
识别模块，用于对所述监控视频帧中脸部区域的遮挡进行识别，得到每个活体对象的脸部遮挡状态；
分类模块，用于基于所述监控视频帧中活体对象的脸部遮挡状态，将所述监控视频帧进行图像分类，得到每种脸部遮挡状态对应的视频片段；
匹配模块，用于基于每种脸部遮挡状态对应的特征匹配模型，将相应脸部遮挡状态对应的视频片段中每个对象的脸部图像、与所述脸部样本图像进行特征匹配，得到匹配结果；
查询模块，用于基于所述匹配结果，从所述至少一个活体对象中查询出与所述待查询对象相似的目标对象，并显示所述目标对象的脸部图像。
9.一种计算机存储介质，其上存储有计算机程序，其特征在于，当所述计算机程序在计算机上运行时，使得所述计算机执行如权利要求1-7任一项所述的基于脸部特征的活体身份识别方法。
10.一种电子设备，包括存储器，处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，所述处理器执行所述程序时实现如权利要求1至7任一项所述方法的步骤。
CN202010635560.XA 2020-07-03 2020-07-03 一种基于脸部特征的活体身份识别方法、装置和存储介质 Active CN111767880B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010635560.XA CN111767880B (zh) 2020-07-03 2020-07-03 一种基于脸部特征的活体身份识别方法、装置和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010635560.XA CN111767880B (zh) 2020-07-03 2020-07-03 一种基于脸部特征的活体身份识别方法、装置和存储介质

Publications (2)

Publication Number Publication Date
CN111767880A true CN111767880A (zh) 2020-10-13
CN111767880B CN111767880B (zh) 2022-09-09

Family

ID=72723704

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010635560.XA Active CN111767880B (zh) 2020-07-03 2020-07-03 一种基于脸部特征的活体身份识别方法、装置和存储介质

Country Status (1)

Country Link
CN (1) CN111767880B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112200120A (zh) * 2020-10-23 2021-01-08 支付宝(杭州)信息技术有限公司 一种身份识别方法、活体识别方法、装置及电子设备
CN112597854A (zh) * 2020-12-15 2021-04-02 重庆电子工程职业学院 无配合式人脸识别系统及方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107358146A (zh) * 2017-05-22 2017-11-17 深圳云天励飞技术有限公司 视频处理方法、装置及存储介质
CN108229323A (zh) * 2017-11-30 2018-06-29 深圳市商汤科技有限公司 布控方法和装置、电子设备、计算机存储介质
CN110084103A (zh) * 2019-03-15 2019-08-02 深圳英飞拓科技股份有限公司 一种基于人脸识别技术的同行人分析方法及系统
CN111353438A (zh) * 2020-03-02 2020-06-30 成都三零凯天通信实业有限公司 一种基于ai的公共场所应急医疗寻人方法
CN111353454A (zh) * 2020-03-06 2020-06-30 北京搜狗科技发展有限公司 一种数据处理方法、装置和电子设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107358146A (zh) * 2017-05-22 2017-11-17 深圳云天励飞技术有限公司 视频处理方法、装置及存储介质
CN108229323A (zh) * 2017-11-30 2018-06-29 深圳市商汤科技有限公司 布控方法和装置、电子设备、计算机存储介质
CN110084103A (zh) * 2019-03-15 2019-08-02 深圳英飞拓科技股份有限公司 一种基于人脸识别技术的同行人分析方法及系统
CN111353438A (zh) * 2020-03-02 2020-06-30 成都三零凯天通信实业有限公司 一种基于ai的公共场所应急医疗寻人方法
CN111353454A (zh) * 2020-03-06 2020-06-30 北京搜狗科技发展有限公司 一种数据处理方法、装置和电子设备

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
盛利: "人脸识别技术升级 戴着口罩也能认出你", 《北方人(悦读)》 *
邢延超等: "一种高性能部分遮挡人脸识别新方法", 《计算机工程》 *
高健豪等: "一种带遮挡的人脸特征快速提取算法", 《信息技术与信息化》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112200120A (zh) * 2020-10-23 2021-01-08 支付宝(杭州)信息技术有限公司 一种身份识别方法、活体识别方法、装置及电子设备
CN112200120B (zh) * 2020-10-23 2023-06-30 支付宝(杭州)信息技术有限公司 一种身份识别方法、活体识别方法、装置及电子设备
CN112597854A (zh) * 2020-12-15 2021-04-02 重庆电子工程职业学院 无配合式人脸识别系统及方法

Also Published As

Publication number Publication date
CN111767880B (zh) 2022-09-09

Similar Documents

Publication Publication Date Title
Bolanos et al. Toward storytelling from visual lifelogging: An overview
Wang et al. Human action recognition by semilatent topic models
Chen et al. Recognizing expressions from face and body gesture by temporal normalized motion and appearance features
Singh et al. Human activity recognition in video benchmarks: A survey
Zha et al. Detecting group activities with multi-camera context
Omarov et al. A Skeleton-based Approach for Campus Violence Detection.
Núñez-Marcos et al. Egocentric vision-based action recognition: a survey
Hu et al. Towards real-time eyeblink detection in the wild: Dataset, theory and practices
CN111767880B (zh) 一种基于脸部特征的活体身份识别方法、装置和存储介质
Shah et al. Multi-view action recognition using contrastive learning
Pan et al. Robust basketball sports recognition by leveraging motion block estimation
Cai et al. Desktop action recognition from first-person point-of-view
Almaadeed et al. A novel approach for robust multi human action recognition and summarization based on 3D convolutional neural networks
Sheeba et al. Hybrid features-enabled dragon deep belief neural network for activity recognition
Parameswari et al. Human activity recognition using SVM and deep learning
Akila et al. Highly refined human action recognition model to handle intraclass variability & interclass similarity
Tan et al. Multimodal joint head orientation estimation in interacting groups via proxemics and interaction dynamics
CN111797175B (zh) 数据存储方法、装置、存储介质及电子设备
Elharrouss et al. Mhad: multi-human action dataset
Khaire et al. RGB+ D and deep learning-based real-time detection of suspicious event in Bank-ATMs
Abhishek et al. Human Verification over Activity Analysis via Deep Data Mining
Xia et al. Recognition of suspicious behavior using case-based reasoning
Brena et al. Activity recognition in meetings with one and two kinect sensors
Huang et al. Research on learning state based on students’ attitude and emotion in class learning
Cheng Video-based Student Classroom Classroom Behavior State Analysis

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40030679

Country of ref document: HK

SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant