CN113435248A - 口罩人脸识别底库增强方法、装置、设备及可读存储介质 - Google Patents

口罩人脸识别底库增强方法、装置、设备及可读存储介质 Download PDF

Info

Publication number
CN113435248A
CN113435248A CN202110541289.8A CN202110541289A CN113435248A CN 113435248 A CN113435248 A CN 113435248A CN 202110541289 A CN202110541289 A CN 202110541289A CN 113435248 A CN113435248 A CN 113435248A
Authority
CN
China
Prior art keywords
face
real
mask
image
optimal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110541289.8A
Other languages
English (en)
Inventor
方鹏程
张超
张新访
王飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Tianyu Information Industry Co Ltd
Original Assignee
Wuhan Tianyu Information Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Tianyu Information Industry Co Ltd filed Critical Wuhan Tianyu Information Industry Co Ltd
Priority to CN202110541289.8A priority Critical patent/CN113435248A/zh
Publication of CN113435248A publication Critical patent/CN113435248A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Quality & Reliability (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种口罩人脸识别底库增强方法、装置、设备及可读存储介质，涉及人脸识别技术领域，分别对已采集的多帧人脸实时流图像进行质量分析，得到质量分析结果；基于质量分析结果对多帧人脸实时流图像进行排序，得到最优人脸实时流图像；对最优人脸实时流图像进行口罩贴设处理，得到最优口罩人脸实时流图像；基于预设的规范对最优口罩人脸实时流图像进行入库判断，将符合规范的最优口罩人脸实时流图像导入口罩人脸识别底库中。因此，本申请实施例实现了自动模拟生成高质量的人脸识别底库，增强了人脸识别底库的质量，进而提高了与人脸识别底库的匹配程度，从而达到提高人脸识别精度和提升用户体验的目的。

Description

口罩人脸识别底库增强方法、装置、设备及可读存储介质
技术领域
本申请涉及人脸识别技术领域，特别涉及一种口罩人脸识别底库增强方法、装置、设备及可读存储介质。
背景技术
人脸识别不仅是人工智能领域的研究热点，在公共安全领域，其研究也有着重要的现实意义。当然，人脸识别范围较广泛，包括普通的基于图像的人脸识别、基于视频流的人脸识别以及基于三维点云的人脸识别等等，这些领域的技术方法各有所长，息息相关。目前基于单帧图像的人脸识别系统已经很普遍，比如：现场抓拍一张图片X，经过人脸检测优选最大人脸区域，然后通过人脸关键点进行人脸矫正，再送入特征提取器，得到该图片中最大人脸的抓拍特征码(一般为128 维、512维等)；将上述最大人脸抓拍特征码与人脸资料库(即包括m 张图片[1，2，3，m]，n个ID[1，2，3，n])依次进行余弦相似度矩阵 (维度[1xm])比对，其中人脸资料库包含被对比人的身份信息以及对应的注册特征码，经过依次比对后，最终返回最大人脸抓拍特征码与人脸资料库中余弦相似度最大的身份信息M以及对应得分值S，若该得分值大于预先设定阈值(该阈值为经测试评估特征提取器后，人为设置的)，则最大人脸抓拍图片X被识别为M，否则，拒绝识别；不过，由于实际运用场景复杂，人脸姿态较多，其识别精度受限。且戴口罩出门的人越来越多，因此，戴口罩下的人脸识别成为了备受社会各界关注的话题。
人脸识别的难点很多，例如光照、姿态、化妆、遮挡、模糊等，当然人脸识别精度也严重受到人脸识别底库图片的影响。若没有较好的质量评估模块，可能存在由于底库录入图片被遮挡或者光照较暗沉而造成的识别精度低的问题。特别是针对戴口罩的人脸识别，如由于人脸识别底库中无口罩注册图片，而实际场景抓拍图片为戴口罩，这种情况会在很大程度上造成人脸被拒绝识别的问题，进而导致用户体验差。
发明内容
本申请实施例提供一种口罩人脸识别底库增强方法、装置、设备及可读存储介质，以解决相关技术中由于人脸识别底库中无口罩注册图片而导致的人脸识别精度低、用户体验差的问题。
第一方面，提供了一种口罩人脸识别底库增强方法，包括以下步骤：
分别对已采集的多帧人脸实时流图像进行质量分析，得到质量分析结果；
基于所述质量分析结果对多帧所述人脸实时流图像进行排序，得到最优人脸实时流图像；
对所述最优人脸实时流图像进行口罩贴设处理，得到最优口罩人脸实时流图像；
基于预设的规范对所述最优口罩人脸实时流图像进行入库判断，将符合规范的最优口罩人脸实时流图像导入口罩人脸识别底库中。
一些实施例中，所述分别对已采集的多帧人脸实时流图像进行质量分析，得到质量分析结果，包括：
对每帧人脸实时流图像进行表情质量分析，得到表情置信度；
对每帧人脸实时流图像进行图像模糊质量分析，得到图像模糊置信度；
对每帧人脸实时流图像进行头部姿态质量分析，得到头部姿态置信度；
对每帧人脸实时流图像进行遮挡质量分析，得到遮挡置信度。
一些实施例中，所述基于所述质量分析结果对多帧所述人脸实时流图像进行排序，得到最优人脸实时流图像，包括：
将所述表情置信度、图像模糊置信度、头部姿态置信度和遮挡置信度进行累加，得到置信度累加值；
根据所述置信度累加值对多帧所述人脸实时流图像进行排序，将置信度累加值最大的所述人脸实时流图像作为最优人脸实时流图像。
一些实施例中，所述表情置信度包括正常表情置信度和非正常表情置信度，所述图像模糊置信度包括模糊置信度和非模糊置信度，所述头部姿态置信度包括正脸朝向置信度和非正脸朝向置信度，所述遮挡置信度包括遮挡置信度和非遮挡置信度。
一些实施例中，在所述基于预设的规范对所述最优口罩人脸实时流图像进行入库判断之前，还包括：
对每帧人脸实时流图像进行头部姿态质量分析，得到实际头部姿态欧拉角；
将最优口罩人脸实时流图像的实际头部姿态欧拉角与预设的头部姿态欧拉角进行比较，得到比较结果；
根据所述比较结果判定是否基于预设的规范对所述最优口罩人脸实时流图像进行入库判断。
一些实施例中，所述基于预设的规范对所述最优口罩人脸实时流图像进行入库判断，包括：
对所述最优口罩人脸实时流图像进行关键点检测，得到人脸68个关键点；
基于所述人脸68个关键点对所述最优口罩人脸实时流图像进行人脸区域划分；
从所述人脸区域中提取感兴趣区域，所述感兴趣区域包括口罩边界最上点以上且头发以下的区域；
基于预设的规范对所述最优口罩人脸实时流图像中的感兴趣区域进行入库判断。
一些实施例中，所述预设的规范包括戴无色眼镜和/或未戴眼镜、刘海遮挡程度、睁眼情况。
第二方面，提供了一种口罩人脸识别底库增强装置，包括：
质量分析单元，其用于分别对已采集的多帧人脸实时流图像进行质量分析，得到质量分析结果；
质量排序单元，其用于基于所述质量分析结果对多帧所述人脸实时流图像进行排序，得到最优人脸实时流图像；
口罩贴合单元，其用于对所述最优人脸实时流图像进行口罩贴设处理，得到最优口罩人脸实时流图像；
入库判断单元，其用于基于预设的规范对所述最优口罩人脸实时流图像进行入库判断，将符合规范的最优口罩人脸实时流图像导入口罩人脸识别底库中。
第三方面，提供了计算机设备，包括：存储器和处理器，所述存储器中存储有至少一条指令，所述至少一条指令由所述处理器加载并执行，以实现前述的口罩人脸识别底库增强方法。
第四方面，提供了一种计算机可读存储介质，所述计算机存储介质存储有计算机指令，当所述计算机指令被计算机执行时，使得所述计算机执行前述的口罩人脸识别底库增强方法
本申请提供的技术方案带来的有益效果包括：实现了自动模拟生成高质量的人脸识别底库，增强了人脸识别底库的质量，提高了人脸识别的精度并提升了用户体验。
本申请实施例提供了一种口罩人脸识别底库增强方法、装置、设备及可读存储介质，分别对已采集的多帧人脸实时流图像进行质量分析，得到质量分析结果；基于所述质量分析结果对多帧所述人脸实时流图像进行排序，得到最优人脸实时流图像；对所述最优人脸实时流图像进行口罩贴设处理，即可获得与实际人脸相识度最高的最优口罩人脸实时流图像；基于预设的规范对所述最优口罩人脸实时流图像进行入库判断，将符合规范的最优口罩人脸实时流图像导入口罩人脸识别底库中，实现了自动模拟生成高质量的人脸识别底库，增强了人脸识别底库的质量，进而提高了与人脸识别底库的匹配程度，从而达到提高人脸识别精度的目的。可见，在实际刷脸过程中，可在口罩人脸识别底库中找到与实际人脸相识度最高的口罩人脸实时流图像，进而提高实时视频流人脸与口罩人脸识别底库的匹配度，有效避免了人脸被拒绝识别的问题，从而提高了人脸识别的精度并提升了用户体验。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种口罩人脸识别底库增强方法的流程示意图；
图2为本申请实施例提供的多帧人脸实时流图像经过口罩人脸识别底库增强方法处理后得到的最终效果图；
图3为本申请实施例提供的一种口罩人脸识别底库增强装置的结构示意图；
图4为本申请实施例提供的一种计算机设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请实施例提供了一种口罩人脸识别底库增强方法、装置、设备及可读存储介质，其能解决相关技术中由于人脸识别底库中无口罩注册图片而导致的人脸识别精度低、用户体验差的问题。
图1是本申请实施例提供的一种口罩人脸识别底库增强方法的流程示意图，包括以下步骤：
S1：分别对已采集的多帧人脸实时流图像进行质量分析，得到质量分析结果。
示范性的，在本申请实施例中，基于口罩的人脸识别样本采集工作与普通人脸识别一样，都是基于图像的方式。比如，不同人在不同姿态、光照、表情等差异下利用手机、普通摄像机等进行不同角度自拍，而不同之处之一在于训练样本中包含大部分戴口罩的样本集，最后进行人脸样本图片清洗、整理工作。其中，人脸样本图像预处理包括人脸检测、人脸关键点检测、人脸质量评估等；人脸检测就是将人脸识别样本中的人脸区域检测出来，用于人脸关键点检测；人脸关键点的目的是为了将不同姿态人脸样本进行对齐矫正；人脸质量评估是为了过滤掉低质量的人脸图像，减少误识现象，相对提高识别精度。而在人脸识别底库录入的过程中，主要以离线上传与在线录入两种，离线上传的前提需要指定注册图片的质量、空间大小等，且后期需要人工进行导入；传统的在线录入只采集一张人脸图像，其需要较好的人脸质量评估模块，同时依赖复杂的质量评估算法方可将人脸图像录入底库中，而过于复杂的算法会严重影响硬件设备的推理速度。
而本申请实施例可通过离线或在线采集一段连续时间内的多帧人脸实时流图像，即T1至Tn帧，其中n可以为连续的，也可以为非连续；不过由于离线采集的或实时采集的ID人脸可能是未戴口罩的图像或者是质量较差的戴口罩图像，因此，需要分别对已采集的多帧人脸实时流图像进行质量分析。
具体的，在本申请实施例中，对每帧人脸实时流图像进行表情质量分析，得到表情置信度；对每帧人脸实时流图像进行图像模糊质量分析，得到图像模糊置信度；对每帧人脸实时流图像进行头部姿态质量分析，得到头部姿态置信度；对每帧人脸实时流图像进行遮挡质量分析，得到遮挡置信度。
示范性的，在本申请实施例中，通过4个底库模板质量判断的算法对每帧人脸实时流图像进行质量分析：基于深度学习对每帧人脸实时流图像的人脸表情进行一级判断，通过MobileNet_0.25(即轻量级卷积神经网络)实现表情置信度的输出，MobileNet_0.25可进一步压缩计算量和参数量，能够有效满足移动端设备的部署实现，其中，置信度包括正常表情置信度和非正常表情置信度，且两个置信度相加等于1；基于深度学习对每帧人脸实时流图像的人脸表情进行图像模糊程度的判定，并利用MobileNet_0.25实现图像模糊置信度的输出，该图像模糊置信度包括模糊置信度和非模糊置信度，且两个置信度相加等于1；基于人脸头部姿态估计模型并利用MobileNet_0.25回归的方式预测每帧人脸实时流图像的三个欧拉角：Pitch、Yaw、Roll，并根据上述三个欧拉角计算预测头部姿态且输出头部姿态置信度，该头部姿态置信度包括正脸朝向置信度和非正脸朝向置信度，且两个置信度相加等于1；利用MobileNet_0.25对Tn(输入视频序列中的第n帧)人脸的遮挡程度进行判定，以此确定是否存在物体遮挡(包含口罩、手部遮挡和手持物体遮挡等)，并输出遮挡置信度，该遮挡置信度包括遮挡置信度和非遮挡置信度，且两个置信度相加等于1。
S2：基于所述质量分析结果对多帧所述人脸实时流图像进行排序，得到最优人脸实时流图像。
示范性的，在本申请实施例中，目前市面上常见的监控设备的人脸识别机器(含口罩人脸识别)在实现人脸识别底库人脸数据的获取通常是要求用户自主上传指定要求的人脸数据图像，或者是半交互式的要求用户对着镜头做出相关指定动作来实现数据采集，这种方法虽然可以实现人脸数据图像的采集，但是会降低用户的智能体验感；且由于设备对某个人进行一段时间内的人脸视频流采集时，该人脸视频流中会存在多帧人脸实时流图像，而不同帧的人脸实时流图像存在质量差异，以致在模拟帖口罩时无法控制口罩人脸底库的质量，从而影响口罩人脸识别时的精度，因此可以通过对多帧人脸实时流图像进行排序，得到质量最优的人脸实时流图像。
具体的，在本申请实施例中，将所述表情置信度、图像模糊置信度、头部姿态置信度和遮挡置信度进行累加，得到置信度累加值；根据所述置信度累加值对多帧所述人脸实时流图像进行排序，将置信度累加值最大的所述人脸实时流图像作为最优人脸实时流图像。
示范性的，在本申请实施例中，对每帧人脸实时流图像进行置信度累加处理，即将其正常表情置信度、非模糊置信度、正脸朝向置信度和非遮挡置信度进行累加，得到置信度累加值，然后根据每帧人脸实时流图像的置信度累加值的大小进行排序，得到排序后的多帧人脸实时流图像集合，并将置信度累加值最大的该帧人脸实时流图像排在该集合中的第一位，作为最优人脸实时流图像；也可将其非正常表情置信度、模糊置信度、非正脸朝向置信度和遮挡置信度进行累加，得到置信度累加值，然后根据每帧人脸实时流图像的置信度累加值的大小进行排序，得到排序后的多帧人脸实时流图像集合，并将置信度累加值最小的该帧人脸实时流图像排在该集合中的第一位，作为最优人脸实时流图像。
S3：对所述最优人脸实时流图像进行口罩贴设处理，得到最优口罩人脸实时流图像。
示范性的，在本申请实施例中，利用深度学习的人脸关键点模型确定出最优人脸实时流图像中人脸的68个关键点，再根据该68个关键点确定需要进行口罩贴合的人脸区域，并将口罩贴设至该人脸区域中，进而得到最优的口罩人脸图像数据。
S4：基于预设的规范对所述最优口罩人脸实时流图像进行入库判断，将符合规范的最优口罩人脸实时流图像导入口罩人脸识别底库中。
示范性的，在本申请实施例中，在离线或者是现场录制人脸图像构建口罩人脸识别底库的过程中，筛选出的最优口罩人脸实时流图像可能存在闭眼、刘海遮挡、人脸角度不符合以及口罩贴合遮挡比较严重等情况，因此，可对贴合后的口罩人脸取ROI(RegionOfInterest，感兴趣区域)进一步进行精细分析，得到T1至TN帧内最优的口罩人脸实时流图像并提取人脸底库特征，从而构建人脸底库特征数据库，然后提取增强后的最优口罩人脸实时流图像的人脸特征码和记录当前口罩人脸信息，通过该人脸特征码可实现人脸高精度识别。
具体的，在本申请实施例中，对所述最优口罩人脸实时流图像进行关键点检测，得到人脸68个关键点；基于所述人脸68个关键点对所述最优口罩人脸实时流图像进行人脸区域划分；从所述人脸区域中提取感兴趣区域(ROI)，所述感兴趣区域包括口罩边界最上点以上且头发以下的区域；基于预设的规范对所述最优口罩人脸实时流图像中的感兴趣区域进行入库判断。其中，所述预设的规范包括戴无色眼镜和/或未戴眼镜、刘海遮挡程度、睁眼情况。
示范性的，在本申请实施例中，将最优口罩人脸实时流图像的实际头部姿态欧拉角与预设的头部姿态欧拉角进行比较，得到比较结果；根据所述比较结果判定是否基于预设的规范对所述最优口罩人脸实时流图像进行入库判断，即若比较结果为实际头部姿态欧拉角与预设的头部姿态欧拉角不相等或差值不在预设的阈值范围内，则说明该最优口罩人脸实时流图像中的人脸处于非正脸状态，此时需将该最优口罩人脸实时流图像剔除，返回步骤S2中，从多帧人脸实时流图像集合中提取排名第二的人脸实时流图像作为新的最优人脸实时流图像，并继续进行步骤S3和步骤S4的处理分析，从而达到将转头和低头等不规范的人脸图像排除的目的；而若比较结果为实际头部姿态欧拉角与预设的头部姿态欧拉角相等或差值在预设的阈值范围内，则说明该最优口罩人脸实时流图像中的人脸处于正脸状态，此时，获取该最优口罩人脸实时流图像中的ROI，并对该ROI进行是否符合预设规范的判断；
具体的：将ROI作为输入，利用戴眼镜模型判断ROI中是否佩戴眼镜以及该眼镜的类型，若戴眼镜且为无色眼镜或未戴眼镜，则说明符合当前数据库场景阈值，继续进行遮挡等级的判断，而若戴眼镜且为有色眼镜，则说明不符合当前数据库场景阈值，此时，需将该最优口罩人脸实时流图像剔除，返回步骤S2中，从多帧人脸实时流图像集合中提取排名第二的人脸实时流图像作为新的最优人脸实时流图像，并继续进行步骤S3和步骤S4的处理分析；同理，利用刘海遮挡程度模型判断ROI中刘海的遮挡等级，若遮挡等级符合当前数据库场景的遮挡等级阈值，则继续进行闭眼情况的判断，否则需将该最优口罩人脸实时流图像剔除，返回步骤S2中，从多帧人脸实时流图像集合中提取排名第二的人脸实时流图像作为新的最优人脸实时流图像，并继续进行步骤S3和步骤S4的处理分析；同理，利用睁闭眼模型和眼睛部分的关键点判定ROI中是否处于睁眼状态，若处于闭眼状态，则需将该最优口罩人脸实时流图像剔除，返回步骤S2中，从多帧人脸实时流图像集合中提取排名第二的人脸实时流图像作为新的最优人脸实时流图像，并继续进行步骤S3和步骤S4的处理分析，而若处于睁眼状态，则说明符合当前数据库场景阈值，即该最优口罩人脸实时流图像符合所有规范要求，因此，将该最优口罩人脸实时流图像导入口罩人脸识别底库，并继续从多帧人脸实时流图像集合中提取排名第二的人脸实时流图像作为新的最优人脸实时流图像，并继续进行步骤S3和步骤S4 的处理分析，直至将多帧人脸实时流图像集合中所有符合规范的人脸实时流图像完成口罩贴合并导入口罩人脸识别底库，生成最终的口罩人脸识别底库。因此，参见图2所示，该口罩人脸识别底库包含了不同人的不同状态下的一组和多组高质量口罩人脸图像。
由此可见，本申请实施例实现了自动模拟生成高质量的人脸识别底库，增强了人脸识别底库的质量，进而提高了人脸识别底库的匹配程度，从而达到提高人脸识别精度的目的，其在实际刷脸过程中，利用非交互式的方式实现了人脸识别底库数据的采集，无需用户上传指定要求的人脸数据图像，或者是半交互式地对着镜头做出相关指定动作，只需正常面对着镜头，即可在口罩人脸识别底库中找到与实际人脸相识度最高的口罩人脸实时流图像，进而提高实时视频流人脸与口罩人脸识别底库的匹配度，有效避免了人脸被拒绝识别的问题，从而提高了人脸识别的精度并提升了用户体验。此外，基于深度学习技术的人脸识别算法在建模过程中需要大量的人脸数据库，目前大多数开源人脸数据库都没有戴口罩人脸底库，例如：FERET(Face Recognition Technology，人脸识别技术)、MS-Celeb1M-v1c(脸部辨识数据库) 等。针对当下的刷脸环境，可以利用本申请实施例去实现对开源数据每ID下的人脸生成一组和多组口罩人脸图像，用来模拟训练和测试数据库建模，即创建口罩人脸识别模型和非口罩人脸识别模型，以提升系统的正确人脸识别率。
参见图3所示，本申请实施例还提供了一种口罩人脸识别底库增强装置，其包括：
质量分析单元，其用于分别对已采集的多帧人脸实时流图像进行质量分析，得到质量分析结果；
质量排序单元，其用于基于所述质量分析结果对多帧所述人脸实时流图像进行排序，得到最优人脸实时流图像；
口罩贴合单元，其用于对所述最优人脸实时流图像进行口罩贴设处理，得到最优口罩人脸实时流图像；
入库判断单元，其用于基于预设的规范对所述最优口罩人脸实时流图像进行入库判断，将符合规范的最优口罩人脸实时流图像导入口罩人脸识别底库中。
更进一步的，在本申请实施例中，质量分析单元具体用于：对每帧人脸实时流图像进行表情质量分析，得到表情置信度；对每帧人脸实时流图像进行图像模糊质量分析，得到图像模糊置信度；对每帧人脸实时流图像进行头部姿态质量分析，得到头部姿态置信度；对每帧人脸实时流图像进行遮挡质量分析，得到遮挡置信度。
更进一步的，在本申请实施例中，质量排序单元具体用于：将所述表情置信度、图像模糊置信度、头部姿态置信度和遮挡置信度进行累加，得到置信度累加值；根据所述置信度累加值对多帧所述人脸实时流图像进行排序，将置信度累加值最大的所述人脸实时流图像作为最优人脸实时流图像。
其中，所述表情置信度包括正常表情置信度和非正常表情置信度，所述图像模糊置信度包括模糊置信度和非模糊置信度，所述头部姿态置信度包括正脸朝向置信度和非正脸朝向置信度，所述遮挡置信度包括遮挡置信度和非遮挡置信度。
更进一步的，在本申请实施例中，口罩人脸识别底库增强装置还用于：对每帧人脸实时流图像进行头部姿态质量分析，得到实际头部姿态欧拉角；将最优口罩人脸实时流图像的实际头部姿态欧拉角与预设的头部姿态欧拉角进行比较，得到比较结果；根据所述比较结果判定是否基于预设的规范对所述最优口罩人脸实时流图像进行入库判断。
更进一步的，在本申请实施例中，入库判断单元具体用于：对所述最优口罩人脸实时流图像进行关键点检测，得到人脸68个关键点；基于所述人脸68个关键点对所述最优口罩人脸实时流图像进行人脸区域划分；从所述人脸区域中提取感兴趣区域，所述感兴趣区域包括口罩边界最上点以上且头发以下的区域；基于预设的规范对所述最优口罩人脸实时流图像中的感兴趣区域进行入库判断。
其中，所述预设的规范包括戴无色眼镜和/或未戴眼镜、刘海遮挡程度、睁眼情况。
需要说明的是，所属本领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的装置和各单元的具体工作过程，可以参考前述口罩人脸识别底库增强方法实施例中的对应过程，在此不再赘述。
上述实施例提供的装置可以实现为一种计算机程序的形式，该计算机程序可以在如图4所示的计算机设备上运行。
本申请实施例还提供了一种计算机设备，包括：通过系统总线连接的存储器、处理器和网络接口，存储器中存储有至少一条指令，至少一条指令由处理器加载并执行，以实现前述的口罩人脸识别底库增强方法的全部步骤或部分步骤。
其中，网络接口用于进行网络通信，如发送分配的任务等。本领域技术人员可以理解，图4中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
处理器可以是CPU，还可以是其他通用处理器、数字信号处理器 (Digital SignalProcessor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(FieldProgrammable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件分立硬件组件等。通用处理器可以是微处理器，或者该处理器也可以是任何常规的处理器等，处理器是计算机装置的控制中心，利用各种接口和线路连接整个计算机装置的各个部分。
存储器可用于存储计算机程序和/或模块，处理器通过运行或执行存储在存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现计算机装置的各种功能。存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如视频播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如视频数据、图像数据等)等。此外，存储器可以包括高速随存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(SmartMediacard，SMC)，安全数字(Secure digital，SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件或其他易失性固态存储器件。
本申请施例还提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现前述的口罩人脸识别底库增强方法的全部步骤或部分步骤。
本申请实施例实现前述的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法的步骤。其中，计算机程序包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质可以包括：能够携带计算机程序代码的仼何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器 (Read-Only memory，ROM)、随机存取存储器(Random Accessmemory， RAM)、电载波信号、电信信号以及软件分发介质等。需要说明的是，计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、服务器或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
以上所述仅是本申请的具体实施方式，使本领域技术人员能够理解或实现本申请。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种口罩人脸识别底库增强方法，其特征在于，包括以下步骤：
分别对已采集的多帧人脸实时流图像进行质量分析，得到质量分析结果；
基于所述质量分析结果对多帧所述人脸实时流图像进行排序，得到最优人脸实时流图像；
对所述最优人脸实时流图像进行口罩贴设处理，得到最优口罩人脸实时流图像；
基于预设的规范对所述最优口罩人脸实时流图像进行入库判断，将符合规范的最优口罩人脸实时流图像导入口罩人脸识别底库中。
2.如权利要求1所述的一种口罩人脸识别底库增强方法，其特征在于，所述分别对已采集的多帧人脸实时流图像进行质量分析，得到质量分析结果，包括：
对每帧人脸实时流图像进行表情质量分析，得到表情置信度；
对每帧人脸实时流图像进行图像模糊质量分析，得到图像模糊置信度；
对每帧人脸实时流图像进行头部姿态质量分析，得到头部姿态置信度；
对每帧人脸实时流图像进行遮挡质量分析，得到遮挡置信度。
3.如权利要求2所述的一种口罩人脸识别底库增强方法，其特征在于，所述基于所述质量分析结果对多帧所述人脸实时流图像进行排序，得到最优人脸实时流图像，包括：
将所述表情置信度、图像模糊置信度、头部姿态置信度和遮挡置信度进行累加，得到置信度累加值；
根据所述置信度累加值对多帧所述人脸实时流图像进行排序，将置信度累加值最大的所述人脸实时流图像作为最优人脸实时流图像。
4.如权利要求2所述的一种口罩人脸识别底库增强方法，其特征在于：所述表情置信度包括正常表情置信度和非正常表情置信度，所述图像模糊置信度包括模糊置信度和非模糊置信度，所述头部姿态置信度包括正脸朝向置信度和非正脸朝向置信度，所述遮挡置信度包括遮挡置信度和非遮挡置信度。
5.如权利要求2所述的一种口罩人脸识别底库增强方法，其特征在于，在所述基于预设的规范对所述最优口罩人脸实时流图像进行入库判断之前，还包括：
对每帧人脸实时流图像进行头部姿态质量分析，得到实际头部姿态欧拉角；
将最优口罩人脸实时流图像的实际头部姿态欧拉角与预设的头部姿态欧拉角进行比较，得到比较结果；
根据所述比较结果判定是否基于预设的规范对所述最优口罩人脸实时流图像进行入库判断。
6.如权利要求1所述的一种口罩人脸识别底库增强方法，其特征在于，所述基于预设的规范对所述最优口罩人脸实时流图像进行入库判断，包括：
对所述最优口罩人脸实时流图像进行关键点检测，得到人脸68个关键点；
基于所述人脸68个关键点对所述最优口罩人脸实时流图像进行人脸区域划分；
从所述人脸区域中提取感兴趣区域，所述感兴趣区域包括口罩边界最上点以上且头发以下的区域；
基于预设的规范对所述最优口罩人脸实时流图像中的感兴趣区域进行入库判断。
7.如权利要求6所述的一种口罩人脸识别底库增强方法，其特征在于：所述预设的规范包括戴无色眼镜和/或未戴眼镜、刘海遮挡程度、睁眼情况。
8.一种口罩人脸识别底库增强装置，其特征在于，包括：
质量分析单元，其用于分别对已采集的多帧人脸实时流图像进行质量分析，得到质量分析结果；
质量排序单元，其用于基于所述质量分析结果对多帧所述人脸实时流图像进行排序，得到最优人脸实时流图像；
口罩贴合单元，其用于对所述最优人脸实时流图像进行口罩贴设处理，得到最优口罩人脸实时流图像；
入库判断单元，其用于基于预设的规范对所述最优口罩人脸实时流图像进行入库判断，将符合规范的最优口罩人脸实时流图像导入口罩人脸识别底库中。
9.一种计算机设备，其特征在于，包括：存储器和处理器，所述存储器中存储有至少一条指令，所述至少一条指令由所述处理器加载并执行，以实现权利要求1至7中任一项所述的口罩人脸识别底库增强方法。
10.一种计算机可读存储介质，其特征在于：所述计算机存储介质存储有计算机指令，当所述计算机指令被计算机执行时，使得所述计算机执行权利要求1至7中任一项所述的口罩人脸识别底库增强方法。
CN202110541289.8A 2021-05-18 2021-05-18 口罩人脸识别底库增强方法、装置、设备及可读存储介质 Pending CN113435248A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110541289.8A CN113435248A (zh) 2021-05-18 2021-05-18 口罩人脸识别底库增强方法、装置、设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110541289.8A CN113435248A (zh) 2021-05-18 2021-05-18 口罩人脸识别底库增强方法、装置、设备及可读存储介质

Publications (1)

Publication Number Publication Date
CN113435248A true CN113435248A (zh) 2021-09-24

Family

ID=77803317

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110541289.8A Pending CN113435248A (zh) 2021-05-18 2021-05-18 口罩人脸识别底库增强方法、装置、设备及可读存储介质

Country Status (1)

Country Link
CN (1) CN113435248A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115205951A (zh) * 2022-09-16 2022-10-18 深圳天海宸光科技有限公司 一种戴口罩人脸关键点数据生成方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108875471A (zh) * 2017-06-19 2018-11-23 北京旷视科技有限公司 人脸图像底库注册的方法、装置及计算机存储介质
CN108921023A (zh) * 2018-05-31 2018-11-30 上海依图网络科技有限公司 一种确定低质量人像数据的方法及装置
CN108960087A (zh) * 2018-06-20 2018-12-07 中国科学院重庆绿色智能技术研究院 一种基于多维度评估标准的人脸图像质量评估方法及系统
CN109102491A (zh) * 2018-06-28 2018-12-28 武汉大学人民医院（湖北省人民医院） 一种胃镜图像自动采集系统及方法
CN109657612A (zh) * 2018-12-19 2019-04-19 苏州纳智天地智能科技有限公司 一种基于人脸图像特征的质量排序系统及其使用方法
CN110175549A (zh) * 2019-05-20 2019-08-27 腾讯科技（深圳）有限公司 人脸图像处理方法、装置、设备及存储介质
CN110619628A (zh) * 2019-09-09 2019-12-27 博云视觉（北京）科技有限公司 一种人脸图像质量评估方法
CN111401324A (zh) * 2020-04-20 2020-07-10 Oppo广东移动通信有限公司 图像质量评估方法、装置、存储介质及电子设备
CN111723755A (zh) * 2020-07-19 2020-09-29 南京甄视智能科技有限公司 人脸识别底库的优化方法与系统
CN112507963A (zh) * 2020-12-22 2021-03-16 华南理工大学 一种批量口罩人脸样本自动生成以及口罩人脸识别方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108875471A (zh) * 2017-06-19 2018-11-23 北京旷视科技有限公司 人脸图像底库注册的方法、装置及计算机存储介质
CN108921023A (zh) * 2018-05-31 2018-11-30 上海依图网络科技有限公司 一种确定低质量人像数据的方法及装置
CN108960087A (zh) * 2018-06-20 2018-12-07 中国科学院重庆绿色智能技术研究院 一种基于多维度评估标准的人脸图像质量评估方法及系统
CN109102491A (zh) * 2018-06-28 2018-12-28 武汉大学人民医院（湖北省人民医院） 一种胃镜图像自动采集系统及方法
CN109657612A (zh) * 2018-12-19 2019-04-19 苏州纳智天地智能科技有限公司 一种基于人脸图像特征的质量排序系统及其使用方法
CN110175549A (zh) * 2019-05-20 2019-08-27 腾讯科技（深圳）有限公司 人脸图像处理方法、装置、设备及存储介质
CN110619628A (zh) * 2019-09-09 2019-12-27 博云视觉（北京）科技有限公司 一种人脸图像质量评估方法
CN111401324A (zh) * 2020-04-20 2020-07-10 Oppo广东移动通信有限公司 图像质量评估方法、装置、存储介质及电子设备
CN111723755A (zh) * 2020-07-19 2020-09-29 南京甄视智能科技有限公司 人脸识别底库的优化方法与系统
CN112507963A (zh) * 2020-12-22 2021-03-16 华南理工大学 一种批量口罩人脸样本自动生成以及口罩人脸识别方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115205951A (zh) * 2022-09-16 2022-10-18 深圳天海宸光科技有限公司 一种戴口罩人脸关键点数据生成方法

Similar Documents

Publication Publication Date Title
CN109522815B (zh) 一种专注度评估方法、装置及电子设备
Yuan et al. Fingerprint liveness detection using an improved CNN with image scale equalization
CN109871780B (zh) 一种人脸质量判决方法、系统及人脸识别方法、系统
CN107944427B (zh) 动态人脸识别方法及计算机可读存储介质
CN110516623B (zh) 一种人脸识别方法、装置及电子设备
CN109508663A (zh) 一种基于多层次监督网络的行人重识别方法
CN110889334A (zh) 人员闯入识别方法及装置
CN110059634B (zh) 一种大场景人脸抓拍方法
CN110136144B (zh) 一种图像分割方法、装置及终端设备
CN109685045A (zh) 一种运动目标视频跟踪方法及系统
CN112633221B (zh) 一种人脸方向的检测方法及相关装置
CN105956570B (zh) 基于唇部特征和深度学习的笑脸识别方法
CN109543629B (zh) 一种眨眼识别方法、装置、设备及可读存储介质
CN111291612A (zh) 一种基于多人多摄像头跟踪的行人重识别方法及装置
CN117392404B (zh) 一种提高图像检测速度的方法及系统
CN115830002A (zh) 一种红外图像质量评价方法及装置
CN112907206B (zh) 一种基于视频对象识别的业务审核方法、装置及设备
CN111860057A (zh) 人脸图像模糊和活体检测方法、装置、存储介质及设备
CN113435248A (zh) 口罩人脸识别底库增强方法、装置、设备及可读存储介质
CN113516003A (zh) 一种应用于智慧安防的基于识别模型的识别方法及装置
CN117058568A (zh) 人脸图像选择方法和装置、电子设备
CN112906679B (zh) 基于人形语义分割的行人重识别方法、系统及相关设备
CN114926887A (zh) 人脸识别方法、装置及终端设备
CN110751034B (zh) 行人行为识别方法及终端设备
CN113297423A (zh) 一种推送方法、推送装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210924