CN111881775B - 一种人脸实时识别方法和装置 - Google Patents

一种人脸实时识别方法和装置 Download PDF

Info

Publication number
CN111881775B
CN111881775B CN202010644358.3A CN202010644358A CN111881775B CN 111881775 B CN111881775 B CN 111881775B CN 202010644358 A CN202010644358 A CN 202010644358A CN 111881775 B CN111881775 B CN 111881775B
Authority
CN
China
Prior art keywords
face
picture
detected
quality evaluation
face recognition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010644358.3A
Other languages
English (en)
Other versions
CN111881775A (zh
Inventor
聂建平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fiberhome Telecommunication Technologies Co Ltd
Original Assignee
Fiberhome Telecommunication Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fiberhome Telecommunication Technologies Co Ltd filed Critical Fiberhome Telecommunication Technologies Co Ltd
Priority to CN202010644358.3A priority Critical patent/CN111881775B/zh
Publication of CN111881775A publication Critical patent/CN111881775A/zh
Application granted granted Critical
Publication of CN111881775B publication Critical patent/CN111881775B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种人脸实时识别方法，包括：将原始数据集基于FaceQnet人脸质量评估模型评估后得到人脸数据训练集；利用所述训练人脸数据，训练优化后的yolov3‑tiny网络模型，得到经过训练的优化yolov3‑tiny网络模型；利用所述经过训练的优化yolov3‑tiny网络模型对待检测图片进行检测，得到每个待检测图片的人脸类别置信度和人脸质量评估分数；利用所述待检测图片的人脸类别置信度和人脸质量评估分数判断是否对所述待检测图片进行人脸识别处理。本发明技术方案将FaceQnet与yolov3‑tiny两个模型结合成一个模型，减少AI芯片计算量，从而进一步提高人脸识别的实时性。本发明还提供了相应的人脸实时识别装置。

Description

一种人脸实时识别方法和装置
技术领域
本发明属于图像识别技术领域，更具体地，涉及一种人脸实时识别方法和装置。
背景技术
嵌入式人脸识别是在嵌入式终端利用边缘AI芯片加速引擎完成人脸算法的大量计算计算任务，最终完成人脸识别的过程。嵌入式人脸识别具有体量小、成本低、易部署、便于分布式计算的优点。
而目前，针对嵌入式端低算力AI芯片，嵌入式端为降低人脸算法的计算量，缩短计算时间，常规做法一：对模型进行剪枝，压缩，量化等降低模型体积，但同时会导致精度相应降低。常规做法二：减少人脸识别的非必要环节，比如人脸跟踪和人脸质量评估。尤其人脸质量评估的删除会对深度较大的人脸识别网络模型实时性影响较大。
发明内容
本发明的目的是为了克服现有技术的不足，提供一种人脸实时识别方案，在低算力嵌入式端深度较大的人脸识别的网络模型情形下，基于FaceQnet与yolov3-tiny相结合方法获取人脸质量评估分数。这样能减少模型大小，降低计算量。同时FaceQnet评估人脸质量分值具备人脸类别置信度评价属性，使得两者结合具有增强人脸检测yolov3-tiny模型人脸检测精度能力，提升人脸检测位置画框的精度。人脸质量评估通过人脸质量分数判断是否直接送入人脸识别环节；增强人脸检测yolov3-tiny模型精度的具体实现通过人脸检测中的人脸质量评分字段分值大小进一步评判候选框人脸真实度，从而来提高人脸检测的准确率。从而达到提高人脸识别实时性和精度要求，并且使得人脸位置画框准确率提升。特别适合嵌入式计算环境。
为实现上述目的，按照本发明的一个方面，提供了一种人脸实时识别方法，包括：
将原始数据集基于FaceQnet人脸质量评估模型评估后得到人脸数据训练集；
利用所述训练人脸数据，训练优化后的yolov3-tiny网络模型，得到经过训练的优化yolov3-tiny网络模型；
利用所述经过训练的优化yolov3-tiny网络模型对待检测图片进行检测，得到每个待检测图片的人脸类别置信度和人脸质量评估分数；
利用所述待检测图片的人脸类别置信度和人脸质量评估分数判断是否对所述待检测图片进行人脸识别处理。
本发明的一个实施例中，所述将原始数据集基于FaceQnet人脸质量评估模型评估后得到人脸数据训练集，包括：
将原始数据集通过FaceQnet人脸质量评估模型，计算出原始数据集中所选取的人脸图片的人脸质量评估分数，并作为所选取的人脸图片的训练标签，生成人脸数据训练集。
本发明的一个实施例中，所述优化后的yolov3-tiny网络模型的每个候选框预测以下信息：(1)人脸框的坐标位置，(2)目标预测可信度，(3)人脸质量评估分数，(4)人脸类别置信度。
本发明的一个实施例中，利用所述训练人脸数据，训练优化后的yolov3-tiny网络模型，得到经过训练的优化yolov3-tiny网络模型，包括：
利用所述人脸数据训练集，对所述优化后的yolov3-tiny网络模型进行训练，得到经过训练的优化yolov3-tiny网络模型；其中，在训练的损失函数中增加人脸质量评估分数项用于网络模型参数的拟合。
本发明的一个实施例中，利用所述待检测图片的人脸类别置信度和人脸质量评估分数对所述待检测图片判断是否进行人脸识别处理，包括：
在人脸类别置信度的基础上结合人脸质量评估分数进一步判断人脸真实度及人脸质量，对非人脸、低质量人脸和高质量人脸图片采用不同的人脸识别处理策略。
本发明的一个实施例中，所述在人脸类别置信度的基础上结合人脸质量评估分数进一步判断人脸真实度及人脸质量，对非人脸图片采用的人脸识别处理策略具体为：
在所述待检测图片的人脸类别置信度高于预设人脸类别置信度阈值且人脸质量评估分数大于第一人脸质量评估分数阈值时，认为是人脸并进行人脸识别处理，否则认为是非人脸，丢弃所述待检测图片不进行人脸识别处理。
本发明的一个实施例中，对低质量人脸和高质量人脸图片采用不同的人脸识别处理策略，具体为：
当待检测图片的实时帧率大于预设帧率时，判断待检测图片的人脸质量评估分数是否大于第二人脸质量评估分数阈值；
如果是则认为该待检测图片为高质量人脸图片，进行人脸识别处理；
如果否则认为该待检测图片为低质量人脸图片，丢弃该待检测图片，不进行人脸识别处理；
其中所述第一人脸质量评估分数阈值小于第二人脸质量评估分数阈值。
按照本发明的另一方面，还提供了一种人脸实时识别装置，包括人脸数据训练集构造模块、优化yolov3-tiny网络模型训练模块、待检测图片检测模块和人脸识别处理模块，其中：
所述人脸数据训练集构造模块，用于将原始数据集基于FaceQnet人脸质量评估模型评估后得到人脸数据训练集；
所述优化yolov3-tiny网络模型训练模块，用于利用所述训练人脸数据，训练优化后的yolov3-tiny网络模型，得到经过训练的优化yolov3-tiny网络模型；
所述待检测图片检测模块，用于利用所述经过训练的优化yolov3-tiny网络模型对待检测图片进行检测，得到每个待检测图片的人脸类别置信度和人脸质量评估分数；
所述人脸识别处理模块，用于利用所述待检测图片的人脸类别置信度和人脸质量评估分数判断是否对所述待检测图片进行人脸识别处理。
本发明的一个实施例中，所述人脸识别处理模块中包含第一人脸识别处理单元，其中：
所述第一人脸识别处理单元，用于判断是否所述待检测图片的人脸类别置信度高于预设人脸类别置信度阈值且人脸质量评估分数大于第一人脸质量评估分数阈值，如果是则认为是人脸并进行人脸识别处理，如果否则认为是非人脸，丢弃所述待检测图片不进行人脸识别处理。
本发明的一个实施例中，所述人脸识别处理模块中包含第二人脸识别处理单元，其中：
所述第二人脸识别处理单元，用于在待检测图片的实时帧率大于预设帧率时，判断待检测图片的人脸质量评估分数是否大于第二人脸质量评估分数阈值，如果是则认为该待检测图片为高质量人脸图片，进行人脸识别处理，如果否则认为该待检测图片为低质量人脸图片，丢弃该待检测图片，不进行人脸识别处理。
总体而言，通过本发明所构思的以上技术方案与现有技术相比，具有如下有益效果：
(1)本发明技术方案将FaceQnet与yolov3-tiny两个模型结合成一个模型，减少AI芯片计算量，从而进一步提高人脸识别的实时性；
(2)本发明技术方案基于FaceQnet人脸质量评估打标签优势明显，与人脸检测yolov3-tiny结合不仅能提高人脸质量评估的精度，同时能提高人脸检测精度。非人脸在人脸检测处理中直接丢弃；
(3)本发明技术方案可以动态实时获取视频采集的帧率和人脸质量分数判断是否丢弃质量低的人脸帧，避免后续人脸识别失败。此方法提升人脸识别速度；
(4)本发明技术方案对于提高基于嵌入式人脸识别实时性有显著作用。从而达到对嵌入式设备人脸识别实时性优化改进的作用。
附图说明
图1本发明实施例中人脸实时识别模型的框图；
图2本发明实施例中人脸实时识别方法的流程图；
图3本发明实施例中一种人脸实时识别方法的流程图；
图4本发明实施例中一种非人脸质量评估分数；
图5为本发明实施例中一种人脸实时识别装置的结构示意图；
图6为本发明实施例中另一种人脸实时识别装置的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
实施例1
FaceQnet是基于人脸识别的人脸质量评估模型，相对当前单一针对人脸角度，模糊度和光照条件判断或单一质量特征的深度学习具有更强的鲁棒性。非人脸和低质量人脸评估分数相对低，且人脸质量评估的精确度相比其它人脸质量评估方法和算法模型的精确度高。FaceQnet是通过ISO/ICAO产生最高分人脸图片作为ground truth后，以最高分人脸图片作为基准，通过Facenet人脸比对相似度打分作为标签训练出来的人脸质量评估模型。该模型最大优势基于人脸识别训练出的人脸质量评估模型，评估出来高质量人脸更适合做人脸识别，能提高人脸识别精度。
人脸检测模型yolov3-tiny骨干网络基于darknet19，属于轻量级网络模型，适用于运行在低算力的嵌入式设备。yolov3-tiny基于darknet构建神经网络算法，常基于darknet深度学习框架进行人脸检测的大数据训练。widerface是基于不同角度、不同模糊度、不同光照、以及遮挡程度不同的多场景的开源多人脸检测数据集。widerface数据集不仅适合于人脸检测，同时适合于人脸质量评估。vggface2基于人脸识别的多姿态数据集，标注人脸坐标后可作为人脸检测训练数据集。wilderface数据集多人脸图片分割出每张人脸图片和vggface2单人脸图片分别输入到FaceQnet获取分数值作为人脸检测数据集中的新增标签内容。
人脸质量评估模型FaceQnet与人脸检测模型yolov3-tiny结合成一个新的模型既可以降低模型大小，减少AI芯片计算时间，同时可以通过输出人脸质量评估分数进一步判断是否人脸，降低yolov3-tiny对非人脸误检的概率，以上两点优化对人脸识别实时性有较大改进作用。
因此，通过人脸质量评估FaceQnet模型与人脸检测yolov3-tiny模型结合可以对嵌入式人脸识别实时性可以起到改进作用。本发明提供了一种基于嵌入式人脸识别实时性改进的方案，如图1所示，为本发明实施例中人脸实时识别模型框图。首先基于FaceQnet人脸质量评估模型评估得到训练集，然后基于训练集对优化yolov3-tiny网络模型进行训练训练，从而间接地将FaceQnet与yolov3-tiny两个模型结合成一个模型，再利用优化yolov3-tiny网络模型对待检测图片进行人脸检测以及人脸质量评估，最后根据人脸检测以及人脸质量评估进一步进行人脸实时训练。本方案可以减少嵌入式AI芯片计算量，从而提高人脸识别的实时性。
实施例2
如图2所示，本发明实施例提供一种人脸实时识别方法，包括：
S1、将原始数据集基于FaceQnet人脸质量评估模型评估后得到人脸数据训练集；
具体地，为了增大数据集的数据量及数据广泛代表性，将widerface和vggface2数据集合并起来作为原始数据集通过FaceQnet人脸质量评估模型，计算出widerface和vggface2数据集中所选取的人脸图片的人脸质量评估分数FaceQualityScore，并作为所选取的人脸图片的训练标签，生成人脸数据训练集。本发明中人脸数据集不局限widerface和vggface2，其它人脸检测数据集或者根据实际使用场景采集打标签后数据均可以使用。
使得基于FaceQnet人脸质量评估模型获取的人脸质量评估分数FaceQualityScore在人脸质量评估的同时具备人脸类别置信度属性。
widerface和vggface2数据集通过FaceQnet人脸质量评估模型计算出所选取人脸图片的人脸质量评估分数。
将widerface和vggface2数据集合并起来的原始数据集分为训练和验证集，将人脸质量评估分数写入人脸训练和验证数据标签内。以上基于python脚本即可完成。
S2、利用所述训练人脸数据，训练优化后的yolov3-tiny网络模型，得到经过训练的优化yolov3-tiny网络模型；
优化后的yolov3-tiny网络模型的每个候选框预测以下信息：(1)人脸框的坐标位置(中心坐标(x,y)，高宽(w,h))，(2)目标预测可信度，(3)人脸质量评估分数FaceQualityScore(4)人脸类别置信度。
通常根据人脸框的坐标位置获得可能存在人脸的框，计算人脸框内的对象为人脸的目标预测可信度，再以目标预测可信度结合人脸质量评估分数和人脸类别置信度进行进一步的人脸判断和识别。
本发明实施例中，优化yolov3-tiny网络模型的训练基于darknet框架。Yolov3-tiny骨干网络基于darknet19，原理起源于darknet训练学习框架。所以训练时选择业界常规两者也是绑定在一起。
并且在训练的损失函数中增加人脸质量评估分数FaceQualityScore项用于网络模型参数的拟合。
训练出的优化yolov3-tiny网络模型在嵌入式AI芯片计算后可以得到每个候选框的预测信息。
S3、利用所述经过训练的优化yolov3-tiny网络模型对待检测图片进行检测，得到每个待检测图片的人脸类别置信度和人脸质量评估分数；
S4、利用所述待检测图片的人脸类别置信度和人脸质量评估分数判断是否对所述待检测图片进行人脸识别处理。
具体地，可以在人脸类别置信度的基础上通过人脸质量评估分数FaceQualityScore过滤掉低质量人脸。在人脸类别置信度的基础上通过人脸质量评估分数FaceQualityScore的值进一步判断人脸真实度，提升人脸检测精度，可应用于低算力需要提升人脸检测精度场景。通过人脸质量评估分数过滤掉低质量人脸，在不大幅增加AI芯片计算量情况下提升人脸识别的实时性。
例如：在人脸类别置信度高于预设阈值而人脸质量评估分数FaceQualityScore小于预设人脸质量评估分数阈值时，认为是非人脸，不进行人脸识别处理；
或者，进一步地，当待检测视频的图像帧率大于预设帧率时(例如可通过/proc/umap/vi实时查看设备的动态采集帧率)，丢弃低质量人脸图像帧不进行人脸识别处理；当待检测视频的图像帧率小于预设帧率时，将所有人脸图像帧进行人脸识别处理；其中，低质量人脸图像帧是指人脸质量评估分数FaceQualityScore小于预设人脸质量评估分数阈值的人脸图像帧。。
实施例3
如图3所示，本发明实施例提供了一种人脸实时识别方法，在人脸类别置信度高于预设阈值而FaceQualityScore小于预设人脸质量评估分数阈值时认为非人脸在人脸检测环节直接丢弃。
例如本发明实施例中，可设置两个人脸质量评估分数阈值：第一人脸质量评估分数阈值和第二人脸质量评估分数阈值，其中第一人脸质量评估分数阈值小于第二人脸质量评估分数阈值。首先判断是否人脸类别置信度高于预设人脸类别置信度阈值且人脸质量评估分数大于第一人脸质量评估分数阈值，如果否则认为是非人脸，将该图片丢弃不进行处理。并在视频采集帧率较高于预设帧率(例如嵌入式系统处理能力有限)时，根据第二人脸质量评估分数阈值再次判断人脸质量，只有大于第二人脸质量评估分数阈值的图片才认为是高质量人脸图片，才进行下一步的处理。
具体地，在本发明实施例中，视频采集帧率大于20帧/秒时，因无法及时人脸识别处理，丢弃低质量人脸帧。小于20帧/秒低质量人脸可直接进行人脸识别处理。具体地：
步骤S11：FaceQnet基于选取的训练数据进行人脸质量评估，人脸质量评估分数FaceQualityScore写入人脸检测训练数据标签内。FaceQualityScore基于深度学习的人脸识别的质量评估，相对于传统人脸质量评估优势明显。
步骤S12：yolov3-tiny训练模型增加人脸质量评估分数FaceQualityScore字段，损失函数增加FaceQualityScore的拟合，基于darknet框架完成yolov3-tiny人脸检测模型的训练。
步骤S13：将待检测图片输入改进后的yolov3-tiny人脸检测模型，在嵌入式AI芯片计算后输出(x,y,w,h)，目标预测可信度，人脸质量评估分数FaceQualityScore以及人脸类别置信度等字段。
步骤S14：判断是否待检测图片的人脸类别置信度高于预设人脸类别置信度阈值且人脸质量评估分数FaceQualityScore大于第一人脸质量评估分数阈值，如果是则转步骤S16；如果否则转步骤S15；
步骤S15：待检测图片为非人脸图片，丢弃该待检测图片。
步骤S16：当待检测图片的实时帧率大于预设帧率(例如20帧/秒)，判断待检测图片的人脸质量评估分数FaceQualityScore是否大于第二人脸质量评估分数阈值，如果是则转步骤S18；如果否则转步骤S17；
步骤S17：该待检测图片为低质量人脸图片，丢弃该待检测图片，不进行人脸识别处理；
步骤S18：该待检测图片为高质量人脸图片，进行人脸识别处理。
本发明实施例中，通过FaceQnet人脸质量评估模型对人脸数据训练集的人脸(例如正面的清晰人脸为高质量人脸，侧面或模糊的为低质量人脸)和非人脸(例如非人类的动物等)进行人脸质量分数评估。评估分值作为新增人脸质量字段写入到人脸检测yolov3-tiny训练的数据标签内。FaceQnet最大优势基于人脸识别训练出的人脸质量评估模型，评估出来高分值人脸更适合做人脸识别。
本发明实施例中，为达到人脸检测模型具备人脸质量评估能力，对人脸检测模型yolov3-tiny进行改进：改进前的yolov3-tiny每个候选框预测：(1)人脸框的坐标位置(中心坐标(x,y)，高宽(w,h))，(2)目标预测可信度,(3)人脸类别置信度。改进后的yolov3-tiny网络模型每个候选框预测：(1)人脸框的坐标位置(中心坐标(x,y)，高宽(w,h))(2)目标预测可信度(3)FaceQualityScore(4)人脸类别置信度。同时网络训练损失函数增加FaceQualityScore项用于网络模型参数的拟合。改进后网络模型基于FaceQnet人脸质量评估打标签的数据完成训练。
本发明实施例中，训练出的yolov3-tiny网络模型经过嵌入式AI芯片计算后输出FaceQualityScore字段。yolov3-tiny等由于模型精简，相对云端人脸检测模型精度低，概率出现检测出非人脸情况。yolov3-tiny计算输出人脸候选框坐标和置信度。在人脸类别置信度判断基础上通过人脸质量评估字段FaceQualityScore二次判断候选框是否真实人脸，避免非人脸误检。提升人脸检测精度。例如图4所示非人脸分值相对低，可判定为非人脸，不作进一步人脸识别处理。
实施例4
进一步地，如图5所示，本发明提供了一种人脸实时识别装置，包括人脸数据训练集构造模块、优化yolov3-tiny网络模型训练模块、待检测图片检测模块和人脸识别处理模块，其中：
所述人脸数据训练集构造模块，用于将原始数据集基于FaceQnet人脸质量评估模型评估后得到人脸数据训练集；
所述优化yolov3-tiny网络模型训练模块，用于利用所述训练人脸数据，训练优化后的yolov3-tiny网络模型，得到经过训练的优化yolov3-tiny网络模型；
所述待检测图片检测模块，用于利用所述经过训练的优化yolov3-tiny网络模型对待检测图片进行检测，得到每个待检测图片的人脸类别置信度和人脸质量评估分数；
所述人脸识别处理模块，用于利用所述待检测图片的人脸类别置信度和人脸质量评估分数判断是否对所述待检测图片进行人脸识别处理。
进一步地，所述人脸识别处理模块中包含第一人脸识别处理单元，其中，所述第一人脸识别处理单元，用于判断是否所述待检测图片的人脸类别置信度高于预设人脸类别置信度阈值且人脸质量评估分数FaceQualityScore大于第一人脸质量评估分数阈值，如果是则认为是人脸并进行人脸识别处理，如果否则认为是非人脸，丢弃所述待检测图片不进行人脸识别处理。
进一步地，所述人脸识别处理模块中包含第二人脸识别处理单元，其中，所述第二人脸识别处理单元，用于在待检测图片的实时帧率大于预设帧率时，判断待检测图片的人脸质量评估分数FaceQualityScore是否大于第二人脸质量评估分数阈值，如果是则认为该待检测图片为高质量人脸图片，进行人脸识别处理，如果否则认为该待检测图片为低质量人脸图片，丢弃该待检测图片，不进行人脸识别处理。
实施例5
如图6所示，本发明实施例提供了一种人脸识别装置，包括：
至少一个处理器21；以及，
与所述至少一个处理器21通信连接的存储器22；其中，
所述存储器22存储有可被所述至少一个处理器21执行的指令，所述指令被所述至少一个处理器21执行，以使所述至少一个处理器21能够执行上述人脸实时识别方法。
实施例6
本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序(指令)，该计算机程序(指令)被处理器执行时实现上述人脸实时识别方法步骤。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种人脸实时识别方法，其特征在于，包括：
将原始数据集基于FaceQnet人脸质量评估模型评估后得到人脸数据训练集；
利用所述人脸数据训练集，训练优化后的yolov3-tiny网络模型，得到经过训练的优化yolov3-tiny网络模型；
利用所述经过训练的优化yolov3-tiny网络模型对待检测图片进行检测，得到每个待检测图片的人脸类别置信度和人脸质量评估分数；
利用所述待检测图片的人脸类别置信度和人脸质量评估分数判断是否对所述待检测图片进行人脸识别处理。
2.如权利要求1所述的人脸实时识别方法，其特征在于，所述将原始数据集基于FaceQnet人脸质量评估模型评估后得到人脸数据训练集，包括：
将原始数据集通过FaceQnet人脸质量评估模型，计算出原始数据集中所选取的人脸图片的人脸质量评估分数，并作为所选取的人脸图片的训练标签，生成人脸数据训练集。
3.如权利要求1或2所述的人脸实时识别方法，其特征在于，所述优化后的yolov3-tiny网络模型的每个候选框预测以下信息：(1)人脸框的坐标位置，(2)目标预测可信度，(3)人脸质量评估分数，(4)人脸类别置信度。
4.如权利要求1或2所述的人脸实时识别方法，其特征在于，利用所述人脸数据训练集，训练优化后的yolov3-tiny网络模型，得到经过训练的优化yolov3-tiny网络模型，包括：
利用所述人脸数据训练集，对所述优化后的yolov3-tiny网络模型进行训练，得到经过训练的优化yolov3-tiny网络模型；其中，在训练的损失函数中增加人脸质量评估分数项用于网络模型参数的拟合。
5.如权利要求1或2所述的人脸实时识别方法，其特征在于，利用所述待检测图片的人脸类别置信度和人脸质量评估分数对所述待检测图片判断是否进行人脸识别处理，包括：
在人脸类别置信度的基础上结合人脸质量评估分数进一步判断人脸真实度及人脸质量，对非人脸、低质量人脸和高质量人脸图片采用不同的人脸识别处理策略。
6.如权利要求5所述的人脸实时识别方法，其特征在于，所述在人脸类别置信度的基础上结合人脸质量评估分数进一步判断人脸真实度及人脸质量，对非人脸图片采用的人脸识别处理策略具体为：
在所述待检测图片的人脸类别置信度高于预设人脸类别置信度阈值且人脸质量评估分数大于第一人脸质量评估分数阈值时，认为是人脸并进行人脸识别处理，否则认为是非人脸，丢弃所述待检测图片不进行人脸识别处理。
7.如权利要求6所述的人脸实时识别方法，其特征在于，对低质量人脸和高质量人脸图片采用不同的人脸识别处理策略，具体为：
当待检测图片的实时帧率大于预设帧率时，判断待检测图片的人脸质量评估分数是否大于第二人脸质量评估分数阈值；
如果是则认为该待检测图片为高质量人脸图片，进行人脸识别处理；
如果否则认为该待检测图片为低质量人脸图片，丢弃该待检测图片，不进行人脸识别处理；
其中所述第一人脸质量评估分数阈值小于第二人脸质量评估分数阈值。
8.一种人脸实时识别装置，其特征在于，包括人脸数据训练集构造模块、优化yolov3-tiny网络模型训练模块、待检测图片检测模块和人脸识别处理模块，其中：
所述人脸数据训练集构造模块，用于将原始数据集基于FaceQnet人脸质量评估模型评估后得到人脸数据训练集；
所述优化yolov3-tiny网络模型训练模块，用于利用所述人脸数据训练集，训练优化后的yolov3-tiny网络模型，得到经过训练的优化yolov3-tiny网络模型；
所述待检测图片检测模块，用于利用所述经过训练的优化yolov3-tiny网络模型对待检测图片进行检测，得到每个待检测图片的人脸类别置信度和人脸质量评估分数；
所述人脸识别处理模块，用于利用所述待检测图片的人脸类别置信度和人脸质量评估分数判断是否对所述待检测图片进行人脸识别处理。
9.如权利要求8所述的人脸实时识别装置，其特征在于，所述人脸识别处理模块中包含第一人脸识别处理单元，其中：
所述第一人脸识别处理单元，用于判断是否所述待检测图片的人脸类别置信度高于预设人脸类别置信度阈值且人脸质量评估分数大于第一人脸质量评估分数阈值，如果是则认为是人脸并进行人脸识别处理，如果否则认为是非人脸，丢弃所述待检测图片不进行人脸识别处理。
10.如权利要求9所述的人脸实时识别装置，其特征在于，所述人脸识别处理模块中包含第二人脸识别处理单元，其中：
所述第二人脸识别处理单元，用于在待检测图片的实时帧率大于预设帧率时，判断待检测图片的人脸质量评估分数是否大于第二人脸质量评估分数阈值，如果是则认为该待检测图片为高质量人脸图片，进行人脸识别处理，如果否则认为该待检测图片为低质量人脸图片，丢弃该待检测图片，不进行人脸识别处理。
CN202010644358.3A 2020-07-07 2020-07-07 一种人脸实时识别方法和装置 Active CN111881775B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010644358.3A CN111881775B (zh) 2020-07-07 2020-07-07 一种人脸实时识别方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010644358.3A CN111881775B (zh) 2020-07-07 2020-07-07 一种人脸实时识别方法和装置

Publications (2)

Publication Number Publication Date
CN111881775A CN111881775A (zh) 2020-11-03
CN111881775B true CN111881775B (zh) 2022-04-08

Family

ID=73150131

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010644358.3A Active CN111881775B (zh) 2020-07-07 2020-07-07 一种人脸实时识别方法和装置

Country Status (1)

Country Link
CN (1) CN111881775B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112949572B (zh) * 2021-03-26 2022-11-25 重庆邮电大学 基于Slim-YOLOv3的口罩佩戴情况检测方法
CN115206322A (zh) * 2022-09-15 2022-10-18 广东海新智能厨房股份有限公司 基于自动感应的智能橱柜及橱柜智能控制方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106803067A (zh) * 2016-12-28 2017-06-06 浙江大华技术股份有限公司 一种人脸图像质量评估方法及装置
CN111210399A (zh) * 2018-11-22 2020-05-29 杭州海康威视数字技术股份有限公司 一种成像质量评价方法、装置及设备

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9830604B2 (en) * 2015-12-21 2017-11-28 Beston Technologies Pty Ltd Method and apparatus for managing and providing provenance of product
US10475222B2 (en) * 2017-09-05 2019-11-12 Adobe Inc. Automatic creation of a group shot image from a short video clip using intelligent select and merge

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106803067A (zh) * 2016-12-28 2017-06-06 浙江大华技术股份有限公司 一种人脸图像质量评估方法及装置
CN111210399A (zh) * 2018-11-22 2020-05-29 杭州海康威视数字技术股份有限公司 一种成像质量评价方法、装置及设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
《Biometric Quality:Review and Application to Face Recognition with FaceQnet》;Javier Hernandez-Ortega等;《arXiv》;20200618;全文 *
《基于人工智能视频处理的课堂学生状态分析》;贾鹂宇 等;《现代教育技术》;20191231;第19卷(第12期);全文 *

Also Published As

Publication number Publication date
CN111881775A (zh) 2020-11-03

Similar Documents

Publication Publication Date Title
US11643076B2 (en) Forward collision control method and apparatus, electronic device, program, and medium
CN110020592B (zh) 物体检测模型训练方法、装置、计算机设备及存储介质
CN107330920B (zh) 一种基于深度学习的监控视频多目标追踪方法
CN105740758A (zh) 基于深度学习的互联网视频人脸识别方法
CN109191488B (zh) 一种基于csk与tld融合算法的目标跟踪系统及方法
CN110415260B (zh) 基于字典与bp神经网络的烟雾图像分割与识别方法
CN111881775B (zh) 一种人脸实时识别方法和装置
CN109902576B (zh) 一种头肩图像分类器的训练方法及应用
CN112183356A (zh) 驾驶行为检测方法、设备及可读存储介质
CN113435319B (zh) 一种联合多目标跟踪和行人角度识别的分类方法
CN111091057A (zh) 一种信息处理方法、装置及计算机可读存储介质
CN110472608A (zh) 图像识别跟踪处理方法及系统
CN111814653B (zh) 一种视频中异常行为的检测方法、装置、设备及存储介质
CN113076876A (zh) 一种基于三维结构监督和置信度加权的人脸欺骗检测方法
CN112699842A (zh) 宠物识别方法、装置、设备及计算机可读存储介质
KR101268596B1 (ko) 정사각 코드북과 다중 경계 값이 적용된 텍스쳐 특징을 이용한 전경 검출 장치 및 방법
CN108985216B (zh) 一种基于多元logistic回归特征融合的行人头部检测方法
CN111753731A (zh) 人脸质量评估方法、装置和系统以及人脸质量评估模型的训练方法
CN111275733A (zh) 基于深度学习目标检测技术实现多艘船舶快速跟踪处理的方法
CN111163332A (zh) 视频色情度检测方法、终端及介质
CN115953744A (zh) 一种基于深度学习的车辆识别追踪方法
CN115457620A (zh) 用户表情识别方法、装置、计算机设备及存储介质
CN114283280A (zh) 一种基于改进卷积神经网络的水面漂浮垃圾识别方法
Xudong et al. Pedestrian detection and tracking with deep mutual learning
CN108830166B (zh) 一种公交车客流量实时统计方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant