CN113449713A - 一种清洗人脸检测模型的训练数据的方法和装置 - Google Patents

一种清洗人脸检测模型的训练数据的方法和装置 Download PDF

Info

Publication number
CN113449713A
CN113449713A CN202111020383.5A CN202111020383A CN113449713A CN 113449713 A CN113449713 A CN 113449713A CN 202111020383 A CN202111020383 A CN 202111020383A CN 113449713 A CN113449713 A CN 113449713A
Authority
CN
China
Prior art keywords
face
image
partial
cleaned
data set
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111020383.5A
Other languages
English (en)
Other versions
CN113449713B (zh
Inventor
李博贤
周朋
彭丽江
郑鹏程
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Meishe Network Technology Co ltd
Original Assignee
Beijing Meishe Network Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Meishe Network Technology Co ltd filed Critical Beijing Meishe Network Technology Co ltd
Priority to CN202111020383.5A priority Critical patent/CN113449713B/zh
Publication of CN113449713A publication Critical patent/CN113449713A/zh
Application granted granted Critical
Publication of CN113449713B publication Critical patent/CN113449713B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting

Abstract

本申请提供了一种清洗人脸检测模型的训练数据的方法和装置,属于人脸识别技术领域,本申请实施例根据所述第一待清洗人脸检测数据集中每张包含脸部的图像对应的标签文件,对该每张包含脸部的图像中的脸部区域进行裁剪,得到脸部局部图像,并将所述脸部局部图像分别送入人头姿态检测器、非人脸识别器和人脸位置检测器进行组合检测,筛选出包括人头姿态角度异常的脸部局部图像、非真实人脸的脸部局部图像和不含人脸的脸部局部图像的异常数据并进行清洗,得到清洗后的人脸检测数据集,在实现对异常数据的自动清洗的同时减少人工后期筛选所消耗的时间成本、人力成本和财力成本。

Description

一种清洗人脸检测模型的训练数据的方法和装置
技术领域
本申请涉及人脸识别领域,特别是涉及一种清洗人脸检测模型的训练数据的方法和装置。
背景技术
人脸识别广泛应用于安防、娱乐、金融等领域,是人脸识别、人脸关键点检测、人脸属性分析等任务的前置任务,由此产生了多种人脸识别需求,如在人脸特效、智能美颜的应用中,其需要对人脸进行准确定位和算法分析以判别是否为人脸。
然而,常用的公开数据集中夹杂着大量质量参差不齐标准不一的人脸数据,使得在实际应用场景中,如小人脸、大角度侧脸、卡通画像等非有效人脸常常会被检测为人脸,导致后续任务产生错误和偏差,极大地影响了用户体验。现有技术通常采用人工后期对数据进行筛选,所消耗的时间成本、人力成本和财力成本都非常大。
发明内容
本申请提供一种清洗人脸检测模型的训练数据的方法和装置,能够自动对训练数据中存在的异常数据进行清除,解决人工后期筛选所消耗的时间成本、人力成本和财力成本都非常大的问题。
为了解决上述问题,采用了以下的技术方案:
第一方面,本申请实施例提供了一种清洗人脸检测模型的训练数据的方法,所述方法包括:
获得第一待清洗人脸检测数据集,所述第一待清洗人脸检测数据集包括多张包含脸部的图像及其对应的标签文件,一张包含脸部的图像对应的标签文件用于记录该张图像包含的每张脸部的位置信息;
根据所述第一待清洗人脸检测数据集中每张包含脸部的图像对应的标签文件,对该每张包含脸部的图像中的脸部区域进行裁剪,得到脸部局部图像;
将所述脸部局部图像分别送入人头姿态检测器、非人脸识别器和人脸位置检测器,分别得到人头姿态角度异常的脸部局部图像、非真实人脸的脸部局部图像和不含人脸的脸部局部图像;
根据所述人头姿态角度异常的脸部局部图像、非真实人脸的脸部局部图像和不含人脸的脸部局部图像,对第一待清洗人脸检测数据集进行清洗,得到清洗后的人脸检测数据集。
在本申请一实施例中,根据所述第一待清洗人脸检测数据集中每张包含脸部的图像对应的标签文件,对该每张包含脸部的图像中的脸部区域进行裁剪,得到脸部局部图像,包括:
根据所述第一待清洗人脸检测数据集中每张包含脸部的图像对应的标签文件,确定每张图像包含的每张脸部所在区域的尺寸信息和坐标信息;
根据每张图像包含的每张脸部所在区域的尺寸信息和坐标信息、该张图像的尺寸信息以及预设的补全系数,对每张图像包含的每张脸部所在的区域进行扩大,得到每张图像包含的每张脸部的待裁剪区域的坐标信息;
根据每张图像包含的每张脸部的待裁剪区域的坐标信息,对每张图像包含的每张脸部分别进行裁剪,得到脸部局部图像。
在本申请一实施例中,根据每张图像包含的每张脸部所在区域的尺寸信息和坐标信息、该张图像的尺寸信息以及预设的补全系数,对每张图像包含的每张脸部所在的区域进行扩大,得到每张图像包含的每张脸部的待裁剪区域的坐标信息,包括:
按照以下公式,对每张图像包含的每张脸部所在的区域进行扩大,得到每张图像包含的每张脸部的待裁剪区域的坐标信息;
Figure 144157DEST_PATH_IMAGE001
其中:padt为向上补全系数,padb为向下补全系数,Padx为横向补全系数,x1为每张脸部所在区域的左上角坐标的横坐标,y1为每张脸部所在区域的左上角坐标的纵坐标,w为每张脸部所在区域的宽,h为每张脸部所在区域的高,W为该张图像的宽,H为该张图像的高,nx1为待裁剪区域的左上角坐标的横坐标、ny1为待裁剪区域的左上角坐标的横坐标、nx2为待裁剪区域的右下角坐标的横坐标、ny2为待裁剪区域的右下角坐标的纵坐标。
在本申请一实施例中,将所述脸部局部图像分别送入人头姿态检测器、非人脸识别器和人脸位置检测器,分别得到人头姿态角度异常的脸部局部图像、非真实人脸的脸部局部图像和不含人脸的脸部局部图像,包括:
将所述脸部局部图像送入人头姿态检测器,得到所述脸部局部图像的旋转角度,当所述脸部局部图像的旋转角度超出预设角度范围时,将所述脸部局部图像确定为人头姿态角度异常的脸部局部图像;
将所述脸部局部图像送入非人脸识别器,得到所述脸部局部图像的真实人脸置信度,当所述脸部局部图像的真实人脸置信度小于第一真实人脸置信度阈值时,确定所述脸部局部图像为非真实人脸的脸部局部图像;
将所述脸部局部图像送入人脸位置检测器,得到所述脸部局部图像的人脸分类置信度,当所述脸部局部图像的人脸分类置信度小于第一人脸分类置信度阈值时,确定所述脸部局部图像为不含人脸的脸部局部图像。
在本申请一实施例中,根据所述人头姿态角度异常的脸部局部图像、非真实人脸的脸部局部图像和不含人脸的脸部局部图像,对第一待清洗人脸检测数据集进行清洗,得到清洗后的人脸检测数据集,包括:
根据所述非真实人脸的脸部局部图像和不含人脸的脸部局部图像,得到非有效人脸的脸部局部图像;
针对所述第一待清洗人脸检测数据集中各个包含脸部的图像,将其中包含的所述非有效人脸的脸部局部图像和所述人头姿态角度异常的脸部局部图像删除,得到清洗后的人脸检测数据集。
在本申请一实施例中,根据所述非真实人脸的脸部局部图像和不含人脸的脸部局部图像,得到非有效人脸的脸部局部图像,包括:
将所述非人脸识别器判定为非真实人脸且人脸位置检测器判定为不含人脸的脸部局部图像,确定为非有效人脸的脸部局部图像;
针对所述非人脸识别器判定为非真实人脸且所述人脸位置检测器判定为包含人脸的脸部局部图像,当该脸部局部图像的人脸分类置信度小于第二人脸分类置信度阈值,确定所述脸部局部图像为非有效人脸的脸部局部图像;
针对所述非人脸识别器判定为真实人脸且所述人脸位置检测器判定为不含人脸的脸部局部图像,当该脸部局部图像的真实人脸置信度小于第二真实人脸置信度阈值时,确定所述脸部局部图像为非有效人脸的脸部局部图像。
在本申请一实施例中,根据所述第一待清洗人脸检测数据集中每张包含脸部的图像对应的标签文件,对该每张包含脸部的图像中的脸部区域进行裁剪,得到脸部局部图像之前,还包括:
根据所述第一待清洗人脸检测数据集中每张包含脸部的图像对应的标签文件,确定每张图像包含的每张脸部所在区域的尺寸信息和坐标信息;
根据所述每张图像包含的每张脸部所在区域的尺寸信息和坐标信息,确定所述每张脸部所在区域的面积占该张图像的面积的面积占比;
当该张脸部所在区域的面积占比小于面积占比阈值和/或该张脸部所在区域的绝对尺寸小于尺寸阈值时,确定该张脸部所在区域对应的脸部图像为小脸图像;
删除所述小脸图像,得到已筛除所述小脸图像的第一待清洗人脸检测数据集。
在本申请一实施例中,在根据所述人头姿态角度异常的脸部局部图像、非真实人脸的脸部局部图像和不含人脸的脸部局部图像,对第一待清洗人脸检测数据集进行清洗,得到清洗后的人脸检测数据集之后,所述方法还包括以下至少一者:
以所述非有效人脸的脸部局部图像和/或人脸局部图像为训练数据,对所述非人脸识别器进行迭代训练;
以所述清洗后的人脸检测数据集为训练数据,对所述人脸位置检测器进行迭代训练,其中,所述清洗后的人脸检测数据集中不包含人脸的图像为所述人脸位置检测器的负样本。
在本申请一实施例中,在每次迭代训练之前,所述方法还包括:
获得第二待清洗人脸检测数据集,所述第二待清洗人脸检测数据集包括多张包含脸部的图像及其对应的标签文件,一张包含脸部的图像对应的标签文件用于记录该张图像包含的每张脸部的位置信息;
将所述第二待清洗人脸检测数据集添加到所述非人脸识别器的训练数据中;
将所述第二待清洗人脸检测数据集添加到所述人脸位置检测器的训练数据中。
第二方面,本申请实施例提供了一种清洗人脸检测模型的训练数据的装置,所述装置包括:
第一获得模块,用于获得第一待清洗人脸检测数据集,所述第一待清洗人脸检测数据集包括多张包含脸部的图像及其对应的标签文件,一张包含脸部的图像对应的标签文件用于记录该张图像包含的每张脸部的位置信息;
裁剪模块,用于根据所述第一待清洗人脸检测数据集中每张包含脸部的图像对应的标签文件,对该每张包含脸部的图像中的脸部区域进行裁剪,得到脸部局部图像;
检测模块,用于将所述脸部局部图像分别送入人头姿态检测器、非人脸识别器和人脸位置检测器,分别得到人头姿态角度异常的脸部局部图像、非真实人脸的脸部局部图像和不含人脸的脸部局部图像;
清洗模块,用于根据所述人头姿态角度异常的脸部局部图像、非真实人脸的脸部局部图像和不含人脸的脸部局部图像,对第一待清洗人脸检测数据集进行清洗,得到清洗后的人脸检测数据集。
在本申请一实施例中,所述裁剪模块包括:
第一确定子模块,用于根据所述第一待清洗人脸检测数据集中每张包含脸部的图像对应的标签文件,确定每张图像包含的每张脸部所在区域的尺寸信息和坐标信息;
补全子模块,用于根据每张图像包含的每张脸部所在区域的尺寸信息和坐标信息、该张图像的尺寸信息以及预设的补全系数,对每张图像包含的每张脸部所在的区域进行扩大,得到每张图像包含的每张脸部的待裁剪区域的坐标信息;
裁剪子模块,用于根据每张图像包含的每张脸部的待裁剪区域的坐标信息,对每张图像包含的每张脸部分别进行裁剪,得到脸部局部图像。
在本申请一实施例中,所述检测模块包括:
人头姿态检测器检测子模块,用于将所述脸部局部图像送入人头姿态检测器,得到所述脸部局部图像的旋转角度,当所述脸部局部图像的旋转角度超出预设角度范围时,将所述脸部局部图像确定为人头姿态角度异常的脸部局部图像;
非人脸识别器检测子模块,用于将所述脸部局部图像送入非人脸识别器,得到所述脸部局部图像的真实人脸置信度,当所述脸部局部图像的真实人脸置信度小于第一真实人脸置信度阈值时,确定所述脸部局部图像为非真实人脸的脸部局部图像;
人脸位置检测器检测子模块,用于将所述脸部局部图像送入人脸位置检测器,得到所述脸部局部图像的人脸分类置信度,当所述脸部局部图像的人脸分类置信度小于第一人脸分类置信度阈值时,确定所述脸部局部图像为不含人脸的脸部局部图像。
在本申请一实施例中,所述清洗模块包括:
整合子模块,用于根据所述非真实人脸的脸部局部图像和不含人脸的脸部局部图像,得到非有效人脸的脸部局部图像;
清洗子模块,用于针对所述第一待清洗人脸检测数据集中各个包含脸部的图像,将其中包含的所述非有效人脸的脸部局部图像和所述人头姿态角度异常的脸部局部图像删除,得到清洗后的人脸检测数据集。
在本申请一实施例中,所述整合子模块包括:
第一确定子模块,用于将所述非人脸识别器判定为非真实人脸且人脸位置检测器判定为不含人脸的脸部局部图像,确定为非有效人脸的脸部局部图像;
第二确定子模块,用于针对所述非人脸识别器判定为非真实人脸且所述人脸位置检测器判定为包含人脸的脸部局部图像,当该脸部局部图像的人脸分类置信度小于第二人脸分类置信度阈值,确定所述脸部局部图像为非有效人脸的脸部局部图像;
第三确定子模块,用于针对所述非人脸识别器判定为真实人脸且所述人脸位置检测器判定为不含人脸的脸部局部图像,当该脸部局部图像的真实人脸置信度小于第二真实人脸置信度阈值时,确定所述脸部局部图像为非有效人脸的脸部局部图像。
在本申请一实施例中,所述装置还包括:
第一确定模块,用于根据所述第一待清洗人脸检测数据集中每张包含脸部的图像对应的标签文件,确定每张图像包含的每张脸部所在区域的尺寸信息和坐标信息;
第二确定模块,用于根据所述每张图像包含的每张脸部所在区域的尺寸信息和坐标信息,确定所述每张脸部所在区域的面积占该张图像的面积的面积占比;
删除模块,用于删除所述小脸图像,得到已筛除所述小脸图像的第一待清洗人脸检测数据集。
在本申请一实施例中,所述装置还包括:
非人脸识别器训练模块,用于以所述非有效人脸的脸部局部图像和/或人脸局部图像为训练数据,对所述非人脸识别器进行迭代训练;
人脸位置检测器训练模块,用于以所述清洗后的人脸检测数据集为训练数据,对所述人脸位置检测器进行迭代训练,其中,所述清洗后的人脸检测数据集中不包含人脸的图像为所述人脸位置检测器的负样本。
在本申请一实施例中,所述装置还包括:
第二获得模块,用于获得第二待清洗人脸检测数据集,所述第二待清洗人脸检测数据集包括多张包含脸部的图像及其对应的标签文件,一张包含脸部的图像对应的标签文件用于记录该张图像包含的每张脸部的位置信息;
第一添加模块,用于将所述第二待清洗人脸检测数据集添加到所述非人脸识别器的训练数据中;
第二添加模块,将所述第二待清洗人脸检测数据集添加到所述人脸位置检测器的训练数据中。
与现有技术相比,本申请包括以下优点:
在本申请实施例中,根据所述第一待清洗人脸检测数据集中每张包含脸部的图像对应的标签文件,对该每张包含脸部的图像中的脸部区域进行裁剪,能够得到更为全面真实的脸部局部图像,并通过人头姿态检测器、非人脸识别器和人脸位置检测器对脸部局部图像进行组合检测,筛选出包括人头姿态角度异常的脸部局部图像、非真实人脸的脸部局部图像和不含人脸的脸部局部图像在内的异常数据,在实现对异常数据的自动清洗的同时减少人工后期筛选所消耗的时间成本、人力成本和财力成本。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例中一种清洗人脸检测模型的训练数据的方法的步骤流程图。
图2是本申请实施例中人头姿态识别器中人头各旋转姿态的示意图。
图3是本申请实施例中一种清洗人脸检测模型的训练数据的装置的示意图。
附图标记:200-清洗人脸检测模型的训练数据的装置;201-第一获得模块;202-裁剪模块;203-检测模块;204-清洗模块。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
针对申请实施例背景技术中所提出的技术问题,本申请实施例提出了一种清洗人脸检测模型的训练数据的方法,针对目前用于人脸检测模型的训练数据中存在大量的非有效人脸的异常数据,旨在通过自动化的方式利用多种检测模型组合检测实现对该异常数据的有效识别和清除,以解决人工后期筛选所消耗的时间成本、人力成本和财力成本都非常大的问题。
参照图1,示出了本申请一种清洗人脸检测模型的训练数据的方法的步骤流程图,所述方法具体可以包括以下步骤:
步骤S101,获得第一待清洗人脸检测数据集,所述第一待清洗人脸检测数据集包括多张包含脸部的图像及其对应的标签文件,一张包含脸部的图像对应的标签文件用于记录该张图像包含的每张脸部的位置信息;
在本实施方式中,第一待清洗人脸检测数据集可以来自公开的人脸数据集,也可来自经过神经网络模型初筛后产生的人脸数据集,这类人脸数据集通常包含较多的异常数据,如卡通画像、雕塑、大角度的侧脸等,而在诸多实际场景中,如在手机直播场景下,背景中的肖像画和衣服上的卡通人像都不应该被检测出来;美颜瘦脸场景下大角度侧脸不应被检测出来。一旦这些异常数据被检测为人脸,将会导致后续任务产生错误和偏差,极大影响用户体验,因而需对第一待清洗人脸检测数据集中的异常数据进行识别和清洗。
而在本实施方式中,第一待清洗人脸检测数据集通常包含多张图像,而每张图像通常包括一张或多张脸部图像及其对应的标签文件,其中标签文件用于记录该张图像中包含的每张脸部的位置信息。
步骤S102,根据所述第一待清洗人脸检测数据集中每张包含脸部的图像对应的标签文件,对该每张包含脸部的图像中的脸部区域进行裁剪,得到脸部局部图像;
在本实施方式中,由于标签文件记录着对应图像包含的每张脸部的位置信息,因而根据标签文件中的位置信息,可将每张包含脸部的图像中的脸部区域从图像中裁剪出来,裁剪后的脸部局部图像更便于被识别,提高检测的准确性。
步骤S103,将所述脸部局部图像分别送入人头姿态检测器、非人脸识别器和人脸位置检测器,分别得到人头姿态角度异常的脸部局部图像、非真实人脸的脸部局部图像和不含人脸的脸部局部图像;
在本实施方式中,人头姿态检测器为预训练的神经网络结构的检测模型,用于判别脸部局部图像中的人头的选转角度,将所述脸部局部图像全量输入人头姿态检测器,人头姿态检测器能够进行自动检测,并输出人头姿态角度异常的脸部局部图像。
在本实施方式中,非人脸识别器为神经网络结构的二元分类器,作为判别模型用于判断所述脸部局部图像中的主体对象是否为真实人脸,最初可使用少量的正负例样本训练得到,其中正例为真实人脸,负例包括雕像、画像、卡通人脸、动物脸部和不含脸部结构的纯背景图像;将所述脸部局部图像全量输入非人脸识别器,非人脸识别器能够进行自动检测,并输出非真实人脸的脸部局部图像;
在本实施方式中,人脸位置检测器为判别模型,用于判别脸部局部图像是否包含人脸,最初可用未清洗的训练数据进行预训练得到。将所述脸部局部图像全量输入人脸位置检测器,人脸位置检测器能够进行自动检测,并输出不含人脸的脸部局部图像。
在本实施方式中,利用人头姿态检测器、非人脸识别器和人脸位置检测器组合检测来筛选异常数据,能够得到更为精确的检测结果。
步骤S104,根据所述人头姿态角度异常的脸部局部图像、非真实人脸的脸部局部图像和不含人脸的脸部局部图像,对第一待清洗人脸检测数据集进行清洗,得到清洗后的人脸检测数据集。
在本实施方式中,对人头姿态角度异常的脸部局部图像、非真实人脸的脸部局部图像和不含人脸的脸部局部图像进行清洗时,遍历查找标签文件中人头姿态角度异常的脸部局部图像、非真实人脸的脸部局部图像和不含人脸的脸部局部图像对应的脸部信息并删除,便得到清洗后的人脸检测数据集。
在本实施方式中,通过利用人头姿态检测器、非人脸识别器和人脸位置检测器组合检测来筛选出异常数据,在实现对异常数据的自动清洗的同时减少人工后期筛选所消耗的时间成本、人力成本和财力成本。
在一种可行的实施方式中,步骤S102具体可以包括以下步骤:
步骤S102-1:根据所述第一待清洗人脸检测数据集中每张包含脸部的图像对应的标签文件,确定每张图像包含的每张脸部所在区域的尺寸信息和坐标信息;
本实施方式需要说明的是,计算机图像处理时为表达方便,通常每张图像均包含有一个图像坐标系,所述图像坐标系以左上角为原点,向下为y轴正方向,向右为x轴正方向,所有坐标均为正值且为整数,在此坐标系下只要知道脸部图像所在的区域的左上角坐标和宽高即可确定一个脸部图像所在的区域。
在本实施方式中,所述第一待清洗人脸检测数据集中每张包含脸部的图像对应的标签文件便包含有每张脸部所在区域的尺寸信息和坐标信息,每张脸部所在区域也叫对应脸部的人脸标注框。
步骤S102-2:根据每张图像包含的每张脸部所在区域的尺寸信息和坐标信息、该张图像的尺寸信息以及预设的补全系数,对每张图像包含的每张脸部所在的区域进行扩大,得到每张图像包含的每张脸部的待裁剪区域的坐标信息;
本实施方式需要说明的是,通常所述每张脸部所在区域的上边界在眉毛或额头处,下边界在下巴处,因此,若直接将所述第一待清洗人脸检测数据集中每张包含脸部的图像直接送入人头姿态检测器,人头姿态检测器将无法准确识别图像中的人头的选转角度,故需将每张图像包含的每张脸部所在的区域进行扩大,需要进一步说明的是,在扩大上下边界的同时需要对左右边界进行适应性的扩大,以保证裁剪后的脸部局部图像有较为完整紧凑的头部区域以方便人头姿态检测器进行人头姿态检测。
优选地,按照以下公式,对每张图像包含的每张脸部所在的区域进行扩大,得到每张图像包含的每张脸部的待裁剪区域的坐标信息;
Figure 64840DEST_PATH_IMAGE002
其中:padt为向上补全系数,padb为向下补全系数,Padx为横向补全系数,x1为每张脸部所在区域的左上角坐标的横坐标,y1为每张脸部所在区域的左上角坐标的纵坐标,w为每张脸部所在区域的宽,h为每张脸部所在区域的高,W为该张图像的宽,H为该张图像的高,nx1为待裁剪区域的左上角坐标的横坐标、ny1为待裁剪区域的左上角坐标的横坐标、nx2为待裁剪区域的右下角坐标的横坐标、ny2为待裁剪区域的右下角坐标的纵坐标。
步骤S102-3:根据每张图像包含的每张脸部的待裁剪区域的坐标信息,对每张图像包含的每张脸部分别进行裁剪,得到脸部局部图像。
优选地,在对每张图像包含的每张脸部分别进行裁剪,得到脸部局部图像之后,记录每张图像包含的每张脸部的待裁剪区域的坐标信息和对应的图像名称,生成脸部局部图像集和记录列表,使得所有脸部局部图像可通过记录列表索引到对应的图像,即只对裁剪后新生成的脸部局部图像进行处理,而保护对应的图像即原始数据不被破坏。
优选地,在得到脸部局部图像之后,为便于后续人头姿态检测器、非人脸识别器和人脸位置检测器进行识别,将所述脸部局部图像放缩至统一的输入尺寸,可以但不限于放缩至256x256像素宽高的尺寸,再对每张所述脸部局部图像进行归一化处理为数字矩阵,在不改变原有信息的基础上将每张所述脸部局部图像转换成统一标准形式,使得数据分布更为统一,模型更容易收敛。
在一种可行的实施方式中,步骤S103中将所述脸部局部图像分别送入人头姿态检测器、非人脸识别器和人脸位置检测器,分别得到人头姿态角度异常的脸部局部图像、非真实人脸的脸部局部图像和不含人脸的脸部局部图像的具体步骤可以为:
步骤S103-1:将所述脸部局部图像送入人头姿态检测器,得到所述脸部局部图像的旋转角度,当所述脸部局部图像的旋转角度超出预设角度范围时,将所述脸部局部图像确定为人头姿态角度异常的脸部局部图像。
参照图2,在本实施方式中,人头姿态检测器为预训练的神经网络结构的检测模型,用于判别所述脸部局部图像中的人头的选转角度,在所述非人脸识别器的世界坐标系中,通常用偏航轴、俯仰轴和滚转轴所选转的角度用以表征脸部局部图像中的人头的旋转角度;将所述脸部局部图像送入人头姿态检测器,得到所述脸部局部图像的旋转角度,当所述脸部局部图像的旋转角度满足以下任一关系时,将所述脸部局部图像确定为人头姿态角度异常的脸部局部图像:
Figure 991207DEST_PATH_IMAGE003
其中:yaw为脸部局部图像在人头姿态检测器中的偏航轴旋转角度,pitch为脸部局部图像在人头姿态检测器中的俯仰轴旋转角度,roll为脸部局部图像在人头姿态检测器中的滚转轴旋转角度。
本实施例需要说明的是,公式(6)-(11)中的角度均为优选的旋转角度阈值,本实施方式对此不对任何限制,根据实际需要进行设置即可。
步骤S103-2:将所述脸部局部图像送入非人脸识别器,得到所述脸部局部图像的真实人脸置信度,当所述脸部局部图像的真实人脸置信度小于第一真实人脸置信度阈值时,确定所述脸部局部图像为非真实人脸的脸部局部图像;
本实施例需要说明的是,真实人脸置信度为非人脸识别器针对输入的脸部局部图像的人脸是真实人脸的概率,即为非人脸识别器中神经网络的最终输出,其为一个0-1之间的小数,其中1对应完全可信,0对应完全不可信,作为其中的一个优选方式,第一真实人脸置信度阈值设置为0.5,即当所述脸部局部图像的真实人脸置信度小于0.5时,确定所述脸部局部图像为非真实人脸的脸部局部图像。
步骤S103-3:将所述脸部局部图像送入人脸位置检测器,得到所述脸部局部图像的人脸分类置信度,当所述脸部局部图像的人脸分类置信度小于第一人脸分类置信度阈值时,确定所述脸部局部图像为不含人脸的脸部局部图像。
本实施例需要说明的是,人脸分类置信度阈值为人脸位置检测器针对输入的脸部局部图像包含人脸的概率,即为人脸位置检测器的最终输出,其为一个0-1之间的小数,其中1对应完全可信,0对应完全不可信,作为其中的一个优选方式,第一人脸分类置信度阈值设置为0.5,即当所述脸部局部图像的人脸分类置信度小于0.5时,确定所述脸部局部图像为不含人脸的脸部局部图像。
在一种可行的实施方式中,步骤S104中根据所述人头姿态角度异常的脸部局部图像、非真实人脸的脸部局部图像和不含人脸的脸部局部图像,对第一待清洗人脸检测数据集进行清洗,得到清洗后的人脸检测数据集的具体步骤可以为:
步骤S104-1:根据所述非真实人脸的脸部局部图像和不含人脸的脸部局部图像,得到非有效人脸的脸部局部图像;
由于非人脸识别器和人脸位置检测器两个判别模型最初的准确率相对不高,因此,对由非人脸识别器输出的所述非真实人脸的脸部局部图像,和由人脸位置检测器输出的不含人脸的脸部局部图像进行整合处理,得到精度更高的非有效人脸的脸部局部图像。
步骤S104-2:针对所述第一待清洗人脸检测数据集中各个包含脸部的图像,将其中包含的所述非有效人脸的脸部局部图像和所述人头姿态角度异常的脸部局部图像删除,得到清洗后的人脸检测数据集。
由于预训练的人头姿态检测器输出的人头姿态角度异常的脸部局部图像的置信度较高且和非有效人脸的脸部局部图像相互独立,故将包含的所述非有效人脸的脸部局部图像和所述人头姿态角度异常的脸部局部图像对应的标签文件删除,便可在不破坏人脸检测数据集中的各原图的基础上得到清洗后的人脸检测数据集。
在一种可行的实施方式中,步骤S104-1中根据所述非真实人脸的脸部局部图像和不含人脸的脸部局部图像,得到非有效人脸的脸部局部图像的具体步骤可以为:
步骤S104-1-1:将所述非人脸识别器判定为非真实人脸且人脸位置检测器判定为不含人脸的脸部局部图像,确定为非有效人脸的脸部局部图像;
在本实施例中,若某一脸部局部图像被所述非人脸识别器判定为非真实人脸且人脸位置检测器判定为不含人脸的脸部局部图像,则其为非有效人脸的脸部局部图像的置信度较大,将这类脸部局部图像确定为非有效人脸的脸部局部图像。
步骤S104-1-2:针对所述非人脸识别器判定为非真实人脸且所述人脸位置检测器判定为包含人脸的脸部局部图像,当该脸部局部图像的人脸分类置信度小于第二人脸分类置信度阈值,确定所述脸部局部图像为非有效人脸的脸部局部图像;
在本实施例中,针对所述非人脸识别器判定为非真实人脸且所述人脸位置检测器判定为包含人脸的脸部局部图像,将当该脸部局部图像送入人脸位置检测器中再进行检测,得到该脸部局部图像的人脸分类置信度,若当该脸部局部图像的人脸分类置信度小于第二人脸分类置信度阈值,所述第二人脸分类置信度阈值优选为0.75,即当该脸部局部图像的人脸分类置信度小于0.75时,确定所述脸部局部图像为非有效人脸的脸部局部图像;
本实施例需要说明的是,所述第二人脸分类置信度阈值设置为大于所述第一人脸分类置信度阈值,即通过提高人脸分类置信度阈值,可以减少被误删的真实人脸数据。
步骤S104-1-3:针对所述非人脸识别器判定为真实人脸且所述人脸位置检测器判定为不含人脸的脸部局部图像,当该脸部局部图像的真实人脸置信度小于第二真实人脸置信度阈值时,确定所述脸部局部图像为非有效人脸的脸部局部图像。
在本实施例中,针对所述非人脸识别器判定为真实人脸且所述人脸位置检测器判定为不含人脸的脸部局部图像,将当该脸部局部图像送入非人脸识别器中再进行检测,得到该脸部局部图像的真实人脸置信度,若当该脸部局部图像的真实人脸置信度小于第二真实人脸置信度阈值,所述第二真实人脸置信度阈值优选为0.75,即当该脸部局部图像的真实人脸置信度小于0.75时,确定所述脸部局部图像为非有效人脸的脸部局部图像。
本实施例需要说明的是,所述第二真实人脸置信度阈值设置为大于所述第一真实人脸置信度阈值,即通过提高真实人脸置信度阈值,可以减少被误删的真实人脸数据。
在本实施例中,所述非真实人脸的脸部局部图像和不含人脸的脸部局部图像经过非人脸识别器和人脸位置检测器的交叉判断,能够防止更多的真实人脸被误删,训练时也会过滤掉少量的噪音,并得到准确率更高的非有效人脸的脸部局部图像。
在一种可行的实施方式中,由于第一待清洗人脸检测数据集中通常还存在较多的小脸图像,该小脸图像由于图像过于小使得所包含的信息模糊不清,没有检测的必要,并且过多的小脸图像会增加模型训练的收敛难度,在模型推理时也容易生成误检框,为消除此类小脸图像的影响,在步骤S102之前,所述方法还可以包括:
步骤S105-1:根据所述第一待清洗人脸检测数据集中每张包含脸部的图像对应的标签文件,确定每张图像包含的每张脸部所在区域的尺寸信息和坐标信息;
步骤S105-2:根据所述每张图像包含的每张脸部所在区域的尺寸信息和坐标信息,确定所述每张脸部所在区域的面积占该张图像的面积的面积占比;
步骤S105-3:当该张脸部所在区域的面积占比小于面积占比阈值和/或该张脸部所在区域的绝对尺寸小于尺寸阈值时,确定该张脸部所在区域对应的脸部图像为小脸图像。
优选地,所述面积占比阈值可以设置为1/1600,尺寸阈值可以设置为20像素宽;
步骤S105-4:删除所述小脸图像,得到已筛除所述小脸图像的第一待清洗人脸检测数据集。
本实施例需要时说明的是,在对小脸图像进行删除时,会将所述小脸图像对应的标签文件进行删除,若该图像中的所有脸部图像均为小人脸,则在标签文件中删除该图像中的所有标注信息,但该图像不进行删除,旨在筛选过程中仅破坏标签文件而不删除原图像,以保留第一待清洗人脸检测数据集的完整性和可用性。
在一种可行的实施方式中,在步骤S104根据所述人头姿态角度异常的脸部局部图像、非真实人脸的脸部局部图像和不含人脸的脸部局部图像,对第一待清洗人脸检测数据集进行清洗,得到清洗后的人脸检测数据集之后,所述方法还可以包括以下至少一者:
步骤S106-1:以所述非有效人脸的脸部局部图像和/或人脸局部图像为训练数据,对所述非人脸识别器进行迭代训练;
本实施例需要说明的是,人脸局部图像可以来自步骤S102中经过裁剪得到脸部局部图像,也可以来自公开的人脸数据集,该人脸局部图像既包含非有效人脸,也包含有效人脸,其中有效人脸出现的概率远大于非有效人脸出现的概率,即,通过将这类人脸局部图像连同所述非有效人脸的脸部局部图像作为非人脸识别器的训练数据,能够平衡训练样本比例,以提高非人脸识别器的学习效果,降低误把有效人脸判断为非有效人脸的概率,因此在扩充数据后,在同等的训练条件下,非人脸识别器的精度会随迭代的次数的增加而提高。
步骤S106-2:以所述清洗后的人脸检测数据集为训练数据,对所述人脸位置检测器进行迭代训练,其中,所述清洗后的人脸检测数据集中不包含人脸的图像为所述人脸位置检测器的负样本。
本实施例需要说明的是,将所述清洗后的人脸检测数据集送入人脸位置检测器进行训练,由于此时的人脸检测数据集经过一轮清洗,包括人头姿态角度异常的脸部局部图像和非有效人脸的脸部局部图像在内的异常人脸数据已经被一定量的筛除,因此在相同的训练条件下,人脸位置检测器的精度会随迭代的次数的增加而提高,辨别图像中是否包含人脸的能力也会随之上升。
在本实施方式中,通过在训练结束后更新人脸检测器与非人脸识别器,由于两者的精度提高,在筛选过程中也会找到更难找的异常数据。
在一种可行的实施方式中,由于在迭代过程中,训练数据会随异常数据的删除而减少,因此针对这种情况,在每次迭代训练之前,所述方法还可以包括:
步骤S107-1:获得第二待清洗人脸检测数据集,所述第二待清洗人脸检测数据集包括多张包含脸部的图像及其对应的标签文件,一张包含脸部的图像对应的标签文件用于记录该张图像包含的每张脸部的位置信息;
步骤S107-2:将所述第二待清洗人脸检测数据集添加到所述非人脸识别器的训练数据中;
步骤S107-3:将所述第二待清洗人脸检测数据集添加到所述人脸位置检测器的训练数据中。
在本实施方式中,允许在新的迭代轮次开始时添加所述第二待清洗人脸检测数据集来为所述非人脸识别器和所述人脸位置检测器补充数据,避免在迭代过程中训练数据会随异常数据的删除而减少,进而影响到所述非人脸识别器和所述人脸位置检测器的学习效果。
基于同一发明构思,参照图3,本申请实施例提供了一种清洗人脸检测模型的训练数据的装置200,所述装置包括:
第一获得模块201,用于获得第一待清洗人脸检测数据集,所述第一待清洗人脸检测数据集包括多张包含脸部的图像及其对应的标签文件,一张包含脸部的图像对应的标签文件用于记录该张图像包含的每张脸部的位置信息;
裁剪模块202,用于根据所述第一待清洗人脸检测数据集中每张包含脸部的图像对应的标签文件,对该每张包含脸部的图像中的脸部区域进行裁剪,得到脸部局部图像;
检测模块203,用于将所述脸部局部图像分别送入人头姿态检测器、非人脸识别器和人脸位置检测器,分别得到人头姿态角度异常的脸部局部图像、非真实人脸的脸部局部图像和不含人脸的脸部局部图像;
清洗模块204,用于根据所述人头姿态角度异常的脸部局部图像、非真实人脸的脸部局部图像和不含人脸的脸部局部图像,对第一待清洗人脸检测数据集进行清洗,得到清洗后的人脸检测数据集。
在一种可行的实施方式中,所述裁剪模块202包括:
第一确定子模块,用于根据所述第一待清洗人脸检测数据集中每张包含脸部的图像对应的标签文件,确定每张图像包含的每张脸部所在区域的尺寸信息和坐标信息;
补全子模块,用于根据每张图像包含的每张脸部所在区域的尺寸信息和坐标信息、该张图像的尺寸信息以及预设的补全系数,对每张图像包含的每张脸部所在的区域进行扩大,得到每张图像包含的每张脸部的待裁剪区域的坐标信息;
裁剪子模块,用于根据每张图像包含的每张脸部的待裁剪区域的坐标信息,对每张图像包含的每张脸部分别进行裁剪,得到脸部局部图像。
在一种可行的实施方式中,所述检测模块203包括:
人头姿态检测器检测子模块,用于将所述脸部局部图像送入人头姿态检测器,得到所述脸部局部图像的旋转角度,当所述脸部局部图像的旋转角度超出预设角度范围时,将所述脸部局部图像确定为人头姿态角度异常的脸部局部图像;
非人脸识别器检测子模块,用于将所述脸部局部图像送入非人脸识别器,得到所述脸部局部图像的真实人脸置信度,当所述脸部局部图像的真实人脸置信度小于第一真实人脸置信度阈值时,确定所述脸部局部图像为非真实人脸的脸部局部图像;
人脸位置检测器检测子模块,用于将所述脸部局部图像送入人脸位置检测器,得到所述脸部局部图像的人脸分类置信度,当所述脸部局部图像的人脸分类置信度小于第一人脸分类置信度阈值时,确定所述脸部局部图像为不含人脸的脸部局部图像。
在一种可行的实施方式中,所述清洗模块204包括:
整合子模块,用于根据所述非真实人脸的脸部局部图像和不含人脸的脸部局部图像,得到非有效人脸的脸部局部图像;
清洗子模块,用于针对所述第一待清洗人脸检测数据集中各个包含脸部的图像,将其中包含的所述非有效人脸的脸部局部图像和所述人头姿态角度异常的脸部局部图像删除,得到清洗后的人脸检测数据集。
在一种可行的实施方式中,所述整合子模块包括:
第一确定子模块,用于将所述非人脸识别器判定为非真实人脸且人脸位置检测器判定为不含人脸的脸部局部图像,确定为非有效人脸的脸部局部图像;
第二确定子模块,用于针对所述非人脸识别器判定为非真实人脸且所述人脸位置检测器判定为包含人脸的脸部局部图像,当该脸部局部图像的人脸分类置信度小于第二人脸分类置信度阈值,确定所述脸部局部图像为非有效人脸的脸部局部图像;
第三确定子模块,用于针对所述非人脸识别器判定为真实人脸且所述人脸位置检测器判定为不含人脸的脸部局部图像,当该脸部局部图像的真实人脸置信度小于第二真实人脸置信度阈值时,确定所述脸部局部图像为非有效人脸的脸部局部图像。
在一种可行的实施方式中,所述装置还包括:
第一确定模块,用于根据所述第一待清洗人脸检测数据集中每张包含脸部的图像对应的标签文件,确定每张图像包含的每张脸部所在区域的尺寸信息和坐标信息;
第二确定模块,用于根据所述每张图像包含的每张脸部所在区域的尺寸信息和坐标信息,确定所述每张脸部所在区域的面积占该张图像的面积的面积占比;
删除模块,用于删除所述小脸图像,得到已筛除所述小脸图像的第一待清洗人脸检测数据集。
在一种可行的实施方式中,所述一种清洗人脸检测模型的训练数据的装置200还包括:
非人脸识别器训练模块,用于以所述非有效人脸的脸部局部图像和/或人脸局部图像为训练数据,对所述非人脸识别器进行迭代训练;
人脸位置检测器训练模块,用于以所述清洗后的人脸检测数据集为训练数据,对所述人脸位置检测器进行迭代训练,其中,所述清洗后的人脸检测数据集中不包含人脸的图像为所述人脸位置检测器的负样本。
在一种可行的实施方式中,所述一种清洗人脸检测模型的训练数据的装置200还包括:
第二获得模块,用于获得第二待清洗人脸检测数据集,所述第二待清洗人脸检测数据集包括多张包含脸部的图像及其对应的标签文件,一张包含脸部的图像对应的标签文件用于记录该张图像包含的每张脸部的位置信息;
第一添加模块,用于将所述第二待清洗人脸检测数据集添加到所述非人脸识别器的训练数据中;
第二添加模块,将所述第二待清洗人脸检测数据集添加到所述人脸位置检测器的训练数据中。
本申请实施例通过裁剪模块202根据所述第一待清洗人脸检测数据集中每张包含脸部的图像对应的标签文件,对该每张包含脸部的图像中的脸部区域进行裁剪,能够得到更为全面真实的脸部局部图像,检测模块203利用人头姿态检测器、非人脸识别器和人脸位置检测器对脸部局部图像进行组合检测,筛选出包括人头姿态角度异常的脸部局部图像、非真实人脸的脸部局部图像和不含人脸的脸部局部图像的异常数据,最终通过清洗模块204对异常数据进行清洗,得到清洗后的人脸检测数据集,在实现对异常数据的自动清洗的同时减少人工后期筛选所消耗的时间成本、人力成本和财力成本。
本领域内的技术人员应明白,本发明实施例的实施例可提供为方法、装置、或计算机程序产品。因此,本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上,使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明实施例的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例做出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。
最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
以上对本发明所提供的一种清洗人脸检测模型的训练数据的方法和装置,进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种清洗人脸检测模型的训练数据的方法,其特征在于,所述方法包括:
获得第一待清洗人脸检测数据集,所述第一待清洗人脸检测数据集包括多张包含脸部的图像及其对应的标签文件,一张包含脸部的图像对应的标签文件用于记录该图像包含的每张脸部的位置信息;
根据所述第一待清洗人脸检测数据集中每张包含脸部的图像对应的标签文件,对该每张包含脸部的图像中的脸部区域进行裁剪,得到脸部局部图像;
将所述脸部局部图像分别送入人头姿态检测器、非人脸识别器和人脸位置检测器,分别得到人头姿态角度异常的脸部局部图像、非真实人脸的脸部局部图像和不含人脸的脸部局部图像;
根据所述人头姿态角度异常的脸部局部图像、非真实人脸的脸部局部图像和不含人脸的脸部局部图像,对第一待清洗人脸检测数据集进行清洗,得到清洗后的人脸检测数据集。
2.根据权利要求1所述的方法,其特征在于,根据所述第一待清洗人脸检测数据集中每张包含脸部的图像对应的标签文件,对该每张包含脸部的图像中的脸部区域进行裁剪,得到脸部局部图像,包括:
根据所述第一待清洗人脸检测数据集中每张包含脸部的图像对应的标签文件,确定每张图像包含的每张脸部所在区域的尺寸信息和坐标信息;
根据每张图像包含的每张脸部所在区域的尺寸信息和坐标信息、该张图像的尺寸信息以及预设的补全系数,对每张图像包含的每张脸部所在的区域进行扩大,得到每张图像包含的每张脸部的待裁剪区域的坐标信息;
根据每张图像包含的每张脸部的待裁剪区域的坐标信息,对每张图像包含的每张脸部分别进行裁剪,得到脸部局部图像。
3.根据权利要求2所述的方法,其特征在于,根据每张图像包含的每张脸部所在区域的尺寸信息和坐标信息、该张图像的尺寸信息以及预设的补全系数,对每张图像包含的每张脸部所在的区域进行扩大,得到每张图像包含的每张脸部的待裁剪区域的坐标信息,包括:
按照以下公式,对每张图像包含的每张脸部所在的区域进行扩大,得到每张图像包含的每张脸部的待裁剪区域的坐标信息;
Figure 745975DEST_PATH_IMAGE001
Figure 764878DEST_PATH_IMAGE002
Figure 553842DEST_PATH_IMAGE003
其中:padt为向上补全系数,padb为向下补全系数,Padx为横向补全系数,x1为每张脸部所在区域的左上角坐标的横坐标,y1为每张脸部所在区域的左上角坐标的纵坐标,w为每张脸部所在区域的宽,h为每张脸部所在区域的高,W为该张图像的宽,H为该张图像的高,nx1为待裁剪区域的左上角坐标的横坐标、ny1为待裁剪区域的左上角坐标的横坐标、nx2为待裁剪区域的右下角坐标的横坐标、ny2为待裁剪区域的右下角坐标的纵坐标。
4.根据权利要求1所述的方法,其特征在于,将所述脸部局部图像分别送入人头姿态检测器、非人脸识别器和人脸位置检测器,分别得到人头姿态角度异常的脸部局部图像、非真实人脸的脸部局部图像和不含人脸的脸部局部图像,包括:
将所述脸部局部图像送入人头姿态检测器,得到所述脸部局部图像的旋转角度,当所述脸部局部图像的旋转角度超出预设角度范围时,将所述脸部局部图像确定为人头姿态角度异常的脸部局部图像;
将所述脸部局部图像送入非人脸识别器,得到所述脸部局部图像的真实人脸置信度,当所述脸部局部图像的真实人脸置信度小于第一真实人脸置信度阈值时,确定所述脸部局部图像为非真实人脸的脸部局部图像;
将所述脸部局部图像送入人脸位置检测器,得到所述脸部局部图像的人脸分类置信度,当所述脸部局部图像的人脸分类置信度小于第一人脸分类置信度阈值时,确定所述脸部局部图像为不含人脸的脸部局部图像。
5.根据权利要求1所述的方法,其特征在于,根据所述人头姿态角度异常的脸部局部图像、非真实人脸的脸部局部图像和不含人脸的脸部局部图像,对第一待清洗人脸检测数据集进行清洗,得到清洗后的人脸检测数据集,包括:
根据所述非真实人脸的脸部局部图像和不含人脸的脸部局部图像,得到非有效人脸的脸部局部图像;
针对所述第一待清洗人脸检测数据集中各个包含脸部的图像,将其中包含的所述非有效人脸的脸部局部图像和所述人头姿态角度异常的脸部局部图像删除,得到清洗后的人脸检测数据集。
6.根据权利要求5所述的方法,其特征在于,根据所述非真实人脸的脸部局部图像和不含人脸的脸部局部图像,得到非有效人脸的脸部局部图像,包括:
将所述非人脸识别器判定为非真实人脸且人脸位置检测器判定为不含人脸的脸部局部图像,确定为非有效人脸的脸部局部图像;
针对所述非人脸识别器判定为非真实人脸且所述人脸位置检测器判定为包含人脸的脸部局部图像,当该脸部局部图像的人脸分类置信度小于第二人脸分类置信度阈值,确定所述脸部局部图像为非有效人脸的脸部局部图像;
针对所述非人脸识别器判定为真实人脸且所述人脸位置检测器判定为不含人脸的脸部局部图像,当该脸部局部图像的真实人脸置信度小于第二真实人脸置信度阈值时,确定所述脸部局部图像为非有效人脸的脸部局部图像。
7.根据权利要求1所述的方法,其特征在于,根据所述第一待清洗人脸检测数据集中每张包含脸部的图像对应的标签文件,对该每张包含脸部的图像中的脸部区域进行裁剪,得到脸部局部图像之前,所述方法还包括:
根据所述第一待清洗人脸检测数据集中每张包含脸部的图像对应的标签文件,确定每张图像包含的每张脸部所在区域的尺寸信息和坐标信息;
根据所述每张图像包含的每张脸部所在区域的尺寸信息和坐标信息,确定所述每张脸部所在区域的面积占该张图像的面积的面积占比;
当该张脸部所在区域的面积占比小于面积占比阈值和/或该张脸部所在区域的绝对尺寸小于尺寸阈值时,确定该张脸部所在区域对应的脸部图像为小脸图像;
删除所述小脸图像,得到已筛除所述小脸图像的第一待清洗人脸检测数据集。
8.根据权利要求5所述的方法,其特征在于,在根据所述人头姿态角度异常的脸部局部图像、非真实人脸的脸部局部图像和不含人脸的脸部局部图像,对第一待清洗人脸检测数据集进行清洗,得到清洗后的人脸检测数据集之后,所述方法还包括以下至少一者:
以所述非有效人脸的脸部局部图像和/或人脸局部图像为训练数据,对所述非人脸识别器进行迭代训练;
以所述清洗后的人脸检测数据集为训练数据,对所述人脸位置检测器进行迭代训练,其中,所述清洗后的人脸检测数据集中不包含人脸的图像为所述人脸位置检测器的负样本。
9.根据权利要求8所述的方法,其特征在于,在每次迭代训练之前,所述方法还包括:
获得第二待清洗人脸检测数据集,所述第二待清洗人脸检测数据集包括多张包含脸部的图像及其对应的标签文件,一张包含脸部的图像对应的标签文件用于记录该张图像包含的每张脸部的位置信息;
将所述第二待清洗人脸检测数据集添加到所述非人脸识别器的训练数据中;
将所述第二待清洗人脸检测数据集添加到所述人脸位置检测器的训练数据中。
10.一种清洗人脸检测模型的训练数据的装置,其特征在于,所述装置包括:
第一获得模块,用于获得第一待清洗人脸检测数据集,所述第一待清洗人脸检测数据集包括多张包含脸部的图像及其对应的标签文件,一张包含脸部的图像对应的标签文件用于记录该图像包含的每张脸部的位置信息;
裁剪模块,用于根据所述第一待清洗人脸检测数据集中每张包含脸部的图像对应的标签文件,对该每张包含脸部的图像中的脸部区域进行裁剪,得到脸部局部图像;
检测模块,用于将所述脸部局部图像分别送入人头姿态检测器、非人脸识别器和人脸位置检测器,分别得到人头姿态角度异常的脸部局部图像、非真实人脸的脸部局部图像和不含人脸的脸部局部图像;
清洗模块,用于根据所述人头姿态角度异常的脸部局部图像、非真实人脸的脸部局部图像和不含人脸的脸部局部图像,对第一待清洗人脸检测数据集进行清洗,得到清洗后的人脸检测数据集。
CN202111020383.5A 2021-09-01 2021-09-01 一种清洗人脸检测模型的训练数据的方法和装置 Active CN113449713B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111020383.5A CN113449713B (zh) 2021-09-01 2021-09-01 一种清洗人脸检测模型的训练数据的方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111020383.5A CN113449713B (zh) 2021-09-01 2021-09-01 一种清洗人脸检测模型的训练数据的方法和装置

Publications (2)

Publication Number Publication Date
CN113449713A true CN113449713A (zh) 2021-09-28
CN113449713B CN113449713B (zh) 2021-11-19

Family

ID=77819288

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111020383.5A Active CN113449713B (zh) 2021-09-01 2021-09-01 一种清洗人脸检测模型的训练数据的方法和装置

Country Status (1)

Country Link
CN (1) CN113449713B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120114250A1 (en) * 2010-11-05 2012-05-10 Ricoh Company, Ltd. Method and system for detecting multi-view human face
CN102799877A (zh) * 2012-09-11 2012-11-28 上海中原电子技术工程有限公司 人脸图像筛选方法及系统
CN108932343A (zh) * 2018-07-24 2018-12-04 南京甄视智能科技有限公司 人脸图像数据库的数据集清洗方法与系统
CN110059642A (zh) * 2019-04-23 2019-07-26 北京海益同展信息科技有限公司 人脸图像筛选方法与装置
CN111339889A (zh) * 2020-02-20 2020-06-26 浙江大华技术股份有限公司 人脸优选方法、装置及存储介质
CN111476105A (zh) * 2020-03-17 2020-07-31 深圳力维智联技术有限公司 人脸数据清洗方法、装置及设备
CN112507985A (zh) * 2021-02-03 2021-03-16 成都新希望金融信息有限公司 人脸图像筛选方法、装置、电子设备及存储介质
CN112597862A (zh) * 2020-12-16 2021-04-02 北京芯翌智能信息技术有限公司 一种用于人脸数据清洗的方法与设备
CN113095284A (zh) * 2021-04-30 2021-07-09 平安国际智慧城市科技股份有限公司 人脸选取方法、装置、设备及计算机可读存储介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120114250A1 (en) * 2010-11-05 2012-05-10 Ricoh Company, Ltd. Method and system for detecting multi-view human face
CN102799877A (zh) * 2012-09-11 2012-11-28 上海中原电子技术工程有限公司 人脸图像筛选方法及系统
CN108932343A (zh) * 2018-07-24 2018-12-04 南京甄视智能科技有限公司 人脸图像数据库的数据集清洗方法与系统
CN110059642A (zh) * 2019-04-23 2019-07-26 北京海益同展信息科技有限公司 人脸图像筛选方法与装置
CN111339889A (zh) * 2020-02-20 2020-06-26 浙江大华技术股份有限公司 人脸优选方法、装置及存储介质
CN111476105A (zh) * 2020-03-17 2020-07-31 深圳力维智联技术有限公司 人脸数据清洗方法、装置及设备
CN112597862A (zh) * 2020-12-16 2021-04-02 北京芯翌智能信息技术有限公司 一种用于人脸数据清洗的方法与设备
CN112507985A (zh) * 2021-02-03 2021-03-16 成都新希望金融信息有限公司 人脸图像筛选方法、装置、电子设备及存储介质
CN113095284A (zh) * 2021-04-30 2021-07-09 平安国际智慧城市科技股份有限公司 人脸选取方法、装置、设备及计算机可读存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
夏洋洋 等: "人脸识别背后的数据清理问题研究", 《智能系统学报》 *

Also Published As

Publication number Publication date
CN113449713B (zh) 2021-11-19

Similar Documents

Publication Publication Date Title
US10896349B2 (en) Text detection method and apparatus, and storage medium
CN109146892B (zh) 一种基于美学的图像裁剪方法及装置
CN110163114B (zh) 一种人脸角度及人脸模糊度分析方法、系统和计算机设备
CN109697416B (zh) 一种视频数据处理方法和相关装置
WO2021139324A1 (zh) 图像识别方法、装置、计算机可读存储介质及电子设备
CN111524145A (zh) 图片智能裁剪方法、系统、计算机设备及存储介质
CN110708568B (zh) 一种视频内容突变检测方法及装置
CN108520263B (zh) 一种全景图像的识别方法、系统及计算机存储介质
CN111460355A (zh) 一种页面解析方法和装置
CN112199545A (zh) 基于图片文字定位的关键词显示方法、装置及存储介质
WO2022148378A1 (zh) 违规用户处理方法、装置及电子设备
CN113205047A (zh) 药名识别方法、装置、计算机设备和存储介质
JP7121132B2 (ja) 画像処理方法、装置及び電子機器
CN111062388B (zh) 基于深度学习的广告文字的识别方法、系统、介质及设备
CN113449713B (zh) 一种清洗人脸检测模型的训练数据的方法和装置
CN111783561A (zh) 审图结果修正方法、电子设备及相关产品
CN111163332A (zh) 视频色情度检测方法、终端及介质
CN113573137A (zh) 视频画布边界检测方法、系统、终端设备及存储介质
CN108268904B (zh) 一种图片识别方法、装置及电子设备
CN113139629A (zh) 一种字体识别方法、装置、电子设备及存储介质
Jaiswal et al. Automatic image cropping using saliency map
CN112258575A (zh) 一种同步定位和地图构建中物体的快速识别方法
CN112818728A (zh) 年龄识别的方法及相关产品
CN113537199B (zh) 图像边界框筛选方法、系统、电子装置及介质
CN111782874B (zh) 视频检索方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant