CN113705650B - 一种人脸图片集的处理方法、装置、介质和计算设备 - Google Patents

一种人脸图片集的处理方法、装置、介质和计算设备 Download PDF

Info

Publication number
CN113705650B
CN113705650B CN202110963419.7A CN202110963419A CN113705650B CN 113705650 B CN113705650 B CN 113705650B CN 202110963419 A CN202110963419 A CN 202110963419A CN 113705650 B CN113705650 B CN 113705650B
Authority
CN
China
Prior art keywords
face
pictures
picture set
clustering
quality
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110963419.7A
Other languages
English (en)
Other versions
CN113705650A (zh
Inventor
刘弘业
洪伟
唐景群
姜波
胡光龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Netease Hangzhou Network Co Ltd
Original Assignee
Netease Hangzhou Network Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Netease Hangzhou Network Co Ltd filed Critical Netease Hangzhou Network Co Ltd
Priority to CN202110963419.7A priority Critical patent/CN113705650B/zh
Publication of CN113705650A publication Critical patent/CN113705650A/zh
Application granted granted Critical
Publication of CN113705650B publication Critical patent/CN113705650B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211Selection of the most significant subset of features
    • G06F18/2113Selection of the most significant subset of features by ranking or filtering the set of features, e.g. using a measure of variance or of feature cross-correlation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211Selection of the most significant subset of features
    • G06F18/2115Selection of the most significant subset of features by evaluating different subsets according to an optimisation criterion, e.g. class separability, forward selection or backward elimination
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/23Clustering techniques
    • G06F18/232Non-hierarchical techniques
    • G06F18/2321Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本公开的实施方式提供了一种人脸图片集的处理方法,包括:获取作为人脸识别的图片样本库的人脸图片集;对人脸图片集中的人脸图片分别进行头部姿态估计处理,确定对应的人脸偏转角度;对人脸图片集中的人脸图片分别进行图片质量评估,确定出对应的质量评分;将人脸偏转角度与质量评分作为聚类特征,构建对应的聚类特征向量;基于预设的无监督聚类算法,对聚类特征向量进行无监督聚类,并基于聚类结果删除人脸图片集中的低质量图片。通过以上技术方案,既无需大量人工参与,降低了人力成本,又加快了图片的清洗速度,缩短了清洗时间,极大的提高了数据清洗的效率;通过无监督聚类算法实现对图片的高低质量聚类,有效保证了图片筛选质量的可靠性。

Description

一种人脸图片集的处理方法、装置、介质和计算设备
技术领域
本公开的实施方式涉及人工智能技术领域,更具体地,本公开的实施方式涉及一种人脸图片集的处理方法、装置、介质和计算设备。
背景技术
本部分旨在为权利要求书中陈述的本公开的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。
人脸识别技术,是一种基于人的脸部特征信息进行身份识别的技术。
目前,人脸识别技术主要由人脸检测、人脸对齐、人脸编码和人脸匹配四个部分组成。
举例来说,可以先通过人脸检测确定出人脸图像在图片中的位置信息,再通过人脸对齐将检测出的人脸图像对齐成统一标准的形状,然后通过人脸编码提取检测出的人脸图像的特征,最后通过人脸匹配将检测出的人脸图像的特征,与人脸数据样本库中预先存储的特征进行比对,根据相似度对人脸的身份信息进行判断。
由上述过程可知,人脸数据样本库的质量会直接影响人脸识别的准确性。因此,在构建人脸数据样本库时,需要对数据的质量进行筛选,这个过程也被称为数据清洗。
例如,可以采用人工的方式,获取图片,并对图片进行筛选,去除质量不佳的图片,再对筛选后的图片进行标注,截取出图片中的人脸图片来构建人脸数据样本库。
然而,在实际应用中,通常需要大批量的获取高质量人脸数据样本,如果仍采用人工进行数据清洗的方式,既费时又费力,效率过于低下。
发明内容
为此,非常需要一种省时省力的数据清洗方案,既可以降低人力成本,又可以提高数据清洗的效率。
在本上下文中,本公开的实施方式期望提供一种人脸图片集的处理方法及装置。
在本公开实施方式的第一方面中,提供了一种人脸图片集的处理方法,包括:
获取作为人脸识别的图片样本库的人脸图片集;
对所述人脸图片集中的人脸图片分别进行头部姿态估计处理,确定出所述人脸图片集中的人脸图片对应的人脸偏转角度;
对所述人脸图片集中的人脸图片分别进行图片质量评估,确定出与所述人脸数据集中的人脸图片对应的质量评分;
将所述人脸偏转角度与所述质量评分作为聚类特征,构建与所述人脸图片集中的人脸图片分别对应的聚类特征向量;
基于预设的无监督聚类算法,对所述与人脸图片集中的人脸图片分别对应的聚类特征向量进行无监督聚类,并基于聚类结果删除所述人脸图片集中的低质量图片。
在本公开的一个实施例中,所述方法还包括:
通过网络爬虫软件,从网络中爬取网络图片;
对爬取到的所述网络图片进行人脸检测,以确定所述网络图片中包含人脸特征的网络图片;
从所述包含人脸特征的网络图片中截取包含人脸特征的人脸图片,并基于截取出的人脸图片生成作为所述人脸识别的图片样本库的人脸图片集。
在本公开的一个实施例中,所述对所述人脸图片集中的人脸图片分别进行头部姿态估计处理,确定出所述人脸图片集中的人脸图片对应的人脸偏转角度,包括:
将所述人脸图片集中的人脸图片,输入至基于深度学习的头部姿态估计网络进行头部姿态估计处理,并获取所述头部姿态估计网络输出的与所述人脸图片对应的人脸偏转角度;
所述对所述人脸图片集中的人脸图片分别进行图片质量评估,确定出与所述人脸数据集中的人脸图片对应的质量评分,包括:
将所述人脸图片集中的人脸图片,输入至基于深度学习的图片质量评估网络进行图片质量评估,并获取所述图片质量评估网络输出的与所述人脸图片对应的质量评分。
在本公开的一个实施例中,所述质量评分表征所述人脸图片中的人脸区域的清晰度。
在本公开的一个实施例中,所述基于深度学习的头部姿态估计网络包括:Deep-Head-Pose Net;所述基于深度学习的图片质量评估网络包括:Face-Quality Net。
在本公开的一个实施例中,所述方法还包括:
将所述人脸图片集中的人脸图片转换为YUV格式的人脸图片,并提取所述YUV格式的人脸图片的Y分量;
所述构建与所述人脸图片集中的人脸图片分别对应的聚类特征向量,包括:
将所述人脸偏转角度、所述质量评分以及所述Y分量作为聚类特征,构建与所述人脸图片集中的人脸图片分别对应的聚类特征向量。
在本公开的一个实施例中,所述方法还包括:
从所述人脸图片集中的人脸图片中提取人脸特征;
所述构建与所述人脸图片集中的人脸图片分别对应的聚类特征向量,包括:
将所述人脸偏转角度、所述质量评分以及所述人脸特征作为聚类特征,构建与所述人脸图片集中的人脸图片分别对应的聚类特征向量。
在本公开的一个实施例中,所述无监督聚类算法包括基于密度的聚类算法。
在本公开的一个实施例中,所述无监督聚类算法包括DBSCAN算法。
在本公开的一个实施例中,从所述人脸图片集中的人脸图片中提取人脸特征,并基于所述人脸特征对所述人脸图片集中的人脸图片进行离群点异常值检测,以确认所述人脸图片集中的异常人脸图片,并删除所述人脸图片集中的异常人脸图片。
在本公开的一个实施例中,对所述人脸图片集中的人脸图片进行离群点异常检测所采用的算法为孤立森林算法。
在本公开的一个实施例中,所述方法还包括:
计算所述人脸图片集中的人脸图片分别与所述人脸图片集中的其它人脸图片的结构相似性SSIM取值;以及,针对所述人脸图片集中所述SSIM取值达到阈值的图片进行去重处理。
在本公开实施方式的第二方面中,提供了一种人脸图片集的处理装置,包括:
获取模块,获取作为人脸识别的图片样本库的人脸图片集;
头部姿态估计模块,对所述人脸图片集中的人脸图片分别进行头部姿态估计处理,确定出所述人脸图片集中的人脸图片对应的人脸偏转角度;
图片质量评估模块,对所述人脸图片集中的人脸图片分别进行图片质量评估,确定出与所述人脸数据集中的人脸图片对应的质量评分;
构建模块,将所述人脸偏转角度与所述质量评分作为聚类特征,构建与所述人脸图片集中的人脸图片分别对应的聚类特征向量;
聚类模块,基于预设的无监督聚类算法,对所述与人脸图片集中的人脸图片分别对应的聚类特征向量进行无监督聚类,并基于聚类结果删除所述人脸图片集中的低质量图片。
在本公开实施方式的第三方面中,提供了一种介质;其上存储有计算机指令,该指令被处理器执行时实现如下所述方法的步骤:
获取模块,获取作为人脸识别的图片样本库的人脸图片集;
头部姿态估计模块,对所述人脸图片集中的人脸图片分别进行头部姿态估计处理,确定出所述人脸图片集中的人脸图片对应的人脸偏转角度;
图片质量评估模块,对所述人脸图片集中的人脸图片分别进行图片质量评估,确定出与所述人脸数据集中的人脸图片对应的质量评分;
构建模块,将所述人脸偏转角度与所述质量评分作为聚类特征,构建与所述人脸图片集中的人脸图片分别对应的聚类特征向量;
聚类模块,基于预设的无监督聚类算法,对所述与人脸图片集中的人脸图片分别对应的聚类特征向量进行无监督聚类,并基于聚类结果删除所述人脸图片集中的低质量图片。
在本公开实施方式的第四方面中,提供了一种计算设备,包括:
处理器;以及,用于存储处理器可执行指令的存储器;
其中,所述处理器通过运行所述可执行指令以实现如下所述方法的步骤:
获取模块,获取作为人脸识别的图片样本库的人脸图片集;
头部姿态估计模块,对所述人脸图片集中的人脸图片分别进行头部姿态估计处理,确定出所述人脸图片集中的人脸图片对应的人脸偏转角度;
图片质量评估模块,对所述人脸图片集中的人脸图片分别进行图片质量评估,确定出与所述人脸数据集中的人脸图片对应的质量评分;
构建模块,将所述人脸偏转角度与所述质量评分作为聚类特征,构建与所述人脸图片集中的人脸图片分别对应的聚类特征向量;
聚类模块,基于预设的无监督聚类算法,对所述与人脸图片集中的人脸图片分别对应的聚类特征向量进行无监督聚类,并基于聚类结果删除所述人脸图片集中的低质量图片。
本公开以上的实施方式,至少具有如下的有益效果:
通过对作为人脸识别的图片样本库中的人脸图片集进行姿态估计处理,可以确定图片中的人脸偏转角度,再通过对人脸图片进行质量评估确定对应的质量评分,然后将人脸偏转角度和质量评分作为聚类特征,构建新的聚类特征向量,并通过预设的无监督聚类算法,实现人脸图片的高低质量聚类,从而保留高质量人脸图片。通过以上技术方案,一方面,可以基于深度学习实现图片获取以及数据清洗的自动化处理,既无需大量人工参与,降低了人力成本,又加快了图片的清洗速度,缩短了清洗时间,极大的提高了数据清洗的效率;另一方面,通过选取图片中特定特征作为新的聚类特征,通过无监督聚类算法实现对图片的高低质量聚类,有效保证了图片筛选质量的可靠性。
附图说明
通过参考附图阅读下文的详细描述,本公开示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中,以示例性而非限制性的方式示出了本公开的若干实施方式,其中:
图1示意性地示出了根据本公开实施方式的一种获取人脸图片集的流程图;
图2示意性地示出了根据本公开实施方式的一种人脸图片集的处理方法的流程图;
图3示意性地示出了根据本公开实施方式的一种人脸偏转角度的示意图;
图4示意性地示出了根据本公开实施方式的一种Deep-Head-Pose Net的结构示意图;
图5示意性地示出了根据本公开实施方式的一种基于深度学习的图片质量评估网络的结构示意图;
图6示意性地示出了根据本公开实施方式的一种无监督聚类的示意图;
图7示意性地示出了根据本公开实施方式的一种人脸图片集的处理装置的框图;
图8示意性地示出了根据本公开实施方式的一种人脸图片集的处理介质的示意图;
图9示意性地示出了根据本公开实施方式的一种能够实现上述方法的电子设备的示意图。
在附图中,相同或对应的标号表示相同或对应的部分。
具体实施方式
下面将参考若干示例性实施方式来描述本公开的原理和精神。应当理解,给出这些实施方式仅仅是为了使本领域技术人员能够更好地理解进而实现本公开,而并非以任何方式限制本公开的范围。相反,提供这些实施方式是为了使本公开更加透彻和完整,并且能够将本公开的范围完整地传达给本领域的技术人员。
本领域技术人员知道,本公开的实施方式可以实现为一种系统、装置、设备、方法或计算机程序产品。因此,本公开可以具体实现为以下形式,即:完全的硬件、完全的软件(包括固件、驻留软件、微代码等),或者硬件和软件结合的形式。
根据本公开的实施方式,提出了一种人脸图片集的处理方法、介质、装置和计算设备。
在本文中,需要理解的是,附图中的任何元素数量均用于示例而非限制,以及任何命名都仅用于区分,而不具有任何限制含义。
下面参考本公开的若干代表性实施方式,详细阐释本公开的原理和精神。
发明概述
如前所述,本公开人发现,由于人脸识别技术中,人脸样本库的质量高低会直接影响人脸识别的准确性,因此需要保证人脸识别的图片样本库的质量,即人脸图片集的质量。而目前采用的通过人工对人脸图片集进行筛选的方式既费时又费力,急需一种能够有效实现对人脸图片集进行自动化数据清洗的方案。
有鉴于此,本说明书提供一种通过对作为人脸识别的图片样本库中的人脸图片集进行姿态估计处理,可以确定图片中的人脸偏转角度,再通过对人脸图片进行质量评估确定对应的质量评分,然后将人脸偏转角度和质量评分作为聚类特征,构建新的聚类特征向量,并通过预设的无监督聚类算法,实现人脸图片的高低质量聚类,从而保留高质量人脸图片的技术方案。
本说明书的核心技术构思在于:
为了对人脸识别的图片样本库进一步做数据清洗,获取高质量的人脸图片,可以从高质量人脸图片所具备的特点着手,例如,图片中人脸的头部姿态易于辨别、人脸轮廓清晰可见、图片亮度适中、以及人脸表情不过于夸张等方面。进一步的,通过选取合适的评价角度,对图片样本库进行数据清洗,筛选出符合要求的高质量人脸图片,用于构建高质量的新的图片样本库。
在实现时,可以选取头部姿态和图片质量作为主要的评价参数,可以先对人脸图片进行头部姿态估计处理,确定出人脸图片对应的人脸偏转角度;再对人脸图片进行图片质量评估,确定出人脸图片对应的质量评分;然后将人脸偏转角度与质量评分作为聚类特征,构建与人脸图片对应的聚类特征向量;再基于预设的无监督聚类算法,对聚类特征向量进行无监督聚类,并基于聚类结果删除人脸图片集中的低质量图片。
通过以上技术方案,一方面,可以基于深度学习实现图片获取以及数据清洗的自动化处理,既无需大量人工参与,降低了人力成本,又加快了图片的清洗速度,缩短了清洗时间,极大的提高了数据清洗的效率;另一方面,通过选取图片中特定特征作为新的聚类特征,通过无监督聚类算法实现对图片的高低质量聚类,有效保证了图片筛选质量的可靠性。
在介绍了本公开的基本原理之后,下面具体介绍本公开的各种非限制性实施方式。
应用场景总览
人脸识别技术作为一种常见的图像处理技术,在实际生活中有着非常广泛的应用,例如刷脸支付、刷脸打卡、身份认证等。而这些应用的实现,都需要高质量的人脸图片集进行支撑,请参见图1,图1是一示例性实施例提供的一种获取人脸图片集的流程图。
在上述过程中,最初获取到的人脸图片,无论是图片内容,还是图片尺寸,都是千差万别的,因此,需要进行图片的预处理,例如将图片通过裁剪或缩放的方式处理为统一的尺寸,然后对预处理后的图片进行人脸检测,确定图片中包含人脸特征的图片。然而,由于检测的结果通常不能满足高质量的要求,仍需要进行人工清洗,从而去除结果中的低质量图片。
但由于人工清洗的方式既费时又费力,效率还很低,因此,如何通过自动化数据清洗的方式,获取高质量的人脸图片集一直都是图像处理领域的重点问题。
需要注意的是,上述应用场景仅是为了便于理解本公开的精神和原理而示出,本公开的实施方式在此方面不受任何限制。相反,本公开的实施方式可以应用于适用的任何场景。
示例性方法
下面将通过具体的实施例对本说明书的技术构思进行详细描述。
本公开旨在提供一种通过对作为人脸识别的图片样本库中的人脸图片集进行姿态估计处理,可以确定图片中的人脸偏转角度,再通过对人脸图片进行质量评估确定对应的质量评分,然后将人脸偏转角度和质量评分作为聚类特征,构建新的聚类特征向量,并通过预设的无监督聚类算法,实现人脸图片的高低质量聚类,从而保留高质量人脸图片的技术方案。
在实现时,可以获取作为人脸识别的图片样本库的人脸图片集;
例如,可以通过网络爬虫软件,从网络中爬取网络图片;对爬取到的网络图片进行人脸检测,以确定网络图片中包含人脸特征的网络图片;从包含人脸特征的网络图片中截取包含人脸特征的人脸图片,并基于截取出的人脸图片生成作为人脸识别的图片样本库的人脸图片集。
在获取人脸图片集之后,可以对人脸图片集中的人脸图片分别进行头部姿态估计处理,确定出人脸图片集中的人脸图片对应的人脸偏转角度。
例如,可以将人脸图片集中的人脸图片,输入至基于深度学习的头部姿态估计网络进行头部姿态估计处理,并获取头部姿态估计网络输出的与人脸图片对应的人脸偏转角度。
然后,可以对人脸图片集中的人脸图片分别进行图片质量评估,确定出与人脸数据集中的人脸图片对应的质量评分。
例如,可以将人脸图片集中的人脸图片,输入至基于深度学习的图片质量评估网络进行图片质量评估,并获取图片质量评估网络输出的与人脸图片对应的质量评分。
接下来,可以将人脸偏转角度与质量评分作为聚类特征,构建与人脸图片集中的人脸图片分别对应的聚类特征向量。
后续,可以基于预设的无监督聚类算法,对与人脸图片集中的人脸图片分别对应的聚类特征向量进行无监督聚类,并基于聚类结果删除人脸图片集中的低质量图片。
例如,可以基于DBSCAN算法,基于密度对聚类特征向量进行无监督聚类,获取人脸图片集的高低质量的聚类结果,基于聚类结果删除人脸图片集中的低质量图片。
通过以上技术方案,一方面,可以基于深度学习实现图片获取以及数据清洗的自动化处理,既无需大量人工参与,降低了人力成本,又加快了图片的清洗速度,缩短了清洗时间,极大的提高了数据清洗的效率;另一方面,通过选取图片中特定特征作为新的聚类特征,通过无监督聚类算法实现对图片的高低质量聚类,有效保证了图片筛选质量的可靠性。
请参见图2,图2是一示例性实施例提供的一种人脸图片集的处理方法的流程图,所述方法包括以下步骤:
步骤201,获取作为人脸识别的图片样本库的人脸图片集。
值得说明的是,该人脸图片集可以是图片样本库中已有的图片的集合,也可以是将要作为图片样本库的图片的集合,本申请对此不做限定。本领域技术人员既可以将本方法应用于对已有图片样本库的数据清洗,也可以将本方法应用于在对图片样本库进行扩充时,对新的入库图片的数据清洗。
其中,获取上述人脸图片集的方式可以是人工获取,也可以通过软件工具获取,例如程序或脚本等。
优选的,在示出的一种实施方式中,可以通过网络爬虫软件,从网络中爬取网络图片;对爬取到的所述网络图片进行人脸检测,以确定所述网络图片中包含人脸特征的网络图片;从所述包含人脸特征的网络图片中截取包含人脸特征的人脸图片,并基于截取出的人脸图片生成作为所述人脸识别的图片样本库的人脸图片集。
例如,可以通过网络爬虫软件,设置爬取的规则,从预设的网站中自动的获取图片;再对爬取后的图片进行人脸检测,根据检测到的人脸特征截取图片中的人脸区域作为人脸图片,构建作为人脸识别的图片样本库的人脸图片集。
步骤202,对所述人脸图片集中的人脸图片分别进行头部姿态估计处理,确定出所述人脸图片集中的人脸图片对应的人脸偏转角度。
其中,人脸偏转角度可以包括Yaw、Roll和Pitch三个偏转角度,即偏航角、侧倾角和俯仰角。
例如,请参见图3,图3是一示例性实施例提供的一种人脸偏转角度的示意图,图3中给出了Yaw、Roll和Pitch分别代表的旋转方向,通常可以对Yaw、Roll和Pitch设置一个旋转角度范围,如[-90°,90°]。
这里需要说明的是,在人脸识别技术中,需要使用到人脸对齐。人脸对齐,是指将不同角度的人脸图像对齐成同一种标准的形状。
具体的,可以先定位人脸上的特征点,然后通过几何变换,使各个特征点对齐。
例如,可以通过定位人脸和五官的轮廓上的点,通过仿射、旋转或缩放变换,将眼睛、嘴等部位移到相同位置。
显然,如果图片中的人低头或者仰头,又或者转头,都不利于人脸对齐的处理,这类图片不适合作为高质量的人脸图片集,因此,需要确定人脸图片的人脸偏转角度。
在示出的一种实施方式中,可以将所述人脸图片集中的人脸图片,输入至基于深度学习的头部姿态估计网络进行头部姿态估计处理,并获取所述头部姿态估计网络输出的与所述人脸图片对应的人脸偏转角度。
其中,头部姿态估计网络可以包括Quat Net、FSA Net或Deep-Head-Pose Net等。
优选的,在示出的一种实施方式中,所述基于深度学习的头部姿态估计网络包括:Deep-Head-Pose Net。
举例说明,请参见图4,图4是一示例性实施例提供的一种Deep-Head-Pose Net的结构示意图,通过ResNet50作为主干网络提取特征,结合了分类和回归两种目标函数来预测3个人脸头部姿态角度。
其中,可以将连续的Yaw、Roll和Pitch角度值,在[-99°,99°]范围内,以每3度作为间隔分出66个区间,也就是66个类,类别标签可以从0开始,到65结束。例如,-94°在[-96°,-93°]区间内,属于第1类的范围,可以分为第1类。
值得说明的是,以上分类标准仅是一种优选的示例,并不唯一,本领域技术人员可以根据实际情况自行确定。
继续举例,在进行分类预测之后,可以通过softmax得出分类概率,再计算分类损失Cross Entropy Loss,然后通过分到66类的概率乘以相应的角度值求出期望值expection,最后将期望值和实际的角度计算均方损失MSE Loss,来训练Deep-Head-PoseNet网络。如此训练好后的网络就可以有效的获得每张人脸图的三个偏转角度。
步骤203,对所述人脸图片集中的人脸图片分别进行图片质量评估,确定出与所述人脸数据集中的人脸图片对应的质量评分。
其中,图片质量评估是指对每张人脸图片进行一个总体质量上的综合打分,得到每张图片对应的一个具体分值。
例如,如果人脸面部有严重的遮挡,或者人脸图片模糊度非常高,分值就会很低,相反的,无遮挡、清晰度高的图片分值就很高。
优选的,在示出的一种实施方式中,所述质量评分可以表征所述人脸图片中的人脸区域的清晰度。
例如,可以将质量评分设为0-100,分值越大,则人脸区域的清晰度越高。
在示出的一种实施方式中,可以将所述人脸图片集中的人脸图片,输入至基于深度学习的图片质量评估网络进行图片质量评估,并获取所述图片质量评估网络输出的与所述人脸图片对应的质量评分。
其中,图片质量评估网络可以包括MagFace、EQFace或Face-Quality Net等。
优选的,在示出的一种实施方式中,所述基于深度学习的图片质量评估网络包括:Face-Quality Net。
举例来说,请参见图5,图5是一示例性实施例提供的一种基于深度学习的图片质量评估网络的结构示意图,如图5所示,I为输入的人脸图片集中的图片,M为人脸检测网络(比如可以将Retinaface作为人脸检测网络),中间层为dropout的M的随机子网络的嵌入,通过度量不同的随机子网络输出的结果X,将不同结果之间的变化幅度定义为稳健性的度量方法,从而去评判人脸图片的总体质量。
简单来说,对于高质量的人脸图片,经过不同的随机子网络输出的结果,相差不会太多,而对于低质量图片,不同的随机子网络输出的结果,很有可能相差很大。
其中,dropout是指对于神经网络中的神经网络单元,可以按一定的几率将其暂时从网络中丢弃。
继续举例,通过将不同子网络的输出结果之间两两比较,计算出欧氏距离;进一步的,可以对得到的所有欧式距离取均值,再通过转化映射到一个具体数值范围内,例如,质量评分的范围可以是(-1,1),越接近于0,质量越高。
在上述过程中,不同于传统的图像质量评价方式,既不需要设计和训练计算模型,也不需要指定固定的数值,仅基于利用现有的人脸检测网络,实现图片的质量评估,并给出相应的质量评分。
值得说明的是,在获取到人脸图片集后,对于头部姿态估计处理和图片质量评估的先后顺序,本申请不做限定。
步骤204,将所述人脸偏转角度与所述质量评分作为聚类特征,构建与所述人脸图片集中的人脸图片分别对应的聚类特征向量。
具体的,可以将上述确定出的每张图片对应的人脸偏转角度Yaw、Roll和Pitch,以及每张图片对应的质量评分,作为聚类特征,构建每张图片分别对应的聚类特征向量。
例如,可以对每张图片的Yaw、Roll、Pitch和质量评分进行拼接后,融合成每张图片对应的新的特征向量,这个新的特征向量就是每张图片分别对应的聚类特征向量。
由于上述聚类特征向量,融合了图片样本库构建时,所依赖的关键特征,即头部姿势和图片质量,可以有效表征人脸图片的综合质量。
进一步的,在构建聚类特征向量时,可以增加新的特征。
例如,该特征可以是人工清洗时的一项重要的考量,通过该特征可以有效的筛选高质量图片。
优选的,在示出的一种实施方式中,可以将所述人脸图片集中的人脸图片转换为YUV格式的人脸图片,并提取所述YUV格式的人脸图片的Y分量。
具体的,可以将RGB格式的人脸图片,转换为YUV格式,即明亮度,色彩和饱和度,其中Y代表明亮度;在完成转换之后,可以提取YUV格式的人脸图片的Y分量,然后基于Y分量的值,根据预设的阈值,从人脸图片集中去除过曝和过暗的低质量人脸图片,保留明亮度满足要求的高质量人脸图片。
进一步的,可以将所述人脸偏转角度、所述质量评分以及所述Y分量作为聚类特征,构建与所述人脸图片集中的人脸图片分别对应的聚类特征向量。
另外,人脸图片本身的特征,也可以用于构建聚类特征向量。
在示出的一种实施方式中,可以从所述人脸图片集中的人脸图片中提取人脸特征;
例如,可以基于Retinaface网络获取人脸图片的512维特征。其中,使用何种网络获取人脸特征,本申请不做特别限定。
值得说明的是,在前述对爬取到的网络图片进行人脸检测时,已经确定了网络图片中的人脸特征,因此,为提高效率,避免流程重复,可以直接将先前确定出的人脸特征,作为构建聚类特征向量的人脸图片中的人脸特征。
进一步的,可以将所述人脸偏转角度、所述质量评分、所述Y分量以及所述人脸特征作为聚类特征,构建与所述人脸图片集中的人脸图片分别对应的聚类特征向量。
举例说明,请参见图6,图6是一示例性实施例提供的一种无监督聚类的示意图,如图6所示,可以基于深度学习的头部姿态估计网络Deep-Head-Pose Net确定人脸偏转角度Yaw、Roll和Pitch,也可以提取YUV格式的人脸图片的Y分量,还可以基于深度学习的图片质量评估网络Face-Quality Net确定质量评分,以及可以基于人脸检测网络Retinaface获取人脸图片的512维特征;并将上述四个方面的特征,融合成新的特征,作为聚类特征,用于构建人脸图片的聚类特征向量。
步骤205,基于预设的无监督聚类算法,对所述与人脸图片集中的人脸图片分别对应的聚类特征向量进行无监督聚类,并基于聚类结果删除所述人脸图片集中的低质量图片。
其中,无监督学习是一种机器学习的方式,它本质上是一个统计手段,可以在没有标签的数据里发现潜在的一些结构,而无监督聚类算法则是一种常见的无监督学习算法,简单来说,就是实现对数据的自动分类。
在示出的一种实施方式中,所述无监督聚类算法包括基于密度的聚类算法。
常见的无监督聚类算法包括K均值聚类、层次聚类和t-SNE聚类等。而由于层次聚类算法和划分式聚类算法往往只能发现凸形的聚类簇,并不适用于发现各种任意形状的聚类簇,因此,可以利用基于密度的聚类算法。
在基于密度的聚类算法中,可以将整个样本空间点中的各目标类簇视为由一群的稠密样本点组成的,这些稠密样本点被低密度区域(噪声)分割,而算法的目的就是要过滤低密度区域,发现稠密样本点。
优选的,在示出的一种实施方式中,所述无监督聚类算法包括DBSCAN算法。
其中,DBSCAN(Density-based Spatial Clustering of Applications withNoise)算法一种基于高密度联通区域的聚类算法,它将类簇定义为高密度相连点的最大集合。它本身对噪声不敏感,并且能发现任意形状的类簇。
具体的,对于构建出的聚类特征向量组成的样本空间中,可以先通过实验法整定参数扫描半径Eps和最小包含点数MinPts。
其中,通过扫描半径Eps可以确定给定对象半径为Eps的区域,称为E领域,而当给点对象E领域内的样本点数大于等于MinPts,则可以称为核心对象,即MinPts为给定点在E领域内成为核心对象的最小领域点数。
接下来,可以任选一个未被访问的点开始,找出与其距离在Eps之内(包括Eps)的所有附近点。如果附近点的数量小于MinPts,则该点暂时被标记为噪声点。如果附近点的数量大于等于MinPts,则在当前点与其附近点形成一个簇,并且将出发点标记为已访问。然后可以进行递归,以相同的方法判断该簇内所有未被标记已访问的点,从而实现对该簇的扩展,即簇内所有点被标记为已访问。此时,可以继续去处理其他未被访问的点,直到遍历完成。
在上述过程中,基于密度的聚类算法不仅不需要人为指定聚类参数,还可以实现高质量图片和低质量图片的有效分离,同时剔除对爬取到的网络图片进行人脸检测时误检出的图片。
可见,不同于通常的高低质量图片判别方法(比如,基于已经标注了高质量和低质量的数据集进行训练,或者根据图片的亮度、对比度等特征进行评判),本申请通过人脸特征判别时的重要指标构建新的特征向量,利用无监督聚类算法的特性进行高低质量的聚类,以达到高低质量分离(例如图6所示的,基于图片的位姿、亮度、人脸质量以及人脸特征四个方面的特征进行融合,再基于DBSCAN进行密度的聚类,实现图片的高低质量分离),而这个过程既不需要额外标注数据,也不需要人为的再次调整内部参数,更不需要训练额外的网络,极大的提高了效率,节省了大量的时间和人力。
在上述对低质量图片过滤之后,还可以再对筛选出的高质量图片进行进一步的处理,以进一步提高图片样本库的质量。
在示出的一种实施方式中,可以从所述人脸图片集中的人脸图片中提取人脸特征,并基于所述人脸特征对所述人脸图片集中的人脸图片进行离群点异常值检测,以确认所述人脸图片集中的异常人脸图片,并删除所述人脸图片集中的异常人脸图片。
其中,由于孤立的离群点是一个明显偏离其他数据点的对象,因此,通过离群点异常值检测可以发现与大部分其他对象显著不同的对象,即异常对象。
具体的,可以从人脸图片集中的人脸图片中提取人脸特征,并基于人脸特征对人脸图片集中的人脸图片进行离群点异常值检测,从而将图像检测问题转化为数据维度中的离群点异常值检测问题;然后,在确定出人脸图片集中的异常人脸图片之后,可以对异常人脸图片执行删除操作,以去除高质量人脸图片集中的相对低质量的异常人脸图片,实现对人脸图片的深度筛选。
值得说明的是,针对于不同类型的异常,可以用不同的离群点异常值检测算法来进行检测。
优选的,在示出的一种实施方式中,对所述人脸图片集中的人脸图片进行离群点异常检测所采用的算法为孤立森林算法。
其中,孤立森林算法主要针对的是连续型结构化数据中的异常点,孤立森林算法总共分两步:首先,训练iForest,从训练集中进行采样,构建孤立树,对森林中的每棵孤立树进行测试,记录路径长度;其次,计算异常分数,根据异常分数计算公式,计算每个样本点的异常分数。
通过上述过程,可以去除高质量人脸图片集中的相对低质量的异常人脸图片,比如,人脸图片中的闭眼图片或表情夸张的图片等。
在示出的一种实施方式中,可以计算所述人脸图片集中的人脸图片分别与所述人脸图片集中的其它人脸图片的结构相似性SSIM取值;以及,针对所述人脸图片集中所述SSIM取值达到阈值的图片进行去重处理。
具体的,通过计算人脸图片集中的人脸图片各个人脸图片两两之间的结构相似性SSIM取值,并通过设定阈值,将SSIM取值达到阈值的图片进行删除,实现去重处理。
例如,对于人脸图片集中多张重复的图片,可以通过基于结构相似性SSIM取值进行去重,最终仅保留多张重复图片中的一张即可。
通过上述异常检测和去重过程,可以自动的实现对获取到的高质量图片样本库的二次处理,不仅进一步提高了图片样本库的质量,还可以避免使用人力对图片样本库进行二次校验,既节省了人力物力,又节约了时间。
在以上实施例中,通过对作为人脸识别的图片样本库中的人脸图片集进行姿态估计处理,可以确定图片中的人脸偏转角度,再通过对人脸图片进行质量评估确定对应的质量评分,然后将人脸偏转角度和质量评分作为聚类特征,构建新的聚类特征向量,并通过预设的无监督聚类算法,实现人脸图片的高低质量聚类,从而保留高质量人脸图片。
通过以上技术方案,一方面,可以基于深度学习实现图片获取以及数据清洗的自动化处理,既无需大量人工参与,降低了人力成本,又加快了图片的清洗速度,缩短了清洗时间,极大的提高了数据清洗的效率;另一方面,通过选取图片中特定特征作为新的聚类特征,通过无监督聚类算法实现对图片的高低质量聚类,有效保证了图片筛选质量的可靠性。
示例性装置
在介绍了本公开示例性实施方式的方法之后,接下来,请参见图7,图7是一示例性实施例提供的一种人脸图片集的处理装置的框图。
下述装置中各个模块的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程,在此不再赘述。对于装置实施例而言,由于其基本对应于方法实施例,所以相关之处参见方法实施例的部分说明即可。
如图7所示,人脸图片集的处理装置700可以包括:获取模块701、头部姿态估计模块702、图片质量评估模块703、构建模块704和聚类模块705。其中:
获取模块701被配置为,获取作为人脸识别的图片样本库的人脸图片集;
头部姿态估计模块702被配置为,对所述人脸图片集中的人脸图片分别进行头部姿态估计处理,确定出所述人脸图片集中的人脸图片对应的人脸偏转角度;
图片质量评估模块703被配置为,对所述人脸图片集中的人脸图片分别进行图片质量评估,确定出与所述人脸数据集中的人脸图片对应的质量评分;
构建模块704被配置为,将所述人脸偏转角度与所述质量评分作为聚类特征,构建与所述人脸图片集中的人脸图片分别对应的聚类特征向量;
聚类模块705被配置为,基于预设的无监督聚类算法,对所述与人脸图片集中的人脸图片分别对应的聚类特征向量进行无监督聚类,并基于聚类结果删除所述人脸图片集中的低质量图片。
在一实施例中,所述装置700还包括:
爬取模块706,通过网络爬虫软件,从网络中爬取若干网络图片;
检测模块707,对爬取到的所述若干网络图片进行人脸检测,以确定所述若干网络图片中包含人脸特征的网络图片;
截取模块708,从所述包含人脸特征的网络图片中截取包含人脸特征的人脸图片,并基于截取出的人脸图片生成作为所述人脸识别的图片样本库的人脸图片集。
在一实施例中,所述头部姿态估计模块702进一步:
将所述人脸图片集中的人脸图片,输入至基于深度学习的头部姿态估计网络进行头部姿态估计处理,并获取所述头部姿态估计网络输出的与所述人脸图片对应的人脸偏转角度;
所述图片质量评估模块703进一步:
将所述人脸图片集中的人脸图片,输入至基于深度学习的图片质量评估网络进行图片质量评估,并获取所述图片质量评估网络输出的与所述人脸图片对应的质量评分。
在一实施例中,所述质量评分表征所述人脸图片中的人脸区域的清晰度。
在一实施例中,所述基于深度学习的头部姿态估计网络包括:Deep-Head-PoseNet;所述基于深度学习的图片质量评估网络包括:Face-Quality Net。
在一实施例中,所述装置700还包括:
YUV转换模块709,将所述人脸图片集中的人脸图片转换为YUV格式的人脸图片,并提取所述YUV格式的人脸图片的Y分量;
所述聚类模块705进一步:
将所述人脸偏转角度、所述质量评分以及所述Y分量作为聚类特征,构建与所述人脸图片集中的人脸图片分别对应的聚类特征向量。
在一实施例中,所述装置700还包括:
人脸特征提取模块710,从所述人脸图片集中的人脸图片中提取人脸特征;
所述聚类模块705进一步:
将所述人脸偏转角度、所述质量评分以及所述人脸特征作为聚类特征,构建与所述人脸图片集中的人脸图片分别对应的聚类特征向量。
在一实施例中,所述无监督聚类算法包括基于密度的聚类算法。
在一实施例中,所述无监督聚类算法包括DBSCAN算法。
在一实施例中,所述装置700还包括:
异常检测模块711,从所述人脸图片集中的人脸图片中提取人脸特征,并基于所述人脸特征对所述人脸图片集中的人脸图片进行离群点异常值检测,以确认所述人脸图片集中的异常人脸图片,并删除所述人脸图片集中的异常人脸图片。
在一实施例中,对所述人脸图片集中的人脸图片进行离群点异常检测所采用的算法为孤立森林算法。
在一实施例中,所述装置700还包括:
去重模块712,计算所述人脸图片集中的人脸图片分别与所述人脸图片集中的其它人脸图片的结构相似性SSIM取值;并针对所述人脸图片集中所述SSIM取值达到阈值的图片进行去重处理。
上述人脸图片集的处理装置700的各个模块的具体细节已经在之前描述人脸图片集的处理方法流程中进行了详细的描述,因此,此处不再赘述。
应当注意,尽管在上文详细描述中提及人脸图片集的处理装置700的若干模块或者单元,但是这种划分并非强制性的。实际上,根据本公开的实施方式,上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之,上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
示例性介质
在介绍了本公开示例性实施方式的装置之后,接下来,请参见图8,图8是一示例性实施例提供的一种人脸图片集的处理介质的示意图。
在本公开的示例性实施例中,还提供了一种计算机可读存储介质,其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施例中,本公开的各个方面还可以实现为一种程序产品的形式,其包括程序代码,当所述程序产品在终端设备上运行时,所述程序代码用于使所述终端设备执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施例的步骤。
参考图8所示,描述了根据本公开的实施例的用于实现上述方法的程序产品80,其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码,并可以在终端设备,例如个人电脑上运行。然而,本公开的程序产品不限于此,在本文件中,可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了可读程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质,该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于无线、有线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操作的程序代码,所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中,远程计算设备可以通过任意种类的网络,包括局域网(LAN)或广域网(WAN),连接到用户计算设备,或者,可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
示例性计算设备
在介绍了本公开示例性实施方式的方法、介质和装置之后,接下来,请参见图9,图9是一示例性实施例提供的一种能够实现上述方法的电子设备的示意图。
下面参照图9来描述根据本公开的这种实施例的电子设备900。图9显示的电子设备900仅仅是一个示例,不应对本公开实施例的功能和使用范围带来任何限制。
如图9所示,电子设备900以通用计算设备的形式表现。电子设备900的组件可以包括但不限于:上述至少一个处理单元901、上述至少一个存储单元902、连接不同系统组件(包括存储单元902和处理单元901)的总线903。
其中,所述存储单元存储有程序代码,所述程序代码可以被所述处理单元901执行,使得所述处理单元901执行本说明书上述各种实施例的步骤。
存储单元902可以包括易失性存储单元形式的可读介质,例如随机存取存储单元(RAM)9021和/或高速缓存存储单元9022,还可以进一步包括只读存储单元(ROM)9023。
存储单元902还可以包括具有一组(至少一个)程序模块9025的程序/使用工具9024,这样的程序模块9025包括但不限于:操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包含网络环境的现实。
总线903可以包括数据总线、地址总线和控制总线。
电子设备900也可以与一个或多个外部设备904(例如键盘、指向设备、蓝牙设备等)通信。这种通信可以通过输入/输出(I/O)接口905进行。并且,电子设备900还可以通过网络适配器906与一个或者多个网络(例如局域网(LAN),广域网(WAN)和/或公共网络,例如因特网)通信。如图所示,网络适配器906通过总线903与电子设备900的其它模块通信。应当明白,尽管图中未示出,可以结合电子设备900使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
通过以上的实施例的描述,本领域的技术人员易于理解,这里描述的示例实施例可以通过软件实现,也可以通过软件结合必要的硬件的方式来实现。因此,根据本公开实施例的技术方案可以以软件产品的形式体现出来,该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM,U盘,移动硬盘等)中或网络上,包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本公开实施例的方法。
应当注意,尽管在上文详细描述中提及了装置的若干单元/模块或子单元/模块,但是这种划分仅仅是示例性的并非强制性的。实际上,根据本公开的实施方式,上文描述的两个或更多单元/模块的特征和功能可以在一个单元/模块中具体化。反之,上文描述的一个单元/模块的特征和功能可以进一步划分为由多个单元/模块来具体化。
此外,尽管在附图中以特定顺序描述了本公开方法的操作,但是,这并非要求或者暗示必须按照该特定顺序来执行这些操作,或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地,可以省略某些步骤,将多个步骤合并为一个步骤执行,和/或将一个步骤分解为多个步骤执行。
虽然已经参考若干具体实施方式描述了本公开的精神和原理,但是应该理解,本公开并不限于所公开的具体实施方式,对各方面的划分也不意味着这些方面中的特征不能组合以进行受益,这种划分仅是为了表述的方便。本公开旨在涵盖所附权利要求的精神和范围内所包括的各种修改和等同布置。

Claims (22)

1.一种人脸图片集的处理方法,包括:
获取作为人脸识别的图片样本库的人脸图片集;
将所述人脸图片集中的人脸图片,输入至基于深度学习的头部姿态估计网络进行头部姿态估计处理,并获取所述头部姿态估计网络输出的与所述人脸图片对应的人脸偏转角度;
将所述人脸图片集中的人脸图片,输入至基于深度学习的图片质量评估网络进行图片质量评估,并获取所述图片质量评估网络输出的与所述人脸图片对应的质量评分;
将所述人脸偏转角度与所述质量评分作为聚类特征,构建与所述人脸图片集中的人脸图片分别对应的聚类特征向量;
基于预设的基于密度的无监督聚类算法,对所述与人脸图片集中的人脸图片分别对应的聚类特征向量进行无监督聚类,并基于聚类结果删除与聚类结果中的低密度区域对应的所述人脸图片集中的低质量图片。
2.根据权利要求1所述的方法,所述方法还包括:
通过网络爬虫软件,从网络中爬取网络图片;
对爬取到的所述网络图片进行人脸检测,以确定所述网络图片中包含人脸特征的网络图片;
从所述包含人脸特征的网络图片中截取包含人脸特征的人脸图片,并基于截取出的人脸图片生成作为所述人脸识别的图片样本库的人脸图片集。
3.根据权利要求1所述的方法,所述质量评分表征所述人脸图片中的人脸区域的清晰度。
4.根据权利要求1所述的方法,所述基于深度学习的头部姿态估计网络包括:Deep-Head-Pose Net;
所述基于深度学习的图片质量评估网络包括:Face-Quality Net。
5.根据权利要求1所述的方法,所述方法还包括:
将所述人脸图片集中的人脸图片转换为YUV格式的人脸图片,并提取所述YUV格式的人脸图片的Y分量;
所述构建与所述人脸图片集中的人脸图片分别对应的聚类特征向量,包括:
将所述人脸偏转角度、所述质量评分以及所述Y分量作为聚类特征,构建与所述人脸图片集中的人脸图片分别对应的聚类特征向量。
6.根据权利要求1所述的方法,所述方法还包括:
从所述人脸图片集中的人脸图片中提取人脸特征;
所述构建与所述人脸图片集中的人脸图片分别对应的聚类特征向量,包括:
将所述人脸偏转角度、所述质量评分以及所述人脸特征作为聚类特征,构建与所述人脸图片集中的人脸图片分别对应的聚类特征向量。
7.根据权利要求1所述的方法,所述无监督聚类算法包括DBSCAN算法。
8.根据权利要求1所述的方法,所述方法还包括:
从所述人脸图片集中的人脸图片中提取人脸特征,并基于所述人脸特征对所述人脸图片集中的人脸图片进行离群点异常值检测,以确认所述人脸图片集中的异常人脸图片,并删除所述人脸图片集中的异常人脸图片。
9.根据权利要求8所述的方法,对所述人脸图片集中的人脸图片进行离群点异常检测所采用的算法为孤立森林算法。
10.根据权利要求1所述的方法,所述方法还包括:
计算所述人脸图片集中的人脸图片分别与所述人脸图片集中的其它人脸图片的结构相似性SSIM取值;以及,针对所述人脸图片集中所述SSIM取值达到阈值的图片进行去重处理。
11.一种人脸图片集的处理装置,包括:
获取模块,获取作为人脸识别的图片样本库的人脸图片集;
头部姿态估计模块,将所述人脸图片集中的人脸图片,输入至基于深度学习的头部姿态估计网络进行头部姿态估计处理,并获取所述头部姿态估计网络输出的与所述人脸图片对应的人脸偏转角度;
图片质量评估模块,将所述人脸图片集中的人脸图片,输入至基于深度学习的图片质量评估网络进行图片质量评估,并获取所述图片质量评估
网络输出的与所述人脸图片对应的质量评分;
构建模块,将所述人脸偏转角度与所述质量评分作为聚类特征,构建与所述人脸图片集中的人脸图片分别对应的聚类特征向量;
聚类模块,基于预设的基于密度的无监督聚类算法,对所述与人脸图片集中的人脸图片分别对应的聚类特征向量进行无监督聚类,并基于聚类结果删除与聚类结果中的低密度区域对应的所述人脸图片集中的低质量图片。
12.根据权利要求11所述的装置,所述装置还包括:
爬取模块,通过网络爬虫软件,从网络中爬取网络图片;
检测模块,对爬取到的所述网络图片进行人脸检测,以确定所述网络图片中包含人脸特征的网络图片;
截取模块,从所述包含人脸特征的网络图片中截取包含人脸特征的人脸图片,并基于截取出的人脸图片生成作为所述人脸识别的图片样本库的人脸图片集。
13.根据权利要求11所述的装置,所述质量评分表征所述人脸图片中的人脸区域的清晰度。
14.根据权利要求11所述的装置,所述基于深度学习的头部姿态估计网络包括:Deep-Head-Pose Net;
所述基于深度学习的图片质量评估网络包括:Face-Quality Net。
15.根据权利要求11所述的装置,所述装置还包括:
YUV转换模块,将所述人脸图片集中的人脸图片转换为YUV格式的人脸图片,并提取所述YUV格式的人脸图片的Y分量;
所述聚类模块进一步:
将所述人脸偏转角度、所述质量评分以及所述Y分量作为聚类特征,构建与所述人脸图片集中的人脸图片分别对应的聚类特征向量。
16.根据权利要求11所述的装置,所述装置还包括:
人脸特征提取模块,从所述人脸图片集中的人脸图片中提取人脸特征;
所述聚类模块进一步:
将所述人脸偏转角度、所述质量评分以及所述人脸特征作为聚类特征,
构建与所述人脸图片集中的人脸图片分别对应的聚类特征向量。
17.根据权利要求11所述的装置,所述无监督聚类算法包括DBSCAN算法。
18.根据权利要求11所述的装置,所述装置还包括:
异常检测模块,从所述人脸图片集中的人脸图片中提取人脸特征,并基于所述人脸特征对所述人脸图片集中的人脸图片进行离群点异常值检测,以确认所述人脸图片集中的异常人脸图片,并删除所述人脸图片集中的异常人脸图片。
19.根据权利要求18所述的装置,对所述人脸图片集中的人脸图片进行离群点异常检测所采用的算法为孤立森林算法。
20.根据权利要求11所述的装置,所述装置还包括:
去重模块,计算所述人脸图片集中的人脸图片分别与所述人脸图片集中的其它人脸图片的结构相似性SSIM取值;以及,针对所述人脸图片集中所述SSIM取值达到阈值的图片进行去重处理。
21.一种介质,其上存储有计算机指令,该指令被处理器执行时实现如权利要求1-10中任一项所述方法的步骤。
22.一种计算设备,包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器通过运行所述可执行指令以实现如权利要求1-10中任一项所述的方法。
CN202110963419.7A 2021-08-20 2021-08-20 一种人脸图片集的处理方法、装置、介质和计算设备 Active CN113705650B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110963419.7A CN113705650B (zh) 2021-08-20 2021-08-20 一种人脸图片集的处理方法、装置、介质和计算设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110963419.7A CN113705650B (zh) 2021-08-20 2021-08-20 一种人脸图片集的处理方法、装置、介质和计算设备

Publications (2)

Publication Number Publication Date
CN113705650A CN113705650A (zh) 2021-11-26
CN113705650B true CN113705650B (zh) 2023-07-11

Family

ID=78653766

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110963419.7A Active CN113705650B (zh) 2021-08-20 2021-08-20 一种人脸图片集的处理方法、装置、介质和计算设备

Country Status (1)

Country Link
CN (1) CN113705650B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114723066A (zh) * 2022-03-29 2022-07-08 上海商汤科技开发有限公司 数据处理方法及装置、电子设备和存储介质
CN114444619B (zh) * 2022-04-02 2022-07-26 北京百度网讯科技有限公司 样本生成方法、训练方法、数据处理方法以及电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110287791A (zh) * 2019-05-23 2019-09-27 罗普特科技集团股份有限公司 一种用于人脸图片的筛选方法和系统
CN110796108A (zh) * 2019-11-04 2020-02-14 北京锐安科技有限公司 一种人脸质量检测的方法、装置、设备及存储介质
US10635918B1 (en) * 2019-01-30 2020-04-28 StradVision, Inc. Method and device for managing smart database for face recognition based on continual learning
CN112907575A (zh) * 2021-03-25 2021-06-04 苏州科达科技股份有限公司 人脸质量评估方法、装置及电子设备
WO2021139171A1 (zh) * 2020-07-28 2021-07-15 平安科技(深圳)有限公司 人脸增强识别方法、装置、设备及存储介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11195057B2 (en) * 2014-03-18 2021-12-07 Z Advanced Computing, Inc. System and method for extremely efficient image and pattern recognition and artificial intelligence platform
CN111028198B (zh) * 2019-07-12 2024-02-23 北京达佳互联信息技术有限公司 图像质量评估方法、装置、终端及可读存储介质
CN112700396A (zh) * 2019-10-17 2021-04-23 中国移动通信集团浙江有限公司 一种人脸图片光照评价方法、装置、计算设备和存储介质
CN111259815A (zh) * 2020-01-17 2020-06-09 厦门中控智慧信息技术有限公司 一种人脸图像质量评估方法、系统、设备及介质
CN112765384B (zh) * 2020-12-31 2024-01-16 北京华安信联通信技术有限公司 一种照片分类方法
CN113255841B (zh) * 2021-07-02 2021-11-16 浙江大华技术股份有限公司 一种聚类方法、聚类装置和计算机可读存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10635918B1 (en) * 2019-01-30 2020-04-28 StradVision, Inc. Method and device for managing smart database for face recognition based on continual learning
CN110287791A (zh) * 2019-05-23 2019-09-27 罗普特科技集团股份有限公司 一种用于人脸图片的筛选方法和系统
CN110796108A (zh) * 2019-11-04 2020-02-14 北京锐安科技有限公司 一种人脸质量检测的方法、装置、设备及存储介质
WO2021139171A1 (zh) * 2020-07-28 2021-07-15 平安科技(深圳)有限公司 人脸增强识别方法、装置、设备及存储介质
CN112907575A (zh) * 2021-03-25 2021-06-04 苏州科达科技股份有限公司 人脸质量评估方法、装置及电子设备

Also Published As

Publication number Publication date
CN113705650A (zh) 2021-11-26

Similar Documents

Publication Publication Date Title
CN110569721B (zh) 识别模型训练方法、图像识别方法、装置、设备及介质
CN108304835B (zh) 文字检测方法和装置
WO2019233421A1 (zh) 图像处理方法及装置、电子设备、存储介质
CN108256479B (zh) 人脸跟踪方法和装置
US9275307B2 (en) Method and system for automatic selection of one or more image processing algorithm
CN111476284A (zh) 图像识别模型训练及图像识别方法、装置、电子设备
US11625433B2 (en) Method and apparatus for searching video segment, device, and medium
CN113705650B (zh) 一种人脸图片集的处理方法、装置、介质和计算设备
US9471675B2 (en) Automatic face discovery and recognition for video content analysis
CN113382279B (zh) 直播推荐方法、装置、设备、存储介质以及计算机程序产品
CN111651636A (zh) 视频相似片段搜索方法及装置
WO2021007846A1 (zh) 一种视频相似检测的方法、装置及设备
CN112101386B (zh) 文本检测方法、装置、计算机设备和存储介质
CA3052846A1 (en) Character recognition method, device, electronic device and storage medium
KR20220076398A (ko) Ar장치를 위한 객체 인식 처리 장치 및 방법
CN112084812A (zh) 图像处理方法、装置、计算机设备及存储介质
CN109740135A (zh) 图表生成方法及装置、电子设备和存储介质
JP2022185143A (ja) テキスト検出方法、テキスト認識方法及び装置
CN109064467A (zh) 小区安防的分析方法、装置及电子设备
CN111882034A (zh) 神经网络处理及人脸识别方法、装置、设备和存储介质
CN114898266A (zh) 训练方法、图像处理方法、装置、电子设备以及存储介质
CN110895811A (zh) 一种图像篡改检测方法和装置
KR101931271B1 (ko) 싱글 포워드 패스를 이용한 얼굴 인식 방법 및 이를 위한 장치
CN112883827A (zh) 图像中指定目标的识别方法、装置、电子设备和存储介质
KR102230559B1 (ko) 데이터 프로그래밍에 기반한 레이블링 모델 생성 방법 및 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant