CN111144366A - 一种基于联合人脸质量评估的陌生人脸聚类方法 - Google Patents

Abstract

一种基于联合人脸质量评估的陌生人脸聚类方法，包括：利用人脸中的关键点，对人脸进行检测，并提取人脸的关键特征，获取人脸图像；将人脸图像与未知人物库进行特征比对，判断是未知人物库中的人物，如果是，则进行未知人物库更新步骤，如果不是，则进入图像质量评估步骤；未知人物库更新为，根据人脸图像与未知人物库中的人物识别判断的结果，得到未知人物ID，并将图像结果存入未知人物库；图像质量评估为，对人脸图像进行模糊检测、姿态识别、人脸特征质量评估，从而判断所述人脸图像是否属于优质图像；当为优质图像时新增到未知人物数据库中。本发明能够提高未知人物聚类的正确率，并运用于视频图像分析系统和视频监控系统，具有广泛的运用前景。

Description

一种基于联合人脸质量评估的陌生人脸聚类方法

技术领域

本发明涉及图像处理领域，具体的，涉及计算机视觉技术领域中的基于联合人脸质量评估的陌生人脸聚类方法。本发明可用于监控安防、视频分析、公安系统人物追踪系统中人物识别。

背景技术

人脸是区分人物身份的重要特征，基于人脸特征的人物识别相比于虹膜、指纹识别具有更便捷、更自然、非接触的优势，因此具有广阔的应用市场，包括监控安防、视频分析、公安系统人物追踪等。

人脸识别过程是先将图像或视频帧中的人脸检测出来，然后对截出的人脸图像进行特征提取，提取出人脸的关键特征信息，再与数据库中已保存的模板人脸特征进行比对，计算与模板库中人脸的相似度，以此来识别图像中人脸是否为模板中人脸。

数据库中的模板人脸特征通常是事先存入的已知人物，对于模板库中不存在的人脸，系统无法识别该人物身份。对于门禁系统，人脸识别的需求只要识别模板库中的已知人物，其他未知人物不需要处理；对于某些监控系统，有时需要新增模板人物，通常新增人物采用人脸注册的方式，要求手动添加人物的高清照片和身份信息，或者使用注册系统主动采集人物信息。

对于视频分析系统，为了能尽量获取视频内容，需要将视频内的关键人物都尽可能多的识别出来。但由于视频可能来源于各种网络数据，很难将所有可能出现的人物身份信息都通过人工的方式添加到模板人物库，因此，要求系统能智能的完成对模板库中不存在的未知人物进行甄别并对同一人物进行聚类，形成未知人物数据库，随着需要识别的人物范围不断扩大，某些未知人物的身份会被确认，确认身份的未知人物就可以直接转到模板人物库中。

由于视频图像中的人脸可能存在各种光照变化、角度变化、姿态变化、模糊低分辨率的问题，直接将检测到的未知人脸存入未知人物模板库则会导致未知人物库数据庞大，且聚类效果差。因此，如何能够智能的完成未知人物聚类是目前人物识别系统的难点。

发明内容

本发明的目的在于针对视频分析系统中未知人脸聚类难的问题，提出一种基于联合人脸质量评价的未知人物聚类方法，

为达此目的，本发明采用以下技术方案：

一种基于联合人脸质量评估的陌生人脸聚类方法，其特征在于，包括如下步骤：

人脸特征检测提取步骤S110，利用人脸中的关键点，对人脸进行检测，并提取人脸的关键特征，获取人脸图像；

未知人物识别步骤S120，将人脸图像与未知人物库进行特征比对，判断是未知人物库中的人物，如果是，则进行未知人物库更新步骤S130，如果不是，则进入图像质量评估步骤S140；

未知人物库更新步骤S130，根据人脸图像与未知人物库中的人物识别判断的结果，得到未知人物ID，并将图像结果存入未知人物库，所述未知人物ID是未知人物库中的人物身份标识；

图像质量评估步骤S140，对人脸图像进行模糊检测、姿态识别、人脸特征质量评估，从而判断所述人脸图像是否属于优质图像；

优质图像识别步骤S150：当图像模糊度、姿态角度、人脸特征质量和图片像素值满足阈值时，所述图像为优质图像，并新增到未知人物数据库中。

可选的，在人脸特征检测提取步骤S110后，未知人物识别步骤S120前，还具有模板人物识别步骤S115，将检测提取后的人脸图像与模板人物库进行特征比对，判断是否为已知人物，所述模板人物库表示为已知人物的集合，如果是，则属于已知人物，该方法结束，如果不是，则继续进行未知人物识别步骤S120。

可选的，在人脸特征检测提取步骤S110中，所述人脸中的关键点为左右眼、左右嘴角和鼻子。

可选的，人脸检测的方法为多任务级联神经网络MTCNN算法，人脸特征提取的方法为mxnet框架下的Insightface方法，特征比对的阈值为0.33。

可选的，在图像质量评估步骤S140中，

所述模糊检测为输入待检测图像，采用拉普拉斯算法判断图像的模糊度，输出图片是否模糊的标识结果；

所述姿态识别为基于相机位姿估计方法，输入人脸图像，人脸关键点信息，利用solvePnP算法计算图像关键点坐标与世界坐标系中正脸人脸关键点坐标的旋转平移向量，从而输出人脸姿态角。

可选的，所述模糊检测具体包括：设置模糊评判阈值，通过图像大小和通道数，检测图像是否异常，如图像异常则直接返回，否则对原始图像进行高斯模糊滤波；将图像转换成灰度图像；利用拉普拉斯算法判断图像的模糊度；将图像进行归一化处理，计算图像的均值和方差；将所计算的方差的平方数作为图片的模糊程度系数值，用该值与所述模糊评判阈值进行比较，小于阈值则判定为模糊人脸图像，否则为清晰人脸图像；

所述姿态识别具体包括：设置世界坐标系中正脸人脸关键点坐标，设置相机参数，焦距参数设置为图像像素的高，主点偏移分别设置为图像像素的高和宽的一半；畸变系数设置为零矩阵；采用相机位姿估计函数计算图像关键点坐标与世界坐标系中正脸人脸关键点坐标的旋转平移向量；将旋转向量转为旋转矩阵；将旋转矩阵转换为欧拉角；计算欧拉角中最大角度值作为姿态角，返回人脸图像的姿态角。

可选的，在优质图像识别步骤S150中，当图像模糊度大于500，姿态角度小于20度，人脸特征质量评级大于8.0，同时人脸图像像素大于100，该图像为优质图像，可以新增到未知人物数据库中。

可选的，在图像质量评估步骤S140中，

所述人脸特征质量评估为基于深度学习的方法。

可选的，在人脸特征检测提取步骤S110，所述人脸中的关键点为左右眼、左右嘴角和鼻子。

本发明进一步公开了一种人脸检测识别系统，该人脸检测识别系统运行基于上述的基于联合人脸质量评估的陌生人脸聚类方法。

本发明针对视频分析系统中未知人脸聚类难的问题，对于非未知人物库中的陌生人脸，采用传统图像方法与深度学习方法进行模糊检测、姿态识别、人脸特征质量评估，筛选出高清的正脸图像，作为新增未知人物模板存入未知人物数据库，最终完成对人物库的智能新增以及未知人物的聚类，提高未知人物聚类的正确率。该方法可以运用于视频图像分析系统和视频监控系统，具有广泛的运用前景。

附图说明

图1是根据本发明具体实施例的基于联合人脸质量评估的陌生人脸聚类方法的流程图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

本发明在于对视频图像中的未知人脸，先将其人脸特征与未知人物数据库中的人脸特征进行比对，检验是否是未知人物库中的人物；对于非未知人物库中的陌生人脸，采用传统图像方法与深度学习方法进行模糊检测、姿态识别、人脸特征质量评估，筛选出高清的正脸图像，作为新增未知人物模板存入未知人物数据库，最终完成对人物库的智能新增以及未知人物的聚类，提高未知人物聚类的正确率。

具体的，参见图1，示出了根据本发明实施例的基于联合人脸质量评估的陌生人脸聚类方法的流程图，该发明包括如下步骤：

人脸特征检测提取步骤S110，利用人脸中的关键点，对人脸进行检测，并提取人脸的关键特征，获取人脸图像。

在一个具体的实施例中，所述人脸中的关键点为左右眼、左右嘴角和鼻子，这5个关键点。

在一个具体的实施例中，人脸检测的方法可以利用mxnet框架下的多任务级联神经网络MTCNN算法，提取图像中所有人脸的包围盒和五个关键点坐标，本发明中的人脸检测也可以替换成其他方法，比如RetinaNet，dlib等，不同的检测方法会影响对图像中人脸检测的准确率，但是对本发明后面的未知人物聚类的结果不会有影响。

在一个具体的实施例中，人脸特征提取的方法采用的是mxnet框架下的Insightface方法，基于Resnet50网络，提取出512维的人脸特征向量，特征比对采用余弦距离计算待识别人脸与模板人脸之间的相似性，当相似度大于某个阈值，则识别出人物身份。本发明中的特征提取方法和特征比对方法可以替换成其他方法，但特征比对方法的优劣会影响人物聚类的准确率。本发明中特征比对的阈值为0.33。

模板人物识别步骤S115，将检测提取后的人脸图像与模板人物库进行特征比对，判断是否为已知人物，所述模板人物库表示为已知人物的集合，如果是，则属于已知人物，该方法结束，如果不是，则继续进行未知人物识别步骤S120。

识别为已知人物后，就可以直接进行关联，并进一步对该人物的相关视频和照片进行管理，当不是已知人物，就说明该人物为未知人物，即陌生人物，从而利用下述的步骤进行陌生人脸识别以及聚类。

未知人物识别步骤S120，将人脸图像与未知人物库进行特征比对，判断是未知人物库中的人物，如果是，则进行未知人物库更新步骤S130，如果不是，则进入图像质量评估步骤S140。

未知人物库更新步骤S130，根据人脸图像与未知人物库中的人物识别判断的结果，得到未知人物ID，并将图像结果存入未知人物库，例如，可以更新未知人物图像。所述未知人物ID是未知人物库中的人物身份标识，例如可通过随机分配获得，将来如果需要将未知人物转成已知人物，例如进行模板人物库，则将其ID和人物身份信息对应即可。

图像质量评估步骤S140，对人脸图像进行模糊检测、姿态识别、人脸特征质量评估，从而判断所述人脸图像是否属于优质图像。

所述模糊检测为输入待检测图像，例如可采用cv2.Laplacian判断图像的模糊度，输出图片是否模糊的标识结果。

在一个具体的实施例中，所述模糊检测包括：设置模糊评判阈值，通过图像大小w,h和通道数channel，检测图像是否异常，如图像异常则直接返回，否则对原始图像进行高斯模糊滤波，示例性的，高斯矩阵的长宽设置为3*3，标准差为0；并使用线性变换将高斯滤波结果转换为8位无符号整型；将图像转换成灰度图像；利用拉普拉斯算法判断图像的模糊度，示例性的算子大小设置为3，缩放系数设置为1；将图像进行归一化处理，计算图像的均值和方差；将所计算的方差的平方数作为图片的模糊程度系数值，用该值与所述模糊评判阈值进行比较，小于阈值则判定为模糊人脸图像，否则为清晰人脸图像。

所述姿态识别为基于相机位姿估计方法，输入人脸图像，人脸关键点信息，利用solvePnP算法计算图像关键点坐标与世界坐标系中正脸人脸关键点坐标的旋转平移向量，从而输出人脸姿态角。

在一个具体的实施例中，所述人脸姿态识别包括：

设置世界坐标系中正脸人脸关键点坐标，设置相机参数，焦距参数设置为图像像素的高，主点偏移分别设置为图像像素的高和宽的一半；畸变系数设置为零矩阵；采用相机位姿估计函数cv2.solvePnP计算图像关键点坐标与世界坐标系中正脸人脸关键点坐标的旋转平移向量；将旋转向量转为旋转矩阵；将旋转矩阵转换为欧拉角；计算欧拉角中最大角度值作为姿态角，返回人脸图像的姿态角。

人脸关键点坐标，示例性的设置如下：

所述人脸特征质量评估采用基于深度学习的方法，示例性的，如基于2017年发表的论文"NIMA:Neural Image Assessment"实现，方法基于CNN网络模型，可以有效评估出人脸图像的特征质量，得到图像质量评级分布。

优质图像识别步骤S150：当图像模糊度、姿态角度、人脸特征质量和图片像素值满足阈值时，所述图像为优质图像，并新增到未知人物数据库中。

示例性的，当图像模糊度大于500，姿态角度小于20度，人脸特征质量评级大于8.0，同时人脸图像像素大于100，该图像为优质图像，可以新增到未知人物数据库中。

本发明中各评判因素的阈值大小可以根据系统需求改变。

实施例：

本发明利用现有技术的直接未知人物入库聚类方法与本发明的基于联合人脸质量评价的未知人物聚类方法对未知人物进行聚类效果评估对比。

评价采用的数据集为一个包含约1000张图像2000多个人脸的视频切帧图像，视频来源为youtube网站新闻视频。评价方法是对该数据集中的所有人物进行聚类，已知人物库为空数据库，所有人物均为未知人物，直接未知人物入库方法不包含图像质量评估的过程，在检测视频帧图像中人脸，直接与未知人物库进行比对，未找到的人脸图像再次新增到未知人物库中。

评价指标为聚类准确率、召回率。准确率计算方法为所有图像中相同人物被正确聚类的数量之和除以所有被识别出的人脸图像数量之和，召回率为所有被识别出的人脸图像数量之和除以数据集中所有人脸总数。比较结果为，直接未知人物入库方法准确率低于本专利提出的方法，但是召回率高于后者。

评价结果表明，基于联合人脸质量评价的未知人物聚类方法能有效提高未知人物的聚类准确率。

进一步的，本发明还公开了一种使用了本发明的基于联合人脸质量评估的陌生人脸聚类方法的人脸检测识别系统。

该人脸检测识别系统可以拉取视频关键帧信息，获得视频图像，通过人物检测模块检测出图像中的人脸，并输出人脸位置；通过特征提取模块根据人脸位置截取所有人脸图像，并提取输出相应的特征向量；将人物识别模块需运行两次，第一次识别是将特征向量与已知人物库特征模板进行比对，识别出已知人物，输入已知人物身份，第二次将未识别出的人脸图像采用本发明的基于联合人脸质量评估的陌生人脸聚类方法进行识别与新增入库。当某未知人物身份信息被确认后，可在未知人物库中直接将其id与身份信息对应，同时能搜索出该人物出现过的所有视频。

本发明针对视频分析系统中未知人脸聚类难的问题，对于非未知人物库中的陌生人脸，采用传统图像方法与深度学习方法进行模糊检测、姿态识别、人脸特征质量评估，筛选出高清的正脸图像，作为新增未知人物模板存入未知人物数据库，最终完成对人物库的智能新增以及未知人物的聚类，提高未知人物聚类的正确率。该方法可以运用于视频图像分析系统和视频监控系统，具有广泛的运用前景。

显然，本领域技术人员应该明白，上述的本发明的各单元或各步骤可以用通用的计算装置来实现，它们可以集中在单个计算装置上,可选地，他们可以用计算机装置可执行的程序代码来实现，从而可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件的结合。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施方式仅限于此，对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单的推演或替换，都应当视为属于本发明由所提交的权利要求书确定保护范围。

Claims (10)

1.一种基于联合人脸质量评估的陌生人脸聚类方法，其特征在于，包括如下步骤：

人脸特征检测提取步骤S110，利用人脸中的关键点，对人脸进行检测，并提取人脸的关键特征，获取人脸图像；

未知人物识别步骤S120，将人脸图像与未知人物库进行特征比对，判断是未知人物库中的人物，如果是，则进行未知人物库更新步骤S130，如果不是，则进入图像质量评估步骤S140；

未知人物库更新步骤S130，根据人脸图像与未知人物库中的人物识别判断的结果，得到未知人物ID，并将图像结果存入未知人物库，所述未知人物ID是未知人物库中的人物身份标识；

图像质量评估步骤S140，对人脸图像进行模糊检测、姿态识别、人脸特征质量评估，从而判断所述人脸图像是否属于优质图像；

优质图像识别步骤S150：当图像模糊度、姿态角度、人脸特征质量和图片像素值满足阈值时，所述图像为优质图像，并新增到未知人物数据库中。

2.根据权利要求1所述的陌生人脸聚类方法，其特征在于：

在人脸特征检测提取步骤S110后，未知人物识别步骤S120前，还具有模板人物识别步骤S115，将检测提取后的人脸图像与模板人物库进行特征比对，判断是否为已知人物，所述模板人物库表示为已知人物的集合，如果是，则属于已知人物，该方法结束，如果不是，则继续进行未知人物识别步骤S120。

3.根据权利要求2所述的陌生人脸聚类方法，其特征在于：

在人脸特征检测提取步骤S110中，所述人脸中的关键点为左右眼、左右嘴角和鼻子。

4.根据权利要求2所述的陌生人脸聚类方法，其特征在于：

人脸检测的方法为多任务级联神经网络MTCNN算法，人脸特征提取的方法为mxnet框架下的Insightface方法，特征比对的阈值为0.33。

5.根据权利要求2所述的陌生人脸聚类方法，其特征在于：

在图像质量评估步骤S140中，

所述模糊检测为输入待检测图像，采用拉普拉斯算法判断图像的模糊度，输出图片是否模糊的标识结果；

所述姿态识别为基于相机位姿估计方法，输入人脸图像，人脸关键点信息，利用solvePnP算法计算图像关键点坐标与世界坐标系中正脸人脸关键点坐标的旋转平移向量，从而输出人脸姿态角。

6.根据权利要求5所述的陌生人脸聚类方法，其特征在于：

所述模糊检测具体包括：设置模糊评判阈值，通过图像大小和通道数，检测图像是否异常，如图像异常则直接返回，否则对原始图像进行高斯模糊滤波；将图像转换成灰度图像；利用拉普拉斯算法判断图像的模糊度；将图像进行归一化处理，计算图像的均值和方差；将所计算的方差的平方数作为图片的模糊程度系数值，用该值与所述模糊评判阈值进行比较，小于阈值则判定为模糊人脸图像，否则为清晰人脸图像；

所述姿态识别具体包括：设置世界坐标系中正脸人脸关键点坐标，设置相机参数，焦距参数设置为图像像素的高，主点偏移分别设置为图像像素的高和宽的一半；畸变系数设置为零矩阵；采用相机位姿估计函数计算图像关键点坐标与世界坐标系中正脸人脸关键点坐标的旋转平移向量；将旋转向量转为旋转矩阵；将旋转矩阵转换为欧拉角；计算欧拉角中最大角度值作为姿态角，返回人脸图像的姿态角。

7.根据权利要求6所述的陌生人脸聚类方法，其特征在于：

在优质图像识别步骤S150中，当图像模糊度大于500，姿态角度小于20度，人脸特征质量评级大于8.0，同时人脸图像像素大于100，该图像为优质图像，可以新增到未知人物数据库中。

8.根据权利要求5所述的陌生人脸聚类方法，其特征在于：

在图像质量评估步骤S140中，

所述人脸特征质量评估为基于深度学习的方法。

9.根据权利要求2所述的陌生人脸聚类方法，其特征在于：

在人脸特征检测提取步骤S110，所述人脸中的关键点为左右眼、左右嘴角和鼻子。

10.一种人脸检测识别系统，其特征在于：

该人脸检测识别系统运行基于权利要求1-9中任意一项所述的基于联合人脸质量评估的陌生人脸聚类方法。

Images