CN114399806A - 一种人脸图像分类方法、智能终端以及存储介质 - Google Patents

Abstract

本申请公开了一种人脸图像分类方法、智能终端以及计算机可读存储介质，其中，该人脸图像分类方法包括：获取多个人脸图像；确定未分类的第一人脸图像与剩余人脸图像的相似度；响应于存在与第一人脸图像的相似度大于或等于设定第一相似度阈值的至少一图像，将第一人脸图像和至少一图像分为一类图像；响应于不存在与第一人脸图像的相似度大于或等于第一相似度阈值的图像，确定与第一人脸图像的相似度最大的第二人脸图像，根据第一人脸图像和第二人脸图像的相似度，对第一人脸图像和/或第二人脸图像进行分类。通过上述方式，利用未分类的人脸图像与剩余人脸图像的相似度进行分类，能够减少人脸图像的误分和错分的情况。

Description

一种人脸图像分类方法、智能终端以及存储介质

技术领域

本申请涉及图像分类技术领域，特别是一种人脸图像分类方法、智能终端以及计算机可读存储介质。

背景技术

人脸分类技术应用广泛，比如可用于手机相册中，完成对不同人物的分类，让用户更好地管理和查看相册，此外，如果用户需要制作精彩瞬间、精彩合集等相似图册时，也能更方便用户选取图片；除去手机相册以外，还可以用在具备共享相册功能的页面程序或应用程序中，当用户创建新的共享相册时，让用户在选取图片时更为方便，而不需要一张一张去翻找，借助技术手段优化用户的使用体验。

现有的人脸检测和识别技术较为成熟，但对于相册集中的人脸如何进行分类，并没有通用策略，比较自然的思路是对图片进行两两比较，如果两张图片之间的相似度小于给定阈值，就将这两张图片归于一类。但是这种分类方法并不稳定，容易出现误分和错分的情况。比如可能存在同一个人的两张照片可能相差较大，这样就很难被归为一类；也可能存在两个不同人的照片较为相似，而被误分为一类。

发明内容

为解决上述问题，本申请提供了人脸图像分类方法、智能终端以及计算机可读存储介质，能够提升人脸图像分类的稳定性，进而减少人脸图像的误分和错分的情况。

本申请采用的一个技术方案是：提供一种人脸图像分类方法，该方法包括：获取多个人脸图像；确定未分类的第一人脸图像与剩余人脸图像的相似度；响应于存在与第一人脸图像的相似度大于或等于设定第一相似度阈值的至少一图像，将第一人脸图像和至少一图像分为一类图像；响应于不存在与第一人脸图像的相似度大于或等于第一相似度阈值的图像，确定与第一人脸图像的相似度最大的第二人脸图像，根据第一人脸图像和第二人脸图像的相似度，对第一人脸图像和/或第二人脸图像进行分类。

可选地，根据第一人脸图像和第二人脸图像的相似度，对第一人脸图像和/或第二人脸图像进行分类包括：响应于第二人脸图像与第一人脸图像的相似度大于或等于设定第二相似度阈值，根据第二人脸图像是否已分类，对第一人脸图像和/或第二人脸图像进行分类；其中，第二相似度阈值小于第一相似度阈值；响应于第二人脸图像与第一人脸图像的相似度小于第二相似度阈值，确定已分类的至少一图像类中与第二人脸图像的相似度最大的一图像类，根据与第二人脸图像相似度最大的图像类、和第二人脸图像的相似度，对第一人脸图像和/或第二人脸图像进行分类。

可选地，根据第二人脸图像是否已完成分类，对第一人脸图像和/或第二人脸图像进行分类，包括：响应于第二人脸图像已分类，将第一人脸图像归于第二人脸图像所属的图像类；响应于第二人脸图像未分类，确定已分类的至少一图像类中与第二人脸图像的相似度最大的一图像类，根据与第二人脸图像相似度最大的图像类、和第二人脸图像的相似度，对第一人脸图像和/或第二人脸图像进行分类。

可选地，根据与第二人脸图像相似度最大的图像类、和第二人脸图像的相似度，对第一人脸图像和/或第二人脸图像进行分类，包括：响应于第一图像类与第二人脸图像的相似度最大、且第一图像类与第二人脸图像的相似度大于或等于设定第三相似度阈值，将第一人脸图像和第二人脸图像归于第一图像类；响应于第一图像类与第二人脸图像的相似度最大、且第一图像类与第二人脸图像的相似度小于设定第三相似度阈值，将第一人脸图像和第二人脸图像分为一类图像。

可选地，根据第二人脸图像和相似度最大的一图像类的相似度，对第一人脸图像和/或第二人脸图像进行分类，包括：响应于第二人脸图像未分类且不存在至少一图像类，将第一人脸图像和第二人脸图像分为一类图像。

可选地，根据与第二人脸图像相似度最大的图像类、和第二人脸图像的相似度，对第一人脸图像和/或第二人脸图像进行分类，包括：响应于第二图像类与第二人脸图像的相似度最大且第二人脸图像与第二图像类的相似度大于或等于设定第四相似度阈值，将第二人脸图像归于第二图像类；响应于第二图像类与第二人脸图像的相似度最大且第二人脸图像与第二图像类的相似度小于设定第四相似度阈值，将第一人脸图像和第二人脸图像各分为一类图像。

可选地，根据与第二人脸图像相似度最大的图像类、和第二人脸图像的相似度，对第一人脸图像和/或第二人脸图像进行分类，包括：响应于不存在至少一图像类，将第一人脸图像和第二人脸图像各分为一类图像。

可选地，该方法还包括：获取第三人脸图像；确定第三人脸图像与所有图像类的相似度；响应于第三图像类与第三人脸图像的相似度最大且第三图像类与第三人脸图像的相似度大于或等于设定第五相似度阈值，将第三人脸图像归于第三图像类；响应于第三图像类与第三人脸图像的相似度最大且第三图像类与第三人脸图像的相似度小于设定第五相似度阈值，将第三人脸图像分为一类图像。

可选地，确定未分类的第一人脸图像与剩余人脸图像的相似度，包括：对多个人脸图像进行图像识别，得到多个人脸图像的人脸数量和特征向量；对人脸数量大于1的人脸图像进行去除；确定未分类的第一人脸图像的特征向量、与剩余人脸图像的特征向量的距离，以确定未分类的第一人脸图像与剩余人脸图像的相似度。

可选地，该方法还包括：在任一人脸图像分为一图像类或者任一人脸图像归于一图像类之后，更新对应图像类的平均特征向量；其中，平均特征向量为图像类中所有人脸图像的特征向量的平均值，平均特征向量用于确定图像类与人脸图像的相似度。

本申请采用的另一个技术方案是：提供一种智能终端，该智能终端包括处理器以及与处理器连接的存储器；其中，存储器中存储有程序数据，处理器调取存储器存储的程序数据，以执行如上所述的人脸图像分类方法。

本申请采用的另一个技术方案是：提供一种计算机可读存储介质，该计算机可读存储介质中存储有程序数据，程序数据在被处理器执行时，用以实现如上所述的人脸图像分类方法。

本申请提供的人脸图像分类方法包括：获取多个人脸图像；确定未分类的第一人脸图像与剩余人脸图像的相似度；响应于存在与第一人脸图像的相似度大于或等于设定第一相似度阈值的至少一图像，将第一人脸图像和至少一图像分为一类图像；响应于不存在与第一人脸图像的相似度大于或等于设定第一相似度阈值的图像，确定与第一人脸图像的相似度最大的第二人脸图像，根据第一人脸图像和第二人脸图像的相似度，对第一人脸图像和/或第二人脸图像进行分类。通过上述方式，根据未分类的人脸图像与剩余人脸图像的相似度进行不同分类，能够提升人脸图像分类的稳定性，进而减少人脸图像的误分和错分的情况。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。其中：

图1是本申请提供的人脸图像分类方法第一实施例的流程示意图；

图2是确定未分类的第一人脸图像与剩余人脸图像的相似度一实施例的流程示意图；

图3是对多个人脸图像进行图像识别一实施例的流程示意图；

图4是步骤123一实施例的流程示意图；

图5是本申请提供的人脸图像分类方法第二实施例的流程示意图；

图6是本申请提供的人脸图像分类方法第三实施例的流程示意图；

图7为本申请提供的一种智能终端的结构示意图；

图8为本申请提供的计算机可读存储介质一实施例的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。可以理解的是，此处所描述的具体实施例仅用于解释本申请，而非对本申请的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本申请相关的部分而非全部结构。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

在申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

本申请实施例中的步骤并不一定是按照所描述的步骤顺序进行处理，可以按照需求有选择的将步骤打乱重排，或者删除实施例中的步骤，或者增加实施例中的步骤，本申请实施例中的步骤描述只是可选的顺序组合，并不代表本申请实施例的所有步骤顺序组合，实施例中的步骤顺序不能认为是对本申请的限制。

本申请实施例中的术语“和/或”指的是包括相关联的列举项目中的一个或多个的任何和全部的可能组合。还要说明的是：当用在本说明书中时，“包括/包含”指定所陈述的特征、整数、步骤、操作、元件和/或组件的存在，但是不排除一个或多个其他特征、整数、步骤、操作、元件和/或组件和/或它们的组群的存在或添加。

本申请中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。

另外，本申请中尽管多次采用术语“第一”、“第二”等来描述各种元件(或各种阈值或各种应用或各种指令或各种操作)等，不过这些元件(或阈值或应用或指令或操作)不应受这些术语的限制。这些术语只是用于区分一个元件(或阈值或应用或指令或操作)和另一个元件(或阈值或应用或指令或操作)。例如，第一人脸图像可以被称为第二人脸图像，第二人脸图像也可以被称为第一人脸图像，而不脱离本申请的范围，第一人脸图像和第二人脸图像都是人脸图像，只是二者并不是相同的人脸图像而已。

本申请实施例的智能终端(如移动终端)可以以各种形式来实施。其中，智能终端可为包括诸如采集识别设备(如摄影机和录像机)、移动电话、智能电话、笔记本电脑、个人数字助理(PDA，Personal Digital Assistant)、平板电脑(PAD)等等的能够储存图像信息以及被访问或者发送图像信息的移动终端，智能终端也可以是数字广播发送器、数字TV、台式计算机等等的能够储存图像信息以及被访问或者发送图像信息的固定终端。下面，假设终端是移动终端。然而，本领域技术人员将理解的是，除了特别用于移动目的的元件之外，根据本申请的实施方式的构造也能够应用于固定类型的终端。

现有技术中，对图片两两先进行比较然后再归类，存在许多问题，比如可能存在同一个人的两张照片可能相差较大，这样就很难被归为一类；也可能存在两个不同人的照片较为相似，而被误分为一类。

因此，本申请针对人脸图像中的单人脸分类设计了一套分类逻辑，在人脸图像的比较中，不断的建立和丰富人脸库，从而能够得到较具有代表性的平均脸，因此误分和错分的情况都能得到缓解。

参阅图1，图1是本申请提供的人脸图像分类方法第一实施例的流程示意图，该方法包括：

步骤11：获取多个人脸图像。

具体地，访问一智能终端中的图像库，并提取图像库中的多个原始人脸图像。可选地，也可通过接收其他智能终端或者应用端(如服务器)发送的图像信息，以获取到多个人脸图像。

在一实施例中，通过访问智能手机的图像系统，并获取多个人脸图像。其中，多个人脸图像可以是该智能手机图像系统中的全部图像，或者一部分特定的图像，也可以是按照预定时间定时的获取多个人脸图像，这里不做具体限定。

步骤12：确定未分类的第一人脸图像与剩余人脸图像的相似度。

其中，获取多个人脸图像后，将所有人脸图像中的未分类人脸图像进行循环分类，直至所有的人脸图像均分入一图像类别中后结束，其中已分类的人脸图像将会被标记“已分类”的标识，不再单独参与剩余人脸图像的循环分类进程。即在循环分类进程结束后，获取的所有人脸图像均会被分入一已存在的图像类别中或者自身成为一类新的图像类别。

进一步地，在每一次循环分类启动时，需要确定一未分类的目标人脸图像与剩余的人脸图像的相似度。其中，剩余的人脸图像是指获取的所有人脸图像中除该目标人脸图像外的剩余人脸图像。可选地，也可以在获取多个人脸图像后，将所有人脸图像进行两两比对，以得出所有人脸图像两两之间的相似度，并将全部这些相似度作为一个相似度集合，以在每一次循环分类的过程中调用相应的人脸图像之间的相似度。

参阅图2，图2是确定未分类的第一人脸图像与剩余人脸图像的相似度一实施例的流程示意图，步骤12具体包括以下步骤：

步骤121：对多个人脸图像进行图像识别，得到多个人脸图像的人脸数量和特征向量。

具体地，通过调用一人脸识别接口，将获取的人脸图像发送至一智能终端或者服务器的人脸识别系统中，以对人脸图像进行识别，得到人脸图像的图像信息。其中，人脸图像的图像信息包括人脸图像的属性信息和人脸数量。属性信息为人脸图像的参数信息，如获取时间、拍摄时间、地点、图像大小等。

进一步地，通过访问智能终端的图像系统，获取的多个人脸图像中不仅包括用户的人脸，还可能包括用户的其他部位以及周围环境。并且，人脸图像中的人脸数量可能只有一个也可能有多个。因此，为了提高对人脸图像的识别速度和分类效率，在人脸识别系统中利用卷积神经网络对人脸图像进行识别，得到每张人脸图像的人脸数量以及标注和确定人脸图像的人脸区域。根据确定和标注人脸图像的人脸区域利用应用算法程序对人脸图像进行特征提取，以得到人脸图像的特征向量。

可选地，在一实施例中，人脸识别系统对接收的人脸图像进行样本训练，以得到多个人脸识别模型，利用人脸识别模型对人脸图像进行特征提取，以得到人脸图像的特征向量。

其中，上述人脸识别模型可以为人工神经网络模型、支持向量机等其他非神经网络模型等。如可以是卷积神经网络模型。卷积神经网络(Convolutional Neural Network，CNN)是深度人工神经网络的一种，通常卷积神经网络可以包括多个特征提取层(又称卷积层)以及多个下采样层(又称池化层，Pooling层)。其中，特征提取层与下采样层交替连接。每一个特征提取层可以包括至少一个卷积核。对于一个特征提取层，使用该层的一个卷积核与前一层的输出进行卷积得到一个特征图。下采样层，用来对与其连接的特征提取层的输出的卷积结果求局部平均和降维处理。其中，特征提取层中的卷积核中包括多个权值。卷积核中的权值可以由多个样本训练得到。卷积神经网络的每一个卷积核对图像提取特征图时都利用局部权值共享，可以降低神经网络模型的复杂度。

参阅图3，图3是对多个人脸图像进行图像识别，得到多个人脸图像的特征向量一实施例的流程示意图，步骤121具体包括以下步骤：

步骤1211：提取人脸图像的哈尔特征。

其中，哈尔特征为一种图像特征。由于同种物体具有相同的哈尔特征，不同种物体具有不同的哈尔特征。例如，人脸图像具有相同的哈尔特征，人脸图像和非人脸图像具有不同的哈尔特征，因此，可利用哈尔特征进行物体识别。

为了提高确定的人脸图片的人脸区域的准确性，本申请实施例提供的方法在提取人脸图像的哈尔特征时，可采用不同大小、不同位置的窗口为搜索窗口对人脸图像进行搜索，并提取每个搜索窗口内的哈尔特征。

步骤1212：确定人脸图像的人脸区域。

若提取的人脸图像的哈尔特征为人脸部分对应的哈尔特征，则卷积神经网络模型将人脸图像的哈尔特征所在的位置区域确定为人脸区域。当通过上述方法完成对人脸图像的搜索后，卷积神经网络模型将全部的人脸区域进行合并，得到人脸图像的人脸区域。

步骤1213：对人脸区域中的人脸关键点进行定位。

其中，人脸关键点是指人脸区域中表征五官特征的关键点，包括用于定位为眉毛的关键点、用于定位眼睛的关键点、用于定位鼻子的关键点、用于定位嘴的关键点及用于定位人脸轮廓的关键点。人脸关键点的数量可以是80个、100个等。

步骤1214：对定位后的人脸图像进行归一化处理，得到人脸图像的特征向量。

为使在不同光照强度、方向、距离、姿势等成像条件下所拍摄的人脸图像具有一致性，以减少对多个人脸图像进行识别时的计算量，卷积神经网络模型通过对定位后的人脸图像进行平移、旋转、缩放、标准切割等归一化处理，并通过卷积神经网络算法计算出归一化后的人脸图像的特征向量。

步骤122：对人脸数量大于1的人脸图像进行去除。

可选地，将对人脸数量大于1的人脸图像分为一类图像，将不存在人脸的人脸图像分为另一类图像。即人脸数量大于1的图像类和不存在人脸的图像类不参与后续的人脸图像分类方法。

步骤123：确定未分类的第一人脸图像的特征向量、与剩余人脸图像的特征向量的距离，以确定未分类的第一人脸图像与剩余人脸图像的相似度。

参阅图4，图4是步骤123一实施例的流程示意图，步骤123具体包括以下步骤：

步骤1231：确定未分类的第一人脸图像的特征向量、与剩余人脸图像的特征向量的距离。

具体地，可通过欧斯距离或余旋距离确定未分类的第一人脸图像与剩余人脸图像的特征向量之间的距离。

以通过余旋距离确定两张人脸图像的特征向量之间的距离为例：

图像处理系统在计算未分类的第一人脸图像的特征向量、与剩余人脸图像的特征向量的距离时，可计算两者特征向量之间的余弦距离。例如，对于第一人脸图像用A表示和剩余人脸图像中的某一张人脸图像用B表示。其中，人脸图像A的人脸特征向量为(a1，a2，…，a200),人脸图像B的人脸特征向量为(b1，b2，…，b200)，则人脸图像A的人脸特征向量和人脸图像B的人脸特征向量之间的余弦距离为：

其中，式子的当左边等于右边时，表示人脸图像A的人脸特征向量和人脸图像B的人脸特征向量之间的余弦距离最小。

步骤1232：确定未分类的第一人脸图像与剩余人脸图像的相似度。

具体地，对未分类的第一人脸图像的特征向量、与剩余人脸图像的特征向量的欧斯距离或余旋距离进行关系转换，以确定未分类的第一人脸图像与剩余人脸图像的相似度。

以余旋距离确定未分类的第一人脸图像与剩余人脸图像之间的相似度为例：

第一人脸图像A的人脸特征向量和剩余人脸图像中的人脸图片B的人脸特征向量之间的余弦距离等于Cos<A。也即是，第一人脸图片A的人脸特征和人脸图片B的人脸特征之间的相似度Cos可表示为：

其中，相似度Cos小于或等于1且大于或等于0。

可以理解的是，未分类的第一人脸图像与剩余人脸图像之间的特征向量的距离越大，则未分类的第一人脸图像与剩余人脸图像之间的相似度越小；未分类的第一人脸图像与剩余人脸图像之间的特征向量的距离越小，则未分类的第一人脸图像与剩余人脸图像之间的相似度越大。未分类的第一人脸图像与剩余人脸图像之间的相似度处于0至1之间的任何数值。

进一步地，继续将第一人脸图像A的人脸特征向量与剩余人脸图像中的每一张人脸图片的人脸特征向量进行距离计算，再将第一人脸图像A的人脸特征向量与剩余人脸图像中的每一张人脸图片的人脸特征向量的距离进行转换以得到相应的相似度，并作为一个相似度集合保存，为后续人脸图像分类所调用。

步骤13：响应于存在与第一人脸图像的相似度大于或等于设定第一相似度阈值的至少一图像，将第一人脸图像和至少一图像分为一类图像。

可选地，第一相似度阈值可以为0-1中的任意一个阈值。以第一相似度阈值0.5为例，系统设定人脸相似大于或等于百分之五十，即两张人脸为同一张人脸。若响应于剩余人脸图像中存在一张图像与第一人脸图像的相似度大于或等于0.5，即认为第一人脸图像中对应的人脸与该张图像中对应的人脸相似大于或等于百分之五十，则将这同一张人脸对应的两张人脸图像分为一类图像，表示这是同一个人的图像类。若响应于剩余人脸图像中不存在一张图像与第一人脸图像的相似度大于或等于0.5，则进入步骤14。

步骤14：响应于不存在与第一人脸图像的相似度大于或等于第一相似度阈值的图像，确定与第一人脸图像的相似度最大的第二人脸图像，根据第一人脸图像和第二人脸图像的相似度，对第一人脸图像和/或第二人脸图像进行分类。

具体地，第二人脸图像为剩余人脸图像中与第一人脸图像的相似度小于第一相似度阈值且最接近第一相似度阈值的图像。其中，第二人脸图像在不同的情况下，可以视为一张人脸图像也可以视为多张人脸图像。例如，在剩余人脸图像与第一人脸图像的相似度小于第一相似度阈值的图像中可能只存在一张人脸图像也可能存在多张人脸图像。在存在多张这种人脸图像的情况下，在最接近第一相似度阈值的第二人脸图像被分类后，第二接近第一相似度阈值的人脸图像就成为了新的最接近第一相似度阈值的第二人脸图像，直至所有的与第一人脸图像的相似度小于第一相似度阈值且最接近第一相似度阈值的图像完成后结束分类。

进一步地，步骤14具体包括以下步骤：

步骤141：响应于第二人脸图像与第一人脸图像的相似度大于或等于设定第二相似度阈值，根据第二人脸图像是否已分类，对第一人脸图像和/或第二人脸图像进行分类；其中，第二相似度阈值小于第一相似度阈值。

具体地，设定第二相似度阈值的目的是为了防止与第一人脸图像的相似度过于小的第二人脸图像和第一人脸图像分为一类的情况。例如，一第二人脸图像和第一人脸图像的相似度为0.1，0.1小于设定的第一相似度阈值0.5，此时第二人脸图像和第一人脸图像不能认为是同一张人脸的图像，设定小于第一相似度阈值0.5的第二相似度阈值(如0.25、0.3等)。若第二人脸图像和第一人脸图像的相似度是小于设定的第一相似度阈值且大于或等于设定第二相似度阈值，则认为第二人脸图像和第一人脸图像是同一张人脸的图像。

进一步地，若响应于存在与第一人脸图像的相似度是小于设定的第一相似度阈值且大于或等于设定第二相似度阈值的第二人脸图像，在之前图像分类进程中已被分类，此时再根据第二人脸图像的分类情况对第一人脸图像和/或第二人脸图像进行分类。若响应于不存在与第一人脸图像的相似度是小于设定的第一相似度阈值且大于或等于设定第二相似度阈值的第二人脸图像，则进入步骤142。

例如，图像1为第一人脸图像，图像2为第二人脸图像，图像3为第三人脸图像。图像1与图像2的相似度大于第一相似度阈值，图像1与图像3的相似度小于第一相似度阈值且大于第二相似度阈值，图像2与图像3的相似度小于第一相似度阈值且大于第二相似度阈值。在之前图像分类进程中，图像1与图像2已被分为一类图像，由于图像2与图像3的相似度满足小于第一相似度阈值且大于第二相似度阈值的条件，则认为图像2与图像3也为同一人脸的图像，此时再根据图像2的分类情况对图像3进行分类。

进一步地，步骤141具体包括以下步骤：

步骤1411：响应于第二人脸图像已分类，将第一人脸图像归于第二人脸图像所属的图像类。

其中，若响应于第二人脸图像未分类，则进入步骤1412。

步骤1412：响应于第二人脸图像未分类，确定已分类的至少一图像类中与第二人脸图像的相似度最大的一图像类，根据与第二人脸图像相似度最大的图像类、和第二人脸图像的相似度，对第一人脸图像和/或第二人脸图像进行分类。

具体地，根据与第二人脸图像相似度最大的图像类、和第二人脸图像的相似度，确定与第二人脸图像相似度最大的图像类中的人脸图像与第二人脸图像是否为同一人脸的图像，再对第一人脸图像和/或第二人脸图像进行分类。

具体地，步骤1412具体包括以下步骤：

步骤a1：响应于第一图像类与第二人脸图像的相似度最大、且第一图像类与第二人脸图像的相似度大于或等于设定第三相似度阈值，将第一人脸图像和第二人脸图像归于第一图像类。

可选地，第三相似度阈值小于或等于第一相似度阈值，第三相似度阈值与第二相似度阈值之间的大小无具体限定。如第一相似度阈值为0.5，第二相似度阈值为0.25，第三相似度阈值可以为0.25、0.3或0.2。

其中，若第一图像类与第二人脸图像的相似度小于设定第三相似度阈值，则认为第一图像类中的人脸图像与第二人脸图像所表示的不是同一人脸，此时进入步骤a2。

步骤a2：响应于第一图像类与第二人脸图像的相似度最大、且第一图像类与第二人脸图像的相似度小于设定第三相似度阈值，将第一人脸图像和第二人脸图像分为一类图像。

可以理解的是，响应于第二人脸图像与第一人脸图像的相似度大于或等于设定第二相似度阈值且第二人脸图像未分类，根据与第二人脸图像相似度最大的图像类、和第二人脸图像的相似度，对第一人脸图像和/或第二人脸图像进行分类。有一种情况不能忽视，响应于第二人脸图像未分类且不存在至少一图像类。即还无已完成分类的图像，此时为循环分类进程中的第一次分类，还不存在图像类。介于满足在该种情况下，将第一人脸图像和第二人脸图像分为一类图像。

步骤142：响应于第二人脸图像与第一人脸图像的相似度小于第二相似度阈值，确定已分类的至少一图像类中与第二人脸图像的相似度最大的一图像类，根据与第二人脸图像相似度最大的图像类、和第二人脸图像的相似度，对第一人脸图像和/或第二人脸图像进行分类。

具体地，响应于第二人脸图像与第一人脸图像的相似度小于第二相似度阈值，则认为第二人脸图像与第一人脸图像不表示同一人脸的图像，此时第二人脸图像与第一人脸图像需要分开分类。

进一步地，步骤142具体包括以下步骤：

步骤1421：响应于第二图像类与第二人脸图像的相似度最大且第二人脸图像与第二图像类的相似度大于或等于设定第四相似度阈值，将第二人脸图像归于第二图像类。

可选地，第四相似度阈值小于或等于第一相似度阈值，第四相似度阈值与第二相似度阈值和第三相似度阈值之间的大小无具体限定。如第一相似度阈值为0.5，第二相似度阈值为0.25，第三相似度阈值为0.25，第四相似度阈值可以为0.25、0.3或0.2。

其中，若第二图像类与第二人脸图像的相似度小于设定第四相似度阈值，则认为第二图像类中的人脸图像与第二人脸图像不表示同一人脸，此时进入步骤1422。

步骤1422：响应于第二图像类与第二人脸图像的相似度最大且第二人脸图像与第二图像类的相似度小于设定第四相似度阈值，将第一人脸图像和第二人脸图像各分为一类图像。

可以理解的是，响应于第二人脸图像与第一人脸图像的相似度小于所述第二相似度阈值，根据与第二人脸图像相似度最大的图像类、和第二人脸图像的相似度，对第一人脸图像和/或第二人脸图像进行分类。有一种情况不能忽视，响应于不存在至少一图像类。即还无已完成分类的图像，此时为循环分类进程中的第一次分类，还不存在图像类。介于满足在该种情况下，将第一人脸图像和第二人脸图像各自分为一类图像。

在本申请实施例中的智能终端是以各种形式来实施。其中，智能终端(如摄影机和手机)中的图像库可能会经常性的更新图像，即经常性的添加新图像进入图像库中，或者从图像库中删除图像。因此，在另一实施例中，还包括从图像库中获取新添加的图像进行人脸图像分类方法。

参阅图5，图5是本申请提供的人脸图像分类方法第二实施例的流程示意图，该方法包括：

步骤21：获取第三人脸图像。

具体地，访问一智能终端中的图像库，并提取图像库中新添加(或新储存)的人脸图像。

步骤22：确定第三人脸图像与所有图像类的相似度。

其中，获取第三人脸图像和确定第三人脸图像与所有图像类的相似度的方式与上述实施例中步骤11和不再12相似，这里不再赘述。

步骤23：响应于第三图像类与第三人脸图像的相似度最大且第三图像类与第三人脸图像的相似度大于或等于设定第五相似度阈值，将第三人脸图像归于第三图像类。

可选地，第五相似度阈值小于或等于第一相似度阈值，第五相似度阈值与第二相似度阈值、第三相似度阈值和第四相似度阈值之间的大小无具体限定。如第一相似度阈值为0.5，第二相似度阈值为0.25，第三相似度阈值为0.25，第四相似度阈值为0.25，第五相似度阈值可以为0.25、0.3或0.2。

其中，若第三图像类与第三人脸图像的相似度小于设定第五相似度阈值，则认为第三图像类中的人脸图像与第三人脸图像不表示同一人脸，此时进入步骤24。

步骤24：响应于第三图像类与第三人脸图像的相似度最大且第三图像类与第三人脸图像的相似度小于设定第五相似度阈值，将第三人脸图像分为一类图像。

可选地，在任一人脸图像分为一图像类或者任一人脸图像归于一图像类之后，更新对应图像类的平均特征向量。其中，平均特征向量为图像类中所有人脸图像的特征向量的平均值(即平均脸向量)，平均特征向量用于确定图像类与人脸图像的相似度。

其中，在人脸图像和/或图像类的相似度比较中不断的建立和丰富人脸库，从而能够得到较具有代表性的平均脸向量，同平均脸向量计算出的距离会比同单张人脸图片的人脸计算距离更为稳定，因此误分和错分的情况都能得到缓解。

可选地，在更新结束对应图像类的平均特征向量之后，将该图像类添加入一人脸库中储存，以便于后续的更新图像类或者调用某一图像类。

参阅图6，图6是本申请提供的人脸图像分类方法第三实施例的流程示意图，该方法包括：

(1)输入图片，再调用人脸识别接口识别图片，并返回图片中人脸数量和每个人的人脸特征向量F。

(2)判断所有图片中，是否存在满足人脸数量n＝1的图片。若不存在，则不作分类；若存在，则对每张图片进行循环分类，一共有N张图片，从第一张图片开始遍历。

(3)对第i张图片进行遍历循环分类，其中，i＝x+1。

(4)计算剩余所有图片与图片i中人脸的相似度T，并记录在一个数组A中，计算数组A中满足大于阈值T1的图片数量Na。判断是否满足Na＞0，若存在，则把所有满足条件的图片和图片i分为一类，并放入人脸库中，更新这类的平均脸向量F。若不存在，则判断剩余图片中是否存在图片j的相似度T0满足T2＜T0＜T1。

(4-1)若不存在数组A中满足大于阈值T1的图片数量Na＞0，且剩余图片中存在图片j的相似度T0满足T2＜T0＜T1。再判断图片j是否已分类。若图片j已分类，则将图片i归类于图片j所属的类别，并放入人脸库中，更新该类的平均脸向量F。若图片j未分类，则判断人脸库是否存在。若人脸库不存在，则把图片j和图片i分为一类，并放入人脸库中，更新这类的平均脸向量F。若存在人脸库，则计算图片j与人脸库中每个类别的相似度，得出最小的一个相似度值Tx。再判断是否满足T3＜Tx。若满足T3＜Tx，则将图片j归类于相似度Tx相应的类别，更新该类的平均脸向量F。若不满足T3＜Tx，则判断是否满足i≤N。若满足i≤N，则返回第(3)步，进入下一次分类循环。

(4-2)若不存在数组A中满足大于阈值T1的图片数量Na＞0，且剩余图片中不存在图片j的相似度T0满足T2＜T0＜T1。则判断人脸库是否存在。若人脸库不存在，则则判断是否满足i≤N。若满足i≤N，则返回第(3)步，进入下一次分类循环。若人脸库存在，则计算图片j与人脸库中每个类别的相似度，并得出相似度最小的值Ty。再判断是否满足Ty＞T4。若满足Ty＞T4，则把图片j归类到相似度Ty对应的类别，并更新该类的平均脸向量F。若不满足Ty＞T4，则判断是否满足i≤N。若满足i≤N，则返回第(3)步，进入下一次分类循环。

(5)在步骤(4-1)或步骤(4-2)中，若不满足i≤N，则将人脸库合并，将没有被分类的图片单独作为一个类别，并结束分类。

区别于现有技术，本实施例提供的人脸图像分类方法包括：获取多个人脸图像；确定未分类的第一人脸图像与剩余人脸图像的相似度；响应于存在与第一人脸图像的相似度大于或等于设定第一相似度阈值的至少一图像，将第一人脸图像和至少一图像分为一类图像；响应于不存在与第一人脸图像的相似度大于或等于设定第一相似度阈值的图像，确定与第一人脸图像的相似度最大的第二人脸图像，根据第一人脸图像和第二人脸图像的相似度，对第一人脸图像和/或第二人脸图像进行分类。通过上述方式，一方面，循环式的将未分类人脸图像与剩余人脸图像，根据两者的相似度、剩余人脸图像的分类情况、剩余人脸图像与其相似度最大的图像类的相似度和是否存在图像类，从而进行不同分类策略，能够提升人脸图像分类的稳定性。另一方面，在任一人脸图像分为一图像类或者任一人脸图像归于一图像类之后，更新对应图像类的平均特征向量，进而减少人脸图像的误分和错分的情况，优化用户的使用体验。

参阅图7，图7为本申请提供的一种智能终端的结构示意图，该智能终端100包括处理器101以及与处理器101连接的存储器102，其中，存储器102中存储有程序数据，处理器101调取存储器102存储的程序数据，以执行上述的人脸图像分类方法。

可选地，在一实施例中，处理器101用于执行程序数据以实现如下方法：获取多个人脸图像；确定未分类的第一人脸图像与剩余人脸图像的相似度；响应于存在与第一人脸图像的相似度大于或等于设定第一相似度阈值的至少一图像，将第一人脸图像和至少一图像分为一类图像；响应于不存在与第一人脸图像的相似度大于或等于设定第一相似度阈值的图像，确定与第一人脸图像的相似度最大的第二人脸图像，根据第一人脸图像和第二人脸图像的相似度，对第一人脸图像和/或第二人脸图像进行分类。

其中，处理器101还可以称为CPU(Central Processing Unit，中央处理单元)。处理器101可能是一种电子芯片，具有信号的处理能力。处理器101还可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

存储器102可以为内存条、TF卡等，可以存储智能终端100中的全部信息，包括输入的原始数据、计算机程序、中间运行结果和最终运行结果都保存在存储器102中。它根据处理器101指定的位置存入和取出信息。有了存储器102，智能终端100才有记忆功能，才能保证正常工作。智能终端100的存储器102按用途可分为主存储器(内存)和辅助存储器(外存),也有分为外部存储器和内部存储器的分类方法。外存通常是磁性介质或光盘等，能长期保存信息。内存指主板上的存储部件，用来存放当前正在执行的数据和程序，但仅用于暂时存放程序和数据，关闭电源或断电，数据会丢失。

在本申请所提供的几个实施例中，应该理解到，所揭露的方法和装置，可以通过其它的方式实现。例如，以上所描述的智能终端100的实施方式仅仅是示意性的，例如，未分类人脸图像与剩余人脸图像，根据两者的相似度、剩余人脸图像的分类情况、剩余人脸图像与其相似度最大的图像类的相似度和是否存在图像类，从而进行不同的分类策略，仅仅为一种集合的方式，实际实现时可以有另外的划分方式，例如未分类人脸图像与剩余人脸图像可以结合或者可以集合到另一个系统中，或一些特征可以忽略，或不执行。

另外，在本申请各个实施例中的各功能单元(如人脸库和图像库等)可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

参阅图8，图8为本申请提供的计算机可读存储介质一实施例的结构示意图，该计算机可读存储介质110中存储有能够实现上述所有方法的程序指令111。

在本申请各个实施例中的各功能单元集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在计算机可读存储介质110中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机可读存储介质110在一个程序指令111中，包括若干指令用以使得一台计算机设备(可以是个人计算机，系统服务器，或者网络设备等)、电子设备(例如MP3、MP4等，也可以是手机、平板电脑、可穿戴设备等移动终端，也可以是台式电脑等)或者处理器(processor)以执行本申请各个实施方式方法的全部或部分步骤。

可选地，在一实施例中，程序指令111在被处理器执行时，用以实现如下方法：获取多个人脸图像；确定未分类的第一人脸图像与剩余人脸图像的相似度；响应于存在与第一人脸图像的相似度大于或等于设定第一相似度阈值的至少一图像，将第一人脸图像和至少一图像分为一类图像；响应于不存在与第一人脸图像的相似度大于或等于设定第一相似度阈值的图像，确定与第一人脸图像的相似度最大的第二人脸图像，根据第一人脸图像和第二人脸图像的相似度，对第一人脸图像和/或第二人脸图像进行分类。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可读存储介质110(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机可读存储介质110实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机可读存储介质110到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的程序指令111产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机可读存储介质110也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储介质110中的程序指令111产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机可读存储介质110也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的程序指令111提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一实施例中，这些可编程数据处理设备上包括处理器和存储器。处理器还可以称为CPU(Central Processing Unit，中央处理单元)。处理器可能是一种电子芯片，具有信号的处理能力。处理器还可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

存储器可以为内存条、TF卡等，它根据处理器指定的位置存入和取出信息。存储器按用途可分为主存储器(内存)和辅助存储器(外存),也有分为外部存储器和内部存储器的分类方法。外存通常是磁性介质或光盘等，能长期保存信息。内存指主板上的存储部件，用来存放当前正在执行的数据和程序，但仅用于暂时存放程序和数据，关闭电源或断电，数据会丢失。

以上所述仅为本申请的实施方式，并非因此限制本申请的专利范围，凡是根据本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (12)

1.一种人脸图像分类方法，其特征在于，所述方法包括：

获取多个人脸图像；

确定未分类的第一人脸图像与剩余人脸图像的相似度；

响应于存在与所述第一人脸图像的相似度大于或等于设定第一相似度阈值的至少一图像，将所述第一人脸图像和所述至少一图像分为一类图像；

响应于不存在与所述第一人脸图像的相似度大于或等于所述第一相似度阈值的图像，确定与所述第一人脸图像的相似度最大的第二人脸图像，根据所述第一人脸图像和所述第二人脸图像的相似度，对所述第一人脸图像和/或所述第二人脸图像进行分类。

2.根据权利要求1所述的人脸图像分类方法，其特征在于，

所述根据所述第一人脸图像和所述第二人脸图像的相似度，对所述第一人脸图像和/或第二人脸图像进行分类包括：

响应于所述第二人脸图像与所述第一人脸图像的相似度大于或等于设定第二相似度阈值，根据所述第二人脸图像是否已分类，对所述第一人脸图像和/或所述第二人脸图像进行分类；其中，所述第二相似度阈值小于所述第一相似度阈值；

响应于所述第二人脸图像与所述第一人脸图像的相似度小于所述第二相似度阈值，确定已分类的至少一图像类中与所述第二人脸图像的相似度最大的一图像类，根据与所述第二人脸图像相似度最大的图像类、和所述第二人脸图像的相似度，对所述第一人脸图像和/或所述第二人脸图像进行分类。

3.根据权利要求2所述的人脸图像分类方法，其特征在于，

所述根据所述第二人脸图像是否已完成分类，对所述第一人脸图像和/或所述第二人脸图像进行分类，包括：

响应于所述第二人脸图像已分类，将所述第一人脸图像归于所述第二人脸图像所属的图像类；

响应于所述第二人脸图像未分类，确定已分类的至少一图像类中与所述第二人脸图像的相似度最大的一图像类，根据与所述第二人脸图像相似度最大的图像类、和所述第二人脸图像的相似度，对所述第一人脸图像和/或所述第二人脸图像进行分类。

4.根据权利要求3所述的人脸图像分类方法，其特征在于，

所述根据与所述第二人脸图像相似度最大的图像类、和所述第二人脸图像的相似度，对所述第一人脸图像和/或所述第二人脸图像进行分类，包括：

响应于第一图像类与所述第二人脸图像的相似度最大、且所述第一图像类与所述第二人脸图像的相似度大于或等于设定第三相似度阈值，将所述第一人脸图像和所述第二人脸图像归于所述第一图像类；

响应于所述第一图像类与所述第二人脸图像的相似度最大、且所述第一图像类与所述第二人脸图像的相似度小于设定所述第三相似度阈值，将所述第一人脸图像和所述第二人脸图像分为一类图像。

5.根据权利要求2所述的人脸图像分类方法，其特征在于，

所述根据所述第二人脸图像和所述相似度最大的一图像类的相似度，对所述第一人脸图像和/或所述第二人脸图像进行分类，包括：

响应于所述第二人脸图像未分类且不存在至少一图像类，将所述第一人脸图像和所述第二人脸图像分为一类图像。

6.根据权利要求2所述的人脸图像分类方法，其特征在于，

所述根据与所述第二人脸图像相似度最大的图像类、和所述第二人脸图像的相似度，对所述第一人脸图像和/或所述第二人脸图像进行分类，包括：

响应于第二图像类与所述第二人脸图像的相似度最大且所述第二人脸图像与所述第二图像类的相似度大于或等于设定第四相似度阈值，将所述第二人脸图像归于所述第二图像类；

响应于第二图像类与所述第二人脸图像的相似度最大且所述第二人脸图像与所述第二图像类的相似度小于设定所述第四相似度阈值，将所述第一人脸图像和所述第二人脸图像各分为一类图像。

7.根据权利要求2所述的人脸图像分类方法，其特征在于，

所述根据与所述第二人脸图像相似度最大的图像类、和所述第二人脸图像的相似度，对所述第一人脸图像和/或所述第二人脸图像进行分类，包括：

响应于不存在至少一图像类，将所述第一人脸图像和所述第二人脸图像各分为一类图像。

8.根据权利要求1所述的人脸图像分类方法，其特征在于，

所述方法还包括：

获取第三人脸图像；

确定所述第三人脸图像与所有图像类的相似度；

响应于第三图像类与所述第三人脸图像的相似度最大且所述第三图像类与所述第三人脸图像的相似度大于或等于设定第五相似度阈值，将所述第三人脸图像归于所述第三图像类；

响应于第三图像类与所述第三人脸图像的相似度最大且所述第三图像类与所述第三人脸图像的相似度小于设定所述第五相似度阈值，将所述第三人脸图像分为一类图像。

9.根据权利要求1所述的人脸图像分类方法，其特征在于，

所述确定未分类的第一人脸图像与剩余人脸图像的相似度，包括：

对多个所述人脸图像进行图像识别，得到多个所述人脸图像的人脸数量和特征向量；

对人脸数量大于1的人脸图像进行去除；

确定未分类的第一人脸图像的特征向量、与剩余人脸图像的特征向量的距离，以确定未分类的第一人脸图像与剩余人脸图像的相似度。

10.根据权利要求9所述的人脸图像分类方法，其特征在于，

所述方法还包括：

在任一人脸图像分为一图像类或者任一人脸图像归于一图像类之后，更新对应所述图像类的平均特征向量；其中，所述平均特征向量为所述图像类中所有人脸图像的特征向量的平均值，所述平均特征向量用于确定所述图像类与人脸图像的相似度。

11.一种智能终端，其特征在于，所述智能终端包括处理器以及与所述处理器连接的存储器，其中，所述存储器中存储有程序数据，所述处理器调取所述存储器存储的所述程序数据，以执行如权利要求1-10任意一项所述的人脸图像分类方法。

12.一种计算机可读存储介质，内部存储有程序指令，其特征在于，所述程序指令被执行以实现如权利要求1-10任一项所述的人脸图像分类方法。

Images