CN110458078B - 一种人脸图像数据聚类方法、系统及设备 - Google Patents

一种人脸图像数据聚类方法、系统及设备 Download PDF

Info

Publication number
CN110458078B
CN110458078B CN201910717662.3A CN201910717662A CN110458078B CN 110458078 B CN110458078 B CN 110458078B CN 201910717662 A CN201910717662 A CN 201910717662A CN 110458078 B CN110458078 B CN 110458078B
Authority
CN
China
Prior art keywords
image
face
similarity
face image
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910717662.3A
Other languages
English (en)
Other versions
CN110458078A (zh
Inventor
林大均
毛亮
林焕凯
朱婷婷
许丹丹
黄仝宇
汪刚
宋一兵
侯玉清
刘双广
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Gosuncn Technology Group Co Ltd
Original Assignee
Gosuncn Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Gosuncn Technology Group Co Ltd filed Critical Gosuncn Technology Group Co Ltd
Priority to CN201910717662.3A priority Critical patent/CN110458078B/zh
Publication of CN110458078A publication Critical patent/CN110458078A/zh
Application granted granted Critical
Publication of CN110458078B publication Critical patent/CN110458078B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Abstract

本发明公开了一种人脸图像数据聚类方法，包括：将人脸图像输入到预设的特征提取模型中，以提取出特征数据；采用余弦相似性函数计算任意两张人脸图像的特征数据之间相似分数；获取相似分数大于预设第一相似阈值的两张人脸图像作为图像对集合中的候选图像对；计算候选图像对的特征向量，并将特征向量输入到预设的分类器中，以使分类器进行识别；当分类器判定候选图像对不属于同一个人时，将候选图像对从图像对集合中移除；将图像对集合中属于同一个人的所有候选图像对合并并归为一类。本发明还公开一种人脸图像数据聚类系统和一种人脸图像数据聚类设备。采用本发明实施例，针对现实场景采集到的人脸样本分布特点，能有效减少聚类偏差。

Description

一种人脸图像数据聚类方法、系统及设备
技术领域
本发明涉及人脸识别技术领域，尤其涉及一种人脸图像数据聚类方法、系统及设备。
背景技术
随着深度学习的快速发展，基于深度神经网络的人脸识别算法被广泛应用到了各个领域。为了获得更加有效稳定的深度学习人脸识别模型，通常需要用数量规模极大的人脸样本进行训练学习，而对这些训练样本的标注及清理工作的人力及时间成本是非常高的。因此，现有一些技术提出了利用聚类算法，实现对大量未标注人脸图像的自动标注处理。最常使用的聚类算法有K-means聚类、谱聚类算法、层次聚类算法等。
在使用K-means聚类算法的过程中，均是通过假设某个类中的样本都会紧紧围绕在一个聚类中心分布来计算的，然而真实场景下同个人的人脸图像会因为角度、光照等因素导致实际分布呈现更为复杂的分布，因此该聚类算法很容易会将一个人的人脸图像聚集成多个类别。谱聚类算法要求数据集中的不同类别的样本数量是均衡的，即不同人的人脸图像数量差别不大，但是真实采集的数据经常不能满足这一假设，可能有些人采集到的图像只有单张，而一些人的图像会非常多。因此谱聚类方法对一些孤立的样本或者噪声样本非常敏感，从而导致聚类偏差很大，进而影响人脸数据集的采集。
发明内容
本发明实施例的目的是提供一种人脸图像数据聚类方法、系统及设备，针对现实场景采集到的人脸样本分布特点，采用连接图模型描述样本之间的关系，从而得到对人脸图像的聚类结果，有效减少聚类偏差。
为实现上述目的，本发明实施例提供了一种人脸图像数据聚类方法，包括：
将人脸图像输入到预设的特征提取模型中，以提取出特征数据；
采用余弦相似性函数计算任意两张人脸图像的特征数据之间相似分数；
获取所述相似分数大于预设第一相似阈值的两张人脸图像作为图像对集合中的候选图像对；
计算所述候选图像对的特征向量，并将所述特征向量输入到预设的分类器中，以使所述分类器对所述候选图像对进行识别；
当所述分类器判定所述候选图像对不属于同一个人时，将所述候选图像对从所述图像对集合中移除；
将所述图像对集合中属于同一个人的所有所述候选图像对合并并归为一类。
作为上述方案的改进，所述采用余弦相似性函数计算任意两张人脸图像的特征数据之间相似分数后，所述方法还包括：
获取与当前人脸图像的相似分数大于预设第二相似阈值的其他人脸图像，建立人脸图像的近邻关系图；其中，所述近邻关系图包括若干结点，每一结点表示一个人脸图像，连接所述结点之间的边表示其对应的人脸图像为属于同一个人的人脸图像。
作为上述方案的改进，所述计算所述候选图像对的特征向量，具体包括：
根据所述近邻关系图计算所述候选图像对的特征向量；其中，所述特征向量包括近邻连接关系特征向量和相似分数特征向量；
所述近邻连接关系特征向量满足以下公式：
Figure GDA0003393404610000021
Figure GDA0003393404610000022
其中，IR为所述近邻连接关系特征向量；
Figure GDA0003393404610000023
为邻连接关系；
Figure GDA0003393404610000024
为近邻关系图；(p1,p2)为所述候选图像对，p1为一个人脸图像，p2为另一个人脸图像；
所述相似分数特征向量满足以下公式：
Figure GDA0003393404610000031
其中，IA为所述相似分数特征向量，
Figure GDA0003393404610000032
为所述候选图像对的相似分数。
作为上述方案的改进，所述特征向量还包括均值特征向量和标准差特征向量；其中，
对于任意结点，在所述图中与有连接关系的其他结点的集合称为当前结点p的近邻域
Figure GDA0003393404610000033
p与其近邻域中其他k个结点的相似分数的集合满足以下公式：
Figure GDA0003393404610000034
其中，
Figure GDA0003393404610000035
为所述相似分数的集合；
根据所述相似分数的集合计算其均值
Figure GDA0003393404610000036
以及标准差
Figure GDA0003393404610000037
其中，所述均值用于描述人脸图像p与其近邻域内其他k个结点的相似分数的平均水平；所述标准差用于描述结点之间相似性分数的波动程度；
所述均值特征向量满足以下公式：
Figure GDA0003393404610000038
其中，IE为所述均值特征向量；
Figure GDA0003393404610000039
为人脸图像p1与其近邻域中其他k个结点的相似分数的集合的均值；
Figure GDA00033934046100000310
为人脸图像p2与其近邻域中其他k个结点的相似分数的集合的均值；
所述标准差特征向量满足以下公式：
Figure GDA00033934046100000311
其中，Iσ为所述标准差特征向量；
Figure GDA00033934046100000312
为人脸图像p1与其近邻域中其他k个结点的相似分数的集合的标准差；
Figure GDA00033934046100000313
为人脸图像p2与其近邻域中其他k个结点的相似分数的集合的标准差。
作为上述方案的改进，所述分类器的训练方法包括：
获取带有标签的人脸图像输入到预设的若干个特征提取模型中，以提取出特征数据；其中，所述标签用于表示是否同一个人；
采用余弦相似性函数计算任意两张人脸图像的特征数据之间相似分数；
获取与当前人脸图像的相似分数大于预设第二相似阈值的其他人脸图像，建立人脸图像的近邻关系图；
根据所述近邻关系图计算所有图像对的特征向量；其中，所述图像对为所述近邻关系图中任意一条边所连接的两个结点；
根据所述特征向量和所述人脸图像的标签训练分类器。
作为上述方案的改进，所述采用余弦相似性函数计算任意两张人脸图像的特征数据之间相似分数，满足以下公式：
Figure GDA0003393404610000041
其中，
Figure GDA0003393404610000042
为所述相似分数；
Figure GDA0003393404610000043
为人脸图像p1的特征数据；
Figure GDA0003393404610000044
为人脸图像p2的特征数据。
作为上述方案的改进，所述将所述图像对集合中属于同一个人的所有候所述选图像对合并并归为一类，具体包括：
采用并集-查找算法将所述图像对集合中属于同一个人的所有所述候选图像对合并并归为一类。
为实现上述目的，本发明实施例还提供了一种人脸图像数据聚类系统，包括：
特征数据提取模块，用于将人脸图像输入到预设的特征提取模型中，以提取出特征数据；
相似分数计算模块，用于采用余弦相似性函数计算任意两张人脸图像的特征数据之间相似分数；
候选图像对生成模块，用于获取所述相似分数大于预设第一相似阈值的两张人脸图像作为图像对集合中的候选图像对；
特征向量计算模块，用于计算所述候选图像对的特征向量；
分类器识别模块，用于将所述特征向量输入到预设的分类器中，以使所述分类器对所述候选图像对进行识别；
候选图像对移除模块，用于当所述分类器判定所述候选图像对不属于同一个人时，将所述候选图像对从所述图像对集合中移除；
聚类结果输出模块，用于将所述图像对集合中属于同一个人的所有所述候选图像对合并并归为一类。
作为上述方案的改进，所述分类器的训练方法包括：
获取带有标签的人脸图像输入到预设的若干个特征提取模型中，以提取出特征数据；其中，所述标签用于表示是否同一个人；
采用余弦相似性函数计算任意两张人脸图像的特征数据之间相似分数；
获取与当前人脸图像的相似分数大于预设第二相似阈值的其他人脸图像，建立人脸图像的近邻关系图；
根据所述近邻关系图计算所有图像对的特征向量；其中，所述图像对为所述近邻关系图中任意一条边所连接的两个结点；
根据所述特征向量和所述人脸图像的标签训练分类器。
为实现上述目的，本发明实施例还提供一种人脸图像数据聚类设备，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如上述任一实施例所述的人脸图像数据聚类方法。
与现有技术相比，本发明实施例公开的人脸图像数据聚类方法、系统及设备具有如下有益效果：
采用多个模型协同评分，可以引入不同的意见，可以挖掘出更多的有用信息用于模型学习，利用多个模型对图像连接关系的判别做出不同的结论，然后融合所有模型的意见做出最终判别结果，在大量未标注人脸图像中建立起人脸图像之间的连接关系图，更能适应人脸数据集样本的复杂分布，从而得到对人脸图像的聚类结果，有效减少聚类偏差，实现自动标注。
附图说明
图1是本发明实施例提供的一种的人脸图像数据聚类方法的流程图；
图2是本发明实施例提供的一种的人脸图像数据聚类方法中分类器的训练方法流程图；
图3是本发明实施例提供的一种的人脸图像数据聚类系统10的结构示意图；
图4是本发明实施例提供的一种的人脸图像数据聚类设备20的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例一
参见图1，图1是本发明实施例提供的一种的人脸图像数据聚类方法的流程图；包括：
S11、将人脸图像输入到预设的特征提取模型中，以提取出特征数据；
S12、采用余弦相似性函数计算任意两张人脸图像的特征数据之间相似分数；
S13、获取所述相似分数大于预设第一相似阈值的两张人脸图像作为图像对集合中的候选图像对；
S14、计算所述候选图像对的特征向量，并将所述特征向量输入到预设的分类器中，以使所述分类器对所述候选图像对进行识别；
S15、当所述分类器判定所述候选图像对不属于同一个人时，将所述候选图像对从所述图像对集合中移除；
S16、将所述图像对集合中属于同一个人的所有所述候选图像对合并并归为一类，以输出聚类结果。
值得说明的是，本发明实施例中的训练过程采用的是有标签的人脸图像，在训练完成所述分类器后，则可以用于判别两张人脸图像是否为同一个人，虽然无标签数据(无标签数据指的是没有类别信息的原始数据，在本发明实施例中数据一般指人脸图像，标签指的就是对这些图像打上的标注信息，比如这个人是谁)并未提供直接的类别信息，但是数据的内部结构，即数据点之间的相互关系，却可以真实地反应出这些人脸图像的分布情况。用一个图(graph)结构来描述这种关系结构，其中图的结点表示单个数据点即人脸图像，而连接结点的边则表示结点之间的关系即两张人脸图像是否属于同一个人。为了判断两张人脸图像是否存在连接关系，在本发明实施例中采用训练好的特征提取模型对图像提取特征，并计算它们之间的相似性分数。
具体的，在步骤S11～S12中，假设我们有个N特征提取模型Mi，分别表示为M1,M2,M3,…MN,i＝1,2,3,…N。利用多个模型协同评分，引入多种意见，更有可能挖掘到更多有意义的人脸样本用于学习。对于给定的两张人脸图像p1及p2，经过所述特征提取模型得到的特征数据分别表示为
Figure GDA0003393404610000071
和
Figure GDA0003393404610000072
我们可以用余弦相似性函数来计算这两个特征的相似程度，以得到任意两张人脸图像的特征数据之间相似分数，满足以下公式：
Figure GDA0003393404610000073
其中，
Figure GDA0003393404610000074
为所述相似分数；
Figure GDA0003393404610000075
为人脸图像p1的特征数据；
Figure GDA0003393404610000076
为人脸图像p2的特征数据。其中，所述相似分数的值越大，表示两张人脸图像越相似，则它们属于同一个人的概率越高。
优选的，所述采用余弦相似性函数计算任意两张人脸图像的特征数据之间相似分数后，所述方法还包括：
获取与当前人脸图像的相似分数大于预设第二相似阈值的其他人脸图像，建立人脸图像的近邻关系图；其中，所述近邻关系图包括若干结点，每一结点表示一个人脸图像，连接所述结点之间的边表示其对应的人脸图像为属于同一个人的人脸图像。
根据所述相似分数的排序，可以找到与结点p相似分数最高(即大于所述第二相似阈值)的另外k个结点，即p的k近邻，从而依此建立起在所述特征提取模型Mi下整个未标注人脸图像数据集的近邻关系图结构，记为
Figure GDA0003393404610000081
图中的任一条边(p1,p2)表示两个结点存在近邻关系。
具体的，在步骤S13中，图片集合中可能存在连接关系也即属于同一个人的图像对的数量是相对较小的，因此可以用一个较为稳定的特征提取模型作为基础模型，提供可能的候选匹配图像对集合，从而降低算法的复杂度。具体做法如下：不失一般性，我们将特征提取模型M1当做一个基础模型，利用对所述人脸图像进行特征提取，并计算两两图像对之间的相似分数，并设置第一相似阈值，将满足条件的图像对作为候选图像对加入到预设的图像对集合S中。
具体的，在步骤S14中，根据所述近邻关系图计算所述候选图像对的特征向量；其中，所述特征向量包括近邻连接关系特征向量、相似分数特征向量；
所述近邻连接关系特征向量满足以下公式：
Figure GDA0003393404610000082
Figure GDA0003393404610000083
其中，IR为所述近邻连接关系特征向量；
Figure GDA0003393404610000084
为邻连接关系；
Figure GDA0003393404610000085
为近邻关系图；(p1,p2)为所述候选图像对，p1为一个人脸图像，p2为另一个人脸图像；N为维度；
Figure GDA0003393404610000086
表示的是N维的实数向量集合。
所述相似分数特征向量满足以下公式：
Figure GDA0003393404610000087
其中，IA为所述相似分数特征向量，
Figure GDA0003393404610000088
为所述候选图像对的相似分数。
优选的，所述特征向量还包括均值特征向量和标准差特征向量；其中，
对于任意结点，在所述图中与有连接关系的其他结点的集合称为当前结点p的近邻域
Figure GDA0003393404610000091
p与其近邻域中其他k个结点的相似分数的集合满足以下公式：
Figure GDA0003393404610000092
其中，
Figure GDA0003393404610000093
为所述相似分数的集合；
根据所述相似分数的集合计算其均值
Figure GDA0003393404610000094
以及标准差
Figure GDA0003393404610000095
其中，所述均值用于描述人脸图像p与其近邻域内其他k个结点的相似分数的平均水平，一般来说其值越小，则p与其k近邻域内其他结点同属一个人的概率则越高；所述标准差用于描述结点之间相似性分数的波动程度，其值越大，则说明这种连接关系越不稳定；
所述均值特征向量满足以下公式：
Figure GDA0003393404610000096
其中，IE为所述均值特征向量；
Figure GDA0003393404610000097
为人脸图像p1与其近邻域中其他k个结点的相似分数的集合的均值；
Figure GDA0003393404610000098
为人脸图像p2与其近邻域中其他k个结点的相似分数的集合的均值；
所述标准差特征向量满足以下公式：
Figure GDA0003393404610000099
其中，Iσ为所述标准差特征向量；
Figure GDA00033934046100000910
为人脸图像p1与其近邻域中其他k个结点的相似分数的集合的标准差；
Figure GDA00033934046100000911
为人脸图像p2与其近邻域中其他k个结点的相似分数的集合的标准差。
将这四个向量IR、IA、IE、Iσ拼接成一个维度为6N的特征向量作为候选图像对的特征描述，由公式(1)、(3)、(5)、(6)以及前面的描述，可以看出的所述特征向量的维度分别为N、N、2N、2N，因此将四个特征向量拼接合成维度为6N的特征向量。
具体的，在步骤S15中，将所述特征向量输入到训练好的所述分类器中，以使所述分类器判别所述候选图像对(p1,p2)是否属于同一个人。若(p1,p2)不属于同一个人，则将(p1,p2)从图像对集合S中移除。
具体的，在步骤S16中，采用并集-查找算法将所述图像对集合中属于同一个人的所有所述候选图像对合并并归为一类。
进一步的，本发明实施例还提供一种分类器的训练方法，参见图2，图2是本发明实施例提供的一种的人脸图像数据聚类方法中分类器的训练方法流程图；包括：
S21、获取带有标签的人脸图像输入到预设的若干个特征提取模型中，以提取出特征数据；其中，所述标签用于表示是否同一个人；
S22、采用余弦相似性函数计算任意两张人脸图像的特征数据之间相似分数；
S23、获取与当前人脸图像的相似分数大于预设第二相似阈值的其他人脸图像，建立人脸图像的近邻关系图；
S24、根据所述近邻关系图计算所有图像对的特征向量；其中，所述图像对为所述近邻关系图中任意一条边所连接的两个结点；
S25、根据所述特征向量和所述人脸图像的标签训练分类器。
具体的步骤S22中计算相似分数的过程请参考公式(7)、步骤S22计算所有图像对的特征向量请参考公式(1)～(6)，在此不再赘述。具体的，根据所述近邻关系图计算所有图像对的特征向量，生成特征向量合集
Figure GDA0003393404610000101
；同时根据p1,p2已有类标生成新标签表示两者是否属于同一个人，取值为0或1，记为标签集合为
Figure GDA0003393404610000102
。根据所述特征向量合集
Figure GDA0003393404610000103
和所述人脸图像的标签集合
Figure GDA0003393404610000104
训练分类器。
与现有技术相比，本发明实施例公开的人脸图像数据聚类方法采用多个模型协同评分，可以引入不同的意见，可以挖掘出更多的有用信息用于模型学习，利用多个模型对图像连接关系的判别做出不同的结论，然后融合所有模型的意见做出最终判别结果，在大量未标注人脸图像中建立起人脸图像之间的连接关系图，更能适应人脸数据集样本的复杂分布，从而得到对人脸图像的聚类结果，有效减少聚类偏差，实现自动标注。
实施例二
参见图3，图3是本发明实施例提供的一种的人脸图像数据聚类系统10的结构示意图；包括：
特征数据提取模块11，用于将人脸图像输入到预设的特征提取模型中，以提取出特征数据；
相似分数计算模块12，用于采用余弦相似性函数计算任意两张人脸图像的特征数据之间相似分数；
候选图像对生成模块13，用于获取所述相似分数大于预设第一相似阈值的两张人脸图像作为图像对集合中的候选图像对；
特征向量计算模块14，用于计算所述候选图像对的特征向量；
分类器识别模块15，用于将所述特征向量输入到预设的分类器中，以使所述分类器对所述候选图像对进行识别；
候选图像对移除模块16，用于当所述分类器判定所述候选图像对不属于同一个人时，将所述候选图像对从所述图像对集合中移除；
聚类结果输出模块17，用于将所述图像对集合中属于同一个人的所有所述候选图像对合并并归为一类，以输出聚类结果；
近邻关系图构建模块18，用于获取与当前人脸图像的相似分数大于预设第二相似阈值的其他人脸图像，建立人脸图像的近邻关系图；其中，所述近邻关系图包括若干结点，每一结点表示一个人脸图像，连接所述结点之间的边表示其对应的人脸图像为属于同一个人的人脸图像。
优选的，所述特征向量计算模块14，具体用于：根据所述近邻关系图计算所述候选图像对的特征向量；其中，所述特征向量包括近邻连接关系特征向量、相似分数特征向量；
所述近邻连接关系特征向量满足以下公式：
Figure GDA0003393404610000121
Figure GDA0003393404610000122
其中，IR为所述近邻连接关系特征向量；
Figure GDA0003393404610000123
为邻连接关系；
Figure GDA0003393404610000124
为近邻关系图；(p1,p2)为所述候选图像对，p1为一个人脸图像，p2为另一个人脸图像；
所述相似分数特征向量满足以下公式：
Figure GDA0003393404610000125
其中，IA为所述相似分数特征向量，
Figure GDA0003393404610000126
为所述候选图像对的相似分数。
优选的，所述特征向量还包括均值特征向量和标准差特征向量；其中，
对于任意结点，在所述图中与有连接关系的其他结点的集合称为当前结点p的近邻域
Figure GDA0003393404610000127
p与其近邻域中其他k个结点的相似分数的集合满足以下公式：
Figure GDA0003393404610000128
其中，
Figure GDA0003393404610000129
为所述相似分数的集合；
根据所述相似分数的集合计算其均值
Figure GDA00033934046100001210
以及标准差
Figure GDA00033934046100001211
其中，所述均值用于描述人脸图像p与其近邻域内其他k个结点的相似分数的平均水平；所述标准差用于描述结点之间相似性分数的波动程度；
所述均值特征向量满足以下公式：
Figure GDA00033934046100001212
其中，IE为所述均值特征向量；
Figure GDA00033934046100001213
为人脸图像p1与其近邻域中其他k个结点的相似分数的集合的均值；
Figure GDA00033934046100001214
为人脸图像p2与其近邻域中其他k个结点的相似分数的集合的均值；
所述标准差特征向量满足以下公式：
Figure GDA0003393404610000131
其中，Iσ为所述标准差特征向量；
Figure GDA0003393404610000132
为人脸图像p1与其近邻域中其他k个结点的相似分数的集合的标准差；
Figure GDA0003393404610000133
为人脸图像p2与其近邻域中其他k个结点的相似分数的集合的标准差。
优选的，所述相似分数计算模块12采用余弦相似性函数计算任意两张人脸图像的特征数据之间相似分数，满足以下公式：
Figure GDA0003393404610000134
其中，
Figure GDA0003393404610000135
为所述相似分数；
Figure GDA0003393404610000136
为人脸图像p1的特征数据；
Figure GDA0003393404610000137
为人脸图像p2的特征数据。
优选的，所述聚类结果输出模块17具体用于：采用并集-查找算法将所述图像对集合中属于同一个人的所有所述候选图像对合并并归为一类。
优选的，所述分类器的训练方法包括：
获取带有标签的人脸图像输入到预设的若干个特征提取模型中，以提取出特征数据；其中，所述标签用于表示是否同一个人；
采用余弦相似性函数计算任意两张人脸图像的特征数据之间相似分数；
获取与当前人脸图像的相似分数大于预设第二相似阈值的其他人脸图像，建立人脸图像的近邻关系图；
根据所述近邻关系图计算所有图像对的特征向量；其中，所述图像对为所述近邻关系图中任意一条边所连接的两个结点；
根据所述特征向量和所述人脸图像的标签训练分类器。
与现有技术相比，本发明实施例公开的人脸图像数据聚类系统10采用多个模型协同评分，可以引入不同的意见，可以挖掘出更多的有用信息用于模型学习，利用多个模型对图像连接关系的判别做出不同的结论，然后融合所有模型的意见做出最终判别结果，在大量未标注人脸图像中建立起人脸图像之间的连接关系图，更能适应人脸数据集样本的复杂分布，从而得到对人脸图像的聚类结果，有效减少聚类偏差，实现自动标注。
实施例三
参见图4，图4是本发明实施例提供的一种的人脸图像数据聚类设备20的结构示意图。该实施例的包括：处理器21、存储器22以及存储在所述存储器22中并可在所述处理器21上运行的计算机程序。所述处理器21执行所述计算机程序时实现上述各个人脸图像数据聚类方法实施例中的步骤，例如图1所示的步骤S11。或者，所述处理器21执行所述计算机程序时实现上述各装置实施例中各模块/单元的功能，例如特征数据提取模块11。
示例性的，所述计算机程序可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器22中，并由所述处理器21执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在所述中的执行过程。例如，所述计算机程序可以被分割成特征数据提取模块11、相似分数计算模块12、候选图像对生成模块13、特征向量计算模块14、分类器识别模块15、候选图像对移除模块16、聚类结果输出模块17和近邻关系图构建模块18，各模块具体功能请参考上述实施例二所述的人脸图像数据聚类系统10的具体工作过程，在此不再赘述。
所述可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述可包括，但不仅限于，处理器21、存储器22。本领域技术人员可以理解，所述示意图仅仅是的示例，并不构成对的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述还可以包括输入输出设备、网络接入设备、总线等。
所述处理器21可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器21也可以是任何常规的处理器等，所述处理器21是所述的控制中心，利用各种接口和线路连接整个的各个部分。
所述存储器22可用于存储所述计算机程序和/或模块，所述处理器21通过运行或执行存储在所述存储器22内的计算机程序和/或模块，以及调用存储在存储器22内的数据，实现所述的各种功能。所述存储器22可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器22可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
其中，所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器21执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
需说明的是，以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外，本发明提供的装置实施例附图中，模块之间的连接关系表示它们之间具有通信连接，具体可以实现为一条或多条通信总线或信号线。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

Claims (9)

1.一种人脸图像数据聚类方法，其特征在于，包括：
将人脸图像输入到预设的特征提取模型中，以提取出特征数据；
采用余弦相似性函数计算任意两张人脸图像的特征数据之间相似分数；
获取与当前人脸图像的相似分数大于预设第二相似阈值的其他人脸图像，建立人脸图像的近邻关系图；
获取所述相似分数大于预设第一相似阈值的两张人脸图像作为图像对集合中的候选图像对；
计算所述候选图像对的特征向量，并将所述特征向量输入到预设的分类器中，以使所述分类器对所述候选图像对进行识别；
当所述分类器判定所述候选图像对不属于同一个人时，将所述候选图像对从所述图像对集合中移除；
将所述图像对集合中属于同一个人的所有所述候选图像对合并并归为一类；
其中，所述计算所述候选图像对的特征向量，具体包括：
根据所述近邻关系图计算所述候选图像对的特征向量；其中，所述候选图像对的特征向量包括均值特征向量和标准差特征向量；
对于任意结点，在所述近邻关系图中与有连接关系的其他结点的集合称为当前结点p的近邻域
Figure FDA0003393404600000011
p与其近邻域中其他k个结点的相似分数的集合满足以下公式：
Figure FDA0003393404600000012
其中，
Figure FDA0003393404600000013
为所述相似分数的集合，N为特征提取模型的个数；
根据所述相似分数的集合计算其均值
Figure FDA0003393404600000014
以及标准差
Figure FDA0003393404600000015
其中，所述均值用于描述人脸图像p与其近邻域内其他k个结点的相似分数的平均水平；所述标准差用于描述结点之间相似性分数的波动程度；
所述均值特征向量满足以下公式：
Figure FDA0003393404600000021
其中，IE为所述均值特征向量；
Figure FDA0003393404600000022
为人脸图像p1与其近邻域中其他k个结点的相似分数的集合的均值；
Figure FDA0003393404600000023
为人脸图像p2与其近邻域中其他k个结点的相似分数的集合的均值；
所述标准差特征向量满足以下公式：
Figure FDA0003393404600000024
其中，Iσ为所述标准差特征向量；
Figure FDA0003393404600000025
为人脸图像p1与其近邻域中其他k个结点的相似分数的集合的标准差；
Figure FDA0003393404600000026
为人脸图像p2与其近邻域中其他k个结点的相似分数的集合的标准差。
2.如权利要求1所述的人脸图像数据聚类方法，其特征在于，所述近邻关系图包括若干结点，每一结点表示一个人脸图像，连接所述结点之间的边表示其对应的人脸图像为属于同一个人的人脸图像。
3.如权利要求1所述的人脸图像数据聚类方法，其特征在于，所述计算所述候选图像对的特征向量，具体包括：
根据所述近邻关系图计算所述候选图像对的特征向量；其中，所述特征向量包括近邻连接关系特征向量和相似分数特征向量；
所述近邻连接关系特征向量满足以下公式：
Figure FDA0003393404600000027
Figure FDA0003393404600000028
其中，IR为所述近邻连接关系特征向量；
Figure FDA0003393404600000029
为邻连接关系；
Figure FDA00033934046000000210
为近邻关系图；(p1,p2)为所述候选图像对，p1为一个人脸图像，p2为另一个人脸图像，N为特征提取模型的个数；
所述相似分数特征向量满足以下公式：
Figure FDA0003393404600000031
其中，IA为所述相似分数特征向量，
Figure FDA0003393404600000032
为所述候选图像对的相似分数。
4.如权利要求1所述的人脸图像数据聚类方法，其特征在于，所述分类器的训练方法包括：
获取带有标签的人脸图像输入到预设的若干个特征提取模型中，以提取出特征数据；其中，所述标签用于表示是否同一个人；
采用余弦相似性函数计算任意两张人脸图像的特征数据之间相似分数；
获取与当前人脸图像的相似分数大于预设第二相似阈值的其他人脸图像，建立人脸图像的近邻关系图；
根据所述近邻关系图计算所有图像对的特征向量；其中，所述图像对为所述近邻关系图中任意一条边所连接的两个结点；
根据所述特征向量和所述人脸图像的标签训练分类器。
5.如权利要求1或4所述的人脸图像数据聚类方法，其特征在于，所述采用余弦相似性函数计算任意两张人脸图像的特征数据之间相似分数，满足以下公式：
Figure FDA0003393404600000033
其中，
Figure FDA0003393404600000034
为所述相似分数；
Figure FDA0003393404600000035
为人脸图像p1的特征数据；
Figure FDA0003393404600000036
为人脸图像p2的特征数据。
6.如权利要求1所述的人脸图像数据聚类方法，其特征在于，所述将所述图像对集合中属于同一个人的所有候所述选图像对合并并归为一类，具体包括：
采用并集-查找算法将所述图像对集合中属于同一个人的所有所述候选图像对合并并归为一类。
7.一种人脸图像数据聚类系统，其特征在于，包括：
特征数据提取模块，用于将人脸图像输入到预设的特征提取模型中，以提取出特征数据；
相似分数计算模块，用于采用余弦相似性函数计算任意两张人脸图像的特征数据之间相似分数；
近邻关系图构建模块，用于获取与当前人脸图像的相似分数大于预设第二相似阈值的其他人脸图像，建立人脸图像的近邻关系图；
候选图像对生成模块，用于获取所述相似分数大于预设第一相似阈值的两张人脸图像作为图像对集合中的候选图像对；
特征向量计算模块，用于计算所述候选图像对的特征向量；
分类器识别模块，用于将所述特征向量输入到预设的分类器中，以使所述分类器对所述候选图像对进行识别；
候选图像对移除模块，用于当所述分类器判定所述候选图像对不属于同一个人时，将所述候选图像对从所述图像对集合中移除；
聚类结果输出模块，用于将所述图像对集合中属于同一个人的所有所述候选图像对合并并归为一类；
其中，所述计算所述候选图像对的特征向量，具体包括：
根据所述近邻关系图计算所述候选图像对的特征向量；其中，所述候选图像对的特征向量包括均值特征向量和标准差特征向量；
对于任意结点，在所述近邻关系图中与有连接关系的其他结点的集合称为当前结点p的近邻域
Figure FDA0003393404600000041
p与其近邻域中其他k个结点的相似分数的集合满足以下公式：
Figure FDA0003393404600000051
其中，
Figure FDA0003393404600000052
为所述相似分数的集合,N为特征提取模型的个数；
根据所述相似分数的集合计算其均值
Figure FDA0003393404600000053
以及标准差
Figure FDA0003393404600000054
其中，所述均值用于描述人脸图像p与其近邻域内其他k个结点的相似分数的平均水平；所述标准差用于描述结点之间相似性分数的波动程度；
所述均值特征向量满足以下公式：
Figure FDA0003393404600000055
其中，IE为所述均值特征向量；
Figure FDA0003393404600000056
为人脸图像p1与其近邻域中其他k个结点的相似分数的集合的均值；
Figure FDA0003393404600000057
为人脸图像p2与其近邻域中其他k个结点的相似分数的集合的均值；
所述标准差特征向量满足以下公式：
Figure FDA0003393404600000058
其中，Iσ为所述标准差特征向量；
Figure FDA0003393404600000059
为人脸图像p1与其近邻域中其他k个结点的相似分数的集合的标准差；
Figure FDA00033934046000000510
为人脸图像p2与其近邻域中其他k个结点的相似分数的集合的标准差。
8.如权利要求7所述的人脸图像数据聚类系统，其特征在于，所述分类器的训练方法包括：
获取带有标签的人脸图像输入到预设的若干个特征提取模型中，以提取出特征数据；其中，所述标签用于表示是否同一个人；
采用余弦相似性函数计算任意两张人脸图像的特征数据之间相似分数；
获取与当前人脸图像的相似分数大于预设第二相似阈值的其他人脸图像，建立人脸图像的近邻关系图；
根据所述近邻关系图计算所有图像对的特征向量；其中，所述图像对为所述近邻关系图中任意一条边所连接的两个结点；
根据所述特征向量和所述人脸图像的标签训练分类器。
9.一种人脸图像数据聚类设备，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至6中任意一项所述的人脸图像数据聚类方法。
CN201910717662.3A 2019-08-05 2019-08-05 一种人脸图像数据聚类方法、系统及设备 Active CN110458078B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910717662.3A CN110458078B (zh) 2019-08-05 2019-08-05 一种人脸图像数据聚类方法、系统及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910717662.3A CN110458078B (zh) 2019-08-05 2019-08-05 一种人脸图像数据聚类方法、系统及设备

Publications (2)

Publication Number Publication Date
CN110458078A CN110458078A (zh) 2019-11-15
CN110458078B true CN110458078B (zh) 2022-05-06

Family

ID=68484905

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910717662.3A Active CN110458078B (zh) 2019-08-05 2019-08-05 一种人脸图像数据聚类方法、系统及设备

Country Status (1)

Country Link
CN (1) CN110458078B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111209862B (zh) * 2020-01-03 2023-09-29 深圳力维智联技术有限公司 一种人脸图像的聚类方法、装置及介质
CN111401196A (zh) * 2020-03-10 2020-07-10 珠海全志科技股份有限公司 受限空间内自适应人脸聚类的方法、计算机装置及计算机可读存储介质
CN113553461A (zh) * 2020-04-26 2021-10-26 北京搜狗科技发展有限公司 一种图片聚类的方法及相关装置
CN112016623A (zh) * 2020-08-28 2020-12-01 佳都新太科技股份有限公司 一种人脸聚类方法、装置、设备及存储介质
CN112364688B (zh) * 2020-09-30 2022-04-08 北京奇信智联科技有限公司 人脸聚类方法、装置、计算机设备和可读存储介质
CN113762376A (zh) * 2021-08-31 2021-12-07 阿里巴巴新加坡控股有限公司 图像聚类的方法、装置、电子设备及存储介质
CN114612967B (zh) * 2022-03-03 2023-06-20 北京百度网讯科技有限公司 一种人脸聚类的方法、装置、设备及存储介质
CN115083003B (zh) * 2022-08-23 2022-11-22 浙江大华技术股份有限公司 聚类网络训练和目标聚类方法、装置、终端及存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104252616A (zh) * 2013-06-28 2014-12-31 广州华多网络科技有限公司 人脸标注方法、装置及设备
CN104933428A (zh) * 2015-07-23 2015-09-23 苏州大学 一种基于张量描述的人脸识别方法及装置
US9262688B1 (en) * 2011-09-24 2016-02-16 Z Advanced Computing, Inc. Method and system for analyzing and recognition of an emotion or expression from multimedia, text, or sound track
WO2017095439A1 (en) * 2015-12-04 2017-06-08 Hewlett Packard Enterprise Development Lp Incremental clustering of a data stream via an orthogonal transform based indexing
CN108229674A (zh) * 2017-02-21 2018-06-29 北京市商汤科技开发有限公司 聚类用神经网络的训练方法和装置、聚类方法和装置
CN109086720A (zh) * 2018-08-03 2018-12-25 腾讯科技（深圳）有限公司 一种人脸聚类方法、装置和存储介质
CN109800744A (zh) * 2019-03-18 2019-05-24 深圳市商汤科技有限公司 图像聚类方法及装置、电子设备和存储介质
CN109829433A (zh) * 2019-01-31 2019-05-31 北京市商汤科技开发有限公司 人脸图像识别方法、装置、电子设备及存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10120879B2 (en) * 2013-11-29 2018-11-06 Canon Kabushiki Kaisha Scalable attribute-driven image retrieval and re-ranking

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9262688B1 (en) * 2011-09-24 2016-02-16 Z Advanced Computing, Inc. Method and system for analyzing and recognition of an emotion or expression from multimedia, text, or sound track
CN104252616A (zh) * 2013-06-28 2014-12-31 广州华多网络科技有限公司 人脸标注方法、装置及设备
CN104933428A (zh) * 2015-07-23 2015-09-23 苏州大学 一种基于张量描述的人脸识别方法及装置
WO2017095439A1 (en) * 2015-12-04 2017-06-08 Hewlett Packard Enterprise Development Lp Incremental clustering of a data stream via an orthogonal transform based indexing
CN108229674A (zh) * 2017-02-21 2018-06-29 北京市商汤科技开发有限公司 聚类用神经网络的训练方法和装置、聚类方法和装置
CN109086720A (zh) * 2018-08-03 2018-12-25 腾讯科技（深圳）有限公司 一种人脸聚类方法、装置和存储介质
CN109829433A (zh) * 2019-01-31 2019-05-31 北京市商汤科技开发有限公司 人脸图像识别方法、装置、电子设备及存储介质
CN109800744A (zh) * 2019-03-18 2019-05-24 深圳市商汤科技有限公司 图像聚类方法及装置、电子设备和存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Linkage Based Face Custering via Graph Convolution Network;Zhongdao Wang et al.;《arxiv.org》;20190408;全文 *
基于最大边界准则的稀疏局部嵌入特征提取方法;刘毛溪等;《计算机应用研究》;20170531;全文 *

Also Published As

Publication number Publication date
CN110458078A (zh) 2019-11-15

Similar Documents

Publication Publication Date Title
CN110458078B (zh) 一种人脸图像数据聚类方法、系统及设备
CN110909725B (zh) 识别文本的方法、装置、设备及存储介质
CN107944020B (zh) 人脸图像查找方法及装置、计算机装置和存储介质
US10430649B2 (en) Text region detection in digital images using image tag filtering
CN108399180B (zh) 一种知识图谱构建方法、装置及服务器
Herdiyeni et al. Combination of morphological, local binary pattern variance and color moments features for indonesian medicinal plants identification
Huang et al. DeepDiff: Learning deep difference features on human body parts for person re-identification
WO2019137185A1 (zh) 一种图片筛选方法及装置、存储介质、计算机设备
CN110598019B (zh) 重复图像识别方法及装置
Lee et al. Tag refinement in an image folksonomy using visual similarity and tag co-occurrence statistics
CN112487886A (zh) 一种有遮挡的人脸识别方法、装置、存储介质及终端
US20220292394A1 (en) Multi-scale deep supervision based reverse attention model
US10943098B2 (en) Automated and unsupervised curation of image datasets
CN109117477B (zh) 面向中文领域的非分类关系抽取方法、装置、设备及介质
WO2023124278A1 (zh) 图像处理模型的训练方法、图像分类方法及装置
CN110796089A (zh) 用于训练换脸模型的方法和设备
Wahlberg et al. Large scale continuous dating of medieval scribes using a combined image and language model
Travieso et al. Bimodal biometric verification based on face and lips
Luqman et al. Subgraph spotting through explicit graph embedding: An application to content spotting in graphic document images
CN104966109A (zh) 医疗化验单图像分类方法及装置
Wang et al. Simultaneously discovering and localizing common objects in wild images
Mareta et al. Herbal leaf classification using images in natural background
CN111382760B (zh) 图片类别的识别方法、装置及计算机可读存储介质
CN112257628A (zh) 一种户外比赛运动员的身份识别方法、装置及设备
CN112288045B (zh) 一种印章真伪判别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant