CN107609466A - 人脸聚类方法、装置、设备及存储介质 - Google Patents
人脸聚类方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN107609466A CN107609466A CN201710619157.6A CN201710619157A CN107609466A CN 107609466 A CN107609466 A CN 107609466A CN 201710619157 A CN201710619157 A CN 201710619157A CN 107609466 A CN107609466 A CN 107609466A
- Authority
- CN
- China
- Prior art keywords
- face
- similarity
- value
- similarity matrix
- feature vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 39
- 239000011159 matrix material Substances 0.000 claims abstract description 99
- 239000013598 vector Substances 0.000 claims abstract description 82
- 238000012549 training Methods 0.000 claims abstract description 22
- 238000004364 calculation method Methods 0.000 claims abstract description 15
- 238000010606 normalization Methods 0.000 claims description 11
- 238000000605 extraction Methods 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 5
- 238000004422 calculation algorithm Methods 0.000 description 22
- 239000000284 extract Substances 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 230000005291 magnetic effect Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 235000013399 edible fruits Nutrition 0.000 description 2
- 210000000887 face Anatomy 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000011524 similarity measure Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 239000000686 essence Substances 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 238000003064 k means clustering Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了人脸聚类方法、装置、设备及存储介质，其中方法包括：对各原始图片进行人脸检测；将检测到的每个人脸分别保存成一张人脸图片；根据预先训练得到的特征提取模型，分别提取出每张人脸图片中的人脸特征向量；分别计算每两个人脸特征向量之间的相似度；根据计算结果构建出相似度矩阵；在相似度矩阵中寻找连通图，将每个连通图对应的人脸归为一类。应用本发明所述方案，能够提高聚类结果的准确性并降低实现复杂度。
Description
【技术领域】
本发明涉及计算机应用技术，特别涉及人脸聚类方法、装置、设备及存储介质。
【背景技术】
目前，很多场合下均需要用到人脸聚类技术，比如，在手机相册中，可通过人脸聚类技术，将包含相同人脸的图片(照片)即属于同一个人的图片归类到一起。
现有技术中，通常采用以下人脸聚类方式：对各原始图片进行人脸检测，定位出人脸区域，然后对定位出的各人脸区域进行关键点定位和特征提取等，并对提取出的特征进行K-means聚类，从而将属于同一个人的图片聚类在一起。
但这种方式在实际应用中会存在一定的问题，比如：在进行关键点定位和特征提取时，会受光照、肤色、遮挡、人脸姿态等影响，从而导致处理结果的准确性较低，进而导致后续的聚类结果的准确性不高，另外，K-means聚类算法需要不断地试探不同的K值和起始聚类中心等，算法复杂度较高。
【发明内容】
有鉴于此，本发明提供了人脸聚类方法、装置、设备及存储介质，能够提高聚类结果的准确性并降低实现复杂度。
具体技术方案如下：
一种人脸聚类方法，包括：
对各原始图片进行人脸检测；
将检测到的每个人脸分别保存成一张人脸图片；
根据预先训练得到的特征提取模型，分别提取出每张人脸图片中的人脸特征向量；
分别计算每两个人脸特征向量之间的相似度；
根据计算结果构建出相似度矩阵；
在所述相似度矩阵中寻找连通图，将每个连通图对应的人脸归为一类。
根据本发明一优选实施例，所述将检测到的每个人脸分别保存成一张人脸图片包括：
将检测到的每个人脸分别保存成一张标准大小和角度的人脸图片。
根据本发明一优选实施例，所述根据计算结果构建出相似度矩阵包括：
构建M*M大小的相似度矩阵，M等于检测到的人脸总数；
所述相似度矩阵中坐标位置为(i，j)的元素的取值等于第i个人脸特征向量与第j个人脸特征向量之间的相似度；
i和j均为正整数，且1≤i,j≤M。
根据本发明一优选实施例，所述在所述相似度矩阵中寻找连通图包括：
将所述相似度矩阵中的各元素的取值分别赋值为0或1，得到只包含0和1的相似度矩阵；
在所述只包含0和1的相似度矩阵中寻找连通图。
根据本发明一优选实施例，所述将所述相似度矩阵中的各元素的取值分别赋值为0或1包括：
针对所述相似度矩阵中的每个元素，分别进行以下处理：
将所述元素的取值与预先设定的阈值进行比较；
若所述元素的取值小于所述阈值，则将所述元素的取值赋值为0；
若所述元素的取值大于或等于所述阈值，则将所述元素的取值赋值为1。
一种人脸聚类装置，包括：人脸检测单元、人脸校准单元、特征提取单元、相似度计算单元、矩阵生成单元以及人脸聚类单元；
所述人脸检测单元，用于对各原始图片进行人脸检测；
所述人脸校准单元，用于将检测到的每个人脸分别保存成一张人脸图片；
所述特征提取单元，用于根据预先训练得到的特征提取模型，分别提取出每张人脸图片中的人脸特征向量；
所述相似度计算单元，用于分别计算每两个人脸特征向量之间的相似度；
所述矩阵生成单元，用于根据计算结果构建出相似度矩阵；
所述人脸聚类单元，用于在所述相似度矩阵中寻找连通图，将每个连通图对应的人脸归为一类。
根据本发明一优选实施例，所述人脸校准单元将检测到的每个人脸分别保存成一张标准大小和角度的人脸图片。
根据本发明一优选实施例，所述矩阵生成单元构建出M*M大小的相似度矩阵，M等于检测到的人脸总数；
所述相似度矩阵中坐标位置为(i，j)的元素的取值等于第i个人脸特征向量与第j个人脸特征向量之间的相似度；
i和j均为正整数，且1≤i,j≤M。
根据本发明一优选实施例，所述人脸聚类单元进一步用于，
将所述相似度矩阵中的各元素的取值分别赋值为0或1，得到只包含0和1的相似度矩阵；
在所述只包含0和1的相似度矩阵中寻找连通图。
根据本发明一优选实施例，所述人脸聚类单元针对所述相似度矩阵中的每个元素，分别进行以下处理：
将所述元素的取值与预先设定的阈值进行比较；
若所述元素的取值小于所述阈值，则将所述元素的取值赋值为0；
若所述元素的取值大于或等于所述阈值，则将所述元素的取值赋值为1。
一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现如以上所述的方法。
一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现如以上所述的方法。
基于上述介绍可以看出，采用本发明所述方案，可首先对各原始图片进行人脸检测，并将检测到的每个人脸分别保存成一张人脸图片，之后可根据预先训练得到的特征提取模型，分别提取出每张人脸图片中的人脸特征向量，并分别计算出每两个人脸特征向量之间的相似度，进而可根据计算结果构建出相似度矩阵，并通过在相似度矩阵中寻找连通图，将每个连通图对应的人脸归为一类，从而完成人脸聚类，相比于现有技术，本发明中利用训练得到的特征提取模型来提取人脸特征向量，从而提高了处理结果的准确性，进而保证了后续的聚类结果的准确性，而且，在获取到各人脸特征向量之后，可基于每两个人脸特征向量之间的相似度来构建相似度矩阵，进而直接通过在相似度矩阵中寻找连通图，即可完成人脸聚类，从而相比于现有技术降低了实现复杂度。
【附图说明】
图1为本发明所述人脸聚类方法第一实施例的流程图。
图2为本发明所述相似度矩阵的示意图。
图3为本发明所述人脸聚类方法第二实施例的流程图。
图4为本发明所述人脸聚类装置实施例的组成结构示意图。
图5示出了适于用来实现本发明实施方式的示例性计算机系统/服务器12的框图。
【具体实施方式】
为了使本发明的技术方案更加清楚、明白，以下参照附图并举实施例，对本发明所述方案进行进一步说明。
显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
图1为本发明所述人脸聚类方法第一实施例的流程图，如图1所示，包括以下具体实现方式。
在101中，对各原始图片进行人脸检测。
针对各原始图片，可首先分别对其进行人脸检测。
人脸检测是指对于任意一张给定的图片，采用一定的策略对其进行搜索以确定其中是否含有人脸，如果是，则返回人脸的位置、大小和姿态等。
人脸检测算法可包括基于统计的算法以及基于结构特征的算法等，其中，基于统计的算法又可包括基于直方图粗分割和奇异值特征的人脸检测算法以及基于二进小波变换的人脸检测算法等，基于结构特征的算法又可包括基于AdaBoost算法的人脸检测算法以及基于面部双眼结构特征的人脸检测算法等。
对于每张原始图片来说，可以仅采用一种人脸检测算法来对其进行人脸检测，为了提升检测效果，也可以采用多种人脸检测算法相结合的方式来对其进行人脸检测。
具体采用哪种或哪些种人脸检测算法来对各原始图片进行人脸检测可根据实际需要而定。
在102中，将检测到的每个人脸分别保存成一张人脸图片。
针对检测到的每张原始图片中的每个人脸，可分别将其保存成一张人脸图片。
较佳地，可将检测到的每张原始图片中的每个人脸分别保存成一张标准大小和角度的人脸图片。
所述标准大小可预先设定，所述角度可以是指正面。那么对于检测到的每个人脸来说，如果该人脸不是正面的，如侧面的，则需要对其进行人脸校正，以得到校正后的尽可能“正”的人脸。
人脸校正算法可包括2D校正算法和3D校正算法等，比如，一种常用的算法为：首先从侧面的人脸中找出特征点的位置，包括鼻子左侧、鼻孔下侧、瞳孔位置以及上嘴唇下侧等，之后，对找到的特征点的位置作位置驱动的变形等，从而得到正面的人脸。
在103中，根据预先训练得到的特征提取模型，分别提取出每张人脸图片中的人脸特征向量。
为训练得到特征提取模型，需要预先获取多个训练样本。
比如，可获取10000张人脸图片作为训练样本，这10000张人脸图片分别属于不同的50个人，每个人分别对应200张不同的人脸图片，所述不同可以是指人脸大小不同、光照条件不同、遮挡区域不同等等，对对应同一个人的人脸图片进行标注，利用这些人脸图片，对特征提取模型进行训练，训练过程为一个深度学习的过程。
在训练好特征提取模型之后，针对102中得到的每张人脸图片，可分别利用特征提取模型对其进行特征提取，从而分别获取到每张人脸图片中的人脸特征向量。
在104中，分别计算每两个人脸特征向量之间的相似度。
在分别获取到每张人脸图片中的人脸特征向量之后，可分别计算每两个人脸特征向量之间的相似度。
举例说明：
假设共获取到了4个(实际会远大于此)人脸特征向量，分别为人脸特征向量1、人脸特征向量2、人脸特征向量3和人脸特征向量4；
分别计算人脸特征向量1与人脸特征向量2之间的相似度、人脸特征向量1与人脸特征向量3之间的相似度、人脸特征向量1与人脸特征向量4之间的相似度、人脸特征向量2与人脸特征向量3之间的相似度、人脸特征向量2与人脸特征向量4之间的相似度以及人脸特征向量3与人脸特征向量4等之间的相似度。
在计算每两个特征向量之间的相似度时，可采用夹角余弦等常用的相似度计算算法。
夹角余弦算法中，利用向量空间中两个向量夹角的余弦值来衡量两个个体之间差异的大小，余弦值越接近1，表明夹角越接近0度，也就是两个向量越相似。
在105中，根据计算结果构建出相似度矩阵。
在分别计算出每两个人脸特征向量之间的相似度之后，可根据计算结果构建出相似度矩阵。
构建出的相似度矩阵为M*M大小的矩阵，M等于检测到的人脸总数。
比如，共存在10张原始图片，分别从每张原始图片中检测到了一个人脸，那么M的取值则为10。
相似度矩阵中坐标位置为(i，j)的元素的取值等于第i个人脸特征向量与第j个人脸特征向量之间的相似度，i和j均为正整数，且1≤i,j≤M。
图2为本发明所述相似度矩阵的示意图，如图2所示，假设M的取值为10，即共有10个人脸特征向量，分别为人脸特征向量1～10，那么，对于相似度矩阵中坐标位置为(1，2)的元素来说，其取值即等于人脸特征向量1与人脸特征向量2之间的相似度，对于相似度矩阵中坐标位置为(3，8)的元素来说，其取值等于人脸特征向量3与人脸特征向量8之间的相似度，假设计算出的相似度的取值范围为-1～1，那么对于相似度矩阵中坐标位置为(2，2)的元素来说，其取值可设置为1，即自身与自身之间的相似度为1，图2中所示的“*”代表位于取值范围内的任一取值。
在106中，在相似度矩阵中寻找连通图，将每个连通图对应的人脸归为一类。
在构建出相似度矩阵之后，可进一步对其中的各元素的取值进行重新赋值，如可将相似度矩阵中的各元素的取值分别赋值为0或1，从而得到只包含0和1的相似度矩阵，进而可在只包含0和1的相似度矩阵中寻找连通图。
为得到只包含0和1的相似度矩阵，可针对105中构建出的相似度矩阵中的每个元素，分别进行以下处理：
将该元素的取值与预先设定的阈值进行比较，所述阈值的具体取值可根据实际需要而定；
若该元素的取值小于阈值，则将该元素的取值赋值为0；
若该元素的取值大于或等于阈值，则将该元素的取值赋值为1。
对于只包含0和1的相似度矩阵，可采用宽度优先搜索等方法，寻找连通图。
连通图基于连通的概念，在一个无向图G中，若从顶点vi到顶点vj有路径相连(当然从vj到vi也一定有路径相连)，则称vi和vj是连通的，如果G是有向图，那么连接vi和vj的路径中所有的边都必须同向，如果图中任意两点都是连通的，那么图被称作连通图。
宽度优先搜索方法也可称为广度优先搜索方法，以无向的连通图为例，深度优先搜索是从图的某个顶点v0出发，在访问v0之后，依次搜索v0的各个未被访问过的邻接点w1，w2，…，然后顺序搜索w1的各未被访问过的邻接点、w2的各未被访问过的邻接点等，即从v0开始，由近至远，按层次依次访问与v0有路径相通且路径长度分别为1，2，…的顶点，直至连通图中的所有顶点都被访问一次。
对于寻找到的每个连通图，可分别将该连通图对应的人脸归为一类。由于相似度矩阵中的每个元素均对应两个人脸特征向量，也即对应两个人脸，那么针对每个连通图，可分别很容易地确定出其对应的人脸，进而可将对应的人脸归为一类。
基于上述介绍，图3为本发明所述人脸聚类方法第二实施例的流程图，如图3所示，包括以下具体实现方式。
在301中，对各原始图片进行人脸检测。
在302中，将检测到的每个人脸分别保存成一张标准大小和角度的人脸图片。
在303中，根据预先训练得到的特征提取模型，分别提取出每张人脸图片中的人脸特征向量。
在304中，分别计算每两个人脸特征向量之间的相似度。
在305中，根据计算结果构建出M*M大小的相似度矩阵，M等于检测到的人脸总数，相似度矩阵中坐标位置为(i，j)的元素的取值等于第i个人脸特征向量与第j个人脸特征向量之间的相似度。
i为正整数，且1≤i≤M，j为正整数，且1≤j≤M。
在306中，将相似度矩阵中的各元素的取值分别赋值为0或1，得到只包含0和1的相似度矩阵。
针对相似度矩阵中的每个元素，可分别将该元素的取值与预先设定的阈值进行比较，若该元素的取值小于阈值，则可将该元素的取值赋值为0，若该元素的取值大于或等于阈值，则可将该元素的取值赋值为1。
在307中，在只包含0和1的相似度矩阵中寻找连通图，将每个连通图对应的人脸归为一类。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其它顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其它实施例的相关描述。
总之，采用上述各方法实施例所述方案，可首先对各原始图片进行人脸检测，并将检测到的每个人脸分别保存成一张人脸图片，之后可根据预先训练得到的特征提取模型，分别提取出每张人脸图片中的人脸特征向量，并分别计算出每两个人脸特征向量之间的相似度，进而可根据计算结果构建出相似度矩阵，并通过在相似度矩阵中寻找连通图，将每个连通图对应的人脸归为一类，从而完成人脸聚类，相比于现有技术，上述各方法实施例中利用训练得到的特征提取模型来提取人脸特征向量，从而提高了处理结果的准确性，进而保证了后续的聚类结果的准确性，而且，在获取到各人脸特征向量之后，可基于每两个人脸特征向量之间的相似度来构建相似度矩阵，进而直接通过在相似度矩阵中寻找连通图，即可完成人脸聚类，从而相比于现有技术降低了实现复杂度。
以上是关于方法实施例的介绍，以下通过装置实施例，对本发明所述方法进行进一步说明。
图4为本发明所述人脸聚类装置实施例的组成结构示意图，如图4所示，包括：人脸检测单元401、人脸校准单元402、特征提取单元403、相似度计算单元404、矩阵生成单元405以及人脸聚类单元406。
人脸检测单元401，用于对各原始图片进行人脸检测。
人脸校准单元402，用于将检测到的每个人脸分别保存成一张人脸图片。
特征提取单元403，用于根据预先训练得到的特征提取模型，分别提取出每张人脸图片中的人脸特征向量。
相似度计算单元404，用于分别计算出每两个人脸特征向量之间的相似度。
矩阵生成单元405，用于根据计算结果构建出相似度矩阵。
人脸聚类单元406，用于在相似度矩阵中寻找连通图，将每个连通图对应的人脸归为一类。
针对各原始图片，人脸检测单元401会分别对其进行人脸检测，而且，对于每张原始图片来说，可以仅采用一种人脸检测算法来对其进行人脸检测，或者，为了提升检测效果，也可以采用多种人脸检测算法相结合的方式来对其进行人脸检测。
人脸校准单元402可将检测到的每个人脸分别保存成一张标准大小和角度的人脸图片。
所述标准大小可预先设定，所述角度可以是指正面。
之后，特征提取单元403可根据预先训练得到的特征提取模型，分别提取出每张人脸图片中的人脸特征向量。
可利用预先获取到的多张人脸图片作为训练样本，训练得到特征提取模型。
在分别获取到每张人脸图片中的人脸特征向量之后，相似度计算单元404可分别计算每两个人脸特征向量之间的相似度。
在计算每两个特征向量之间的相似度时，可采用夹角余弦等常用的相似度计算算法。
进一步地，矩阵生成单元405可根据计算出的每两个特征向量之间的相似度，构建出一个相似度矩阵。
相似度矩阵的大小为M*M，M等于检测到的人脸总数。
其中，相似度矩阵中坐标位置为(i，j)的元素的取值等于第i个人脸特征向量与第j个人脸特征向量之间的相似度，i和j均为正整数，且1≤i,j≤M。
在构建出相似度矩阵之后，可进一步对其中的各元素的取值进行重新赋值，如人脸聚类单元406可将相似度矩阵中的各元素的取值分别赋值为0或1，从而得到只包含0和1的相似度矩阵，进而在只包含0和1的相似度矩阵中寻找连通图。
为得到只包含0和1的相似度矩阵，人脸聚类单元406可针对构建出的相似度矩阵中的每个元素，分别进行以下处理：
将该元素的取值与预先设定的阈值进行比较；
若该元素的取值小于阈值，则将该元素的取值赋值为0；
若该元素的取值大于或等于阈值，则将该元素的取值赋值为1。
之后，针对只包含0和1的相似度矩阵，人脸聚类单元406可采用宽度优先搜索等方法，寻找连通图。
并且，对于寻找到的每个连通图，可分别将该连通图对应的人脸归为一类。由于相似度矩阵中的每个元素均对应两个人脸特征向量，也即对应两个人脸，那么针对每个连通图，可分别很容易地确定出其对应的人脸，进而可将对应的人脸归为一类。
图4所示装置实施例的具体工作流程请参照前述方法实施例中的相应说明，不再赘述。
总之，采用上述装置实施例所述方案，可首先对各原始图片进行人脸检测，并将检测到的每个人脸分别保存成一张人脸图片，之后可根据预先训练得到的特征提取模型，分别提取出每张人脸图片中的人脸特征向量，并分别计算出每两个人脸特征向量之间的相似度，进而可根据计算结果构建出相似度矩阵，并通过在相似度矩阵中寻找连通图，将每个连通图对应的人脸归为一类，
从而完成人脸聚类，相比于现有技术，上述装置实施例中利用训练得到的特征提取模型来提取人脸特征向量，从而提高了处理结果的准确性，进而保证了后续的聚类结果的准确性，而且，在获取到各人脸特征向量之后，可基于每两个人脸特征向量之间的相似度来构建相似度矩阵，进而直接通过在相似度矩阵中寻找连通图，即可完成人脸聚类，从而相比于现有技术降低了实现复杂度。
图5示出了适于用来实现本发明实施方式的示例性计算机系统/服务器12的框图。图5显示的计算机系统/服务器12仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图5所示，计算机系统/服务器12以通用计算设备的形式表现。计算机系统/服务器12的组件可以包括但不限于：一个或者多个处理器(处理单元)16，存储器28，连接不同系统组件(包括存储器28和处理器16)的总线18。
总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。
计算机系统/服务器12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机系统/服务器12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)30和/或高速缓存存储器32。计算机系统/服务器12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(图5未显示，通常称为“硬盘驱动器”)。尽管图5中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如
CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储器28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如存储器28中，这样的程序模块42包括——但不限于——操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本发明所描述的实施例中的功能和/或方法。
计算机系统/服务器12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信，还可与一个或者多个使得用户能与该计算机系统/服务器12交互的设备通信，和/或与使得该计算机系统/服务器12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且，计算机系统/服务器12还可以通过网络适配器20与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图5所示，网络适配器20通过总线18与计算机系统/服务器12的其它模块通信。应当明白，尽管图中未示出，可以结合计算机系统/服务器12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理器16通过运行存储在存储器28中的程序，从而执行各种功能应用以及数据处理，例如实现图1或3所示实施例中的方法，即对各原始图片进行人脸检测，将检测到的每个人脸分别保存成一张人脸图片，根据预先训练得到的特征提取模型，分别提取出每张人脸图片中的人脸特征向量，分别计算每两个人脸特征向量之间的相似度，根据计算结果构建出相似度矩阵，在相似度矩阵中寻找连通图，将每个连通图对应的人脸归为一类等。
具体实现请参照前述各实施例中的相关说明，不再赘述。
本发明同时公开了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时将实现如图1或3所示实施例中的方法。
可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括——但不限于——电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于——无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如”C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法等，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。
Claims (12)
1.一种人脸聚类方法，其特征在于，包括：
对各原始图片进行人脸检测；
将检测到的每个人脸分别保存成一张人脸图片；
根据预先训练得到的特征提取模型，分别提取出每张人脸图片中的人脸特征向量；
分别计算每两个人脸特征向量之间的相似度；
根据计算结果构建出相似度矩阵；
在所述相似度矩阵中寻找连通图，将每个连通图对应的人脸归为一类。
2.根据权利要求1所述的方法，其特征在于，
所述将检测到的每个人脸分别保存成一张人脸图片包括：
将检测到的每个人脸分别保存成一张标准大小和角度的人脸图片。
3.根据权利要求1所述的方法，其特征在于，
所述根据计算结果构建出相似度矩阵包括：
构建M*M大小的相似度矩阵，M等于检测到的人脸总数；
所述相似度矩阵中坐标位置为(i，j)的元素的取值等于第i个人脸特征向量与第j个人脸特征向量之间的相似度；
i和j均为正整数，且1≤i,j≤M。
4.根据权利要求3所述的方法，其特征在于，
所述在所述相似度矩阵中寻找连通图包括：
将所述相似度矩阵中的各元素的取值分别赋值为0或1，得到只包含0和1的相似度矩阵；
在所述只包含0和1的相似度矩阵中寻找连通图。
5.根据权利要求4所述的方法，其特征在于，
所述将所述相似度矩阵中的各元素的取值分别赋值为0或1包括：
针对所述相似度矩阵中的每个元素，分别进行以下处理：
将所述元素的取值与预先设定的阈值进行比较；
若所述元素的取值小于所述阈值，则将所述元素的取值赋值为0；
若所述元素的取值大于或等于所述阈值，则将所述元素的取值赋值为1。
6.一种人脸聚类装置，其特征在于，包括：人脸检测单元、人脸校准单元、特征提取单元、相似度计算单元、矩阵生成单元以及人脸聚类单元；
所述人脸检测单元，用于对各原始图片进行人脸检测；
所述人脸校准单元，用于将检测到的每个人脸分别保存成一张人脸图片；
所述特征提取单元，用于根据预先训练得到的特征提取模型，分别提取出每张人脸图片中的人脸特征向量；
所述相似度计算单元，用于分别计算每两个人脸特征向量之间的相似度；
所述矩阵生成单元，用于根据计算结果构建出相似度矩阵；
所述人脸聚类单元，用于在所述相似度矩阵中寻找连通图，将每个连通图对应的人脸归为一类。
7.根据权利要求6所述的装置，其特征在于，
所述人脸校准单元将检测到的每个人脸分别保存成一张标准大小和角度的人脸图片。
8.根据权利要求6所述的装置，其特征在于，
所述矩阵生成单元构建出M*M大小的相似度矩阵，M等于检测到的人脸总数；
所述相似度矩阵中坐标位置为(i，j)的元素的取值等于第i个人脸特征向量与第j个人脸特征向量之间的相似度；
i和j均为正整数，且1≤i,j≤M。
9.根据权利要求8所述的装置，其特征在于，
所述人脸聚类单元进一步用于，
将所述相似度矩阵中的各元素的取值分别赋值为0或1，得到只包含0和1的相似度矩阵；
在所述只包含0和1的相似度矩阵中寻找连通图。
10.根据权利要求9所述的装置，其特征在于，
所述人脸聚类单元针对所述相似度矩阵中的每个元素，分别进行以下处理：
将所述元素的取值与预先设定的阈值进行比较；
若所述元素的取值小于所述阈值，则将所述元素的取值赋值为0；
若所述元素的取值大于或等于所述阈值，则将所述元素的取值赋值为1。
11.一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1～5中任一项所述的方法。
12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1～5中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710619157.6A CN107609466A (zh) | 2017-07-26 | 2017-07-26 | 人脸聚类方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710619157.6A CN107609466A (zh) | 2017-07-26 | 2017-07-26 | 人脸聚类方法、装置、设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107609466A true CN107609466A (zh) | 2018-01-19 |
Family
ID=61059802
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710619157.6A Pending CN107609466A (zh) | 2017-07-26 | 2017-07-26 | 人脸聚类方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107609466A (zh) |
Cited By (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108280477A (zh) * | 2018-01-22 | 2018-07-13 | 百度在线网络技术（北京）有限公司 | 用于聚类图像的方法和装置 |
| CN108846694A (zh) * | 2018-06-06 | 2018-11-20 | 厦门集微科技有限公司 | 一种电梯广告投放方法和装置、计算机可读存储介质 |
| CN109034178A (zh) * | 2018-05-28 | 2018-12-18 | 北京文香信息技术有限公司 | 一种基于人脸特征数组的人数统计方法 |
| CN109086697A (zh) * | 2018-07-20 | 2018-12-25 | 腾讯科技（深圳）有限公司 | 一种人脸数据处理方法、装置及存储介质 |
| CN109145844A (zh) * | 2018-08-29 | 2019-01-04 | 北京旷视科技有限公司 | 用于城市安防监控的档案管理方法、装置以及电子设备 |
| CN109472292A (zh) * | 2018-10-11 | 2019-03-15 | 平安科技（深圳）有限公司 | 一种图像的情感分类方法、存储介质和服务器 |
| CN109800744A (zh) * | 2019-03-18 | 2019-05-24 | 深圳市商汤科技有限公司 | 图像聚类方法及装置、电子设备和存储介质 |
| CN109815788A (zh) * | 2018-12-11 | 2019-05-28 | 平安科技（深圳）有限公司 | 一种图片聚类方法、装置、存储介质及终端设备 |
| CN109886239A (zh) * | 2019-02-28 | 2019-06-14 | 北京旷视科技有限公司 | 人像聚类方法、装置及系统 |
| CN110119673A (zh) * | 2019-03-27 | 2019-08-13 | 广州杰赛科技股份有限公司 | 无感人脸考勤方法、装置、设备及存储介质 |
| CN110232373A (zh) * | 2019-08-12 | 2019-09-13 | 佳都新太科技股份有限公司 | 人脸聚类方法、装置、设备和存储介质 |
| CN110414429A (zh) * | 2019-07-29 | 2019-11-05 | 佳都新太科技股份有限公司 | 人脸聚类方法、装置、设备和存储介质 |
| CN110516093A (zh) * | 2019-08-28 | 2019-11-29 | 深圳力维智联技术有限公司 | 图片标注方法、装置及设备 |
| CN111242189A (zh) * | 2020-01-06 | 2020-06-05 | Oppo广东移动通信有限公司 | 特征提取方法、装置及终端设备 |
| CN111382770A (zh) * | 2018-12-29 | 2020-07-07 | 百度在线网络技术（北京）有限公司 | 图片聚类方法、装置、设备及存储介质 |
| CN111401196A (zh) * | 2020-03-10 | 2020-07-10 | 珠海全志科技股份有限公司 | 受限空间内自适应人脸聚类的方法、计算机装置及计算机可读存储介质 |
| CN111597375A (zh) * | 2020-05-19 | 2020-08-28 | 清华大学 | 基于相似图片组代表特征向量的图片检索方法及相关设备 |
| CN111738221A (zh) * | 2020-07-28 | 2020-10-02 | 腾讯科技（深圳）有限公司 | 人脸聚类的方法、装置和计算机可读存储介质 |
| CN112291616A (zh) * | 2020-09-01 | 2021-01-29 | 普天和平科技有限公司 | 一种视频广告识别方法、装置、存储介质及设备 |
| CN112364688A (zh) * | 2020-09-30 | 2021-02-12 | 北京奇信智联科技有限公司 | 人脸聚类方法、装置、计算机设备和可读存储介质 |
| CN112560963A (zh) * | 2020-12-17 | 2021-03-26 | 北京赢识科技有限公司 | 大规模人脸图像聚类方法、装置、电子设备及介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103679151A (zh) * | 2013-12-19 | 2014-03-26 | 成都品果科技有限公司 | 一种融合LBP、Gabor特征的人脸聚类方法 |
| CN103902689A (zh) * | 2014-03-26 | 2014-07-02 | 小米科技有限责任公司 | 聚类方法、增量聚类方法及相关装置 |
| CN105631408A (zh) * | 2015-12-21 | 2016-06-01 | 小米科技有限责任公司 | 基于视频的面孔相册处理方法和装置 |
| CN106355170A (zh) * | 2016-11-22 | 2017-01-25 | Tcl集团股份有限公司 | 照片分类方法及装置 |
-
2017
- 2017-07-26 CN CN201710619157.6A patent/CN107609466A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103679151A (zh) * | 2013-12-19 | 2014-03-26 | 成都品果科技有限公司 | 一种融合LBP、Gabor特征的人脸聚类方法 |
| CN103902689A (zh) * | 2014-03-26 | 2014-07-02 | 小米科技有限责任公司 | 聚类方法、增量聚类方法及相关装置 |
| CN105631408A (zh) * | 2015-12-21 | 2016-06-01 | 小米科技有限责任公司 | 基于视频的面孔相册处理方法和装置 |
| CN106355170A (zh) * | 2016-11-22 | 2017-01-25 | Tcl集团股份有限公司 | 照片分类方法及装置 |
Cited By (28)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108280477A (zh) * | 2018-01-22 | 2018-07-13 | 百度在线网络技术（北京）有限公司 | 用于聚类图像的方法和装置 |
| CN108280477B (zh) * | 2018-01-22 | 2021-12-10 | 百度在线网络技术（北京）有限公司 | 用于聚类图像的方法和装置 |
| CN109034178A (zh) * | 2018-05-28 | 2018-12-18 | 北京文香信息技术有限公司 | 一种基于人脸特征数组的人数统计方法 |
| CN108846694A (zh) * | 2018-06-06 | 2018-11-20 | 厦门集微科技有限公司 | 一种电梯广告投放方法和装置、计算机可读存储介质 |
| CN109086697A (zh) * | 2018-07-20 | 2018-12-25 | 腾讯科技（深圳）有限公司 | 一种人脸数据处理方法、装置及存储介质 |
| CN109145844A (zh) * | 2018-08-29 | 2019-01-04 | 北京旷视科技有限公司 | 用于城市安防监控的档案管理方法、装置以及电子设备 |
| CN109472292A (zh) * | 2018-10-11 | 2019-03-15 | 平安科技（深圳）有限公司 | 一种图像的情感分类方法、存储介质和服务器 |
| WO2020119053A1 (zh) * | 2018-12-11 | 2020-06-18 | 平安科技（深圳）有限公司 | 一种图片聚类方法、装置、存储介质及终端设备 |
| CN109815788A (zh) * | 2018-12-11 | 2019-05-28 | 平安科技（深圳）有限公司 | 一种图片聚类方法、装置、存储介质及终端设备 |
| CN109815788B (zh) * | 2018-12-11 | 2024-05-31 | 平安科技（深圳）有限公司 | 一种图片聚类方法、装置、存储介质及终端设备 |
| CN111382770A (zh) * | 2018-12-29 | 2020-07-07 | 百度在线网络技术（北京）有限公司 | 图片聚类方法、装置、设备及存储介质 |
| CN109886239A (zh) * | 2019-02-28 | 2019-06-14 | 北京旷视科技有限公司 | 人像聚类方法、装置及系统 |
| CN109800744B (zh) * | 2019-03-18 | 2021-08-20 | 深圳市商汤科技有限公司 | 图像聚类方法及装置、电子设备和存储介质 |
| US11232288B2 (en) | 2019-03-18 | 2022-01-25 | Shenzhen Sensetime Technology Co., Ltd. | Image clustering method and apparatus, electronic device, and storage medium |
| CN109800744A (zh) * | 2019-03-18 | 2019-05-24 | 深圳市商汤科技有限公司 | 图像聚类方法及装置、电子设备和存储介质 |
| CN110119673A (zh) * | 2019-03-27 | 2019-08-13 | 广州杰赛科技股份有限公司 | 无感人脸考勤方法、装置、设备及存储介质 |
| CN110414429A (zh) * | 2019-07-29 | 2019-11-05 | 佳都新太科技股份有限公司 | 人脸聚类方法、装置、设备和存储介质 |
| CN110232373A (zh) * | 2019-08-12 | 2019-09-13 | 佳都新太科技股份有限公司 | 人脸聚类方法、装置、设备和存储介质 |
| CN110516093A (zh) * | 2019-08-28 | 2019-11-29 | 深圳力维智联技术有限公司 | 图片标注方法、装置及设备 |
| CN111242189A (zh) * | 2020-01-06 | 2020-06-05 | Oppo广东移动通信有限公司 | 特征提取方法、装置及终端设备 |
| CN111242189B (zh) * | 2020-01-06 | 2024-03-05 | Oppo广东移动通信有限公司 | 特征提取方法、装置及终端设备 |
| CN111401196A (zh) * | 2020-03-10 | 2020-07-10 | 珠海全志科技股份有限公司 | 受限空间内自适应人脸聚类的方法、计算机装置及计算机可读存储介质 |
| CN111597375A (zh) * | 2020-05-19 | 2020-08-28 | 清华大学 | 基于相似图片组代表特征向量的图片检索方法及相关设备 |
| CN111738221A (zh) * | 2020-07-28 | 2020-10-02 | 腾讯科技（深圳）有限公司 | 人脸聚类的方法、装置和计算机可读存储介质 |
| CN112291616A (zh) * | 2020-09-01 | 2021-01-29 | 普天和平科技有限公司 | 一种视频广告识别方法、装置、存储介质及设备 |
| CN112364688A (zh) * | 2020-09-30 | 2021-02-12 | 北京奇信智联科技有限公司 | 人脸聚类方法、装置、计算机设备和可读存储介质 |
| CN112364688B (zh) * | 2020-09-30 | 2022-04-08 | 北京奇信智联科技有限公司 | 人脸聚类方法、装置、计算机设备和可读存储介质 |
| CN112560963A (zh) * | 2020-12-17 | 2021-03-26 | 北京赢识科技有限公司 | 大规模人脸图像聚类方法、装置、电子设备及介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107609466A (zh) | 人脸聚类方法、装置、设备及存储介质 | |
| CN106372581B (zh) | 构建及训练人脸识别特征提取网络的方法 | |
| CN107194341B (zh) | Maxout多卷积神经网络融合人脸识别方法和系统 | |
| WO2021135509A1 (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| CN110348330B (zh) | 基于vae-acgan的人脸姿态虚拟视图生成方法 | |
| Wang et al. | Large-scale isolated gesture recognition using convolutional neural networks | |
| CN112784763B (zh) | 基于局部与整体特征自适应融合的表情识别方法及系统 | |
| CN112598643B (zh) | 深度伪造图像检测及模型训练方法、装置、设备、介质 | |
| CN107590430A (zh) | 活体检测方法、装置、设备及存储介质 | |
| CN107545241A (zh) | 神经网络模型训练及活体检测方法、装置及存储介质 | |
| CN103218609B (zh) | 一种基于隐最小二乘回归的多姿态人脸识别方法及其装置 | |
| CN108182397B (zh) | 一种多姿态多尺度的人脸验证方法 | |
| CN107180628A (zh) | 建立声学特征提取模型的方法、提取声学特征的方法、装置 | |
| CN112364803B (zh) | 活体识别辅助网络的训练方法、终端、设备及存储介质 | |
| CN105809125A (zh) | 基于多核心arm平台的人脸识别系统 | |
| CN107909104A (zh) | 一种图片的人脸聚类方法、装置及存储介质 | |
| WO2017045404A1 (en) | Facial expression recognition using relations determined by class-to-class comparisons | |
| CN107430678A (zh) | 使用高斯接收场特征的低成本面部识别 | |
| CN109255289A (zh) | 一种基于统一式生成模型的跨衰老人脸识别方法 | |
| CN111680550B (zh) | 情感信息识别方法、装置、存储介质及计算机设备 | |
| CN109446893A (zh) | 人脸识别方法、装置、计算机设备及存储介质 | |
| CN115966010A (zh) | 一种基于注意力和多尺度特征融合的表情识别方法 | |
| CN111401156A (zh) | 基于Gabor卷积神经网络的图像识别方法 | |
| CN110414431B (zh) | 基于弹性上下文关系损失函数的人脸识别方法及系统 | |
| CN114550212A (zh) | 一种基于轻量级模型的羊脸检测与识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20180119 |
|
| RJ01 | Rejection of invention patent application after publication |