CN110580510B - 一种聚类结果评价方法和系统 - Google Patents

Abstract

本申请公开了一种聚类结果评价方法，包括：提取目标的特征，该特征的数据量为M；对特征进行聚类处理，得到聚类簇C＝{C₁，C₂，…，C_K}，其中K为正整数；统计聚类簇C中的纯净簇总数C_P，其中P为正整数且0≤P≤K；计算理想聚类簇数C_I；计算数据融合率修正系数η，其中计算聚类评价指标HI，其中本申请还公开了一种聚类结果评价系统。在本申请所涉及的方法和系统中，通过统计纯净簇总数和理想聚类簇数，并因此计算数据融合率修正系数，能快速地获得聚类评价指标，该指标客观有效地反映了聚类结果的准确性。

Description

一种聚类结果评价方法和系统

技术领域

本申请涉及模式识别领域，尤其涉及一种聚类结果评价方法和系统。

背景技术

聚类算法是机器学习中一种重要的算法。其属于无监督学习，主要用来分析数据的内在特点，寻找数据的分布规律，或者作为数据的预处理过程以支持数据的进一步处理。在具体的应用当中，例如人脸图像聚类算法中，根据人脸特征相似度将相似的人脸划分成同一类簇，理想情况下可以将同一个人所有图像聚为一类，在人脸特征融合、加速人脸比对检索以及目标布控、轨迹追踪等领域有着重要的作用。

在聚类中，由于“噪声”等因素的影响，存在误分类的情况，例如在实际的人脸聚类场景中由于光照、拍摄角度以及图像清晰度等因素的影响，会出现将不是同一人的人脸图像归为一簇的误分类，这会影响聚类的精度及后续的应用。因此需要对聚类结果进行评价，了解其精度以指导后续应用。但实际应用中，因为各种各样的原因，导致精确性无法直接通过计算得出，例如人脸图像大多是无标签数据，无法直接计算精确性，目前常用的聚类有效性指标如DB指数(Davies-Bouldin index，戴维森堡丁指数)、Duun指数(Duun index，邓恩指数)等都不太适用于人脸聚类的真实场景，缺乏一种能够适用于真实人脸聚类这一类无标签数据场景的聚类结果准确性的评价方法，因此需要改进和提高。

发明内容

本申请要解决的技术问题是针对现有技术的不足，提供一种快速客观的聚类结果评价方法和系统。

本申请要解决的技术问题通过以下技术方案加以解决：

本申请的第一方面提供一种聚类结果评价方法，包括：提取目标的特征，该特征的数据量为M；对特征进行聚类处理，得到聚类簇C＝{C₁，C₂，…，C_K}，，其中K为正整数；统计聚类簇C中的纯净簇总数C_P，其中P为正整数且0≤P≤K；计算理想聚类簇数C_I；计算数据融合率修正系数η，其中计算聚类评价指标HI，其中/>

在本申请所涉及的方法中，通过统计纯净簇总数和理想聚类簇数，并因此计算数据融合率修正系数，能快速地获得聚类评价指标，该指标客观有效地反映了聚类结果的准确性。引入数据融合率修正系数η可有效减轻阈值设定过高时聚类簇数过多，聚类精确率反而较高(聚类簇中只有一条数据，精确率为100％)从而使得精确率不适于衡量聚类效果的情况。

在本申请所涉及的方法中，其中统计所述聚类簇C中的纯净簇总数C_P，包括：将聚类簇中的任一簇C_i的特征矩阵F_i与特征矩阵F_i的转置矩阵F_i ^T相乘获得上三角矩阵U_i，特征F_i具有N个特征向量；将矩阵U_i中每一个元素与相似度阈值比较，若大于相似度阈值则赋值1，否则则赋值0，获得矩阵Ui′；对矩阵Ui′中的元素，统计下标含n的所有矩阵元素之和s，其中，n取值范围从0到N-1；若存在n使得s小于N-2则认为C_i为非纯净簇；否则，C_i为纯净簇。

在本申请所涉及的方法中，其中计算理想聚类簇数C_I包括：对特征中的特征值向量进行两两比对，若余弦相似度大于预设阈值，则融合特征值向量以获得融合特征向量，遍历特征获得融合特征向量的数目。

在本申请所涉及的方法中，优选地，其中融合特征值向量以获得融合特征向量包括：将待融合特征向量的每一项元素的均值作为融合特征向量的对应元素。

在本申请所涉及的方法中，其中计算理想聚类簇数C_I包括：

S1：在特征中取一条特征值向量，与剩下的所有特征值向量进行两两比对，若比对两个特征值向量的余弦相似度大于预设阈值，则将两个特征值向量的特征值向量融合，用融合后的特征值向量代替所取的特征向量继续遍历特征；若比对两个特征值向量的余弦相似度均小于预设阈值则不进行操作；

S2：剔除已融合的特征值向量，用融合后的特征值向量代替被融合特征值向量参与比对；

S3：对特征中的所有特征值向量重复S1、S2，遍历完成时，最终的特征值向量个数即为理想聚类簇数C_I。

本申请的第二方面提供一种聚类结果评价系统，包括：提取模块，用于提取目标的特征，特征的数据量为M；聚类模块，用于对特征进行聚类处理，得到聚类簇C＝{C₁，C₂，…，C_K}，，其中K为正整数；统计模块，用于统计聚类簇C中的纯净簇总数C_P，其中P为正整数且0≤P≤K；第一计算模块，用于计算理想聚类簇数C_I；第二计算模块，用于计算数据融合率修正系数η，其中100％；第三计算模块，用于计算聚类评价指标HI，其中

在本申请所涉及的系统中，通过统计纯净簇总数和理想聚类簇数，并因此计算数据融合率修正系数，能快速地获得聚类评价指标，该指标客观有效地反映了聚类结果的准确性。

在本申请所涉及的系统中，其中统计模块还用于将聚类簇中的任一簇C_i的特征矩阵F_i与特征矩阵F_i的转置矩阵F_i ^T相乘获得上三角矩阵U_i，特征F_i具有N个特征向量；将矩阵U_i中每一个元素与相似度阈值比较，若大于相似度阈值则赋值1，否则赋值0，获得矩阵U_i′；对矩阵U_i′中的元素，统计下标含n的所有矩阵元素之和s，其中，n取值范围从0到N-1；若存在n使得s小于N-2则认为C_i为非纯净簇；否则，C_i为纯净簇。

在本申请所涉及的系统中，其中第一计算模块还用于对特征中的特征值向量进行两两比对，若余弦相似度大于预设阈值，则融合特征值向量以获得融合特征向量，遍历特征获得所述融合特征向量的数目。

在本申请所涉及的系统中，其中第一计算模块还用于将待融合特征向量的每一项元素的均值作为融合特征向量的对应元素。

在本申请所涉及的系统中，其中第一计算模块还用于在特征中取一条特征值向量，与剩下的所有特征值向量进行两两比对，若比对两个特征值向量的余弦相似度大于预设阈值，则将两个特征值向量的特征值向量融合，用融合后的特征值向量代替所取的特征值向量继续遍历特征；若比对两个特征值向量的余弦相似度均小于预设阈值则不进行操作；剔除已融合的特征值向量，用融合后的特征值向量代替被融合特征值向量参与比对；遍历完成时，最终的特征值向量个数即为理想聚类簇数C_I。

附图说明

图1为本申请实施例一所涉及聚类结果评价方法的流程图；

图2为本申请实施例二所涉及聚类结果评价方法的流程图；

图3为本申请实施例三所涉及聚类结果评价系统的程序模块示意图；

图4为本申请实施例四所涉及聚类结果评价系统的程序模块示意图。

具体实施方式

下面通过具体实施方式结合附图对本发明作进一步详细说明。本申请可以以多种不同的形式来实现，并不限于本实施例所描述的实施方式。提供以下具体实施方式的目的是便于对本申请公开内容更清楚透彻的理解，其中上、下、左、右等指示方位的字词仅是针对所示结构在对应附图中位置而言。

然而，本领域的技术人员可能会意识到其中的一个或多个的具体细节描述可以被省略，或者还可以采用其他的方法、组件或材料。在一些例子中，一些实施方式并没有描述或没有详细的描述。

本文中为部件所编序号本身，例如“第一”、“第二”等，仅用于区分所描述的对象，不具有任何顺序或技术含义。

此外，本文中记载的技术特征、技术方案还可以在一个或多个实施例中以任意合适的方式组合。对于本领域的技术人员来说，易于理解与本文提供的实施例有关的方法的步骤或操作顺序还可以改变。因此，附图和实施例中的任何顺序仅仅用于说明用途，并不暗示要求按照一定的顺序，除非明确说明要求按照某一顺序。

实施例一：

图1示出了本实施例所涉及聚类结果评价方法的流程图。如图1所示，本实施例所涉及方法包括：

步骤102：提取目标的特征。该目标可以为图像等需要模式识别的物体。

利用识别算法对目标进行特征识别，例如对于人脸识别可通过人脸识别算法(商汤人脸识别算法)计算待识别人脸图像，计算获得512维特征向量(特征向量维数与算法有关)，并实现特征向量归一化。特征的数据量为M。

步骤104：对特征进行聚类处理以得到聚类簇。得到聚类簇C＝{C₁，C₂，…，C_K}，其中K为正整数。经聚类算法，例如k-means(k均值聚类算法)、DBSCAN算法(Density-BasedSpatial Clustering of Applications with Noise)计算得到聚类结果，即聚类簇总数C及每簇中的N个特征向量构成的特征矩阵F_i。

步骤106：统计聚类簇中的纯净簇总数。纯净簇总数为C_P，其中P为正整数且0≤P≤K。

步骤108：计算理想聚类簇数。C_I表示理想聚类簇数。

步骤110：计算数据融合率修正系数

步骤112：计算聚类评价指标。评价指标

实施例二：

图2示出了本实施例所涉及聚类结果评价方法的流程图。如图2所示，本实施例以人脸图像识别为例，其包括：

步骤202：人脸图像特征提取。

前端人脸图像采集设备将人脸图像通过网络传输到ES(Elasticsearch)数据库服务器。首先对人脸图片进行特征提取。所谓特征提取是指通过一些数字来表征人脸信息，这些数字就是我们要提取的特征。常见的人脸特征分为两类，一类是几何特征，另一类是表征特征。几何特征是指眼睛、鼻子和嘴等面部特征之间的几何关系，如距离、面积和角度等。再利用深度学习神经网络算法计算得到最终的512维特征向量。为方便下一步计算，将获得的原始特征向量值进行归一化，每一维度特征值分布于-1至1之间。特征的数据量为M。

步骤204：获得聚类结果。

将步骤202得到的人脸特征矩阵(数据量为M)输入聚类算法模型，得到聚类结果：聚类簇C＝{C₁，C₂，…，C_K}，对于其中任意一簇C_i(簇内数据量为N)，有簇特征矩阵F_i

步骤206：计算U_i′。

将簇特征矩阵F_i与其转置矩阵F_i ^T进行矩阵相乘，对计算结果取上三角矩阵U_i：

对矩阵U_i，对其每一项元素与相似度阈值比较，若大于阈值该项赋值1否则赋值0，得到矩阵U_i′。

步骤208：判断C_i是否为纯净簇。

根据公式(1)计算判断该簇C_i是否为纯净簇：

步骤210：统计纯净簇总数。

对每一聚类簇进行步骤206、步骤208，统计纯净簇总数C_P。

步骤212：计算理想聚类簇数。

计算理想聚类簇数C_I：不使用聚类算法，对所有输入特征值数据进行两两比对，若余弦相似度大于设定阈值，将二者特征向量融合，融合特征每一项元素取值为二者该项元素的均值，随后用融合特征向量替换相似的两个特征向量，对所有数据遍历上述操作，最终得到的特征向量数目即为理想聚类簇数。

具体的算法包括：

S1：在特征中取一条特征值向量，与剩下的所有特征值向量进行两两比对，若比对两个特征值向量的余弦相似度大于预设阈值，则将两个特征值向量的特征值向量融合，用融合后的特征值向量代替所取的特征向量继续遍历特征；若比对两个特征值向量的余弦相似度均小于预设阈值则不进行操作；

S2：剔除已融合的特征值向量，用融合后的特征值向量代替被融合特征值向量参与比对；

S3：对特征中的所有特征值向量重复S1、S2，遍历完成时，最终的特征值向量个数即为理想聚类簇数C_I。

在实际中应用中数据量较大时计算全部数据并不现实，可以多次随机选取部分数据，将所得融合率取均值作为整体数据融合率；或者根据先验知识人为定义理想数据融合率。此外，对于带标签的数据可根据标签直接获得数据融合率。

步骤214：计算融合率修正系数。

随后根据自定义公式(2)计算出数据融合率修正系数η：

其中：C表示聚类簇数，C_I表示理想聚类簇数，M表示输入数据总量。

步骤216：计算聚类评价指标。

将纯净簇数乘以数据融合率修正系数η得到本实施例的聚类评价指标HI。

本实施例给出了一套较为有效的聚类结果评价方法，可以对聚类算法的精确性进行评价，有助于相关聚类算法的研究改进以及在实际应用提高聚类算法的适用性。

实施例三：

图3示出了本实施例所涉及聚类结果评价系统的结果示意图，包括：提取模块310、聚类模块320、统计模块330、第一计算模块340、第二计算模块350和第三计算模块360。

提取模块310，用于提取目标的特征，特征的数据量为M。聚类模块320，用于对特征进行聚类处理，得到聚类簇C＝{C₁，C₂，…，C_K}，其中K为正整数；统计模块330，用于统计聚类簇C中的纯净簇总数C_P，其中P为正整数且0≤P≤K；第一计算模块340，用于计算理想聚类簇数C_I；第二计算模块350，用于计算数据融合率修正系数η，其中第三计算模块360，用于计算聚类评价指标HI，其中/>

实施例四：

图4示出了本实施例所涉及聚类结果评价系统的结果示意图，其具体用于人脸图像的识别。包括：提取模块410、聚类模块420、统计模块430、第一计算模块440、第二计算模块450和第三计算模块460。

提取模块410包括采集单元411和特征单元412。采集单元411用于通过前端人脸图像采集设备将人脸图像通过网络传输到ES(Elasticsearch)数据库服务器。特征单元412首先用于对人脸图片进行特征提取。所谓特征提取是指通过一些数字来表征人脸信息，这些数字就是我们要提取的特征。常见的人脸特征分为两类，一类是几何特征，另一类是表征特征。几何特征是指眼睛、鼻子和嘴等面部特征之间的几何关系，如距离、面积和角度等。再利用深度学习神经网络算法计算得到最终的512维特征向量。为方便下一步计算，将获得的原始特征向量值进行归一化，每一维度特征值分布于-1至1之间。特征的数据量为M。

聚类模块420用于将提取模块得到的人脸特征矩阵(数据量为M)输入聚类算法模型，得到聚类结果：聚类簇C＝{C₁，C₂，…，C_K}，对于其中任意一簇C_i(簇内数据量为N)，有簇特征矩阵F_i

统计模块430包括计算单元431、判断单元432和统计单元433。计算单元431用于将簇特征矩阵F_i与其转置矩阵F_i ^T进行矩阵相乘，对计算结果取上三角矩阵U_i：

再对矩阵U_i，对其每一项元素与相似度阈值比较，若大于阈值该项赋值1否则赋值0，得到矩阵U_i′。

判断单元432用于根据公式(1)断该簇C_i是否为纯净簇。统计单元433用于对纯净簇进行统计，获得纯净簇总数C_P。

第一计算模块440用于在特征中取一条特征值向量，与剩下的所有特征值向量进行两两比对，若比对两个特征值向量的余弦相似度大于预设阈值，则将两个特征值向量的特征值向量融合，用融合后的特征值向量代替所取的特征值向量继续遍历特征；若比对两个特征值向量的余弦相似度均小于预设阈值则不进行操作；剔除已融合的特征值向量，用融合后的特征值向量代替被融合特征值向量参与比对；遍历完成时，最终的特征值向量个数即为理想聚类簇数C_I。

在实际中应用中数据量较大时计算全部数据并不现实，可以多次随机选取部分数据，将所得融合率取均值作为整体数据融合率；或者根据先验知识人为定义理想数据融合率。此外，对于带标签的数据可根据标签直接获得数据融合率。

第二计算模块450用于根据自定义公式(2)算出数据融合率修正系数η。

第三计算模块460用于根据公式(3)通过融合率修正系数η得到本实施例的聚类评价指标HI。

以上内容是结合具体的实施方式对本申请所作的进一步详细说明，不能认定本申请的具体实施只局限于这些说明。对于本申请所属技术领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干简单推演或替换。

Claims (10)

1.一种人脸图像的聚类结果评价方法，其特征在于，包括：

提取人脸图像采集设备采集的人脸图像的特征，利用深度学习神经网络对所述特征进行计算以得到人脸特征矩阵；所述人脸特征矩阵的数据量为M；

对所述人脸特征矩阵进行聚类处理，得到聚类簇C＝{C₁,C₂,...,C_K}，其中K为正整数；

统计所述聚类簇C中的纯净簇总数C_P，其中P为正整数且0≤P≤K；

计算理想聚类簇数C_I；

计算数据融合率修正系数η，其中

计算聚类评价指标HI，其中根据所述聚类评价指标确定所述人脸图像的聚类结果的精确度。

2.如权利要求1所述的方法，其特征在于，其中所述统计所述聚类簇C中的纯净簇总数C_P，包括：

将所述聚类簇中的任一簇C_i的特征矩阵F_i与所述特征矩阵F_i的转置矩阵F_i ^T相乘获得上三角矩阵U_i，所述特征F_i具有N个特征向量；

将所述矩阵U_i中每一个元素与相似度阈值比较，若大于所述相似度阈值则赋值1，否则赋值0，获得矩阵U_i′；

对所述矩阵U_i′中的元素，统计下标含n的所有矩阵元素之和s，其中，n取值范围从0到N-1；若存在n使得s小于N-2则认为所述C_i为非纯净簇；否则，C_i为纯净簇。

3.如权利要求1或2任一所述的方法，其特征在于，其中所述计算理想聚类簇数C_I包括：

对所述特征中的特征值向量进行两两比对，若余弦相似度大于预设阈值，则融合所述特征值向量以获得融合特征向量，遍历所述特征获得所述融合特征向量的数目。

4.如权利要求3所述的方法，其特征在于，其中所述融合所述特征值向量以获得融合特征向量包括：

将待融合特征向量的每一项元素的均值作为融合特征向量的对应元素。

5.如权利要求4所述的方法，其特征在于，其中所述计算理想聚类簇数C_I包括：

S1：在所述特征中取一条特征值向量，与剩下的所有特征值向量进行两两比对，若比对两个特征值向量的余弦相似度大于预设阈值，则将所述两个特征值向量的特征值向量融合，用融合后的特征值向量代替所取的特征向量继续遍历所述特征；若比对两个特征值向量的余弦相似度均小于预设阈值则不进行操作；

S2：剔除已融合的特征值向量，用融合后的特征值向量代替被融合特征值向量参与比对；

S3：对所述特征中的所有特征值向量重复S1、S2，遍历完成时，最终的特征值向量个数即为理想聚类簇数C_I。

6.一种人脸图像的聚类结果评价系统，其特征在于，包括：

提取模块，用于提取人脸图像采集设备采集的人脸图像的特征，利用深度学习神经网络对所述特征进行计算以得到人脸特征矩阵，所述人脸特征矩阵的数据量为M；

聚类模块，用于对所述人脸特征矩阵进行聚类处理，得到聚类簇C＝{C₁,C₂,…,C_K}，其中K为正整数；

统计模块，用于统计所述聚类簇C中的纯净簇总数C_P，其中P为正整数且0≤P≤K；

第一计算模块，用于计算理想聚类簇数C_I；

第二计算模块，用于计算数据融合率修正系数η，其中

第三计算模块，用于计算聚类评价指标HI，其中根据所述聚类评价指标确定所述人脸图像的聚类结果的精确度。

7.如权利要求6所述的系统，其特征在于，其中所述统计模块还用于将所述聚类簇中的任一簇C_i的特征矩阵F_i与所述特征矩阵F_i的转置矩阵F_i ^T相乘获得上三角矩阵U_i，所述特征F_i具有N个特征向量；将所述矩阵U_i中每一个元素与相似度阈值比较，若大于所述相似度阈值则赋值1，否则赋值0，获得矩阵U_i′；对所述矩阵U_i′中的元素，统计下标含n的所有矩阵元素之和s，其中，n取值范围从0到N-1；若存在n使得s小于N-2则认为所述C_i为非纯净簇；否则，C_i为纯净簇。

8.如权利要求6或7任一所述的系统，其特征在于，其中所述第一计算模块还用于对所述特征中的特征值向量进行两两比对，若余弦相似度大于预设阈值，则融合所述特征值向量以获得融合特征向量，遍历所述特征获得所述融合特征向量的数目。

9.如权利要求8所述的系统，其特征在于，其中所述第一计算模块还用于将待融合特征向量的每一项元素的均值作为融合特征向量的对应元素。

10.如权利要求9所述的系统，其特征在于，其中所述第一计算模块还用于在所述特征中取一条特征值向量，与剩下的所有特征值向量进行两两比对，若比对两个特征值向量的余弦相似度大于预设阈值，则将所述两个特征值向量的特征值向量融合，用融合后的特征值向量代替所取的特征值向量继续遍历所述特征；若比对两个特征值向量的余弦相似度均小于预设阈值则不进行操作；剔除已融合的特征值向量，用融合后的特征值向量代替被融合特征值向量参与比对；遍历完成时，最终的特征值向量个数即为理想聚类簇数C_I。