CN110647643B - 特征向量的聚类方法、检索方法、装置及存储介质 - Google Patents

Abstract

本发明提供一种特征向量的聚类方法、检索方法、装置及存储介质，在所述聚类方法中，对通过初始聚类处理得到的各聚类进行检测，确定不适当聚类；然后将不适当聚类中的特征向量重新分派到其他聚类中，以消除不适当聚类，优化得到的聚类结果，从而提升检索的效率和精度。

Description

特征向量的聚类方法、检索方法、装置及存储介质

技术领域

本申请涉及一种图像处理技术，尤其涉及对特征向量的聚类技术，以及基于该聚类技术的检索技术。

背景技术

当前，越来越多的对图像的索引和检索业务需要依赖数据库中的海量信息。以对人脸图像的索引和检索为例，将视频监控设备捕获的人脸图像记录在数据库中(图像索引过程)，之后可在需要时(如接收到用户查询请求时)，从数据库中提取、查找特定的人脸图像(图像检索过程)。

图像索引过程包括：(1)提取数据库中存储的图像的特征向量；(2)对提取的各图像的特征向量进行聚类处理，其中，生成的每个聚类中包含多个特征向量，图1示出了生成的多个聚类以及各聚类的聚类中心的示意图。对人脸图像检索过程包括：(1)基于待查询图像的特征向量与各聚类的聚类中心之间的距离，确定出与待查询图像的特征向量距离最短的聚类(最相似的聚类)；(2)从确定出的距离最短的聚类中提取与待查询图像的特征向的相似度较高的特征向量(最相似的特征向量)作为检索结果。图2示出了提取出的相似度较高的特征向量。

由于人脸图像的检索过程的精度和效率受聚类结果的影响，因此，采用优良的聚类方法对图像进行聚类就显得尤为重要。K均值(K-means)聚类方法是一种已知的高精度的聚类方法，图3示出了K-mean聚类方法的示意图。但是，由于K-means的需要处理超大规模的数据、在特征空间中计算大量的距离且需要多次迭代才能收敛，因此，K-means的索引速度较慢。近年来，在K-means的基础上，提出了K-means++算法，通过调整聚类中心(例如尽量远地选择聚类中心)，来提高索引速度。在K-means++算法中，首先需要在特征空间中设置相互具有一定距离的、预定数量的初始聚类中心，图4(a)示出了随机选择一个聚类中心的示例，计算该聚类中心到其他成员(特征向量)的距离；以“距离越远，被选中的可能性越高”的原则，从其他成员中继续设置聚类中心，参见图4(b)；然后循环执行之前的设置聚类中心的过程，直至设置了预定数量的聚类中心作为初始聚类中心，参见图4(c)。在设置初始聚类中心后，将数据库中的各特征向量分别指派到与其最近的聚类中心，得到多个聚类。接着再重复上述过程进行多次迭代，直至得到的聚类结果达到预定的收敛要求，完成聚类过程。

在利用K-means++聚类方法进行聚类处理时，如果出现图5所示的聚类结果时，即生成的聚类中存在特征向量的数量过多的聚类和/或特征向量的数量过少的聚类时，可能会存在以下问题：

1)由于在基于聚类结果进行图像检索时需要在每个聚类中进行检索，因此，如果对包含的特征向量的数量过少的聚类也都分别进行检索的话，会增加检索过程所需的时间，降低检索效率。

2)而在对包含特征向量的数量过多的聚类进行检索时，由于从该聚类的聚类中心到各成员之间的距离较大，各成员之间的相似度有较大的误差，这会带来检索精度降低的问题。

日本第JP5155025号专利公开了一种基于索引系统的在线聚类方法，将特征向量按照诸如K-means或K-means++规聚类方法进行聚类后，当存在包含的特征向量的数量达到最大值(如达到500)的聚类时，将该聚类分裂为多个包含较少特征向量数量的聚类，避免出现包含的特征向量的数量过多的聚类。

日本第JP5155025号专利虽然能够避免出现包含过多特征向量的聚类，但是，随着聚类的分裂，聚类的数量也越来越多，而聚类的数量越多，检索所需的时间就越长；另外，日本第JP5155025号专利仍旧没有解决包含的特征向量过少的聚类所带来的问题。

发明内容

本发明旨在提供一种聚类技术，以避免出现不适当的聚类。

根据本发明的一个方面，提供了一种特征向量的聚类方法，所述聚类方法包括：基于特征向量生成聚类；对生成的聚类进行检测，确定不适当聚类；将不适当聚类中的特征向量重新分派到其他聚类中。

根据本发明的另一个方面，提供了一种基于上述聚类方法得到的聚类结果的检索方法，所述检索方法包括：在接收到待查询特征向量后，根据待查询特征向量与所述聚类结果中各聚类的聚类中心的距离，确定满足距离要求的至少一个聚类；从确定的聚类中查询出与待查询特征向量满足相似度要求的至少一个特征向量作为检索结果。

根据本发明的另一个方面，提供了一种特征向量的聚类装置，所述聚类装置包括：聚类生成单元，其被配置为基于特征向量生成聚类；聚类确定单元，其被配置为对生成的聚类进行检测，确定不适当聚类；分派单元，其被配置为将不适当聚类中的特征向量重新分派到其他聚类中。

根据本发明的另一个方面，提供了一种基于上述聚类装置得到的聚类结果的检索装置，所述检索装置包括：聚类确定单元，其被配置为在接收到待查询特征向量后，根据待查询特征向量与所述聚类结果中各聚类的聚类中心的距离，确定满足距离要求的至少一个聚类；查询单元，其被配置为从确定的聚类中查询出与待查询特征向量满足相似度要求的至少一个特征向量作为检索结果。

根据本发明的另一个方面，提供了一种存储指令的非暂时性计算机可读存储介质，所述指令在由计算机执行时使所述计算机进行特征向量的聚类方法，所述聚类方法包括：基于特征向量生成聚类；对生成的聚类进行检测，确定不适当聚类；将不适当聚类中的特征向量重新分派到其他聚类中。

根据本发明的另一个方面，提供了一种存储指令的非暂时性计算机可读存储介质，所述指令在由计算机执行时使所述计算机进行基于上述聚类方法得到的聚类结果的检索方法，所述检索方法包括：在接收到待查询特征向量后，根据待查询特征向量与所述聚类结果中各聚类的聚类中心的距离，确定满足距离要求的至少一个聚类；从确定的聚类中查询出与待查询特征向量满足相似度要求的至少一个特征向量作为检索结果。

从以下参照附图对示例性实施例的描述，本发明的其它特征将变得清楚。

附图说明

并入说明书中并且构成说明书的一部分的附图示出了本发明的实施例，并且与实施例的描述一起用于解释本发明的原理。

图1是聚类和聚类中心的示意图。

图2是特征检索的示意图。

图3是K-mean聚类方法的示意图。

图4(a)至图4(c)是K-means++聚类方法中设置聚类中心的示意图。

图5是聚类结果的示意图。

图6是过大聚类、过小聚类和适当聚类的示意图。

图7是本申请的聚类方法的流程示意图。

图8(a)和图8(b)是适当度线的示意图。

图8(c)是经过本实施例一后的聚类结果。

图9是本申请实施例一的聚类过程示意图。

图10是本申请实施例一的聚类方法流程示意图。

图11是在不适当聚类为过大聚类时的聚类过程示意图。

图12是在不适当聚类为过小聚类时的聚类过程示意图。

图13是本申请实施例二中具有不同密度的聚类的示意图。

图14是本申请实施例四中聚类过程的示意图。

图15是本申请所应用在的硬件结构示意图。

图16是本申请实施例六的图像检索系统的示意图。

图17是本申请实施例七的聚类装置的示意图。

图18是本申请实施例八的检索装置的示意图。

具体实施方式

在下文中将结合附图对本申请的示范性实施例进行描述。为了清楚和简明起见，在说明书中并未描述实施例的所有特征。然而，应该了解，在对实施例进行实施的过程中必须做出很多特定于实施方式的设置，以便实现开发人员的具体目标，例如，符合与设备及业务相关的限制条件，并且这些限制条件可能会随着实施方式的不同而有所改变。此外，还应该了解，虽然开发工作有可能是非常复杂和费时的，但对得益于本公开内容的本领域技术人员来说，这种开发工作仅仅是例行的任务。

在此，还应当注意，为了避免因不必要的细节而模糊了本申请的主旨，在附图中仅仅示出了与至少根据本申请的方案密切相关的处理步骤和/或设备结构，而省略了与本申请关系不大的其他细节。

为了便于说明，下面简单介绍本申请的一些概念。在本申请中，聚类过程是图像的特征向量在特征空间中的聚类，这里的特征空间可以是一维空间、二维空间，也可以是三维空间，本申请并不对特征空间进行限定；这里的特征向量是使用特征提取方法从图像提取的、用以表征该图像的向量，本申请也不对其进行限定。本申请中所涉及的图像可以是人脸/人体图像，也可以是非人体的图像，本申请并不对图像的内容做限定。

本申请应用在现代计算机体系结构中，采用的存储装置包括易失性存储器(如内存)和非易失性存储器(如硬盘、闪存、远程硬盘等)，本申请中的数据容器能够从这些存储器中根据特定应用和性能要求来灵活选择。在初始化阶段，可按照预定尺寸从这些存储器中划分出数据容器用于存储图像的特征向量。随后，针对数据容器选择的索引器使用图像的特征向量来填充数据容器并构建数据容器中的数据结构(如聚类)，以用于随后进行的检索处理。

本申请可在图15所示的硬件结构中实施，该硬件结构包括：处理器单元101、内部存储器单元102、网络接口单元103、输入单元104、外部存储器单元105以及总线单元106。

所述处理器单元101可以是CPU或GPU。所述存储器单元102包括随机存取存储器(RAM)、只读存储器(ROM)等。所述RAM可用作处理器单元101的主存储器、工作区域等。ROM可用于存储处理器单元101的控制程序，此外，还可以用于存储在运行控制程序时要使用的文件或其他数据。网络接口单元103可连接到网络并实施网络通信。输入单元104控制来自键盘、鼠标等设备的输入。外部存储器105存储启动程序以及各种应用等。总线单元106用于使各单元相互通信。图15所示的硬件结构并不是本申请实施所必须的结构，其他通用的计算机/网络结构均可用于实施本申请。

下面将结合说明书附图来详细说明本申请的各个方面。

通过已知的聚类方法(如K-means或K-means++)得到的聚类结果可分为适当聚类和不适当聚类，所述不适当聚类是指包括的特征向量在数量或属性一致性方面不适当的聚类，适当聚类是指聚类中包括的特征向量在数量或属性一致性方面适当的聚类。下面分别以包括的特征向量的数量和属性一致性来对不适当聚类进行说明。

1.包括的特征向量的数量不适当

聚类结果按照包含的特征向量的数量可划分为过大聚类、过小聚类(过大聚类和过小聚类为不适当聚类)和适当聚类三种。参见图6所示，过大聚类是指包含的特征向量的数量过多的聚类(即包含的特征向量的数量大于预定的上限值的聚类)；过小聚类是指包含的特征向量的数量过少的聚类(即包含的特征向量的数量小于预定的下限值的聚类)；适当聚类是指包含的特征向量的数量适中的聚类(即包含的特征向量的数量在预定的上、下限值内的聚类)。这里的预定的上限值和下限值是用于反映包括的特征向量的数量是否合适的值，可以根据实际的检索需求来确定，本申请并不对上限值和下限值的具体数值做限定。

对于检索系统而言，适当的聚类大小对于较优的检索精度和较高的检索效率是有益的，过大或过小的聚类都会影响系统的检索精度和效率。在聚类结果包含过小聚类时，过小聚类会使聚类的数量过多，在索引和检索过程中，需要匹配更多数量的聚类中心，导致整体的检索速度慢，检索效率低；在聚类结果包含过大聚类时，由于过大聚类中包含的特征向量的数量很多，从聚类中心到各成员(特征向量)之间的距离较大，因此，在进行检索时的检索精度会受到负面影响。

2.包括的特征向量的属性一致性不适当

在从图像提取特征向量时，还可同时提取图像的属性信息，例如：图像中人脸的面部尺寸、人的性别、面部姿势(正脸、侧脸)、拍摄图像的相机等。一般认为同一聚类中的特征向量的属性最好是相同的，这样同一聚类中的特征向量相似的可能性高。例如，针对以面部尺寸为聚类条件的情况，最优的情况下，同一聚类中应当是对应同尺寸或相似尺寸的面部的特征向量，如果一聚类中包括尺寸相差大的面部的特征向量，则该聚类可能为不适当的聚类；再例如，针对以性别为聚类条件的情况，同一聚类中最好是对应相同性别的特征向量，如果一聚类中同时包括对应男性和女性的特征向量，则该聚类可能为不适当聚类。除了基于一种属性来进行聚类的方式，本申请也不限于以多种属性来进行聚类，例如，针对以面部尺寸和性别为聚类条件的情况，适当聚类中应当包括对应的人脸尺寸相同或相似、且性别相同的特征向量。

对于属性一致性不适当的聚类而言，对应不同属性的特征向量很可能是不相似的，例如，对应男性的特征向量和对应女性的特征向量可能在眼睛、鼻子等特征点上有一定的相似性，但实际上这两个特征向量肯定是不相似的，如果这样的两个特征向量在同一聚类中的话，会对后续的检索过程的准确性造成不利影响。

本申请的目的旨在解决上述由不适当的聚类引起的检索的负面问题，图7示出了本申请的聚类方法的主要步骤，包括：步骤S10，基于特征向量(已存储的或新输入的)生成聚类，本步骤可采用诸如K-means或K-means++算法来生成聚类；步骤S20，通过对生成的聚类进行检测，确定不适当聚类(包括数量不适当和/或属性一致性不适当)；步骤S30，将不适当聚类中的特征向量重新分派到其他聚类中，从而使不适当聚类消失；步骤S40，通过多次迭代直至聚类结果满足收敛要求，使最终的聚类结果中尽可能少或不存在不适当聚类。下面通过具体实施例来进行描述。

下面结合说明书附图对本申请的具体实施方式进行详细描述，应当理解，本发明并不局限于下文所述的各种示例性实施方式。另外，作为解决本发明的问题的方案，并不需要包括所有的示例性实施方式中描述的特征的组合。

实施例一

本申请实施例一描述了在以特征向量的数量来确定不适当聚类时，当出现过大聚类和/或过小聚类时的聚类处理方法。图10是本实施例一的聚类方法步骤流程图，本实施例一以对人脸图像的聚类处理为例来进行描述的。

步骤S1001：针对存储的人脸图像的特征向量，进行初始聚类处理。

本步骤S1001中的初始聚类处理可以是已知的任意聚类处理，如K-means或K-means++等。在特征空间中预设一定数量的初始聚类中心，该初始聚类中心可以是真实的特征向量的位置，也可以是特征空间中随机选择的虚拟点。然后计算各特征向量到初始聚类中心的距离，将特征向量分派到距离最近的聚类中心并得到聚类。注意，这里省略了诸如对特征向量采样、特征向量压缩等对特征向量的常规处理。需要说明的是，本步骤S1001得到的聚类结果可以是一次聚类后的结果，也可以是经过若干次迭代后得到的聚类结果。

另外，考虑到利用本实施例一的方案，不适当聚类中的特征向量将会被分派到其他聚类中，使不适当聚类消失，换句话说，聚类结果中的聚类数量将会减少。对此，在进行初始聚类处理时，实际设置的聚类中心的数量可以多于实际所需聚类数量，以便在使不适当聚类消失后，最终得到的聚类结果中的聚类数量等于或接近于实际所需的聚类数量。当然，设置较多数量的聚类中心的做法是实现本实施例一的优选方式，但本实施例一并不限于此，也可以设置与所涉及所需聚类数量相同数量的聚类中心。

步骤S1002：根据聚类中包括的特征向量的数量确定不适当聚类。

一种可选的执行本步骤S1002的方式是根据每个聚类中包括的特征向量的数量来计算适当度线。首先按照各聚类中包括的特征向量的数量由大到小的顺序对各聚类进行排序，如图8(a)上方所示，横坐标为聚类的ID，纵坐标为聚类中的特征向量的数量，将每个聚类按照包含的特征向量由多到少的顺序排列。然后参见公式(1)，当聚类中包括的特征向量的数量在预定的上、下限值(T_上限和T_下限)之间时，适当度为1；否则，适当度为0。

如果将图8(a)上方示出的各聚类中的特征向量经过上述公式(1)的运算后，可得到图8(a)下方的适当度线，确定适当度为1的聚类(适当聚类)和适当度为0的聚类(不适当聚类)。图8(a)下方所示的适当度线是直线，当然，本实施例一中也可能存在适当度线是曲线的情况。例如，参见公式(2)，预先设置多个数量范围以及每个数量范围对应的是当局，当聚类中包括的特征向量的数量位于某一数量范围内时，可将该数量范围对应的适当度作为该聚类的适当度。

如公式(2)所示，预先设置10个数量范围，每个数量范围对应一个适当度，基于公式(2)可得到图8(b)下方所示的适当度曲线。当采用公式(2)所示的适当度计算方式确定出聚类的适当度时，可以将适当度低于设定值的聚类确定为不适当聚类，例如，该设定值为0.5，将适当度不低于0.5的聚类确定为适当聚类，将适当度低于0.5的聚类确定为不适当聚类。

图9左上例示了在经过步骤S1001的初始聚类处理后得到的初始聚类结果。需要说明的是，在图9的左上部分仅例示了6个聚类的情况，当然，在经过了步骤S1001后的初始聚类结果中的聚类可能不限于6个，为了方便描述，这里仅以6个聚类为例进行描述。另外，一个聚类中可能存在数十个或上百个特征向量，为了能够直观地识别聚类中包含的特征向量是多还是少，在图9中以较小数值的聚类分布来示例性地展示适当聚类和不适当聚类。将图9左上例示的6个聚类经过图8(a)和图8(b)所示的适当度线的处理后，确定有1个过大聚类、2个过小聚类以及3个适当聚类。

注意，如果在本步骤S1002中确定没有不适当聚类，则可按照已知的聚类方式进行处理，并跳转到步骤S1004中。

步骤S1003：将不适当聚类中的特征向量重新分派到其他聚类中。

在本步骤S1003中，首先去除不适当聚类的聚类中心，然后，可采用与存在的聚类中心的就近原则，将原本在不适当聚类中的特征向量重新分派到其他聚类中，一种可选的方式是分派到已有的聚类中的适当聚类中，另一种可选的方式是分派到由新设定的聚类中心构件的聚类中，当然，本实施例也不限于其他分派方式。如图9左下所示，为重新计算聚类中心后得到的三个聚类的聚类结果。

步骤S1004：确定得到的聚类结果是否满足收敛要求，若不满足，则跳转至步骤S1002，否则，结束聚类过程。

由于每次对不适当聚类进行优化的过程都是使用局部信息的优化，每次聚类得到的是局部优化结果，需要经过多次迭代才能得到全局优化结果。另外，每次将不适当聚类中的特征向量重新分派到其他聚类的过程中也能会导致一些适当聚类变成过大聚类，因此，也需要多次迭代，使不适当聚类越来越少，直至全部消除。

在本步骤S1004中，可通过对步骤S1003得到的聚类结果进行打分的方式来确定聚类结果是否满足收敛要求，本申请实施例一并不对收敛的判定条件做限定，目前已知的判定条件都可适用在本实施例一中，例如，收敛后各聚类中包含的特征向量的数量如图8(c)所示，各聚类中包括的特征向量的数量在10至45个。通过多次执行步骤S1002至步骤S1004的迭代过程，使得最终的聚类结果满足收敛要求。

在上述步骤S1003中，不适当聚类可能仅为过大聚类，也可能仅为过小聚类，还可能既包括过大聚类又包括过小聚类，下面通过实例来分别描述步骤S1003在这三种情况下的执行过程。

情况一：不适当的聚类仅为过大聚类。

假设经过图8(a)和图8(b)所示的适当度线的处理后得到图11左上所示的聚类结果，其有1个过大聚类和3个适当聚类，每个聚类区域中的“×”符号表示该聚类的聚类中心，聚类中的成员为人脸图像的特征向量。然后如图11右上所示，取消过大聚类的聚类中心，将该过大聚类中的各成员(特征向量)重新分派到其他聚类中，例如，以与聚类中心就近的原则，将原过大聚类中的各成员重新分派到其他聚类中，得到如图11右下所示的三个新的聚类，最后再对新生成的三个聚类重新计算聚类中心，如图11的左下所示。

通过图11所示的聚类过程可以看出，当出现不适当的过大聚类时，可将过大聚类中的成员(特征向量)重新分派到其他聚类中，使不适当的过大聚类消失，最终得到的聚类中包括的特征向量的数量适中，有利于提高检索的精度和速度，同时，相较于日本第JP5155025号专利公开的方法，不仅不会增加聚类的数量，反而将原来的4个聚类减少为3个聚类，聚类数量的减少更能有效缩短检索所需的时长。另外，由于过大聚类中的各特征向量到聚类中心的距离较大，即各特征向量之间的相似度不高，通过图11所示的聚类过程后，过大聚类中的特征向量会被重新分派到其他聚类中，即原本相似度不高的特征向量有机会被分派到不同的聚类中，有利于提高聚类中的特征向量的相似度，进而提高检索的精度。

情况二：不适当的聚类仅为过小聚类。

假设经过图8(a)和图8(b)所示的适当度线的处理后得到图12左上的聚类结果，其中有4个过小聚类和3个适中聚类，每个聚类中的“×”符号表示聚类中心，聚类中的成员为人脸图像的特征向量。然后如图12右上所示，取消这4个过小聚类的聚类中心，将这4个过小聚类中的各成员(特征向量)重新分派到其他聚类中，得到如图12右下所示的三个新的聚类，最后再对新生成的三个聚类重新计算聚类中心，如图12的左下所示。

通过图12所示的聚类过程可以看出，当出现不适当的过小聚类时，可将过小聚类中的成员(特征向量)重新分派到其他聚类中，使不适当的过小聚类消失，聚类数量从7个减少到3个，有利于缩短检索过程所需的时长。

在不适当聚类仅为过小聚类的情况下，除了采用上述图12所示的方式来重新聚类之外，还可以采用部分过小聚类被重新处理的方式，具体包括：首先去除部分过小聚类的聚类中心(例如，在有多个过小聚类的情况下，去除1个过小聚类的聚类中心)，将原本属于这1个过小聚类的特征向量重新分派到其他的聚类(包括适当聚类和其他未被去除聚类中心的过小聚类)中。此时，存在这样的可能性：特征向量被分派到未被去除聚类中心的过小聚类中，这些过小聚类转变成适当聚类。当出现这样的情况时，转变为适当聚类后的过小聚类无需再执行重新聚类的处理。

情况三：不适当的聚类既有过大聚类又有过小聚类。

情况三可采用与情况一和情况二相同的方式，同时去除所有过大聚类和过小聚类的聚类中心，如图9右上所示，此时，原本属于过大聚类和过小聚类中的特征向量都处于等待重新分派的状态。然后，再采用与聚类中心的就近原则，将特征向量重新分派到其他适当的聚类中，如图9右下所示。此时，过大聚类和过小聚类都消失了，且左上的6个聚类减少为3个聚类。

除了采用同时取消过大聚类和过小聚类的聚类中心的方式外，情况三还可以采用其他的方式，例如，首先去除过大聚类的聚类中心，将原本属于过大聚类的特征向量重新分派到其他聚类(包括适当聚类和过小聚类)中。此时，存在这样的可能性：特征向量被分派到过小聚类中，这些过小聚类转变成适当聚类。当出现这样的情况时，转变为是当聚类的过小聚类无需再执行重新聚类的处理。但如果在完成过大聚类的特征向量的重新分派后仍存在过小聚类，则取消过小聚类的聚类中心，将过小聚类中的特征向量分派到其他适当聚类中。

实施例二

在上述实施例一中，根据聚类中包括的特征向量的数量来确定聚类是适当聚类还是不适当聚类，在本实施例二中，可按照聚类中特征向量的密度来确定不适当的聚类。如图13所示，左右两个聚类中包含的特征向量的数量相同，但左边聚类中各特征向量的距离较近，右边聚类中各特征向量的距离较远，因此，可以看出左边聚类的特征向量的密度大于右边聚类的特征向量的密度。一种可行的计算聚类中包含的特征向量的密度的算法为：

其中，feature-dense-in-cluster表示聚类中的特征向量的密度；member-count-of-cluster表示聚类中的特征向量(成员)的数量；Max(distance_ij)表示聚类中任意两个特征向量之间的最大距离。仍以图13所示的聚类为例，假设左边聚类中两个特征向量之间的最大距离为1，则该聚类中包含的特征向量的密度为4/1²＝4；右边聚类中两个特征向量之间的最大距离为5，则该聚类中包含的特征向量的密度为4/5²＝0.16。

在本实施例二中以聚类中的特征向量的密度来确定不适当聚类时，实施例一中的公式(1)和公式(2)可变形为公式(3)和公式(4)。

在公式(3)中，将包括的特征向量的密度在[T′_下限,T′_上限]范围内的聚类确定为不适当聚类。或者，按照公式(4)所示，预先设置多个密度范围以及每个密度范围对应的适当度，当聚类中的特征向量的密度位于某个密度范围时，将该密度范围对应的适当度作为该聚类的适当度，并在聚类的适当度不低于设定值(如0.5)时，确定该聚类为适当聚类；否则，确定该聚类为不适当聚类。本实施例二还可结合实施例一中基于特征向量的数量确定不适当聚类的方式，将特征向量的数量和密度都适当的聚类作为适当聚类。

实施例三

上述实施例一和实施例二都是基于聚类中特征向量的数量(直接或间接)来确定不适当聚类的，本申请实施例三描述了以特征向量的属性一致性来确定不适当聚类的方式。

在以特征向量的属性一致性来确定是否有不适当聚类时，首先需要确定同一聚类中各特征向量的属性一致性，换句话说，可为聚类中的特征向量的属性一致性打分，打分原则可为：对应不同属性的特征向量的数量越接近得分越低，对应不同属性的特征向量的数量差别越大得分越高。以人脸尺寸属性为例，假设[10×10，20×20)范围内的人脸尺寸为小脸，[20×20，30×30)尺寸范围内的人脸尺寸为大脸，如果同一聚类中对应小脸尺寸的特征向量的数量和对应打脸尺寸的特征向量的数量接近(相同)，则该聚类的属性一致性得分低，如得分为0；如果同一聚类中对应小脸尺寸的特征向量的数量和对应打脸尺寸的特征向量的数量差别大，则该聚类的属性一致性得分高，特别地，如果聚类中的特征向量全部对应同一属性(特征向量全部对应小脸尺寸，对应大脸尺寸的特征向量的数量为0)，则得分最高，如得分为1。以下公式(5)和公式(6)为基于特征向量的属性一致性来确定聚类的适当度的公式。

在公式(5)中，只要属性一致性得分大于T″_下限值，就认为聚类为适当聚类，否则，聚类为不适当聚类。在公式(6)中，设置多个属性一致性范围以及各范围对应的适当度，当一聚类的属性一致性得分落入某一范围内时，该范围对应的适当度即为该聚类的适当度，如果聚类的适当度不低于设定值(如0.5)，则该聚类为适当聚类；否则，该聚类为不适当聚类。本实施例三基于公式(3)和公式(4)确定出适当度后，可按照与实施例一相似的方式来确定不适当聚类，以及对不适当聚类执行相关处理。优选地，本实施例三可以与实施例一和/或实施例二中的确定不适当聚类的方式相结合，将既满足属性一致性要求、数量上又适当的聚类确定为适当聚类。

实施例四

在实施例一的方案中，当确定出不适当聚类后，取消不适当聚类的聚类中心，将原本在不适当聚类中的特征向量重新分派到其他聚类中，聚类的数量实际是减少的；而在本实施例四中，取消不适当聚类的聚类中心后，可根据需要设置一定数量的新的聚类中心，基于其他聚类的聚类中心以及新的聚类中心，来重新分派不适当聚类的特征向量，从而使最终得到的聚类数量在预定的数量范围内。

图14是本实施例四中聚类过程的示意图，假设如图14左上所示，有4个聚类，其中包括1个过大聚类、1个过小聚类和2个适当聚类。去除过大聚类和过小聚类的聚类中心，并再设置M个新的聚类中心，如图14右上所示，设置了2个新的聚类中心。本实施例四中，设置的新的聚类中心的个数可根据实际需求确定，一种可选的确定方式为：公式中的过大聚类中的特征向量数量是要去除的过大聚类中的特征向量数量，如果实际要去除的过大聚类多于1个，例如，要去除2个过大聚类，则公式中的过大聚类中的特征向量数量为2个过大聚类中的特征向量之和；公式中的适当值是适当聚类对应的上限值和下限值范围内的数量(即用户所希望的聚类中的特征向量的数量)，例如，适当值是适当聚类对应的上限值和下限值的平均值。这种确定方式的好处是：在将过大聚类中的特征向量分派到其他聚类中时，可能使得其他聚类变成不适当的过大聚类，因此，按照上述公式新增聚类中心后，可在避免增加过多的新的聚类中心的基础上，使新得到的聚类中的特征向量的数量在适当范围内。

接下来，将不适当聚类中的特征向量重新分派到其他聚类以及新的聚类中心处，如图14右下所示，最后，重新计算聚类中心，得到四个新的聚类聚作为聚类结果，如图14左下所示。

注意，在上述实施例四的方案中，基于特征向量的数量来确定不适当聚类，本实施例四也不限于其他基于特征向量的密度、属性一致性等来确定不适当聚类。

实施例五

本申请实施例五描述了在实施例一至实施例四的聚类方法得到的聚类结果中进行检索的方法，为了方便描述，可以假设在实施例一至实施例四的聚类方法中，包含建立索引数据(特征向量和聚类之间的索引数据)的步骤。在本实施例五的检索过程中，在接收到待查询特征向量后，根据其与各聚类的聚类中心之间的距离，确定出与待查询特征向量的距离满足距离要求(如距离最短)的至少一个聚类(即利用索引数据确定出相似聚类)；然后，在确定出的聚类中查询出与待查询特征向量的相似度满足要求(相似度最高)的至少一个特征向量(即查询出相似的特征向量)，将检索出的特征向量作为检索结果，并输出给用户。

由于检索过程所基于的聚类结果中的聚类在包含的特征向量的数量、属性一致性方面都较好，因此，检索的效率和精度可以得到有效保障。将本实施例一至实施例五的聚类方法和检索方法得到的聚类结果和检索结果与K-means++算法的结果相比，在索引速度和检索精度上，本申请的方案都优于K-means++算法。表1是在BIGANN SIFT1M数据集中的测评结果。

表1

实施例六

以上实施例一至实施例四所述的聚类方法可在图16示出的图像检索系统中运行。如图16所示，图像检索系统主要包括图像分析装置100、聚类装置200和检索装置300。图像分析装置100被配置为直接或者经由网络从诸如相机等接收视频数据，然后提取视频图像的特征向量。聚类装置200被配置为将图像分析装置100提取的特征向量组织为适当的数据结构，例如执行实施例一至实施例四所示的聚类处理。检索装置300被配置为利用待查询图像的特征向量和聚类装置200中得到的数据结构中的特征向量之间的距离，检索出相似度满足要求的图像作为检索结果来呈现给用户，从而完成图像的索引和检索处理。

实施例七

本申请实施例七描述了一种可执行实施例一至实施例四的聚类处理的聚类装置，如图17所示，所述聚类装置包括：聚类生成单元200-1，其被配置为基于特征向量生成聚类；聚类确定单元200-2，其被配置为确定不适当聚类；分派单元200-3，其被配置为将不适当聚类中的特征向量重新分派到其他聚类中；迭代单元200-4，其被配置为在聚类结果不满足收敛要求时，指示聚类确定单元200-2和分派单元200-3继续运行，直至聚类结果满足收敛要求。

所述聚类确定单元200-2具体用于根据聚类中包括的特征向量的数量确定不适当聚类，或者根据聚类中特征向量的密度来确定不适当的聚类；或者根据特征向量的属性一致性来确定不适当聚类。

所述聚类装置还包括：聚类中心设置单元200-5，其被配置为设置预定数量的新的聚类中心；所述分派单元200-3具体用于将不适当聚类中的特征向量重新分派到其他聚类以及新的聚类中心处。

实施例八

本申请实施例八描述了一种可执行实施例五的检索处理的检索装置，如图18所示，所述检索装置包括：聚类确定单元300-1，其被配置为在接收到待查询特征向量后，根据其与基于实施例一至实施例四的方法得到的各聚类的聚类中心之间的距离，确定出与待查询特征向量的距离满足距离条件的聚类；查询单元300-2，其被配置为在确定出的聚类中查询出与待查询特征向量的相似度满足要求的至少一个特征向量。

其他实施例

本发明的实施例还可以通过读出并执行记录在存储介质(也可以更完全地被称为“非暂时的计算机可读存储介质”)上的计算机可执行指令(例如，一个或多个程序)以执行一个或多个上述实施例的功能并且/或者包括用于执行一个或多个上述实施例的功能的一个或多个电路(例如，专用集成电路(ASIC))的系统或装置的计算机来实现，并且通过由系统或装置的计算机执行的方法来实现，通过例如从存储介质读出并执行计算机可读指令以执行一个或多个上述实施例的功能并且/或者控制一个或多个电路以执行一个或多个上述实施例的功能。该计算机可以包括一个或多个处理器(例如，中央处理单元(CPU)，微处理单元(MPU))，并且可以包括独立的计算机或独立的处理器的网络来读出并执行计算机可执行指令。该计算机可执行指令可以从例如网络或存储介质提供给计算机。该存储介质可以包括例如硬盘、随机存取存储器(RAM)、只读存储器(ROM)、分布式计算系统的存储、光盘(诸如压缩盘(CD)、数字通用盘(DVD)或蓝光盘(BD)(注册商标))、闪存设备、存储卡等中的一个或多个。

本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。

虽然参照示例性实施例对本发明进行了描述，但是应当理解，本发明不限于所公开的示例性实施例。应当对所附权利要求的范围给予最宽的解释，以使其涵盖所有变型、等同结构和功能。

Claims (17)

1.一种对图像中的特征向量进行聚类的聚类方法，所述聚类方法包括：

提取待处理的图像中的特征向量；

基于提取的特征向量生成聚类；

对生成的聚类进行检测，确定不适当聚类；

对不适当聚类中的特征向量进行重新分派，

其中，当所述不适当聚类包括特征向量的数量大于第一上限值的聚类和特征向量的数量小于第一下限值的聚类时，将特征向量的数量大于第一上限值的聚类中的特征向量重新分派到适当聚类和/或特征向量的数量小于第一下限值的聚类中，

其中，当所述不适当聚类包括特征向量的密度大于第二上限值的聚类和特征向量的密度小于第二下限值的聚类时，将特征向量的密度大于第二上限值的聚类中的特征向量重新分派到适当聚类和/或特征向量的密度小于第二下限值的聚类中。

2.根据权利要求1所述的聚类方法，其中，根据聚类中包括的特征向量的数量确定不适当聚类。

3.根据权利要求2所述的聚类方法，其中，根据聚类中包括的特征向量的数量确定不适当聚类，具体包括：

将包括的特征向量的数量大于第一上限值或小于第一下限值的聚类确定为不适当聚类；或者，

设置多个数量范围以及每个数量范围对应的适当度，根据聚类中包括的特征向量的数量所在的数量范围确定该聚类的适当度，将适当度低于第一设定值的聚类确定为不适当聚类。

4.根据权利要求1所述的聚类方法，其中，根据聚类中包括的特征向量的密度确定不适当聚类。

5.根据权利要求4所述的聚类方法，其中，根据聚类中包括的特征向量的密度确定不适当聚类，具体包括：

将包括的特征向量的密度大于第二上限值或小于第二下限值的聚类确定为不适当聚类；或者，

设置多个密度范围以及每个密度范围对应的适当度，根据聚类中包括的特征向量的密度所在的密度范围确定该聚类的适当度，将适当度低于第二设定值的聚类确定为不适当聚类。

6.根据权利要求1所述的聚类方法，其中，根据聚类中包括的特征向量的属性一致性确定不适当聚类。

7.根据权利要求6所述的聚类方法，其中，根据聚类中包括的特征向量的属性一致性确定不适当聚类，具体包括：

以对应不同属性的特征向量的数量越接近得分越低、数量差别越大得分越高的原则，确定聚类中的特征向量的属性一致性得分；

将属性一致性得分小于第三下限值的聚类确定为不适当聚类；或者，设置多个属性一致性得分范围以及每个属性一致性得分范围对应的适当度，根据属性一致性得分所在的范围确定聚类的适当度，将适当度低于第三设定值的聚类确定为不适当聚类。

8.根据权利要求1所述的聚类方法，在对各聚类进行检测之前，所述方法还包括：

利用设定的初始聚类中心，对存储的特征向量进行初始聚类处理，得到多个聚类，其中，所述初始聚类中心的数量多于实际所需的聚类数量。

9.根据权利要求1所述的聚类方法，其中，将不适当聚类中的特征向量重新分派到其他聚类中，具体包括：

将不适当聚类中的特征向量重新分派到生成的聚类中的适当聚类中。

10.根据权利要求1所述的聚类方法，其中，当将特征向量的数量大于第一上限值的聚类中的特征向量重新分派到适当聚类和/或特征向量的数量小于第一下限值的聚类中时，若还存在特征向量的数量小于第一下限值的聚类，则将该聚类中的特征向量重新分派到适当聚类中；

当将特征向量的密度大于第二上限值的聚类中的特征向量重新分派到适当聚类和/或特征向量的密度小于第二下限值的聚类中时，若还存在特征向量的密度小于第二下限值的聚类，则将该聚类中的特征向量重新分派到适当聚类中。

11.根据权利要求1所述的聚类方法，其中，将不适当聚类中的特征向量重新分派到其他聚类中，具体包括：

取消不适当聚类的聚类中心，并设置新的聚类中心；

基于其他聚类以及新的聚类中心，来重新分派不适当聚类的特征向量。

12.根据权利要求11所述的聚类方法，其中，当所述不适当聚类是特征向量的数量大于第一上限值的聚类时，设置的聚类中心的数量为：的向上取整或向下取整，其中，所述适当值是适当聚类对应的特征向量的数量范围内的值。

13.一种基于权利要求1至12任一所述的聚类方法得到的聚类结果的检索方法，所述检索方法包括：

在接收到待查询特征向量后，根据待查询特征向量与所述聚类结果中各聚类的聚类中心的距离，确定满足距离要求的至少一个聚类；

从确定的聚类中查询出与待查询特征向量满足相似度要求的至少一个特征向量作为检索结果。

14.一种对图像中的特征向量进行聚类的聚类装置，所述聚类装置包括：

提取单元，其被配置为提取图像中的特征向量；

聚类生成单元，其被配置为基于提取的特征向量生成聚类；

聚类确定单元，其被配置为对生成的聚类进行检测，确定不适当聚类；

分派单元，其被配置为对不适当聚类中的特征向量进行重新分派，

其中，当所述不适当聚类包括特征向量的数量大于第一上限值的聚类和特征向量的数量小于第一下限值的聚类时，将特征向量的数量大于第一上限值的聚类中的特征向量重新分派到适当聚类和/或特征向量的数量小于第一下限值的聚类中，

其中，当所述不适当聚类包括特征向量的密度大于第二上限值的聚类和特征向量的密度小于第二下限值的聚类时，将特征向量的密度大于第二上限值的聚类中的特征向量重新分派到适当聚类和/或特征向量的密度小于第二下限值的聚类中。

15.一种基于权利要求14所述的聚类装置得到的聚类结果的检索装置，所述检索装置包括：

聚类确定单元，其被配置为在接收到待查询特征向量后，根据待查询特征向量与所述聚类结果中各聚类的聚类中心的距离，确定满足距离要求的至少一个聚类；

查询单元，其被配置为从确定的聚类中查询出与待查询特征向量满足相似度要求的至少一个特征向量作为检索结果。

16.一种存储指令的非暂时性计算机可读存储介质，所述指令在由计算机执行时使所述计算机进行对图像中的特征向量聚类的聚类方法，所述聚类方法包括：

提取图像中的特征向量；

基于提取的特征向量生成聚类；

对生成的聚类进行检测，确定不适当聚类；

对不适当聚类中的特征向量进行重新分派，

其中，当所述不适当聚类包括特征向量的数量大于第一上限值的聚类和特征向量的数量小于第一下限值的聚类时，将特征向量的数量大于第一上限值的聚类中的特征向量重新分派到适当聚类和/或特征向量的数量小于第一下限值的聚类中，

其中，当所述不适当聚类包括特征向量的密度大于第二上限值的聚类和特征向量的密度小于第二下限值的聚类时，将特征向量的密度大于第二上限值的聚类中的特征向量重新分派到适当聚类和/或特征向量的密度小于第二下限值的聚类中。

17.一种存储指令的非暂时性计算机可读存储介质，所述指令在由计算机执行时使所述计算机进行基于权利要求1至12任一所述的聚类方法得到的聚类结果的检索方法，所述检索方法包括：

在接收到待查询特征向量后，根据待查询特征向量与所述聚类结果中各聚类的聚类中心的距离，确定满足距离要求的至少一个聚类；

从确定的聚类中查询出与待查询特征向量满足相似度要求的至少一个特征向量作为检索结果。