CN115170851A - 一种图像聚类的方法及装置 - Google Patents

Abstract

本申请提供一种图像聚类的方法及装置，用以解决图像聚类方法中出现的一人多档的问题。该方法包括：获取至少两个图像集合，所述图像集合中的每张图像中均包含目标类型对象，每个图像集合中的任意两张图像的目标类型对象特征的相似度超过第一阈值；确定每个图像集合中的至少一个特征，所述特征包括时间特征和/或空间特征；其中，时间特征用于描述图像对应的时间信息，空间信息用于描述图像中包含的目标类型对象的位置信息；从图像集合中，确定出第一图像集合以及第二图像集合，其中，第一图像集合的特征与第二图像集合的特征满足预设条件；合并第一图像集合以及第二图像集合。

Description

一种图像聚类的方法及装置

技术领域

本申请涉及计算机技术领域，具体涉及一种图像聚类的方法及装置。

背景技术

在目前的图像聚类方案中，主要是基于图像所包含的目标特征的相似度来完成聚类任务的。为了保证聚类准确率，往往会设置一个较高的相似度阈值。

但是，在这种情况下，会导致一些相同目标的不同形态的图像难以被归档至同一个集合中，从而导致整体的聚类召回率较低。例如，在人像聚类过程中，经常会出现明明是同一个人的图像，但是因为戴口罩和不戴口罩，或是光线充足与光线昏暗，又或是戴帽与不戴帽的区别，从而导致了这些图像被聚类到了不同的图像集合中，出现了所谓“一人多档”的问题。

目前，亟需一种提高图像聚类准确率的方法。

发明内容

本申请提供一种图像聚类的方法及装置，用以提供一种提高图像聚类准确率的方法。

第一方面，本申请提供一种图像聚类的方法，该方法具体包括：获取至少两个图像集合，所述图像集合中的每张图像中均包含目标类型对象，每个所述图像集合中的任意两张图像的目标类型对象特征的相似度超过第一阈值，所述目标类型对象特征用于描述所述目标类型对象；确定每个所述图像集合中的至少一个特征，所述特征包括时间特征和/或空间特征；其中，所述时间特征用于描述图像对应的时间信息，所述空间信息用于描述图像中包含的所述目标类型对象的位置信息；从所述图像集合中，确定出第一图像集合以及第二图像集合，其中，所述第一图像集合的所述特征与所述第二图像集合的所述特征满足预设条件；合并所述第一图像集合以及所述第二图像集合。

在本方案中，通过图像集合的时间特征和/或空间特征，确定出时间特征和/或空间特征相似的图像集合，并将其进行合并，以此实现根据图像集合包含的目标类型对象的时空信息进行聚类的操作。这样，聚类后得到的图像集合不仅仅是根据图像之间目标类型对象特征的相似度进行聚类，还根据了图像之间目标类型对象的时空信息进行聚类，有效地利用率了图像中携带的更多的信息，提高了图像聚类的准确率，另外，通过时间特征与空间特征的相似性，使得不具有高于第一阈值的目标类型对象特征的图像集合也可以进行合并，避免了因为过高的第一阈值导致不同包含不同形态的目标类型对象的图像被归类到不同图像集合中的问题，使得同一目标类型对象的集合所包含的图像数量也增多，提高了图像的召回率。

可选的，所述预设条件包括以下一项或多项：所述第一图像集合的时间特征与所述第二图像集合的时间特征的相似度超过第二阈值；所述第一图像集合的空间特征与所述第二图像集合的空间特征的相似度超过第三阈值。

在本方式中，第一图像集合与第二图像集合满足的预设条件包括三种可能的情况，使得本方案可以根据实际使用情况进行调整，根据灵活性。

可选的，所述特征还包括所述目标类型对象特征；所述预设条件还包括：所述第一图像集合的目标类型对象特征与所述第二图像集合的目标类型对象特征的相似度超过第四阈值；其中，所述第四阈值小于所述第一阈值。

在本方式中，限定了时间特征与空间特征相似度超过第二阈值与第三阈值的图像集合的目标类型对象特征的最低相似度，进一步地提高了图像聚类结果的准确性。

可选的，所述方法还包括：获取若干样本图像，每张所述样本图像包含所述目标类型对象，每张所述样本图像均携带身份标记，所述身份标记用于指示对应的所述样本图像中包含的所述目标类型对象的身份信息；根据所述目标类型对象特征对所述若干样本图像进行聚类，得到至少两个样本图像集合，其中，每个所述样本图像集合中的任意两张图像的目标类型对象特征的相似度超过所述第一阈值；将所述样本图像集合中具有相同身份标记的样本图像集合进行合并，得到处理图像集合；根据所述处理图像集合的所述时间特征确定所述第二阈值；根据所述处理图像集合的所述空间特征确定所述第三阈值。

在本方式中，通过对携带身份标记的样本图像进行一阶段聚类后体现出的时间特征与空间特征的相似度的分布进行统计，从而确定第二阈值与第三阈值的具体数值，能够获得更为准确的阈值结果，且提高了本方案的普适性。

可选的，所述根据所述处理图像集合的所述时间特征确定所述第二阈值，包括：确定每个所述处理图像集合对应的第一统计值，所述第一统计值为每个所述处理图像集合中各图像之间的所述时间特征的相似度的统计值；根据各个所述处理图像集合对应的所述第一统计值的正态分布结果确定所述第二阈值。

通过本方式，服务器可以根据样本图像确定出较为准确的第二阈值、第三阈值与第四阈值，进一步地提高了本方案的准确性与普适性。

可选的，所述从所述图像集合中，确定出第一图像集合以及第二图像集合，包括：从所述图像集合中，确定出所述第一图像集合，所述第一图像集合中图像的数量超过第五阈值；从所述图像集合中除所述第一图像集合外的其它各个图像集合中确定出与所述第一图像集合满足所述预设条件的至少一个目标图像集合，所述目标图像集合包括所述第二图像集合。

在本方式中，服务器可以选择以集合中的图像数量超过第五阈值的图像集合为基准，在其它图像集合中，选择与该图像集合满足预设条件的集合进行合并。这样，只需以部分集合为标准进行查找，降低了图像聚类过程中所需的计算量，提高了本方法的效率，同时，得到的计算结果的准确性也不会受到影响。

可选的，所述图像集合中的每张图像均携带跟踪身份标识号ID；所述方法还包括：从所述图像集合中，确定出第三图像集合以及第四图像集合，其中，所述第三图像集合以及所述第四图像集合中的所有图像均携带相同的跟踪ID；合并所述第三图像集合以及所述第四图像集合。

在本方式中，服务器可以根据跟踪ID对一阶段聚类后的图像集合进行再次合并，进一步地提高图像聚类的准确性。

可选的，所述第三图像集合以及所述第四图像集合中任意两张图像的所述目标类型对象特征的相似度超过第六阈值，所述第六阈值小于所述第一阈值。

在本方式中，对于拥有相同跟踪ID的图像之间，服务器在进行图像聚类时，可以适当降低对其目标类型对象特征的相似度的要求。这样，即使目标类型对象出现了不同形态，也可以对应的实现不同形态图像的聚类，进一步提高了聚类结果的准确性。

可选的，每张所述样本图像均携带所述跟踪ID，所述方法还包括：从所述样本图像中确定出第一样本图像集合，所述第一样本图像集合中的任意图像与所述第一样本图像集合中除所述任意图像以外的至少一张图像携带相同的跟踪ID以及不同的身份标记；确定所述第一样本图像集合中，具有所述相同的跟踪ID的样本图像之间的所述目标类型对象特征的第一相似度；根据所述第一样本图像集合中，所述第一相似度的正态分布的结果，确定所述第六阈值。

在本方式中，通过对样本图像进行统计，得到第六阈值，提高了本方案的准确性以及普适性。

第二方面，提供一种图像聚类的装置，该装置包括：获取模块，用于获取至少两个图像集合，所述图像集合中的每张图像中均包含目标类型对象，每个所述图像集合中的任意两张图像的目标类型对象特征的相似度超过第一阈值，所述目标类型对象特征用于描述所述目标类型对象；处理模块，用于确定每个所述图像集合中的至少一个特征，所述特征包括时间特征和/或空间特征；其中，所述时间特征用于描述图像对应的时间信息，所述空间信息用于描述图像中包含的所述目标类型对象的位置信息；从所述图像集合中，确定出第一图像集合以及第二图像集合，其中，所述第一图像集合的所述特征与所述第二图像集合的所述特征满足预设条件；合并模块，用于合并所述第一图像集合以及所述第二图像集合。

可选的，所述预设条件包括以下一项或多项：所述第一图像集合的时间特征与所述第二图像集合的时间特征的相似度超过第二阈值；所述第一图像集合的空间特征与所述第二图像集合的空间特征的相似度超过第三阈值。

可选的，所述特征还包括所述目标类型对象特征；所述预设条件还包括：所述第一图像集合的目标类型对象特征与所述第二图像集合的目标类型对象特征的相似度超过第四阈值；其中，所述第四阈值小于所述第一阈值。

可选的，所述处理模块还用于获取若干样本图像，每张所述样本图像包含所述目标类型对象，每张所述样本图像均携带身份标记，所述身份标记用于指示对应的所述样本图像中包含的所述目标类型对象的身份信息；所述处理模块还用于根据所述目标类型对象特征对所述若干样本图像进行聚类，得到至少两个样本图像集合，其中，每个所述样本图像集合中的任意两张图像的目标类型对象特征的相似度超过所述第一阈值；将所述样本图像集合中具有相同身份标记的样本图像集合进行合并，得到一个或多个处理图像集合；根据所述处理图像集合的所述时间特征确定所述第二阈值；根据所述处理图像集合的所述空间特征确定所述第三阈值。

可选的，所述处理模块用于根据所述处理图像集合的所述时间特征确定所述第二阈值时，具体用于：确定每个每个处理图像集合对应的第一统计值，所述第一统计值为每个所述处理图像集合中各图像之间的所述时间特征的相似度的统计值；根据各个所述处理图像集合对应的所述第一统计值的正态分布结果确定所述第二阈值。

可选的，所述处理模块用于从所述图像集合中，确定出第一图像集合以及第二图像集合时，具体用于：从所述图像集合中，确定出所述第一图像集合，所述第一图像集合中图像的数量超过第五阈值；从所述图像集合中除所述第一图像集合外的其它各个图像集合中确定出与所述第一图像集合满足所述预设条件的至少一个目标图像集合，所述目标图像集合包括所述第二图像集合。

可选的，所述图像集合中的每张图像均携带跟踪身份标识号ID；所述处理模块还用于从所述图像集合中，确定出第三图像集合以及第四图像集合，其中，所述第三图像集合以及所述第四图像集合中的所有图像均携带相同的跟踪ID；所述合并模块还用于合并所述第三图像集合以及所述第四图像集合。

可选的，所述第三图像集合以及所述第四图像集合中任意两张图像的所述目标类型对象特征的相似度超过第六阈值，所述第六阈值小于所述第一阈值。

可选的，每张所述样本图像均携带所述跟踪ID，所述处理模块还用于从所述样本图像中确定出第一样本图像集合，所述第一样本图像集合中的任意图像与所述第一样本图像集合中除所述任意图像以外的至少一张图像携带相同的跟踪ID以及不同的身份标记；确定所述第一样本图像集合中，具有所述相同的跟踪ID的样本图像之间的所述目标类型对象特征的第一相似度；根据所述第一样本图像集合中，所述第一相似度的正态分布的结果，确定所述第六阈值。

第三方面，提供一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述至少一个处理器通过执行所述存储器存储的指令，使得所述装置通过执行第一方面或第一方面任一种可选的实施方式中所述的方法。

第四方面，提供一种计算机可读存储介质，所述计算机可读存储介质用于存储指令，当所述指令被执行时，使如第一方面或第一方面任一种可选的实施方式中的方法被实现。

本申请实施例中第二、第三以及第四方面中提供的一个或多个技术方案所具有的技术效果或优点，均可以由第一方面中提供的对应的一个或多个技术方案所具有的技术效果或优点对应解释。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的一种可能的应用场景的示意图；

图2为本申请实施例提供的一种图像聚类方法的流程图；

图3为本申请实施例提供的确定阈值的方法的流程图；

图4为本申请提供的一个或多个处理图像集合的示意图；

图5为本申请实施例提供的一种图像聚类装置的结构示意图；

图6是本申请实施例提供的一种电子设备的结构示意图。

具体实施方式

下面通过附图以及具体实施例对本申请技术方案做详细的说明，应当理解本申请实施例以及实施例中的具体特征是对本申请技术方案的详细的说明，而不是对本申请技术方案的限定，在不冲突的情况下，本申请实施例以及实施例中的技术特征可以相互组合。

需要理解的是，在本申请实施例的描述中，“第一”、“第二”等词汇，仅用于区分描述的目的，而不能理解为指示或暗示相对重要性，也不能理解为指示或暗示顺序。在本申请实施例的描述中“多个”，是指两个或两个以上。

本申请实施例中的术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。

目前的图像聚类方式都是单纯的基于图像所包含的目标的特征的相似度来完成聚类任务的，例如，有关人脸图像聚类的方法中，均是基于人脸、人体等图像特征的相似度来完成的。在这些聚类方式中，为了保证聚类后的结果的准确性，通常会设置较高的相似度阈值。而这就导致了一些属于相同目标的不同形态的图像(例如，同一个人戴帽子与不戴帽子的区别或是戴口罩与不带口罩的区别)难以被聚类到同一目标对应的图像集合中，进而导致整体的聚类召回率较低。

鉴于此，本申请提供一种图像聚类的方法与装置，用以解决该问题。该方法可以应用于例如超市、商场、售楼处、停车场、动物园等半封闭的场景中，利用时空信息等目标对象的外形特征以外的信息辅助聚类，从而提高聚类的准确性。

参见图1，为本申请实施例提供的一种可能的应用场景的示意图，该场景展示了某小型超市货架间的通道，在该通道中，包含A、B二人相向而行，在货架上方则有摄像头a记录此处场景的图像。应理解，图1展示的场景仅为本方法适用的可能场景之一，在实际生活本方法具体使用场景本申请不做限制。

参见图2，为本申请实施例提供的一种图像聚类方法的流程图，该方法可以由任何具有计算能力的设备执行，例如该方法的执行主体可以是与能够获取图像的服务器设备，也可以是直接获取图像且具有计算功能的终端设备，例如手机、平板、笔记本电脑、摄像头等。为便于描述，下文中以该方法的执行主体是服务器为例进行说明。该方法具体步骤如下：

步骤S201：服务器获取至少两个图像集合，这至少两个图像集合中的每张图像中均包含目标类型对象，而这些集合中的任意两张图像的目标类型对象特征的相似度超过第一阈值，目标类型对象特征用于描述所述目标类型对象。

其中，目标类型对象包括不同类型的对象，例如：人员、车辆、或者动物等不同类型的对象。当上述图像中包含的目标类型对象不同时，其聚类时的目标类型对象特征也不相同，例如，当上述目标类型对象为人员时，其特征包括人脸或人体特征，当目标类型对象为车辆时，其特征即包括车牌特征。为便于说明，本文以目标类型对象为人员为例进行解释，实际生活中，目标类型对象具体包括的类型本申请不做限制。

需要说明的是，上述第一阈值的具体取值可以根据实际需求进行设定，本申请不做限制。例如，当需要保证上述至少两个图像集合中的每个图像集合均包含同一目标类型对象时，可以设置较高的第一阈值。

可选的，服务器获取到的至少两个图像集合可以是已经初步根据目标类型对象特征的相似度进行聚类后的图像集合，也可以是服务器获取到若干包含目标类型对象的图像后，依据目标类型对象特征进行聚类操作后得到的，本申请不做限制。

示例性的，当服务器需要获取上述至少两个图像集合时，可以从拍摄图像的终端设备或者其他与终端设备通信连接的服务器处直接获取一阶段聚类后的至少两个图像集合。其中该一阶段聚类的标准即为人像特征的相似度超过阈值：只要任意两张图像包含的人像特征的相似度超过第一阈值，即可将两张图像归为同一图像集合中。或者，当服务器需要获取上述至少两个图像集合时，可以从拍摄图像的终端或者其他与终端通信连接的服务器处获取若干包含人员的图像，从而由服务器本身对这些图像进行一阶段聚类，并进一步地得到一阶段聚类后的上述至少两个图像集合。

步骤S202：服务器确定上述至少两个图像集合中每个图像集合的至少一个特征，该特征包括时间特征和/或空间特征。

其中，时间特征用于描述图像对应的时间信息，例如，该图像的拍摄时间即可作为该图像对应的时间特征。

空间特征用于描述图像中包含的目标类型对象的位置信息。可选的，对于该目标类型对象的位置信息，服务器可以以图像中拥有固定位置的物品为参照物，用以指示目标类型对象的位置信息。以图1所示的场景为例，服务器获取到图像后，可以根据图像中货架1与人员A之间的相对距离，表示人员A的位置信息，从而进一步地确定该图像的空间特征。又或者，可以将获取图像的终端设备设定为双目及以上的摄像机或者飞行时间(time offlight，ToF)相机。这些类型的摄像机均可直接在目标区域建立坐标系，从而直接在拍摄图像时获取目标对象的位置坐标信息。而服务器在确定图像的空间特征时，即可根据这些摄像机拍摄的图像中携带的坐标信息，确定图像对应的空间特征。

以上时间特征与空间特征均用于描述图像的具体时间信息与空间信息，而对于一个图像集合的时间特征与空间特征，可以是集合中所有图像的时间信息或空间信息的集合，也可以是集合中所有图像的时间信息或空间信息的统计值。具体的至少一个特征的数据形式可以根据实际需求设定，并申请不做限制。

步骤S203：服务器从至少两个图像集合中，确定出第一图像集合和第二图像集合，其中，第一图像集合的特征与第二图像集合的特征满足预设条件。

可选的，上述预设条件包括以下一项或多项：1、第一图像集合的时间特征与第二图像集合的时间特征的相似度超过第二阈值；2、第一图像集合的空间特征与第二图像集合的空间特征的相似度超过第三阈值。

示例性的，根据实际需求，预设条件可以包括以下至少三种类型：

类型一：第一图像集合与第二图像集合仅需要时间特征的相似度超过第二阈值；类型二：第一图像集合与第二图像集合仅需要空间特征的相似度超过第三阈值；类型三：第一图像集合与第二图像集合需要在时间特征的相似度超过第二阈值的同时，其空间特征的相似度超过第三阈值。

在本方式中，第一图像集合与第二图像集合满足的预设条件包括三种可能的情况，使得本方案可以根据实际使用情况进行调整，根据灵活性。

步骤S204：服务器合并上述确定出的第一图像集合以及第二图像集合。

在本方案中，通过图像集合的时间特征和/或空间特征，确定出时间特征和/或空间特征相似的图像集合，并将其进行合并，以此实现根据图像集合包含的目标类型对象的时空信息进行聚类的操作。这样，聚类后得到的图像集合不仅仅是根据图像之间目标类型对象特征的相似度进行聚类，还根据了图像之间目标类型对象的时空信息进行聚类，有效地利用率了图像中携带的更多的信息，提高了图像聚类的准确率，另外，通过时间特征与空间特征的相似性，使得不具有高于第一阈值的目标类型对象特征的图像集合也可以进行合并，避免了因为过高的第一阈值导致不同包含不同形态的目标类型对象的图像被归类到不同图像集合中的问题，使得同一目标类型对象的集合所包含的图像数量也增多，提高了图像的召回率。

需要说明的是，在上述对本方案的叙述中，仅以第一图像集合与第二图像集合为例进行了说明，但是在实际应用中，同时符合预设条件的集合可能不止两个，因此，在进行合并时，可以一次性的将所有满足预设条件的集合都进行合并，以得到合并后的新的图像集合。

可选的，至少一个特征除上述时间特征与空间特征以外，还可以包括目标类型对象特征，并且，预设条件还可以包括：第一图像集合与第二图像集合的目标类型对象特征的相似度超过第四阈值，并且所述第四阈值小于所述第一阈值。

示例性的，预设条件中除上述关于时间特征与空间特征的限定外，还可以包括目标类型对象特征的限定。例如，上述根据图像集合的时间特征与空间特征确定出时间特征的相似度超过第二阈值、空间特征的相似度超过第三阈值的图像集合后，再确定其目标类型对象特征的相似度是否超过第四阈值，当确定超过后，即可将这些集合进行合并。

在本方式中，限定了时间特征与空间特征相似度超过第二阈值与第三阈值的图像集合的目标类型对象特征的最低相似度，进一步地提高了图像聚类结果的准确性。

以上介绍了本申请提供的图像聚类方法中具体的聚类步骤，而其中第二、第三、第四阈值的确定除了由使用者根据不同情况具体设定之外，还可以选择由服务器根据若干样本图像进行统计后确定。

参见图3，为本申请实施例提供的确定阈值的方法的流程图，该确定阈值的方法具体步骤如下：

步骤S301：服务器获取若干样本图像，其中，这些样本图像中均包含目标类型对象，并且，每张样本图像均携带身份标记，这些身份标记用于指示每张样本图像中包含的目标类型对象的身份信息。

可选的，样本图像中包含的身份标记可以是由样本图像提供者专门进行标注得到的。这样，在完成聚类操作以后，可以直接根据每张样本图像携带的身份标记确定聚类结果的准确性。

步骤S302：服务器根据目标类型对象特征对上述若干样本图像进行聚类，得到至少两个样本图像集合，其中，这些样本图像集合中的每个样本图像集合中的任意两张样本图像的目标类型对象特征的相似度超过第一阈值。

在本步骤中，服务器仅根据图像间的目标类型对象特征对这若干样本图像执行一阶段聚类，得到聚类后的至少两个样本图像集合。并且，由于该第一阈值与上述步骤S201中的第一阈值相同，因此，在步骤S302聚类后的样本图像集合中，也会存在因为第一阈值所要求的目标类型对象的相似度过高，导致同一目标类型对象的图像由于其相似度无法达标导致被划分至不同样本图像集合的问题。对于该问题，则执行以下步骤。

步骤S303：服务器将上述至少两个样本图像集合中对应相同身份标记的样本图像集合进行合并，得到一个或多个处理图像集合。

根据样本图像所携带的身份标记，服务器可以将所有具有相同身份标记的图像集合进行合并，得到完整且准确的聚类后的图像集合。并且，上述一个或多个处理图像集合中，不会出现包含相同目标类型对象而被归类至不同图像集合(即“一人多档”)的问题。

步骤S304：服务器根据上述处理图像集合的时间特征确定第二阈值，并根据其空间特征确定第三阈值。

在本方式中，通过对携带身份标记的样本图像进行一阶段聚类后体现出的时间特征与空间特征的相似度的分布进行统计，从而确定第二阈值与第三阈值的具体数值，能够获得更为准确的阈值结果，且提高了本方案的普适性。

可选的，第二阈值、第三阈值与第四阈值的确定可以根据以下方法完成。

1、第二阈值的确定

首先，服务器可以确定上述处理图像集合中，每个图像集合对应的第一统计值，该第一统计值为每个样本图像集合中各图像之间的时间特征的相似度的统计值。

需要说明的是，步骤303中将至少两个样本图像集合进行合并后，得到的合并后的一个或多个处理图像集合中，各个样本图像还携带有原有的至少两个样本图像集合的集合信息。参见图4，为本申请提供的一个或多个处理图像集合的示意图，在图4中，集合1与集合2为合并后的一个或多个处理图像集合中的两个集合；在这两个集合中，还分别包含有集合a、集合b、集合c以及集合d、集合e、集合f这6个子集合，这6个子集合是上述至少两个样本图像集合中的集合。换言之，即使得到上述合并后的一个或多个处理图像集合后，服务器仍旧可以根据集合中的任一图像得知其未合并时所属的集合信息。

进一步的，上述第一统计值的确定，则可以采取不同的方式。为便于理解，以下将以图4所示的集合1与集合2为例，对这些方式进行说明。

方式一、服务器可以分别计算集合1、集合2中各个子集合的时间特征相似度，最后再计算上述集合1与集合2对应的第一统计值。

示例性的，服务器分别计算集合a、集合b、集合c这三个集合中每个集合内图像之间的相似度，然后再根据这三个集合计算集合1对应的第一统计值以及集合2对应的第一统计值。

方式二、服务器可以分别计算集合1、集合2中任意两张图像之间的时间特征相似度，然后根据这些相似度确定集合1与集合2对应的第一统计值。

其次，服务器根据上述得到的一个或多个处理图像集合中各个样本图像集合对应的第一统计值的正态分布结果，确定所述第二阈值。

示例性的，服务器可以利用数学工具，将统计出的各个样本图像集合对应的第一统计值进行拟合，得到其正态分布结果，并根据正态分布的3σ原则确定第二阈值。

其中，3σ原则即拉依达准则，是指先假设一组检测数据只含有随机误差，对其进行计算处理得到标准偏差，按一定概率确定一个区间，认为凡超过这个区间的误差，就不属于随机误差而是粗大误差，含有该误差的数据应予以剔除。

在本申请中，则是利用上述第一统计值的正态分布结果确定出其相似度可能存在的区间，并进一步地确定出第二阈值。

2、第三阈值与第四阈值的确定

对于第三阈值与第四阈值的确定，可以参考上述对第二阈值的确定方法，只需将统计的内容变为各个样本图像集合的空间特征对应的第二统计值以及各个样本图像集合对应的目标类型对象特征对应的第三统计值即可。其余均可参照上述方法，此处不再赘述。

通过上述方式，服务器可以根据样本图像确定出较为准确的第二阈值、第三阈值与第四阈值，进一步地提高了本方案的准确性与普适性。

可选的，在执行上述步骤S203从至少两个图像集合中，确定出第一图像集合与第二图像集合时，具体包括：

从至少两个图像集合中首先确定出第一图像集合，该第一图像集合中图像的数量超过第五阈值；

接着，遍历至少两个图像集合中除第一图像集合以外的其它图像集合，从中确定出与第一图像集合满足预设条件的至少一个目标图像集合，该至少一个图像集合中包括第二图像集合。

这样，服务器可以将第一图像集合与所述至少一个目标图像集合依次进行合并，得到图像聚类的结果。

示例性的，假设至少两个图像集合中包含数量很多的集合，此时，若直接从该至少两个图像集合中确定出第一图像集合与第二图像集合，需要遍历至少两个图像集合中的所有包含的集合，计算量过大，使得服务器的负载过高。因此，可以设置第五阈值，使得服务器首先确定出图像数量超过第五阈值的第一图像集合，再将该第一图像集合的时间特征与其它图像集合的时间特征做比较，得到需要进行合并的第二阈值。

在本方式中，服务器可以选择以集合中的图像数量超过第五阈值的图像集合为基准，在其它图像集合中，选择与该图像集合满足预设条件的集合进行合并。这样，只需以部分集合为标准进行查找，降低了图像聚类过程中所需的计算量，提高了本方法的效率，同时，得到的计算结果的准确性也不会受到影响。

需要说明的是，在实际使用中，第五阈值的设定既可以是用户根据所有图像集合中图像的数量具体设定的，也可以是服务器通过样本图像进行训练后计算得到的，本申请不做限制。

可选的，在计算第五阈值的具体取值时，可以通过以下方法完成实现。

第一步、获取若干样本图像，该样本图像中的每张都携带身份标记，可以标识每张样本图像中包含的目标类型对象的身份信息。

需要说明的是，在该方法中的样本图像既可以是与上述步骤S301中相同的样本图像，也可以是从其他不同渠道获取的样本图像，本申请不做限制。为便于说明，以下就以该样本图像与上述步骤S301中的相同为例进行解释。

第二步、根据样本图像包含的目标类型对象的目标类型对象特征的相似度进行聚类操作，得到至少两个样本图像集合。具体聚类过程请参见步骤S302中的描述，此处不再赘述。

第三步、统计对应同一个身份标记的样本图像集合中，图片保有数量最多的集合的图像数量。例如，假设样本图像集合1、2、3、4是聚类后的图像集合中，所有的包含的图像均对应同一个身份标记的集合，此时记录样本图像集合1、2、3、4中保有图像数量最多的集合中的图像数量。然后，分别记录其它身份标记对应的图像集合中保有图像数量最多的集合中的图像数量。

这样，可以根据图像保有数量区分出某一个图像集合是否能被确定为是该目标类型对象对应的主要档案，然后，以每个主要档案为基准，遍历其它图像集合，再进行下一阶段的图像合并工作。

第四步、利用数学工具，将统计出的各个身份标记对应的主要档案集合中的图像保有数量进行拟合，得到其正态分布结果，并根据正态分布的3σ原则确定第五阈值。

其中，确定第五阈值的具体方式与上述第二阈值确定的方法类似，此处不再赘述。

需要说明的是，第五阈值具体的表现形式可以是单纯的某一数值，例如，第五阈值为500，此时，图像集合中图像保有数量超过500张的图像集合即可被判断为是主要档案图像集合。另外，第五阈值的具体表现形式还可以是一种比例值，例如，第五阈值为60％，此时，图像集合中图像保有数量超过所有待聚类的图像的数量的60％，则可以被判断为是主要档案图像集合。在实际应用中，第五阈值的具体表现形式可以根据需求确定，本申请不做限制。

在本方式中，通过样本图像的聚类结果从而确定第五阈值，具有较高的准确性，同时也具有较高的普适性。

可选的，上述包含有目标类型对象的图像中，除身份标记外还可以携带有跟踪身份标识号(Identity document，ID)，其中，跟踪ID是终端设备在拍摄目标类型对象时实时为每帧图像中的目标类型对象做出的标记，以便其可以更好的追踪和识别目标对象。

当上述携带有跟踪ID的图像完成一阶段聚类后，服务器可以从聚类后的至少两个图像集合中，确定出携带有相同跟踪ID的第三图像集合以及第四图像集合，并将该第三图像集合与第四图像集合合并。

在本方式中，服务器可以根据跟踪ID对一阶段聚类后的图像集合进行再次合并，进一步地提高图像聚类的准确性。

可选的，对于被确定出的第三图像集合与第四图像集合，还存在以下限制条件：第三图像集合与第四图像集合中任一两张图像包含的目标类型对象的目标类型对象特征的相似度超过第六阈值，其中第六阈值小于所述第一阈值。

换言之，对于拥有相同跟踪ID的图像之间，服务器在进行图像聚类时，可以适当降低对其目标类型对象特征的相似度的要求。这样，即使目标类型对象出现了不同形态(例如人像中包含的目标人员从戴口罩变为不戴口罩的形态)，也可以对应的实现这两种形态图像的聚类，进一步提高了聚类结果的准确性。

可选的，对于第六阈值的确定，可以采取以下方法：

首先，获取若干携带跟踪ID以及身份标记的样本图像，该样本图像可以上述其它阈值确定时的样本图像，也可以是其它不同的样本图像，本申请不做限制。

其次，从上述样本图像中获取第一样本图像集合，该集合中的任一图像与该集合中其它至少一张图像对应相同的跟踪ID与不同的身份标记。

第一样本图像集合中存在的图像是出现了跟踪ID标记错误的样本图像，即不同身份的目标对象因各种可能的原因被标记为同一跟踪ID，此时，服务器可以统计这些图像中具有相同跟踪ID的图像之间的相似度，以便可以在后续图像聚类时，为如何处理具有相同跟踪ID的图像提供依据。

接着，服务器确定第一样本图像集合中，具有相同跟踪ID的样本图像之间的目标类型对象特征的第一相似度，并根据该第一相似度的正态分布结果，确定第六阈值。

通过上述方法确定出的第六阈值展示了不同身份标记的图像被标定为同一跟踪ID时的最大相似度，即，当两个具有相同跟踪ID的图像之间目标类型对象特征的相似度低于上述最大相似度时，两者图像有较大的可能不对应同一个目标对象。反之，当两个具有相同跟踪ID的图像之间目标类型对象特征的相似度大于上述最大相似度时，两者则很有可能对应相同的目标对象。

在本方式中，通过对样本图像进行统计，得到第六阈值，提高了本方案的准确性以及普适性。

以上介绍了本方案在图像聚类时对于高质量且包含有效信息的图像执行的聚类方案，但是实际应用中，终端设备所获取到的图像中总是会有一些质量很差的图像(例如某人像中目标对象的侧身照，又或是图像中车辆的拍照的位置被遮挡大部分)，这些图像对于聚类结果影响不会太大，但是却会导致相当多不同的图像集合，这类图像数据一般可以称之为“废片”，而仅包含有这些“废片”数据的图像集合，则是需要在图像聚类过程中去除的错误数据。对于去除该类图像集合或是“废片”数据，可以采取以下方法完成。

可选的，对于步骤S201中获取到的至少两个图像集合，在这些集合经历过的一阶段聚类中，这些集合中不可避免的会存在一些上述提到的“废片”数据。因此，可以根据一些判断标准，从这些至少两个图像集合中，筛选出包含有上述“废片”数据的图像集合，并及时将其清除，以便图像的进一步的聚类；又或者，也可以在完成对上述至少两个图像集合的合并工作后，再清除“废片”数据，以使用户可以得到更为清晰明了的图像聚类结果。

其中，上述判断标准包括以下至少一项或多项：1、集合的图像保有数量小于第七阈值，2、集合中图像的平均人像质量分小于第八阈值。

示例性的，上述第七阈值与第八阈值可以采取以下方式进行确定。

方式一、由用户根据实际使用情况设定第七阈值与第八阈值的具体数值或是百分比。例如，当获取到的图像集合较少时，用户可以将第七阈值设置为2，第八阈值为20，即当图像集合的图像保有数小于或等于2且集合中图像的平均质量分小于20时，即可确定其为需要被清除的“废片”数据。

方式二、根据样本图像中的数据，确定第七阈值与第八阈值。其中，具体方法可以参见上述第五阈值与第六阈值确定的方法，不同的是，在第七阈值与第八阈值的确定中，样本图像携带了人为标记的废片标记，在对该些样本图像进行一阶段聚类后，统计包含有这些废片标记的图像所在的图像集合的图像保有数量以及平均质量分，并根据其正态分布结果确定出第七阈值与第八阈值。

在本方式中，可以对需要聚类的图像进行废片清洗，使得聚类结果更加简洁明晰，并且降低了聚类所需的计算量，提高了聚类效率。

基于同一发明构思，本申请实施例还提供一种图像聚类装置。

参见图5，为本申请实施例提供一种图像聚类装置，该装置可以是由上述服务器或者是该设备中的芯片或集成电路等，该装置包括用于执行上述方法实施例中由服务器执行的方法的模块/单元/技术手段。

示例性的，该装置500包括：

获取模块501，用于获取至少两个图像集合，所述至少两个图像集合中的每张图像中均包含目标类型对象，所述至少两个图像集合中的每个集合中的任意两张图像的目标类型对象特征的相似度超过第一阈值，所述目标类型对象特征用于描述所述目标类型对象；

处理模块502，用于确定所述至少两个图像集合中每个图像集合的至少一个特征，所述至少一个特征包括时间特征和/或空间特征；其中，所述时间特征用于描述图像对应的时间信息，所述空间信息用于描述图像中包含的所述目标类型对象的位置信息；从所述至少两个图像集合中，确定出第一图像集合以及第二图像集合，其中，所述第一图像集合的所述至少一个特征与所述第二图像集合的所述至少一个特征满足预设条件；

合并模块503，用于合并所述第一图像集合以及所述第二图像集合。

作为一种实施例，图5论述的装置可以用于执行图2所示的实施例中所述的方法，因此，对于该装置的各功能模块所能够实现的功能等可参考图2所示的实施例的描述，此处不再赘述。

应当注意，尽管在上文详细描述中提及了装置的若干模块或子模块，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本发明的实施方式，上文描述的两个或更多单元的特征和功能可以在一个模块中具体化。反之，上文描述的一个模块的特征和功能可以进一步划分为由多个模块来具体化。

作为上述装置一种可能的产品形态，参见图6，本申请实施例还提供一种电子设备600，包括：

至少一个处理器601；以及与所述至少一个处理器601通信连接的通信接口603；所述至少一个处理器601通过执行存储器602存储的指令，使得所述电子设备600通过所述通信接口603执行上述方法实施例中任一设备所执行的方法步骤。

可选的，所述存储器602位于所述电子设备600之外。

可选的，所述电子设备600包括所述存储器602，所述存储器602与所述至少一个处理器601相连，所述存储器602存储有可被所述至少一个处理器601执行的指令。附图6用虚线表示存储器602对于电子设备600是可选的。

其中，所述处理器601和所述存储器602可以通过接口电路耦合，也可以集成在一起，这里不做限制。

本申请实施例中不限定上述处理器601、存储器602以及通信接口603之间的具体连接介质。本申请实施例在图6中以处理器601、存储器602以及通信接口603之间通过总线604连接，总线在图6中以粗线表示，其它部件之间的连接方式，仅是进行示意性说明，并不引以为限。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图6中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。应理解，本申请实施例中提及的处理器可以通过硬件实现也可以通过软件实现。当通过硬件实现时，该处理器可以是逻辑电路、集成电路等。当通过软件实现时，该处理器可以是一个通用处理器，通过读取存储器中存储的软件代码来实现。

示例性的，处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(FieldProgrammable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

应理解，本申请实施例中提及的存储器可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(Read-Only Memory，ROM)、可编程只读存储器(Programmable ROM，PROM)、可擦除可编程只读存储器(Erasable PROM，EPROM)、电可擦除可编程只读存储器(Electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(Static RAM，SRAM)、动态随机存取存储器(Dynamic RAM，DRAM)、同步动态随机存取存储器(Synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data EateSDRAM，DDR SDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(Synchlink DRAM，SLDRAM)和直接内存总线随机存取存储器(DirectRambus RAM，DR RAM)。

需要说明的是，当处理器为通用处理器、DSP、ASIC、FPGA或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件时，存储器(存储模块)可以集成在处理器中。

应注意，本文描述的存储器旨在包括但不限于这些和任意其它适合类型的存储器。

作为另一种可能的产品形态，本申请实施例还提供一种计算机可读存储介质，该计算机可读存储介质用于存储指令，当所述指令被执行时，使得计算机执行上述方法实例中任一设备所执行的方法步骤。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (12)

1.一种图像聚类方法，其特征在于，包括：

获取至少两个图像集合，所述图像集合中的每张图像中均包含目标类型对象，每个所述图像集合中的任意两张图像的目标类型对象特征的相似度超过第一阈值，所述目标类型对象特征用于描述所述目标类型对象；

确定每个所述图像集合中的至少一个特征，所述特征包括时间特征和/或空间特征；其中，所述时间特征用于描述图像对应的时间信息，所述空间信息用于描述图像中包含的所述目标类型对象的位置信息；

从所述图像集合中，确定出第一图像集合以及第二图像集合，其中，所述第一图像集合的所述特征与所述第二图像集合的所述特征满足预设条件；

合并所述第一图像集合以及所述第二图像集合。

2.如权利要求1所述的方法，其特征在于，所述预设条件包括以下一项或多项：

所述第一图像集合的时间特征与所述第二图像集合的时间特征的相似度超过第二阈值；

所述第一图像集合的空间特征与所述第二图像集合的空间特征的相似度超过第三阈值。

3.如权利要求1或2所述的方法，其特征在于，所述特征还包括所述目标类型对象特征；

所述预设条件还包括：

所述第一图像集合的目标类型对象特征与所述第二图像集合的目标类型对象特征的相似度超过第四阈值，其中，所述第四阈值小于所述第一阈值。

4.如权利要求2所述的方法，其特征在于，所述方法还包括：

获取若干样本图像，每张所述样本图像包含所述目标类型对象，每张所述样本图像均携带身份标记，所述身份标记用于指示对应的所述样本图像中包含的所述目标类型对象的身份信息；

根据所述目标类型对象特征对所述若干样本图像进行聚类，得到至少两个样本图像集合，其中，每个所述样本图像集合中的任意两张图像的目标类型对象特征的相似度超过所述第一阈值；

将所述样本图像集合中具有相同身份标记的样本图像集合进行合并，得到一个或多个处理图像集合；

根据所述处理图像集合的所述时间特征确定所述第二阈值；根据所述处理图像集合的所述空间特征确定所述第三阈值。

5.如权利要求4所述的方法，其特征在于，所述根据所述处理图像集合的所述时间特征确定所述第二阈值，包括：

确定每个所述处理图像集合对应的第一统计值，所述第一统计值为每个所述处理图像集合中各图像之间的所述时间特征的相似度的统计值；

根据各个所述处理图像集合对应的所述第一统计值的正态分布结果确定所述第二阈值。

6.如权利要求1所述的方法，其特征在于，所述从所述图像集合中，确定出第一图像集合以及第二图像集合，包括：

从所述图像集合中，确定出所述第一图像集合，所述第一图像集合中图像的数量超过第五阈值；

从所述图像集合中除所述第一图像集合外的其它各个图像集合中确定出与所述第一图像集合满足所述预设条件的至少一个目标图像集合，所述目标图像集合包括所述第二图像集合。

7.如权利要求4所述的方法，其特征在于，所述图像集合中的每张图像均携带跟踪身份标识号ID；所述方法还包括：

从所述图像集合中，确定出第三图像集合以及第四图像集合，其中，所述第三图像集合以及所述第四图像集合中的所有图像均携带相同的跟踪ID；

合并所述第三图像集合以及所述第四图像集合。

8.如权利要求7所述的方法，其特征在于，所述第三图像集合以及所述第四图像集合中任意两张图像的所述目标类型对象特征的相似度超过第六阈值，所述第六阈值小于所述第一阈值。

9.如权利要求8所述的方法，其特征在于，每张所述样本图像均携带所述跟踪ID，所述方法还包括：

从所述样本图像中确定出第一样本图像集合，所述第一样本图像集合中的任意图像与所述第一样本图像集合中除所述任意图像以外的至少一张图像携带相同的跟踪ID以及不同的身份标记；

确定所述第一样本图像集合中，具有所述相同的跟踪ID的样本图像之间的所述目标类型对象特征的第一相似度；

根据所述第一样本图像集合中，所述第一相似度的正态分布的结果，确定所述第六阈值。

10.一种图像聚类的装置，其特征在于，包括：

获取模块，用于获取至少两个图像集合，所述图像集合中的每张图像中均包含目标类型对象，每个所述图像集合中的任意两张图像的目标类型对象特征的相似度超过第一阈值，所述目标类型对象特征用于描述所述目标类型对象；

处理模块，用于确定每个所述图像集合中的至少一个特征，所述包括时间特征和/或空间特征；其中，所述时间特征用于描述图像对应的时间信息，所述空间信息用于描述图像中包含的所述目标类型对象的位置信息；从所述图像集合中，确定出第一图像集合以及第二图像集合，其中，所述第一图像集合的所述特征与所述第二图像集合的所述特征满足预设条件；

合并模块，用于合并所述第一图像集合以及所述第二图像集合。

11.一种电子设备，其特征在于，包括：

至少一个处理器；以及与所述至少一个处理器通信连接的存储器；

其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述至少一个处理器通过执行所述存储器存储的指令，使得所述至少一个处理器执行如权利要求1-9中任一项所述的方法。

12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储指令，当所述指令被执行时，使如权利要求1-9中任一项所述的方法被实现。

Images