CN114997259A - 图像聚类方法、图像聚类模型训练方法和电子设备 - Google Patents

Abstract

本申请涉及一种图像聚类方法、图像聚类模型训练方法和计算机设备。方法包括：获取多个待聚类档案；待聚类档案包括多张待聚类图像；获取待聚类图像对应的第一时空信息，以及第一时空信息与每个待聚类档案之间的第一映射关系；第一时空信息包括待聚类图像的拍摄时间和待聚类图像的拍摄地点；根据第一映射关系、第一时空信息、以及第一时空信息之间的关联度关系构建第一图结构数据；根据第一图结构数据，确定待聚类档案之间的第一相似度；根据待聚类档案之间的第一相似度，对待聚类档案进行聚类，采用本方法提高待聚类档案聚类的准确度。

Description

图像聚类方法、图像聚类模型训练方法和电子设备

技术领域

本申请涉及数据处理技术领域，特别是涉及一种图像聚类方法、图像聚类 模型训练方法和电子设备。

背景技术

随着智能视频监控设备的大量普及，每天都会累积海量的目标对象图像， 可以采用图像聚类进行建档，档案聚类可以简单理解为将涉及同类目标对象的 图像归档在一个档案中，后续可以利用该档案进行调查等。

目前，提供的档案聚类方法为：获取目标对象的图像特征，根据图像特征 间的相似度对多个目标对象的图像进行聚类，以将同一目标对象的图像聚合到 同一档案中，然而，在监控设备漏抓拍图像、抓拍的图像质量较低时，档案聚 类的准确度较低。

发明内容

基于此，有必要针对上述技术问题，提供一种图像聚类方法、图像聚类模 型训练方法和电子设备。

第一方面，本申请提供了一种图像聚类方法。所述方法包括：

获取多个待聚类档案；所述待聚类档案包括多张待聚类图像；

获取所述待聚类图像对应的第一时空信息，以及所述第一时空信息与每个 所述待聚类档案之间的第一映射关系；所述第一时空信息包括所述待聚类图像 的拍摄时间和所述待聚类图像的拍摄地点；

根据所述第一映射关系、所述第一时空信息、以及所述第一时空信息之间 的关联度关系构建第一图结构数据；

根据所述第一图结构数据，确定所述待聚类档案之间的第一相似度；

根据所述待聚类档案之间的第一相似度，对所述待聚类档案进行聚类。

在其中一个实施例中，所述根据所述第一图结构数据，确定所述待聚类档 案之间的第一相似度，包括：

将所述第一图结构数据输入训练后的图像聚类模型，得到每个所述待聚类 档案对应的图嵌入向量；

根据每个所述待聚类档案对应的图嵌入向量，确定所述待聚类档案之间的 第一相似度。

在其中一个实施例中，通过下述方式训练所述图像聚类模型：

获取多个历史档案；所述历史档案包括多张待训练图像；

获取所述待训练图像对应的第二时空信息，以及所述第二时空信息与每个 所述历史档案之间的第二映射关系；所述第二时空信息包括所述待训练图像的 拍摄时间和所述待训练图像的拍摄地点；

根据所述第二映射关系、所述第二时空信息、以及所述第二时空信息之间 的关联度关系构建第二图结构数据；

根据所述第二图结构数据训练所述图像聚类模型，得到训练后的图像聚类 模型。

在其中一个实施例中，所述图像聚类模型包括至少两个不同类型的图神经 网络模型，所述图神经网络模型分别用于提取所述第二图结构数据中不同类型 的边特征和不同类型的节点特征；

所述根据所述第二图结构数据训练所述图像聚类模型，得到训练后的图像 聚类模型，包括：

分别将所述第二图结构数据输入所述图神经网络模型，得到多个与所述第 二图结构数据中的节点对应的图嵌入向量；

根据多个与所述第二图结构数据中的节点对应的图嵌入向量，确定所述第 二图结构数据中每条边的预测值；

获取所述第二图结构数据中每条边的真实值；

根据所述预测值和所述真实值，得到所述第二图结构数据中每条边的损失 值；

根据所述损失值对图像聚类模型进行训练，得到训练后的图像聚类模型。

在其中一个实施例中，所述根据多个与所述第二图结构数据中的节点对应 的图嵌入向量，确定所述第二图结构数据中每条边的预测值，包括：

聚合每个与所述第二图结构数据中的节点对应的图嵌入向量，得到聚合后 的图嵌入向量；

根据所述聚合后的图嵌入向量，确定所述第二图结构数据中每条边的预测 值。

在其中一个实施例中，所述获取所述待训练图像对应的第二时空信息，以 及所述第二时空信息与每个所述历史档案之间的第二映射关系，之后还包括：

获取每张所述待训练图像的图像特征；

根据所述待训练图像的图像特征，确定所述待聚类档案之间的初始相似度；

根据所述初始相似度、所述第二映射关系、所述第二时空信息、以及所述 第二时空信息之间的关联度关系构建第二图结构数据；

根据所述第二图结构数据训练所述图像聚类模型，得到训练后的图像聚类 模型。

在其中一个实施例中，所述方法还包括：

获取每张所述待聚类图像的图像特征；

根据所述待聚类图像的图像特征，确定所述待聚类档案之间的第二相似度；

根据所述第一相似度和所述第二相似度，对所述待聚类档案进行聚类。

在其中一个实施例中，所述第一图结构数据包括第一时空信息节点、待聚 类档案节点、时间边、空间边和时空边；所述时间边由所述待聚类图像的拍摄 地点相同、拍摄时间不相同的多个所述第一时空信息节点连接得到；所述空间 边由所述待聚类图像的拍摄地点不相同、拍摄时间相同的多个所述第一时空信 息节点连接得到；所述时空边由所述待聚类档案节点和所述第一时空信息节点 连接得到。

第二方面，本申请还提供了一种图像聚类模型训练方法。所述方法包括：

获取多个历史档案；所述历史档案包括多张待训练图像；

获取所述待训练图像对应的第二时空信息，以及所述第二时空信息与每个 所述历史档案之间的第二映射关系；所述第二时空信息包括所述待训练图像的 拍摄时间和所述待训练图像的拍摄地点；

根据所述第二映射关系、所述第二时空信息、以及所述第二时空信息之间 的关联度关系构建第二图结构数据；

根据所述第二图结构数据训练图像聚类模型。

第三方面，本申请还提供了一种电子设备。所述电子设备包括存储器和处 理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现 以下步骤：

获取多个待聚类档案；所述待聚类档案包括多张待聚类图像；

获取所述待聚类图像对应的第一时空信息，以及所述第一时空信息与每个 所述待聚类档案之间的第一映射关系；所述第一时空信息包括所述待聚类图像 的拍摄时间和所述待聚类图像的拍摄地点；

根据所述第一映射关系、所述第一时空信息、以及所述第一时空信息之间 的关联度关系构建第一图结构数据；

根据所述第一图结构数据，确定所述待聚类档案之间的第一相似度；

根据所述待聚类档案之间的第一相似度，对所述待聚类档案进行聚类。

第四方面，本申请还提供了一种计算机可读存储介质。所述计算机可读存 储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步 骤：

获取多个待聚类档案；所述待聚类档案包括多张待聚类图像；

获取所述待聚类图像对应的第一时空信息，以及所述第一时空信息与每个 所述待聚类档案之间的第一映射关系；所述第一时空信息包括所述待聚类图像 的拍摄时间和所述待聚类图像的拍摄地点；

根据所述第一映射关系、所述第一时空信息、以及所述第一时空信息之间 的关联度关系构建第一图结构数据；

根据所述第一图结构数据，确定所述待聚类档案之间的第一相似度；

根据所述待聚类档案之间的第一相似度，对所述待聚类档案进行聚类。

第五方面，本申请还提供了一种计算机程序产品。所述计算机程序产品， 包括计算机程序，该计算机程序被处理器执行时实现以下步骤：

获取多个待聚类档案；所述待聚类档案包括多张待聚类图像；

获取所述待聚类图像对应的第一时空信息，以及所述第一时空信息与每个 所述待聚类档案之间的第一映射关系；所述第一时空信息包括所述待聚类图像 的拍摄时间和所述待聚类图像的拍摄地点；

根据所述第一映射关系、所述第一时空信息、以及所述第一时空信息之间 的关联度关系构建第一图结构数据；

根据所述第一图结构数据，确定所述待聚类档案之间的第一相似度；

根据所述待聚类档案之间的第一相似度，对所述待聚类档案进行聚类。

上述图像聚类方法、图像聚类模型训练方法和电子设备，通过获取多个待 聚类档案；所述待聚类档案包括多张待聚类图像；获取所述待聚类图像对应的 第一时空信息，以及所述第一时空信息与每个所述待聚类档案之间的第一映射 关系；所述第一时空信息包括所述待聚类图像的拍摄时间和所述待聚类图像的 拍摄地点；根据所述第一映射关系、所述第一时空信息、以及所述第一时空信 息之间的关联度关系构建第一图结构数据；在监控设备漏抓拍图像、抓拍的图 像质量较低时，根据所述第一图结构数据，能够更加准确的确定所述待聚类档 案之间的第一相似度；从而根据所述待聚类档案之间的第一相似度，能够更加 准确的对所述待聚类档案进行聚类，解决了档案聚类的准确度较低的问题。

附图说明

图1为一个实施例中图像聚类方法的应用场景的示意图；

图2为一个实施例中图像聚类方法的流程示意图；

图3为一个实施例中第一图结构数据的示意图；

图4为另一个实施例中图像聚类方法的流程示意图；

图5为一个实施例中图像聚类模型训练方法的流程示意图；

图6为一个实施例中第二图结构数据的示意图；

图7为又一个实施例中图像聚类方法的流程示意图；

图8为一个实施例中图像聚类模型训练的场景示意图；

图9为一个实施例中电子设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实 施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅 用以解释本申请，并不用于限定本申请。

图1为一个实施例中图像聚类方法的应用场景的示意图。

如图1所示，应用场景示出了多个待聚类档案110和电子设备120，每个待 聚类档案110包括多张待聚类图像130。电子设备120可以根据多张待聚类图像 130的第一时空信息对多个待聚类档案110进行聚类处理。其中，第一时空信息 包括待聚类图像的拍摄时间和待聚类图像的拍摄地点。电子设备120例如为笔 记本电脑、服务器、网络硬盘录像机等各种能够进行聚类处理的设备，本申请 对此不做限制。

下面结合图2对本申请的聚类方法进行说明。

图2为一个实施例中图像聚类方法的流程示意图。聚类方法例如可以由电 子设备120执行。

如图2所示，图像聚类方法包括以下步骤：

步骤201，获取多个待聚类档案；待聚类档案包括多张待聚类图像。

其中，待聚类的图像包括但不限于人脸图像、车辆图像和车牌图像，本实 例可以应用于多种场景下的图像聚类，比如，可以对某个小区的内的人脸图像 进行聚类，将某个目标人员的人脸图像归档于一个档案中，也可以对某个区域 内的车牌图像进行聚类，将同一车牌的图像归档于一个档案中。

步骤202，获取待聚类图像对应的第一时空信息，以及第一时空信息与每个 待聚类档案之间的第一映射关系；第一时空信息包括待聚类图像的拍摄时间和 待聚类图像的拍摄地点。

其中，每个待聚类档案中存储多张待聚类图像，通过第一映射关系可以知 道每个档案中具体是存储何时何地拍摄的待聚类图像。

步骤203，根据第一映射关系、第一时空信息、以及第一时空信息之间的关 联度关系构建第一图结构数据。

举例说明，图3为一个实施例中第一图结构数据示意图，由图3可知，第 一图结构数据中节点包括第一时空信息节点和待聚类档案节点，第一图结构数 据的边包括时间边、空间边和时空边；第一时空信息节点表示每张待聚类图像 的拍摄时间和拍摄地点，为了表示方便，每个第一时空信息节点以“拍摄地点_ 拍摄时间”的形式进行表示，假设存在5个拍摄地点，分别是A、B、C、D、E， 并将拍摄时间按小时进行转换，则A_8表示拍摄地点为A，对应的拍摄时间为 早上8点；

时空边由第一映射关系确定，假设存在3个待聚类档案，由时空边可确定， 档案1中存储3个第一时空信息节点对应的待聚类图像，3个第一时空信息节点 分别是：A_8，C_8，C_9；档案2存储1个第一时空信息节点对应的待聚类图 像，该第一时空信息节点为B_9；档案3存储2个第一时空信息节点对应的待聚 类图像，2个第一时空信息节点分别是：C_8，E_9；

时间边和空间边由第一时空信息之间的关联度关系确定。

需要说明的是，图3仅是第一图结构数据中的一种，任何在图3基础上进 行变形得到的第一图结构数据均在本实施例的保护范围中。

步骤204，根据第一图结构数据，确定待聚类档案之间的第一相似度。

具体地，可以根据第一图结构数据中各个边之间的距离，来计算待聚类档 案之间的第一相似度，也可以通过图神经网络来提取第一图结构数据中的边特 征，来得到待聚类档案之间的第一相似度，本实施不对如何根据第一图结构数 据，来确定待聚类档案之间的第一相似度做具体限定。

举例说明，假设待聚类的图像中有几张图像的质量差，无法根据上述几张 质量差的待聚类图像的图像特征来确定之间的相似度，此时，可以根据上述几 张待聚类图像的第一时空信息来确定与其第一时空信息接近的图像质量较好的 待聚类图像，从而根据上述图像质量较好的待聚类图像能够准确的确定之间的 相似度，进一步的，根据待聚类图像之间的相似度能够确定待聚类档案之间的 相似度。

步骤205，根据待聚类档案之间的第一相似度，对待聚类档案进行聚类。

上述图像聚类方法中，获取多个待聚类档案；待聚类档案包括多张待聚类 图像；获取待聚类图像对应的第一时空信息，以及第一时空信息与每个待聚类 档案之间的第一映射关系；第一时空信息包括待聚类图像的拍摄时间和待聚类 图像的拍摄地点；根据第一映射关系、第一时空信息、以及第一时空信息之间 的关联度关系构建第一图结构数据，从而第一图结构数据融合了待聚类图像的 第一时空信息，以及第一时空信息与待聚类档案之间的关联关系，因此，根据 第一图结构数据能够更加准确的确定待聚类档案之间的第一相似度，进一步的， 根据上述待聚类档案之间的相似度，能够更加准确的对待聚类档案进行聚类， 解决了档案聚类的准确度较低的问题。

请继续参阅图4，图4为另一个实施例中图像聚类方法的流程示意图，如图 4所示，通过步骤204确定待聚类档案之间的第一相似度之后还包括：

步骤402，获取每张待聚类图像的图像特征。

步骤404，根据待聚类图像的图像特征，确定待聚类档案之间的第二相似度。

步骤406，根据第一相似度和第二相似度，对待聚类档案进行聚类。

示例的，可以利用加权平均的方式综合第一相似度和第二相似度，得到动 态调整后的待聚类档案之间的相似度，假设，基于待聚类图像的第一时空信息 得到的第一相似度为S_gnn，基于待聚类图像的图像特征得到的第二相似度为S_pic， 则根据第一相似度和第二相似度，动态调整后的相似度S_adj如下式所示，其中， α+β＝1，可以将α设置为0.5，β设置为0.5。

S_adj＝αS_pic+βS_gnn (1)

可以理解的，在本实施例中，基于待聚类图像的第一时空信息得到的第一 相似度以及基于待聚类图像的图像特征得到的第二相似度，得到动态调整后的 待聚类档案之间的相似度，因此，动态调整后的待聚类档案之间的相似度不仅 考虑了待聚类图像的第一时空特征，还考虑了待聚类图像的图像特征，因此， 根据动态调整后的待聚类档案之间的相似度，能够更加准确的对待聚类档案进 行聚类。

在一个实施例中，请继续参阅图3，第一图结构数据包括第一时空信息节点、 待聚类档案节点、时间边、空间边和时空边；时间边由待聚类图像的拍摄地点 相同、拍摄时间不相同的多个第一时空信息节点连接得到；空间边由待聚类图 像的拍摄地点不相同、拍摄时间相同的多个第一时空信息节点连接得到；时空 边由待聚类档案节点和第一时空信息节点连接得到。

可以理解的，本实施例中的第一图结构数据融合了待聚类图像的拍摄地点、 拍摄时间，以及待聚类图像的拍摄地点、拍摄时间与待聚类档案之间的关联关 系，因此，在待聚类图像质量较差或者漏拍摄几张待聚类图像的情况下，根据 上述第一图结构数据依然能够准确的确定待聚类档案之间的相似度，进一步的， 根据此相似度能够更加准确的对待聚类档案进行聚类。

在一个实施例中，步骤204，根据第一图结构数据，确定待聚类档案之间的 第一相似度，包括：

将第一图结构数据输入训练后的图像聚类模型，得到每个待聚类档案对应 的图嵌入向量；

根据每个待聚类档案对应的图嵌入向量，确定待聚类档案之间的第一相似 度。

可以理解的，第一图结构数据中融合了待聚类图像的第一时空信息，因此， 通过训练后的图像聚类模型提取第一图结构数据中的节点特征和边特征，得到 的每个待聚类档案对应的图嵌入向量也融合了待聚类图像的第一时空信息，进 一步的，根据融合了第一时空信息的图嵌入向量，能够更加准确的确定待聚类 档案之间的第一相似度。

在一个实施例中，图5为一个实施例中图像聚类模型训练方法的流程示意 图，请参阅图5，通过下述步骤训练图像聚类模型：

步骤502，获取多个历史档案；历史档案包括多张待训练图像。

步骤504，获取待训练图像对应的第二时空信息，以及第二时空信息与每个 历史档案之间的第二映射关系；第二时空信息包括待训练图像的拍摄时间和待 训练图像的拍摄地点。

步骤506，根据第二映射关系、第二时空信息、以及第二时空信息之间的关 联度关系构建第二图结构数据。

步骤508，根据第二图结构数据训练图像聚类模型，得到训练后的图像聚类 模型。

可以理解的，在本实施例中，根据待训练图像的第二时空信息、第二时空 信息之间的关联度关系，以及第二时空信息与每个历史档案之间的第二映射关 系，构建第二图结构数据，并根据第二图结构数据训练图像聚类模型，从而训 练后的图像聚类模型能够提取融合了第一时空信息的图嵌入向量，进一步的， 根据此图嵌入向量能够更加准确的预测待聚类档案之间的相似度，根据此相似 度能够更加准确的对待聚类档案进行聚类。

在一个实施例中，图像聚类模型包括至少两个不同类型的图神经网络模型， 图神经网络模型分别用于提取第二图结构数据中不同类型的边特征和不同类型 的节点特征；

步骤508，根据第二图结构数据训练图像聚类模型，得到训练后的图像聚类 模型，包括：

分别将第二图结构数据输入图神经网络模型，得到多个与第二图结构数据 中的节点对应的图嵌入向量；

根据多个与第二图结构数据中的节点对应的图嵌入向量，确定第二图结构 数据中每条边的预测值；

获取第二图结构数据中每条边的真实值；

根据预测值和真实值，得到第二图结构数据中每条边的损失值；

根据损失值对图像聚类模型进行训练，得到训练后的图像聚类模型。

其中，图神经网络模型可以选择基于谱域的图神经网络或基于空域的图神 经网络。谱域的图神经网络主要包括但不限于ChebNet和GCN，空域的图神经 网络主要包括但不限于GraphSAGE和GAT。

需要说明的是，本实施例中也可以用相同类型的图神经网络模型提取第二 图结构数据中不同类型的边特征和不同类型的节点特征，执行步骤508，得到训 练后的图像聚类模型。

在本实施例中，可以分别根据每个图神经网络模型输出的图嵌入向量，来 计算得到第二图结构数据中每条边的多个初始预测值，然后聚合每条边的多个 初始预测值，来得到第二图结构数据中每条边的预测值；也可以先聚合每个图 神经网络模型输出的图像嵌入向量，然后根据聚合后的图嵌入向量来得到第二 图结构数据中每条边的预测值，本实施不对如何根据多个与第二图结构数据中 的节点对应的图嵌入向量，确定第二图结构数据中每条边的预测值做具体限定。

另外，本实施例中为了利用图神经网络聚合多种不同类型节点与边关系的 信息，因此为第二图结构数据中每种类型的边关系定义一种对应的图神经网络 模型，示例的，请继续参阅图3，因为GAT网络可以更好的提取档案特征，GCN 网络可以更好的提取时空特征，因此可以用GAT网络来提取第二图结构数据中 的时空边特征，用GCN网络来提取第二图结构数据中的时间边特征和空间边特 征；

举例说明，本实施例通过下式确定损失值，其中，

为第二图结构数 据中每条边的预测值，

为第二图结构数据中每条边的真实值，c_r为调整 第二图结构数据中关系边上不同量纲值对应的缩放系数，

为第二图结构数据中 每条边的损失值。

可以理解的，在本实施例中，针对第二图结构数据中不同的边类型，分别 定义不同的图神经网络模型，从而通过不同类型的图神经网络模型能够更好提 取第二图结构数据中不同的边特性和节点特征，即每个图神经网络模型输出的 图嵌入向量更好反映第二图结构数据中的节点信息，再根据此图嵌入向量得到 的每条边的预测值能够更好的反映第一时空信息之间的关联度程度大小，进一 步的，根据此预测值得到的损失值来训练图像聚类模型，得到的训练后的图像 聚类模型能够更准确的提取第一图结构数据中不同的边特性和节点特征，从而 能够进一步的提高待聚类的档案聚类的准确度。

在一个实施例中，根据多个与第二图结构数据中的节点对应的图嵌入向量， 确定第二图结构数据中每条边的预测值，包括：

聚合每个与第二图结构数据中的节点对应的图嵌入向量，得到聚合后的图 嵌入向量；

根据聚合后的图嵌入向量，确定第二图结构数据中每条边的预测值。

示例的，聚合不同节点与边关系的图神经网络的输出时可以采用求和或求 平均方式，即将不同节点与边关系的图神经网络的输出特征向量按维度进行求 和或求平均作为该节点经过图神经网网络优化后的结果，比如，可以通过下式 聚合每个与第二图结构数据中的节点对应的图嵌入向量，其中，Agg表示聚合不 同节点与边关系的图神经网络的输出的方法，可以采用求和函数或求平均函数；

表示第k层图上节点u的图嵌入特征表示，

表示第k+1层图上节点u 的图嵌入特征表示；

表示第k层、不同节点间存在关系为r的边时采用 的图神经网络模型。

另外，可以通过下式计算第二图结构数据中每条边的预测值，其中，r表示 第二图结构数据中一种对应的边关系，R_r为边关系为r的特征变换矩阵，h_i与h_j为 节点i与j的图嵌入特征向量，h_i和h_j通过公式(3)计算得出。边预测函数

输出第二图结构数据中每条边的预测值。

可以理解的，在本实施例中，每个图神经网络模型输出的图嵌入向量能够 反映第二图结构数据中的节点信息，先聚合此图嵌入向量，再根据聚合后的图 嵌入向量得到的每条边的预测值能够更好的反映第一时空信息之间的关联度程 度大小，进一步的，根据此预测值得到的损失值来训练图像聚类模型，得到的 训练后的图像聚类模型能够更准确的提取第一图结构数据中不同的边特性和节 点特征，从而能够进一步的提高待聚类的档案聚类的准确度。

在一个实施例中，获取待训练图像对应的第二时空信息，以及第二时空信 息与每个历史档案之间的第二映射关系，之后还包括：

获取每张待训练图像的图像特征；

根据待训练图像的图像特征，确定待聚类档案之间的初始相似度；

根据初始相似度、第二映射关系、第二时空信息、以及第二时空信息之间 的关联度关系构建第二图结构数据；

根据第二图结构数据训练图像聚类模型，得到训练后的图像聚类模型。

其中，请参阅图6，图6为一个实施例中第二图结构数据的示意图，如图6 所示，待聚类档案之间的特征边的初始值为初始相似度的大小。

通过上述方式，第二图结构数据不仅融合了待训练图像的第二时空信息， 还融合了待训练图像的图像特征，因此，根据此第二图结构数据训练图像聚合 模型，进一步的提高了预测待聚类档案之间的相似度的准确度，从而根据此相 似度进一步的提高了对待聚类档案进行聚类的准确度。

请继续参阅图7，图7为又一个实施例中图像聚类方法的流程示意图，如图 7所示，该图像聚类方法包括如下步骤：

步骤701，根据待聚类档案包含的时空信息、拍摄设备的路网信息构建时空 特征图。

其中，这里的时空特征图为上述的第一图结构数据，获取待聚类档案内包 含的拍摄图像所对应的时空信息，以及拍摄设备之间的路径距离；时空信息包 括拍摄图像的时间信息和空间信息，时间信息可以选择对应图像的拍摄时间， 空间信息可以选择拍摄设备的经纬度信息；拍摄设备之间的路网信息可以根据 地图的路径搜索给出的距离也可以是基于经纬度计算的空间距离，不同拍摄设 备的距离以米为单位，图像拍摄时间一般可以精确到秒级别，但是为了更好的 构建时空特征图，一般可以根据实际业务需求，可以将拍摄时间设置为分钟级 别或小时级别。

请继续参阅图6，不同时间段的不同拍摄设备可以抽象为一个时空点，图6 中的第一时空信息节点为时空点，相同时间段的不同拍摄设备之间路径距离定 义空间边，距离值作为空间边上的值。类似的，相同拍摄设备的相邻时间点之 间存在时间边，根据设置的时间间隔作为时间边上的值。根据不同的档案所包 含的图像的时空点信息，构建时空边，对应档案内包含的图像对应的时空点数 量作为其时空边上的值。为了构建时空特征图，除了构建表示时空关系的时空 类的边，还需要根据不同档案包含的图像确定初始相似度，根据初始相似度生 成对应特征边，将不同的待聚类档案作为不同的类簇，如果两个类簇的质心以 图像特征进行相似度计算时，对应的相似度大于预设的相似度阈值，则这个两 个类簇之间存在一条特征边，对应的特征值为特征边的值。

步骤702，利用图神经网络得到时空特征图上待聚类档案节点的图嵌入向量 表示。

其中，基于步骤701构建时空特征图，设计有效的基于图注意力的图神经 网络，聚合不同类型的图节点特征，进而生成融合时空信息的图嵌入向量表示；

时空特征图上节点初始特征可以随机为固定维度的向量，向量的维度与整 个时空特征图的大小有关，时空特征图越大，向量的维度也越多，一种可选的 向量纬度参考值为20～80；

请继续参考图6，时空特征图中存在2种不同的图节点，分别是待聚类档案 节点和时空节点，存在4种不同的边关系，分别是空间边、时间边、时空边和 特征边，为了利用图神经网络聚合多种不同类型节点与边关系的信息，因此可 以为每种类型的边关系定义一种图神经网络模型，然后再将专门处理不同边关 系和节点的图神经网络输出的图嵌入向量表示进行聚合，实现信息融合，示例 的，请参阅式(3)，聚合不同节点与边关系的图神经网络的输出时可以采用求 和或求平均方式，即将不同节点与边关系的图神经网络的输出特征向量按维度 进行求和或求平均作为该节点经过图神经网络优化后的结果。

步骤703，根据待聚类档案节点的图嵌入向量表示，得到待聚类档案之间的 第一相似度。

步骤704，根据待聚类档案中待聚类图像的图像特征，得到待聚类档案之间 的第二相似度。

步骤705，聚合第一相似度和第二相似度，得到聚合后的相似度，根据聚合 后的相似度对待聚类档案进行聚类。

通过上述方式，引入档案之间的特征相似度、档案所关联的时空信息、时 空信息之间的关联关系，构建时空特征图，利用图神经网络得到时空特征图上 不同节点的图嵌入向量表示，综合时空特征图上档案的图嵌入向量表示之间的 相似度，以及基于待聚类图像的图像特征得到的档案相似度，进行待聚类聚档 效果优化，以上方法充分考虑了图像之间的时空关系，结合原有图像特征信息， 进一步提高待聚类档案的聚类效果。

本发明实施例提供一种图像聚类模型训练方法。其中，该模型训练方法可 以使用于模型训练装置中。该模型训练装置可以集成在电子设备中，该电子设 备可以是终端也可以是服务器。其中，终端可以为手机、平板电脑、笔记本电 脑、智能电视、穿戴式智能设备、个人计算机(PC，Personal Computer)等设备。 服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群 或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、 网络服务、云通信、中间件服务、域名服务、安全服务、网络加速服务(Content Delivery Network，CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。

请参阅图8，为一个实施例中图像聚类模型训练的场景示意图；如图8所示， 电子设备获取多个历史档案后，历史档案包括多张待训练图像，再获取待训练 图像对应的第二时空信息，以及第二时空信息与每个历史档案之间的第二映射 关系，第二时空信息包括待训练图像的拍摄时间和待训练图像的拍摄地点，然 后根据第二映射关系、第二时空信息、以及第二时空信息之间的关联度关系构 建第二图结构数据；最后，根据第二图结构数据训练图像聚类模型，从而实现 对图像聚类模型的训练过程。

需要说明的是，图8所示的图像聚类模型训练的场景示意图仅仅是一个示 例，本申请实施例描述的模型训练场景是为了更加清楚地说明本申请的技术方 案，并不构成对于本申请提供的技术方案的限定。本领域普通技术人员可知， 随着模型训练的演变和新业务场景的出现，本申请提供的技术方案对于类似的 技术问题，同样适用。

基于上述实施场景以下分别进行详细说明。

本申请实施例将从模型训练装置的角度进行描述，该模型训练装置可以集 成在电子设备中。其中，电子设备可以是终端或服务器。下述为图像聚类模型 训练方法的具体过程：

获取多个历史档案；历史档案包括多张待训练图像；

获取待训练图像对应的第二时空信息，以及第二时空信息与每个历史档案 之间的第二映射关系；第二时空信息包括待训练图像的拍摄时间和待训练图像 的拍摄地点；

根据第二映射关系、第二时空信息、以及第二时空信息之间的关联度关系 构建第二图结构数据；

根据第二图结构数据训练图像聚类模型。

可以理解的，在本实施例中，根据待训练图像的第二时空信息、第二时空 信息之间的关联度关系，以及第二时空信息与每个历史档案之间的第二映射关 系，构建第二图结构数据，并根据第二图结构数据训练图像聚类模型，从而训 练后的图像聚类模型能够提取融合了第一时空信息的图嵌入向量，进一步的， 根据此图嵌入向量能够更加准确的预测待聚类档案之间的相似度，根据此相似 度能够更加准确的对待聚类档案进行聚类。

应该理解的是，虽然如上的各实施例所涉及的流程图中的各个步骤按照箭 头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。 除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤 可以以其它的顺序执行。而且，如上的各实施例所涉及的流程图中的至少一部 分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一 时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也 不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至 少一部分轮流或者交替地执行。

在一个实施例中，提供了一种电子设备，该电子设备可以是终端，其内部 结构图可以如图9所示。该电子设备包括通过系统总线连接的处理器、存储器、 通信接口、显示屏和输入装置。其中，该电子设备的处理器用于提供计算和控 制能力。该电子设备的存储器包括非易失性存储介质、内存储器。该非易失性 存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的 操作系统和计算机程序的运行提供环境。该电子设备的通信接口用于与外部的 终端进行有线或无线方式的通信，无线方式可通过WIFI、移动蜂窝网络、NFC (近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种图像 聚类方法。该电子设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该电 子设备的输入装置可以是显示屏上覆盖的触摸层，也可以是电子设备外壳上设 置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图9中示出的结构，仅仅是与本申请方案相关 的部分结构的框图，并不构成对本申请方案所应用于其上的电子设备的限定， 具体的电子设备可以包括比图中所示更多或更少的部件，或者组合某些部件， 或者具有不同的部件布置。

在一个实施例中，还提供了一种电子设备，包括存储器和处理器，存储器 中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的 步骤。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程 序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。

在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算 机程序被处理器执行时实现上述各方法实施例中的步骤。

需要说明的是，本申请所涉及的用户信息(包括但不限于用户设备信息、 用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示 的数据等)，均为经用户授权或者经过各方充分授权的信息和数据。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程， 是可以通过计算机程序来指令相关的硬件来完成，的计算机程序可存储于一非 易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方 法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数 据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。 非易失性存储器可包括只读存储器(Read-OnlyMemory，ROM)、磁带、软盘、 闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁 变存储器(Magnetoresistive Random Access Memory，MRAM)、铁电存储器(Ferroelectric Random Access Memory，FRAM)、相变存储器(Phase Change Memory，PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器 (Random Access Memory，RAM)或外部高速缓冲存储器等。作为说明而非局 限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory， DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库 和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数 据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理 器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计 算的数据处理逻辑器等，不限于此。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述 实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特 征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但 并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的 普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改 进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要 求为准。

Claims (12)

1.一种图像聚类方法，其特征在于，所述方法包括：

获取多个待聚类档案；所述待聚类档案包括多张待聚类图像；

获取所述待聚类图像对应的第一时空信息，以及所述第一时空信息与每个所述待聚类档案之间的第一映射关系；所述第一时空信息包括所述待聚类图像的拍摄时间和所述待聚类图像的拍摄地点；

根据所述第一映射关系、所述第一时空信息、以及所述第一时空信息之间的关联度关系构建第一图结构数据；

根据所述第一图结构数据，确定所述待聚类档案之间的第一相似度；

根据所述待聚类档案之间的第一相似度，对所述待聚类档案进行聚类。

2.根据权利要求1所述的方法，其特征在于，所述根据所述第一图结构数据，确定所述待聚类档案之间的第一相似度，包括：

将所述第一图结构数据输入训练后的图像聚类模型，得到每个所述待聚类档案对应的图嵌入向量；

根据每个所述待聚类档案对应的图嵌入向量，确定所述待聚类档案之间的第一相似度。

3.根据权利要求2所述的方法，其特征在于，通过下述方式训练所述图像聚类模型：

获取多个历史档案；所述历史档案包括多张待训练图像；

获取所述待训练图像对应的第二时空信息，以及所述第二时空信息与每个所述历史档案之间的第二映射关系；所述第二时空信息包括所述待训练图像的拍摄时间和所述待训练图像的拍摄地点；

根据所述第二映射关系、所述第二时空信息、以及所述第二时空信息之间的关联度关系构建第二图结构数据；

根据所述第二图结构数据训练所述图像聚类模型，得到训练后的图像聚类模型。

4.根据权利要求3所述的方法，其特征在于，所述图像聚类模型包括至少两个不同类型的图神经网络模型，所述图神经网络模型分别用于提取所述第二图结构数据中不同类型的边特征和不同类型的节点特征；

所述根据所述第二图结构数据训练所述图像聚类模型，得到训练后的图像聚类模型，包括：

分别将所述第二图结构数据输入所述图神经网络模型，得到多个与所述第二图结构数据中的节点对应的图嵌入向量；

根据多个与所述第二图结构数据中的节点对应的图嵌入向量，确定所述第二图结构数据中每条边的预测值；

获取所述第二图结构数据中每条边的真实值；

根据所述预测值和所述真实值，得到所述第二图结构数据中每条边的损失值；

根据所述损失值对图像聚类模型进行训练，得到训练后的图像聚类模型。

5.根据权利要求4所述的方法，其特征在于，所述根据多个与所述第二图结构数据中的节点对应的图嵌入向量，确定所述第二图结构数据中每条边的预测值，包括：

聚合每个与所述第二图结构数据中的节点对应的图嵌入向量，得到聚合后的图嵌入向量；

根据所述聚合后的图嵌入向量，确定所述第二图结构数据中每条边的预测值。

6.根据权利要求3所述的方法，其特征在于，所述获取所述待训练图像对应的第二时空信息，以及所述第二时空信息与每个所述历史档案之间的第二映射关系，之后还包括：

获取每张所述待训练图像的图像特征；

根据所述待训练图像的图像特征，确定所述待聚类档案之间的初始相似度；

根据所述初始相似度、所述第二映射关系、所述第二时空信息、以及所述第二时空信息之间的关联度关系构建第二图结构数据；

根据所述第二图结构数据训练所述图像聚类模型，得到训练后的图像聚类模型。

7.根据权利要求1所述的方法，其特征在于，所述方法还包括：

获取每张所述待聚类图像的图像特征；

根据所述待聚类图像的图像特征，确定所述待聚类档案之间的第二相似度；

根据所述第一相似度和所述第二相似度，对所述待聚类档案进行聚类。

8.根据权利要求1所述的方法，其特征在于，所述第一图结构数据包括第一时空信息节点、待聚类档案节点、时间边、空间边和时空边；所述时间边由所述待聚类图像的拍摄地点相同、拍摄时间不相同的多个所述第一时空信息节点连接得到；所述空间边由所述待聚类图像的拍摄地点不相同、拍摄时间相同的多个所述第一时空信息节点连接得到；所述时空边由所述待聚类档案节点和所述第一时空信息节点连接得到。

9.一种图像聚类模型训练方法，其特征在于，所述方法包括：

获取多个历史档案；所述历史档案包括多张待训练图像；

获取所述待训练图像对应的第二时空信息，以及所述第二时空信息与每个所述历史档案之间的第二映射关系；所述第二时空信息包括所述待训练图像的拍摄时间和所述待训练图像的拍摄地点；

根据所述第二映射关系、所述第二时空信息、以及所述第二时空信息之间的关联度关系构建第二图结构数据；

根据所述第二图结构数据训练图像聚类模型。

10.一种电子设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至9中任一项所述的方法的步骤。

11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至9中任一项所述的方法的步骤。

12.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至9中任一项所述的方法的步骤。

Images