CN116758321A

CN116758321A - 图像分类方法、装置和存储介质

Info

Publication number: CN116758321A
Application number: CN202210204901.7A
Authority: CN
Inventors: 陈琴; 淦小健; 江胜
Original assignee: Fengtu Technology Shenzhen Co Ltd
Current assignee: Fengtu Technology Shenzhen Co Ltd
Priority date: 2022-03-03
Filing date: 2022-03-03
Publication date: 2023-09-15

Abstract

本申请实施例公开了图像分类方法、装置和存储介质；本申请实施例获取多个待分类图像以及每个待分类图像对应的特征数据；根据所有待分类图像对应的特征数据，对所有待分类图像进行聚类，得到多个聚类簇；根据各聚类簇内待分类图像对应的特征数据，分别将各聚类簇划分为多个子簇；在各聚类簇中，针对每个子簇，根据子簇中待分类图像的图像相似度，提取子簇中的异常待分类图像，并在聚类簇中生成异常待分类图像对应的子簇；在各聚类簇中，合并聚类簇中满足预设子簇相似度的子簇；根据所有子簇，得到图像分类结果。在本申请实施例中，通过聚类、子簇拆分以及子簇合并的多步图像分类操作，不断优化分类结果，可以提升图像分类准确率。

Description

图像分类方法、装置和存储介质

技术领域

本申请涉及图像处理领域，具体涉及图像分类方法、装置和存储介质。

背景技术

在智能交通领域，为了获取交通道路信息，可以采集道路上道路标牌图像，通过目标检测方法检测后，以电子数据的形式表现实际道路上的标牌信息。

然而，现有技术中，在不同路段上常会出现相同或相似的道路标牌，若采用目标检测方法检测，会将不同路段上的相同或相似的道路标牌识别为同一道路标牌，导致图像分类准确率低。

发明内容

本申请实施例提供图像分类方法、装置和存储介质，可以提升图像分类准确率。

本申请实施例提供一种图像分类方法，包括：获取多个待分类图像以及每个所述待分类图像对应的特征数据；根据所有所述待分类图像对应的特征数据，对所有所述待分类图像进行聚类，得到多个聚类簇；根据各所述聚类簇内所述待分类图像对应的特征数据，分别将各所述聚类簇划分为多个子簇，各所述子簇包括至少一个所述待分类图像；在各所述聚类簇中，针对每个所述子簇，根据所述子簇中所述待分类图像的图像相似度，提取所述子簇中的异常待分类图像，并在所述聚类簇中生成所述异常待分类图像对应的子簇；在各所述聚类簇中，合并所述聚类簇中满足预设子簇相似度的所述子簇；根据所有所述子簇，得到图像分类结果。

本申请实施例还提供一种图像分类装置，包括：获取单元，用于获取多个待分类图像以及每个所述待分类图像对应的特征数据；聚类单元，用于根据所有所述待分类图像对应的特征数据，对所有所述待分类图像进行聚类，得到多个聚类簇；分类单元，用于根据各所述聚类簇内所述待分类图像对应的特征数据，分别将各所述聚类簇划分为多个子簇，各所述子簇包括至少一个所述待分类图像；提取单元，用于在各所述聚类簇中，针对每个所述子簇，根据所述子簇中所述待分类图像的图像相似度，提取所述子簇中的异常待分类图像，并在所述聚类簇中生成所述异常待分类图像对应的子簇；合并单元，用于在各所述聚类簇中，合并所述聚类簇中满足预设子簇相似度的所述子簇；结果输出单元，用于根据所有所述子簇，得到图像分类结果。

本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有多条指令，所述指令适于处理器进行加载，以执行本申请实施例所提供的任一种图像分类方法中的步骤。

本申请实施例可以获取多个待分类图像以及每个所述待分类图像对应的特征数据；根据所有所述待分类图像对应的特征数据，对所有所述待分类图像进行聚类，得到多个聚类簇；根据各所述聚类簇内所述待分类图像对应的特征数据，分别将各所述聚类簇划分为多个子簇，各所述子簇包括至少一个所述待分类图像；在各所述聚类簇中，针对每个所述子簇，根据所述子簇中所述待分类图像的图像相似度，提取所述子簇中的异常待分类图像，并在所述聚类簇中生成所述异常待分类图像对应的子簇；在各所述聚类簇中，合并所述聚类簇中满足预设子簇相似度的所述子簇；根据所有所述子簇，得到图像分类结果。

在本申请中，通过聚类、子簇拆分以及子簇合并的多步图像分类操作，不断优化分类结果，可以提升图像分类准确率。此外，在分类过程中不删除子簇中相似度低的图像，而是进行子簇拆分，并通过二次相似度判断以进行簇间合并，以此在避免子簇中有冗余图像的同时也完整的保留所有待分类图像。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1a是本申请实施例提供的图像分类方法的场景示意图；

图1b是本申请实施例提供的图像分类方法的流程示意图；

图2a是本申请又一个实施例提供的图像分类方法；

图2b是本申请实施例提供的待分类图像的示意图；

图2c是本申请实施例提供的又一个待分类图像的示意图；

图3是本申请实施例提供的图像分类装置的结构示意图；

图4是本申请实施例提供的计算机设备的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

在以下的描述中，所涉及的术语“第一\第二\第三”仅仅是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本申请实施例能够以除了在这里图示或描述的以外的顺序实施。

本申请实施例提供图像分类方法、装置和存储介质。

其中，该图像分类装置具体可以集成在电子设备中，该电子设备可以为终端、服务器等设备。其中，终端可以为手机、平板电脑、智能蓝牙设备、笔记本电脑、或者个人电脑(Personal Computer，PC)等设备；服务器可以是单一服务器，也可以是由多个服务器组成的服务器集群。

在一些实施例中，该图像分类装置还可以集成在多个电子设备中，比如，图像分类装置可以集成在多个服务器中，由多个服务器来实现本申请的图像分类方法。

在一些实施例中，服务器也可以以终端的形式来实现。

例如，参考图1a，在一些实施方式中提供了一种图像分类系统的场景示意图，该系统可以实现图像分类方法。该图像分类系统可以包括终端1000、服务器2000以及网络3000，终端以及服务器可以通过网络进行数据交互。

其中，终端用于采集待分类图像并发送至服务器。服务器用于获取多个待分类图像以及每个待分类图像对应的特征数据；根据所有待分类图像对应的特征数据，对所有待分类图像进行聚类，得到多个聚类簇；根据各聚类簇内待分类图像对应的特征数据，分别将各聚类簇划分为多个子簇，各子簇包括至少一个待分类图像；在各聚类簇中，针对每个子簇，根据子簇中待分类图像的图像相似度，提取子簇中的异常待分类图像，并在聚类簇中生成异常待分类图像对应的子簇；在各聚类簇中，合并聚类簇中满足预设子簇相似度的子簇；根据所有子簇，得到图像分类结果。

以下分别进行详细说明。需说明的是，以下实施例的序号不作为对实施例优选顺序的限定。

在本实施例中，提供了一种图像分类方法，如图1b所示，该图像分类方法的具体流程可以如下：

110、获取多个待分类图像以及每个待分类图像对应的特征数据。

其中，待分类图像是指要进行分类处理的图像，待分类图像中可以包括目标对象。例如，在本申请实施例应用于对道路标牌图像进行分类时，待分类图像可以为包含道路标牌的图像，目标对象即为道路标牌。在实际应用时，可以对同一道路标牌连续采集多个图像，例如，可以通过可移动图像采集装置，如搭载摄像头的车辆，在道路上移动持续采集道路上标牌的图像。

其中，特征数据是指能够用来表征待分类图像内在性质的数据，例如，在本申请实施例应用于对道路标牌图像进行分类时，特征数据可以为能够表征道路标牌特征的数据，如标牌类型、标牌所在的地理位置、标牌的航向角等。

120、根据所有待分类图像对应的特征数据，对所有待分类图像进行聚类，得到多个聚类簇。

其中，聚类是指将所有待分类图像分成由类似的对象组成的多个类的过程。其中，聚类簇以及子簇可以为聚类得到的结果，例如可以对所有待分类图像进行一次聚类后得到多个聚类簇。还可以对所有待分类图像进行一次聚类后得到多个簇，再根据窗口半径或簇的簇相似度等条件对簇进行合并，得到多个聚类簇。

130、根据各聚类簇内待分类图像对应的特征数据，分别将各聚类簇划分为多个子簇，各子簇包括至少一个待分类图像。

其中，可以根据各聚类簇内待分类图像对应的特征数据的相似度，来确定各聚类簇内待分类图像的相似度，以在各聚类簇中将图像相似度高的待分类图像划分在同一子簇内，使各聚类簇分为多个子簇。还可以通过对每个聚类簇进行一次聚类，得到多个子簇。

可以理解的是，在对各聚类簇中待分类图像进行分类后，图像特征相似度较高的待分类图像会被分到一个子簇中，因此，一个子簇中的待分类图像可以被认为是来自于同一个目标对象，如道路标牌。也即，一个子簇对应一个道路标牌。由于同一聚类簇中的多个子簇之间有一定的相似度，显然一个聚类簇可以被认为对应多个相似的目标对象(每个目标对象对应一个子簇)。也即，在目标对象为道路标牌时，一个聚类簇可以被认为对应相似但不相同的多个道路标牌(每个道路标牌对应一个子簇)，该不相同可以为类型不同，也可以为地理位置不同。如，聚类簇中的待分类图像可以来自于相似路段或同一路段的多个目标对象，如可以来自于同一路段的两个相似的道路标牌，或来自于分别位于两个临近路段上的两个类型相同的道路标牌。

聚类方法可以包括K-Means算法、DBSCAN算法、BIRCH算法等，本申请实施例对聚类中心的数量也不做限定，可以根据实际应用场景设置。在一些实施方式中，通过DBSCAN算法对多个待分类图像进行聚类。DBSCAN可以将具有足够密度的区域划分为簇，并在具有噪声的空间数据库中发现任意形状的簇，且由于的速度与数据对象的个数无关，因此计算速度快。

在一些实施方式中，根据所有待分类图像对应的特征数据，对所有待分类图像进行聚类，得到多个聚类簇，可以包括：根据多个待分类图像对应的特征数据，使用第一半径对多个待分类图像进行聚类，得到多个聚类簇，各聚类簇包括多个待分类图像；

根据各聚类簇内待分类图像对应的特征数据，分别将各聚类簇划分为多个子簇，各子簇包括至少一个待分类图像，可以包括：根据各聚类簇内待分类图像对应的特征数据，使用第二半径分别对各聚类簇内的待分类图像再进行聚类，得到各聚类簇的多个子簇，其中，第一半径大于第二半径，各子簇包括至少一个待分类图像。

其中，第一半径是指对多个待分类图像进行聚类的聚类半径，第二半径是指对每个聚类簇中的待分类图像进行聚类的聚类半径。其中，聚类半径是指在聚类算法中设置的半径参数，在聚类过程中可以通过设置聚类半径的大小，调整得到的簇的大小，聚类半径取值越大，得到的簇包含的点越多，在本申请中，簇中的每个点对应一个待分类图像。第一半径以及第二半径可以根据应用场景、待分类图像的量或特征数据类型进行设置。例如，可以设置第一半径为50米，第二半径为15米，在按照50米聚类半径将多个待分类图像分为多个聚类簇后，再按照15米聚类半径将每个聚类簇中的待分类图像进行聚类，得到多个子簇。

例如，在本申请实施例应用于对道路标牌图像进行分类时，可以根据标牌信息以及标牌所在的地理位置对多个道路标牌图像进行聚类，得到聚类簇和子簇。以此，可以通过两次聚类过程，得到具有包含关系的聚类簇和子簇，再结合后续过程中对同一聚类簇中满足预设子簇相似度的子簇进行合并，由于同一聚类簇中子簇关联度高于不同聚类簇中的子簇，由此，可以对具有一定关联关系的子簇进行进一步处理，在提高分类结果准确性的同时提高对待分类图像的分类处理效率。

在一些实施方式中，特征数据包括目标对象类型信息以及地理位置信息，每个待分类图像对应的特征数据的获取方法，可以包括：对每个待分类图像进行目标对象检测，得到待分类图像中的目标对象检测结果，目标对象检测结果包括待分类图像对应的目标对象类型信息；获取每个待分类图像对应的地理位置信息。

其中，目标对象类型信息是指待分类图像中目标对象的类型信息，可以包括但不限于目标对象的形状、颜色、种类等信息中的至少一种。例如，在本申请实施例应用于对道路标牌图像进行分类时，可以包括道路标牌的颜色、形状以及道路标牌上的文字、图案或符号等表征道路标牌种类的信息。在实际应用时，可以通过RCNN(Regions with CNNfeatures)、Fast RCNN、Faster RCNN、YOLO(You Only Look Once)或SSD(Single ShotMultiBox Detector)等进行目标对象检测，在进行目标检测前，还可以预先设定需要检测的目标对象，例如设定输出结果可以为多种道路标牌类型，如警告标志、禁止标志、指示标志、指路标志以及限速标志，等等，在对待分类图像进行目标检测后，输出与待分类图像对应的道路标牌类型。其中，地理位置信息是用来表征待分类图像中目标对象的地理位置的信息，地理位置信息也可以以采集待分类图像时的可移动图像采集装置的地理位置信息表示。例如，在本申请实施例应用于对道路标牌图像进行分类时，可以在可移动图像采集装置上搭载GPS装置，通过GPS装置实时采集可移动图像采集装置的经纬度坐标、航向角等地理位置信息，将与待分类图像采集时刻对应的地理位置信息作为该图像的地理位置信息。

140、在各聚类簇中，针对每个子簇，根据子簇中待分类图像的图像相似度，提取子簇中的异常待分类图像，并在聚类簇中生成异常待分类图像对应的子簇。

其中，异常待分类图像是指与子簇中与其他待分类图像差异较大的待分类图像，也即是不与其他待分类图像强相关的待分类图像。一个子簇中的异常待分类图像可以为零个、一个或多个。图像相似度可以根据待分类图像的图像特征之间的距离确定，该距离可以为欧式距离、曼哈顿距离、或切比雪夫距离等。

现有应用中，常通过离散点来确定簇中的异常对象，即计算每个对象与簇的质心的距离，若距离大于给定的阈值，则认为该对象为离散点。然而，在本申请实施例应用于对道路标牌图像进行分类时，由于道路标牌图像中一般包含道路标牌和真实街景，相同类型的道路标牌会出现在不同的街景中，同一街景中也可能存在多个道路标牌，选择道路标牌对应特征数据或街景对应的数据(如地理位置信息)进行聚类时，很有可能会将相同类型但位置不同的道路标牌图像或位置相近且类型相似的道路标牌图像划分在同一子簇内，这些相似但不相同的图像可以被认为是子簇中的异常待分类图像。对子簇而言，这些异常待分类图像与其他待分类图像在道路标牌对应特征数据或街景对应的数据方面的差异较小，而离散点的确定过程实质上还是在比较这些数据的差异性，因此，采用现有离散点的方案，并不能准确区分子簇中的异常分类图像，以此本申请实施例从另一角度(图像相似度)对待分类图像进行区分，以确定异常待分类图像，准确性更高。在确定异常待分类图像后，将异常待分类图像从所在子簇中分离出来，形成新的子簇，以使得原本的子簇分裂为不包含异常待分类图像子簇和仅包含异常待分类图像的子簇。

对于每个子簇，可以比较子簇中任意两个待分类图像的图像相似度，通过多次重复，遍历子簇中的所有两两组合的待分类图像，以此可以将子簇中的待分类图像两两进行相似度比较，并确定每两个待分类图像的图像是否低于第一预设图像相似度，若低于，则可以将该图像相似度对应的两个待分类图像确定为异常待分类图像，并针对每个异常待分类图像生成其对应的子簇，也可以将该图像相似度对应的任意一个待分类图像确定为异常待分类图像，等等。第一预设图像相似度可以为预先设置的图像相似度，如可以为相似度阈值，如设置第一预设图像相似度为两个待分类图像的图像相似度为90％。例如，子簇包括图像1、图像2以及图像3，可以对子簇中的图像两两组合得到图像1-图像2、图像1-图像3以及图像2-图像3这三个图像对，并依次确定图像1-图像2、图像1-图像3以及图像2-图像3的图像相似度是否低于第一预设图像相似度，若图像1-图像3的图像相似度低于第一预设图像相似度，则认为图像1和图像3是异常待分类图像，可以针对图像1生成新的子簇1以及针对图像3生成新的子簇3。以此，通过将子簇中的待分类图像两两确定图像相似度，能够对子簇中所有图像的相似度进行比较，获得更加全面、准确的图像相似度结果，获取的异常待分类图像准确性高。

在一些实施方式中，在各聚类簇中，针对每个子簇，根据子簇中待分类图像的图像相似度，提取子簇中的异常待分类图像，并在聚类簇中生成异常待分类图像对应的子簇，可以包括：在各聚类簇中，针对每个子簇，确定子簇中任意两个待分类图像的图像相似度；根据图像相似度确定子簇中待分类图像的关联关系；当关联关系为目标关联关系时，将目标关联关系对应的待分类图像确定为异常待分类图像；提取异常待分类图像，在聚类簇中生成异常待分类图像对应的子簇。

其中，关联关系是用于表征待分类图像与子簇中其他待分类图像的关联度的关系，可以待分类图像对应的图像相似度与第一预设图像相似度进行比较来确定，第一预设图像相似度可以为预先设置的图像相似度，可以为相似度阈值。例如，子簇包括图像1、图像2以及图像3，则图像1对应的图像相似度包括图像1-图像2的图像相似度1以及图像1-图像3的图像相似度2，以此可以根据图像相似度1以及图像相似度2确定图像1的关联关系，若图像相似度1低于第一预设图像相似度，图像相似度2高于第一预设图像相似度，则可以认为图像1与图像2关联度低，与图像3关联度高。在实际应用时，关联度高则代表存在关联关系，关联度低则表示不存在关联关系。

在实际应用中，关联关系可以包括直接关联和间接关联等。直接关联可以为待分类图像与子簇中其他任意待分类图像的图像相似度高于第一预设图像相似度，如图像1和图像2、以及图像2和图像3的图像相似度高于第一预设图像相似度，则认为图像1和图像2直接关联、图像2和图像3直接关联。间接关联可以为待分类图像与子簇中其他任意待分类图像能通过至少两个直接关联关系进行关联，例如，图像1和图3的图像相似度低于第一预设图像相似度，以此，图像1和图像3不直接关联，但由于图像1和图像3能够通过图像1和图像2以及图像2和图像3之间的直接关联进行关联，因此图像1和图像3间接关联，也即图像1和图像3关联度高。

在本实施例中，关联关系还可以包括目标关联关系，目标关联关系可以用来表征待分类图像与子簇中至少一个其他待分类图像的关联度低。目标关联关系可以根据待分类图像的数量、待分类图像的关联度等预先设置，例如，可以将目标关联关系设置为待分类图像与子簇中任意一个其他待分类图像的关联度低；也可以将目标关联关系设置为待分类图像与子簇中超过预设百分比的其他待分类图像的关联度低，如预设百分比可以为60％，也即目标关联关系可以为待分类图像与子簇中60％以上的待分类图像的图像相似度均不高于第一预设图像相似度。以此，通过图像相似度确定图像之间的关联关系，并根据关联关系确定异常待分类图像，可以更为准确、高效地确定并提取异常待分类图像。

在实际应用时，由于子簇中可能存在对应同一个目标对象的多个异常待分类图像，因此可以在各个聚类簇中的各个子簇中，根据各个子簇中待分类图像之间的关联关系将该子簇中的待分类图像进行分类，以将该子簇中关联度高的待分类图像分为一组。由于子簇中对应同一目标对象的待分类对象的图像相似度通常高于第一图像相似度，即子簇中对应同一目标对象的待分类对象的图像的关联度高，因此通过关联关系可以将对应相同目标对象的待分类图像分为一组。在根据关联度对子簇中的待分类图像分组后，可以将分组得到的包含待分类图像数量最多的一组作为目标组，目标关联关系可以为待分类图像与子簇中目标组中的待分类图像的关联度低，此时步骤“将目标关联关系对应的待分类图像确定为异常待分类图像”可以包括：将子簇中除目标组以外的其他组均确定为异常组，将异常组中的图像确定为异常待分类图像；步骤“提取异常待分类图像，生成异常待分类图像对应的子簇”可以包括：提取各异常组中的待分类图像，生成各异常组对应的子簇。以此，可以针对每个异常组分别生成一个子簇，用来存储该异常组对应的异常待分类图像。例如，子簇A为任意一个聚类簇中的一个子簇，子簇A包括图像1、图像2、图像3、图像4、图像5以及图像6，其中，图像1、图像2以及图像3均为道路标牌A的图像，图像4和图像5为道路标牌B的图像，图像6为道路标牌C的图像，由于相同道路标牌对应的图像之间的图像相似度通常都会大于第一预设图像相似度，因此可以依据图像相似度确定图像1、图像2以及图像3的关联度高，图像4和图像5的关联度高，图像6与其他图像均关联度低，以此可以将图像1、图像2以及图像3分为组A，图像4以及图像5分为组B，将图像6分为组C。此时组A中图像数量最多，因此组A为目标组，组B以及组C为异常组，可以将组B以及组C对应的图像从子簇A中剔除，以生成对应组B的子簇B以及对应组C的子簇C，以此原本的子簇A中只保存了道路标牌A的图像，新生成的子簇B中保存了道路标牌B的图像，新生成的子簇C中保存了道路标牌C的图像。以此，通过关联关系对各个子簇中的待分类图像进行分组，能够将对应不同目标对象的图像划分为不同的小组，可以更为准确、高效地确定并提取异常待分类图像。

在实际应用时，还可以针对每个子簇，建立簇内图像对列表，将子簇内任意两个待分类图像的标识信息作为信息对存储在簇内图像对列表中，标识信息可以为待分类图像的编号或其他可以用来区分待分类图像的信息，以此步骤针对每个子簇，确定子簇中任意两个待分类图像的图像相似度可以包括：遍历簇内图像对列表中的所有信息对，确定子簇中任意两个待分类图像的图像相似度。例如，子簇内待分类图像包括图像1、图像2以及图像3，其标识分别为1、2、3，以此可以将1-2、1-3、2-3分别作为信息对存储在簇内图像对列表中，通过遍历簇内图像对列表，依序获取1-2、1-3、2-3对应的图像对图像1-图像2、图像1-图像3以及图像2-图像3，在获取到每个图像对时，判断该图像对的图像相似度。当图像相似度高于或等于第一预设图像相似度时，将该图像分为一组，当图像相似度低于第一预设图像相似度时，继续判断下一图像对的图像相似度，在判断过程中若图像对中图像与其他图像具有间接关联关系，则并入同一组，直至遍历所有图像对，以此对所有子簇中所有图像进行了分组。以此，可以先遍历簇内图像对列表中的所有图像对，得到每个图像对的图像相似度，再将图像相似度均低于第一预设图像相似度的图像对两两比较，可以更为准确、高效地确定并提取异常待分类图像。

在一些实施方式中，在各聚类簇中，针对每个子簇，确定子簇中任意两个待分类图像的图像相似度，可以包括：在各聚类簇中，针对每个子簇，获取子簇中每个待分类图像的关键点；将任意两个待分类图像进行关键点匹配，确定任意两个待分类图像的图像相似度。

其中，关键点是指在待分类图像检测过程中，检测得到的局部特征。关键点可以是基于深度学习模型中的特征金字塔网络(Feature Pyramid Networks，FPN)、基于卷积神经网络(Convolutional Neural Networks，CNN)的关键点回归方法等方法得到的。

在一些实施方式中，可以使用尺度不变特征变换(Scale-invariant featuretransform，SIFT)算法提取每个待分类图像的关键点。SIFT算法具有尺度不变性，可在图像中检测出关键点，SIFT算法选择高斯核构造多尺度空间，并通过高斯残差在尺度空间上的选择极值点为特征点，并通过计算特征点局部邻域内的梯度方向直方图作为局部特征描述子。由于在本申请实施例应用于对道路标牌图像进行分类时，道路标牌图像中包含的街景随地理位置变化很大，因此通过SIFT算法提取局部特征描述子作为关键点，能够针对不同道路标牌图像得到不同的关键点，提高确定的图像相似度的准确性。

通过确定子簇中每个待分类图像的关键点，比较任意两个待分类图像的关键点，以此可以将子簇中的待分类图像两两进行相似度匹配。通过两两待分类图像间的关键点匹配，可以根据每个待分类图像的局部特征确定两两待分类图像间的局部相似度，提高确定的图像相似度的准确性。

在一些实施方式中，第一预设图像相似度包括预设的关键点对的数量阈值，将任意两个待分类图像进行关键点匹配，确定任意两个待分类图像的图像相似度，可以包括：将任意两个待分类图像进行关键点匹配，得到匹配关键点对；根据匹配关键点对的数量，确定任意两个待分类图像的图像相似度。

其中，关键点对是指任意两个待分类图像中满足预设匹配度的关键点，预设的匹配度是预先设置的用来确定两个待分类图像中关键点相似程度的指标，可以以关键点之间的距离来表示，该距离可以为欧式距离、曼哈顿距离、或切比雪夫距离等。例如图像1中包含关键点1以及关键点2，图像2中包括关键点3以及关键点4，关键点1与关键点4满足预设匹配度，其他关键点不满足预设的匹配度，则可以将关键点1-关键点4作为匹配关键点对。确定匹配的关键点对后，为了使确定任意两个待分类图像的整体相似度，可以根据匹配关键点对的数量来确定其图像相似度，例如，当匹配关键点对的数量大于等于预设的阈值时，则认为图像相似度大于等于第一预设图像相似度，当匹配关键点对的数量小于预设的阈值时，则认为图像相似度小于第一预设图像相似度。在实际应用时，预设的阈值可以为数字、比值等。

在一些实施方式中，将任意两个待分类图像进行关键点匹配，得到匹配关键点对，可以包括：将任意两个待分类图像进行关键点匹配，得到初始关键点对；删除初始的关键点对中与目标信息对应的关键点对，得到匹配关键点对，目标信息包括待分类图像的采集时间信息、采集设备信息、目标对象特征信息中的至少一种。

其中，采集时间信息是指用来表征采集待分类图像的时间的信息，可以包括采集待分类图像的时刻，采集设备信息是指用来采集待分类图像的设备的信息，可以包括设备标识或设备编码等信息，目标对象特征信息是指用来表征目标对象外形特征的信息，可以包括如目标对象的形状、颜色、种类等的目标对象类型信息，也可以包括目标对象上标识的文字或符号等信息。

在本申请实施例应用于对道路标牌图像进行分类时，常会以固定格式在图像的固定位置常会显示采集时间信息、采集设备信息，例如，在图像的右下方显示“2022.1.1，A设备”的字样，其中2022.1.1代表采集时间，A设备代表采集设备。对于在相同或临近采集时间以及相同采集设备采集的道路标牌图像，这些显示的采集时间信息、采集设备信息常会被作为关键点匹配，但这些关键点并不能表征真实的图像相似度，因此，会影响图像相似度的识别结果。为此，可以通过获取预设的位置(预设的在图像中用来显示采集时间信息或采集设备信息的位置)或文字识别，确定采集时间信息或采集设备信息在图像中的坐标位置1，并获取初始关键点对在图像中的坐标位置2，以删除初始关键点对中与坐标位置1相同的坐标位置2对应的关键点对。

而由于道路标牌图像中一般包含道路标牌和真实街景，相同类型的道路标牌会出现在不同的街景中。而同一子簇内的多个图像可以被认为应该属于同一道路标牌，也即图像中的道路标牌外形极其相似，难以区分，因此，在获取到初始关键点对后，要删除与道路标牌外形相关的初始关键点对，以使得剩余的关键点对更为关注图像中的真实街景，以从图像中包含的街景角度来判断子簇中的任意两个图像的相似度，以此识别两个道路标牌是否在同一街景(即是否为同一地理位置)，使得图像相似度结果更加准确。在实际应用中，可以建立用于存储道路标牌的关键点的图像特征库，在获取初始关键点对后，将与图像特征库中相似度高于预设相似度的初始关键点对确定为与目标信息对应的关键点对，并删除该关键点对。以此，在确定匹配关键点对的过程中，可以先对待分类图像进行关键点匹配得到初始关键点对，再将影响图像相似度的干扰项关键点对删除，使得图像相似度结果更加准确。

150、在各聚类簇中，合并聚类簇中满足预设子簇相似度的子簇。

其中，预设子簇相似度可以为预先设置的子簇的相似度，可以为相似度阈值。子簇之间的子簇相似度可以根据子簇之间待分类图像的图像相似度确定，也可以通过两个簇中相交数据占所有数据百分比确定，或通过调整的互信息指数(AMI)等方法确定。例如，簇i和簇j的子簇相似度＝(n_ij+n_ji)/(n_i+n_j)，其中，n_i表示簇i中图像的个数，n_j表示簇j中图像的个数，n_ij表示簇i中图像距离簇j质心小于簇j半径的个数，n_ji表示簇j中图像距离簇i质心小于簇i半径的个数，即簇i和簇j的子簇相似度是两个簇中相交数据占所有数据百分比。再如，可以通过调整的互信息指数(AMI)方法获取簇i中各图像与其他图像的平均距离a，在获取簇i中各图像与簇j中各图像的平均距离b，获取每个图像的轮廓系数s＝(b-a)/(max(a，b))，轮廓系数处于[-1,1]的范围内，越接近-1，表示簇i和簇j的重叠程度越高(即相似度越高)，即簇i和簇j的子簇相似度是簇i中轮廓系数大于预设轮廓系数阈值的图像数量占簇i中所有图像数量的百分比。

在一些实施方式中，在各聚类簇中，合并聚类簇中满足预设子簇相似度的子簇，可以包括：在各聚类簇中，确定聚类簇中任意两个子簇的子簇相似度是否满足预设子簇相似度；当子簇相似度满足预设子簇相似度时，合并任意两个子簇。

对于每个聚类簇，可以比较聚类簇中任意两个子簇的子簇相似度，以此可以将聚类中的子簇相似度两两进行相似度比较，并确定每两个子簇是否满足预设子簇相似度，若满足，则合并这两个子簇。通过将每个聚类簇中的子簇两两确定图像相似度，能够对聚类簇中所有子簇的相似度进行比较，获得更加全面、准确的图像相似度结果，获取的分类结果准确性高。

在一些实施方式中，在各聚类簇中，确定聚类簇中任意两个子簇的子簇相似度是否满足预设子簇相似度，可以包括：在各聚类簇中，将第一子簇中的待分类图像与第二子簇中的待分类图像两两组合，得到至少一个图像对，各图像对包括第一子簇中的一个待分类图像以及第二子簇中的一个待分类图像，第一子簇以及第二子簇为聚类簇中的任意两个子簇；将各图像对中的待分类图像进行关键点匹配，确定各图像对的图像相似度；根据所有图像对的图像相似度，确定第一子簇以及第二子簇的子簇相似度是否满足预设子簇相似度。

在实际应用时，在对聚类簇中的子簇两两匹配时，第一子簇以及第二子簇可以用来表示任意子簇对中的两个子簇，此时可以从第一子簇中获取任意待分类图像，第二子簇中获取任意待分类图像，以得到包含一个第一待分类图像以及一个第二待分类图像的图像对。以此通过对第一子簇以及第二子簇组合得到的图像对一一进行关键点匹配，可以得到第一子簇以及第二子簇组合得到的所有图像对的图像相似度，以根据所有图像对的图像相似度来确定对应的两个子簇的子簇相似度，其中，子簇相似度是指两个子簇之间的所有图像对的相似度的集合。以此，可以通过对聚类簇中的所有子簇进行两两组合，得到两两组合的子簇对应的图像对，根据聚类簇中所有两两组合的子簇中所有两两组合的图像对的图像相似度，得到聚类簇中所有两两组合的子簇的相似度。具体关键点匹配方法可参见前述任意一个子簇内图像关键点匹配的方法确定图像相似度，也可以在关键点匹配的过程中考虑剔除初始关键点中与目标信息对应的关键点，以增加子簇相似度结果的准确性。以此，通过两两待分类图像间的关键点匹配，可以根据每个待分类图像的局部特征确定两两待分类图像间的局部相似度，提高确定的图像相似度的准确性。同时，由于聚类簇以及子簇是通过聚类方法确定，以图像相似度来判断聚类簇中子簇之间的簇相似度，可以从另一角度(图像相似度)确定待分类图像之间的相似性，准确性更高。

在一些实施方式中，根据所有图像对的图像相似度，确定第一子簇以及第二子簇的子簇相似度，可以包括：将图像相似度高于预设图像相似度的图像对确定为目标图像对；根据目标图像对的数量与预设数量的大小关系，确定第一子簇以及第二子簇的子簇相似度是否满足预设子簇相似度；当目标图像对的数量大于预设数量时，确定第一子簇以及第二子簇的子簇相似度满足预设子簇相似度。以此，当目标图像对的数量小于或等于预设数量时，确定第一子簇以及第二子簇的子簇相似度不满足预设子簇相似度。

其中，预设图像相似度可以为预先设置的图像相似度，可以为相似度阈值，前述第一预设图像相似度与此处的预设图像相似度可以相同，也可以不同。

其中，预设数量可以为依据第一子簇和第二子簇中的待分类图像两两组合得到的所有图像对的数量确定的数值。在实际应用时，可以将预设数量设置为小于等于该所有图像对的数量的任意数值，也可以预先设置用于确定预设数量的预设比例，预设数量＝预设比例×所有图像对的数量。由于在步骤120中得到了多个聚类簇，各聚类簇中至少要计算一次任意两个子簇的子簇相似度，因此可以通过设置一个预设比例，将该预设比例与各聚类簇中各任意两个子簇的所有图像对的数量相乘，来确定各任意两个子簇对应的预设数量。此外，在将目标图像对的数量与预设数量进行比较时，还可以先计算目标图像对的数量占所有图像对的数量的占比，再将该占比与预设比例进行比较，若该占比大于预设比例，则目标图像对的数量大于预设数量。

在得到第一子簇以及第二子簇组合得到的所有图像对的图像相似度后，可以将这些图像对中图像相似度高于预设相似度的图像对确定为目标图像对，并根据目标图像对个数，确定两个子簇间的子簇相似度。例如，子簇1包括图像1以及图像2，子簇2包括图像3、图像4以及图像5，以此子簇1以及子簇2可以组成6个图像对：图像1-图像3、图像1-图像4、图像1-图像5、图像2-图像3、图像2-图像4、图像2-图像5的相似度，这6个图像对对应的图像相似度为相似度1～6，其中相似度2和相似度3高于预设图像相似度，即为图像1-图像4以及图像1-图像5为目标图像对。如，可以预先设置预设比例为70％，此时目标图像对数量为2，第一子簇以及第二子簇之间的所有图像对数量为6，预设数量＝6×70％，因此目标图像对的数量小于预设数量，第一子簇以及第二子簇不满足预设子簇相似度，所以第一子簇和第二子簇不能合并。通过大于目标图像相似度的图像对的数量来确定两两子簇之间的子簇相似度，可以量化比较两两子簇之间的整体相似度，提高确定子簇间相似度的准确性。

在实际应用时，还可以针对每个聚类簇中的任意两个子簇，建立簇间图像对列表，将第一待分类图像以及第二待分类图像的标识信息作为信息对存储在簇内图像对列表中，标识信息可以为待分类图像的编号或其他可以用来区分待分类图像的信息。以此，在步骤针对每个聚类簇，确定聚类簇中任意两个子簇的子簇相似度中，可以通过遍历簇间图像对列表，确定聚类簇中任意两个子簇的子簇相似度。具体实现方式可参照前述的簇内图像对列表，以此可以更为准确、高效地确定并提取异常待分类图像。

160、根据所有子簇，得到图像分类结果。

在实际应用时，在经过步骤120～150的过程对步骤110得到的聚类簇进行二次分类、提取子簇以及合并子簇的处理后，可以直接输出最终得到的聚类簇中的所有子簇作为图像分类结果。由于在步骤120以及步骤130中根据特征数据将待分类图像分为聚类簇以及子簇时，得到的子簇可以被认为是对应一个目标对象，包含多个子簇的一个聚类簇可以被认为是对应多个相似目标对象的聚类簇，例如，在一个包含子簇A和子簇B的聚类簇中，子簇A和子簇B是相似的目标对象A和目标对象B分别对应的子簇，在该聚类簇中应被分类在子簇A的图像A可能会被误分类在子簇B中，因此通过步骤140剔除子簇B中的图像A形成新的子簇C，并通过步骤150合并相似的子簇A和子簇C得到新子簇A，以此，得到的子簇A和子簇B可以分别作为目标对象A和目标对象B的分类结果。例如，在本申请实施例应用于对道路标牌图像进行分类时，可以认为每个子簇对应一个道路标牌，即每个子簇中的图像为该道路标牌的图像，这些图像的区别可能在于采集时间、采集角度、采集距离等不同。

此外，在将步骤160得到的子簇作为图像分类结果后，也可以对子簇进一步处理后输出图像分类结果，例如提取子簇中任意图像中的道路标牌的特征信息对子簇进行标记，例如以道路标牌名称标记子簇，还可以对子簇增加道路标牌所在的地理位置等标识信息，还可以对多个子簇进行编号，等等。

本申请实施例提供的图像分类方案可以应用在各种图像分类场景中。本申请实施例提供的方法通过聚类方法将待分类图像分为聚类簇以及子簇，并根据子簇内图像的相似度剔除子簇内的相似度低的图像(即将异常分类图像提取出来生成新的子簇)，再合并聚类簇内相似度高的子簇，以使得到的每个子簇对应一类的待分类图像，即每个子簇对应一个道路标牌，实现对图像的分类。本申请实施例提供的图像分类方法，通过聚类、子簇拆分以及子簇合并的多步图像分类操作，不断优化分类结果，可以提升图像分类准确率。此外，在分类过程中不删除子簇中相似度低的图像，而是进行子簇拆分，并通过二次相似度判断以进行簇间合并，以此在避免子簇中有冗余图像的同时也完整的保留所有待分类图像。

根据上述实施例所描述的方法，以下将作进一步详细说明。

在本实施例中，将以对道路标牌图像进行分类为例，对本申请实施例的方法进行详细说明。

如图2a所示，一种图像分类方法具体流程如下：

210、获取多个待分类图像。

待分类图像采集到的道路标牌资产的图像，待分类图像来源无特定要求，例如可以来自于众包数据。资产是用来表征设置在道路上道路标牌，对同一资产可以采集多个待分类图像。

220、获取每个待分类图像对应的特征数据。

例如，可以采用YOLO-v4的方法对图像进行目标检测，提取图像中的道路标牌作为特征数据。

230、根据所有待分类图像对应的特征数据，对所有待分类图像进行聚类，得到多个聚类簇，并根据各聚类簇内待分类图像对应的特征数据，分别将各聚类簇划分为多个子簇，各子簇包括至少一个待分类图像。

特征数据可以包括道路标牌的位置信息(GPS采集的距离和航向角)以及道路标牌的类型(类别)信息等。例如，可以采用DBSCAN算法对道路标牌目标检测结果分别按照50米和15米的距离进行粗分类。通过50米聚类将待分类图像分成若干个聚类簇，通过15米聚类将每个聚类簇再分为n子簇，每一个子簇即为一个道路标牌资产，初步得到该范围内的资产信息。

通过对道路标牌的特征数据进行聚类得到的道路标牌资产分类结果通常不够准确：例如在十字路口、高速入口等区域小范围内重复出现同类标牌，导致子簇内可能存在不属于同一资产的数据，如图2b所示，待分类图像A和待分类图像B分别采集到了在相同区域的临近路段出现的同样类型的道路标牌1和道路标牌2，由于道路标牌1和道路标牌2外形相同，且地理位置相近，因此在聚类过程中被误划分为在同一子簇内。由于低成本的设备的GPS存在一定漂移，聚类簇内也可能存在属于同一个资产的多个子簇，如图2c所示，待分类图像C和待分类图像D是在距离同一资产不同距离采集的两张图像，即图像中的道路标牌3和道路标牌4属于同一道路标牌资产，但是由于GPS对道路标牌3和道路标牌4定位的位置信息有偏差，或同一处位置的道路标牌可以从多个视角的车载图片看出，造成同一资产的图片航向角偏差较大，不会被聚类到一起，因此在聚类过程中误将道路标牌3和道路标牌4划分在了同一聚类簇的不同子簇中。因此，需要对道路标牌资产做进一步的细分类。而同一个资产的举证图像的场景信息是相似的，可以通过对图像中场景信息的匹配来对资产(子簇)进行分裂与合并。具体地，可以采用步骤241～243中的方法对子簇进行分裂，采用步骤241～243中的方法对子簇进行合并。

241、在各个子簇中，将子簇中的待分类图像两两组合得到至少一个第一图像对，并根据得到的第一图像对建立簇内图像对列表。

对于聚类得到的N个子簇，在各个子簇中，取簇内两两图像组成多个第二图像对，并建立簇内图像对列表，将得到的所有第二图像对存储在簇内图像对列表中。需说明的是，一个子簇对应一个簇内图像对列表，该簇内图像对列表只存储该子簇得到的第一图像对。

242、针对每个子簇，遍历簇内图像对列表，将簇内图像对列表中各第一图像对中的两个待分类图像进行关键点匹配，确定各第一图像对的图像相似度。

按照簇内图像对列表的顺序对表中各个第一图像中的两个图像进行关键点匹配，例如，当匹配上的关键点数量大于预设阈值时，则认为该第一图像对的相似度高于第一预设相似度，该图像对中的两个图像为同一资产，反之这两个图像表示两个资产。如图2b中的道路标牌1和道路标牌2在确定图像相似度的过程中，相似度低于第一预设相似度，因此分裂成两个资产。

243、针对每个子簇，根据簇内图像对列表中第一图像对的图像相似度，分裂子簇。

在遍历簇内图像对列表里中的所有图像对后，可以基于子簇内图像之间的相似度关系，使用并查集算法对子簇中的所有待分类图像进行分类。例如，可以根据第一图像对的图像相似度来第一图像对中图像的关联程度，并将关联程度高的图像分为一组。例如，子簇A中包括图1、图2以及图3，可以将图像相似度高于第一预设图像相似度的图1-图2确定为关联程度高，将图像相似度低于第一预设图像相似度的图2-图3确定为关联程度低，因此图1和图2可以归为组A，图3单独为组B，由于组A中图像数量最多，因此可以将组A确定为目标组，组B确定为异常组，组B中的图3为异常待分类图像，因此可以将子簇分裂为包含图1和图2的子簇C和包含图3的子簇B，也可以将图3从原子簇中提取出来形成新的子簇B，原子簇A中只保存图1和图2。通过将子簇中的图像进行分组，实现了将子簇中的异常待分类图像与非异常待分类图像分离的效果，进而可以根据分组结果分裂子簇。

对每个聚类簇中的n子簇分别重复上述操作，即可将原来按照距离误分类为同一资产的图像分开，分成多个资产及对应的举证数据(按资产分簇，每一簇代表一个资产的举证图像集)，达到资产分裂的目的。在分裂子簇后，可以将分裂后得到的子簇，归类到原始50米聚类簇中。

251、针对各聚类簇中的任意两个子簇，将两个子簇中的待分类图像两两组合，得到至少一个第二图像对，并根据得到的第二图像对建立簇间图像对列表。

可以取在同一聚类簇内的任意两个子簇，分别从两个子簇内取两两图像生成多个图像对，并建立簇间的匹配图像对列表，将得到的所有图像对存储在簇间图像对列表。需说明是，任意两个子簇对应一个簇间图像列表，当对聚类簇中多个子簇两两组合得到多个子簇对时，每个子簇对对应一个簇间图像列表。

252、针对各聚类簇中的任意两个子簇，遍历簇间图像对列表，将簇间图像对列表中各第二图像对中的两个待分类图像进行关键点匹配，确定各第二图像对的图像相似度。

遍历列表里的所有图像对，按照匹配图像对的列表对两两图像进行关键点匹配，以确定两两图像的相似度。例如，图像对中两个图像匹配上的关键点数量大于预设阈值时，则认为图像对的图像相似度高于第二预设图像相似度。

步骤242以及步骤252中的关键点匹配方法可以如下：

1.1、关键点提取与关键点匹配：任取两张图像，利用SIFT算法分别提取两张图像上的关键点，使用KNN算法寻找匹配的关键点对。SIFT算法提取的关键点可以包括但不限于道路标牌文字或标识信息对应的关键点、道路标牌形状对应的关键点、道路标牌所在街景对应的关键点、图像的拍摄时间对应的关键点以及设备信息对应的关键点，等等。在通过SIFT算法提取到两张图像上的多个关键点后，再通过KNN算法计算两个图像之间两两关键点之间的欧式距离或者曼哈顿距离，一般而言欧式距离或者曼哈顿距离越近的两个关键点相似度越高，因此可以将低于预设距离阈值的两个关键点确定为关键点对。例如，通过SIFT算法从图像1中提取得到道路标牌标识信息对应的关键点1、道路标牌形状对应的关键点2、道路标牌所在街景对应的关键点3、图像的拍摄时间对应的关键点4以及设备信息对应的关键点5，从图像2中提取得到道路标牌标识信息对应的关键点6、道路标牌形状对应的关键点7、道路标牌所在街景对应的关键点8、图像的拍摄时间对应的关键点9以及设备信息对应的关键点10，通过计算关键点1～10中两两关键点的欧式距离，确定关键点1和关键点2、关键点4和关键点9以及关键点5和关键点10之间的欧式距离小于预设距离阈值，因此，可以得到匹配的关键点对：关键点1-关键点2、关键点4-关键点9以及关键点5-关键点10。

1.2、局部选择与过滤：对于KNN算法寻找到的匹配的关键点对(即前述实施例的初始关键点对)，使用AdaLAM算法滤除错误以及匹配置信度不高的初始关键点对，保留局部一致性较好的初始关键点对作为匹配的关键点对。

1.3、去除无效的关键点对：如图2b和2c所示，在道路标牌图像上显示有图像的拍摄时间以及设备信息，这些区域往往会匹配为关键点对，导致属于两个资产的两张图像被认为相似度高。此外，进行匹配的两张图像所属资产类别(即前述实施例的目标对象特征信息)相同，图像中道路标牌所在的区域一定会匹配上，也不能作为判断两张图像是否为同一资产的依据。因此，需要去除位于图像上的拍摄时间、设备显示以及道路标牌区域(即图像中显示道路标牌的区域)的关键点对，避免图像的错误匹配。可以通过获取拍摄时间以及设备信息在图像中对应的预设位置，并获取初始关键点对在图像中的坐标位置，当初始关键点对的坐标位置为预设位置时，删除该初始关键点对。此外，由于道路标牌图像中一般包含道路标牌和真实街景，相同类型的道路标牌会出现在不同的街景中。而同一子簇内的多个图像可以被认为应该属于同一道路标牌，也即图像中的道路标牌外形(包括显示的文字、标识以及形状)极其相似，难以区分，因此，可以将在获取到初始关键点对后，将道路标牌外形对应的初始关键点作为无效的关键点对删除，以使得剩余的关键点对更为关注图像中的真实街景，以从图像中包含的街景角度来判断子簇中的任意两个图像的相似度，以此识别两个道路标牌是否在同一街景(即是否为同一地理位置)，使得图像相似度结果更加准确。

在进行关键点匹配时，还可以计算图像对中的目标对象(道路标牌)的距离，辅助计算图像对的图像相似度。例如，获取图像对中目标对象的相似度以及图像对的图像相似度，对这两个图像相似度进行权重计算得到最终图像对的图像相似度。需说明的是，在确定子簇内图像相似度时，若子簇内只有一张待分类图像，则不计算图像相似度。

253、针对各聚类簇中的任意两个子簇，根据簇间图像对列表中第二图像对的图像相似度，确定子簇相似度是否满足预设子簇相似度。

将步骤252得到的各第二图像对的图像相似度与第二预设图像相似度进行比较，获取图像相似度高于第二预设图像相似度的第二图像对的数量(下称目标图像对的数量)，计算目标图像对的数量占簇间图像对列表中所有第二图像对总数的占比，若目标图像对的数量占簇间图像对列表中所有第二图像对总数的占比大于预设的阈值，则认为这两个子簇的子簇相似度满足预设子簇相似度。

254、针对各聚类簇中的任意两个子簇，当子簇相似度满足预设子簇相似度时，合并任意两个子簇。

满足预设子簇相似度的两个子簇为同一资产，将这两个子簇合并，反之则不合并。依次对各个聚类簇内的所有子簇两两匹配重复上述操作，即可将聚类簇内属于同一资产的子簇进行合并，消除聚类簇内的冗余资产。

260、根据所有子簇，得到图像分类结果。

通过上述过程，在按距离粗对待分类图像进行分类后，将每个子簇作为一个资产的粗分类结果，再通过子簇的分裂和合并实现进一步的细分优化，得到的每个子簇为一个资产的最终分类结果，也即，一个子簇中包括的所有待分类图像为同一个资产的图像。需说明是，本申请实施例中的名词的解释以及上述过程的具体实现方式可参见前述实施例中的相应内容，在此不再赘述。

由上可知，本申请实施例通过目标检测算法提取搜集到的众包图像中的资产信息，然后对这些资产信息进行空间粗分类(即聚类)，获得该范围内的分类结果。再进一步细分类，主要是对资产内部(即子簇内部)、资产与资产之间(即子簇之间)分别进行图像两两之间的关键点匹配，以对资产做分裂与合并，获得完整、正确的道路标牌分类结果，降低资产的冗余。

为了更好地实施以上方法，本申请实施例还提供一种图像分类装置，该图像分类装置具体可以集成在电子设备中，该电子设备可以为终端、服务器等设备。其中，终端可以为手机、平板电脑、智能蓝牙设备、笔记本电脑、个人电脑等设备；服务器可以是单一服务器，也可以是由多个服务器组成的服务器集群。比如，在本实施例中，将以图像分类装置具体集成在计算机设备为例，对本申请实施例的方法进行详细说明。

例如，如图3所示，该图像分类装置可以包括获取单元310、聚类单元320、分类单元330、提取单元340、合并单元350以及结果输出单元360，如下：

(一)获取单元310

用于获取多个待分类图像以及每个待分类图像对应的特征数据。

(二)聚类单元320

用于根据所有待分类图像对应的特征数据，对所有待分类图像进行聚类，得到多个聚类簇。

(三)分类单元330

用于根据各聚类簇内待分类图像对应的特征数据，分别将各聚类簇划分为多个子簇，各子簇包括至少一个待分类图像。

在一些实施方式中，聚类单元320具体可以用于步骤：根据多个待分类图像对应的特征数据，使用第一半径对多个待分类图像进行聚类，得到多个聚类簇，各聚类簇包括多个待分类图像。分类单元330具体可以用于步骤：根据各聚类簇内待分类图像对应的特征数据，使用第二半径分别对各聚类簇内的待分类图像再进行聚类，得到各聚类簇的多个子簇，其中，第一半径大于第二半径，各子簇包括至少一个待分类图像。

(四)提取单元340

用于在各聚类簇中，针对每个子簇，根据子簇中待分类图像的图像相似度，提取子簇中的异常待分类图像，并在聚类簇中生成异常待分类图像对应的子簇。

在一些实施方式中，提取单元340具体可以用于步骤：在各聚类簇中，针对每个子簇，确定子簇中任意两个待分类图像的图像相似度；根据图像相似度确定子簇中待分类图像的关联关系；当关联关系为目标关联关系时，将目标关联关系对应的待分类图像确定为异常待分类图像；提取异常待分类图像，并在聚类簇中生成异常待分类图像对应的子簇。

在一些实施方式中，将任意两个待分类图像进行关键点匹配，确定任意两个待分类图像的图像相似度，可以包括：将任意两个待分类图像进行关键点匹配，得到匹配关键点对；根据匹配关键点对的数量，确定任意两个待分类图像的图像相似度。

(五)合并单元350

用于在各聚类簇中，合并聚类簇中满足预设子簇相似度的子簇。

在一些实施方式中，合并单元350具体可以用于步骤：在各聚类簇中，确定聚类簇中任意两个子簇的子簇相似度是否满足预设子簇相似度；当子簇相似度满足预设子簇相似度时，合并任意两个子簇。

在一些实施方式中，根据所有图像对的图像相似度，确定第一子簇以及第二子簇的子簇相似度是否满足预设子簇相似度，可以包括：将图像相似度高于预设图像相似度的图像对确定为目标图像对；根据目标图像对的数量与预设数量的大小关系，确定第一子簇以及第二子簇的子簇相似度是否满足预设子簇相似度；当目标图像对的数量大于预设数量时，确定第一子簇以及第二子簇的子簇相似度满足预设子簇相似度。

(六)结果输出单元360

用于根据所有子簇，得到图像分类结果。

具体实施时，以上各个单元可以作为独立的实体来实现，也可以进行任意组合，作为同一或若干个实体来实现，以上各个单元的具体实施可参见前面的方法实施例，在此不再赘述。

由此，本申请实施例可以通过聚类、子簇拆分以及子簇合并的多步图像分类操作，不断优化分类结果，可以提升图像分类准确率。

相应的，本申请实施例还提供一种计算机设备，该计算机设备可以为终端或服务器，该终端可以为智能手机、平板电脑、笔记本电脑、触控屏幕、游戏机、个人计算机、个人数字助理(Personal Digital Assistant，PDA)等终端设备。

如图4所示，图4为本申请实施例提供的计算机设备的结构示意图，该计算机设备400包括有一个或者一个以上处理核心的处理器410、有一个或一个以上计算机可读存储介质的存储器420及存储在存储器420上并可在处理器上运行的计算机程序。其中，处理器410与存储器420电性连接。本领域技术人员可以理解，图中示出的计算机设备结构并不构成对计算机设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

处理器410是计算机设备400的控制中心，利用各种接口和线路连接整个计算机设备400的各个部分，通过运行或加载存储在存储器420内的软件程序和/或模块，以及调用存储在存储器420内的数据，执行计算机设备400的各种功能和处理数据。在本申请实施例中，计算机设备400中的处理器410会按照如下的步骤，将一个或一个以上的应用程序的进程对应的指令加载到存储器420中，并由处理器410来运行存储在存储器420中的应用程序，从而实现前面的实施例的图像分类方法，在此不再赘述。

可选的，如图4所示，计算机设备400还包括：触控显示屏430、射频电路440、音频电路450、输入单元460以及电源470。其中，处理器410分别与触控显示屏430、射频电路440、音频电路450、输入单元460以及电源470电性连接。本领域技术人员可以理解，图4中示出的计算机设备结构并不构成对计算机设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

触控显示屏430可用于显示图形用户界面以及接收用户作用于图形用户界面产生的操作指令。触控显示屏430可以包括显示面板和触控面板。其中，显示面板可用于显示由用户输入的信息或提供给用户的信息以及计算机设备的各种图形用户接口，这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。可选的，可以采用液晶显示器(LCD，Liquid Crystal Display)、有机发光二极管(OLED，Organic Light-EmittingDiode)等形式来配置显示面板。触控面板可用于收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板上或在触控面板附近的操作)，并生成相应的操作指令，且操作指令执行对应程序。可选的，触控面板可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器410，并能接收处理器410发来的命令并加以执行。触控面板可覆盖显示面板，当触控面板检测到在其上或附近的触摸操作后，传送给处理器410以确定触摸事件的类型，随后处理器410根据触摸事件的类型在显示面板上提供相应的视觉输出。在本申请实施例中，可以将触控面板与显示面板集成到触控显示屏430而实现输入和输出功能。但是在某些实施例中，触控面板与显示面板可以作为两个独立的部件来实现输入和输出功能。即触控显示屏430也可以作为输入单元460的一部分实现输入功能。射频电路440可用于收发射频信号，以通过无线通信与网络设备或其他计算机设备建立无线通讯，与网络设备或其他计算机设备之间收发信号。

音频电路450可以用于通过扬声器、传声器提供用户与计算机设备之间的音频接口。音频电路450可将接收到的音频数据转换后的电信号，传输到扬声器，由扬声器转换为声音信号输出；另一方面，传声器将收集的声音信号转换为电信号，由音频电路450接收后转换为音频数据，再将音频数据输出处理器410处理后，经射频电路440以发送给比如另一计算机设备，或者将音频数据输出至存储器420以便进一步处理。音频电路450还可能包括耳塞插孔，以提供外设耳机与计算机设备的通信。

输入单元460可用于接收输入的数字、字符信息或用户特征信息(例如指纹、虹膜、面部信息等)，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。

电源470用于给计算机设备400的各个部件供电。可选的，电源470可以通过电源管理系统与处理器410逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源470还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。

尽管图4中未示出，计算机设备400还可以包括摄像头、传感器、无线保真模块、蓝牙模块等，在此不再赘述。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。由上可知，本实施例提供的计算机设备可以不断优化分类结果，可以提升图像分类准确率，以此在避免子簇中有冗余图像的同时也完整的保留所有待分类图像。

本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。

为此，本申请实施例提供一种计算机可读存储介质，其中存储有多条计算机程序，该计算机程序能够被处理器进行加载，以执行本申请实施例所提供的任一种图像分类方法中的步骤。例如，该计算机程序可以执行如下步骤：

获取多个待分类图像以及每个待分类图像对应的特征数据；根据所有待分类图像对应的特征数据，对所有待分类图像进行聚类，得到多个聚类簇；根据各聚类簇内待分类图像对应的特征数据，分别将各聚类簇划分为多个子簇，各子簇包括至少一个待分类图像；在各聚类簇中，针对每个子簇，根据子簇中待分类图像的图像相似度，提取子簇中的异常待分类图像，并在聚类簇中生成异常待分类图像对应的子簇；在各聚类簇中，合并聚类簇中满足预设子簇相似度的子簇；根据所有子簇，得到图像分类结果。

以上各个操作的具体实施可参见前面的实施例，在此不再赘述。

其中，该存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，Random Access Memory)、磁盘或光盘等。

由于该存储介质中所存储的计算机程序，可以执行本申请实施例所提供的任一种图像分类方法中的步骤，因此，可以实现本申请实施例所提供的任一种图像分类方法所能实现的有益效果，详见前面的实施例，在此不再赘述。

以上对本申请实施例所提供的一种图像分类方法、装置和存储介质进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims

1.一种图像分类方法，其特征在于，包括：

获取多个待分类图像以及每个所述待分类图像对应的特征数据；

根据所有所述待分类图像对应的特征数据，对所有所述待分类图像进行聚类，得到多个聚类簇；

根据各所述聚类簇内所述待分类图像对应的特征数据，分别将各所述聚类簇划分为多个子簇，各所述子簇包括至少一个所述待分类图像；

在各所述聚类簇中，针对每个所述子簇，根据所述子簇中所述待分类图像的图像相似度，提取所述子簇中的异常待分类图像，并在所述聚类簇中生成所述异常待分类图像对应的子簇；

在各所述聚类簇中，合并所述聚类簇中满足预设子簇相似度的所述子簇；

根据所有所述子簇，得到图像分类结果。

2.如权利要求1所述的图像分类方法，其特征在于，所述根据所有所述待分类图像对应的特征数据，对所有所述待分类图像进行聚类，得到多个聚类簇，包括：

根据所有所述待分类图像对应的特征数据，使用第一半径对所有所述待分类图像进行聚类，得到多个聚类簇，各所述聚类簇包括多个所述待分类图像；

所述根据各所述聚类簇内所述待分类图像对应的特征数据，分别将各所述聚类簇划分为多个子簇，各所述子簇包括至少一个所述待分类图像，包括：

根据各所述聚类簇内所述待分类图像对应的特征数据，使用第二半径分别对各所述聚类簇内的所述待分类图像再进行聚类，得到各所述聚类簇的多个子簇，其中，所述第一半径大于所述第二半径，各所述子簇包括至少一个所述待分类图像。

3.如权利要求1所述的图像分类方法，其特征在于，所述在各所述聚类簇中，针对每个所述子簇，根据所述子簇中所述待分类图像的图像相似度，提取所述子簇中的异常待分类图像，并在所述聚类簇中生成所述异常待分类图像对应的子簇，包括：

在各所述聚类簇中，针对每个所述子簇，确定所述子簇中任意两个所述待分类图像的图像相似度；

根据所述图像相似度确定所述子簇中所述待分类图像的关联关系；

当所述关联关系为目标关联关系时，将所述目标关联关系对应的所述待分类图像确定为异常待分类图像；

提取所述异常待分类图像，在所述聚类簇中生成所述异常待分类图像对应的子簇。

4.如权利要求3所述的图像分类方法，其特征在于，所述在各所述聚类簇中，针对每个所述子簇，确定所述子簇中任意两个所述待分类图像的图像相似度，包括：

在各所述聚类簇中，针对每个所述子簇，获取所述子簇中每个所述待分类图像的关键点；

将任意两个所述待分类图像进行关键点匹配，确定所述任意两个所述待分类图像的图像相似度。

5.如权利要求4所述的图像分类方法，其特征在于，所述将任意两个待分类图像进行关键点匹配，确定任意两个待分类图像的图像相似度，包括：

将任意两个待分类图像进行关键点匹配，得到匹配关键点对；

根据匹配关键点对的数量，确定任意两个待分类图像的图像相似度。

6.如权利要求1所述的图像分类方法，其特征在于，所述在各所述聚类簇中，合并所述聚类簇中满足预设子簇相似度的所述子簇，包括：

在各所述聚类簇中，确定所述聚类簇中任意两个所述子簇的子簇相似度是否满足预设子簇相似度；

当所述子簇相似度满足所述预设子簇相似度时，合并所述任意两个所述子簇。

7.如权利要求6所述的图像分类方法，其特征在于，所述在各所述聚类簇中，确定所述聚类簇中任意两个所述子簇的子簇相似度是否满足预设子簇相似度，包括：

在各所述聚类簇中，将第一子簇中的所述待分类图像与第二子簇中的所述待分类图像两两组合，得到至少一个图像对，各所述图像对包括所述第一子簇中的一个所述待分类图像以及所述第二子簇中的一个所述待分类图像，所述第一子簇以及所述第二子簇为所述聚类簇中的任意两个子簇；

将各所述图像对中的待分类图像进行关键点匹配，确定各所述图像对的图像相似度；

根据所有所述图像对的图像相似度，确定所述第一子簇以及所述第二子簇的子簇相似度是否满足预设子簇相似度。

8.如权利要求7所述的图像分类方法，其特征在于，所述根据所有所述图像对的图像相似度，确定所述第一子簇以及所述第二子簇的子簇相似度是否满足预设子簇相似度，包括：

将所述图像相似度高于预设图像相似度的图像对确定为目标图像对；

根据所述目标图像对的数量与预设数量的大小关系，确定所述第一子簇以及所述第二子簇的子簇相似度是否满足预设子簇相似度；

当所述目标图像对的数量大于所述预设数量时，确定所述第一子簇以及所述第二子簇的子簇相似度满足所述预设子簇相似度。

9.一种图像分类装置，其特征在于，包括：

获取单元，用于获取多个待分类图像以及每个所述待分类图像对应的特征数据；

聚类单元，用于根据所有所述待分类图像对应的特征数据，对所有所述待分类图像进行聚类，得到多个聚类簇；

分类单元，用于根据各所述聚类簇内所述待分类图像对应的特征数据，分别将各所述聚类簇划分为多个子簇，各所述子簇包括至少一个所述待分类图像；

提取单元，用于在各所述聚类簇中，针对每个所述子簇，根据所述子簇中所述待分类图像的图像相似度，提取所述子簇中的异常待分类图像，并在所述聚类簇中生成所述异常待分类图像对应的子簇；

合并单元，用于在各所述聚类簇中，合并所述聚类簇中满足预设子簇相似度的所述子簇；

结果输出单元，用于根据所有所述子簇，得到图像分类结果。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有多条指令，所述指令适于处理器进行加载，以执行权利要求1～8任一项所述的图像分类方法中的步骤。