CN111400533B - 图像筛选方法、装置、电子设备和存储介质 - Google Patents

Abstract

本申请公开了图像筛选方法、装置、电子设备和存储介质。所述方法包括：获取待筛选的多帧图像，其中，各帧图像分别带有对象标注信息和帧序；根据所述对象标注信息和帧序，确定目标对象的关联图像序列；对所述关联图像序列进行对象类别识别，得到所述关联图像序列的待校验类别；在所述待校验类别与所述目标对象匹配的情况下，根据所述关联图像序列筛选出包含所述目标对象的最优图像。有益效果在于，仅依赖图像的标注信息和帧序就可以完成图像的去重，可以应用于地图制作领域对地图外业采集数据的筛选，准确聚合同一路段的重复信息，区别于传统方案，不再依赖于GPS等位置信息对图像进行筛选，摆脱了GPS的位置偏差较大的问题。

Description

图像筛选方法、装置、电子设备和存储介质

技术领域

本申请涉及图像处理领域，具体涉及图像筛选方法、装置、电子设备和存储介质。

背景技术

图像中包含了丰富的信息，在很多业务场景中有着重要的应用，例如，现有的地图制作方式通常依赖于地图采集车等设备采集的实地图像。但是不同图像间包含的信息可能存在重复，这就产生了对图像进行筛选，以进行去重的需求。

目前比较主流的图像筛选方法，是利用采集图像时图像采集车的GPS坐标信息，结合图像识别技术，将一定距离内的同种对象视为同一对象，据此进行图像去重，但是缺陷在于GPS精度有限，可能导致去重错误或遗漏，且对图像采集车在并行、转弯等行驶场景下采集的图像，去重效果较差。

发明内容

鉴于上述问题，提出了本申请以便提供一种克服上述问题或者至少部分地解决上述问题的图像筛选方法、装置、电子设备和存储介质。

依据本申请的一个方面，提供了一种图像筛选方法，包括：获取待筛选的多帧图像，其中，各帧图像分别带有对象标注信息和帧序；根据所述对象标注信息和帧序，确定目标对象的关联图像序列；对所述关联图像序列进行对象类别识别，得到所述关联图像序列的待校验类别；在所述待校验类别与所述目标对象匹配的情况下，根据所述关联图像序列筛选出包含所述目标对象的最优图像。

可选地，所述获取待筛选的连续多帧图像包括：对采集的连续多帧图像，利用对象识别网络逐帧进行对象识别，得到各帧图像的对象标注信息。

可选地，所述对象标注信息包括对象位置和对象类别，所述根据所述对象标注信息和帧序，确定目标对象的关联图像序列包括：根据对象位置从各帧图像中提取出与对象对应的子图像，子图像的帧序与母图像的帧序相同；根据对象类别，对各子图像进行分类，每一类子图像对应相同类别的对象；对于同一类子图像，根据子图像的帧序进行分组，分别将得到的每一组子图像按帧序排列，作为一个目标对象的关联图像序列。

可选地，所述对于同一类子图像，根据子图像的帧序进行分组包括：若两帧子图像的帧间隔大于预设阈值，则将该两帧子图像分至不同的组；否则，将该两帧子图像分入同一组。

可选地，所述根据所述关联图像筛选出与包含所述目标对象的最优图像包括：将多个目标对象的关联图像的母图像取交集，从交集中筛选出包含所述多个目标对象的最优图像；和/或，根据同一目标对象的各关联图像的母图像中，目标对象的对象标注信息的置信度，选取出置信度最高的母图像作为该目标对象的最优图像；和/或，根据同一目标对象的各关联图像的尺寸大小，确定尺寸最大的关联图像，将确定的关联图像的母图像作为该目标对象的最优图像。

可选地，所述对所述关联图像序列进行对象类别识别，得到所述关联图像序列的待校验类别包括：基于所述关联图像序列，生成所述目标对象的平均图像；对所述平均图像进行对象类别识别，得到所述关联图像序列的待校验类别。

可选地，所述基于所述关联图像序列，生成所述目标对象的平均图像包括：对所述关联图像序列中各关联图像的尺寸分别进行调整，以使调整后的关联图像的尺寸一致；将调整后的关联图像对应位置的像素值加和后求平均值，得到目标对象的平均图像。

依据本申请的另一方面，提供了一种图像筛选装置，包括：图像获取单元，用于获取待筛选的多帧图像，其中，各帧图像分别带有对象标注信息和帧序；关联单元，用于根据所述对象标注信息和帧序，确定目标对象的关联图像序列；校验单元，对所述关联图像序列进行对象类别识别，得到所述关联图像序列的待校验类别；筛选单元，用于在所述待校验类别与所述目标对象匹配的情况下，根据所述关联图像序列筛选出包含所述目标对象的最优图像。

可选地，所述图像获取单元，用于对采集的连续多帧图像，利用对象识别网络逐帧进行对象识别，得到各帧图像的对象标注信息。

可选地，所述对象标注信息包括对象位置和对象类别，所述关联单元，用于根据对象位置从各帧图像中提取出与对象对应的子图像，子图像的帧序与母图像的帧序相同；根据对象类别，对各子图像进行分类，每一类子图像对应相同类别的对象；对于同一类子图像，根据子图像的帧序进行分组，分别将得到的每一组子图像按帧序排列，作为一个目标对象的关联图像序列。

可选地，所述关联单元，用于若两帧子图像的帧间隔大于预设阈值，则将该两帧子图像分至不同的组；否则，将该两帧子图像分入同一组。

可选地，所述筛选单元，用于将多个目标对象的关联图像的母图像取交集，从交集中筛选出包含所述目标对象的最优图像；和/或，根据同一目标对象的各关联图像的母图像中，目标对象的对象标注信息的置信度，选取出置信度最高的母图像作为该目标对象的最优图像；和/或，根据同一目标对象的各关联图像的尺寸大小，确定尺寸最大的关联图像，将确定的关联图像的母图像作为该目标对象的最优图像。

可选地，所述校验单元，用于基于所述关联图像序列，生成所述目标对象的平均图像；对所述平均图像进行对象类别识别，得到所述关联图像序列的待校验类别。

可选地，所述校验单元，用于对所述关联图像序列中各关联图像的尺寸分别进行调整，以使调整后的关联图像的尺寸一致；将调整后的关联图像对应位置的像素值加和后求平均值，得到目标对象的平均图像。

依据本申请的又一方面，提供了一种电子设备，包括：处理器；以及被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行如上述任一所述的方法。

依据本申请的再一方面，提供了一种计算机可读存储介质，其中，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被处理器执行时，实现如上述任一所述的方法。

由上述可知，本申请的技术方案，在获取到带有对象标注信息的连续多帧图像后，根据对象标注信息和帧序，确定目标对象的关联图像序列，并识别出关联图像序列的待校验类别，在待校验类别与所述目标对象匹配的情况下，根据关联图像序列筛选出与包含目标对象的最优图像。该技术方案的有益效果在于，仅依赖图像的标注信息和帧序就可以完成图像的去重，可以应用于地图制作领域对地图外业采集数据的筛选，准确聚合同一路段的重复信息，区别于传统方案，不再依赖于GPS等位置信息对图像进行筛选，摆脱了GPS的位置偏差较大的问题。

上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，而可依照说明书的内容予以实施，并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂，以下特举本申请的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本申请的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1示出了根据本申请一个实施例的一种图像筛选方法的流程示意图；

图2示出了根据本申请一个实施例的一种图像筛选装置的结构示意图；

图3示出了根据本申请一个实施例的电子设备的结构示意图；

图4示出了根据本申请一个实施例的计算机可读存储介质的结构示意图；

图5示出了根据本申请一个实施例的图像筛选流程图。

具体实施方式

下面将参照附图更详细地描述本申请的示例性实施例。虽然附图中显示了本申请的示例性实施例，然而应当理解，可以以各种形式实现本申请而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本申请，并且能够将本申请的范围完整的传达给本领域的技术人员。

图1示出了根据本申请一个实施例的一种图像筛选方法的流程示意图。

如图1所示，该方法包括：

步骤S110，获取待筛选的多帧图像，其中，各帧图像分别带有对象标注信息和帧序。

例如，待筛选的图像是地图外业场景下，通过道路信息采集车以预设频率采集(如每隔一秒钟采集一张)的图像经过图像识别得到的，各帧图像中的对象如交通标志、道路标线等被一一标注出来。显然在这种情况下，多张图像中难免拍摄到同一对象。

由于图像识别还不能达到百分之百的准确度，因此实际场景中还需要人工等方式对图像识别结果进行审核，那么可见，如果不对图像进行筛选，就存在对应于同一对象的众多重复图像，增加了人工审核成本。目前，每辆道路信息采集车每天大约能采集5万多张道路图像，如果有多辆道路信息采集车同时作业，则每天图像数高达百万级。

当然，道路信息采集车采集的图像并不一定都包含有需要关注的对象，因此，实际需要筛选的是其中带有对象标注信息的图像。举例来说，采集的图像有100帧，按采集时间先后确定帧序，这100帧图像中，第50帧图像至第70帧图像中没有识别出需要关注的对象(即没有对象标注信息)，也就是第1帧图像至第49帧图像，以及第71帧图像至第100帧图像分别带有对象标注信息。则需要筛选的就是第1帧图像至第49帧图像，以及第71帧图像至第100帧图像。优选地，在将这些图像作为待筛选的图像时，保持原有帧序不变。

总之，只要获得的图像是具有先后顺序，并且带有对象标注信息即可。

步骤S120，根据对象标注信息和帧序，确定目标对象的关联图像序列。

对象标注信息可以包括对象的类别，并且可以细分，如粗粒度下可以将限速标志作为一个类别，而细粒度下，则具体到限速50km/h与限速60km/h分属两种不同类别。对象标注信息还可以包括对象在图像中的位置，具体可以是以包围框(bounding box)或者掩膜(mask)等方式进行标注。

例如，图像是通过连续采集得到的，那么如果在连续两帧图像中，均出现了同一类别的对象，那么这两个对象就很可能是同一对象(记作目标对象)，因此可以根据这两帧图像确定该目标对象的关联图像。比如直接将这两帧图像作为该目标对象的关联图像，又如可以从这两帧图像中分别裁剪出同一类别对象所在的部分，将裁剪出的两帧子图像作为关联图像。

将关联图像按照帧序排列起来，就得到了关联图像序列。如果关联图像是从待筛选的图像中裁剪出的子图像，则子图像的帧序可以与母图像相同。这样，就可以认为将同一目标对象的关联图像串联了起来，得到了目标对象的轨迹，这里的轨迹一词是取数学意义上，相同点的集合之义。

步骤S130，对关联图像序列进行对象类别识别，得到关联图像序列的待校验类别。

对象标注信息不一定准确，举例来说，根据对象标注信息，确定有15帧连续的图像都包含一个限速60km/h的交通标志，则将该交通标志作为目标对象，这15帧图像作为它的关联图像。也就是说，可以认为这些关联图像都包含一个限速60km/h的交通标志。但实际上，最后的6帧关联图像，包含的是限速50km/h的交通标志，由于对原始图像识别错误，导致对象标注信息也错误。

在这种情况下，如果不进行校验，就会把实际包含不同对象的图像作为重复图像进行去重。

因此，本申请的实施例提出了利用对象类别识别进行校验的方法，其原理在于，对一条被认为是某个目标对象的关联图像序列进行对象类别识别，能够提取这组关联图像序列的整体性特征，如果关联图像序列中错误的关联图像(即并非是对应于这一目标对象)过多，就会使整体性特征与目标对象的特征不一致，在对象类别上就可能体现为不同类别。

步骤S140，在待校验类别与目标对象匹配的情况下，根据关联图像序列筛选出包含目标对象的最优图像。

这里的筛选可以理解为去重，在多帧关联图像都包含目标对象时，只需要从中选择出信息更完整、准确度更高的最优图像即可。如果待校验类别与目标对象不匹配，则可以直接舍弃掉这一条关联图像序列。

可见，图1所示的方法，仅依赖图像的标注信息和帧序就可以完成图像的去重，可以应用于地图制作领域对地图外业采集数据的筛选，准确聚合同一路段的重复信息，区别于传统方案，不再依赖于GPS等位置信息对图像进行筛选，摆脱了GPS的位置偏差较大的问题。筛选后的图像可以用于人工审核，大大减小了人工审核的工作量和成本。人工审核后的图像可以用于地图构建，并进一步用于自动驾驶场景，在物流配送、外卖等业务领域有着广阔应用前景。

在本申请的一个实施例中，上述方法中，获取待筛选的连续多帧图像包括：对采集的连续多帧图像，利用对象识别网络逐帧进行对象识别，得到各帧图像的对象标注信息。

在计算机视觉领域，对象识别是一项比较成熟的技术，对象识别又具体包括对象位置识别(也称为对象检测)和对象类别识别(也称为对象分类)。其中，对象位置识别所使用的深度神经网络可以选用更快速的基于区域的卷积神经网络Faster-RCNN、单次多边界框检测器SSD、YOLO系列网络等，对象类别识别所使用的深度神经网络可以包括比如VGG网络、ResNet系列网络、Inception系列网络，上述部分网络还没有统一的中文译名。

本申请中的对象识别网络可以包含对象位置识别和对象类别识别两个任务，分别采用如上述示例的深度神经网络实现；这两个任务也可以作为一个任务，通过一个深度神经网络输出包含对象类别和对象位置的对象标注信息。具体的实现可以选用任一种或多种现有技术，本申请对此不做限制。

在本申请的一个实施例中，上述方法中，对象标注信息包括对象位置和对象类别，根据对象标注信息和帧序，确定目标对象的关联图像序列包括：根据对象位置从各帧图像中提取出与对象对应的子图像，子图像的帧序与母图像的帧序相同；根据对象类别，对各子图像进行分类，每一类子图像对应相同类别的对象；对于同一类子图像，根据子图像的帧序进行分组，分别将得到的每一组子图像按帧序排序，作为一个目标对象的关联图像序列。

举例来说，采集的图像有100帧，按采集时间先后确定帧序，从这100帧图像中，按照对象位置提取出与对象对应的子图像，得到100帧(实际一帧图像也可以包括多个对象，那么就可以提取出与这多个对象分别对应的多个子图像)子图像，再根据对象类别确定第1帧子图像至第10帧子图像、第12帧子图像以及第35帧子图像至第47帧子图像中均包含限速60km/h的交通标志，第8帧子图像至第16帧子图像中包含禁止鸣笛的交通标志，第19帧子图像至第27帧子图像中包含禁止通行的交通标志。

那么按照对象类别，第1帧子图像至第10帧子图像、第12帧子图像、第35帧子图像至第47帧子图像先被归为第一类，第8帧子图像至第16帧子图像被归为第二类，第19帧子图像至第27帧子图像被归为第三类。

之后可以根据帧序的连续性进行分组，在图像是连续采集的情况下，可以认为连续多帧图像如果包含同一对象，则这些图像的子图像就是同一组。例如，第1帧子图像至第10帧子图像、第12帧子图像、第35帧子图像至第47帧子图像分别划为三组。

但是很显然，第10帧子图像和第12帧子图像间隔也很近，之所以没有连续，可能是因为第11帧图像被错误识别，或者在采集时出现了问题，如被突然变道的车遮挡，因此如果严格按照帧序的连续进行分组，也可能出现问题。因此，在本申请的一个实施例中，上述方法中，对于同一类子图像，根据子图像的帧序进行分组包括：若两帧子图像的帧间隔大于预设阈值，则将该两帧子图像分至不同的组；否则，将该两帧子图像分入同一组。

例如，设置预设阈值为2，那么第1帧子图像至第10帧子图像以及第12帧子图像就不会被分到两个组，而是同一组中。

另外，图像中可能包含多个对象，这些对象也可能存在属于相同对象类别的情况。举例来说，交管部门为了增强提示等原因，以较近的间隔设置多个相同类别的交通标志，而这些交通标志虽然会被识别成同一对象类别，但实际并不是同一对象。例如，十字路口就会存在多组人行横道线。

对于这一点，可以考虑到实际图像采集场景中，图像采集设备往往是不断运动的，那么拍摄得到的图像中，对象尺寸也会不断变化，并且具有连续性，基于这一点可以对组进行进一步的分割。例如，根据近大远小的透视关系，由于对象如交通标志通常是固定的，而道路采集车是运动的，因此拍摄到的多帧图像中，同一对象的尺寸一般是由小到大、并且变化幅度在一定范围内的。

以对象为人行横道线进行举例，如果前面连续多帧人行横道线的子图像尺寸由小到大依次递增，但当前帧人行横道线的子图像尺寸突然变小，并且与前一帧子图像的尺寸差距较大，很可能就是拍摄到了另外的一组人行横道线。此时虽然各子图像仍然帧序连续，但是应当对分组进行分割。

当然，上述实施例所示出的仅是比较简单的示例，在其他实施例中，可以根据图像来源、对象特点等设置不同的关联方式。最后得到的多组子图像，每组子图像是一个子图像序列，可以认为是一个目标对象的轨迹。

在本申请的一个实施例中，上述方法中，根据关联图像筛选出与包含目标对象的最优图像包括：将多个目标对象的关联图像的母图像取交集，从交集中筛选出包含多个目标对象的最优图像；和/或，根据同一目标对象的各关联图像的母图像中，目标对象的对象标注信息的置信度，选取出置信度最高的母图像作为该目标对象的最优图像；和/或，根据同一目标对象的各关联图像的尺寸大小，确定尺寸最大的关联图像，将确定的关联图像的母图像作为该目标对象的最优图像。

在确定关联图像序列确实对应于目标对象之后，问题在于如何进行去重。一种简单的方式就是随机选取即可，因为每一帧关联图像都与目标对象关联。但实际上各关联图像所包含的信息可能不完全相同，例如，虽然都包含某一对象，但是有的清晰，有的模糊，显然选取清晰的更好。

因此，本申请给出了几种示例。对于母图像而言，其可能包含的对象数量很多，即多帧子图像均与一帧母图像有关，例如，有可能出现第1帧母图像至第10帧母图像中均有限速标志，第3帧母图像至第14帧母图像中均有禁停标志，第10帧母图像至第13帧母图像中均有禁止鸣笛标志的情况。此时，如果选取第10帧母图像以外的母图像作为最优图像，则一帧图像中仅能包含一个或两个交通标志，还需要为剩余的交通标志再挑选最优图像，而选取第10帧母图像作为最优图像则可以同时包含三个交通标志。

又例如，母图像的对象标注信息是根据深度神经网络输出的，而深度神经网络进行图像识别时会给出置信度，置信度越高一般越准确，因此可以将置信度最高的母图像作为该目标对象的最优图像。

再例如，子图像越大一般越清晰，因此可以挑选出尺寸最大的子图像，将它的母图像作为目标对象的最优图像。

结合上述示例，可以实现尽可能少地选取最优图像，使得最优图像包含的信息更准确和丰富。后续可以采用人工审核等方式进行再次校验。当然，另外的实施例中也可以选用其他方式进行最优图像的筛选。

在本申请的一个实施例中，上述方法中，对关联图像序列进行对象类别识别，得到关联图像序列的待校验类别包括：基于关联图像序列，生成目标对象的平均图像；对平均图像进行对象类别识别，得到关联图像序列的待校验类别。

采用平均图像进行校验的方法，通过关联图像生成平均图像，能够根据平均图像与目标对象的关联性，推知关联图像与目标对象是否真正存在关联。也就是说，用平均图像来反映出关联图像序列的整体性。

举例来说，两帧白猫图像的平均图像，大概率还会被识别为一个白猫，但根据一帧白猫图像以及一帧被错误识别为白猫的花猫图像生成的平均图像，就有可能因为弱化了白猫的特征，更像一只花猫。

可见，关联图像中如果正确的目标对象居多，则平均图像也会大概率会校验通过，如果错误的目标对象居多，删除也是合理的，这一操作大大提高了关联图像的对象类别准确率。

如果待筛选的图像也是通过类别识别网络得到的，则在校验时可以选用与其不相同的类别识别网络，如、Siamese孪生网络、相似度度量网络等，当然也可以选用相同的类别识别网络，但效果稍差。

如果待校验类别与对象标注信息中的对象类别不一致，说明关联图像之间的差异性较大，不适宜进行整合去重。

另外，对关联图像序列进行对象类别识别，得到关联图像序列的待校验类别还可以采用其他方式，比如在一些实施例中，如果待筛选图像是通过A神经网络来确定标注信息的，则可以对关联图像序列中的每帧图像都利用B神经网络进行类别识别，再根据识别结果进行投票或比对，以确定关联图像序列的待校验类别；在另一些实施例中，还可以对关联图像进行聚类，根据聚类结果确定待校验类别，等等，在此不再一一介绍。

在本申请的一个实施例中，上述方法中，基于关联图像序列，生成目标对象的平均图像包括：对关联图像序列中各关联图像的尺寸分别进行调整，以使调整后的关联图像的尺寸一致；将调整后的关联图像对应位置的像素值加和后求平均值，得到目标对象的平均图像。

各关联图像的尺寸可能并不相同，如果不考虑到这一点，直接根据各关联图像来生成平均图像，可能无法真实反映关联图像序列的整体性，例如前面实施例就提到子图像尺寸可能并不一致。因此以关联图像为子图像为例，在求平均图像时，对提取的各个子图像的尺寸进行调整，使得同一组子图像的尺寸相一致，以便进行后续的像素值求平均值。最终得到的平均图像是根据各关联图像综合得到的，因此基于平均图像进行校验，可以考察各关联图像是否真的存在关联关系。

图5示出了根据本申请一个实施例的图像筛选流程图。如图5所示，第一步将根据时间顺序采集的第t帧、t+1帧……t+3帧图像分别进行单帧图像识别，得到对象标注信息，在图中以包围框示出。可以看出，每帧图像都包含限速50km/h、禁止鸣笛以及禁止停车的交通标志。

第二步进行图像关联，从各图像中分别提取出与上述三类交通标志对应的子图像，按照对象类别进行划分，并且帧序保持与母图像相同，得到三条关联图像序列，可以认为每条关联图像序列对应于在该路段进行图像采集时拍摄到的一个目标对象，即将这些目标对象的关联图像分别串联起来，形成了与限速50km/h、禁止鸣笛以及禁止停车这三种交通标志分别对应的轨迹。

第三步进行求平均图像，这里没有在图中示出对子图像大小进行调整的部分，可以看出，生成的平均图像虽然不是真实图像，但是由于各组子图像中的对象均一致，因此生成的平均图像也具有很高的辨识度。

第四步进行轨迹二次验证，也就是平均图像的校验，具体地可以参照前述实施例的方式，识别出平均图像的对象类别，在图5中示出了对象类别的识别结果，可见，限速50km/h的平均图像仍被识别为限速50km/h，禁止鸣笛的平均图像仍被识别为禁止鸣笛，以及禁止停车的平均图像仍被识别为禁止停车，也就是说图5中的三个平均图像都可以通过校验。在其他情况下，如果平均图像校验不通过(验证失败)，则直接将生成该平均图像的所有的子图像丢弃。

第五步进行最优帧选择，筛选出包含三个交通标志，并且交通标志相对最清晰的图像。

本申请的技术方案相较于现有技术中使用GPS进行图像筛选的方案，在各项指标上都有着显著提升。在同一批待筛选图像上，使用本申请的方案(综合上述实施例的优选方案)以及现有技术(基于GPS)的方案，效果对比如下：

	召回率	准确率	去重效率
				基于GPS的方案	93％	80％	<90％
本申请方案	96％	97％	>95％

其中，各项指标的定义如下——召回率：去重后保留下的正确对象/真实存在的对象；准确率：去重后保留下的正确对象/去重后保留下的所有对象；去重效率：去除的重复图片数/原始图片数。

图2示出了根据本申请一个实施例的一种图像筛选装置的结构示意图。如图2所示，图像筛选装置200包括：

图像单元210，用于获取待筛选的多帧图像，其中，各帧图像分别带有对象标注信息和帧序。

例如，待筛选的图像是地图外业场景下，通过道路信息采集车以预设频率采集(如每隔一秒钟采集一张)的图像经过图像识别得到的，各帧图像中的对象如交通标志、道路标线等被一一标注出来。显然在这种情况下，多张图像中难免拍摄到同一对象。

由于图像识别还不能达到百分之百的准确度，因此实际场景中还需要人工等方式对图像识别结果进行审核，那么可见，如果不对图像进行筛选，就存在对应于同一对象的众多重复图像，增加了人工审核成本。目前，每辆道路信息采集车每天大约能采集5万多张道路图像，如果有多辆道路信息采集车同时作业，则每天图像数高达百万级。

当然，道路信息采集车采集的图像并不一定都包含有需要关注的对象，因此，实际需要筛选的是其中带有对象标注信息的图像。举例来说，采集的图像有100帧，按采集时间先后确定帧序，这100帧图像中，第50帧图像至第70帧图像中没有识别出需要关注的对象(即没有对象标注信息)，也就是第1帧图像至第49帧图像，以及第71帧图像至第100帧图像分别带有对象标注信息。则需要筛选的就是第1帧图像至第49帧图像，以及第71帧图像至第100帧图像。优选地，在将这些图像作为待筛选的图像时，保持原有帧序不变。

总之，只要获得的图像是具有先后顺序，并且带有对象标注信息即可。

关联单元220，用于根据对象标注信息和帧序，确定目标对象的关联图像序列。

对象标注信息可以包括对象的类别，并且可以细分，如粗粒度下可以将限速标志作为一个类别，而细粒度下，则具体到限速50km/h与限速60km/h分属两种不同类别。对象标注信息还可以包括对象在图像中的位置，具体可以是以包围框(bounding box)或者掩膜(mask)等方式进行标注。

例如，图像是通过连续采集得到的，那么如果在连续两帧图像中，均出现了同一类别的对象，那么这两个对象就很可能是同一对象(记作目标对象)，因此可以根据这两帧图像确定该目标对象的关联图像。比如直接将这两帧图像作为该目标对象的关联图像，又如可以从这两帧图像中分别裁剪出同一类别对象所在的部分，将裁剪出的两帧子图像作为关联图像。

将关联图像按照帧序排列起来，就得到了关联图像序列。如果关联图像是从待筛选的图像中裁剪出的子图像，则子图像的帧序可以与母图像相同。这样，就可以认为将同一目标对象的关联图像串联了起来，得到了目标对象的轨迹，这里的轨迹一词是取数学意义上，相同点的集合之义。

校验单元230，用于对关联图像序列进行对象类别识别，得到关联图像序列的待校验类别。

对象标注信息不一定准确，举例来说，根据对象标注信息，确定有15帧连续的图像都包含一个限速60km/h的交通标志，则将该交通标志作为目标对象，这15帧图像作为它的关联图像。也就是说，可以认为这些关联图像都包含一个限速60km/h的交通标志。但实际上，最后的6帧关联图像，包含的是限速50km/h的交通标志，由于对原始图像识别错误，导致对象标注信息也错误。

在这种情况下，如果不进行校验，就会把实际包含不同对象的图像作为重复图像进行去重。

因此，本申请的实施例提出了利用对象类别识别进行校验的方法，其原理在于，对一条被认为是某个目标对象的关联图像序列进行对象类别识别，能够提取这组关联图像序列的整体性特征，如果关联图像序列中错误的关联图像(即并非是对应于这一目标对象)过多，就会使整体性特征与目标对象的特征不一致，在对象类别上就可能体现为不同类别。

筛选单元240，用于在待校验类别与目标对象匹配的情况下，根据关联图像序列筛选出包含目标对象的最优图像。

这里的筛选可以理解为去重，在多帧关联图像都包含目标对象时，只需要从中选择出信息更完整、准确度更高的最优图像即可。如果待校验类别与目标对象不匹配，则可以直接舍弃掉这一条关联图像序列。

可见，图2所示的装置，仅依赖图像的标注信息和帧序就可以完成图像的去重，可以应用于地图制作领域对地图外业采集数据的筛选，准确聚合同一路段的重复信息，区别于传统方案，不再依赖于GPS等位置信息对图像进行筛选，摆脱了GPS的位置偏差较大的问题。筛选后的图像可以用于人工审核，大大减小了人工审核的工作量和成本。人工审核后的图像可以用于地图构建，并进一步用于自动驾驶场景，在物流配送、外卖等业务领域有着广阔应用前景。

在本申请的一个实施例中，上述装置中，图像单元210，用于对采集的连续多帧图像，利用对象识别网络逐帧进行对象识别，得到各帧图像的对象标注信息。

在计算机视觉领域，对象识别是一项比较成熟的技术，对象识别又具体包括对象位置识别(也称为对象检测)和对象类别识别(也称为对象分类)。其中，对象位置识别所使用的深度神经网络可以选用更快速的基于区域的卷积神经网络Faster-RCNN、单次多边界框检测器SSD、YOLO系列网络等，对象类别识别所使用的深度神经网络可以包括比如VGG网络、ResNet系列网络、Inception系列网络，上述部分网络还没有统一的中文译名。

本申请中的对象识别网络可以包含对象位置识别和对象类别识别两个任务，分别采用如上述示例的深度神经网络实现；这两个任务也可以作为一个任务，通过一个深度神经网络输出包含对象类别和对象位置的对象标注信息。具体的实现可以选用任一种或多种现有技术，本申请对此不做限制。

在本申请的一个实施例中，上述装置中，所述对象标注信息包括对象位置和对象类别，关联单元220，用于根据对象位置从各帧图像中提取出与对象对应的子图像，子图像的帧序与母图像的帧序相同；根据对象类别，对各子图像进行分类，每一类子图像对应相同类别的对象；对于同一类子图像，根据子图像的帧序进行分组，分别将得到的每一组子图像按帧序排列，作为一个目标对象的关联图像序列。

举例来说，采集的图像有100帧，按采集时间先后确定帧序，从这100帧图像中，按照对象位置提取出与对象对应的子图像，得到100帧(实际一帧图像也可以包括多个对象，那么就可以提取出与这多个对象分别对应的多个子图像)子图像，再根据对象类别确定第1帧子图像至第10帧子图像、第12帧子图像以及第35帧子图像至第47帧子图像中均包含限速60km/h的交通标志，第8帧子图像至第16帧子图像中包含禁止鸣笛的交通标志，第19帧子图像至第27帧子图像中包含禁止通行的交通标志。

那么按照对象类别，第1帧子图像至第10帧子图像、第12帧子图像、第35帧子图像至第47帧子图像先被归为第一类，第8帧子图像至第16帧子图像被归为第二类，第19帧子图像至第27帧子图像被归为第三类。

之后可以根据帧序的连续性进行分组，在图像是连续采集的情况下，可以认为连续多帧图像如果包含同一对象，则这些图像的子图像就是同一组。例如，第1帧子图像至第10帧子图像、第12帧子图像、第35帧子图像至第47帧子图像分别划为三组。

但是很显然，第10帧子图像和第12帧子图像间隔也很近，之所以没有连续，可能是因为第11帧图像被错误识别，或者在采集时出现了问题，如被突然变道的车遮挡，因此如果严格按照帧序的连续进行分组，也可能出现问题。因此，在本申请的一个实施例中，上述装置中，关联单元220，用于若两帧子图像的帧间隔大于预设阈值，则将该两帧子图像分至不同的组；否则，将该两帧子图像分入同一组。

例如，设置预设阈值为2，那么第1帧子图像至第10帧子图像以及第12帧子图像就不会被分到两个组，而是同一组中。

另外，图像中可能包含多个对象，这些对象也可能存在属于相同对象类别的情况。举例来说，在交通标志较密集的地方，很可能由于交管部门为了增强提示以较近的间隔设置多个相同类别的交通标志，而这些交通标志虽然会被识别成同一对象类别，但实际并不是同一对象。

对于这一点，可以考虑到实际图像采集场景中，图像采集设备往往是不断运动的，那么拍摄得到的图像中，对象尺寸也会不断变化，并且具有连续性，基于这一点可以对组进行进一步的分割。例如，根据近大远小的透视关系，由于对象如交通标志通常是固定的，而道路采集车是运动的，因此拍摄到的多帧图像中，同一对象的尺寸一般是由小到大、并且变化幅度在一定范围内的。

以对象为人行横道线进行举例，如果前面连续多帧人行横道线的子图像尺寸由小到大依次递增，但当前帧人行横道线的子图像尺寸突然变小，并且与前一帧子图像的尺寸差距较大，很可能就是拍摄到了另外的一组人行横道线。此时虽然各子图像仍然帧序连续，但是应当对分组进行分割。

当然，上述实施例所示出的仅是比较简单的示例，在其他实施例中，可以根据图像来源、对象特点等设置不同的关联方式。最后得到的多组子图像，每组子图像是一个子图像序列，可以认为是一个目标对象的轨迹。

在本申请的一个实施例中，上述装置中，筛选单元240，用于将多个目标对象的关联图像的母图像取交集，从交集中筛选出包含多个目标对象的最优图像；和/或，根据同一目标对象的各关联图像的母图像中，目标对象的对象标注信息的置信度，选取出置信度最高的母图像作为该目标对象的最优图像；和/或，根据同一目标对象的各关联图像的尺寸大小，确定尺寸最大的关联图像，将确定的关联图像的母图像作为该目标对象的最优图像。

在确定关联图像序列确实对应于目标对象之后，问题在于如何进行去重。一种简单的方式就是随机选取即可，因为每一帧关联图像都与目标对象关联。但实际上各关联图像所包含的信息可能不完全相同，例如，虽然都包含某一对象，但是有的清晰，有的模糊，显然选取清晰的更好。

因此，本申请给出了几种示例。对于母图像而言，其可能包含的对象数量很多，及即多帧子图像均与一帧母图像有关，例如，有可能出现第1帧母图像至第10帧母图像中均有限速标志，第3帧母图像至第14帧母图像中均有禁停标志，第10帧母图像至第13帧母图像中均有禁止鸣笛标志的情况。此时，如果选取第10帧母图像以外的母图像作为最优图像，则一帧图像中仅能包含一个或两个交通标志，还需要为剩余的交通标志再挑选最优图像，而选取第10帧母图像作为最优图像则可以同时包含三个交通标志。

又例如，母图像的对象标注信息是根据深度神经网络输出的，而深度神经网络进行图像识别时会给出置信度，置信度越高一般越准确，因此可以将置信度最高的母图像作为该目标对象的最优图像。

再例如，子图像越大一般越清晰，因此可以挑选出尺寸最大的子图像，将它的母图像作为目标对象的最优图像。

结合上述示例，可以实现尽可能少地选取最优图像，使得最优图像包含的信息更准确和丰富。后续可以采用人工审核等方式进行再次校验。当然，另外的实施例中也可以选用其他方式进行最优图像的筛选。

在本申请的一个实施例中，上述装置中，校验单元230，用于基于所述关联图像序列，生成所述目标对象的平均图像；对所述平均图像进行对象类别识别，得到所述关联图像序列的待校验类别。

采用平均图像进行校验的方法，通过关联图像生成平均图像，能够根据平均图像与目标对象的关联性，推知关联图像与目标对象是否真正存在关联。也就是说，用平均图像来反映出关联图像序列的整体性。

举例来说，两帧白猫图像的平均图像，大概率还会被识别为一个白猫，但根据一帧白猫图像以及一帧被错误识别为白猫的花猫图像生成的平均图像，就有可能因为弱化了白猫的特征，更像一只花猫。

可见，关联图像中如果正确的目标对象居多，则平均图像也会大概率会校验通过，如果错误的目标对象居多，删除也是合理的，这一操作大大提高了关联图像的对象类别准确率。

如果待筛选的图像也是通过类别识别网络得到的，则在校验时可以选用与其不相同的类别识别网络，如、Siamese孪生网络、相似度度量网络等，当然也可以选用相同的类别识别网络，但效果稍差。

如果待校验类别与对象标注信息中的对象类别不一致，说明关联图像之间的差异性较大，不适宜进行整合去重。

另外，对关联图像序列进行对象类别识别，得到关联图像序列的待校验类别还可以采用其他方式，比如在一些实施例中，如果待筛选图像是通过A神经网络来确定标注信息的，则可以对关联图像序列中的每帧图像都利用B神经网络进行类别识别，再根据识别结果进行投票或比对，以确定关联图像序列的待校验类别；在另一些实施例中，还可以对关联图像进行聚类，根据聚类结果确定待校验类别，等等，在此不再一一介绍。

在本申请的一个实施例中，上述装置中，校验单元230，用于对关联图像序列中各关联图像的尺寸分别进行调整，以使调整后的关联图像的尺寸一致；将调整后的关联图像对应位置的像素值加和后求平均值，得到目标对象的平均图像。

各关联图像的尺寸可能并不相同，如果不考虑到这一点，直接根据各关联图像来生成平均图像，可能无法真实反映关联图像序列的整体性，例如前面实施例就提到子图像尺寸可能并不一致。因此以关联图像为子图像为例，在求平均图像时，对提取的各个子图像的尺寸进行调整，使得同一组子图像的尺寸相一致，以便进行后续的像素值求平均值。最终得到的平均图像是根据各关联图像综合得到的，因此基于平均图像进行校验，可以考察各关联图像是否真的存在关联关系。

综上所述，本申请的技术方案，在获取到带有对象标注信息的连续多帧图像后，根据对象标注信息和帧序，确定目标对象的关联图像序列，并识别出关联图像序列的待校验类别，在待校验类别与所述目标对象匹配的情况下，根据关联图像序列筛选出与包含目标对象的最优图像。该技术方案的有益效果在于，仅依赖图像的标注信息和帧序就可以完成图像的去重，可以应用于地图制作领域对地图外业采集数据的筛选，准确聚合同一路段的重复信息，区别于传统方案，不再依赖于GPS等位置信息对图像进行筛选，摆脱了GPS的位置偏差较大的问题。筛选后的图像可以用于人工审核，大大减小了人工审核的工作量和成本。人工审核后的图像可以用于地图构建，并进一步用于自动驾驶场景，在物流配送、外卖等业务领域有着广阔应用前景。

需要说明的是：

在此提供的算法和显示不与任何特定计算机、虚拟装置或者其它设备固有相关。各种通用装置也可以与基于在此的示教一起使用。根据上面的描述，构造这类装置所要求的结构是显而易见的。此外，本申请也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本申请的内容，并且上面对特定语言所做的描述是为了披露本申请的最佳实施方式。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本申请的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本申请并帮助理解各个发明方面中的一个或多个，在上面对本申请的示例性实施例的描述中，本申请的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本申请要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本申请的单独实施例。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本申请的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本申请的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本申请实施例的图像筛选装置中的一些或者全部部件的一些或者全部功能。本申请还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本申请的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

例如，图3示出了根据本申请一个实施例的电子设备的结构示意图。该电子设备300包括处理器310和被安排成存储计算机可执行指令(计算机可读程序代码)的存储器320。存储器320可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。存储器320具有存储用于执行上述方法中的任何方法步骤的计算机可读程序代码331的存储空间330。例如，用于存储计算机可读程序代码的存储空间330可以包括分别用于实现上面的方法中的各种步骤的各个计算机可读程序代码331。计算机可读程序代码331可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。这些计算机程序产品包括诸如硬盘，紧致盘(CD)、存储卡或者软盘之类的程序代码载体。这样的计算机程序产品通常为例如图4所述的计算机可读存储介质。图4示出了根据本申请一个实施例的一种计算机可读存储介质的结构示意图。该计算机可读存储介质400存储有用于执行根据本申请的方法步骤的计算机可读程序代码331，可以被电子设备300的处理器310读取，当计算机可读程序代码331由电子设备300运行时，导致该电子设备300执行上面所描述的方法中的各个步骤，具体来说，该计算机可读存储介质存储的计算机可读程序代码331可以执行上述任一实施例中示出的方法。计算机可读程序代码331可以以适当形式进行压缩。

应该注意的是上述实施例对本申请进行说明而不是对本申请进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本申请可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

Claims (8)

1.一种图像筛选方法，包括：获取待筛选的多帧图像，其中，各帧图像分别带有对象标注信息和帧序；根据所述对象标注信息和帧序，确定目标对象的关联图像序列；对所述关联图像序列进行对象类别识别，得到所述关联图像序列的待校验类别；在所述待校验类别与所述目标对象匹配的情况下，根据所述关联图像序列筛选出包含所述目标对象的最优图像，

所述获取待筛选的多帧图像包括：对采集的连续多帧图像，利用对象识别网络逐帧进行对象识别，得到各帧图像的对象标注信息，

所述对象标注信息包括对象位置和对象类别，所述根据所述对象标注信息和帧序，确定目标对象的关联图像序列包括：根据对象位置从各帧图像中提取出与对象对应的子图像，子图像的帧序与母图像的帧序相同；根据对象类别，对各子图像进行分类，每一类子图像对应相同类别的对象；对于同一类子图像，根据子图像的帧序进行分组，分别将得到的每一组子图像按帧序排列，作为一个目标对象的关联图像序列。

2.如权利要求1所述的图像筛选方法，其特征在于，所述对于同一类子图像，根据子图像的帧序进行分组包括：若两帧子图像的帧间隔大于预设阈值，则将该两帧子图像分至不同的组；否则，将该两帧子图像分入同一组。

3.如权利要求2所述的图像筛选方法，其特征在于，所述根据所述关联图像序列筛选出包含所述目标对象的最优图像包括：将多个目标对象的关联图像的母图像取交集，从交集中筛选出包含所述多个目标对象的最优图像；和/或，根据同一目标对象的各关联图像的母图像中，目标对象的对象标注信息的置信度，选取出置信度最高的母图像作为该目标对象的最优图像；和/或，根据同一目标对象的各关联图像的尺寸大小，确定尺寸最大的关联图像，将确定的关联图像的母图像作为该目标对象的最优图像。

4.如权利要求1-3中任一项所述的图像筛选方法，其特征在于，所述对所述关联图像序列进行对象类别识别，得到所述关联图像序列的待校验类别包括：基于所述关联图像序列，生成所述目标对象的平均图像；对所述平均图像进行对象类别识别，得到所述关联图像序列的待校验类别。

5.如权利要求4所述的图像筛选方法，其特征在于，所述基于所述关联图像序列，生成所述目标对象的平均图像包括：对所述关联图像序列中各关联图像的尺寸分别进行调整，以使调整后的关联图像的尺寸一致；将调整后的关联图像对应位置的像素值加和后求平均值，得到目标对象的平均图像。

6.一种图像筛选装置，包括：图像获取单元，用于获取待筛选的多帧图像，其中，各帧图像分别带有对象标注信息和帧序；关联单元，用于根据所述对象标注信息和帧序，确定目标对象的关联图像序列；校验单元，对所述关联图像序列进行对象类别识别，得到所述关联图像序列的待校验类别；筛选单元，用于在所述待校验类别与所述目标对象匹配的情况下，根据所述关联图像序列筛选出包含所述目标对象的最优图像，

所述图像获取单元还用于：对采集的连续多帧图像，利用对象识别网络逐帧进行对象识别，得到各帧图像的对象标注信息，

所述对象标注信息包括对象位置和对象类别，所述关联单元还用于：根据对象位置从各帧图像中提取出与对象对应的子图像，子图像的帧序与母图像的帧序相同；根据对象类别，对各子图像进行分类，每一类子图像对应相同类别的对象；对于同一类子图像，根据子图像的帧序进行分组，分别将得到的每一组子图像按帧序排列，作为一个目标对象的关联图像序列。

7.一种电子设备，其中，该电子设备包括：处理器；以及被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行如权利要求1-5中任一项所述的方法。

8.一种计算机可读存储介质，其中，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被处理器执行时，实现如权利要求1-5中任一项所述的方法。