CN108932273B - 图片筛选方法及装置 - Google Patents

Abstract

本发明实施例公开了一种图片筛选方法及装置，属于图像识别领域。该方法包括：获取n张众包图片，n≥2，n张众包图片由同一终端上传；对各张众包图片进行目标物体检测，确定出候选众包图片；根据各张候选众包图片对应的地理位置，对候选众包图片进行聚类，聚类后同一类中各张候选众包图片对应的地理位置位于相同区域；根据目标物体检测结果，从聚类后的各个类中筛选出目标众包图片，目标物体检测结果中包含指示候选众包图片质量的表征参数。采用本发明实施例提供的图片筛选方法，后续录入人员只需要根据目标众包图片中的有效信息对地图数据进行更新，而不再需要遍历所有众包图片进行图片筛选，提高了识别效率。

Description

图片筛选方法及装置

技术领域

本发明实施例涉及图像识别领域，特别涉及一种图片筛选方法及装置。

背景技术

用户使用导航应用进行导航时，导航应用中地图数据的准确性将直接影响最终的导航效果。

为了提高导航应用中地图数据的准确性，地图平台通常采用众包采集的方式，接收终端实时采集并上传包含道路图像的众包图片。对于接收到的各张众包图片，录入人员通过人眼识别的方式，从大量众包图片中筛选出包含特定物体的图片，比如，录入人员筛选出包含路牌、红绿灯以及违章摄像头的图片，从而根据筛选出的众包图片，对相应地理位置处的地图数据进行更新，以便地图平台向安装有导航应用的终端下发更新后的地图数据。

然而，进行众包采集时，地图平台将接收到大量众包图片，依靠人眼识别的方式对大量众包图片进行筛选的效率较低，且容易造成遗漏。

发明内容

为了解决进行众包采集时，依靠人眼识别的方式对大量众包图片进行筛选的效率较低，且容易造成遗漏的问题，本发明实施例提供了一种图片筛选方法及装置。所述技术方案如下：

根据本发明实施例的第一方面，提供了一种图片筛选方法，该方法包括：

获取n张众包图片，n≥2，n张众包图片由同一终端上传；

对各张众包图片进行目标物体检测，确定出候选众包图片；

根据各张候选众包图片对应的地理位置，对候选众包图片进行聚类，聚类后同一类中各张候选众包图片对应的地理位置位于相同区域；

根据目标物体检测结果，从聚类后的各个类中筛选出目标众包图片，目标物体检测结果中包含指示候选众包图片质量的表征参数，目标众包图片的质量优于其他候选众包图片的质量。

根据本发明实施例的第二方面，提供了一种图片筛选装置，该装置包括

获取模块，用于获取n张众包图片，n≥2，n张众包图片由同一终端上传；

检测模块，用于对各张众包图片进行目标物体检测；

聚类模块，用于根据各张候选众包图片对应的地理位置，对候选众包图片进行聚类，聚类后同一类中各张候选众包图片对应的地理位置位于相同区域；

筛选模块，用于根据目标物体检测结果，从聚类后的各个类中筛选出目标众包图片，目标物体检测结果中包含指示候选众包图片质量的表征参数，目标众包图片的质量优于其他候选众包图片的质量。

根据本发明实施例的第三方面，提供了一种服务器，该服务器包括处理器和存储器，存储器中存储有至少一条指令，该指令由处理器加载并执行如下步骤：

获取n张众包图片，n≥2，n张众包图片由同一终端上传；

对各张众包图片进行目标物体检测，确定出候选众包图片；

根据各张候选众包图片对应的地理位置，对候选众包图片进行聚类，聚类后同一类中各张候选众包图片对应的地理位置位于相同区域；

根据目标物体检测结果，从聚类后的各个类中筛选出目标众包图片，目标物体检测结果中包含指示候选众包图片质量的表征参数，目标众包图片的质量优于其他候选众包图片的质量。

根据本发明实施例的第四方面，提供了一种计算机可读存储介质，该存储介质中存储有至少一条指令，该指令由处理器加载并执行如下步骤：

获取n张众包图片，n≥2，n张众包图片由同一终端上传；

对各张众包图片进行目标物体检测，确定出候选众包图片；

根据各张候选众包图片对应的地理位置，对候选众包图片进行聚类，聚类后同一类中各张候选众包图片对应的地理位置位于相同区域；

根据目标物体检测结果，从聚类后的各个类中筛选出目标众包图片，目标物体检测结果中包含指示候选众包图片质量的表征参数，目标众包图片的质量优于其他候选众包图片的质量。

本发明实施例中，获取到众包图片后，首先对众包图片进行目标物体检测，从而筛选出包含目标物体的候选众包图片；进一步的，根据候选众包图片对应的地理位置，对在同一区域采集到的候选众包图片进行聚类，进而根据目标物体检测结果中指示候选众包图片质量的表征参数，从类中筛选出质量最佳的目标众包图片，使得后续录入人员只需要根据目标众包图片中的有效信息对地图数据进行更新，而不再需要遍历所有众包图片进行图片筛选，提高了识别效率。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了本发明一个实施例提供的实施环境的示意图；

图2是本发明各个实施例提供的图片筛选方法的原理示意图；

图3A示出了本发明一个实施例提供的图片筛选方法的流程图；

图3B是图3A所示图片筛选方法的实施示意图；

图4示出了本发明另一个实施例提供的图片筛选方法的流程图；

图5是图4所示图片筛选方法所涉及的目标物体检测过程的实施示意图；

图6是标识候选众包图片中目标物体的实施示意图；

图7是服务器从同一类中筛选目标众包图片的实施示意图；

图8是服务器对候选众包图片进行过滤的方法流程图；

图9示出了本发明一个实施例提供的图片筛选装置的结构方框图；

图10示出了本发明一个实施例提供的服务器的结构方框图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

在本文中提及的“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。

请参考图1，其示出了本发明一个实施例提供的实施环境的示意图，该实施环境中包括终端110和服务器120。

终端110是具有图像采集以及数据传输功能的电子设备。该电子设备为智能手机、平板电脑或车载行车记录仪等等。本发明各个实施例中，终端110被设置在车辆中，用于录制行车影像，并将行车影像上传至服务器120。在一种可能的实施方式中，终端110是安装有导航应用程序的智能手机，车辆行进过程中，终端110录制行车影像，并将行车影像上传至导航应用程序的后台服务器。

本发明实施例中，终端110还具有定位功能，该定位功能通过GPS(GlobalPositioning System，全球定位系统)、北斗导航系统或伽利略卫星导航系统实现。终端110在录制行车影像的同时，实时获取录制时刻的地理位置，并将该地理位置与行车影像一同上传至服务器120。

终端110与服务器120之间通过有线或无线网络相连。

服务器120为一台服务器、由若干台服务器组成的服务器集群或云计算中心。本发明实施例中，服务器120用于根据各个终端上传的行车影像对地图数据进行更新。在一种可能的实施方式中，服务器120为终端110中安装的导航应用程序的后台服务器。

本发明实施例中，服务器120具有物体识别功能，借助该物体识别功能，服务器120能够识别出行车影像中包含的路牌、红绿灯以及违章摄像头等物体。

可选地，上述的无线网络或有线网络使用标准通信技术和/或协议。网络通常为因特网、但也可以是任何网络，包括但不限于局域网(Local Area Network，LAN)、城域网(Metropolitan Area Network，MAN)、广域网(Wide Area Network，WAN)、移动、有线或者无线网络、专用网络或者虚拟专用网络的任何组合)。在一些实施例中，使用包括超文本标记语言(Hyper Text Mark-up Language，HTML)、可扩展标记语言(Extensible MarkupLanguage，XML)等的技术和/或格式来代表通过网络交换的数据。此外还可以使用诸如安全套接字层(Secure Socket Layer，SSL)、传输层安全(Transport Layer Security，TLS)、虚拟专用网络(Virtual Private Network，VPN)、网际协议安全(Internet ProtocolSecurity，IPsec)等常规加密技术来加密所有或者一些链路。在另一些实施例中，还可以使用定制和/或专用数据通信技术取代或者补充上述数据通信技术。

需要说明的是，上述实施例仅以实施环境中包含一个终端110为例进行示意性说明，在具体实施过程中，服务器120采用众包采集的方式，接收大量终端110上传的行车影像，进而基于大量行车影像对地图数据进行更新，本发明实施例并不对终端110的数量进行限定。

与相关技术中，服务器接收到终端上报的众包图片(即行车影像)后，直接交由录入人员采用人眼识别的方式，从大量众包图片中筛选出包含的指定物体的众包图片不同，如图2所示，本发明各个实施例中，针对获取到的众包图片，服务器首先通过物体检测器对众包图片进行目标物体识别，将不包含目标物体的众包图片(即无效众包图片)进行过滤，得到包含目标物体的候选众包图片；进一步的，服务器根据候选众包图片对应的位置信息对候选众包图片进行聚类，从而将在相同区域采集到的候选众包图片聚合到同一类中。针对聚类后各个类中的候选众包图片，服务器基于物体检测器的目标物体检测结果，从每个类中筛选出质量较佳的目标众包图片，并最终将该目标众包图片交由录入人员，以便录入人员基于该目标众包图片对地图数据进行更新。显然，本发明实施例中，大量众包图片经过物体检测器筛选以及聚类筛选后，最终输出少量具有代表性且质量较佳的众包图片，极大地提高了录入人员的效率。下面采用示意性的实施例进行说明。

请参考图3A，其示出了本发明一个实施例提供的图片筛选方法的流程图，本实施例以该图片筛选方法用于图1所示的服务器120为例进行说明，该方法包括：

步骤301，获取n张众包图片，n≥2，n张众包图片由同一终端上传。

可选的，该n张众包图片为同一终端上传的行车影像中连续的n帧图像。比如，服务器接收到终端上传的行车影像后，每个预定时间间隔(例如0.5s)从行车影像中截取一帧图像，从而得到行车影像对应的n张众包图片。在其他可能的实施方式中，为了节省终端流量，终端从行车影像中截取图像，并将截取到的图像作为众包图片上传至服务器。

示意性的，如图3B所示，服务器获取n张众包图片，且n张众包图片为行车过程中连续的图像帧。

可选的，服务器获取众包图片的同时，获取各张众包图片对应的地理位置，该地理位置由终端上报，用于指示采集众包图片时终端所处的位置。可选的，该地理位置采用GPS坐标或大地坐标表示。

可选的，由于服务器会同时接收到大量终端上传的众包图片，因此服务器对众包图片与终端标识进行关联存储。

步骤302，对各张众包图片进行目标物体检测，确定出候选众包图片。

由于各张众包图片中未必都包含目标物体，若将不包含目标物体的众包图片交由录入人员进行识别，将影响识别效率，因此，为了避免上述问题，本发明实施例中，针对获取到的众包图片，服务器首先采用人工智能识别技术，对众包图片进行目标物体检测，从而过滤掉不包含目标物体的众包图片。

可选的，针对检测出的不包含目标物体的候选众包图片，服务器可以直接对其进行过滤，也可以在后续筛选目标众包图片过程中对其进行过滤，本发明实施例并不对此进行限定。

可选的，该目标物体包括圆形道路指示牌、方形道路指示牌、三角形道路指示牌、红绿灯、测速雷达、违章摄像头等等。本发明实施例并不对目标物体的具体类型进行限定。

示意性的，如图3B所示，经过目标物体检测后，服务器确定出m张候选众包图片，m≤n。

可选的，为了保证目标物体检测的召回率(即提高识别率)，服务器中设置有至少两种物体检测器，并同时采用两种物体检测器对众包图片进行检测。当存在至少一种物体检测器检测到众包图片中包含目标物体时，服务器即将众包图片确定为候选众包图片。

步骤303，根据各张候选众包图片对应的地理位置，对候选众包图片进行聚类，聚类后同一类中各张候选众包图片对应的地理位置位于相同区域。

由于众包图片是终端在车辆行进过程中连续采集到的，因此，相近位置采集到的众包图片所描述的场景较为相似。为了方便后续筛选，服务器对描述相似场景的众包图片进行聚类，以便后续从每个场景中挑选出质量最佳的众包图片。

在一种可能的实施方式中，服务器获取各张候选众包图片对应的地理位置，从而根据该地理位置，将在相同区域采集到的候选众包图片聚合到同一类中，同一类中各个候选众包图片所描述的道路场景相似。

示意性的，如图3B所示，服务器根据地理位置，将m个候选众包图片聚类为k个类。

步骤304，根据目标物体检测结果，从聚类后的各个类中筛选出目标众包图片，目标物体检测结果中包含指示候选众包图片质量的表征参数，目标众包图片的质量优于其他候选众包图片的质量。

由于同一类中各张候选众包图片描述的场景相似，因此，同一类中的各张候选众包图片包含的目标物体也相似。为了进一步降低录入人员的识别工作量，可选的，服务器根据目标物体检测结果中指示候选众包图片质量的表征参数，从各个类中筛选出质量最佳目标众包图片，并将该目标众包图片交由录入人员进行进一步识别。其中，表征参数包括检测器得分、目标物体尺寸或检测重合度中的至少一种。

示意性的，如图3B所示，服务器将第1类中的候选众包图片3确定为目标众包图片，将第2类中的候选众包图片11确定为目标众包图片，将第k类中的候选众包图片m确定为目标众包图片。

由于筛选出的目标众包图片的质量优于其他候选众包图片的质量，因此，录入人员能够快速准确识别出目标众包图片中包含的目标物体，并确保道路场景中所有的目标物体均被识别，避免发生遗漏。

综上所述，本发明实施例中，获取到众包图片后，首先对众包图片进行目标物体检测，从而筛选出包含目标物体的候选众包图片；进一步的，根据候选众包图片对应的地理位置，对在同一区域采集到的候选众包图片进行聚类，进而根据目标物体检测结果中指示候选众包图片质量的表征参数，从类中筛选出质量最佳的目标众包图片，使得后续录入人员只需要根据目标众包图片中的有效信息对地图数据进行更新，而不再需要遍历所有众包图片进行图片筛选，提高了识别效率。

请参考图4，其示出了本发明另一个实施例提供的图片筛选方法的流程图，本实施例以该图片筛选方法用于图1所示的服务器120为例进行说明，该方法包括：

步骤401，获取n张众包图片，n≥2，n张众包图片由同一终端上传。

本步骤的实施方式与上述步骤301相似，本实施在此不再赘述。

步骤402，通过至少两种物体检测器对众包图片进行目标物体检测。

为了保证目标物体检测的召回率，服务器中预先设置有至少两种物体检测器，在对众包图片进行目标物体检测时，服务器采用不同的物体检测器，对众包图片进行并行检测，并分别记录各个物体检测器的检测结果。

在一种可能的实施方式中，服务器中设置有基于HOG(Histogram of OrientedGradient，梯度直方图)特征的级联检测器以及DPM(Deformable Part Model，可变组件模型)检测器，相应的，服务器联合两种检测器分别为众包图片进行目标物体检测。

针对采用DPM检测器进行目标物体检测的具体方式，获取到众包图片后，服务器生成众包图片对应的不同分辨率的特征图。如图5所示，服务器根据众包图片51，生成原分辨率特征图511、2倍分辨率特征图512以及4倍分辨率特征图513。

服务器预先离线训练目标物体的模型，该模型中包含根滤波器(Root Filter)对应的根模型、组件滤波器(Part Filter)对应的组件模型以及经过高斯滤波后的空间模型，其中，组件滤波器对应组件模型的模型分辨率高于根滤波器对应根模型的模型分辨率(即组件模型相较于根模型更加精细)。对于生成的不同分辨率的特征图，服务器采用相同分辨率的根模型或组件模型对其进行响应，从而得到相应的模型响应。其中，该模型响应即用于指示特征图与根模型或组件模型的匹配度，且模型响应越高，标识模型与特征图的匹配度越高。示意性的，如图5所示，服务器采用根模型52对原分辨率特征图511进行响应，得到根模型响应；采用2倍分辨率的组件模型53对2倍分辨率特征图512进行响应，得到根模型响应；采用4倍分辨率的组件模型54对4倍分辨率特征图513进行响应，得到根模型响应。进一步的，服务器对得到的各个模型响应进行响应变化处理，从而得到综合模型响应，该综合模型响应即为DPM检测器的目标物体检测结果。

在其他可能的实施方式中，服务器还可以使用基于深度学习CNN(ConvolutionalNeural Networks，卷积神经网络)的物体检测器对众包图片进行目标物体检测，本发明实施例并不对物体检测器的具体类型进行限定。

需要说明的是，当物体检测器的检测能力较强时(即使用该物体检测器进行目标物体检测的召回率较高)，服务器也可以单独使用一种物体检测器对众包图片进行检测，本发明实施例并不对此进行限定。

当存在至少一种物体检测器检测到众包图片中包含目标物体时，服务器即确定当前众包图片中包含目标物体，并执行下述步骤403；当至少两种物体检测器均未检测到众包图片中包含目标物体时，服务器确定当前众包图片中不包含目标物体，对当前众包图片进行过滤，并对下一张众包图片进行检测。

步骤403，若存在至少一种物体检测器检测到众包图片中包含目标物体时，则确定众包图片为候选众包图片。

可选的，对于筛选出的候选众包图片，服务器在候选众包图片中标识出检测到的目标物体。后续录入人员根据筛选出的众包图片对地图数据进行更新时，即可根据候选众包图片中的标识快速定位目标物体，免去了人工识别的过程，并避免发生遗漏。示意性的，如图6所示，服务器使用线框61在各张候选众包图片中，对检测出的目标物体(圆形标示牌)进行标识。

步骤404，获取当前候选众包图片对应的第一地理位置。

筛选出候选众包图片后，服务器进一步根据各个候选众包图片的地理位置，将描述相同道路场景的候选众包图片聚合到同一类中。

可选的，在进行聚类时，服务器按照图片的采集顺序获取候选众包图片，并从数据库中获取当前候选众包图片对应的第一位置信息，该第一地理位置即用于指示采集当前候选众包图片时，终端所处的地理位置。可选的，该第一地理位置为终端的GPS坐标。

需要说明的是，在聚类初始阶段，服务器首先构建第1类，并将当前候选众包图片作为第一个候选众包图片添加到第1类中。

步骤405，获取第i类中第一个候选众包图片对应的第二地理位置，i≥1，第i类为上一个创建的类。

为了确定当前候选众包图片是否属于已经创建类，服务器获取上一个创建类(即第i类)中第一个候选众包图片对应的第二地理位置。比如，服务器中创建有2个类，其中，第1类中包含候选众包图片1、2、3，第2类中包含候选众包图片4、5、6、7。在对当前候选众包图片(候选众包图片8)进行聚类时，服务器即获取第2类中第一个候选众包图片(即候选众包图片4)的第二地理位置。

步骤406，根据第一地理位置和第二地理位置计算位置间距。

进一步的，服务器通过计算第一地理位置和第二地理位置的位置间距，确定当前候选众包图片是否属于上一个创建的类。由于获取到的众包图片由同一终端上传，且为行进过程中连续采集到的道路图像，因此，若当前候选众包图片不属于上一个创建的类，其必然不属于之前创建的任意类。

可选的，计算得到位置间距后，服务器检测到该位置间距是否大于第一距离阈值。若该位置间距大于第一距离阈值，则确定当前候选众包图片不属于已创建的类，并执行下述步骤408；若该位置间距小于第一距离阈值，则确定当前候选众包图片属于上一个创建的类，并执行下述步骤407。比如，该第一距离阈值为50m。

步骤407，若位置间距小于第一距离阈值，则将当前候选众包图片聚合到第i类中。

当当前候选众包图片属于最近构建的类(即第i类)时，服务器将当前候选众包图片添加到第i类中。

结合上述步骤405中的示例，当检测到候选众包图片4和候选众包图片8的对应地理位置的位置间距小于第一距离阈值时，服务器即将候选众包图片8聚合到第2类中。

步骤408，若位置间距大于第一距离阈值，则创建第i+1类，并将当前候选众包图片确定为第i+1类中的第一个候选众包图片。

当当前候选众包图片不属于已创建的类时，服务器创建第i+1类，并将当前候选众包图片作为第一个候选众包图片添加到第i+1类中。对后续候选众包图片进行聚类时，服务器即检测当前候选众包图片与第i+1类中第一个候选众包图片的位置间距是否小于第一距离阈值。

结合上述步骤405中的示例，当检测到候选众包图片4和候选众包图片8的对应地理位置的位置间距大于第一距离阈值时，服务器即创建第3类，并将将候选众包图片8作为该类中的第一个候选众包图片添加到第3类中。

经过上述步骤401至409，服务器将无效众包图片(不包含目标物体)过滤，并实现了对描述相同道路场景的候选众包图片进行聚合。

步骤409，根据当前类中各个候选众包图片各自对应的目标物体检测结果，计算各个候选众包图片对应的置信度分数，置信度分数用于指示候选众包图片中各个目标物体的可信度分数之和。

针对聚合后的各个类，服务器根据同一类中各张候选众包图片对应的目标物体检测结果，计算得到各张候选众包图片对应的置信度分数，进而基于该置信度分数确定出可信度最高且质量最佳的目标众包图片。

在一种可能的实施方式中，本步骤包括如下步骤。

一、获取目标物体检测结果中包含表征参数，该表征参数包括的检测器得分、目标物体尺寸或检测重合度中的至少一种。

可选的，上述步骤402中，使用物体检测器对众包图片进行检测后，服务器输出的目标物体检测结果中包含检测器得分，该检测器得分用于指示目标物体检测结果的置信度，其中，检测器得分越高，表示该检测出的目标物体的置信度越高(即目标物体的检测准确性越高)。在一种可能的实现方式中，采用DPM检测器进行目标物体检测时，该检测器得分即为综合模型响应的响应得分。

可选的，使用物体检测器对众包图片进行检测时，对于检测出的目标物体，服务器获取该目标物体在众包图片中的尺寸，且目标物体的尺寸越大，表明该目标物体越清晰，相应的，该目标物体的置信度越高。可选的，该尺寸根据目标物体在众包图片中所占像素点的数量确定。

示意性的，如图7所示，候选众包图片71、72以及73聚合到同一类，且候选众包图片71中目标物体711的尺寸为10px，候选众包图片72中目标物体721的尺寸为18px，候选众包图片73中目标物体731的尺寸为35px。

可选的，当使用至少两种物体检测器对同一众包图片进行检测时，不同物体检测器的检测结果可能会出现重合(即不同物体检测器在众包图片上检测到同一目标物体)。相应的，当检测结果出现重合时，表明检测出的目标物体的置信度越高，因此，不同物体检测器对应目标物体检测结果的检测重合度可以以表征众包图片的置信度。比如，该当目标物体检测结果出现重合时，该检测重合度即为1，当目标物体检测结果未出现重合时，该检测重合度即为0。需要说明的是，当仅采用一种物体检测器进行检测时，服务器无需获取检测重合度。

二、根据各项表征参数各自对应的权重，加权计算置信度分数。

服务器根据候选众包图片中，各个目标物体对应的上述三种表征参数中的至少一种，计算得到该目标物体对应的可信度分数，并对候选众包图片中各个目标物体对应的可信度分数进行累加，计算得到该候选众包图片的置信度分数。

在一种可能的实施方式中，不同表征参数对应的权重不同，因此，在计算置信度分数时，服务器需要结合各项表征参数对应的权重，进行加权计算，其中，该权重为预先设置。

在一种可能的实施方式中，检测器得分对应的权重≥检测重合度≥目标物体尺寸。

可选的，在进行加权计算前，服务器将检测器得分、目标物体尺寸以及检测重合度归一到同一标准上。在一种可能的实施方式中，服务器计算同一类中各个候选众包图片对应检测器得分的平均值，并利用该平均值对各个候选众包图片对应检测器得分进行归一处理。目标物体尺寸以及检测重合度的相似，本实施例在此不再赘述。

比如，归一到同一标准后，检测器得分＝当前候选众包图片中目标物体的检测器得分/同一类中该目标物体的检测器得分的平均值；目标物体尺寸＝当前候选众包图片中目标物体的尺寸/同一类中该目标物体的尺寸平均值；检测重合度＝当前候选众包图片中目标物体的检测重合度/同一类中该目标物体的检测重合度平均值。

示意性的，图7中，服务器计算得到候选众包图片71的置信度分数为1.8，候选众包图片72的置信度分数为2.5，候选众包图片73的置信度分数为3.5。

步骤410，将最高置信度分数对应的候选众包图片确定为目标众包图片。

示意性的，如图7所示，服务器将最高置信度分数对应的候选众包图片73确定为目标众包图片。

步骤411，检测是否符合终止筛选条件。

在一种可能的实施方式中，当筛选出一张目标众包图片后，服务器并非跳转至下一类进行目标众包图片筛选，而是进一步检测当前类是否符合预设的终止筛选条件，并在检测到符合终止筛选条件时，执行下述步骤413，在检测到不符合终止筛选条件时，执行下述步骤412。

可选的，该终止筛选条件包括如下条件中的至少一种：

1、筛选出的目标众包图片在所在类中所占的比例达到比例阈值。

在一种可能的实施方式中，每筛选出一张目标众包图片后，服务器即计算已筛选出的目标众包图片的数量占所在类中候选众包图片总量的比例，若该比例大于比例阈值(比如30％)，服务器即确定满足终止筛选条件。

示意性的，如图7所示，服务器筛选出候选众包图片73后，计算得到该比例为1/3＞30％，从而确定满足终止筛选条件。

2、当前类中剩余的候选众包图片为连续的图像帧。

在一种可能的实施方式中，每张众包图片对应各自的图像帧编号，该图像帧编号即用于指示其采集顺序。每筛选出一张目标众包图片后，服务器检测当前类中所有剩余候选众包图片的初始编号是否连续(由于筛选候选众包图片时会过滤部分众包图片，因此描述不同道路场景的候选众包图片的初始编号不连续，描述相同道路场景的候选众包图片的初始编号连续)，若检测到当前类中所有剩余候选众包图片的初始编号连续，服务器则确定满足终止筛选条件(由于剩余候选众包图片均描述相同的道路场景，因此不再筛选，避免信息冗余)。

3、当前类中剩余的候选众包图片对应地理位置之间的最大位置间距小于第二距离阈值。

在一种可能的实施方式中，每筛选出一张目标众包图片后，服务器计算各张剩余候选众包图片对应地理位置之间的位置间距，若最大位置间距小于第二距离阈值(比如10米)，服务器确定剩余候选众包图片为连续的图像帧，并停止在当前类中进行筛选。

步骤412，若不符合终止筛选条件，则从剩余候选众包图片中筛选目标众包图片。

在一种可能的实施方式中，本步骤包括如下步骤。

一、根据剩余候选众包图片与最近一次筛选出的目标众包图片之间的位置间距，对剩余候选众包图片对应的置信度分数进行修正。

当同一类中的候选众包图片描述车辆转弯的场景时，不同候选众包图片所描述的道路场景可能不同，比如，同一类中前三张候选众包图片描述转弯前的道路场景，而后三张候选众包图片描述转弯后的道路场景。若仅从该类候选众包图片中筛选一张目标众包图片将造成遗漏，因此，为了避免发生遗漏，当不符合终止筛选条件时，服务器进一步计算剩余候选众包图片与最近一次筛选出的目标众包图片之间的位置间距。

在一种可能的实施方式中，服务器根据该位置间距以及对应的权重，计算得到相应的修正分数，并在置信度分数(上述步骤409计算得到)的基础上加上该修正分数，从而得到修正后的置信度分数。

二、根据修正后的置信度分数筛选目标众包图片。

进一步的，服务器根据修正后的置信度分数，从剩余候选众包图片中进一步筛选目标众包图片。在一种可能的实施方式中，服务器将最大修正后置信度分数对应的候选众包图片确定为目标众包图片。

步骤413，若符合终止筛选条件，则从下一个类中筛选目标众包图片。

当检测到符合终止筛选条件，则从下一个类中筛选目标众包图片，直至对所有类完成目标众包图片筛选。

综上所述，本发明实施例中，获取到众包图片后，首先对众包图片进行目标物体检测，从而筛选出包含目标物体的候选众包图片；进一步的，根据候选众包图片对应的地理位置，对在同一区域采集到的候选众包图片进行聚类，进而根据目标物体检测结果中指示候选众包图片质量的表征参数，从类中筛选出质量最佳的目标众包图片，使得后续录入人员只需要根据目标众包图片中的有效信息对地图数据进行更新，而不再需要遍历所有众包图片进行图片筛选，提高了识别效率。

本实施例中，服务器通过使用至少两种物体检测器对众包图片进行目标物体检测，避免使用单一物体检测器进行检测时检测结果召回率较低的问题，有利于后续对候选众包图片进行聚类。

本实施例中，服务器根据候选众包图片的地理位置，将描述相同道路场景的候选众包图片聚合到同一类中，并从中筛选出质量最佳的目标众包图片，从而避免向录入人员提供相同道路场景下的多张众包图片所造成的信息冗余。

本实施例中，服务器基于检测器得分、目标物体尺寸和检测重合度，加权计算各张候选众包图片的置信度分数，并根据该置信度分数筛选目标众包图片，进一步提高了筛选出的目标众包图片的质量，有利于后续录入人员对目标众包图片进行识别。

采用多物体检测器进行联合检测时，召回率的提高会带来虚检问题。为了进一步提高目标物体检测的准确性，避免造成虚检，如图8所示，上述步骤403之后还包括如下步骤。

步骤414，提取候选众包图片中目标物体的物体特征，物体特征包括纹理特征和/或颜色特征。

通过上述步骤403筛选出候选众包图片后，服务器进一步提取各个候选众包图片中，检测出的目标物体的物体特征，可选的，该物体特征为候选众包图片中目标物体的纹理特征和/或颜色特征。

在一种可能的实施方式中，服务器采用SIFT(Scale-invariant featuretransform，尺度不变特征变换)特征提取方式，提取候选众包图片中目标物体的纹理特征。比如，服务器将候选众包图片中目标物体的图像归一化到预定尺寸(比如40px×40px)，并在单一尺度上提取SIFT特征，从而对SIFT特征进行L2范式归一化后得到目标物体的纹理特征。

在一种可能的实施方式中，服务器在提取颜色特征时，提取目标物体的RGB(Red-Green-Blue)颜色直方图，并将经过L2范式归一化处理的颜色直方图作为目标物体的颜色特征，和/或，服务器提取目标物体的颜色矩，并将该颜色矩作为目标物体的颜色特征。

在其他可能的实施方式中，服务器除了从纹理和颜色两种维度提取目标物体的特征外，还可以从其他维度提取目标物体的特征，本发明实施例并不对此进行限定。

步骤415，通过预设特征分类器对物体特征进行分类，预设特征分类器用于检测输入的物体特征是否属于目标物体特征。

其中，该预设特征分类器根据大量目标物体以及非目标物体(与目标物体纹理特征相似但颜色特征不同，或，颜色特征相似但纹理特征不同)的图像训练生成。可选的，该预设特征分类器为支持SVM(Support Vector Machine，支持向量机)的分类器。

在一种可能的实施方式中，服务器将候选众包图片中目标物体的图像输入该预设特征分类器，由预设特征分类器对输入的物体特征进行分类，并输出相应的分类结果，该分类结果中包含输入物体特征所属类别(属于目标物体特征或非目标物体特征)以及对应的分类结果置信度。

其中，该目标物体特征为预先从指定目标物体图像中提取到的特征。比如，该目标物体特征是预先从路牌图像、红绿灯图像或违章摄像头图像中提取到的纹理特征和/或颜色特征。

步骤416，若分类结果指示物体特征不属于目标物体特征，则过滤候选众包图片。

当分类结果指示候选众包图片中物体特征不属于目标物体特征时，服务器即确定该候选众包图片为虚检，并将该候选众包图片过滤。

进一步的，服务器获取过滤后各张候选众包图片对应的地理位置，并基于该地理位置，对过滤后的候选众包图片进行聚类。

本实施例中，通过采用上述特征分类机制，服务器在确保目标物体检测召回率的同时，避免虚检所造成的影响(比如能够过滤出诸如圆形车轮一类的虚检样本)，进一步提高了目标物体检测的准确性。

下述为本发明装置实施例，对于装置实施例中未详尽描述的细节，可以参考上述一一对应的方法实施例。

请参考图9，其示出了本发明一个实施例提供的图片筛选装置的结构方框图。该图片筛选装置通过硬件或者软硬件的结合实现成为图1中服务器120的全部或者一部分。该装置包括：获取模块910、检测模块920、聚类模块930和筛选模块940。

获取模块910，用于获取n张众包图片，n≥2，所述n张众包图片由同一终端上传；

检测模块920，用于对各张众包图片进行目标物体检测，确定出候选众包图片；

聚类模块930，用于根据各张候选众包图片对应的地理位置，对所述候选众包图片进行聚类，聚类后同一类中各张候选众包图片对应的地理位置位于相同区域；

筛选模块940，用于根据目标物体检测结果，从聚类后的各个类中筛选出目标众包图片，所述目标物体检测结果中包含指示候选众包图片质量的表征参数，所述目标众包图片的质量优于其他候选众包图片的质量。

可选的，所述检测模块920，包括：

检测单元，用于通过至少两种物体检测器对所述众包图片进行目标物体检测；

确定单元，用于当存在至少一种物体检测器检测到所述众包图片中包含目标物体时，确定所述众包图片为候选众包图片。

可选的，所述装置，还包括：

提取模块，用于提取所述候选众包图片中目标物体的物体特征，所述物体特征包括纹理特征和/或颜色特征；

分类模块，用于通过预设特征分类器对所述物体特征进行分类，所述预设特征分类器用于检测输入的物体特征是否属于目标物体特征；

过滤模块，用于当分类结果指示所述物体特征不属于所述目标物体特征时，过滤所述候选众包图片；

所述聚类模块，还用于根据过滤后各张候选众包图片对应的地理位置，对过滤后的候选众包图片进行聚类。

可选的，所述聚类模块，包括：

第一获取单元，用于获取当前候选众包图片对应的第一地理位置；

第二获取单元，用于获取第i类中第一个候选众包图片对应的第二地理位置，i≥1，所述第i类为上一个创建的类；

计算单元，用于根据所述第一地理位置和所述第二地理位置计算位置间距；

第一聚类单元，用于当所述位置间距小于第一距离阈值时，将所述当前候选众包图片聚合到所述第i类中；

第二聚类单元，用于当所述位置间距大于所述第一距离阈值时，创建第i+1类，并将所述当前候选众包图片确定为所述第i+1类中的第一个候选众包图片。

可选的，所述筛选模块940，包括：

计算模块，用于根据当前类中各个候选众包图片各自对应的目标物体检测结果，计算各个候选众包图片对应的置信度分数，所述置信度分数用于指示候选众包图片中各个目标物体的可信度分数之和；

确定模块，用于将最高置信度分数对应的候选众包图片确定为所述目标众包图片；

检测模块，用于检测是否符合终止筛选条件；

第一筛选单元，用于当不符合所述终止筛选条件时，从当前类中剩余的候选众包图片中筛选所述目标众包图片；

第二筛选单元，用于当符合所述终止筛选条件时，从下一个类中筛选所述目标众包图片。

可选的，所述计算模块，包括：

第三获取单元，用于获取所述目标物体检测结果中包含的所述表征参数，所述表征参数包括检测器得分、目标物体尺寸或检测重合度中的至少一种；

加权计算单元，用于根据各项表征参数各自对应的权重，加权计算所述置信度分数；

其中，所述检测器得分用于指示所述目标物体检测结果的置信度，所述目标物体尺寸用于指示检测出的目标物体在众包图片中的尺寸，所述检测重合度用于指示使用不同物体检测器是否检测到相同目标物体。

可选的，所述终止筛选条件包括：

筛选出的所述目标众包图片在所在类中所占的比例达到比例阈值；

和/或，

当前类中剩余的候选众包图片为连续的图像帧；

和/或，

当前类中剩余的候选众包图片对应地理位置之间的最大位置间距小于第二距离阈值。

可选的，所述第一筛选单元，用于：

根据剩余候选众包图片与最近一次筛选出的目标众包图片之间的位置间距，对剩余候选众包图片对应的所述置信度分数进行修正；

根据修正后的置信度分数筛选所述目标众包图片。

请参考图10，其示出了本发明一个实施例提供的服务器的结构方框图。该服务器1000实现为图1中的服务器120。具体来讲：

服务器1000包括中央处理单元(CPU)901、包括随机存取存储器(RAM)1002和只读存储器(ROM)1003的系统存储器1004，以及连接系统存储器1004和中央处理单元1001的系统总线1005。所述服务器1000还包括帮助计算机内的各个器件之间传输信息的基本输入/输出系统(I/O系统)1006，和用于存储操作系统1013、应用程序1014和其他程序模块1015的大容量存储设备1007。

所述基本输入/输出系统1006包括有用于显示信息的显示器1008和用于用户输入信息的诸如鼠标、键盘之类的输入设备1009。其中所述显示器1008和输入设备1009都通过连接到系统总线1005的输入输出控制器1010连接到中央处理单元1001。所述基本输入/输出系统1006还可以包括输入输出控制器1010以用于接收和处理来自键盘、鼠标、或电子触控笔等多个其他设备的输入。类似地，输入输出控制器1010还提供输出到显示屏、打印机或其他类型的输出设备。

所述大容量存储设备1007通过连接到系统总线1005的大容量存储控制器(未示出)连接到中央处理单元1001。所述大容量存储设备1007及其相关联的计算机可读介质为服务器1000提供非易失性存储。也就是说，所述大容量存储设备1007可以包括诸如硬盘或者CD-ROM驱动器之类的计算机可读介质(未示出)。

不失一般性，所述计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括RAM、ROM、EPROM、EEPROM、闪存或其他固态存储其技术，CD-ROM、DVD或其他光学存储、磁带盒、磁带、磁盘存储或其他磁性存储设备。当然，本领域技术人员可知所述计算机存储介质不局限于上述几种。上述的系统存储器1004和大容量存储设备1007可以统称为存储器。

根据本发明的各种实施例，所述服务器1000还可以通过诸如因特网等网络连接到网络上的远程计算机运行。也即服务器1000可以通过连接在所述系统总线1005上的网络接口单元1011连接到网络1012，或者说，也可以使用网络接口单元1011来连接到其他类型的网络或远程计算机系统(未示出)。

所述存储器还包括一个或者一个以上的程序，所述一个或者一个以上程序存储于存储器中，所述一个或者一个以上程序包含用于进行本发明实施例提供的图片筛选方法的指令。上述指令由服务器中的处理器加载并执行，从而实现上述图片筛选装置中各个功能模块或单元的功能。

在示例性实施例中，还提供了一种服务器。上述服务器备包括处理器和存储器，该存储器中存储有至少一条指令，该指令由处理器加载并执行以实现上述方法实施例示出的图片筛选方法。

在示例性实施例中，还提供了一种计算机可读存储介质，该存储介质中存储有至少一条指令，该指令由处理器加载并执行以实现上述方法实施例示出的图片筛选方法。例如，该计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (11)

1.一种图片筛选方法，其特征在于，所述方法包括：

获取n张众包图片，n≥2，所述n张众包图片为同一终端上传的行车过程中连续的图像帧；

通过至少两种物体检测器对各张众包图片进行目标物体检测；

若存在至少一种所述物体检测器检测到所述众包图片中包含目标物体，则确定所述众包图片为候选众包图片；

获取当前候选众包图片对应的第一地理位置；

获取第i类中第一个候选众包图片对应的第二地理位置，i≥1，所述第i类为上一个创建的类；

根据所述第一地理位置和所述第二地理位置计算位置间距；

若所述位置间距小于第一距离阈值，则将所述当前候选众包图片聚合到所述第i类中；

若所述位置间距大于所述第一距离阈值，则创建第i+1类，并将所述当前候选众包图片确定为所述第i+1类中的第一个候选众包图片，聚类后同一类中各张候选众包图片对应的地理位置位于相同区域；

根据目标物体检测结果，从聚类后的各个类中筛选出目标众包图片，所述目标物体检测结果中包含指示候选众包图片质量的表征参数，所述表征参数包括检测器得分、目标物体尺寸和检测重合度中的至少一种，所述检测器得分用于指示所述目标物体检测结果的置信度，所述目标物体尺寸用于指示检测出的目标物体在众包图片中的尺寸，所述检测重合度用于指示使用不同物体检测器是否检测到相同目标物体，所述目标众包图片的质量优于其他候选众包图片的质量。

2.根据权利要求1所述的方法，其特征在于，所述确定所述众包图片为候选众包图片之后，还包括：

提取所述候选众包图片中目标物体的物体特征，所述物体特征包括纹理特征和/或颜色特征；

通过预设特征分类器对所述物体特征进行分类，所述预设特征分类器用于检测输入的物体特征是否属于目标物体特征；

若分类结果指示所述物体特征不属于所述目标物体特征，则过滤所述候选众包图片。

3.根据权利要求1至2任一所述的方法，其特征在于，所述根据目标物体检测结果，从聚类后的各个类中筛选出目标众包图片，包括：

根据当前类中各个候选众包图片各自对应的目标物体检测结果，计算各个候选众包图片对应的置信度分数，所述置信度分数用于指示候选众包图片中各个目标物体对应的可信度分数之和；

将最高置信度分数对应的候选众包图片确定为所述目标众包图片；

检测是否符合终止筛选条件；

若不符合所述终止筛选条件，则从当前类中剩余的候选众包图片中筛选所述目标众包图片；

若符合所述终止筛选条件，则从下一个类中筛选所述目标众包图片。

4.根据权利要求3所述的方法，其特征在于，所述根据当前类中各个候选众包图片各自对应的目标物体检测结果，计算各个候选众包图片对应的置信度分数，包括：

获取所述目标物体检测结果中包含的所述表征参数；

根据各项表征参数各自对应的权重，加权计算所述置信度分数。

5.根据权利要求3所述的方法，其特征在于，所述终止筛选条件包括：

筛选出的所述目标众包图片在所在类中所占的比例达到比例阈值；

和/或，

当前类中剩余的候选众包图片为连续的图像帧；

和/或，

当前类中剩余的候选众包图片对应地理位置之间的最大位置间距小于第二距离阈值。

6.根据权利要求3所述的方法，其特征在于，所述若不符合所述终止筛选条件，则从剩余候选众包图片中筛选所述目标众包图片，包括：

根据剩余候选众包图片与最近一次筛选出的目标众包图片之间的位置间距，对剩余候选众包图片对应的所述置信度分数进行修正；

根据修正后的置信度分数筛选所述目标众包图片。

7.一种图片筛选装置，其特征在于，所述装置包括：

获取模块，用于获取n张众包图片，n≥2，所述n张众包图片为同一终端上传的行车过程中连续的图像帧；

检测模块，用于通过至少两种物体检测器对各张众包图片进行目标物体检测；若存在至少一种所述物体检测器检测到所述众包图片中包含目标物体，则确定所述众包图片为候选众包图片；

聚类模块，用于获取当前候选众包图片对应的第一地理位置；获取第i类中第一个候选众包图片对应的第二地理位置，i≥1，所述第i类为上一个创建的类；根据所述第一地理位置和所述第二地理位置计算位置间距；若所述位置间距小于第一距离阈值，则将所述当前候选众包图片聚合到所述第i类中；若所述位置间距大于所述第一距离阈值，则创建第i+1类，并将所述当前候选众包图片确定为所述第i+1类中的第一个候选众包图片，聚类后同一类中各张候选众包图片对应的地理位置位于相同区域；

筛选模块，用于根据目标物体检测结果，从聚类后的各个类中筛选出目标众包图片，所述目标物体检测结果中包含指示候选众包图片质量的表征参数，所述表征参数包括检测器得分、目标物体尺寸和检测重合度中的至少一种，所述检测器得分用于指示所述目标物体检测结果的置信度，所述目标物体尺寸用于指示检测出的目标物体在众包图片中的尺寸，所述检测重合度用于指示使用不同物体检测器是否检测到相同目标物体，所述目标众包图片的质量优于其他候选众包图片的质量。

8.根据权利要求7所述的装置，其特征在于，所述筛选模块，包括：

计算模块，用于根据当前类中各个候选众包图片各自对应的目标物体检测结果，计算各个候选众包图片对应的置信度分数，所述置信度分数用于指示候选众包图片中各个目标物体的可信度分数之和；

确定模块，用于将最高置信度分数对应的候选众包图片确定为所述目标众包图片；

检测模块，用于检测是否符合终止筛选条件；

第一筛选单元，用于当不符合所述终止筛选条件时，从当前类中剩余的候选众包图片中筛选所述目标众包图片；

第二筛选单元，用于当符合所述终止筛选条件时，从下一个类中筛选所述目标众包图片。

9.根据权利要求8所述的装置，其特征在于，所述计算模块，包括：

第三获取单元，用于获取所述目标物体检测结果中包含的所述表征参数；

加权计算单元，用于根据各项表征参数各自对应的权重，加权计算所述置信度分数。

10.一种服务器，其特征在于，所述服务器包括处理器和存储器，所述存储器中存储有至少一条指令，所述指令由所述处理器加载并执行以实现如权利要求1至6任一所述的图片筛选方法。

11.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一条指令，所述指令由处理器加载并执行以实现如权利要求1至6任一所述的图片筛选方法。

Images