CN112132115B - 一种图像筛选方法及装置 - Google Patents

Abstract

本公开的实施例公开了一种图像筛选方法及装置，涉及图像处理技术领域，主要目的在于减少感知图像筛选的人工工作量，从而提高图像筛选的效率。本公开的实施例的主要技术方案包括：通过至少两种不同算法分别对多个感知图像进行识别，得到不同算法下各所述感知图像的识别结果，其中，所述感知图像是车辆行驶时车辆的感知设备采集而得的图像；对同一所述感知图像在不同算法下的识别结果进行比对，得到各所述感知图像的比对结果；筛选比对结果符合预设要求的感知图像作为待标注图像。

Description

一种图像筛选方法及装置

技术领域

本公开的实施例涉及图像处理技术领域，特别是涉及一种图像筛选方法及装置。

背景技术

随着科学技术的不断发展，越来越多的算法模型应用到车辆中，用于辅助车辆自动驾驶或自动泊车。由于车辆行驶时车辆的感知设备所采集的感知图像中包括有车辆周围环境的车道线和障碍物等信息，其通常可作为指导车辆自动驾驶或自动泊车的依据，因此，通常以车辆的感知图像作为训练算法模型的依据。

通常，并非车辆采集的所有感知图像都能用来训练算法模型，因此需要在众多的感知图像中筛选出用于训练算法模型的感知图像。目前感知图像的筛选完全依据人工筛选完成。在人工筛选时，筛选员需要逐个对感知图像进行人工审核，且全部的感知图像均要逐个被审核后才能完成整个人工筛选过程。可见，这种人工筛选方式完全依赖于筛选员的主动识别来完成筛选，筛选感知图像筛选的人工工作量较大，筛选效率较低。

发明内容

有鉴于此，本公开的实施例提出了一种图像筛选方法及装置，主要目的在于减少感知图像筛选的人工工作量，从而提高图像筛选的效率。主要技术方案包括：

第一方面，本公开的实施例提供了一种图像筛选方法，所述方法包括：

通过至少两种不同算法分别对多个感知图像进行识别，得到不同算法下各所述感知图像的识别结果，其中，所述感知图像是车辆行驶时车辆的感知设备采集而得的图像；

对同一所述感知图像在不同算法下的识别结果进行比对，得到各所述感知图像的比对结果；

筛选比对结果符合预设要求的感知图像作为待标注图像。

第二方面，本公开的实施例提供了一种图像筛选装置，所述装置包括：

识别单元，用于通过至少两种不同算法分别对多个感知图像进行识别，得到不同算法下各所述感知图像的识别结果，其中，所述感知图像是车辆行驶时车辆的感知设备采集而得的图像；

比对单元，用于对同一所述感知图像在不同算法下的识别结果进行比对，得到各所述感知图像的比对结果；

筛选单元，用于筛选比对结果符合预设要求的感知图像作为待标注图像。

第三方面，本公开的实施例提供了一种图像标注系统，所述系统包括：

标注设备、设置有感知设备的车辆以及第二方面所述的图像筛选装置；

所述车辆，用于将所述感知设备在车辆行驶时采集的感知图像发送给所述图像筛选装置；

所述图像筛选装置，用于从所述感知图像中筛选待标注图像，并将所述待标注图像发送给标注设备；

所述标注设备，用于展示所述图像筛选装置发送的待标注图像，供标注人员标注。

第四方面，本公开的实施例提供了一种存储介质，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行第二方面中所述的图像筛选方法。

第五方面，本公开的实施例提供了一种人机交互装置，所述装置包括存储介质，及一个或者多个处理器，所述存储介质与所述处理器耦合，所述处理器被配置为执行所述存储介质中存储的程序指令；所述程序指令运行时执行第二方面所述的图像筛选方法。

本公开的实施例提供的图像筛选方法及装置，首先通过两种或两种以上不同算法分别对多个感知图像进行识别得到不同算法下各感知图像的识别结果。然后对同一感知图像在不同算法下的识别结果进行比对，得到各感知图像的比对结果。最后筛选比对结果符合预设要求的感知图像作为待标注图像。可见，本公开的实施例提供的方案对于同一感知图像分别采用两种或两种以上不同的算法进行识别，并根据不同算法的识别结果，从车辆众多的感知图像中选取出标注价值较高的感知图像作为待标注图像，整个待标注图像的筛选过程无需人工参与，因此能够减少感知图像筛选的人工工作量，从而提高图像筛选的效率。

上述说明仅是本公开的实施例技术方案的概述，为了能够更清楚了解本公开的实施例的技术手段，而可依照说明书的内容予以实施，并且为了让本公开的实施例的上述和其它目的、特征和优点能够更明显易懂，以下特举本公开的实施例的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本公开的实施例的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1示出了本公开的实施例提供的一种图像筛选方法的流程图；

图2示出了本公开的实施例提供的一种图像筛选装置的组成框图；

图3示出了本公开的实施例提供的另一种图像筛选装置的组成框图；

图4示出了本公开的实施例提供的一种图像筛选系统的组成框图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

第一方面，本公开的实施例提供了一种图像筛选方法，如图1所示，所述方法主要包括：

101、通过至少两种不同算法分别对多个感知图像进行识别，得到不同算法下各所述感知图像的识别结果，其中，所述感知图像是车辆行驶时车辆的感知设备采集而得的图像。

在实际应用中，感知图像是车辆行驶时车辆的感知设备采集而得的图像，感知图像上包括有车辆行驶时车辆周围的车道线和障碍物等信息，其是用于辅助车辆自动驾驶或自动泊车的依据，因此该感知图像是研究车辆自动驾驶技术或训练辅助车辆驾驶的算法模型的一个重要数据。由于车辆行驶时车辆的感知设备会采集大量感知图像，但是这些感知图像并非全部符合研究车辆自动驾驶技术或训练辅助车辆驾驶的算法模型的要求，因此需要对感知图像进行筛选，以利用更有价值的感知图像研究车辆自动驾驶技术或训练辅助车辆驾驶的算法模型。

本实施例中所述的多个感知图像的来源至少包括如下两种：第一种是，车辆行驶时感知设备实时采集的图像；第二种是，数据平台上存储的图像，这些图像是车辆上传的离线图像，并非是实时采集的图像。

在本实施例中，为了能够高效率的筛选出更有标注价值的感知图像，需要分别采用两种或两种以上不同算法对各感知图像进行识别。算法的选用数量以及选用的各种算法的具体类型可以基于业务要求确定，本实施例对各种算法的具体类型不作具体限定。

示例性的，选用的不同算法中包括四种算法：

第一种算法为：通过预设的环境模型分别对多个感知图像进行识别，得到各感知图像在所述环境模型下的识别结果，其中，环境模型是基于车辆行驶时的历史感知图像训练而得。由于环境模型是车辆行驶时的历史感知图像训练而得，因此其更能准确对感知图像中的车道线和障碍物进行识别。

需要说明的是，为了能够使该预设的环境模型具有更好的识别能力，则需要不断对环境模型进行更新，该更新过程可以为：在图1的步骤103筛选比对结果符合预设要求的感知图像作为待标注图像之后，使用待标注图像更新环境模型。由于该待标注图像是更为有价值的感知图像，因此能够有效的对环境模型进行更新。使用待标注图像更新环境模型的具体过程为：在标注员对待标注图像标注完毕后，获取该待标注图像对应的标注图像，利用标注图像重新训练环境模型。

第二种算法为：使用一个预设的图像识别模型对感知图像进行识别，需要注意的是，该图像识别模型的训练算法与第一种算法中所涉及的环境模型的训练算法不同。

第三种算法为：采用高精地图数据与感知图像进行比对。

第四种算法为：提取车辆传感器采集的数据，将传感器所采集的数据与各感知图像进行时间同步，从而确定出各感知图像中障碍物的定位信息。示例性的，A时间点传感器采集到的数据为车辆与障碍物1之间的距离为B，则确定A时间点对应的感知图像的识别结果为感知图像上包括障碍物1，车辆与障碍物1之间的距离为B。

通过不同算法分别对多个感知图像进行识别后，便得到不同算法下各感知图像的识别结果，该识别结果中可以包括感知图像中的车道线位置、车道线类别、障碍物位置以及障碍物的类别，其中，障碍物可以为道路中的静态障碍物，比如，交通指示牌，障碍物也可以为道路中的动态障碍物，比如，道路中行驶的车辆或道路中的行人。

102、对同一所述感知图像在不同算法下的识别结果进行比对，得到各所述感知图像的比对结果。

在本实施例中，对于任意一个感知图像，其具有不同算法识别而得的识别结果，各识别结果能够指导筛选，从而筛选出有价值的图像作为待标注图像，因此需要对不同算法下感知图像的识别结果进行比对，得到各感知图像的比对结果。

各感知图像的比对结果的具体内容与选用的比对参数有关，因此得到各感知图像的比对结果的方法可以包括如下几种：

第一种，从不同算法下各感知图像的识别结果中，分别提取各感知图像中的目标对象的标记框信息；对同一感知图像在不同算法下的目标对象的标记框信息进行交并比运算处理，得到交并比；将各感知图像的交并比，确定为各感知图像的比对结果。

具体的，对于任意一个感知图像来说，目标对象可以为其包括的车道线或障碍物，该目标对象可以是确定该感知图像的比对结果时，实时指定。在不同算法的识别结果中包括目标对象在感知图像中的标记框信息，该标记框信息用于表征目标对象在感知图像中的具体位置。

具体的，对一个感知图像来说，对于一种算法，若该算法的识别结果中存在感知图像中的目标对象的标记框信息时，则将该标记框信息提取为目标对象的标记框信息；若该算法识别结果中不存在感知图像中目标对象的标记框信息，则说明该算法并未识别出感知图像中的目标对象，存在漏检情况，则将空值记录为目标对象的标记框信息。由于目标对象的标记框信息，能够表征算法对感知图像的识别情况，因此不同算法的识别结果中目标对象的标记框信息，可为筛选待标注图像提供依据。

具体的，对一个感知图像来说，在确定该感知图像的对比结果时，需要对感知图像在不同算法下的目标对象的标记框信息进行交并比运算处理，得到交并比，并将该交并比确定为该感知图像的对比结果。交并比运算处理的过程为：根据不同算法下目标对象的标记框信息(标记框的两个对角顶点的坐标)，确定不同算法下目标对象的标记框的交集和并集，将交集和并集的比确定为交并比。示例性的，该交并比越接近于1，说明不同算法识别差别越小，该感知图像为清晰图像或道路简洁图像的概率越高。该交并比越接近于0，则说明不同算法识别差别越大，该感知图像为道路复杂图像或不清洗图像的概率越高。

第二种，从不同算法下各感知图像的识别结果中，分别提取各感知图像中的目标对象的类别；对同一感知图像在不同算法下的目标对象的类别进行比对，得到类别差别；将各感知图像的类别差别，确定为各感知图像的比对结果。

具体的，对于任意一个感知图像来说，目标对象可以为其包括的车道线或障碍物，该目标对象可以是确定该感知图像的比对结果时，实时指定。该目标对象在感知图像中具有其对应的类别，该类别用于表征目标对象其具体为何种物体。示例性的，类别可以包括人、车、交通灯、交通指示牌、车道线等。

具体的，对一个感知图像来说，对于一种算法，若该算法的识别结果中存在感知图像中的目标对象的类别时，则将该类别提取为目标对象的第一类别；若该算法的识别结果中不存在感知图像中目标对象的类别，则说明第一算法并未识别出感知图像中的目标对象，存在漏检情况，则将空值记录为目标对象的第一类别。由于目标对象的类别，能够表征算法对感知图像的识别情况，因此不同算法的识别结果中的目标对象的类别，可为筛选待标注图像提供依据。

具体的，对于一个感知图像来说，在确定该感知图像的对比结果时，需要对感知图像在不同算法下的目标对象的类别进行比对，得到类别差别，并该类别差别，确定为该感知图像的比对结果。该类别之间的差异越小，说明不同算法识别差别越小，感知图像为清晰图像或道路简洁图像的概率越高。该类别之间的差异越大，则说明不同算法识别差别越大，感知图像为道路复杂图像或不清晰图像的概率越高。

第三种，从不同算法下各感知图像的识别结果中，分别提取各感知图像中的两个目标对象之间的第一距离；对同一感知图像在不同算法下的两个目标对象之间的第一距离进行比对，得到第一距离差别；将各感知图像的第一距离差别，确定为各感知图像的比对结果。

具体的，对于任意一个感知图像来说，两个目标对象可以为其包括的车道线或障碍物，感知图像中的两个目标对象可以是确定该感知图像的比对结果时，实时指定。该两个目标对象之间在感知图像中具有一定的距离，该距离用于表征两个目标对象在感知图像中的相对位置。

具体的，对一个感知图像来说，对于一种算法，若该算法的识别结果中存在感知图像中的两个目标对象之间的距离时，则将该距离提取为目标对象的第一距离；若该算法的识别结果中不存在感知图像中两个目标对象的距离，则说明该算法并未识别出感知图像中的一个目标对象或两个目标对象，存在漏检情况，则将空值记录为两个目标对象之间的第一距离。由于两个目标对象之间的第一距离，能够表征算法对感知图像的识别情况，因此不同算法的识别结果中两个目标对象之间的第一距离，可为筛选待标注图像提供依据。

具体的，对于一个感知图像来说，在确定该感知图像的对比结果时，需要对该感知图像在不同算法下的两个目标对象之间的第一距离进行比对，得到第一距离差别，并将各感知图像的第一距离差别，确定为该感知图像的比对结果。该第一距离差别越接近于0，说明不同算法识别差别越小，感知图像为清晰图像或道路简洁图像的概率越高。该距离差别越远离于0，则说明不同算法识别差别越大，感知图像为道路复杂图像或不清洗图像的概率越高。

第四种，从不同算法下各感知图像的识别结果中，分别提取各感知图像中的目标对象与车辆之间的第二距离；对同一感知图像在不同算法下的目标对象与车辆之间的第二距离进行比对，得到第二距离差别；将各感知图像的第二距离差别，确定为各感知图像的比对结果。

具体的，对于任意一个感知图像来说，目标对象可以为其包括的车道线或障碍物，每一个感知图像与车辆之间都具有相对距离。感知图像中的目标对象可以是确定该感知图像的比对结果时，实时指定。在不同算法的识别结果中包括目标对象与车辆之间在感知图像之间的距离，该距离用于表征目标对象与车辆在感知图像中的相对位置。

具体的，对一个感知图像来说，对于一种算法，若该算法的识别结果中存在感知图像中的目标对象时，则将该目标对象与车辆之间的距离提取为第二距离；若该算法的识别结果中不存在感知图像中的目标对象，则说明该算法并未识别出感知图像中的目标对象，存在漏检情况，则将空值记录为第二距离。由于目标对象与车辆之间的第二距离，能够表征算法对感知图像的识别情况，因此不同算法的识别结果中目标对象与车辆之间的第二距离，可为筛选待标注图像提供依据。

具体的，对于一个感知图像来说，在确定该感知图像的对比结果时，需要对同一感知图像在不同算法下的目标对象与车辆之间的第二距离进行比对，得到第二距离差别，并将该感知图像的第二距离差别，确定为该感知图像的比对结果。该第二距离差别越接近于0，说明不同算法识别差别越小，感知图像为清晰图像或道路简洁图像的概率越高。该第二距离差别越远离于0，则说明不同算法识别差别越大，感知图像为道路复杂图像或不清晰图像的概率越高。

上述的四种确定各感知图像的比对结果的方法可以单独使用，也可以两个或两个以上共同结合使用。无论采用上述的一种方法还是多种方法为来确定感知图像的比对结果，得出的比对结果均可为感知图像的筛选提供选取依据。

进一步的，为了使图像标注人员可以明确了解到不同算法对各感知图像的识别偏差类型，可以在步骤102“对同一感知图像在不同算法下的识别结果进行比对，得到各所述感知图像的比对结果”之后，执行如下步骤一和步骤二：

步骤一、根据各所述感知图像的比对结果，确定各所述感知图像的偏差类型。

在实际应用中，根据比对结果确定各感知图像的偏差类型，与对比结果包括的具体内容有关：

第一种，对于任意一个感知图像，若在比对结果中包括交并比时，且交并比小于预设交并比阈值，则确定该感知图像的偏差类型为误检偏差。

第二种，对于任意一个感知图像，若在比对结果中包括类别差别时，且类别差别达到预设偏差阈值时，则确定该感知图像的偏差类型为错误识别偏差。示例性，每个类别可以设定一个类别数值，不同算法下感知图像的类别数值之间的差值达到预设偏差阈值，则确定该感知图像的偏差类型为错误识别偏差。

第三种，对于任意一个感知图像，若在比对结果中包括第一距离差别时，且第一距离差别达到预设的距离阈值时，则确定该感知图像的偏差类型为距离偏差。

第四种，对于任意一个感知图像，若在对比结果中包括第二距离差别时，且包括第一距离差别达到预设的距离阈值时，则确定该感知图像的偏差类型为距离偏差。

第五种，对于任意一个感知图像，若其比对结果不存在上述四种的偏差情况，则不用为其确定偏差类型，或将偏差类型确定为无偏差。

步骤二、为各所述感知图像标注与其偏差类型相应的标签。

在实际应用中，为了更加便利的筛选待标注图像，则直接根据各感知图像的偏差类型为各感知图像标注标签。在筛选待标注图像时，直接基于标签筛选即可。

示例性的，偏差类型为误检偏差的感知图像，标注为误检偏差图像，标签值可设置为1；错误识别偏差为误检偏差的感知图像，标注为错误识别偏差图像，标签值可设置为2；偏差类型为距离偏差的感知图像，标注为距离偏差图像，标签值可设置为3；偏差类型为无偏差的感知图像，标注为无偏差图像，标签值可设置为4。其中，上述标签值仅为实例，在实际应用中可基于具体业务要求设定。

103、筛选比对结果符合预设要求的感知图像作为待标注图像。

筛选待标注图像的过程与预设要求的设定有关，因此筛选比对结果符合预设要求的感知图像作为待标注图像的具体过程至少包括如下两种：

第一种，预设要求为预设差异范围。则筛选比对结果符合预设要求的感知图像作为待标注图像的过程为：根据各感知图像的比对结果，确定各感知图像的识别偏差；筛选识别偏差在预设差异范围内的各感知图像为所述待标注图像。

在实际应用中，预设差异范围可基于业务要求确定，该预设差异范围用于限定有标注价值的感知图像。示例性的，预设差异范围所涉及的数值越小，则说明各种算法的识别差别越小，感知图像为清晰图像或道路简洁图像的概率越高。预设差异范围所涉及的数值越大，则说明各算法算法识别差别越大，感知图像为不清晰图像或道路复杂图像的概率越高。

对于任意一个感知图像的比对结果，该比对结果能够确定出各种算法对该感知图像的识别偏差。比如，感知图像的比对结果中包括交并比0.35，则将该0.35确定为该感知结果的识别偏差。

在确定出各感知图像的识别偏差之后，确定出识别偏差位于预设差异范围的各感知图像，这些图像具有较高的标注价值，因此，将识别偏差在预设差异范围内的各感知图像筛选为待标注图像。

第二种，预设要求为预设偏差类型。则筛选比对结果符合预设要求的感知图像作为待标注图像的过程为：根据各所述感知图像的比对结果，确定各所述感知图像的偏差类型；筛选偏差类型为预设偏差类型的各感知图像为所述待标注图像。

在实际应用中，预设偏差类型可基于业务要求确定，该预设偏差类型用于限定有标注价值的感知图像。示例性的，预设偏差类型，能够表征出感知图像为清晰图像、道路简洁图像、不清晰图像或道路复杂图像中的何种图像。

对于任意一个感知图像的比对结果，该比对结果能够确定出各种算法对该感知图像的识别偏差，而这个识别偏差能够确定出偏差类型，该偏差类型的确定详见步骤102的说明。在确定出各感知图像的偏差类型之后，确定出偏差类型为预设偏差类型的各感知图像，这些感知图像具有较高的标注价值，因此，将偏差类型为预设偏差类型的各感知图像筛选为待标注图像。

上述的两种确定筛选待标注图像的方法可以单独使用，也可以共同结合使用。

进一步的，为了能够及时将待标注图像提供给标注员标注，则在筛选比对结果符合预设要求的感知图像作为待标注图像之后，将待标注图像推送给标注设备，以供标注员对待标注图像进行及时标注。

进一步的，为了能够充分利用有价值的感知图像，则在筛选比对结果符合预设要求的感知图像作为待标注图像之后，汇总对待标注图像标注后的标注图像，形成训练集；基于训练集训练辅助车辆行驶的模型，以使用训练而得的模型辅助车辆行驶，提高车辆行驶安全。

本公开的实施例提供的图像筛选方法，首先通过两种或两种以上不同算法分别对多个感知图像进行识别得到不同算法下各感知图像的识别结果。然后对同一感知图像在不同算法下的识别结果进行比对，得到各感知图像的比对结果。最后筛选比对结果符合预设要求的感知图像作为待标注图像。可见，本公开的实施例提供的方案对于同一感知图像分别采用两种或两种以上不同的算法进行识别，并根据不同算法的识别结果，从车辆众多的感知图像中选取出标注价值较高的感知图像作为待标注图像，整个待标注图像的筛选过程无需人工参与，因此能够减少感知图像筛选的人工工作量，从而提高图像筛选的效率。

第二方面，依据图1所示的方法，本公开的另一个实施例还提供了一种图像筛选装置，如图2所示，所述装置主要包括：

识别单元21，用于通过至少两种不同算法分别对多个感知图像进行识别，得到不同算法下各所述感知图像的识别结果，其中，所述感知图像是车辆行驶时车辆的感知设备采集而得的图像；

比对单元22，用于对同一所述感知图像在不同算法下的识别结果进行比对，得到各所述感知图像的比对结果；

筛选单元23，用于筛选比对结果符合预设要求的感知图像作为待标注图像。

本公开的实施例提供的图像筛选装置，首先通过两种或两种以上不同算法分别对多个感知图像进行识别得到不同算法下各感知图像的识别结果。然后对同一感知图像在不同算法下的识别结果进行比对，得到各感知图像的比对结果。最后筛选比对结果符合预设要求的感知图像作为待标注图像。可见，本公开的实施例提供的方案对于同一感知图像分别采用两种或两种以上不同的算法进行识别，并根据不同算法的识别结果，从车辆众多的感知图像中选取出标注价值较高的感知图像作为待标注图像，整个待标注图像的筛选过程无需人工参与，因此能够减少感知图像筛选的人工工作量，从而提高图像筛选的效率。

在一些实施例中，如图3所示，所述比对单元22包括：

第一比对模块221，用于从不同算法下各所述感知图像的识别结果中，分别提取各所述感知图像中的目标对象的标记框信息；对同一所述感知图像在不同算法下的所述目标对象的标记框信息进行交并比运算处理，得到交并比；将各所述感知图像的交并比，确定为各所述感知图像的比对结果。

在一些实施例中，如图3所示，所述比对单元22包括：

第二比对模块222，用于从不同算法下各所述感知图像的识别结果中，分别提取各所述感知图像中的目标对象的类别；对同一所述感知图像在不同算法下的所述目标对象的类别进行比对，得到类别差别；将各所述感知图像的类别差别，确定为各所述感知图像的比对结果。

在一些实施例中，如图3所示，所述比对单元22包括：

第三比对模块223，用于从不同算法下各所述感知图像的识别结果中，分别提取各所述感知图像中的两个目标对象之间的第一距离；对同一所述感知图像在不同算法下的两个目标对象之间的第一距离进行比对，得到第一距离差别；将各所述感知图像的第一距离差别，确定为各所述感知图像的比对结果。

在一些实施例中，如图3所示，所述比对单元22包括：

第四比对模块224，用于从不同算法下各所述感知图像的识别结果中，分别提取各所述感知图像中的目标对象与车辆之间的第二距离；对同一所述感知图像在不同算法下的目标对象与车辆之间的第二距离进行比对，得到第二距离差别；将各所述感知图像的第二距离差别，确定为各所述感知图像的比对结果。

在一些实施例中，如图3所示，所述识别单元21所涉及的至少两种不同算法中包括如下算法：通过预设的环境模型分别对多个所述感知图像进行识别，得到各所述感知图像在所述环境模型下的识别结果，其中，所述环境模型是基于车辆行驶时的历史感知图像训练而得。

在一些实施例中，如图3所示，所述装置还包括：

更新单元24，用于在筛选单元23筛选比对结果符合预设要求的感知图像作为待标注图像之后，使用所述待标注图像更新所述环境模型。

在一些实施例中，如图3所示，所述筛选单元23包括：

第一筛选模块231，用于根据各所述感知图像的比对结果，确定各所述感知图像的识别偏差；筛选识别偏差在预设差异范围内的各感知图像为所述待标注图像。

在一些实施例中，如图3所示，所述筛选单元23包括：

第二筛选模块232，用于根据各所述感知图像的比对结果，确定各所述感知图像的偏差类型；筛选偏差类型为预设偏差类型的各感知图像为所述待标注图像。

在一些实施例中，如图3所示，所述装置还包括：

标注单元25，用于在比对单元22对于同一所述感知图像的第一识别结果和第二识别结果进行比对，得到各所述感知图像的比对结果之后，根据各所述感知图像的比对结果，确定各所述感知图像的偏差类型；为各所述感知图像标注与其偏差类型相应的标签。

在一些实施例中，如图3所示，所述装置还包括：

训练单元26，用于在筛选单元23筛选比对结果符合预设要求的感知图像作为待标注图像之后，汇总对所述待标注图像标注后的标注图像，形成训练集；基于所述训练集训练辅助车辆行驶的模型。

第二方面的实施例提供的图像筛选装置，可以用以执行第一方面的实施例所提供的图像筛选方法，相关的用于的含义以及具体的实施方式可以参见第一方面的实施例中的相关描述，在此不再详细说明。

第三方面，本公开的另一个实施例还提供了一种图像标注系统，如图4所示，所述图像标注系统主要包括：

标注设备31、设置有感知设备的车辆32以及第三方面所述的图像筛选装置33；

所述车辆32，用于将所述感知设备在车辆行驶时采集的感知图像发送给所述图像筛选装置33；

所述图像筛选装置33，用于从所述感知图像中筛选待标注图像，并将所述待标注图像发送给标注设备31；

所述标注设备31，用于展示所述图像筛选装置43发送的待标注图像，供标注人员标注。

本公开的实施例提供的图像标注系统中的图像筛选装置首先通过两种或两种以上不同算法分别对多个感知图像进行识别得到不同算法下各感知图像的识别结果。然后对同一感知图像在不同算法下的识别结果进行比对，得到各感知图像的比对结果。最后筛选比对结果符合预设要求的感知图像作为待标注图像。可见，本公开的实施例提供的方案对于同一感知图像分别采用两种或两种以上不同的算法进行识别，并根据不同算法的识别结果，从车辆众多的感知图像中选取出标注价值较高的感知图像作为待标注图像，整个待标注图像的筛选过程无需人工参与，因此能够减少感知图像筛选的人工工作量，从而提高图像筛选的效率。

第四方面，本公开的实施例提供了一种存储介质，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行第一方面所述的图像筛选方法。

存储介质可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)，存储器包括至少一个存储芯片。

第五方面，本公开的实施例提供了一种人机交互装置，所述装置包括存储介质，及一个或者多个处理器，所述存储介质与所述处理器耦合，所述处理器被配置为执行所述存储介质中存储的程序指令；所述程序指令运行时执行第一方面所述的图像筛选方法。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

本领域内的技术人员应明白，本公开的实施例可提供为方法、系统、或计算机程序产品。因此，本公开的实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本公开的实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照本公开的实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。

本领域技术人员应明白，本公开的实施例可提供为方法、系统或计算机程序产品。因此，本公开的实施例可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本公开的实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (14)

1.一种图像筛选方法，其特征在于，所述方法包括：

通过至少两种不同算法分别对多个感知图像进行识别，得到不同算法下各所述感知图像的识别结果，其中，所述感知图像是车辆行驶时车辆的感知设备采集而得的图像；

对同一所述感知图像在不同算法下的识别结果进行比对，得到各所述感知图像的比对结果；

筛选比对结果符合预设要求的感知图像作为待标注图像；

所述至少两种算法包括如下四种算法中的至少两种：通过预设的环境模型分别对多个所述感知图像进行识别，得到各所述感知图像在所述环境模型下的识别结果，其中，所述环境模型是基于车辆行驶时的历史感知图像训练而得；使用预设的图像识别模型对各所述感知图像进行识别，所述图像识别模型的训练算法与所述环境模型的训练算法不同；采用高精地图数据与各所述感知图像进行比对；提取车辆传感器采集的数据，将所述传感器所采集的数据与各所述感知图像进行时间同步，确定各所述感知图像中障碍物的定位信息。

2.根据权利要求1所述的方法，其特征在于，对同一所述感知图像在不同算法下的识别结果进行比对，得到各所述感知图像的比对结果，包括：

从不同算法下各所述感知图像的识别结果中，分别提取各所述感知图像中的目标对象的标记框信息；

对同一所述感知图像在不同算法下的所述目标对象的标记框信息进行交并比运算处理，得到交并比；

将各所述感知图像的交并比，确定为各所述感知图像的比对结果。

3.根据权利要求1所述的方法，其特征在于，对于同一所述感知图像在不同算法下的识别结果进行比对，得到各所述感知图像的比对结果，包括：

从不同算法下各所述感知图像的识别结果中，分别提取各所述感知图像中的目标对象的类别；

对同一所述感知图像在不同算法下的所述目标对象的类别进行比对，得到类别差别；

将各所述感知图像的类别差别，确定为各所述感知图像的比对结果。

4.根据权利要求1所述的方法，其特征在于，对于同一所述感知图像在不同算法下的识别结果进行比对，得到各所述感知图像的比对结果，包括：

从不同算法下各所述感知图像的识别结果中，分别提取各所述感知图像中的两个目标对象之间的第一距离；

对同一所述感知图像在不同算法下的两个目标对象之间的第一距离进行比对，得到第一距离差别；

将各所述感知图像的第一距离差别，确定为各所述感知图像的比对结果。

5.根据权利要求1所述的方法，其特征在于，对于同一所述感知图像在不同算法下的识别结果进行比对，得到各所述感知图像的比对结果，包括：

从不同算法下各所述感知图像的识别结果中，分别提取各所述感知图像中的目标对象与车辆之间的第二距离；

对同一所述感知图像在不同算法下的目标对象与车辆之间的第二距离进行比对，得到第二距离差别；

将各所述感知图像的第二距离差别，确定为各所述感知图像的比对结果。

6.根据权利要求1所述的方法，其特征在于，在筛选比对结果符合预设要求的感知图像作为待标注图像之后，所述方法还包括：

使用所述待标注图像更新所述环境模型。

7.根据权利要求1-5中任一所述的方法，其特征在于，筛选比对结果符合预设要求的感知图像作为待标注图像，包括：

根据各所述感知图像的比对结果，确定各所述感知图像的识别偏差；

筛选识别偏差在预设差异范围内的各感知图像为所述待标注图像。

8.根据权利要求1-5中任一所述的方法，其特征在于，筛选比对结果符合预设要求的感知图像作为待标注图像，包括：

根据各所述感知图像的比对结果，确定各所述感知图像的偏差类型；

筛选偏差类型为预设偏差类型的各感知图像为所述待标注图像。

9.根据权利要求1-5中任一所述的方法，其特征在于，在对同一所述感知图像在不同算法下的识别结果进行比对，得到各所述感知图像的比对结果之后，所述方法还包括：

根据各所述感知图像的比对结果，确定各所述感知图像的偏差类型；

为各所述感知图像标注与其偏差类型相应的标签。

10.根据权利要求1-5中任一所述的方法，其特征在于，在筛选比对结果符合预设要求的感知图像作为待标注图像之后，所述方法还包括：

汇总对所述待标注图像标注后的标注图像，形成训练集；

基于所述训练集训练辅助车辆行驶的模型。

11.一种图像筛选装置，其特征在于，所述装置包括：

识别单元，用于通过至少两种不同算法分别对多个感知图像进行识别，得到不同算法下各所述感知图像的识别结果，其中，所述感知图像是车辆行驶时车辆的感知设备采集而得的图像；

比对单元，用于对同一所述感知图像在不同算法下的识别结果进行比对，得到各所述感知图像的比对结果；

筛选单元，用于筛选比对结果符合预设要求的感知图像作为待标注图像；

所述至少两种算法包括如下四种算法中的至少两种：通过预设的环境模型分别对多个所述感知图像进行识别，得到各所述感知图像在所述环境模型下的识别结果，其中，所述环境模型是基于车辆行驶时的历史感知图像训练而得；使用预设的图像识别模型对各所述感知图像进行识别，所述图像识别模型的训练算法与所述环境模型的训练算法不同；采用高精地图数据与各所述感知图像进行比对；提取车辆传感器采集的数据，将所述传感器所采集的数据与各所述感知图像进行时间同步，确定各所述感知图像中障碍物的定位信息。

12.一种图像标注系统，其特征在于，所述系统包括：标注设备、设置有感知设备的车辆以及权利要求11所述的图像筛选装置；

所述车辆，用于将所述感知设备在车辆行驶时采集的感知图像发送给所述图像筛选装置；

所述图像筛选装置，用于从所述感知图像中筛选待标注图像，并将所述待标注图像发送给标注设备；

所述标注设备，用于展示所述图像筛选装置发送的待标注图像，供标注人员标注。

13.一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行权利要求1至10中任一所述的图像筛选方法。

14.一种人机交互装置，其特征在于，所述装置包括存储介质，及一个或者多个处理器，所述存储介质与所述处理器耦合，所述处理器被配置为执行所述存储介质中存储的程序指令；所述程序指令运行时执行权利要求1至10中任一所述的图像筛选方法。