CN117746161A - 图像标注方法、电子设备及存储介质 - Google Patents

Abstract

本申请公开了一种图像标注方法、电子设备及存储介质，所述图像标注方法应用于第一设备，所述第一设备上部署有图像标注模型，所述图像标注模型包括多个第一图像标注子模型；所述图像标注方法包括以下步骤：获取待标注图像；将所述待标注图像输入所述图像标注模型，通过多个第一图像标注子模型对所述待标注图像进行道路交互者识别，生成多个道路交互者标注信息；聚合各所述道路交互者标注信息，生成所述待标注图像的标注结果。本申请解决了现有技术对训练样本图像进行标注的效率较低且精准性较差的技术问题。

Description

图像标注方法、电子设备及存储介质

技术领域

本申请涉及车辆技术领域，尤其涉及一种图像标注方法、电子设备及存储介质。

背景技术

在车辆领域，感知技术是一项十分重要的技术，可以帮助车辆识别和理解其周围环境。这个技术的目标是使车辆能够感知道路、车辆、行人、障碍物和其他关键信息，以帮助驾驶者或自动驾驶车辆做出安全的驾驶决策。目前的感知技术通常依靠摄像头捕获当前环境信息，进而依靠其强大的神经网络模型实现对当前空间的物体感知。

然而，感知模型需要大量的训练样本，每个训练样本都要进行人工标注，费时费力，标注效率低，且人工框定道路交互者的位置范围的精准性较差。

发明内容

本申请的主要目的在于提供一种图像标注方法、电子设备及存储介质，旨在解决现有技术对训练样本图像进行标注的效率较低且精准性较差的技术问题。

为实现上述目的，本申请提供一种图像标注方法，所述图像标注方法应用于第一设备，所述第一设备上部署有图像标注模型，所述图像标注模型包括多个第一图像标注子模型；所述图像标注方法包括以下步骤：

获取待标注图像；

将所述待标注图像输入所述图像标注模型，通过多个第一图像标注子模型对所述待标注图像进行道路交互者识别，生成多个道路交互者标注信息；

聚合各所述道路交互者标注信息，生成所述待标注图像的标注结果。

本申请还提供一种图像标注优化方法，所述图像标注优化方法应用于第二设备，所述第二设备上部署有待训练图像标注模型，所述待训练图像标注模型包括多个待训练第一图像标注子模型；所述图像标注优化方法包括以下步骤：

获取训练样本图像以及所述训练样本图像的标注信息标签；

将所述训练样本图像输入所述待训练图像标注模型，通过所述训练样本图像对应的多个待训练第一图像标注子模型对所述训练样本图像进行道路交互者识别，生成多个道路交互者训练标注信息；

基于各所述道路交互者训练标注信息和所述标注信息标签，对所述训练样本图像对应的各所述待训练第一图像标注子模型进行迭代优化。

本申请还提供一种图像标注装置，所述图像标注装置应用于第一设备，所述第一设备上部署有图像标注模型，所述图像标注模型包括多个第一图像标注子模型；所述图像标注装置包括：

第一获取模块，用于获取待标注图像；

第一生成模块，用于将所述待标注图像输入所述图像标注模型，通过多个第一图像标注子模型对所述待标注图像进行道路交互者识别，生成多个道路交互者标注信息；

聚合模块，用于聚合各所述道路交互者标注信息，生成所述待标注图像的标注结果。

本申请还提供一种图像标注优化装置，所述图像标注优化装置应用于第二设备，所述第二设备上部署有待训练图像标注模型，所述待训练图像标注模型包括多个待训练第一图像标注子模型；所述图像标注优化装置包括：

第二获取模块，用于获取训练样本图像以及所述训练样本图像的标注信息标签；

第二生成模块，用于将所述训练样本图像输入所述待训练图像标注模型，通过所述训练样本图像对应的多个待训练第一图像标注子模型对所述训练样本图像进行道路交互者识别，生成多个道路交互者训练标注信息；

优化模块，用于基于各所述道路交互者训练标注信息和所述标注信息标签，对所述训练样本图像对应的各所述待训练第一图像标注子模型进行迭代优化。

本申请还提供一种电子设备，所述电子设备为实体设备，所述电子设备包括：存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的所述的图像标注方法的程序，所述的图像标注方法的程序被处理器执行时可实现如上述的图像标注方法或图像标注优化方法的步骤。

本申请还提供一种存储介质，所述存储介质为计算机可读存储介质，所述计算机可读存储介质上存储有实现图像标注方法的程序，所述的图像标注方法的程序被处理器执行时实现如上述的图像标注方法或图像标注优化方法的步骤。

本申请还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述的图像标注方法或图像标注优化方法的步骤。

本申请提供了一种图像标注方法、电子设备及存储介质，所述图像标注方法应用于第一设备，所述第一设备上部署有图像标注模型，所述图像标注模型包括多个第一图像标注子模型，通过获取待标注图像，将所述待标注图像输入所述图像标注模型，通过多个第一图像标注子模型对所述待标注图像进行道路交互者识别，生成多个道路交互者标注信息，实现了利用多个第一图像标注子模型分别对所述待标注图像中的道路交互者进行标注，车辆行驶过程所需感知的道路交互者的类型、状态、距离、大小等均存在差异，不同的模型对不同的道路交互者进行识别的准确度不同，而利用多个第一图像标注子模型可以更准确地识别出更多的道路交互者，进而通过聚合各所述道路交互者标注信息，生成所述待标注图像的标注结果，实现了对道路交互者更全面且更准确地标注。一方面，本申请提供的图像标注方法可以利用模型代替人工进行图像标注，可以有效提高标注效率，节省人力资源，另一方面，通过部署多个第一图像标注子模型，可以实现标注任务的细分，例如可以用不同的第一图像标注子模型识别并标注出不同类型的道路交互者，又例如可以用不同的第一图像标注子模型识别并标注出不同大小的道路交互者，通过细分标注任务，可以有效提高每一个第一图像标注子模型的模型精度，从而提高图像标注的精准性，这样，不论是对训练样本进行标注，还是在驾驶决策过程中对采集到的图像进行标注，图像标注的精准度都更高。因此，克服了感知技术涉及的模型需要大量的训练样本，每个训练样本都要进行人工标注，费时费力，标注效率低，且人工框定道路交互者的位置范围的精准性较差的技术缺陷，可以快速且精准地对待标注图像进行标注，提高模型训练的效率，降低感知模型的训练成本，提高感知模型的训练效果，在实际驾驶决策过程中应用，也可以提高驾驶决策的效率，提高驾驶决策的准确性。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图得到其他的附图。

图1为本申请图像标注方法的第一实施例的流程示意图；

图2为本申请实施例中涉及的临界标注区域的场景示意图；

图3为本申请实施例中步骤S40-S50的场景示意图；

图4为本申请图像标注方法的一种可实施方式的流程示意图；

图5为本申请图像标注方法的第二实施例的流程示意图；

图6为本申请实施例中图像标注装置的结构示意图；

图7为本申请实施例中图像标注方法涉及的硬件运行环境的设备结构示意图。

本申请目的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所得到的所有其它实施例，均属于本发明保护的范围。

在车辆领域，感知技术是一项十分重要的技术，可以帮助车辆识别和理解其周围环境。这个技术的目标是使车辆能够感知道路、车辆、行人、障碍物和其他关键信息，以帮助驾驶者或自动驾驶车辆做出安全的驾驶决策。目前的感知技术通常依靠摄像头捕获当前环境信息，进而依靠其强大的神经网络模型实现对当前空间的物体感知。

随着自动驾驶的发展，感知技术逐渐从增值转变为必要。在自动驾驶行车过程中，实时感知道路信息是至关重要的。自动驾驶车辆需要感知的道路信息包括但不限于：

(1)障碍物识别和分类：感知技术不仅要检测物体，还要识别他们的类型，例如道路上的锥桶、水马等静态障碍物识别，从而帮助自动驾驶车辆做出适当的驾驶决策。

(2)人行道识别和行人跟踪：对于自动驾驶车辆来说，准确识别和跟踪行人，才可以确保行人和车辆的安全。

(3)车辆识别与跟踪：对于行驶的车辆来说，与其他车辆之间的交互是最频繁的，识别车辆类型，例如一辆车是小车辆和大卡车，会影响到自动驾驶车辆的驾驶决策以及行程安全。

目前，自动驾驶感知技术包括以下几条路线：(1)纯摄像头视觉；(2)摄像头加毫米波雷达感知；(3)摄像头、毫米波雷达、激光雷达以及声波、红外等传感器的混合感知。但无论哪种方法，其感知技术都需要依靠摄像头捕获当前环境信息，并依靠其强大的神经网络模型实现对当前空间的物体感知。

然而，实现感知模型需要大量的带有目标类别及所在位置框图的图片数据训练，而摄像头拍摄的图片并不会自带这些信息，因此，需要大量人力耗费大量时间进行标注，标注效率低，从而导致成本增加。并且，人工标注可能会出现标注类别不全、数据量不够等情况，再者，人工标注往往具有个体主观性，且人工框定道路交互者的位置范围的误差较大，这些均会导致人工标注的样本数据训练的感知模型的模型性能较差。

基于此，本申请提出一种图像标注方法，所述图像标注方法应用于第一设备，所述第一设备上部署有图像标注模型，所述图像标注模型包括多个第一图像标注子模型，通过获取待标注图像，将所述待标注图像输入所述图像标注模型，通过多个第一图像标注子模型对所述待标注图像进行道路交互者识别，生成多个道路交互者标注信息，实现了利用多个第一图像标注子模型分别对所述待标注图像中的道路交互者进行标注，车辆行驶过程所需感知的道路交互者的类型、状态、距离、大小等均存在差异，不同的模型对不同的道路交互者进行识别的准确度不同，而利用多个第一图像标注子模型可以更准确地识别出更多的道路交互者，进而通过聚合各所述道路交互者标注信息，生成所述待标注图像的标注结果，实现了对道路交互者更全面且更准确地标注。一方面，本申请提供的图像标注方法可以利用模型代替人工进行图像标注，可以有效提高标注效率，节省人力资源，另一方面，通过部署多个第一图像标注子模型，可以实现标注任务的细分，例如可以用不同的第一图像标注子模型识别并标注出不同类型的道路交互者，又例如可以用不同的第一图像标注子模型识别并标注出不同大小的道路交互者，通过细分标注任务，可以有效提高每一个第一图像标注子模型的模型精度，从而提高图像标注的精准性，这样，不论是对训练样本进行标注，还是在驾驶决策过程中对采集到的图像进行标注，图像标注的精准度都更高。因此，克服了感知技术涉及的模型需要大量的训练样本，每个训练样本都要进行人工标注，费时费力，标注效率低，且人工框定道路交互者的位置范围的精准性较差的技术缺陷，可以快速且精准地对待标注图像进行标注，提高模型训练的效率，降低感知模型的训练成本，提高感知模型的训练效果，在实际驾驶决策过程中应用，也可以提高驾驶决策的效率，提高驾驶决策的准确性。

实施例一

本申请实施例提供一种图像标注方法，在本申请图像标注方法的第一实施例中，参照图1，所述图像标注方法应用于第一设备，所述第一设备上部署有图像标注模型，所述图像标注模型包括多个第一图像标注子模型；所述图像标注方法包括以下步骤：

步骤S10，获取待标注图像；

本实施例方法的执行主体可以是一种图像标注装置，也可以是一种图像标注终端设备或服务器，本实施例以图像标注装置进行举例，该图像标注装置可以集成在具有数据处理功能的车辆、车载终端、智能手机、平板电脑、计算机等终端设备上。

在本实施例中，需要说明的是，所述图像标注方法应用于第一设备，示例性地，所述第一设备可以为云端服务器，也可以为车辆。所述图像标注方法可以用于为训练样本图像数据进行标注，在此情况下，所述第一设备可以为云端服务器；所述图像标注方法也可以用于自动驾驶车辆决策前对采集到的图像进行实时标注，在此情况下，所述第一设备可以为云端服务器或车辆等。

所述第一设备上部署有图像标注模型，所述图像标注模型用于对待标注图像中的道路交互者进行识别，并对识别到的道路交互者的位置进行框定，从而自动生成所述待标注图像的标注结果，所述标注结果是指标注有道路交互者标注信息的待标注图像，这样，所述标注结果即可作为有标签的训练样本数据用于感知模型的训练，也可以作为驾驶决策所需的中间特征用于后续驾驶决策。感知模型的模型性能依赖于其模型训练，而其模型训练又依赖于训练样本数据的数量和全面性，以及训练样本标签的准确性，而人工标注的效率过低，会导致有标签的训练样本数据的数量不够或类型不全，且人工标注框定道路交互者的位置范围的精准性较差，会导致训练样本标签的准确性较低，进而会导致后续感知模型的训练效果较差，训练出的感知模型的模型性能较差，自动驾驶车辆若无法准确感知，会影响到后续决策的精准性，从而可能引发安全事故。

所述图像标注模型包括多个第一图像标注子模型。车辆行驶过程所需感知的道路交互者的类型、状态、距离、大小等均存在差异。道路交互者的类型包括但不限于行人、车辆、道路、交通设施等，不同类型的道路交互者的特征可能不同，例如行人和车辆的特征肯定不相同，红绿灯和道路的特征也不相同，通过同一个模型识别全部类型的道路交互者，通常很难保证全部类型的识别准确性。道路交互者的状态包括但不限于静态和动态等，识别不同状态的道路交互者的模型结构可能不同，例如识别动态的道路交互者，可以采用时空注意力机制关注连续多帧图像之间的关联性进行识别，因此，通过同一个模型识别全部状态的道路交互者，通常很难同时保证较高的识别准确性和有效的资源利用率。道路交互者与摄像头之间的距离不同，或者道路交互者本身的大小不同，摄像头采集到的图像中，道路交互者的大小也会不同，通过同一个模型识别不同尺寸的道路交互者，往往很难保证对尺寸较小的道路交互者的识别精度，从而无法准确识别出对尺寸较小的道路交互者。因此，对道路交互者的标注任务进行细分，通过部署多个第一图像标注子模型，合理分配资源，不仅可以提高标注效率，还可以提高对不同的道路交互者进行识别的准确性。

另一方面，车辆行驶过程中并不是无时无刻需要对全部道路交互者进行感知，通过设置多个第一图像标注子模型可以适应于实际情况，实现对部分或全部道路交互者进行有选择性地标注，从而在满足实际需求的情况下，达到提高资源利用率、提高效率的目的。

所述待标注图像可以预先通过车辆上搭载的摄像头或其他摄像头在车辆行驶过程中采集到的，想要用于感知模型训练但不具有标签的图像。例如，可以是在车辆行驶过程中不定期采集的图像，也可以是在车辆行驶过程中经历特殊场景时采集的图像，具体可以根据实际需要进行确定，本实施例对此不加以限制。摄像头采集到的图像可以直接作为待标注图像，也可以经过筛选或处理后确定部分作为待标注图像。

作为一种示例，所述步骤S10包括：可以通过与摄像头通信连接，直接获取到摄像头采集到的待标注图像，也可以从预设存储路径中获取摄像头预先上传的待标注图像。

在一种可实施的方式中，所述获取待标注图像的步骤之前，还可以包括：获取摄像头采集到的视频数据，对所述视频数据进行抽帧处理得到至少一张待标注图像。其中，所述对所述视频数据进行抽帧处理得到至少一张待标注图像的步骤还可以包括：获取决策任务，基于所述决策任务确定抽帧时间间隔，基于所述抽帧时间间隔对所述视频数据进行抽帧处理得到至少一张待标注图像。不同的决策任务进行道路交互者识别的时间间隔不同，例如，追踪任务，可能需要对视频的每一帧信息都进行道路交互者标注，而检测任务，则可能不需要密集的重复数据信息，因此只需要间隔一段时间进行抽帧处理即可，比如每秒抽一帧。

步骤S20，将所述待标注图像输入所述图像标注模型，通过多个第一图像标注子模型对所述待标注图像进行道路交互者识别，生成多个道路交互者标注信息；

在本实施例中，需要说明的是，所述道路交互者标注信息是指待标注图像中的道路交互者的相关信息，可以包括道路交互者类型、道路交互者位置信息、道理交互者区域框等中的一种或多种。

作为一种示例，所述步骤S20包括：将所述待标注图像输入所述图像标注模型，可以通过所述图像标注模型中的部分或全部第一图像标注子模型对所述待标注图像进行道路交互者识别，并确定识别到的道路交互者的相关信息，进而可以生成并输出道路交互者标注信息，获取各所述第一图像标注子模型输出的道路交互者标注信息。

可选地，所述将所述待标注图像输入所述图像标注模型，通过多个第一图像标注子模型对所述待标注图像进行道路交互者识别，生成多个道路交互者标注信息的步骤包括：

步骤S21，获取决策任务，确定所述决策任务对应的至少一个目标交互者类型；

步骤S22，基于所述目标交互者类型，确定所述决策任务对应的多个目标第一图像标注子模型；

步骤S23，将所述待标注图像输入所述图像标注模型，通过各所述目标第一图像标注子模型分别对所述待标注图像进行道路交互者识别，生成各所述目标交互者类型各自对应的道路交互者标注信息。

在本实施例中，需要说明的是，道路交互者的类型包括但不限于行人、车辆、道路、交通设施等，不同类型的道路交互者的特征可能不同，例如行人和车辆的特征肯定不相同，红绿灯和道路的特征也不相同，通过同一个模型识别全部类型的道路交互者，通常很难保证全部类型的识别准确性。另一方面，车辆行驶过程中并不是无时无刻需要对全部道路交互者进行感知，车辆实际行驶过程中实际产生的决策任务也并非需要对全部道路交互者进行感知，例如，确定行程路线规划的决策任务，可以无需对行人、车辆等道路交互者进行识别和标注；右转的决策任务，可以无需对车辆左侧不会移动的交通设施进行识别和标注等。因此通过设置多个第一图像标注子模型，并基于决策任务选择所需的目标第一图像标注子模型进行道路交互者的识别和标注，可以适应于实际决策任务，实现对部分或全部道路交互者进行有选择性地标注，从而在保证实际检测任务顺利完成的情况下，达到提高资源利用率、提高效率的目的。

所述决策任务是指车辆需要利用标注结果进行的驾驶决策的任务，包括分类任务、检测任务、追踪任务等。在自动驾驶过程中，不同的决策任务所需要检测的道路交互者不同，对全量的道路交互者进行标注会导致整体的决策效率较低，驾驶决策的时效性受到影响，反而可能导致安全事故，且还会造成不必要的资源浪费。因此可以按照交互者的类型细分标注任务，分别由不同的第一图像标注子模型执行不同类型的道路交互者的标注任务，并预先为各种决策任务匹配对应的第一图像标注子模型，这样，在实际应用过程中，则可以根据决策任务分配部分第一图像标注子模型关注决策任务所需的道路交互者，实现提高决策效率以及有效利用资源的目的。

作为一种示例，所述步骤S21-S23包括：可以基于图像标注方法的触发，获取触发当前图像标注方法的决策任务，进而根据预设的决策任务和交互者类型之间的映射关系，确定当前的决策任务对应的至少一个目标交互者类型。进而根据预设的交互者类型和第一图像标注子模型之间的映射关系，确定当前的决策任务对应的多个目标第一图像标注子模型。进而将所述待标注图像输入所述图像标注模型，可以通过所述图像标注模型中的各所述目标第一图像标注子模型分别对所述待标注图像进行道路交互者识别，并确定识别到的道路交互者的相关信息，进而可以生成并输出道路交互者标注信息，获取各所述目标第一图像标注子模型输出的道路交互者标注信息。

可选地，所述图像标注模型包括多个第二图像标注子模型，每个所述第二图像标注子模型均包括多个第一图像标注子模型，每个所述第二图像标注子模型中的各所述第一图像标注子模型用于标注不同尺寸范围的道路交互者；

所述基于所述目标交互者类型，确定所述决策任务对应的多个目标第一图像标注子模型的步骤包括：

步骤S221，根据预设的交互者类型与第二图像标注子模型之间的映射关系，确定所述决策任务对应的至少一个目标第二图像标注子模型，其中，每个所述目标第二图像标注子模型均包括多个目标第一图像标注子模型。

在本实施例中，需要说明的是，道路交互者与摄像头之间的距离不同，或者道路交互者本身的大小不同，摄像头采集到的图像中，道路交互者的大小也会不同，通过同一个模型识别不同尺寸的道路交互者，往往很难保证对尺寸较小的道路交互者的识别精度，从而无法准确识别出对尺寸较小的道路交互者。对于车辆而言，外部的道路交互者的尺寸范围很宽，大到近处的大卡车，小到远处的行人、宠物，都可能对车辆的安全行驶造成影响，因此都需要进行准确标注。

所述图像标注模型包括多个第二图像标注子模型，各所述第二图像标注子模型分别用于标注不同交互者类型的道路交互者；每个所述第二图像标注子模型均包括多个第一图像标注子模型，每个所述第二图像标注子模型中的各所述第一图像标注子模型用于标注不同尺寸范围的道路交互者。不同交互者类型的道路交互者的尺寸范围划分可以相同或不同，不同的第二图像标注子模型中的第一图像标注子模型的数量也可以相同或不同，具体均可以根据实际需要进行确定，本实施例对此不加以限制。这样，可以针对不同尺寸的道路交互者，对于每一个交互者类型的道路交互者均部署多个模型分别进行标注，每个模型均可以保证对一定尺寸范围的道路交互者的准确标注，因此可以提高道路交互者标注的全面性和各个尺寸道路交互者的标注准确性。

作为一种示例，所述步骤S221包括：根据预设的交互者类型和第二图像标注子模型之间的映射关系，确定当前的决策任务对应的至少一个目标第二图像标注子模型，其中，每个所述目标第二图像标注子模型均包括多个目标第一图像标注子模型，因此可以确定所述决策任务对应的多个目标第一图像标注子模型。

可选地，所述将所述待标注图像输入所述图像标注模型，通过各所述目标第一图像标注子模型分别对所述待标注图像进行道路交互者识别，生成各所述目标交互者类型各自对应的道路交互者标注信息的步骤包括：

步骤S231，将所述待标注图像输入所述图像标注模型，通过各所述目标第一图像标注子模型分别对所述待标注图像进行道路交互者识别，生成各所述目标交互者类型各自对应的多个不同尺寸范围的初始标注信息，其中，所述初始标注信息包括初始标注区域；

步骤S232，分别检测每个所述目标交互者类型对应的多个初始标注区域中，是否存在重叠面积超过预设重叠面积阈值且中心点距离小于预设中心点距离阈值的至少一组目标初始标注区域；

步骤S233，在检测到至少一组目标初始标注区域的情况下，分别确定每组目标初始标注区域对应的临界标注区域，其中，所述临界标注区域至少覆盖相对应的全部目标初始标注区域；

步骤S234，将各所述目标交互者类型各自对应的临界标注区域以及除目标初始标注区域之外的非目标初始标注区域进行聚合，生成各所述目标交互者类型各自对应的道路交互者标注信息。

在本实施例中，需要说明的是，不同的第一图像标注子模型只是对一定尺寸范围的道路交互者标注的准确性更高，但并不代表一定无法标注出其他尺寸范围的道路交互者，因此，会出现同一个道路交互者，被同一个第二图像标注子模型中的多个第一图像标注子模型标注出的情况，因此需要对这些重复标注的道路交互者进行确定，并消除重复标注的缺陷，以使得最终输出的标注结果更加清楚明了。

作为一种示例，所述步骤S231-S234包括：将所述待标注图像输入所述图像标注模型，可以通过所述图像标注模型中的各所述目标第一图像标注子模型分别对所述待标注图像进行道路交互者识别，并确定识别到的道路交互者的相关信息，例如类型信息、位置信息、标注区域信息等等，进而可以生成并输出各所述目标交互者类型各自对应的多个不同尺寸范围的初始标注信息，获取各所述目标第一图像标注子模型输出的初始标注信息，其中，所述初始标注信息可以包括一个或多个道路交互者的初始标注区域，还可以包括每个道路交互者的交互者类型、交互者几何中心位置、交互者行动趋势等。进而将对应于同一个目标交互者类型的道路交互者的初始标注区域分为一组，或者将属于同一个第二图像标注子模型输出的道路交互者的初始标注区域分为同一组，比较每组中每个道路交互者的初始标注区域的区域覆盖范围以及几何中心的位置，检测每组中不同的第一图像标注子模型输出的初始标注区域中，是否存在区域覆盖范围的重叠面积超过预设重叠面积阈值且几何中心的中心点距离小于预设中心点距离阈值的至少一组目标初始标注区域，也即，一组目标初始标注区域需满足：第一，属于相同的交互者类型，第二，由不同的第一图像标注子模型输出，第三，区域覆盖范围的重叠面积超过预设重叠面积阈值，第四，几何中心的中心点距离小于预设中心点距离阈值；每组中不同的第一图像标注子模型输出的初始标注区域中不满足目标初始标注区域匹配条件的，可以作为非目标初始标注区域。在检测到至少一组目标初始标注区域的情况下，分别确定每组目标初始标注区域对应的临界标注区域，其中，所述临界标注区域至少覆盖相对应的全部目标初始标注区域，例如，所述临界标注区域可以为其对应的全部目标初始标注区域的最小外接矩形、最小外接圆形等，也可以在边界处预留出一定距离，也即，临界标注区域的边界线与目标初始标注区域的边界线之间间隔一定距离，具体可以根据实际需要进行确定，本实施例对此不加以限制。分别将每个目标交互者类型对应的临界标注区域以及非目标初始标注区域进行聚合，融合成一个图像，作为每个目标交互者类型对应的道路交互者标注信息，每个所述第二图像标注子模型生成并输出的即为所述道路交互者标注信息，因此可以获得各所述目标第二图像标注子模型输出的道路交互者标注信息。

在一种可实施的方式中，参照图2，图2中左侧以两个方框分别标注了同一交互者类型的两个初始标注区域，每个方框中心的原点表示两个初始标注区域的几何中心，计算两个初始标注区域的重叠面积超过其中面积最大的目标初始标注区域的面积的95％，且中心点距离小于1％个像素长度，因此认为这两个初始标注区域为一组目标初始标注区域，因此，如图2中右侧所示，将其最小外接矩形确定为这组目标初始标注区域对应的临界标注区域，最终输出临界标注区域的框线，还会去除这组目标初始标注区域原始的框线(这部分未在附图中示出)。

步骤S30，聚合各所述道路交互者标注信息，生成所述待标注图像的标注结果。

在本实施例中，需要说明的是，所述标注结果是指标注有道路交互者的相关信息的图像数据。一张待标注图像中可能包含有一个或多个道路交互者，在包含有多个道路交互者的情况下，或者在多个第一图像标注子模型均生成有道路交互者标注信息的情况下，需要将每个第一图像标注子模型识别到的多个道路交互者的道路交互者标注信息以及多个第一图像标注子模型分别输出的多个道路交互者标注信息进行融合，即可实现对所述待标注图像中多种类型、多种状态、多种距离和/或多种大小的道路交互者的准确标注。

作为一种示例，所述步骤S30包括：将各所述道路交互者标注信息以及所述待标注图像聚合，以将各个道路交互者的相关信息标注到待标注图像中，生成所述待标注图像的标注结果。

可选地，所述聚合各所述道路交互者标注信息，生成所述待标注图像的标注结果的步骤之后，还包括：

步骤S40，获取各所述道路交互者标注信息各自对应的目标置信度，并确定目标置信度高于预设置信度阈值的目标道路交互者标注信息；

步骤S50，将所述待标注图像作为训练样本图像，并将所述目标道路交互者标注信息确定为所述训练样本图像的标注信息标签。

在本实施例中，需要说明的是，训练样本对于模型的精准度起到非常重要的作用，训练样本数量越充分，涉猎越全面，标注越准确，模型训练效果越好，训练出的模型精度越高。因此，在所述图像标注模型的实际应用过程中，可以收集部分数据，用作训练数据，对原有的训练样本集进行扩充，进而可以进一步迭代优化所述图像标注模型，如此正向循环，进一步提高图像标注模型的准确度，或者还可以用于训练其他模型，建立全面、充足且标注准确的样本库。

作为一种示例，所述步骤S40-S50包括：各所述第一图像标注子模型在生成道路交互者标注信息时，也会计算出其生成的道路交互者标注信息为真的概率，这一概率即为置信度，因此，可以直接获取到各所述道路交互者标注信息各自对应的目标置信度。置信度越高，说明道路交互者标注信息为真的概率越高，也即，标注结果的准确度越高，因此，可以通过比较各所述目标置信度和预设置信度阈值，筛选出目标置信度高于预设置信度阈值的目标道路交互者标注信息。进而，将所述待标注图像作为训练样本图像，并将所述目标道路交互者标注信息确定为所述训练样本图像的标注信息标签，还可以将所述训练样本图像及其对应的标注信息标签保存到样本库中。

所述置信度阈值可以预先根据实际情况确定一个经验值，也可以预先确定一个保留比例，在获取各所述道路交互者标注信息各自对应的目标置信度之后，将各所述目标置信度按从大到小进行排列，进而基于所述保留比例对各所述目标置信度进行划界，划界后即可确定置信度阈值。具体可以根据实际情况进行确定，本实施例对此不加以限制。

在一种可实施的方式中，参照图3，首先初始化图像标注模型，利用开源数据集训练图像标注模型，训练完成的图像标注模型应用于对自采数据进行标注，得到的标注结果作为标注信息标签，对标注信息标签进行过滤，剔除掉置信度不满足要求的部分，剩余的标注信息标签和其对应的自采数据聚合成图片标签对，补充到开源数据集中，用于后续对所述图像标注模型或其他模型进行训练。

在一种可实施的方式中，参照图4，首先通过图像采集装置采集二进制视频文件，对视频文件进行编解码，得到MP4格式的视频文件，将MP4格式的视频文件发送至k8s调度平台。所述图像标注方法应用于所述k8s调度平台，k8s调度平台基于当前的决策任务创建节点1，通过节点1进行视频抽帧处理，并存入挂载文件夹；当获得抽帧文件后，k8s调度平台基于当前的决策任务自动选择决策任务对应的标注子模型，并创建任务点，比如需要检测图片中车辆交互者及路障，车辆交互者和路障又分别需要进行小尺寸目标和大尺寸目标的检测，则自动创建两个任务节点，车辆交互者检测任务节点2和路障检测任务节点3，其中，车辆交互者检测任务节点2先分别检测图像中的车辆交互者小目标和车辆交互者大目标，并进行临界目标合并，融合车辆交互者小目标的检测结果和车辆交互者大目标的检测结果，得到车辆交互者检测结果，路障检测任务节点3先分别检测图像中的路障小目标和路障大目标，并进行临界目标合并，融合路障小目标的检测结果和路障大目标的检测结果，得到路障检测结果；进而k8s调度平台创建信息整合节4，对于节点2-3的输出数据，由节点4进行数据整合，包括数据合并、数据过滤、中间文件删除等，最终输出一个完整的检测文件。

在本实施例中，所述图像标注方法应用于第一设备，所述第一设备上部署有图像标注模型，所述图像标注模型包括多个第一图像标注子模型，通过获取待标注图像，将所述待标注图像输入所述图像标注模型，通过多个第一图像标注子模型对所述待标注图像进行道路交互者识别，生成多个道路交互者标注信息，实现了利用多个第一图像标注子模型分别对所述待标注图像中的道路交互者进行标注，车辆行驶过程所需感知的道路交互者的类型、状态、距离、大小等均存在差异，不同的模型对不同的道路交互者进行识别的准确度不同，而利用多个第一图像标注子模型可以更准确地识别出更多的道路交互者，进而通过聚合各所述道路交互者标注信息，生成所述待标注图像的标注结果，实现了对道路交互者更全面且更准确地标注。一方面，本申请提供的图像标注方法可以利用模型代替人工进行图像标注，可以有效提高标注效率，节省人力资源，另一方面，通过部署多个第一图像标注子模型，可以实现标注任务的细分，例如可以用不同的第一图像标注子模型识别并标注出不同类型的道路交互者，又例如可以用不同的第一图像标注子模型识别并标注出不同大小的道路交互者，通过细分标注任务，可以有效提高每一个第一图像标注子模型的模型精度，从而提高图像标注的精准性，这样，不论是对训练样本进行标注，还是在驾驶决策过程中对采集到的图像进行标注，图像标注的精准度都更高。因此，克服了感知技术涉及的模型需要大量的训练样本，每个训练样本都要进行人工标注，费时费力，标注效率低，且人工框定道路交互者的位置范围的精准性较差的技术缺陷，可以快速且精准地对待标注图像进行标注，提高模型训练的效率，降低感知模型的训练成本，提高感知模型的训练效果，在实际驾驶决策过程中应用，也可以提高驾驶决策的效率，提高驾驶决策的准确性。

实施例二

进一步地，本申请实施例提供一种图像标注优化方法，参照图5，基于本申请上述实施例，在本申请的第二实施例中，与上述实施例相同或相似的内容，可以参考上文介绍，后续不再赘述。在此基础上，所述图像标注优化方法应用于第二设备，所述第二设备上部署有待训练图像标注模型，所述待训练图像标注模型包括多个待训练第一图像标注子模型；所述图像标注优化方法包括以下步骤：

步骤A10，获取训练样本图像以及所述训练样本图像的标注信息标签；

在本实施例中，需要说明的是，本实施例方法的执行主体可以是一种图像标注优化装置，也可以是一种图像标注优化终端设备或服务器，本实施例以图像标注优化装置进行举例，该图像标注优化装置可以集成在具有数据处理功能的车辆、车载终端、智能手机、平板电脑、计算机等终端设备上。所述第二设备可以和所述第一设备为同一设备，也可以不同，也即，模型训练过程和模型应用过程可以在同一设备上进行，也可以分别在不同设备上进行。

作为一种示例，所述步骤A10包括：获取训练样本的训练样本图像以及预先通过人工或模型对所述训练样本图像进行标注得到的标注信息标签，其中，所述标注信息标签包括交互者类型、交互者几何中心位置、交互者行动趋势、标注区域位置、标注区域框线等中的一种或多种。

可选地，所述标注信息标签包括交互者类型标签；所述获取训练样本图像以及所述训练样本图像的标注信息标签的步骤之后，还包括：

步骤B10，根据所述交互者类型标签确定所述训练样本图像中至少一个道路交互者的训练样本交互者类型；

步骤B20，基于所述训练样本交互者类型，确定所述训练样本图像对应的待训练第一图像标注子模型。

在本实施例中，需要说明的是，可以按照交互者类型标签对训练样本进行分类存储，例如，一张训练样本图像P的交互者类型标签包括人、车、自行车三种，则可以将训练样本图像P和人这一交互者类型标签组成一组样本数据，将训练样本图像P和车这一交互者类型标签组成一组样本数据，将训练样本图像P和自行车这一交互者类型标签组成一组样本数据，得到三组样本数据，分别存储这三组样本数据，在训练过程中，这三组样本数据则可以分别用于训练与其交互者类型标签对应的待训练第一图像标注子模型，不同交互者类型标签可以分别与其对应的待训练第一图像标注子模型的输出结果进行比较，并计算损失、梯度，并训练对应的待训练第一图像标注子模型。

作为一种示例，所述步骤B10-B20包括：根据所述交互者类型标签确定所述训练样本图像中至少一个道路交互者的训练样本交互者类型，根据预设的交互者类型与待训练第一图像标注子模型之间的映射关系，基于所述训练样本交互者类型即可确定所述训练样本图像对应的待训练第一图像标注子模型。

可选地，所述标注信息标签还包括标注区域标签；所述待训练图像标注模型包括多个待训练第二图像标注子模型；每个所述待训练第二图像标注子模型均包括多个待训练第一图像标注子模型；

所述基于所述训练样本交互者类型，确定所述训练样本图像对应的待训练第一图像标注子模型的步骤包括：

步骤B21，根据预设的交互者类型和待训练第一图像标注子模型之间的映射关系，从所述待训练第二图像标注子模型中确定各所述训练样本交互者类型各自对应的目标待训练第二图像标注子模型；

步骤B22，根据所述标注区域标签确定所述训练样本图像中至少一个道路交互者的训练样本图像尺寸；

步骤B23，确定各所述训练样本图像尺寸所属的目标尺寸范围；

步骤B24，根据预设的尺寸范围和待训练第一图像标注子模型之间的映射关系，分别从每个所述目标待训练第二图像标注子模型中的各所述待训练第一图像标注子模型中，确定所述目标尺寸范围对应的待训练第一图像标注子模型。

在本实施例中，需要说明的是，所述待训练图像标注模型包括多个待训练第二图像标注子模型，各所述待训练第二图像标注子模型分别用于标注不同交互者类型的道路交互者；每个所述待训练第二图像标注子模型均包括多个待训练第一图像标注子模型，每个所述待训练第二图像标注子模型中的各所述待训练第一图像标注子模型用于标注不同尺寸范围的道路交互者。不同交互者类型的道路交互者的尺寸范围划分可以相同或不同，不同的待训练第二图像标注子模型中的待训练第一图像标注子模型的数量也可以相同或不同，具体均可以根据实际需要进行确定，本实施例对此不加以限制。这样，可以针对不同尺寸的道路交互者，对于每一个交互者类型的道路交互者均部署多个模型分别进行标注，每个模型均可以保证对一定尺寸范围的道路交互者的准确标注，因此可以提高道路交互者标注的全面性和各个尺寸道路交互者的标注准确性。

在针对不同尺寸的道路交互者采用不同的标注子模型进行标注的情况下，可以在按照交互者类型标签以及道路交互者标签尺寸范围对训练样本进行分类存储，例如，一张训练样本图像P的交互者类型标签包括人、车、自行车三种，大于2％像素的道路交互者为大目标，小于或等于2％像素的道路交互者为小目标，则可以将训练样本图像P、人这一交互者类型标签以及尺寸大于2％像素的人的标注区域标签组成一组样本数据，将训练样本图像P、人这一交互者类型标签以及尺寸小于或等于2％像素的人的标注区域标签组成一组样本数据，将训练样本图像P、车这一交互者类型标签以及尺寸大于2％像素的车的标注区域标签组成一组样本数据，将训练样本图像P、车这一交互者类型标签以及尺寸小于或等于2％像素的车的标注区域标签组成一组样本数据，将训练样本图像P、自行车这一交互者类型标签以及尺寸大于2％像素的自行车的标注区域标签组成一组样本数据，将训练样本图像P、自行车这一交互者类型标签以及尺寸小于或等于2％像素的自行车的标注区域标签组成一组样本数据，得到六组样本数据，分别存储这六组样本数据，在训练过程中，这六组样本数据则可以分别用于训练与其交互者类型标签对应的待训练第一图像标注子模型，不同交互者类型标签可以分别与其对应的待训练第一图像标注子模型的输出结果进行比较，并计算损失、梯度，并训练对应的待训练第一图像标注子模型。

作为一种示例，所述步骤B21-B24包括：根据预设的交互者类型和待训练第一图像标注子模型之间的映射关系，从所述待训练第二图像标注子模型中确定各所述训练样本交互者类型各自对应的目标待训练第二图像标注子模型，根据所述标注区域标签确定所述训练样本图像中至少一个道路交互者的训练样本图像尺寸，将所述训练样本图像尺寸与预设的尺寸范围进行比较，从各所述预设的尺寸范围中确定各所述训练样本图像尺寸所属的目标尺寸范围，根据预设的尺寸范围和待训练第一图像标注子模型之间的映射关系，分别从每个所述目标待训练第二图像标注子模型中的各所述待训练第一图像标注子模型中，确定所述目标尺寸范围对应的待训练第一图像标注子模型。

步骤A20，将所述训练样本图像输入所述待训练图像标注模型，通过所述训练样本图像对应的多个待训练第一图像标注子模型对所述训练样本图像进行道路交互者识别，生成多个道路交互者训练标注信息；

作为一种示例，所述步骤A20包括：将所述训练样本图像输入所述待训练图像标注模型，可以通过所述待训练图像标注模型中的部分或全部待训练第一图像标注子模型对所述训练样本图像进行道路交互者识别，并确定识别到的道路交互者的相关信息，进而可以生成并输出道路交互者训练标注信息，获取各所述待训练第一图像标注子模型输出的道路交互者训练标注信息。

步骤A30，基于各所述道路交互者训练标注信息和所述标注信息标签，对所述训练样本图像对应的各所述待训练第一图像标注子模型进行迭代优化。

作为一种示例，所述步骤A30包括：将各所述道路交互者训练标注信息与所述标注信息标签中各个道路交互者的标注信息子标签进行匹配，根据匹配后的道路交互者训练标注信息和标注信息子标签之间的差异，计算标注损失，判断所述标注损失是否收敛，若所述标注损失收敛，则可以确定对应的待训练第一图像标注子模型训练完成，若所述标注损失未收敛，则可以基于所述标注损失计算对应的第一图像标注子模型的模型梯度，对该第一图像标注子模型进行一轮更新，并返回执行所述获取训练样本图像以及所述训练样本图像的标注信息标签的步骤，直至各所述第一图像标注子模型均收敛，得到训练好的图像标注模型。

需要说明的是，所述待训练图像标注模型中的各所述待训练第一图像标注子模型可以一同进行训练，也可以分别单独进行训练，也即，在训练过程中，当部分待训练第一图像标注子模型训练完成之后，训练完成的第一图像标注子模型可以不再参与训练，而未训练完成的待训练第一图像标注子模型继续进行迭代优化，以减少资源浪费，且在需要新增第一图像标注子模型时，可以单独训练新增的第一图像标注子模型，训练完成后直接增加到训练完成的图像标注模型中即可进行应用，无需再对已经训练完成的第一图像标注子模型进行重新训练，图像标注模型的可拓展性较好。

在本实施例中，通过模型训练，可以使得各个待训练第一图像标注子模型分别基于各自对应的细分任务，学习标注不同类型、不同尺寸的道路交互者，从而提高每一个待训练第一图像标注子模型完成自身负责的细分任务的模型精度，从而提高图像标注的精准性。

实施例三

进一步地，本申请实施例还提供一种图像标注装置，参照图6，所述图像标注装置应用于第一设备，所述第一设备上部署有图像标注模型，所述图像标注模型包括多个第一图像标注子模型；所述图像标注装置包括：

第一获取模块10，用于获取待标注图像；

第一生成模块20，用于将所述待标注图像输入所述图像标注模型，通过多个第一图像标注子模型对所述待标注图像进行道路交互者识别，生成多个道路交互者标注信息；

聚合模块30，用于聚合各所述道路交互者标注信息，生成所述待标注图像的标注结果。

可选地，所述第一生成模块20，还用于：

获取决策任务，确定所述决策任务对应的至少一个目标交互者类型；

基于所述目标交互者类型，确定所述决策任务对应的多个目标第一图像标注子模型；

将所述待标注图像输入所述图像标注模型，通过各所述目标第一图像标注子模型分别对所述待标注图像进行道路交互者识别，生成各所述目标交互者类型各自对应的道路交互者标注信息。

可选地，所述图像标注模型包括多个第二图像标注子模型，每个所述第二图像标注子模型均包括多个第一图像标注子模型，每个所述第二图像标注子模型中的各所述第一图像标注子模型用于标注不同尺寸范围的道路交互者；

所述第一生成模块20，还用于：

根据预设的交互者类型与第二图像标注子模型之间的映射关系，确定所述决策任务对应的至少一个目标第二图像标注子模型，其中，每个所述目标第二图像标注子模型均包括多个目标第一图像标注子模型。

可选地，所述初始标注信息包括初始标注区域；

所述第一生成模块20，还用于：

将所述待标注图像输入所述图像标注模型，通过各所述目标第一图像标注子模型分别对所述待标注图像进行道路交互者识别，生成各所述目标交互者类型各自对应的多个不同尺寸范围的初始标注信息，其中，所述初始标注信息包括初始标注区域；

分别检测每个所述目标交互者类型对应的多个初始标注区域中，是否存在重叠面积超过预设重叠面积阈值且中心点距离小于预设中心点距离阈值的至少一组目标初始标注区域；

在检测到至少一组目标初始标注区域的情况下，分别确定每组目标初始标注区域对应的临界标注区域，其中，所述临界标注区域至少覆盖相对应的全部目标初始标注区域；

将各所述目标交互者类型各自对应的临界标注区域以及除目标初始标注区域之外的非目标初始标注区域进行聚合，生成各所述目标交互者类型各自对应的道路交互者标注信息。

可选地，在所述聚合各所述道路交互者标注信息，生成所述待标注图像的标注结果的操作之后，所述图像标注装置还包括样本确定模块，所述样本确定模块用于：

获取各所述道路交互者标注信息各自对应的目标置信度，并确定目标置信度高于预设置信度阈值的目标道路交互者标注信息；

将所述待标注图像作为训练样本图像，并将所述目标道路交互者标注信息确定为所述训练样本图像的标注信息标签。

本发明提供的图像标注装置，采用上述实施例中的图像标注方法，解决了现有技术对训练样本图像进行标注的效率较低且精准性较差的技术问题。与现有技术相比，本发明实施例提供的图像标注装置的有益效果与上述实施例提供的图像标注方法的有益效果相同，且该图像标注装置中的其他技术特征与上述实施例方法公开的特征相同，在此不做赘述。

实施例四

进一步地，本申请实施例还提供一种图像标注优化装置，参照图5，所述图像标注优化装置应用于第二设备，所述第二设备上部署有待训练图像标注模型，所述待训练图像标注模型包括多个待训练第一图像标注子模型；所述图像标注优化装置包括：

第二获取模块，用于获取训练样本图像以及所述训练样本图像的标注信息标签；

第二生成模块，用于将所述训练样本图像输入所述待训练图像标注模型，通过所述训练样本图像对应的多个待训练第一图像标注子模型对所述训练样本图像进行道路交互者识别，生成多个道路交互者训练标注信息；

优化模块，用于基于各所述道路交互者训练标注信息和所述标注信息标签，对所述训练样本图像对应的各所述待训练第一图像标注子模型进行迭代优化。

可选地，在所述标注信息标签包括交互者类型标签；所述获取训练样本图像以及所述训练样本图像的标注信息标签的操作之后，所述图像标注优化装置还包括待训练第一图像标注子模型确定模块，所述待训练第一图像标注子模型确定模块用于：

根据所述交互者类型标签确定所述训练样本图像中至少一个道路交互者的训练样本交互者类型；

基于所述训练样本交互者类型，确定所述训练样本图像对应的待训练第一图像标注子模型。

可选地，所述标注信息标签还包括标注区域标签；所述待训练图像标注模型包括多个待训练第二图像标注子模型；每个所述待训练第二图像标注子模型均包括多个待训练第一图像标注子模型；

所述待训练第一图像标注子模型确定模块，还用于：

根据预设的交互者类型和待训练第一图像标注子模型之间的映射关系，从所述待训练第二图像标注子模型中确定各所述训练样本交互者类型各自对应的目标待训练第二图像标注子模型；

根据所述标注区域标签确定所述训练样本图像中至少一个道路交互者的训练样本图像尺寸；

确定各所述训练样本图像尺寸所属的目标尺寸范围；

根据预设的尺寸范围和待训练第一图像标注子模型之间的映射关系，分别从每个所述目标待训练第二图像标注子模型中的各所述待训练第一图像标注子模型中，确定所述目标尺寸范围对应的待训练第一图像标注子模型。

本发明提供的图像标注装置，采用上述实施例中的图像标注方法，解决了现有技术对训练样本图像进行标注的效率较低且精准性较差的技术问题。与现有技术相比，本发明实施例提供的图像标注装置的有益效果与上述实施例提供的图像标注方法的有益效果相同，且该图像标注装置中的其他技术特征与上述实施例方法公开的特征相同，在此不做赘述。

实施例五

进一步地，本发明实施例提供一种电子设备，电子设备包括：至少一个处理器；以及，与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行上述实施例中的图像标注方法。

下面参考图7，其示出了适于用来实现本公开实施例的电子设备的结构示意图。本公开实施例中的电子设备可以包括但不限于诸如蓝牙耳机、移动电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、车载终端(例如车载导航终端)等的移动终端以及诸如数字TV、台式计算机等的固定终端。图7示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。

如图7所示，电子设备可以包括处理装置(例如中央处理器、图形处理器等)，其可以根据存储在只读存储器(ROM)中的程序或者从存储装置加载到随机访问存储器(RAM)中的程序而执行各种适当的动作和处理。在RAM中，还存储有电子设备操作所需的各种程序和数组。处理装置、ROM以及RAM通过总线彼此相连。输入/输出(I/O)接口也连接至总线。

通常，以下系统可以连接至I/O接口：包括例如触摸屏、触摸板、键盘、鼠标、图像传感器、麦克风、加速度计、陀螺仪等的输入装置；包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置；包括例如磁带、硬盘等的存储装置；以及通信装置。通信装置可以允许电子设备与其他设备进行无线或有线通信以交换数组。虽然图中示出了具有各种系统的电子设备，但是应理解的是，并不要求实施或具备所有示出的系统。可以替代地实施或具备更多或更少的系统。

特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置从网络上被下载和安装，或者从存储装置被安装，或者从ROM被安装。在该计算机程序被处理装置执行时，执行本公开实施例的方法中限定的上述功能。

本发明提供的电子设备，采用上述实施例中的图像标注方法，解决了现有技术对训练样本图像进行标注的效率较低且精准性较差的技术问题。与现有技术相比，本发明实施例提供的电子设备的有益效果与上述实施例提供的图像标注方法的有益效果相同，且该电子设备中的其他技术特征与上述实施例方法公开的特征相同，在此不做赘述。

应当理解，本公开的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式的描述中，具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

实施例六

进一步地，本实施例提供一种计算机可读存储介质，具有存储在其上的计算机可读程序指令，计算机可读程序指令用于执行上述实施例中的图像标注方法。

本发明实施例提供的计算机可读存储介质例如可以是U盘，但不限于电、磁、光、电磁、红外线、或半导体的系统、系统或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本实施例中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、系统或者器件使用或者与其结合使用。计算机可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等，或者上述的任意合适的组合。

上述计算机可读存储介质可以是电子设备中所包含的；也可以是单独存在，而未装配入电子设备中。

上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被电子设备执行时，使得电子设备：获取待标注图像；将所述待标注图像输入所述图像标注模型，通过多个第一图像标注子模型对所述待标注图像进行道路交互者识别，生成多个道路交互者标注信息；聚合各所述道路交互者标注信息，生成所述待标注图像的标注结果。

或者，当上述一个或者多个程序被电子设备执行时，还可以使得电子设备：获取训练样本图像以及所述训练样本图像的标注信息标签；将所述训练样本图像输入所述待训练图像标注模型，通过所述训练样本图像对应的多个待训练第一图像标注子模型对所述训练样本图像进行道路交互者识别，生成多个道路交互者训练标注信息；基于各所述道路交互者训练标注信息和所述标注信息标签，对所述训练样本图像对应的各所述待训练第一图像标注子模型进行迭代优化。

可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本公开实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，模块的名称在某种情况下并不构成对该单元本身的限定。

本发明提供的计算机可读存储介质，存储有用于执行上述图像标注方法的计算机可读程序指令，解决了现有技术对训练样本图像进行标注的效率较低且精准性较差的技术问题。与现有技术相比，本发明实施例提供的计算机可读存储介质的有益效果与上述实施例提供的图像标注方法的有益效果相同，在此不做赘述。

实施例七

进一步地，本申请还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述的图像标注方法的步骤。

本申请提供的计算机程序产品解决了现有技术对训练样本图像进行标注的效率较低且精准性较差的技术问题。与现有技术相比，本发明实施例提供的计算机程序产品的有益效果与上述实施例提供的图像标注方法的有益效果相同，在此不做赘述。

以上仅为本申请的优选实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利处理范围内。

Claims (10)

1.一种图像标注方法，其特征在于，所述图像标注方法应用于第一设备，所述第一设备上部署有图像标注模型，所述图像标注模型包括多个第一图像标注子模型；所述图像标注方法包括以下步骤：

获取待标注图像；

将所述待标注图像输入所述图像标注模型，通过多个第一图像标注子模型对所述待标注图像进行道路交互者识别，生成多个道路交互者标注信息；

聚合各所述道路交互者标注信息，生成所述待标注图像的标注结果。

2.如权利要求1所述的图像标注方法，其特征在于，所述将所述待标注图像输入所述图像标注模型，通过多个第一图像标注子模型对所述待标注图像进行道路交互者识别，生成多个道路交互者标注信息的步骤包括：

获取决策任务，确定所述决策任务对应的至少一个目标交互者类型；

基于所述目标交互者类型，确定所述决策任务对应的多个目标第一图像标注子模型；

将所述待标注图像输入所述图像标注模型，通过各所述目标第一图像标注子模型分别对所述待标注图像进行道路交互者识别，生成各所述目标交互者类型各自对应的道路交互者标注信息。

3.如权利要求2所述的图像标注方法，其特征在于，所述图像标注模型包括多个第二图像标注子模型，每个所述第二图像标注子模型均包括多个第一图像标注子模型，每个所述第二图像标注子模型中的各所述第一图像标注子模型用于标注不同尺寸范围的道路交互者；

所述基于所述目标交互者类型，确定所述决策任务对应的多个目标第一图像标注子模型的步骤包括：

根据预设的交互者类型与第二图像标注子模型之间的映射关系，确定所述决策任务对应的至少一个目标第二图像标注子模型，其中，每个所述目标第二图像标注子模型均包括多个目标第一图像标注子模型。

4.如权利要求3所述的图像标注方法，其特征在于，所述将所述待标注图像输入所述图像标注模型，通过各所述目标第一图像标注子模型分别对所述待标注图像进行道路交互者识别，生成各所述目标交互者类型各自对应的道路交互者标注信息的步骤包括：

将所述待标注图像输入所述图像标注模型，通过各所述目标第一图像标注子模型分别对所述待标注图像进行道路交互者识别，生成各所述目标交互者类型各自对应的多个不同尺寸范围的初始标注信息，其中，所述初始标注信息包括初始标注区域；

分别检测每个所述目标交互者类型对应的多个初始标注区域中，是否存在重叠面积超过预设重叠面积阈值且中心点距离小于预设中心点距离阈值的至少一组目标初始标注区域；

在检测到至少一组目标初始标注区域的情况下，分别确定每组目标初始标注区域对应的临界标注区域，其中，所述临界标注区域至少覆盖相对应的全部目标初始标注区域；

将各所述目标交互者类型各自对应的临界标注区域以及除目标初始标注区域之外的非目标初始标注区域进行聚合，生成各所述目标交互者类型各自对应的道路交互者标注信息。

5.如权利要求1所述的图像标注方法，其特征在于，所述聚合各所述道路交互者标注信息，生成所述待标注图像的标注结果的步骤之后，还包括：

获取各所述道路交互者标注信息各自对应的目标置信度，并确定目标置信度高于预设置信度阈值的目标道路交互者标注信息；

将所述待标注图像作为训练样本图像，并将所述目标道路交互者标注信息确定为所述训练样本图像的标注信息标签。

6.一种图像标注优化方法，其特征在于，所述图像标注优化方法应用于第二设备，所述第二设备上部署有待训练图像标注模型，所述待训练图像标注模型包括多个待训练第一图像标注子模型；所述图像标注优化方法包括以下步骤：

获取训练样本图像以及所述训练样本图像的标注信息标签；

将所述训练样本图像输入所述待训练图像标注模型，通过所述训练样本图像对应的多个待训练第一图像标注子模型对所述训练样本图像进行道路交互者识别，生成多个道路交互者训练标注信息；

基于各所述道路交互者训练标注信息和所述标注信息标签，对所述训练样本图像对应的各所述待训练第一图像标注子模型进行迭代优化。

7.如权利要求6所述的图像标注优化方法，其特征在于，所述标注信息标签包括交互者类型标签；所述获取训练样本图像以及所述训练样本图像的标注信息标签的步骤之后，还包括：

根据所述交互者类型标签确定所述训练样本图像中至少一个道路交互者的训练样本交互者类型；

基于所述训练样本交互者类型，确定所述训练样本图像对应的待训练第一图像标注子模型。

8.如权利要求7所述的图像标注优化方法，其特征在于，所述标注信息标签还包括标注区域标签；所述待训练图像标注模型包括多个待训练第二图像标注子模型；每个所述待训练第二图像标注子模型均包括多个待训练第一图像标注子模型；

所述基于所述训练样本交互者类型，确定所述训练样本图像对应的待训练第一图像标注子模型的步骤包括：

根据预设的交互者类型和待训练第一图像标注子模型之间的映射关系，从所述待训练第二图像标注子模型中确定各所述训练样本交互者类型各自对应的目标待训练第二图像标注子模型；

根据所述标注区域标签确定所述训练样本图像中至少一个道路交互者的训练样本图像尺寸；

确定各所述训练样本图像尺寸所属的目标尺寸范围；

根据预设的尺寸范围和待训练第一图像标注子模型之间的映射关系，分别从每个所述目标待训练第二图像标注子模型中的各所述待训练第一图像标注子模型中，确定所述目标尺寸范围对应的待训练第一图像标注子模型。

9.一种电子设备，其特征在于，所述电子设备包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1至5中任一项所述的图像标注方法的步骤或6至8中任一项所述的图像标注优化方法的步骤。

10.一种存储介质，其特征在于，所述存储介质为计算机可读存储介质，所述计算机可读存储介质上存储有实现图像标注方法的程序，所述实现图像标注方法的程序被处理器执行以实现如权利要求1至5中任一项所述的图像标注方法的步骤或6至8中任一项所述的图像标注优化方法的步骤。