CN116912603A - 预标注筛选方法及相关装置、设备和介质 - Google Patents

Abstract

本申请公开了一种预标注筛选方法及相关装置、设备和介质，预标注筛选方法包括：获取标注任务中各个样本图像内若干种标注对象的预标注框；获取各种标注对象的预标注框至少关于交并比的目标范围；滤除样本图像中不在所属标注对象对应目标范围内的预标注框；选择至少部分经预标注筛选的样本图像，得到抽检图集；响应于抽检图集关于预标注框的标注质量满足预设条件，传输标注任务中经预标注筛选的样本图像至标注终端，以供标注终端对样本图像进行标注。上述方案，能够提升预标注筛选的适用范围。

Description

预标注筛选方法及相关装置、设备和介质

技术领域

本申请涉及图像处理技术领域，特别是涉及一种预标注筛选方法及相关装置、设备和介质。

背景技术

在计算机视觉领域，图像标注一直是一个重要任务。例如，含有标注框的样本图像通常是图像分割、目标检测等网络模型训练时所亟需的。

目前，由于标注任务的复杂度和耗时性，传统的人工标注方法已经无法满足大规模数据集上的需求。由此，自动化标注和半自动化标注逐渐成为研究热点。现有技术依赖于标注的从属关系（如对车牌的标注从属于对车辆的标注），通过标注间的从属关系对错误标注进行筛选。但是，这种方式的使用范围受到极大制约，如若标注间实际并不存在从属关系，则无法对错误标注进行筛选。有鉴于此，如何提升预标注筛选的适用范围，成为亟待解决的问题。

发明内容

本申请主要解决的技术问题是提供一种预标注筛选方法及相关装置、设备和介质，能够提升预标注筛选的适用范围。

为了解决上述问题，本申请第一方面提供了一种预标注筛选方法，包括：获取标注任务中各个样本图像内若干种标注对象的预标注框；获取各种标注对象的预标注框至少关于交并比的目标范围；滤除样本图像中不在所属标注对象对应目标范围内的预标注框；选择至少部分经预标注筛选的样本图像，得到抽检图集；响应于抽检图集关于预标注框的标注质量满足预设条件，传输标注任务中经预标注筛选的样本图像至标注终端，以供标注终端对样本图像进行标注。

为了解决上述问题，本申请第二方面提供了一种预标注筛选装置，包括：预标注获取模块、范围设置模块、预标注滤除模块、预标注抽检模块和样本传输模块，预标注获取模块，用于获取标注任务中各个样本图像内若干种标注对象的预标注框；范围设置模块，用于获取各种标注对象的预标注框至少关于交并比的目标范围；预标注滤除模块，用于滤除样本图像中不在所属标注对象对应目标范围内的预标注框；预标注抽检模块，用于选择至少部分经预标注筛选的样本图像，得到抽检图集；样本传输模块，用于响应于抽检图集关于预标注框的标注质量满足预设条件，传输标注任务中经预标注筛选的样本图像至标注终端，以供标注终端对样本图像进行标注。

为了解决上述问题，本申请第三方面提供了一种电子设备，包括相互耦接的存储器和处理器，存储器存储有程序指令，处理器用于执行程序指令以实现上述第一方面中的预标注筛选方法。

为了解决上述问题，本申请第四方面提供了一种计算机可读存储介质，存储有能够被处理器运行的程序指令，程序指令用于实现上述第一方面中的预标注筛选方法。

上述方案，获取标注任务中各个样本图像内若干种标注对象的预标注框，并获取各种标注对象的预标注框至少关于交并比的目标范围，从而滤除样本图像中不在所属标注对象对应目标范围内的预标注框，基于此再选择至少一部分经预标注筛选的样本图像，得到抽检图集，进而响应于抽检图集关于预标注框的标注质量满足预设条件，传输标注任务中经预标注筛选的样本图像至标注终端，以供标注终端对样本图像进行标注，故通过获取至少关于交并比的目标范围对样本图像的预标注框进行筛选，能够不再依赖于标注间的从属关系，即使标注间实际不存在从属关系也能够适用，有助于提升预标注筛选的适用范围。

附图说明

图1是本申请预标注筛选方法一实施例的流程示意图；

图2是审核界面一实施例的示意图；

图3是本申请预标注筛选方法另一实施例的流程示意图；

图4是本申请预标注筛选装置一实施例的框架示意图；

图5是本申请电子设备一实施例的框架示意图；

图6是本申请计算机可读存储介质一实施例的框架示意图。

具体实施方式

下面结合说明书附图，对本申请实施例的方案进行详细说明。

以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、接口、技术之类的具体细节，以便透彻理解本申请。

本文中术语“系统”和“网络”在本文中常被可互换使用。本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。此外，本文中的“多”表示两个或者多于两个。

请参阅图1，图1是本申请预标注筛选方法一实施例的流程示意图。具体而言，可以包括如下步骤：

步骤S11：获取标注任务中各个样本图像内若干种标注对象的预标注框。

本公开实施例中，标注任务可以包括至少一个标注类型，标注类型可以自行设置。以交通场景为例，标注类型具体可以包括但不限于：车辆、行人、信号灯。示例性地，在标注任务包含标注类型“车辆”的情况下，可以获取样本图像内属于标注类型“车辆”的标注对象的预标注框；或者，在标注任务包含标注类型“行人”的情况下，可以获取样本图像内属于标注类型“行人”的标注对象的预标注框；或者，在标注任务包含标注类型“车辆”和“行人”的情况下，可以获取样本图像内属于标注类型“行人”的标注对象的预标注框和属于标注类型“车辆”的标注对象的预标注框。其他情况可以以此类推，在此不再一一举例。

在一个实施场景中，预标注框可以由预设算法对样本图像进行检测得到。预设算法可以包括但不限于：结构化算法、目标识别算法等，在此不做限定。

在一个实施场景中，本公开实施例具体可以由管理终端执行，且管理终端可以与服务器通信连接，且服务器上可以运行有预设算法，以在服务器对样本图像进行预标注，并由服务器将标注数据发送至管理终端。

步骤S12：获取各种标注对象的预标注框至少关于交并比的目标范围。

需要说明的是，每种标注对象的预标注框关于交并比的目标范围，表征该种标注对象的预标注框关于交并比的合理范围（或理论范围）。具体地，交并比可以为预标注框与样本图像的交集（即预标注框自身）、预标注框与样本图像的并集（即样本图像自身）之间的面积之比。

在一个实施场景中，管理人员可以在管理终端对每种标注对象分别设置关于交并比的目标范围。示例性地，在标注任务包含“车辆”和“行人”两种标注对象的情况下，管理人员可以为标注类型“车辆”的预标注框设置一个关于交并比的目标范围，并为标注类型“行人”的预标注框设置一个关于交并比的目标范围。其他情况可以以此类推，在此不再一一举例。

在另一个实施场景中，以前述指标包含交并比为例，在得到预标注框之后，对于各种标注对象，可以基于标注对象的预标注框关于交并比的数值分布，选择至少部分样本图像作为标注对象设置目标范围的参考图像，并响应于表征为标注对象设置目标范围的第一指令，显示标注对象的参考图像以及参考图像中标注对象的预设标注框，从而可以获取管理人员为该标注对象的预标注框关于交并比所设置的目标范围。在前述指标包括高度、宽度等情况下，可以以此类推，以实现分别为各种指标设置相应的目标范围，在此不再一一举例。上述方式，先通过对每种标注对象关于交并比度量数值分布，再基于此选取为标注对象设置目标范围时的参考图像，从而响应于第一指令显示表示对象的参考图像及其预标注框，以供管理人员设置目标范围时参考，进而能够有助于提升目标范围的设置精度。

在一个具体的实施场景中，对于每种标注对象，在获取其关于交并比的数值分布之后，可以划分该数值分布，得到若干第一区间，再在各个第一区间，选取预标注框的交并比位于该对应第一区间的样本图像，作为该种标注对象设置目标范围的参考图像。需要说明的是，在第一区间内选取参考图像时，可以按照一定比例选取，如10%、15%等，在此不做限定。以标注任务包含“车辆”和“行人”两种标注对象为例，对于标注对象“车辆”而言，可以统计其在各个样本图像中关于交并比的具体数值，从而可以得到数值分布，为了便于描述，可以记为。在此基础上，可以将该数值分布划分为N个第一区间：、/>、…、/>，从而可以在上述第1个至第N个第一区间分别按照一定比例选取交并比位于该第一区间内的样本图像，作为为“车辆”设置目标范围的参考图像。对于标注对象“行人”而言，可以以此类推，在此不再赘述。上述方式，通过划分数值分布，得到若干第一区间，并在各个第一区间，选取预标注框的交并比位于第一区间内的样本图像，作为标注对象设置目标范围的参考图像，有助于提升目标范围的设置精度，与此同时，降低设置目标范围的复杂度。

在一个具体的实施场景中，还可以响应于第一指令，显示参考图像中标注对象的预标注框关于交并比的第一数值，且标注对象的预标注框处于可编辑状态。示例性地，管理人员在登录时，可以显示一配置界面，配置界面上设有与各种标注对象分别对应的配置选项，在管理人员点击某一配置选项时，即可在配置界面显示该配置选项所对应标注对象分别在各个参考图像中的预标注框以及关于交并比的第一数值，以供管理人员在设置目标范围时参考。进一步地，还可以响应于表征对标注对象的预标注框进行调整的第二指令，显示参考图像中标注对象调整后的预标注框，并显示标注对象的预标注框调整后关于交并比的第二数值，以供管理人员为标注对象设置关于交并比的目标范围时参考。示例性地，在管理人员发现参考图像中标注对象的预标注框存在问题时，可以手动调整（如，手动拖拽预标注框的角点、边框等），并随之实时显示调整后关于交并比的第二数值。上述方式，显示参考图像中标注对象的预标注框关于交并比的第一数值，且标注对象的预标注框处于可编辑状态，响应于表征对标注对象的预标注框进行调整的第二指令，显示参考图像中标注对象调整后的预标注框，并显示标注对象的预标注框调整后关于交并比的第二数值，以供管理人员为标注对象设置关于交并比的目标范围时参考，从而能够支持管理人员在设置目标范围过程中即时调整预标注框，并随之显示调整后关于交并比的第二数值，以辅助设置目标范围，进而能够进一步提升目标范围的设置精度。

当然，还可以参照前述相关描述获取各种标注对象的预标注框分别关于其他指标的目标范围，其他指标可以包括但不限于：宽度、高度等，在此不做限定。示例性地，以包含宽度w为例，目标范围可以是以下任一者：w<p，w>p，min<w<max；或者，以包含高度h为例，内部范围可以是以下任一者：h<p，h>p，min<h<max。其中，p代表一预设值，min代表下限值，max代表上限值。其他情况可以以此类推，在此不再一一举例。

步骤S13：滤除样本图像中不在所属标注对象对应目标范围内的预标注框。

具体地，对于标注任务中各个样本图像而言，可以检查其中每个预标注框，若某一预标注框不在其所属标注对象对应的目标范围内，则可以在该样本图像中将该预标注框予以滤除，以实现对样本图像的预标注筛选。

步骤S14：选择至少部分经预标注筛选的样本图像，得到抽检图集。

在一个实施场景中，可以对经预标注筛选的样本图像进行随机抽检，得到抽检图集。

在另一个实施场景中，区别于前述抽检方式，可以统计样本图像中被滤除预标注框的第三数值，并基于第三数值所在的第二区间，将各个经预标注筛选的样本图像分别划分至若干数据集合，再从各个数据集合分别抽取至少部分经预标注筛选的样本图像，得到抽检图集。示例性地，可以在统计得到第三数值之后，以最小第三数值为下限值，以最大第三数值为上限值，并将以下限值和上限值构成的数值区间划分为若干第二区间，从而可以确定出每个样本图像对应第三数值所在的第二区间，进而可以将每个第二区间一一对应于不同数据集合，当然也可以将相邻两个第二区间（或连续三个第二区间，或连续四个第二区间等）合为一个数据集合。在此基础上，可以在每个数据集合按照一定比例抽取经预标注筛选的样本图像，得到抽检图集。例如，每个数据集合可以按照相同比例抽取，或者，每个数据集合可以按照不同比例抽取，且数据集合抽取样本图像时所采用的比例与数据集合中包含样本图像的数量正相关。上述方式，统计样本图像中被滤除预标注框的第三数值，基于第三数值所在第二区间，将各个经预标注筛选的样本图像分别划分至若干数据集合，再从各个数据集合分别抽取至少部分经预标注筛选的样本图像，得到抽检图集，一方面能够提升后续预标注质检的效率，另一方面以样本图像中被滤除预标注框数量为维度抽取图像，能够在后续预标注质检过程中尽可能地覆盖不同预标注筛选情况的样本图像，有助于提升后续预标注质检的精度。

在又一个实施场景中，为了便于后续区别不同种类标注对象关于预标注框的标注质量，在统计样本图像中被滤除预标注框的第三数值时，具体可以对每种标注对象，统计图像中该种标注对象被滤除预标注框的第三数值。在此基础上，对于该种标注对象而言，可以基于其第三数值所在的第二区间，将各个经预标注筛选的样本图像分别划分至若干数据集合，再从各个数据集合分别抽取至少部分经预标注筛选的样本图像，得到该种标注对象后续进行预标注质检的抽检图集。

步骤S15：响应于抽检图集关于预标注框的标注质量满足预设条件，传输标注任务中经预标注筛选的样本图像至标注终端，以供标注终端对样本图像进行标注。

在一个实施场景中，请结合参阅图2，图2是审核界面一实施例的示意图。如图2所示，在得到抽检图集之后，可以将抽检图集在审核界面予以显示，以供管理人员对抽检图集中各个样本图像进行人工质检，并在确认样本图像中预标注框合格时，点击审核界面上“质量合格”的按钮，在确认样本图像中预标注框不合格时，点击审核界面上“质量不合格”的按钮。请继续结合参阅图2，审核界面上还可以设置有侧边栏，依次显示有分别与抽检图集中各个抽检图像对应的选项，以在用户选择某一选项时，在审核界面显示该选项对应的抽检图像。

在一个实施场景中，在得到抽检图集中各个样本图像关于预标注框的质检结果（即，合格或不合格）之后，可以统计抽检图集中关于预标注框不合格的图像占比，作为抽检图集关于预标注框的标注质量。当然，也可以统计抽检图集中关于预标注框合格的图像占比，作为抽检图集关于预标注框的标注质量，在此不做限定。示例性地，在标注质量表征前者的情况下，预设条件可以设置为图像占比低于第一阈值；反之在标注质量表征后者的情况下，预设条件可以设置为图像占比高于第二阈值。需要说明的是，第一阈值和第二阈值可以根据实际应用需要进行设置。例如，在对预标注筛选相对严苛的情况下，第一阈值可以设置地适当低一些，第二阈值可以设置地适当高一些。

在一个实施场景中，标注终端可以有多个，在此情况下，可以将标注任务中经预标注筛选的样本图像划分为与标注终端相同数量的子集，从而可以将各个子集分别发送至相应的标注终端，以供标注人员对标注任中不同部分的样本图像在已有预标注框的基础上进行正式标注。或者，也可以将标注任务中经预标注筛选的样本图像不进行划分，而是直接将标注任务中经预标注筛选的样本图像直接全量发送至不同标注终端，在此不做限定。

上述方案，获取标注任务中各个样本图像内若干种标注对象的预标注框，并获取各种标注对象的预标注框至少关于交并比的目标范围，从而滤除样本图像中不在所属标注对象对应目标范围内的预标注框，基于此再选择至少一部分经预标注筛选的样本图像，得到抽检图集，进而响应于抽检图集关于预标注框的标注质量满足预设条件，传输标注任务中经预标注筛选的样本图像至标注终端，以供标注终端对样本图像进行标注，故通过获取至少关于交并比的目标范围对样本图像的预标注框进行筛选，能够不再依赖于标注间的从属关系，即使标注间实际不存在从属关系也能够适用，有助于提升预标注筛选的适用范围。

请参阅图3，图3是本申请预标注筛选方法另一实施例的流程示意图。具体而言，可以包括如下步骤：

步骤S31：获取标注任务中各个样本图像内若干种标注对象的预标注框。

具体请参阅前述公开实施例中相关描述，在此不再赘述。

步骤S32：获取各种标注对象的预标注框至少关于交并比的目标范围。

具体请参阅前述公开实施例中相关描述，在此不再赘述。

步骤S33：滤除样本图像中不在所属标注对象对应目标范围内的预标注框。

具体请参阅前述公开实施例中相关描述，在此不再赘述。

步骤S34：选择至少部分经预标注筛选的样本图像，得到抽检图集。

具体请参阅前述公开实施例中相关描述，在此不再赘述。

步骤S35：判断抽检图集关于预标注框的标注质量是否满足预设条件，若是则执行步骤S36，否则执行步骤S37。

具体请参阅前述公开实施例中相关描述，在此不再赘述。

步骤S36：传输标注任务中经预标注筛选的样本图像至标注终端，以供标注终端对样本图像进行标注。

具体请参阅前述公开实施例中相关描述，在此不再赘述。

步骤S37：筛选抽检图集中预标注框标注不合格的样本图像，作为目标图像。

具体地，对于预标注框是否合格的确定方式，可以参阅前述公开实施例中相关描述，在此不再赘述。

步骤S38：分析目标图像中被滤除预标注框的第一数量、被滤除相同数量预标注框的目标图像的第二数量之间的相关关系。

示例性地，以共筛选出M张目标图像为例，对于每张目标图像而言，可以统计其中被滤除预标注框的第一数量，再对相同第一数量的目标图像进行统计，得到相应的第二数量，即可得到若干由第一数量和第二数量组成的数据点，从而可以对若干数据点进行相关拟合，即可得到相关关系。具体来说，相关关系可以包括正相关、负相关中至少一者。

步骤S39：基于相关关系，重新执行获取标注任务中各个样本图像内若干种标注对象的预标注框的步骤，或重新执行获取各种标注对象的预标注框至少关于交并比的目标范围的步骤。

在一个实施场景中，如前所述，预标注框可以由预设算法对样本图像检测得到，则响应于相关关系为正相关，可以优化预设算法，并重新执行前述获取标注任务中各个样本图像内若干种标注对象的预标注框的步骤。需要说明的是，在相关关系为正相关的情况下，目标图像中被滤除预标注框的第一数量越多，被滤除该数量预标注框的目标图像的第二数量也越多，反之目标图像中被滤除预标注框的第一数量越少，被滤除该数量预标注框的目标图像的第二数量也越少。作为一种实际应用中可能存在的特别情况，对于被滤除1个预标注框而言，共计1个目标图像存在这种情况，对于被滤除2个预标注框而言，共计2个目标图像存在这种情况，对于被滤除3个预标注框而言，共计3个目标图像存在这种情况，以此类推，即前述第一数量与第二数量的相关关系为正相关。当然，上述举例仅仅是实际应用中一种可能存在的特殊情况，并不因此而限定“正相关”的情况。在此情况下，有较大可能是预设算法存在问题，当然也有一定几率是目标范围设置有误，为了提升送入标注终端的预标注数据的准确性，可以优化预设算法，并重新执行前述步骤S31。此外，优化预设算法的具体过程，可以参阅诸如结构化算法、目标识别算法等技术细节，在此不再赘述。上述方式，预标注框由预设算法对样本图像检测得到，响应于相关关系为正相关，优化预设算法，并重新执行获取标注任务中各个样本图像内若干种标注对象的预标注框的步骤，故有助于提升送入标注终端的预标注数据的准确性。

在一个具体的实施场景中，如前所述，在相关关系为正相关的情况下，有较大可能是预设算法存在问题，故为了提升预标注筛选的效率，在从前述步骤S31开始重新执行本公开实施例中预标注筛选方法的过程中，可以复用各种标注对象最新的目标范围，即跳过步骤S32。上述方式，在相关关系为正相关的情况下，复用各种标注对象最新的目标范围，能够在重新执行过程中，跳过设置目标范围，有助于提升预标注筛选的效率。

在另一个具体的实施场景中，区别于前述实施方式，如前所述，在相关关系为正相关的情况下，也有一定几率是目标范围设置有误，故为了提升预标注筛选的精度，在从前述步骤S31开始重新执行本公开实施例中预标注筛选方法的过程中，也可以不跳过步骤S32，即重新设置目标范围。

在另一个实施场景中，响应于相关关系为负相关，可以重新执行前述获取各种标注对象的预标注框至少关于交并比的目标范围的范围，即可以重新执行前述步骤S32。需要说明的是，在相关关系为负相关的情况下，目标图像中被滤除预标注框的第一数量越多，被滤除该数量预标注框的目标图像的第二数量反而越少，反之目标图像中被滤除预标注框的第一数量越少，被滤除该数量预标注框的目标图像的第二数量反而越多。作为一种实际应用中可能存在的特别情况，对于被滤除1个预标注框而言，共计5个目标图像存在这种情况，对于被滤除2个预标注框而言，共计4个目标图像存在这种情况，对于被滤除3个预标注框而言，共计2个目标图像存在这种情况，以此类推，即前述第一数量与第二数量的相关关系为负相关。当然，上述举例仅仅是实际应用中一种可能存在的特殊情况，并不因此而限定“负相关”的情况。在此情况下，有较大可能是目标范围设置有误，为了提升送入标注终端的预标注数据的准确性，可以重新设置目标范围，即重新执行步骤S32。上述方式，响应于相关关系为负相关，重新执行获取各种标注对象的预标注框至少关于交并比的目标范围的步骤，有助于提升送入标注终端的预标注数据的准确性。

在又一个实施场景中，如前所述，预标注框由预设算法对样本图像检测得到，则响应于相关关系包括正相关和负相关，则如前所述，有较大可能是预设算法和目标范围均存在问题。在此情况下，可以优化预设算法，并从获取标注任务中各个样本图像内若干种标注对象的预标注框的步骤开始重新执行预标注筛选方法，即从步骤S31开始重新执行各个步骤，即不再跳过步骤S32，直至抽检图集关于预标注框的标注质量满足预设条件为止。此外，关于预设算法及其优化方式，可以参阅前述公开实施例中关于结构化算法、目标识别算法等相关描述，在此不再赘述。上述方式，预标注框由预设算法对样本图像检测得到，响应于相关关系包含正相关和负相关，优化预设算法，并从获取标注任务中各个样本图像内若干种标注对象的预标注框的步骤开始重新执行预标注筛选方法，直至抽检图集关于预标注框的标注质量满足预设条件为止，有助于提升送入标注终端的预标注数据的准确性。

上述方案，在抽检图集关于预标注框的标注质量不满足预设条件的情况下，筛选抽检图集中预标注不合格的样本图像，作为目标图像，并分析目标图像中被滤除预标注框的第一数量、被滤除相同数量预标注框的目标图像的第二数量之间的相关关系，从而基于相关关系，重新执行获取标注任务中各个样本图像内若干种标注对象的预标注框的步骤，或重新执行获取各种标注对象的预标注框至少关于交并比的目标范围的步骤，能够有助于提升送入标注终端的预标注数据的准确性。

请参阅图4，图4是本申请预标注筛选装置40一实施例的框架示意图。预标注筛选装置40可以包括：预标注获取模块41、范围设置模块42、预标注滤除模块43、预标注抽检模块44、样本传输模块45，预标注获取模块41，用于获取标注任务中各个样本图像内若干种标注对象的预标注框；范围设置模块42，用于获取各种标注对象的预标注框至少关于交并比的目标范围；预标注滤除模块43，用于滤除样本图像中不在所属标注对象对应目标范围内的预标注框；预标注抽检模块44，用于选择至少部分经预标注筛选的样本图像，得到抽检图集；样本传输模块45，用于响应于抽检图集关于预标注框的标注质量满足预设条件，传输标注任务中经预标注筛选的样本图像至标注终端，以供标注终端对样本图像进行标注。

上述方案，预标注筛选装置40获取标注任务中各个样本图像内若干种标注对象的预标注框，并获取各种标注对象的预标注框至少关于交并比的目标范围，从而滤除样本图像中不在所属标注对象对应目标范围内的预标注框，基于此再选择至少一部分经预标注筛选的样本图像，得到抽检图集，进而响应于抽检图集关于预标注框的标注质量满足预设条件，传输标注任务中经预标注筛选的样本图像至标注终端，以供标注终端对样本图像进行标注，故通过获取至少关于交并比的目标范围对样本图像的预标注框进行筛选，能够不再依赖于标注间的从属关系，即使标注间实际不存在从属关系也能够适用，有助于提升预标注筛选的适用范围。

在一些公开实施例中，预标注筛选装置40还包括图像选择模块，用于对于各种标注对象，基于标注对象的预标注框关于交并比的数值分布，选择至少部分样本图像作为标注对象设置目标范围的参考图像；预标注筛选装置40还包括图像显示模块，用于响应于表征为标注对象设置目标范围的第一指令，显示标注对象的参考图像以及参考图像中标注对象的预标注框；范围设置模块42具体用于获取管理人员为标注对象的预标注框关于交并比所设置的目标范围。

在一些公开实施例中，图像选择模块包括区间划分子模块，用于划分数值分布，得到若干第一区间；图像选择模块包括图像选取子模块，用于在各个第一区间，选取预标注框的交并比位于第一区间内的样本图像，作为标注对象设置目标范围的参考图像。

在一些公开实施例中，图像显示模块还用于显示参考图像中标注对象的预标注框关于交并比的第一数值；其中，标注对象的预标注框处于可编辑状态；响应于表征对标注对象的预标注框进行调整的第二指令，显示参考图像中标注对象调整后的预标注框，并显示标注对象的预标注框调整后关于交并比的第二数值，以供管理人员为标注对象设置关于交并比的目标范围时参考。

在一些公开实施例中，预标注抽检模块44包括数值统计子模块，用于统计样本图像中被滤除预标注框的第三数值；预标注抽检模块44包括集合划分子模块，用于基于第三数值所在的第二区间，将各个经预标注筛选的样本图像分别划分至若干数据集合；预标注抽检模块44包括样本抽取子模块，用于从各个数据集合分别抽取至少部分经预标注筛选的样本图像，得到抽检图集。

在一些公开实施例中，预标注筛选装置40还包括样本筛选模块，用于在抽检图集关于预标注框的标注质量不满足预设条件的情况下，筛选抽检图集中预标注框标注不合格的样本图像，作为目标图像；预标注筛选装置40还包括相关分析模块，用于分析目标图像中被滤除预标注框的第一数量、被滤除相同数量预标注框的目标图像的第二数量之间的相关关系；预标注筛选装置40还包括循环执行模块，用于基于相关关系，重新执行获取标注任务中各个样本图像内若干种标注对象的预标注框的步骤，或重新执行获取各种标注对象的预标注框至少关于交并比的目标范围的步骤。

在一些公开实施例中，预标注框由预设算法对样本图像检测得到，循环执行模块包括第一响应子模块，用于响应于相关关系为正相关，优化预设算法，并重新执行获取标注任务中各个样本图像内若干种标注对象的预标注框的步骤。

在一些公开实施例中，循环执行模块还包括复用子模块，用于在相关关系为正相关的情况下，复用各种标注对象最新的目标范围。

在一些公开实施例中，循环执行模块包括第二响应子模块，用于响应于相关关系为负相关，重新执行获取各种标注对象的预标注框至少关于交并比的目标范围的步骤。

在一些公开实施例中，预标注框由预设算法对样本图像检测得到，循环执行模块还包括第三响应子模块，用于响应于相关关系包含正相关和负相关，优化预设算法，并从获取标注任务中各个样本图像内若干种标注对象的预标注框的步骤开始重新执行预标注筛选方法，直至抽检图集关于预标注框的标注质量满足预设条件为止。

请参阅图5，图5是本申请电子设备50一实施例的框架示意图。电子设备50包括相互耦接的存储器51和处理器52，存储器51存储有程序指令，处理器52用于执行程序指令以实现上述任一预标注筛选方法实施例中步骤，具体可以参阅前述公开实施例，在此不再赘述。需要说明的是，电子设备50可以包括但不限于：服务器、台式计算机、笔记本电脑等，在此不做限定。

具体地，处理器52还可以称为CPU（Central Processing Unit，中央处理单元）。处理器52可能是一种集成电路芯片，具有信号的处理能力。处理器52还可以是通用处理器、数字信号处理器、专用集成电路、现场可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。另外，处理器52可以由多个成电路芯片共同实现。

上述方案，电子设备50中处理器52实现上述任一预标注筛选方法实施例中步骤，故通过获取至少关于交并比的目标范围对样本图像的预标注框进行筛选，能够不再依赖于标注间的从属关系，即使标注间实际不存在从属关系也能够适用，有助于提升预标注筛选的适用范围。

请参阅图6，图6是本申请计算机可读存储介质60一实施例的框架示意图。计算机可读存储介质60存储有处理器可运行的程序指令61，该程序指令61能够被执行，用以实现上述任一预标注筛选方法实施例中步骤。

需要说明的是，计算机可读存储介质60具体可以为U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等可以存储程序指令61的介质，或者也可以为存储有该程序指令61的服务器，该服务器可将存储的程序指令61发送给其他设备运行，或者也可以自运行该存储的程序指令61。

上述方案，计算机可读存储介质60实现上述任一预标注筛选方法实施例中步骤，故通过获取至少关于交并比的目标范围对样本图像的预标注框进行筛选，能够不再依赖于标注间的从属关系，即使标注间实际不存在从属关系也能够适用，有助于提升预标注筛选的适用范围。

在本申请所提供的几个实施例中，应该理解到，所揭露的方法和装置，可以通过其它的方式实现。例如，以上所描述的装置实施方式仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性、机械或其它的形式。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）或处理器（processor）执行本申请各个实施方式方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。

若本申请技术方案涉及个人信息，应用本申请技术方案的产品在处理个人信息前，已明确告知个人信息处理规则，并取得个人自主同意。若本申请技术方案涉及敏感个人信息，应用本申请技术方案的产品在处理敏感个人信息前，已取得个人单独同意，并且同时满足“明示同意”的要求。例如，在摄像头等个人信息采集装置处，设置明确显著的标识告知已进入个人信息采集范围，将会对个人信息进行采集，若个人自愿进入采集范围即视为同意对其个人信息进行采集；或者在个人信息处理的装置上，利用明显的标识/信息告知个人信息处理规则的情况下，通过弹窗信息或请个人自行上传其个人信息等方式获得个人授权；其中，个人信息处理规则可包括个人信息处理者、个人信息处理目的、处理方式以及处理的个人信息种类等信息。

Claims (10)

1.一种预标注筛选方法，其特征在于，包括：

获取标注任务中各个样本图像内若干种标注对象的预标注框；

获取各种所述标注对象的预标注框至少关于交并比的目标范围；

滤除所述样本图像中不在所属所述标注对象对应所述目标范围内的预标注框；

选择至少部分经预标注筛选的样本图像，得到抽检图集；

响应于所述抽检图集关于所述预标注框的标注质量满足预设条件，传输所述标注任务中经所述预标注筛选的样本图像至标注终端，以供所述标注终端对所述样本图像进行标注。

2.根据权利要求1所述的方法，其特征在于，在所述获取标注任务中各个样本图像内若干种标注对象的预标注框之后，以及在所述获取各种所述标注对象的预标注框至少关于交并比的目标范围之前，所述方法还包括：

对于各种所述标注对象，基于所述标注对象的预标注框关于所述交并比的数值分布，选择至少部分所述样本图像作为所述标注对象设置所述目标范围的参考图像；

响应于表征为所述标注对象设置所述目标范围的第一指令，显示所述标注对象的参考图像以及所述参考图像中所述标注对象的预标注框；

所述获取各种所述标注对象的预标注框至少关于交并比的目标范围，包括：

获取管理人员为所述标注对象的预标注框关于所述交并比所设置的目标范围。

3.根据权利要求2所述的方法，其特征在于，所述基于所述标注对象的预标注框关于所述交并比的数值分布，选择至少部分所述样本图像作为所述标注对象设置所述目标范围的参考图像，包括：

划分所述数值分布，得到若干第一区间；

在各个所述第一区间，选取所述预标注框的交并比位于所述第一区间内的样本图像，作为所述标注对象设置所述目标范围的参考图像。

4.根据权利要求2所述的方法，其特征在于，响应于所述第一指令，所述方法还包括：

显示所述参考图像中所述标注对象的预标注框关于所述交并比的第一数值；其中，所述标注对象的预标注框处于可编辑状态；

响应于表征对所述标注对象的预标注框进行调整的第二指令，显示所述参考图像中所述标注对象调整后的预标注框，并显示所述标注对象的预标注框调整后关于所述交并比的第二数值，以供所述管理人员为所述标注对象设置关于所述交并比的目标范围时参考。

5.根据权利要求1所述的方法，其特征在于，所述选择至少部分经预标注筛选的样本图像，得到抽检图集，包括：

统计所述样本图像中被滤除所述预标注框的第三数值；

基于所述第三数值所在的第二区间，将各个经所述预标注筛选的样本图像分别划分至若干数据集合；

从各个所述数据集合分别抽取至少部分经所述预标注筛选的样本图像，得到所述抽检图集。

6.根据权利要求1所述的方法，其特征在于，在所述抽检图集关于所述预标注框的标注质量不满足所述预设条件的情况下，所述方法还包括：

筛选所述抽检图集中所述预标注框标注不合格的样本图像，作为目标图像；

分析所述目标图像中被滤除所述预标注框的第一数量、被滤除相同数量所述预标注框的目标图像的第二数量之间的相关关系；

基于所述相关关系，重新执行所述获取标注任务中各个样本图像内若干种标注对象的预标注框的步骤，或重新执行所述获取各种所述标注对象的预标注框至少关于交并比的目标范围的步骤。

7.根据权利要求6所述的方法，其特征在于，所述预标注框由预设算法对所述样本图像检测得到，所述基于所述相关关系，重新执行所述获取标注任务中各个样本图像内若干种标注对象的预标注框的步骤，或重新执行所述获取各种所述标注对象的预标注框至少关于交并比的目标范围的步骤，包括：

响应于所述相关关系为正相关，优化所述预设算法，并重新执行所述获取标注任务中各个样本图像内若干种标注对象的预标注框的步骤，且复用各种所述标注对象最新的目标范围。

8.根据权利要求6所述的方法，其特征在于，所述基于所述相关关系，重新执行所述获取标注任务中各个样本图像内若干种标注对象的预标注框的步骤，或重新执行所述获取各种所述标注对象的预标注框至少关于交并比的目标范围的步骤，还包括：

响应于所述相关关系为负相关，重新执行所述获取各种所述标注对象的预标注框至少关于交并比的目标范围的步骤。

9.一种电子设备，其特征在于，包括相互耦接的存储器和处理器，所述存储器存储有程序指令，所述处理器用于执行所述程序指令以实现权利要求1至8任一项所述的预标注筛选方法。

10.一种计算机可读存储介质，其特征在于，存储有能够被处理器运行的程序指令，所述程序指令用于实现权利要求1至8任一项所述的预标注筛选方法。