CN118015036A - 一种多目标图像的标注方法、装置、设备及介质 - Google Patents

Abstract

本发明公开了一种多目标图像的标注方法、装置、设备及介质。该方法包括：对初始图像进行目标检测，并根据目标检测结果，获取有效多目标图像；根据用户针对于有效多目标图像输入的粗标注结果，生成粗标注图像，并在粗标注图像中获取各正常目标的剪裁图像；对剪裁图像进行细标注，获取正常目标的细标注信息，并根据正常目标的标识信息，将细标注信息回源至粗标注图像中相应的正常目标处，生成细标注图像；根据各正常目标的细标注信息，在细标注图像中确定无效目标，并对无效目标进行蒙板处理。采用上述技术方案，能够对多目标图像中的各目标进行标注以及对质量较差的目标进行蒙板处理，提高了标注效率以及准确性，从而获取高质量的多目标图像。

Description

一种多目标图像的标注方法、装置、设备及介质

技术领域

本发明涉及图像处理技术领域，尤其涉及一种多目标图像的标注方法、装置、设备及介质。

背景技术

全目标检测算法是计算机视觉领域的重要研究方向之一，其广泛应用于多种图像或视频的识别场景，如智能监控、自动驾驶、图像检索等。然而，全目标检测算法的准确性和效率受限于标注数据的质量。

目前，针对于多目标图像标注一般采用手动标注的方法，但手动标注常存在标注错误、标注标准不一致、耗时较长以及人工成本较高等缺点。若使用标注质量较差的多目标图像进行全目标检测算法的训练，可能会降低全目标检测算法的性能，影响算法训练效率。

发明内容

本发明提供了一种多目标图像的标注方法、装置、设备及介质，能够对多目标图像中的各目标进行标注以及对质量较差的目标进行蒙板处理，提高了标注效率以及准确性，从而获取高质量的多目标图像。

根据本发明的一方面，提供了一种多目标图像的标注方法，包括：

对初始图像进行目标检测，并根据目标检测结果，获取有效多目标图像；

根据用户针对于有效多目标图像输入的粗标注结果，生成粗标注图像，并在所述粗标注图像中获取各正常目标的剪裁图像；

对剪裁图像进行细标注，获取正常目标的细标注信息，并根据正常目标的标识信息，将所述细标注信息回源至粗标注图像中相应的正常目标处，生成细标注图像；

根据各正常目标的细标注信息，在所述细标注图像中确定无效目标，并对无效目标进行蒙板处理。

根据本发明的另一方面，提供了一种多目标图像的标注装置，包括：

有效多目标图像获取模块，用于对初始图像进行目标检测，并根据目标检测结果，获取有效多目标图像；

剪裁图像获取模块，用于根据用户针对于有效多目标图像输入的粗标注结果，生成粗标注图像，并在所述粗标注图像中获取各正常目标的剪裁图像；

细标注图像生成模块，用于对剪裁图像进行细标注，获取正常目标的细标注信息，并根据正常目标的标识信息，将所述细标注信息回源至粗标注图像中相应的正常目标处，生成细标注图像；

无效目标处理模块，用于根据各正常目标的细标注信息，在所述细标注图像中确定无效目标，并对无效目标进行蒙板处理。

根据本发明的另一方面，提供了一种电子设备，所述电子设备包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例所述的多目标图像的标注方法。

根据本发明的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本发明任一实施例所述的多目标图像的标注方法。

本发明实施例的技术方案，通过根据对初始图像的目标检测结果，获取有效多目标图像，根据用户针对于有效多目标图像输入的粗标注结果生成粗标注图像，在粗标注图像中获取各正常目标的剪裁图像，并对剪裁图像进行细标注，将细标注信息回源至粗标注图像中相应的正常目标处，生成细标注图像，进而在细标注图像中，确定无效目标并对无效目标进行蒙板处理的方法，能够在大量初始图像中筛选出有效多目标图像，并对有效多目标图像进行自动标注，统一了各目标的标注标准，并且能够对异常目标以及无效目标进行蒙板处理，使得标注后的多目标图像中标注信息全面，有效减少了多目标图像中的干扰因素，提高了多目标图像的标注效率以及准确性，同时降低了人工成本。

应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据本发明实施例一提供的一种多目标图像的标注方法的流程图；

图2是根据本发明实施例二提供的另一种多目标图像的标注方法的流程图；

图3是根据本发明实施例三提供的一种多目标图像的标注装置的结构示意图；

图4是实现本发明实施例的多目标图像的标注方法的电子设备的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

实施例一

图1为本发明实施例一提供的一种多目标图像的标注方法的流程图，本实施例可适用于对多目标图像中的各目标进行标注，并对质量较差的目标进行蒙板处理的情况，该方法可以由多目标图像的标注装置来执行，该多目标图像的标注装置可以采用硬件和/或软件的形式实现，并一般可配置于具备图像处理功能的计算机或处理器中。如图1所示，该方法包括：

S110、对初始图像进行目标检测，并根据目标检测结果，获取有效多目标图像。

可选的，初始图像可以指在图像库中预先筛选出的图像，为了避免对重复度较高的图像进行重复标注，因此，需要在图像库中将重复度较高的图像进行筛除，从而获取图像信息相对不同的各初始图像。

可选的，可以选用现有的全目标检测算法对初始图像进行目标检测，从而获取初始图像中每个目标的初始目标框。

可以理解的是，由于现有的全目标检测算法可能存在精度较低的情况，在对初始图像进行目标检测的过程中，可能无法获取每个目标的精准检测结果，可能存在漏检、错检，因此，对于初始图像进行初步目标检测，仅用于判断初始图像的目标数量是否满足进一步的标注条件，若要获取更精准的标注结果，还需依靠本实施例的后续多步骤实现。

可选的，用户可以预先设定有效目标数量范围，也即，当初始图像中的目标数量在有效目标数量范围内时，则确定初始图像为有效多目标图像，否则，则不对初始图像进行标注处理，例如，有效目标数量范围可设置为2-10，当初始图像中的目标数量在2-10之间时，则确定该初始图像为有效多目标图像，目标过少或过多的初始图像，可不进行标注处理。

可以理解的是，通过本发明所述的多目标图像的标注方法生成的标注后的图像，可以作为训练样本，用于对全目标检测算法进行训练，而训练样本中的目标过少或过多都可能降低全目标检测算法的训练效果，因此，需要通过对初始图像进行目标检测的方式，获取目标数量合适的有效多目标图像。

可选的，有效多目标图像的展示效果一般可以为，在有效多目标图像中的每个能够识别的目标外侧，生成一个矩形框作为目标的初始目标框。

S120、根据用户针对于有效多目标图像输入的粗标注结果，生成粗标注图像，并在所述粗标注图像中获取各正常目标的剪裁图像。

可选的，由于有效多目标图像中对目标的识别错误率较高，且无法获取目标的类别、属性等信息，因此，可以在获取有效果目标图像之后，将有效多目标图像发送至用户侧，由用户在有效多目标图像中为没有生成初始目标框的目标建立粗标注框，或对尺寸不合适的初始目标框进行调整，并且确定每个目标的粗标注类别以及粗标注属性，进而在用户对有效多目标图像进行粗标注之后，获取用户侧反馈的粗标注结果。

可选的，可以向用户侧提供SAM(计算机视觉大模型，Segment Anything Model)进行辅助标注，用户可在SAM中通过快捷键触发调用，进而建立或调整有效多目标图像中各目标的粗标注框。

可选的，粗标注结果可以包括有效多目标图像中各目标的粗标注框、粗标注属性以及粗标注类别，在用户侧针对于有效多目标图像输入粗标注结果之后，可获取包含粗标注结果的有效多目标图像。

可选的，在用户反馈的粗标注后的有效多目标图像中，每个目标外侧的标注框均可作为该目标的粗标注框，无论用户是否实际对其进行调整，由于用户输入的粗标注类别收到用户的主观因素影响，因此，针对于同一类别的目标，获取到的粗标注类别可能不同，例如，若目标实际为机动车，则用户反馈的粗标注属性可能为车、车辆、汽车、摩托车等不同词汇，为了实现对目标分类的统一，以及将粗标注类别与预设的各标准类别进行映射，从而确定与粗标注类别相匹配的标准类别，并利用标准类别与粗标注框进行匹配标注。

可选的，预设的标准类别至少可以包括面部、躯干、机动车、机动车车牌以及非机动车。

可选的，粗标注属性至少可以包括正常、严重遮挡或截断以及质量模糊，当目标为机动车或非机动车时，粗标注属性还可以包括多车辆，当目标的粗标注属性为正常时，则可确定该目标为正常目标，否则，则确定该目标为异常目标。

可选的，对于异常目标，可对异常目标的粗标注框内进行蒙板处理，蒙板处理后的图像即可作为粗标注图像，粗标注图像的展示效果一般可以为，每个正常目标的外侧标注有一个粗标注框，粗标注框的周围标注有目标的标准类别，粗标注属性可不展示在最终生成的粗标注图像中，且每个异常目标均进行蒙板处理。

可选的，蒙板处理可以指对图像中的指定区域处理成透明或半透明的效果，以屏蔽指定区域内的图像。

可选的，对粗标注图像中的各正常图像，可根据预设的外扩比例以及粗标注框，确定剪裁范围，并对将剪裁范围内的图像进行剪裁，生成剪裁图像，例如，外扩比例可设置为20％，以粗标注框的中心点为基准，粗标注框四个边分别外扩20％的区域即可作为剪裁区域。

S130、对剪裁图像进行细标注，获取正常目标的细标注信息，并根据正常目标的标识信息，将所述细标注信息回源至粗标注图像中相应的正常目标处，生成细标注图像。

可选的，细标注信息可以包括细标注框以及细标注属性。

可选的，在获取剪裁图像之后，剪裁图像中的粗标注框一般无法完全贴合正常目标，因此，可对剪裁图像中的像素点进行识别分析，根据各像素点像素差在剪裁图像中确定属于正常目标的各目标像素点，且目标像素点一般为连续的像素点，进而确定目标像素点的最小外接矩，将最小外接矩所在的矩形框作为正常目标的细标注框，该细标注框可完全贴合正常目标。

可选的，将剪裁图像输入至单目标属性模型中，可获取单目标属性模型输出的细标注属性。

可选的，当目标的标准类别为面部时，细标注属性可以包括模糊度、光照程度以及面部完整度，当目标的标准类别为躯干、机动车、非机动车以及机动车牌时，细标注属性可以包括模糊度、遮挡程度、截断程度，且当目标的标准类别为躯干时，细标注属性还包括光照程度。

可选的，对于不同的细标注属性，可输出该属性下的多等级输出结果，例如，针对于模糊度属性，其输出结果可以为清晰、轻度模糊、重度模糊以及未知四个等级；针对于光照程度属性，其输出结果可以为正常、过亮、过暗以及未知四个等级；针对于面部完整度属性，其输出结果可以为面部完整、左眼不完整、右眼不完整、鼻子不完整、嘴巴不完整、下巴不完整以及未知；针对于截断程度属性，其输出结果可以为上方截断、下方截断、侧方截断、无截断以及未知；针对于遮挡程度属性，其输出结果可以为无遮挡、轻度遮挡、重度遮挡以及未知。

可选的，针对于截断程度属性，上方截断、下方截断以及侧方截断的输出结果不存在互斥，但无截断、未知以及任一种阶段情况之间是互斥的。

可选的，针对于躯干的遮挡程度属性，若躯干的遮挡面积大于第一百分比，例如50％时，则可确定为重度遮挡，针对于机动车、非机动车以及机动车牌的遮挡程度属性，若遮挡面积大于第二百分比，例如30％时，则可确定为重度遮挡。

可选的，根据正常目标的标识信息，将所述细标注信息回源至粗标注图像中相应的正常目标处，生成细标注图像，可以包括：

根据正常目标的标识信息，在粗标注图像中确定正常目标区域，利用细标注框替换粗标注图像中的粗标注框，并将细标注属性与细标注框进行匹配标注，生成细标注图像。

可选的，正常目标的标识信息可以指正常目标的ID，根据正常目标的ID，可在粗标注图像中确定正常目标所在的位置，进而将细标注信息回源至粗标注图像中。

可选的，细标注图像的展示效果一般可以为，异常目标进行蒙板处理，正常目标外侧标注有一个细标注框，以及与细标注框匹配标注的标准类别以及细标注属性。

S140、根据各正常目标的细标注信息，在所述细标注图像中确定无效目标，并对无效目标进行蒙板处理。

可选的，当根据细标注属性确定正常目标满足预设的无效条件时，将正常目标确定为无效目标，并对无效目标所在的细标注框内的图像进行蒙板处理。

可选的，当满足下述任一条件时，即可确定正常目标满足无效条件：模糊度属性的输出结果为重度模糊或未知；光照程度属性的输出结果为过亮、过暗或未知；面部完整度属性的输出结果为左眼不完整、右眼不完整以及未知；截断程度属性的输出结果为上方截断、下方截断、侧方截断或未知；遮挡程度属性的输出结果为重度遮挡或未知。

可选的，在对无效目标进行蒙板处理后，剩余的各正常目标的细标注属性可进行隐藏。

本发明实施例的技术方案，通过根据对初始图像的目标检测结果，获取有效多目标图像，根据用户针对于有效多目标图像输入的粗标注结果生成粗标注图像，在粗标注图像中获取各正常目标的剪裁图像，并对剪裁图像进行细标注，将细标注信息回源至粗标注图像中相应的正常目标处，生成细标注图像，进而在细标注图像中，确定无效目标并对无效目标进行蒙板处理的方法，能够在大量初始图像中筛选出有效多目标图像，并对有效多目标图像进行自动标注，统一了各目标的标注标准，并且能够对异常目标以及无效目标进行蒙板处理，使得标注后的多目标图像中标注信息全面，有效减少了多目标图像中的干扰因素，提高了多目标图像的标注效率以及准确性，同时降低了人工成本。

实施例二

图2为本发明实施例二提供的一种多目标图像的标注方法的流程图，本实施例在上述实施例的基础上，具体说明了多目标图像的标注方法。如图2所示，该方法包括：

S210、获取场景图像库中各场景图像的特征向量，并根据各场景图像的特征向量，分别计算每两张场景图像之间的相似度。

可选的，场景图像库为预先建立的图像库，其中可以保存大量的场景图像，且场景图像中包括至少一个目标。

S220、当第一场景图像与第二场景图像之间的相似度大于预设的相似度阈值时，分别获取第一场景图像以及第二场景图像的质量评分，并在所述场景图像库中对质量评分低的场景图像进行删除。

可选的，还可以通过感知散列方法、差异散列方法、小波散列方法、平均哈希方法等其他方法确定每两张场景图像之间是否重复度较大，并根据重复度的检测结果删除其中一张重复图像。

可选的，第一张景图像以及第二场景图像为两张重复度较高的场景图像，此处仅用作区分两张图像而进行命名。

S230、将场景图像库中剩余的各场景图像确定为初始图像。

S240、对初始图像进行目标检测，并在已检测到的各目标外侧生成初始目标框。

S250、统计初始图像中的初始目标框数量，并当确定所述初始目标框数量在预设的有效目标数量范围内时，将包含初始目标框的初始图像确定为有效多目标图像。

S260、获取用户针对于有效多目标图像输入的粗标注结果，确定与各粗标注类别分别匹配的标准类别，并将所述标准类别与相应的粗标注框进行匹配标注。

S270、根据各目标的粗标注属性，在有效多目标图像中确定正常目标以及异常目标，并根据异常目标的粗标注框，在有效多目标图像中对异常目标进行蒙板处理，生成粗标注图像。

S280、根据正常目标的粗标注框以及预设的外扩比例，在粗标注图像中确定正常目标的剪裁区域并进行剪裁，生成正常目标的剪裁图像。

S290、对剪裁图像进行细标注，获取正常目标的细标注信息，并根据正常目标的标识信息，将所述细标注信息回源至粗标注图像中相应的正常目标处，生成细标注图像。

其中，对剪裁图像进行细标注，获取正常目标的细标注信息，可以包括：

获取剪裁图像中各像素点的像素值，并根据像素值确定属于正常目标的各目标像素点；

根据各目标像素点，确定正常目标的最小外接矩，并根据所述最小外接矩生成正常目标的细标注框；

将剪裁图像输入至预先训练的单目标属性模型中，获取所述单目标属性模型输出的细标注属性。

S2100、当确定细标注图像中正常目标的细标注属性满足预设的无效条件时，将所述正常目标确定为无效目标，并对所述无效目标的细标注框内进行蒙版处理。

S2110、将进行蒙板处理后的各细标注图像作为训练样本，并利用所述训练样本对全目标检测算法进行训练，获取训练后的全目标检测算法。

可选的，在对场景图像库中各有效多目标图像进行标注处理之后，可将多张标注后的细标注图像加入训练样本集，并利用训练样本集对全目标检测算法进行训练。

可选的，选用细标注图像进行全目标检测算法的训练，能够有效提高全目标检测算法的训练数据质量，从而提高训练效果，有效避免了由于训练数据质量较差从而导致的精度掉点等问题。

本发明实施例的技术方案，通过根据对初始图像的目标检测结果，获取有效多目标图像，根据用户针对于有效多目标图像输入的粗标注结果生成粗标注图像，在粗标注图像中获取各正常目标的剪裁图像，并对剪裁图像进行细标注，将细标注信息回源至粗标注图像中相应的正常目标处，生成细标注图像，进而在细标注图像中，确定无效目标并对无效目标进行蒙板处理的方法，能够在大量初始图像中筛选出有效多目标图像，并对有效多目标图像进行自动标注，统一了各目标的标注标准，并且能够对异常目标以及无效目标进行蒙板处理，使得标注后的多目标图像中标注信息全面，有效减少了多目标图像中的干扰因素，提高了多目标图像的标注效率以及准确性，同时降低了人工成本，此外，选用细标注图像进行全目标检测算法的训练，能够有效提高全目标检测算法的训练数据质量，从而提高训练效果，有效避免了由于训练数据质量较差从而导致的精度掉点等问题。

实施例三

图3为本发明实施例三提供的一种多目标图像的标注装置的结构示意图。如图3所示，该装置包括：有效多目标图像获取模块310、剪裁图像获取模块320、细标注图像生成模块330以及无效目标处理模块340。

有效多目标图像获取模块310，用于对初始图像进行目标检测，并根据目标检测结果，获取有效多目标图像。

剪裁图像获取模块320，用于根据用户针对于有效多目标图像输入的粗标注结果，生成粗标注图像，并在所述粗标注图像中获取各正常目标的剪裁图像。

细标注图像生成模块330，用于对剪裁图像进行细标注，获取正常目标的细标注信息，并根据正常目标的标识信息，将所述细标注信息回源至粗标注图像中相应的正常目标处，生成细标注图像。

无效目标处理模块340，用于根据各正常目标的细标注信息，在所述细标注图像中确定无效目标，并对无效目标进行蒙板处理。

本发明实施例的技术方案，通过根据对初始图像的目标检测结果，获取有效多目标图像，根据用户针对于有效多目标图像输入的粗标注结果生成粗标注图像，在粗标注图像中获取各正常目标的剪裁图像，并对剪裁图像进行细标注，将细标注信息回源至粗标注图像中相应的正常目标处，生成细标注图像，进而在细标注图像中，确定无效目标并对无效目标进行蒙板处理的方法，能够在大量初始图像中筛选出有效多目标图像，并对有效多目标图像进行自动标注，统一了各目标的标注标准，并且能够对异常目标以及无效目标进行蒙板处理，使得标注后的多目标图像中标注信息全面，有效减少了多目标图像中的干扰因素，提高了多目标图像的标注效率以及准确性，同时降低了人工成本。

在上述各实施例的基础上，有效多目标图像获取模块310，可以具体用于：

对初始图像进行目标检测，并在已检测到的各目标外侧生成初始目标框；

统计初始图像中的初始目标框数量，并当确定所述初始目标框数量在预设的有效目标数量范围内时，将包含初始目标框的初始图像确定为有效多目标图像。

在上述各实施例的基础上，所述粗标注结果包括有效多目标图像中各目标的粗标注框、粗标注属性以及粗标注类别；

剪裁图像获取模块320，可以具体用于：

获取用户针对于有效多目标图像输入的粗标注结果，确定与各粗标注类别分别匹配的标准类别，并将所述标准类别与相应的粗标注框进行匹配标注；

根据各目标的粗标注属性，在有效多目标图像中确定正常目标以及异常目标，并根据异常目标的粗标注框，在有效多目标图像中对异常目标进行蒙板处理，生成粗标注图像；

根据正常目标的粗标注框以及预设的外扩比例，在粗标注图像中确定正常目标的剪裁区域并进行剪裁，生成正常目标的剪裁图像。

在上述各实施例的基础上，所述细标注信息包括细标注框以及细标注属性。

在上述各实施例的基础上，所述细标注图像生成模块330，可以具体用于：

获取剪裁图像中各像素点的像素值，并根据像素值确定属于正常目标的各目标像素点；

根据各目标像素点，确定正常目标的最小外接矩，并根据所述最小外接矩生成正常目标的细标注框；

将剪裁图像输入至预先训练的单目标属性模型中，获取所述单目标属性模型输出的细标注属性。

在上述各实施例的基础上，无效目标处理模块340，可以具体用于：

当确定细标注图像中正常目标的细标注属性满足预设的无效条件时，将所述正常目标确定为无效目标，并对所述无效目标的细标注框内进行蒙版处理。

在上述各实施例的基础上，还可以包括初始图像获取模块，具体用于：

获取场景图像库中各场景图像的特征向量，并根据各场景图像的特征向量，分别计算每两张场景图像之间的相似度；

当第一场景图像与第二场景图像之间的相似度大于预设的相似度阈值时，分别获取第一场景图像以及第二场景图像的质量评分，并在所述场景图像库中对质量评分低的场景图像进行删除；

将场景图像库中剩余的各场景图像确定为初始图像。

在上述各实施例的基础上，还可以包括算法训练模块，具体用于：

将进行蒙板处理后的各细标注图像作为训练样本，并利用所述训练样本对全目标检测算法进行训练，获取训练后的全目标检测算法。

本发明实施例所提供的多目标图像的标注装置可执行本发明任意实施例所提供的多目标图像的标注方法，具备执行方法相应的功能模块和有益效果。

实施例四

图4示出了可以用来实施本发明的实施例的电子设备10的结构示意图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备(如头盔、眼镜、手表等)和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本发明的实现。

如图4所示，电子设备10包括至少一个处理器11，以及与至少一个处理器11通信连接的存储器，如只读存储器(ROM)12、随机访问存储器(RAM)13等，其中，存储器存储有可被至少一个处理器执行的计算机程序，处理器11可以根据存储在只读存储器(ROM)12中的计算机程序或者从存储单元18加载到随机访问存储器(RAM)13中的计算机程序，来执行各种适当的动作和处理。在RAM 13中，还可存储电子设备10操作所需的各种程序和数据。处理器11、ROM 12以及RAM 13通过总线14彼此相连。输入/输出(I/O)接口15也连接至总线14。

电子设备10中的多个部件连接至I/O接口15，包括：输入单元16，例如键盘、鼠标等；输出单元17，例如各种类型的显示器、扬声器等；存储单元18，例如磁盘、光盘等；以及通信单元19，例如网卡、调制解调器、无线通信收发机等。通信单元19允许电子设备10通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

处理器11可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器11的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。处理器11执行上文所描述的各个方法和处理，例如如本发明实施例所述的多目标图像的标注方法。也即：

对初始图像进行目标检测，并根据目标检测结果，获取有效多目标图像；

根据用户针对于有效多目标图像输入的粗标注结果，生成粗标注图像，并在所述粗标注图像中获取各正常目标的剪裁图像；

对剪裁图像进行细标注，获取正常目标的细标注信息，并根据正常目标的标识信息，将所述细标注信息回源至粗标注图像中相应的正常目标处，生成细标注图像；

根据各正常目标的细标注信息，在所述细标注图像中确定无效目标，并对无效目标进行蒙板处理。

在一些实施例中，多目标图像的标注方法可被实现为计算机程序，其被有形地包含于计算机可读存储介质，例如存储单元18。在一些实施例中，计算机程序的部分或者全部可以经由ROM 12和/或通信单元19而被载入和/或安装到电子设备10上。当计算机程序加载到RAM 13并由处理器11执行时，可以执行上文描述的多目标图像的标注方法的一个或多个步骤。备选地，在其他实施例中，处理器11可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行多目标图像的标注方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本发明的方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本发明的上下文中，计算机可读存储介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。备选地，计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在电子设备上实施此处描述的系统和技术，该电子设备具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给电子设备。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)、区块链网络和互联网。

计算系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务中，存在的管理难度大，业务扩展性弱的缺陷。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本发明的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (10)

1.一种多目标图像的标注方法，其特征在于，包括：

对初始图像进行目标检测，并根据目标检测结果，获取有效多目标图像；

根据用户针对于有效多目标图像输入的粗标注结果，生成粗标注图像，并在所述粗标注图像中获取各正常目标的剪裁图像；

对剪裁图像进行细标注，获取正常目标的细标注信息，并根据正常目标的标识信息，将所述细标注信息回源至粗标注图像中相应的正常目标处，生成细标注图像；

根据各正常目标的细标注信息，在所述细标注图像中确定无效目标，并对无效目标进行蒙板处理。

2.根据权利要求1所述的方法，其特征在于，对初始图像进行目标检测，并根据目标检测结果，获取有效多目标图像，包括：

对初始图像进行目标检测，并在已检测到的各目标外侧生成初始目标框；

统计初始图像中的初始目标框数量，并当确定所述初始目标框数量在预设的有效目标数量范围内时，将包含初始目标框的初始图像确定为有效多目标图像。

3.根据权利要求1所述的方法，其特征在于，所述粗标注结果包括有效多目标图像中各目标的粗标注框、粗标注属性以及粗标注类别；

根据用户针对于有效多目标图像输入的粗标注结果，生成粗标注图像，并在所述粗标注图像中获取各正常目标的剪裁图像，包括：

获取用户针对于有效多目标图像输入的粗标注结果，确定与各粗标注类别分别匹配的标准类别，并将所述标准类别与相应的粗标注框进行匹配标注；

根据各目标的粗标注属性，在有效多目标图像中确定正常目标以及异常目标，并根据异常目标的粗标注框，在有效多目标图像中对异常目标进行蒙板处理，生成粗标注图像；

根据正常目标的粗标注框以及预设的外扩比例，在粗标注图像中确定正常目标的剪裁区域并进行剪裁，生成正常目标的剪裁图像。

4.根据权利要求3所述的方法，其特征在于，所述细标注信息包括细标注框以及细标注属性；

对剪裁图像进行细标注，获取正常目标的细标注信息，包括：

获取剪裁图像中各像素点的像素值，并根据像素值确定属于正常目标的各目标像素点；

根据各目标像素点，确定正常目标的最小外接矩，并根据所述最小外接矩生成正常目标的细标注框；

将剪裁图像输入至预先训练的单目标属性模型中，获取所述单目标属性模型输出的细标注属性。

5.根据权利要求4所述的方法，其特征在于，根据各正常目标的细标注信息，在所述细标注图像中确定无效目标，并对无效目标进行蒙板处理，包括：

当确定细标注图像中正常目标的细标注属性满足预设的无效条件时，将所述正常目标确定为无效目标，并对所述无效目标的细标注框内进行蒙版处理。

6.根据权利要求1所述的方法，其特征在于，在对初始图像进行目标检测之前，还包括：

获取场景图像库中各场景图像的特征向量，并根据各场景图像的特征向量，分别计算每两张场景图像之间的相似度；

当第一场景图像与第二场景图像之间的相似度大于预设的相似度阈值时，分别获取第一场景图像以及第二场景图像的质量评分，并在所述场景图像库中对质量评分低的场景图像进行删除；

将场景图像库中剩余的各场景图像确定为初始图像。

7.根据权利要求1-6任一项所述的方法，其特征在于，在根据各正常目标的细标注信息，在所述细标注图像中确定无效目标，并对无效目标进行蒙板处理之后，还包括：

将进行蒙板处理后的各细标注图像作为训练样本，并利用所述训练样本对全目标检测算法进行训练，获取训练后的全目标检测算法。

8.一种多目标图像的标注装置，其特征在于，包括：

有效多目标图像获取模块，用于对初始图像进行目标检测，并根据目标检测结果，获取有效多目标图像；

剪裁图像获取模块，用于根据用户针对于有效多目标图像输入的粗标注结果，生成粗标注图像，并在所述粗标注图像中获取各正常目标的剪裁图像；

细标注图像生成模块，用于对剪裁图像进行细标注，获取正常目标的细标注信息，并根据正常目标的标识信息，将所述细标注信息回源至粗标注图像中相应的正常目标处，生成细标注图像；

无效目标处理模块，用于根据各正常目标的细标注信息，在所述细标注图像中确定无效目标，并对无效目标进行蒙板处理。

9.一种电子设备，其特征在于，所述电子设备包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明权利要求1-7中任一项所述的多目标图像的标注方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现权利要求1-7中任一项所述的多目标图像的标注方法。