CN115048004A - 标注方法及标注装置、电子设备和计算机可读存储介质 - Google Patents

Abstract

本申请公开了一种标注方法及标注装置、电子设备和计算机可读存储介质，其中，标注方法包括：响应于表征标注子目标的标志位置为有效，将用户选择的标注目标框作为父目标框，并将用户在父目标框之后确定的标注目标框，作为父目标框的子目标框；其中，标注目标框表征待标注图像中已标注对象的目标区域，且父目标框所属的已标注对象为子目标框所属的已标注对象的父级对象；更新父目标框、子目标框中至少一者的嵌套信息；其中，父目标框的嵌套信息包括子目标框的标识符，子目标框的嵌套信息包括父目标框的标识符。上述方案，能够提升标注效率，并降低标注误差。

Description

标注方法及标注装置、电子设备和计算机可读存储介质

技术领域

本申请涉及人工智能技术领域，特别是涉及一种标注方法及标注装置、电子设备和计算机可读存储介质。

背景技术

随着人工智能和机器学习的盛行，为了实现研究项目的目标，各类AI（ArtificialIntelligence，人工智能）开发人员和研究人员需要访问大量具有高质量的数据。

在此其中，图像标注是根据任务要求，在待标注图像上找到需要标注的对象（如物品、部位等）进行框选，标注的准确性将会直接影响算法的效果。此外，待标注图像中待标注对象不可能避免地存在嵌套关系，需要快速且准确地将不同待标注对象的嵌套关系标注出来。目前，通常依赖于标注人员手动填写的方式，标注出上述嵌套关系，导致标注效率降低，且容易加大标注误差。有鉴于此，如何提升标注效率，并降低标注误差，成为亟待解决的问题。

发明内容

本申请主要解决的技术问题是提供一种标注方法及标注装置、电子设备和计算机可读存储介质，能够提升标注效率，并降低标注误差。

为了解决上述问题，本申请第一方面提供了一种标注方法，包括：响应于表征标注子目标的标志位置为有效，将用户选择的标注目标框作为父目标框，并将用户在父目标框之后确定的标注目标框，作为父目标框的子目标框；其中，标注目标框表征待标注图像中已标注对象的目标区域，且父目标框所属的已标注对象为子目标框所属的已标注对象的父级对象；更新父目标框、子目标框中至少一者的嵌套信息；其中，父目标框的嵌套信息包括子目标框的标识符，子目标框的嵌套信息包括父目标框的标识符。

为了解决上述问题，本申请第三方面提供了一种标注装置，包括目标框获取模块和嵌套信息更新模块，目标框获取模块，用于响应于表征标注子目标的标志位置为有效，将用户选择的标注目标框作为父目标框，并将用户在父目标框之后确定的标注目标框，作为父目标框的子目标框；其中，标注目标框表征待标注图像中已标注对象的目标区域，且父目标框所属的已标注对象为子目标框所属的已标注对象的父级对象；嵌套信息更新模块，用于更新父目标框、子目标框中至少一者的嵌套信息；其中，父目标框的嵌套信息包括子目标框的标识符，子目标框的嵌套信息包括父目标框的标识符。

为了解决上述问题，本申请第三方面提供了一种电子设备，包括人机交互电路、存储器和处理器，人机交互电路、存储器分别耦接至处理器，存储器存储有程序指令，处理器用于执行程序指令以实现上述第一方面中的标注方法。

为了解决上述问题，本申请第四方面提供了一种计算机可读存储介质，存储有能够被处理器运行的程序指令，程序指令用于上述第一方面中的标注方法。

上述方案，响应于表征标注子目标的标志位置为有效，将用户选择的标注目标框作为父目标框，并将用户在父目标框之后确定的标注目标框，作为父目标框的子目标框，且标注目标框表征待标注图像中已标注对象的目标区域，且父目标框所属的已标注对象为子目标框所属的已标注对象的父级对象，基于此再更新父目标框、子目标框中至少一者的嵌套信息，且父目标框的嵌套信息包括子目标框的标识符，子目标框的嵌套信息包括父目标框的标识符，故在标注过程中，只要表征标注子目标的标志位置为有效，仅需用户选择父目标框，即可将用户在父目标框之后确定的标注目标框，自动作为父目标框的子目标框，从而即可自动更新嵌套信息，而无需手动填写，有助于提升标注效率，并降低标注误差。

附图说明

图1是本申请标注方法一实施例的流程示意图；

图2是嵌套关系一实施例的示意图；

图3是嵌套关系另一实施例的示意图；

图4是本申请标注装置一实施例的框架示意图；

图5是本申请电子设备一实施例的框架示意图；

图6是本申请计算机可读存储介质一实施例的框架示意图。

具体实施方式

下面结合说明书附图，对本申请实施例的方案进行详细说明。

以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、接口、技术之类的具体细节，以便透彻理解本申请。

本文中术语“系统”和“网络”在本文中常被可互换使用。本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。此外，本文中的“多”表示两个或者多于两个。

请参阅图1，图1是本申请标注方法一实施例的流程示意图。具体而言，可以包括如下步骤：

步骤S11：响应于表征标注子目标的标志位置为有效，将用户选择的标注目标框作为父目标框，并将用户在父目标框之后确定的标注目标框，作为父目标框的子目标框。

本公开实施例中，标注目标框表征待标注图像中已标注对象的目标区域，且父目标框所属的已标注对象为子目标框所属的已标注对象的父级对象。需要说明的是，待标注图像中各对象之间根据具体的业务场景，可以存在不同的嵌套关系。当然，待标注图像中各对象之间也可以仅存在唯一的嵌套关系。

在一个实施场景中，以在待标注图像中标注人体为例，请结合参阅图2，图2是嵌套关系一实施例的示意图。如图2所示，对象“人体”的子级对象是“头”，对象“头”的子级对象是“脸”，对象“脸”的子级对象是“鼻子”。其他情况可以以此类推，在此不再一一举例。

在另一个实施场景中，仍以在待标注图像中标注人体为例，请结合参阅图3，图3是嵌套关系另一实施例的示意图。如图3所示，对象“人体”的子级对象是“头”和“脸”，对象“头”和“脸”的子级对象是“鼻子”。其他情况可以以此类推，在此不再一一举例。

在此基础上，在待标注图像中标注人体过程中，可以根据具体的应用场景，可以选择图2或图3中任一种嵌套关系进行标注，也可以无论何种应用场景，均选择图2这种嵌套关系进行标注，或者均选择图3这种嵌套关系进行标注。

需要说明的是，为了便于标注，并提升后续基于已标注图像进行模型训练的效率，可以在AI开放平台进行图像标注。具体地，用户可以登录AI开放平台后，可以显示标注界面，标注界面设有标注区域，标注区域显示有待标注图像，且标注界面还设有触发“标注子目标”的第一按钮，第一按钮被触发后，表征标注子目标的标志位置为有效（如，TRUE），此时即可开始对待标注图像中存在嵌套关系的各个对象进行标注。此外，标注界面还可以设有表征“退出标注子目标”的第二按钮，第二按钮被触发后，表征标注子项目的标志位置为无效（如，FALSE），此时即可开始对标注图像中不存在嵌套关系的各个对象进行标注。示例性地，待标注图像中包含人体和车辆，如前述以及附图2和附图3所示，在标注人体时，由于人体本身以及人体各部位存在嵌套关系，而车辆与人体不存在任何嵌套关系，故可以触发第一按钮，此时表征标注子目标的标志位置为有效，开始对待标注图像中人体以及人体各部位进行标注，之后即可触发第二按钮，此时表征标注子目标的标志位置为无效，即可开始对待标注图像中车辆进行标注。其他情况可以以此类推，在此不再一一举例。

在一个实施场景中，为了提升标注的便利性，待标注图像可以层叠设有与待标注图像具有相同尺寸的第一画布和第二画布，第一画布和第二画布两者的背景均透明设置，需要说明的是，第一画布和第二画布可以始终存在，且第一画布可以始终层叠于第二画布之下，即由下至上分别层叠有待标注图像、第一画布和第二画布。此外，第一画布上含有待标注图像中各已标注对象的标注目标框，第二画布用于供用户新绘制标注目标框，或供用户编辑在第一画布选择的标注目标框。此外，当用户在第二画布完成新绘制标注目标框之后，或在第二画布完成编辑选择的标注目标框之后，可以将第二画布的标注目标框原位复制到第一画布，并将第二画布清空。需要说明的是，第一画布和第二画布层叠设置于待标注图像时，需与待标注图像保持边缘对齐。上述方式，在待标注图像上层叠设置与待标注图像尺寸相同且背景透明设置的第一画布和第二画布，由于设置第一画布和第二画布两层功能不同的画布，且第一画布和第二画布独立设置，故相较于不区分第一画布和第二画布，而仅在一个画布上展示标注目标框来说，由于仅会对第二画布进行更新，而不会对第一画布上各个已标注对象的标注目标框造成影响，从而在标注目标框较多时，也不会因为需要新绘制标注目标框或编辑选择的标注目标框，导致因更新画布而影响整体性能，故此能够大大提升标注的便利性和目标框标注性能。

在一个具体的实施场景中，标注界面还可以进一步设置有选择按钮，示例性地，选择按钮可以表示为手状、指针状等形状图标，在选择按钮被触发时，即表示用户需要从已标注对象的标注目标框中进行选择，此时也即表示用户下达目标框选择请求，在此触发下，可以基于鼠标停留的当前位置，从第一画布所含各已标注对象的标注目标框中，选择一个标注目标框，示例性地，可以基于当前位置遍历第一画布中各个标注目标框，若当前位置上有标注目标框，则可以将该标注目标框作为候选目标框，并改变候选目标框的显示样式（如，可以闪烁显示），且进一步地，可以响应于鼠标的选择指令（如，点击鼠标左键），可以将该候选目标框，确定为用户选择的标注目标框；类似地，标注界面还可以进一步设置有绘图按钮，示例性地，绘图按钮可以表示为画笔状等形状图标，在绘图按钮被触发时，即表示用户需要新绘制标注目标框，此时也即表示用户下达目标框绘制请求，在此触发下，用户可以在第二画布上绘制新的标注目标框。

需要说明的是，尽管用户最终可以通过选择标注目标框作为父目标框，但该标注目标框并不局限于当前已经绘制完成的标注目标框。在当前已经绘制完成的标注目标框不适宜作为父目标框的情况下，也可以新绘制标注目标框，并将新绘制的标注目标框，作为父目标框。此外，为了突显用户选择的标注目标框，可以在第二画布显示用户选择的标注目标框时，可以将其以预设格式突出显示。示例性地，预设格式可以包括但不限于：边框加粗、边框高亮等，在此不做限定。

在一个实施场景中，在第一画布中存在用户期望选择的标注目标框的情况下，响应于目标框选择请求，将用户在第一画布上所选择的标注目标框（具体选择过程，可以参阅前述相关描述），作为父目标框。具体而言，用户在第一画布上选择标注目标框之后，响应于表征标注子目标的标志位置为有效，将用户选择的标注目标框原位移动至第二画布，并将其作为父目标框。此外，此时第二画布上用户选择的标注目标框可以以预设格式突出显示。进一步地，用户也可以在第二画布上编辑该标注目标框，并在编辑完成之后再将编辑后的标注目标框作为父目标框。在完成子目标标注之后，可以再将第二画布上标注目标框原位复制到第一画布，并清空第二画布。示例性地，仍以在待标注图像中标注人体为例，由于用户已经标注“人体”，故第一画布包含“人体”的标注目标框，接下来用户需要标注“头”，则响应于表征标注子目标的标志位置为有效和目标框选择请求，直接将用户在第一画布上所选择的“人体”的标注目标框，作为父目标框。其他情况可以以此类推，在此不再一一举例。需要说明的是，标注子目标的标志位置为有效和目标框选择请求可以同时发生，也可以先后发生，如可以先触发目标框选择请求并选择标注目标框，再将表征标注子目标的标志位置为有效，或者也可以先将表征标注子目标的标志位置为有效，再触发目标框选择请求并选择标注目标框，即两者的先后顺序，在此不做限定。

在另一个实施场景中，区别于前述情况，在第一画布中不存在用户期望选择的标注目标框的情况下，响应于目标框绘制请求，可以将用户在第二画布新绘制的标注目标框，原位复制到第一画布，并将第二画布清空。在此基础上，进一步响应于目标框选择请求，可以将基于鼠标停留的当前位置处于新绘制的标注目标框，确定用户在第一画布上选择上述新绘制的标注目标框，并将其作为父目标框。需要说明的是，为了在新绘制标注目标框的情况下，提升获取父目标框的便利性，还可以在新绘制完成标注目标框之后，响应于表征标注子目标的标志位置为有效（如，用户点击“标注子目标”按钮），且该新绘制的标注目标框处于选中状态，则可以直接将该新绘制的标注目标框作为父目标框。示例性地，仍以在待标注图像中标注人体为例，由于用户尚未标注“人体”，则响应于表征标注子目标的标志位置为有效和目标框绘制请求，将用户在第二画布上新绘制的“人体”的标注目标框，原位复制到第一画布，且将第二画布清空。在此基础上，可以进一步响应于目标框选择请求，基于鼠标停留的当前位置处于“人体”的标注目标框，确定用户在第一画布上选择“人体”的标注目标框，并将其作为父目标框。其他情况可以以此类推，在此不再一一举例。当然，如前所述，在第二画布新绘制“人体”的标注目标框之后，也可以响应于表征“标注子目标”的标志位置为有效且“人体”的标注目标框处于选中状态，直接将“人体”的标注目标框作为父目标框。

由此可见，无论是新绘制的标注目标框，还是选择的标注目标框，为了便于与其他标注目标框区分，前两者（即新绘制的标注目标框、选择的标注目标框）可以单独处于第二画布，而后者（即其他标注目标框）可以处于第一画布，而当前两者已确定作为父目标框或子目标框之后，可以将两者原位复制至第一画布，并清空第二画布。此外，与父目标框类似地，可以根据实际情况，选择当前已经绘制完成的标注目标框作为子目标框，也可以新绘制标注目标框，并将新绘制的标注目标框，作为子目标框。需要说明的是，在确定父目标框之后，新绘制的标注目标框，或者新选择的标注目标框（非父目标框），将自动作为该父目标框的子目标框。也就是说，在表征标注子目标的标志位有效且用户已选择父目标框的情况下，既可以通过选择已有标注目标框的方式，确定标注目标框作为子目标框，也可以通过新绘制标注目标框的方式，确定标注目标框作为子目标框，在此不做限定。换言之，在表征标注子目标的标志位有效的情况下，可将用户在父目标框之后确定（如，选择、或新绘制）的标注目标框，作为该目标框的子目标框。如图3所示，在选择“人体”的标注目标框作为父目标框之后，用户可以确定（如，选择、或新绘制）“头”的标注目标框、“脸”的标注目标框，作为“人体”的标注目标框的子目标框。当然，在后续标注过程中，若父子关系发生变化，则可以重新选择父目标框，从而后续确定的标注目标框将作为该重新选择的父目标框的子目标框。如图3所示，可以重新选择“头”的标注目标框和“脸”的标注目标框作为父目标框，在此之后，用户可以确定（如，选择、或新绘制）“鼻子”的标注目标框，作为“头”的标注目标框和“脸”的标注目标框的子目标框。其他情况可以以此类推，在此不再一一举例。

在一个实施场景中，响应于目标框选择请求，可以将用户选择的标注目标框作为候选目标框，并基于候选目标框，得到子目标框。需要说明的是，目标框选择请求的具体含义，可以参阅前述相关描述，在此不再赘述。示例性地，仍以在待标注图像中标注人体为例，由于用户已标注“人体”、“头”，且已将“人体”的标注目标框作为父目标框，则响应于目标框选择请求，可以将用户选择的“头”的标注目标框，作为候选目标框，并基于该候选目标框，得到子目标框，具体过程可以参阅下述相关描述，在此暂不赘述。上述方式，响应于目标框选择请求，将用户选择的标注目标框作为候选目标框，并基于候选目标框，得到子目标框，故能够直接通过选择确定出子目标框，有助于提升子目标框的确定效率。

在一个具体的实施场景中，如前所述，待标注图像可以层叠设有与待标注图像具有相同尺寸的第一画布，第一画布的背景可以透明设置，第一画布上可以含有待标注图像中各已标注对象的标注目标框，则与前述父目标框类似地，响应于目标框选择请求，可以基于鼠标停留的位置，确定用户在第一画布选择的标注目标框，并将其作为候选目标框。上述方式，通过在待标注图像层叠设置与待标注图像具有相同尺寸且背景透明设置的第一画布，且第一画布上含有待标注图像中各已标注对象的标注目标框，从而直接从第一画布选择得到候选目标框，有助于提升候选目标框的选择效率。

在一个具体的实施场景中，为了区分各个标注目标框，各个标注目标框可以分别设有不同标识符。需要说明的是，标识符可以包括但不限于：数字、字母等，在此不做限定。在此基础上，在得到候选目标框之后，可以校验候选目标框的标识符是否与父目标框的标识符相同，若不同，则可以确定候选目标框不同于父目标框，并将候选目标框作为子目标框。仍以在待标注图像中标注人体为例，“人体”的标注目标框的标识符可以设置为001，“头”的标注目标框的标识符可以设置002，在将“头”的标注目标框，作为候选目标框之后，可以校验“头”的标注目标框的标识符是否与“人体”的标注目标框的标识符是否相同，显然两者并不相同，则可以确定候选目标框（即“头”的标注目标框）并非父目标框（即“人体”的标注目标框），在此情况下，可以将候选目标框（即“头”的标注目标框）作为子目标框。其他情况可以以此类推，在此不再一一举例。需要说明的是，若经校验，候选目标框的标识符与父目标框的标识符相同，则可以确定候选目标框正是父目标框，此时可以输出提示信息，且提示信息用于告知用户所选择的候选目标框与父目标框重复。上述方式，各个标注目标框设有不同标识符，并在得到候选目标框之后，校验候选目标框的标识符是否与父目标框的标识符相同，且在两者不同的情况下，确定候选目标框不同于父目标框，并将候选目标框，作为子目标框，故有助于提升子目标框的准确性。

在一个实施场景中，区别于前述方式，响应于目标框绘制请求，可以获取用户新绘制的标注目标框作为子目标框。需要说明的是，目标框绘制请求的具体含义，可以参阅前述相关描述，在此不再赘述。示例性地，仍以在待标注图像中标注人体为例，由于用户已标注“人体”，且暂未标注“头”，在将“人体”的标注目标框作为父目标框之后，由于暂无可选择的标注目标框作为子目标框，则可以响应于目标框绘制请求，将用户新绘制的“头”的标注目标框，作为子目标框，具体过程可以参阅下述相关描述，在此暂不赘述。上述方式，响应于目标框绘制请求，获取用户新绘制的标注目标框作为子目标框，故能够适应于暂不存在适宜作为子目标框的标注目标框的应用场景，有助于进一步提升标注的成功率。

在一个具体的实施场景中，如前所述，待标注图像还可以层叠设有与待标注图像具有相同尺寸的第二画布，且第二画布的背景透明设置，第二画布可以层叠设于第一画布之上，第一画布和第二画布的具体含义，可以参阅前述相关描述，在此不再赘述。则在此基础上，响应于目标框绘制请求，可以获取用户在第二画布上新绘制的标注目标框，作为子目标框。示例性地，仍以在待标注图像中标注人体为例，由于用户已标注“人体”，且暂未标注“头”，在将“人体”的标注目标框作为父目标框之后，由于暂无可选择的标注目标框作为子目标框，则可以响应于目标框绘制请求，获取用户在第二画布上新绘制出“头”的标注目标框，即可将新绘制出的“头”的标注目标框，作为子目标框。其他情况可以以此类推，在此不再一一举例。上述方式，待标注图像层叠设有与待标注图像具有相同尺寸的第二画布，且第二画布的背景透明设置，并响应于目标框绘制请求，获取第二画布上新绘制的标注目标框，作为子目标框，有助于提升用户新绘制标注目标框的便利性。

在一个具体的实施场景中，如前所述，待标注图像还层叠设有与待标注图像具有相同尺寸的第一画布，则为了便于后续继续在第二画布上绘制，以及在第一画布上选择，在获取第二画布上新绘制的标注目标框，作为子目标框之后，还可以将第二画布中新绘制的标注目标框，原位复制到第一画布，并将第二画布清空。需要说明的是，原位复制之后，新绘制的标注目标框在第一画布上的位置，以及原位复制之前，新绘制的标注目标框的位置，两者应相同。上述方式，待标注图像还层叠设有与待标注图像具有相同尺寸的第一画布，且在获取第二画布上新绘制的标注目标框，作为子目标框之后，将第二画布中新绘制的标注目标框，原位复制到第一画布，并将第二画布清空，故能够便于后续标注过程中，用户能够从第一画布选择以及在第二画布绘制，而不至于在第一画布选择时遗漏标注目标框，且也不至于在第二画布绘制时与标注目标框产生混淆。

在一个具体的实施场景中，进一步地，为了统一操作逻辑，尽可能地减少操作混淆，区别于直接获取第二画布上新绘制的标注目标框，作为子目标框，还可以在将第二画布中新绘制的标注目标框，原位复制到第一画布，并将第二画布清空之后，响应于目标框选择请求，基于鼠标停留的当前位置，确定用户在第一画布选择的标注目标框作为候选目标框，并校验候选目标框的标识符是否与父目标框的标识符相同，若否，则可以确定候选目标框不同于父目标框，并将候选目标框，作为子目标框，具体可以参阅前述相关描述，在此不再赘述。上述方式，能够将第一画布的作用仅限于供用户选择，并将第二画布的作用仅限于供用户绘制，从而能够统一标注过程中的操作逻辑，有助于进一步降低标注难度。

步骤S12：更新父目标框、子目标框中至少一者的嵌套信息。

本公开实施例中，父目标框的嵌套信息包括子目标框的标识符，子目标框的嵌套信息包括父目标框的标识符。需要说明的是，父目标框的嵌套信息具体包含父目标框所属的已标注对象的子级对象的标注目标框的标识符，而子目标框的嵌套信息具体包含子目标框所属的已标注对象的父级对象的标注目标框的标识符。示例性地，仍以在待标注图像中标注人体为例，请结合参阅图2，在标注“人体”和“头”的嵌套关系时，“人体”的标注目标框作为父目标框，而“头”的标注目标框作为子目标框，此时“人体”的标注目标框的嵌套信息包含“头”的标注目标框的标识符（如，002），而“头”的标注目标框的嵌套信息包含“人体”的标注目标框的标识符（如，001）；或者，请结合参阅图3，在标注“人体”和“头”、“脸”的嵌套关系时，“人体”的标注目标框作为父目标框，而“头”的标注目标框和“脸”的标注目标框作为子目标框，此时“人体”的标注目标框的嵌套信息包含“头”的标注目标框的标识符（如，002）和“脸”的标注目标框的标识符（如，003），而“头”的标注目标框的嵌套信息包含“人体”的标注目标框的标识符（如，001），“脸”的标注目标框的嵌套信息也包含“人体”的标注目标框的标识符（如，001）。其他情况可以以此类推，在此不再一一举例。

在一个实施场景中，在更新父目标框、子目标框中至少一者的嵌套信息之后，可以重新执行前述响应于表征标注子目标的标志位置为有效，将用户选择的标注目标框作为父目标框，并将用户在父目标框之后确定的标注目标框，作为父目标框的子目标框的步骤以及后续步骤，直至表征标注子目标的标志位置为无效为止。示例性地，仍以在待标注图像中标注人体为例，请结合参阅图2所示的嵌套关系，在标注完成“人体”和“头”的嵌套关系之后，接下来可以继续标注“头”和“脸”的嵌套关系，此时可以选择“头”的标注目标框作为父目标框，并获取“脸”的标注目标框作为子目标框，从而可以继续更新“头”的标注目标框、“脸”的标注目标框中至少一者的嵌套信息；以此类推，可以继续标注“脸”和“鼻子”的嵌套关系，此时可以选择“脸”的标注目标框作为父目标框，并获取“鼻子”的标注目标框作为子目标框，从而可以继续更新“脸”的标注目标框、“鼻子”的标注目标框中至少一者的嵌套信息，具体可以参阅前述相关描述，在此不再赘述。其他情况也可以以此类推，在此不再一一举例。

在一个实施场景中，在更新父目标框、子目标框中至少一者的嵌套信息之后，可以进一步显示标注目标框最新的嵌套信息。示例性地，仍以在待标注图像中标注人体为例，请结合参阅图2所示的嵌套关系，在标注完成“人体”和“头”的嵌套关系、“头”和“脸”的嵌套关系和“脸”和“鼻子”的嵌套关系之后，即可标注出人体完整的嵌套关系。在仅更新父目标框的嵌套信息的情况下，“人体”的标注目标框可以显示有“头”的标注目标框的标识符（如，002），“头”的标注目标框可以显示有“脸”的标注目标框的标识符（如，003），“脸”的标注目标框可以显示有“鼻子”的标注目标框的标识符（如，004）；或者，在仅更新子目标框的嵌套信息的情况下，“人体”的标注目标框可以不显示标识符，“头”的标注目标框可以显示有“人体”的标注目标框的标识符（如，001），“脸”的标注目标框的可以显示有“头”的标注目标框的标识符（如，002），“鼻子”的标注目标框可以显示有“脸”的标注目标框的标识符（如，003）；或者，在同时更新父目标框的嵌套信息和子目标框的嵌套信息的情况下，“人体”的标注目标框可以显示有“头”的标注目标框的标识符（如，002），“头”的标注目标框可以显示有“脸”的标注目标框的标识符（如，003）和“人体”的标注目标框的标识符（如，001），“脸”的标注目标框可以显示有“鼻子”的标注目标框的标识符（如，004）和“头”的标注目标框的标识符（如，002），“鼻子”的标注目标框可以显示有“脸”的标注目标框的标识符（如，003）。上述显示方式仅仅是实际应用过程中，几种可能的显示方式，并不因此而限定嵌套信息的具体显示方式。例如，除上述显示方式，还可以显示标注目标框自身的标识符，在此不做限定。当然，需要说明的是，为了在显示众多标识符时，不至于产生混淆，可以约定各种标识符显示时的先后顺序。例如，在需要同时显示父目标框的嵌套信息和子目标框的嵌套信息以及标注目标框本身的标识符的情况下，可以约定子目标框的嵌套信息显示于前，本身的标识符居中，父目标框的嵌套信息显示于后。示例性地，仍以在待标注图像中标注人体为例，请结合参阅图2所示的嵌套关系，对于“头”的标注目标框而言，按照有前往后的先后顺序可以分别显示：子目标框的嵌套信息（即“头”的标注目标框作为子目标框时嵌套信息包括父目标框的标识符，也即“人体”的标注目标框的标识符“001”）、“头”的标注目标框本身的标识符“002”、父目标框的嵌套信息（即“头”的标注目标框作为父目标框时嵌套信息包括子目标框的标识符，也即“脸”的标注目标框的标识符“003”）。上述方式，在更新父目标框、子目标框中至少一者的嵌套信息之后，进一步显示标注目标框最新的嵌套信息，能够有助于清楚、明确地展示嵌套关系。

在一个实施场景中，响应于表征标注子目标的标志位置为无效，可以清空父目标框的选择信息，也就是说，在表征标注子目标的标志位置为无效的情况下，可以将保存父目标框的相关变量清空，此时新绘制或新选择的标注目标框将不存在任何嵌套关系。示例性地，待标注图像中包含“人体”和“车辆”，在将“人体”标注完成之后，可以将表征标注子目标的标志位置为无效，此时再对“车辆”进行标注时，“车辆”的标注目标框将不会存在任何嵌套关系。此外，将表征标注子目标的标志位置为无效的具体方式，可以参阅前述相关描述，在此不再赘述。上述方式，响应于表征标注子目标的标志位置为无效，清空父目标框的选择信息，有助于使用户能够根据需要选择标注子目标或退出标注子目标，从而能够提升在不同场景下标注的适用性。

上述方案，响应于表征标注子目标的标志位置为有效，将用户选择的标注目标框作为父目标框，并将用户在父目标框之后确定的标注目标框，作为父目标框的子目标框，且标注目标框表征待标注图像中已标注对象的目标区域，且父目标框所属的已标注对象为子目标框所属的已标注对象的父级对象，基于此再更新父目标框、子目标框中至少一者的嵌套信息，且父目标框的嵌套信息包括子目标框的标识符，子目标框的嵌套信息包括父目标框的标识符，故在标注过程中，只要表征标注子目标的标志位置为有效，仅需用户选择父目标框，即可将用户在父目标框之后确定的标注目标框，自动作为父目标框的子目标框，从而即可自动更新嵌套信息，而无需手动填写，有助于提升标注效率，并降低标注误差。

请参阅图4，图4是本申请标注装置40一实施例的框架示意图。标注装置40包括：目标框获取模块41和嵌套信息更新模块42，目标框获取模块41，用于响应于表征标注子目标的标志位置为有效，将用户选择的标注目标框作为父目标框，并将用户在父目标框之后确定的标注目标框，作为父目标框的子目标框；其中，标注目标框表征待标注图像中已标注对象的目标区域，且父目标框所属的已标注对象为子目标框所属的已标注对象的父级对象；嵌套信息更新模块42，用于更新父目标框、子目标框中至少一者的嵌套信息；其中，父目标框的嵌套信息包括子目标框的标识符，子目标框的嵌套信息包括父目标框的标识符。

上述方案，在标注过程中，只要表征标注子目标的标志位置为有效，仅需用户选择父目标框，即可将用户在父目标框之后确定的标注目标框，自动作为父目标框的子目标框，从而即可自动更新嵌套信息，而无需手动填写，有助于提升标注效率，并降低标注误差。

在一些公开实施例中，目标框获取模块41包括目标框选择子模块，用于响应于目标框选择请求，将用户选择的标注目标框作为候选目标框，并基于候选目标框，得到子目标框。

因此，响应于目标框选择请求，将用户选择的标注目标框作为候选目标框，并基于候选目标框，得到子目标框，故能够直接通过选择确定出子目标框，有助于提升子目标框的确定效率。

在一些公开实施例中，各个标注目标框设有不同标识符，目标框选择子模块包括标识符校验单元，用于校验候选目标框的标识符是否与父目标框的标识符相同；目标框选择子模块包括目标框确定单元，用于在候选目标框的标识符与父目标框的标识符不同的情况下，确定候选目标框不同于父目标框，并将候选目标框，作为子目标框。

因此，各个标注目标框设有不同标识符，并在得到候选目标框之后，校验候选目标框的标识符是否与父目标框的标识符相同，且在两者不同的情况下，确定候选目标框不同于父目标框，并将候选目标框，作为子目标框，故有助于提升子目标框的准确性。

在一些公开实施例中，待标注图像层叠设有与待标注图像具有相同尺寸的第一画布，第一画布的背景透明设置，第一画布上含有待标注图像中各已标注对象的标注目标框，且父目标框、候选目标框均从第一画布选择得到。

因此，通过在待标注图像层叠设置与待标注图像具有相同尺寸且背景透明设置的第一画布，且第一画布上含有待标注图像中各已标注对象的标注目标框，从而直接从第一画布选择得到候选目标框，有助于提升候选目标框的选择效率。

在一些公开实施例中，目标框获取模块41包括目标框绘制子模块，用于响应于目标框绘制请求，获取用户新绘制的标注目标框作为子目标框。

因此，响应于目标框绘制请求，获取用户新绘制的标注目标框作为子目标框，故能够适应于暂不存在适宜作为子目标框的标注目标框的应用场景，有助于进一步提升标注的成功率。

在一些公开实施例中，待标注图像层叠设有与待标注图像具有相同尺寸的第一画布和第二画布，且第二画布的背景透明设置，第二画布层叠设于第一画布之上，第一画布上含有待标注图像中各已标注对象的标注目标框，第二画布含有新绘制的标注目标框，目标框绘制子模块包括目标框复制单元，用于将第二画布中新绘制的标注目标框，原位复制到第一画布，目标框绘制子模块包括画布清空单元，用于将第二画布清空。

因此，待标注图像还层叠设有与待标注图像具有相同尺寸的第一画布，且在获取第二画布上新绘制的标注目标框，作为子目标框之后，将第二画布中新绘制的标注目标框，原位复制到第一画布，并将第二画布清空，故能够便于后续标注过程中，用户能够从第一画布选择以及在第二画布绘制，而不至于在第一画布选择时遗漏标注目标框，且也不至于在第二画布绘制时与标注目标框产生混淆。

在一些公开实施例中，标注装置40还包括嵌套信息显示模块，用于显示标注目标框最新的嵌套信息。

因此，在更新父目标框、子目标框中至少一者的嵌套信息之后，进一步显示标注目标框最新的嵌套信息，能够有助于清楚、明确地展示嵌套关系。

在一些公开实施例中，标注装置40还包括选择信息清空模块，用于响应于表征标注子目标的标志位置为无效，清空父目标框的选择信息。

因此，响应于表征标注子目标的标志位置为无效，清空父目标框的选择信息，有助于使用户能够根据需要选择标注子目标或退出标注子目标，从而能够提升在不同场景下标注的适用性。

在一些公开实施例中，待标注图像叠设有与待标注图像具有相同尺寸的第一画布和第二画布，第二画布层叠设于第一画布之上，第一画布和第二画布两者的背景均透明设置，第一画布上含有待标注图像中各已标注对象的标注目标框，第二画布用于供用户新绘制标注目标框，或供用户编辑在第一画布选择的标注目标框。

因此，在待标注图像上层叠设置与待标注图像尺寸相同且背景透明设置的第一画布和第二画布，第二画布层叠设于第一画布之上，由于设置第一画布和第二画布两层功能不同的画布，且第一画布和第二画布独立设置，故相较于不区分第一画布和第二画布，而仅在一个画布上展示标注目标框来说，由于仅会对第二画布进行更新，而不会对第一画布上各个已标注对象的标注目标框造成影响，从而在标注目标框较多时，也不会因为需要新绘制标注目标框或编辑选择的标注目标框，导致因更新画布而影响整体性能，故此能够大大提升标注的便利性和目标框标注性能。

请参阅图5，图5是本申请电子设备50一实施例的框架示意图。电子设备50包括人机交互电路51、存储器52和处理器53，人机交互电路51、存储器52分别耦接至处理器53，存储器52存储有程序指令，处理器53用于执行程序指令以实现上述任一标注方法实施例中的步骤。需要说明的是，人机交互电路51可以包括但不限于：显示器、鼠标、数位板等，在此不做限定。

具体而言，处理器53用于控制其自身以及人机交互电路51、存储器52以实现上述任一标注方法实施例中的步骤。处理器53还可以称为CPU（Central Processing Unit，中央处理单元）。处理器53可能是一种集成电路芯片，具有信号的处理能力。处理器53还可以是通用处理器、数字信号处理器（Digital Signal Processor, DSP）、专用集成电路（Application Specific Integrated Circuit, ASIC）、现场可编程门阵列（Field-Programmable Gate Array, FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。另外，处理器53可以由多个集成电路芯片共同实现。

上述方案，在标注过程中，只要表征标注子目标的标志位置为有效，仅需用户选择父目标框，即可将用户在父目标框之后确定的标注目标框，自动作为父目标框的子目标框，从而即可自动更新嵌套信息，而无需手动填写，有助于提升标注效率，并降低标注误差。

请参阅图6，图6为本申请计算机可读存储介质60一实施例的框架示意图。计算机可读存储介质60存储有能够被处理器运行的程序指令61，程序指令61用于实现上述任一标注方法实施例中的步骤。

上述方案，在标注过程中，只要表征标注子目标的标志位置为有效，仅需用户选择父目标框，即可将用户在父目标框之后确定的标注目标框，自动作为父目标框的子目标框，从而即可自动更新嵌套信息，而无需手动填写，有助于提升标注效率，并降低标注误差。

在本申请所提供的几个实施例中，应该理解到，所揭露的方法和装置，可以通过其它的方式实现。例如，以上所描述的装置实施方式仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性、机械或其它的形式。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）或处理器（processor）执行本申请各个实施方式方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。

若本申请技术方案涉及个人信息，应用本申请技术方案的产品在处理个人信息前，已明确告知个人信息处理规则，并取得个人自主同意。若本申请技术方案涉及敏感个人信息，应用本申请技术方案的产品在处理敏感个人信息前，已取得个人单独同意，并且同时满足“明示同意”的要求。例如，在摄像头等个人信息采集装置处，设置明确显著的标识告知已进入个人信息采集范围，将会对个人信息进行采集，若个人自愿进入采集范围即视为同意对其个人信息进行采集；或者在个人信息处理的装置上，利用明显的标识/信息告知个人信息处理规则的情况下，通过弹窗信息或请个人自行上传其个人信息等方式获得个人授权；其中，个人信息处理规则可包括个人信息处理者、个人信息处理目的、处理方式以及处理的个人信息种类等信息。

Claims (12)

1.一种标注方法，其特征在于，包括：

响应于表征标注子目标的标志位置为有效，将用户选择的标注目标框作为父目标框，并将用户在所述父目标框之后确定的标注目标框，作为所述父目标框的子目标框；其中，所述标注目标框表征待标注图像中已标注对象的目标区域，且所述父目标框所属的已标注对象为所述子目标框所属的已标注对象的父级对象；

更新所述父目标框、所述子目标框中至少一者的嵌套信息；其中，所述父目标框的嵌套信息包括所述子目标框的标识符，所述子目标框的嵌套信息包括所述父目标框的标识符。

2.根据权利要求1所述的方法，其特征在于，所述将用户在所述父目标框之后确定的标注目标框，作为所述父目标框的子目标框，包括：

响应于目标框选择请求，将用户选择的标注目标框作为候选目标框，并基于所述候选目标框，得到所述子目标框。

3.根据权利要求2所述的方法，其特征在于，各个所述标注目标框设有不同所述标识符，所述基于所述候选目标框，得到所述子目标框，包括：

校验所述候选目标框的标识符是否与所述父目标框的标识符相同；

若否，则确定所述候选目标框不同于所述父目标框，并将所述候选目标框，作为所述子目标框。

4.根据权利要求2所述的方法，其特征在于，所述待标注图像层叠设有与所述待标注图像具有相同尺寸的第一画布，所述第一画布的背景透明设置，所述第一画布上含有所述待标注图像中各所述已标注对象的标注目标框，且所述父目标框、所述候选目标框均从所述第一画布选择得到。

5.根据权利要求1所述的方法，其特征在于，所述将用户在所述父目标框之后确定的标注目标框，作为所述父目标框的子目标框，包括：

响应于目标框绘制请求，获取用户新绘制的标注目标框作为所述子目标框。

6.根据权利要求5所述的方法，其特征在于，所述待标注图像还层叠设有与所述待标注图像具有相同尺寸的第一画布和第二画布，所述第二画布层叠设于第一画布之上，所述第一画布上含有所述待标注图像中各所述已标注对象的标注目标框，且所述第二画布含有所述新绘制的标注目标框，在所述获取用户新绘制的标注目标框作为所述子目标框之后，所述方法还包括：

将所述第二画布中所述新绘制的标注目标框，原位复制到所述第一画布，并将所述第二画布清空。

7.根据权利要求1所述的方法，其特征在于，在所述更新所述父目标框、所述子目标框中至少一者的嵌套信息之后，所述方法还包括：

显示所述标注目标框最新的嵌套信息。

8.根据权利要求1所述的方法，其特征在于，所述方法还包括：

响应于表征所述标注子目标的标志位置为无效，清空所述父目标框的选择信息。

9.根据权利要求1至8任一项所述的方法，其特征在于，所述待标注图像叠设有与所述待标注图像具有相同尺寸的第一画布和第二画布，所述第二画布层叠设于第一画布之上，所述第一画布和所述第二画布两者的背景均透明设置，所述第一画布上含有所述待标注图像中各所述已标注对象的标注目标框，所述第二画布用于供用户新绘制所述标注目标框，或供用户编辑在所述第一画布选择的标注目标框。

10.一种标注装置，其特征在于，包括：

目标框获取模块，用于响应于表征标注子目标的标志位置为有效，将用户选择的标注目标框作为父目标框，并将用户在所述父目标框之后确定的标注目标框，作为所述父目标框的子目标框；其中，所述标注目标框表征待标注图像中已标注对象的目标区域，且所述父目标框所属的已标注对象为所述子目标框所属的已标注对象的父级对象；

嵌套信息更新模块，用于更新所述父目标框、所述子目标框中至少一者的嵌套信息；其中，所述父目标框的嵌套信息包括所述子目标框的标识符，所述子目标框的嵌套信息包括所述父目标框的标识符。

11.一种电子设备，其特征在于，包括人机交互电路、存储器和处理器，所述人机交互电路、所述存储器分别耦接至所述处理器，所述存储器存储有程序指令，所述处理器用于执行所述程序指令以实现权利要求1至9任一项所述的标注方法。

12.一种计算机可读存储介质，其特征在于，存储有能够被处理器运行的程序指令，所述程序指令用于实现权利要求1至9任一项所述的标注方法。

Images