CN110210328B - 在图像序列中标注物体的方法、装置及电子设备 - Google Patents

Abstract

本申请提供一种在图像序列中标注物体的方法、装置及电子设备，所述方法的一具体实施方式包括：确定定位数据，所述定位数据包括图像序列中每帧图像对应的定位信息；响应于针对目标图像中目标物体的预设标注操作，确定针对所述目标物体标注的标注框的目标信息；所述目标图像为所述图像序列中的图像；将所述目标图像之前和/或之后的每帧图像确定为对象图像；根据所述定位数据，确定所述目标图像对应的第一定位信息及每帧所述对象图像对应的每个第二定位信息；根据所述标注框的目标信息、所述第一定位信息及所述每个第二定位信息，在每帧所述对象图像中添加或调整所述目标物体的临时框。该实施方式提高了标注的效率，降低了错误标注的几率。

Description

在图像序列中标注物体的方法、装置及电子设备

技术领域

本申请涉及图像标注技术领域，特别涉及一种在图像序列中标注物体的方法、装置及电子设备。

背景技术

目前来说，在无人驾驶技术领域中，通常会基于无人驾驶设备采集的图像序列，采用机器学习的方式进行定位和障碍物的识别等。在机器学习的训练过程中，需要对训练样本数据所对应的图像序列中的目标物体进行标注。在相关技术中，对图像序列中的目标物体进行标注时，一般是在图像序列中存在目标物体的任一帧图像中，首先生成目标物体的标注框，然后在图像序列的其它每帧图像的相同位置，均生成针对目标物体的临时框，再通过调整目标物体的标注框或临时框，从而完成对物体的标注。但是，在不存在目标物体的图像中，在相同位置仍然存在目标物体的临时框，因此，可能会导致大量临时框的杂乱堆叠，不仅降低了标注的效率，还增加了错误标注的几率。

发明内容

为了解决上述技术问题之一，本申请提供一种在图像序列中标注物体的方法、装置及电子设备。

根据本申请实施例的第一方面，提供一种在图像序列中标注物体的方法，包括：

确定定位数据，所述定位数据包括图像序列中每帧图像对应的定位信息；

响应于针对目标图像中目标物体的预设标注操作，确定针对所述目标物体标注的标注框的目标信息；所述目标图像为所述图像序列中的图像；

将所述目标图像之前和/或之后的每帧图像确定为对象图像；

根据所述定位数据，确定所述目标图像对应的第一定位信息及每帧所述对象图像对应的每个第二定位信息；

根据所述标注框的目标信息、所述第一定位信息及所述每个第二定位信息，在每帧所述对象图像中添加或调整所述目标物体的临时框。

可选的，所述预设标注操作包括：

首次生成所述目标物体的标注框的操作；或者

调整所述目标物体的标注框的操作，其中，所述目标图像满足以下条件：相邻图像中包括所述目标物体的临时框；或者

调整所述目标物体的临时框的操作。

可选的，所述根据所述标注框的目标信息、所述第一定位信息及所述每个第二定位信息，在每帧所述对象图像中添加或调整所述目标物体的临时框，包括：

根据所述第一定位信息及所述每个第二定位信息，确定所述目标图像与每帧所述对象图像之间的坐标系转换矩阵；

根据所述标注框的目标信息及每个所述坐标系转换矩阵，确定所述目标物体在每帧所述对象图像中的临时框的标注引导信息；

按照所述临时框的标注引导信息，在每帧所述对象图像中添加或调整所述目标物体的临时框。

可选的，针对任一帧对象图像，通过如下方式确定所述目标图像与该对象图像之间的坐标系转换矩阵：

根据所述第一定位信息，确定所述目标图像与世界坐标系的第一转换矩阵；

根据该对象图像对应的第二定位信息，确定该对象图像与世界坐标系之间的第二转换矩阵；

基于所述第一转换矩阵及所述第二转换矩阵，确定所述目标图像与该对象图像之间的坐标系转换矩阵。

可选的，所述标注框的目标信息包括所述标注框的坐标信息；所述临时框的标注引导信息包括所述临时框的目标坐标信息；

针对任一帧对象图像，确定所述目标物体在该对象图像中的临时框的标注引导信息，包括：

利用所述目标图像与该对象图像之间的坐标系转换矩阵，对所述标注框的坐标信息进行坐标转换，得到所述临时框的目标坐标信息。

可选的，所述标注框的目标信息还包括所述标注框的姿态角度；所述临时框的标注引导信息还包括所述临时框的目标姿态角度；

针对任一帧对象图像，确定所述目标物体在该对象图像中的临时框的标注引导信息，还包括：

根据所述标注框的姿态角度及所述目标图像与该对象图像之间的坐标系转换矩阵，确定所述临时框的目标姿态角度。

可选的，所述根据所述标注框的姿态角度及所述目标图像与该对象图像之间的坐标系转换矩阵，确定所述临时框的目标姿态角度，包括：

根据所述目标图像与该对象图像之间的坐标系转换矩阵，确定所述标注框的多个姿态角度分量中每个姿态角度分量的修正参数；

利用所述修正参数对所述每个姿态角度分量进行修正，得到所述临时框的目标姿态角度。

根据本申请实施例的第二方面，提供一种在图像序列中标注物体的装置，包括：

定位模块，用于确定定位数据，所述定位数据包括图像序列中每帧图像对应的定位信息；

获取模块，用于响应于针对目标图像中目标物体的预设标注操作，确定针对所述目标物体标注的标注框的目标信息；所述目标图像为所述图像序列中的图像；

第一确定模块，用于将所述目标图像之前和/或之后的每帧图像确定为对象图像；

第二确定模块，用于根据所述定位数据，确定所述目标图像对应的第一定位信息及每帧所述对象图像对应的每个第二定位信息；

标注模块，用于根据所述标注框的目标信息、所述第一定位信息及所述每个第二定位信息，在每帧所述对象图像中添加或调整所述目标物体的临时框。

根据本申请实施例的第三方面，提供一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面中任一项所述的方法。

根据本申请实施例的第四方面，提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述第一方面中任一项所述的方法。

本申请的实施例提供的技术方案可以包括以下有益效果：

本申请的实施例提供的在图像序列中标注物体的方法和装置，通过确定定位数据，该定位数据包括图像序列中每帧图像对应的定位信息，响应于针对目标图像中目标物体的预设标注操作，确定针对目标物体标注的标注框的目标信息，该目标图像为图像序列中的图像，将目标图像之前和/或之后的每帧图像确定为对象图像，根据上述定位数据，确定目标图像对应的第一定位信息及每帧对象图像对应的每个第二定位信息，并根据上述标注框的目标信息、第一定位信息及每个第二定位信息，在每帧对象图像中添加或调整目标物体的临时框。由于本实施例的图像序列中不同图像之间的定位信息不同，因此，若根据上述标注框的目标信息、目标图像对应的第一定位信息及每帧对象图像对应的每个第二定位信息，在对象图像中添加或调整目标物体的临时框，则在不存在目标物体的图像中，不会在相同位置存在目标物体的临时框，从而使得图像中的临时框更具合理性，避免了临时框的杂乱堆叠，提高了标注的效率，降低了错误标注的几率。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。

图1是相关技术中标注过程的场景示意图；

图2本申请根据一示例性实施例示出的一种在图像序列中标注物体的方法的示意图；

图3A本申请根据一示例性实施例示出的另一种在图像序列中标注物体的方法的示意图；

图3B是本申请根据一示例性实施例示出的另一种在图像序列中标注物体的场景示意图；

图4本申请根据一示例性实施例示出的另一种在图像序列中标注物体的方法的示意图；

图5是本申请根据一示例性实施例示出的一种在图像序列中标注物体的装置的框图；

图6是本申请根据一示例性实施例示出的另一种在图像序列中标注物体的装置的框图；

图7是本申请根据一示例性实施例示出的一种电子设备的结构示意图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本申请可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

为了便于本领域技术人员更好地理解本申请的技术方案，首先，对本申请的背景进行简要说明，说明如下：一般来说，在无人驾驶技术领域中，通常会基于无人驾驶设备采集的图像序列，采用机器学习的方式进行定位和障碍物的识别等。在机器学习的训练过程中，需要先采集大量训练样本数据，再对训练样本数据进行标注，以利用标注后的训练样本数据训练模型。在对训练样本数据进行标注时，需要用标注框标出训练样本数据所对应的图像序列中待标注物体的位置，并对待标注物体设置相应的标签(例如，目标物体的类别、属性、ID等)。

如图1所示，图像序列101为训练样本数据所对应的图像序列，物体102、103、104均为待标注物体。物体102在图像序列101的第4帧图像中首次出现。物体103在图像序列101的第6帧图像中首次出现。物体104在图像序列101的第7帧图像中首次出现。

进行标注时，首先，可以在第4帧图像中生成物体102的标注框105，并在第1-3帧以及第5-10帧图像的相同位置，生成物体102的临时框106。

然后，可以调整第10帧图像中物体102的临时框，同时，按照平滑曲线自动调整(或者结合人工手动调整)第5-9帧图像中物体102的临时框，得到物体102的标注框105。

接着，可以分别对物体103和物体104进行标注，最后得到标注后的图像序列107。由图像序列107中的第1-6帧图像可以看出，临时框杂乱堆叠在一起。

需要说明的是，图1仅为标注过程的简单示意图，图中的图像的帧数、观察角度、物体的数量、物体的标注框和临时框的形态等，仅是为了便于描述和简化描述上述方案，而不是指示或暗示其具有图中所示的特定特征，因此不能理解为对上述方案的限定。

如图2所示，图2是根据一示例性实施例示出的一种在图像序列中标注物体的方法的流程图，该方法可以应用于终端设备中。本领域技术人员可以理解，该终端设备可以包括但不限于诸如平板电脑、膝上型便携式电脑以及台式电脑等等。该方法包括以下步骤：

在步骤201中，确定定位数据，该定位数据包括图像序列中每帧图像对应的定位信息。

在本实施例中，在应用于无人驾驶技术的机器学习的训练过程中，需要先采集大量训练样本数据，训练样本数据可以是数据采集设备在不同时刻对周围环境依次连续采集的具有深度信息的多帧图像，该图像可以包括但不限于视觉图像，激光点云数据等。其中，该多帧图像可以构成图像序列。

在本实施例中，在利用数据采集设备采集训练样本数据时，需要同时获取并记录采集的每帧图像所对应的定位信息(即采集每帧图像时，数据采集设备的定位信息)。在对训练样本数据进行标注时，可以首先确定定位数据，该定位数据包括数据采集设备采集的图像序列中每帧图像所对应的定位信息。

在步骤202中，响应于针对目标图像中目标物体的预设标注操作，确定针对目标物体标注的标注框的目标信息，该目标图像为图像序列中的图像。

在本实施例中，在进行标注时，若检测到针对目标图像中目标物体的预设标注操作，则确定针对目标物体标注的标注框的目标信息。其中，该目标图像为上述图像序列中预设标注操作所针对的图像。目标物体为出现在图像序列中的待标注或者已被标注的物体，目标物体可以出现在上述图像序列中的部分或全部图像中。标注框为用于标注目标物体所在位置区域的框体，标注框的尺寸和大小决定于目标物体在图像中的尺寸和大小。标注框的目标信息可以包括该标注框的坐标信息(例如，标注框的坐标信息可以是标注框的中心点坐标，或者也可以是标注框的每个顶点坐标，或者还可以是标注框的任意一个特殊点坐标等)，也可以包括该标注框的姿态角度，还可以包括该标注框的尺寸和大小等，可以理解，本申请对标注框的目标信息的具体内容方面不限定。

在本实施例中，预设标注操作可以是在图像序列的任意一帧图像(即目标图像)中首次生成目标物体的标注框的操作。也可以是调整目标图像中目标物体的标注框的操作，其中，该目标图像的相邻图像中包括目标物体的临时框。还可以是调整图像序列的任意一帧图像(即目标图像)中目标物体的临时框的操作。可以理解，预设标注操作还可以是其它任意合理的操作，本申请对此方面不限定。

在步骤203中，将目标图像之前和/或之后的每帧图像确定为对象图像。

在本实施例中，可以将目标图像之前的每帧图像确定为对象图像，也可以将目标图像之后的每帧图像确定为对象图像，还可以将目标图像之前和之后的每帧图像确定为对象图像。

一般来说，目标物体的标注框为标注目标物体所在位置区域的框体，具有实际意义。而目标物体的临时框为依据目标物体的标注框而生成的框体，不具有实际意义。

具体来说，在本实施例中，在非首次生成目标物体的标注框时，如果目标图像之前和之后的图像全包括目标物体的临时框，由于临时框不具有实际意义，因此，可以根据需要对临时框的位置进行任意调整。所以，可以将目标图像之前和之后的图像均作为对象图像，以在对象图像中调整目标物体的临时框。

如果目标图像之前的图像全包括目标物体的临时框，目标图像之后的图像中，有部分图像包括目标物体的标注框，由于标注框具有实际意义，因此，不能随意对标注框的位置进行任意调整。所以，仅能将目标图像之前的图像作为对象图像，以在对象图像中调整目标物体的临时框。

如果目标图像之后的图像全包括目标物体的临时框，目标图像之前的图像中，有部分图像包括目标物体的标注框，由于标注框具有实际意义，因此，不能随意对标注框的位置进行任意调整。所以，仅能将目标图像之后的图像作为对象图像，以在对象图像中调整目标物体的临时框。

在图像序列的目标图像中首次生成目标物体的标注框时，可以将目标图像之前和之后的每帧图像确定为对象图像，以在每帧对象图像中添加目标物体的临时框。

在步骤204中，根据上述定位数据，确定目标图像对应的第一定位信息及每帧对象图像对应的每个第二定位信息。

在本实施例中，上述定位数据可以包括图像序列中每帧图像对应的定位信息。因此，可以根据上述定位数据，分别将目标图像对应的定位信息作为第一定位信息，及将每帧对象图像对应的定位信息作为第二定位信息。

在步骤205中，根据上述标注框的目标信息、第一定位信息及每个第二定位信息，在每帧对象图像中添加或调整目标物体的临时框。

在本实施例中，在图像序列的目标图像中首次生成目标物体的标注框时，在每帧对象图像中添加目标物体的临时框。在非首次生成目标物体的标注框时，在每帧对象图像中调整目标物体的临时框。

具体来说，可以根据第一定位信息及每个第二定位信息，确定目标图像与每帧对象图像之间的坐标系转换矩阵。然后，根据上述标注框的目标信息及每个坐标系转换矩阵，确定目标物体在每帧对象图像中的临时框的标注引导信息，并按照该临时框的标注引导信息，在每帧对象图像中添加或调整目标物体的临时框。其中，临时框的标注引导信息用于引导在对象图像中添加或调整目标物体的临时框，该标注引导信息可以包括临时框的目标坐标信息，也可以包括临时框的目标姿态角度，还可以包括临时框的目标尺寸和大小等，可以理解，本申请对临时框的标注引导信息的具体内容方面不限定。

本申请的上述实施例提供的在图像序列中标注物体的方法，通过确定定位数据，该定位数据包括图像序列中每帧图像对应的定位信息，响应于针对目标图像中目标物体的预设标注操作，确定针对目标物体标注的标注框的目标信息，该目标图像为图像序列中的图像，将目标图像之前和/或之后的每帧图像确定为对象图像，根据上述定位数据，确定目标图像对应的第一定位信息及每帧对象图像对应的每个第二定位信息，并根据上述标注框的目标信息、第一定位信息及每个第二定位信息，在每帧对象图像中添加或调整目标物体的临时框。由于本实施例的图像序列中不同图像之间的定位信息不同，因此，若根据上述标注框的目标信息、目标图像对应的第一定位信息及每帧对象图像对应的每个第二定位信息，在对象图像中添加或调整目标物体的临时框，则在不存在目标物体的图像中，不会在相同位置存在目标物体的临时框，从而使得图像中的临时框更具合理性，避免了临时框的杂乱堆叠，提高了标注的效率，降低了错误标注的几率。

如图3A所示，图3A根据一示例性实施例示出的另一种在图像序列中标注物体的方法的流程图，该实施例描述了添加或调整目标物体的临时框的过程，该方法可以应用于终端设备中，包括以下步骤：

在步骤301中，确定定位数据，该定位数据包括图像序列中每帧图像对应的定位信息。

在步骤302中，响应于针对目标图像中目标物体的预设标注操作，确定针对目标物体标注的标注框的目标信息，该目标信息包括该标注框的坐标信息，该目标图像为图像序列中的图像。

在步骤303中，将目标图像之前和/或之后的每帧图像确定为对象图像。

在步骤304中，根据上述定位数据，确定目标图像对应的第一定位信息及每帧对象图像对应的每个第二定位信息。

在步骤305中，根据第一定位信息及每个第二定位信息，确定目标图像与每帧对象图像之间的坐标系转换矩阵。

在本实施例中，针对任意一帧对象图像，可以通过如下方式确定目标图像与该对象图像之间的坐标系转换矩阵：首先，可以根据目标图像对应的第一定位信息，确定目标图像与世界坐标系的第一转换矩阵。具体来说，由于图像采集设备(采集训练样本数据时，用于采集图像的设备)与定位设备(采集训练样本数据时，用于采集定位信息的设备)安装的位置固定，因此，目标图像与定位设备坐标系之间的转换矩阵是已知的，可以获取已知的目标图像与定位设备坐标系之间的转换矩阵。然后，根据该第一定位信息确定定位设备坐标系与世界坐标系之间的转换矩阵。再根据目标图像与定位设备坐标系之间的转换矩阵和定位设备坐标系与世界坐标系之间的转换矩阵，确定目标图像与世界坐标系的第一转换矩阵。

接着，可以根据该对象图像对应的第二定位信息，确定该对象图像与世界坐标系之间的第二转换矩阵(可以参见第一转换矩阵的确定过程)。最后，可以基于该第一转换矩阵及该第二转换矩阵，确定目标图像与该对象图像之间的坐标系转换矩阵。

在步骤306中，根据上述标注框的目标信息及目标图像与每帧对象图像之间的每个坐标系转换矩阵，确定目标物体在每帧对象图像中的临时框的标注引导信息，该临时框的标注引导信息包括该临时框的目标坐标信息。

在本实施例中，临时框的标注引导信息用于指示临时框的设置信息，例如，临时框的标注引导信息可以包括该临时框的目标坐标信息(例如，临时框的目标坐标信息可以是临时框的目标中心点坐标，或者也可以是临时框的每个目标顶点坐标，或者还可以是临时框的任意一个目标特殊点坐标等)等。其中，目标坐标信息为临时框需要设置的位置坐标信息。具体来说，针对任意一帧对象图像，可以通过如下方式确定目标物体在该对象图像中的临时框的标注引导信息：利用目标图像与该对象图像之间的坐标系转换矩阵，对标注框的坐标信息进行坐标转换，得到临时框的目标坐标信息。

在步骤307中，按照临时框的标注引导信息，在每帧对象图像中添加或调整目标物体的临时框。

需要说明的是，对于与图2实施例中相同的步骤，在上述图3A实施例中不再进行赘述，相关内容可参见图2实施例。

本申请的上述实施例提供的在图像序列中标注物体的方法，响应于针对目标图像中目标物体的预设标注操作，确定针对目标物体标注的标注框的坐标信息，将目标图像之前和/或之后的每帧图像确定为对象图像，根据目标图像对应的第一定位信息及每帧对象图像对应的每个第二定位信息，确定目标图像与每帧对象图像之间的坐标系转换矩阵，根据标注框的坐标信息以及该坐标系转换矩阵，确定目标物体在每帧对象图像中的临时框的标注引导信息，该标注引导信息包括临时框的目标坐标信息，并按照该标注引导信息在对象图像中添加或调整目标物体的临时框。从而使得图像中的临时框的分布位置更为合理，在不存在目标物体的大部分图像中，目标物体的临时框会位于图像视野以外(即图像能够显示的范围以外的区域)，进一步避免了临时框的杂乱堆叠，也提高了标注的效率，降低了错误标注的几率。

为了便于理解，下面结合一个完整的应用场景实例，对图3A的方案进行示意性说明。

图3B示出了一种在图像序列中标注物体的场景示意图，如图3B所示，图像序列301为训练样本数据所对应的图像序列，物体302为待标注物体。物体302在图像序列301的第4帧图像中首次出现，在第9帧图像中首次消失。

进行标注时，可以将第6帧图像作为目标图像，在第6帧图像中生成物体302的标注框303。将第1-5帧以及第7-11帧图像作为对象图像，并在第1-5帧以及第7-11帧图像中添加物体302的临时框304，得到图像序列305。由图像序列305中的第4、5、7、8帧图像可以看出，物体302的临时框的分布位置与物体302的实际分布位置更为贴近。

然后，调整第4帧图像中物体302的临时框，同时，按照平滑曲线自动调整(或者结合人工手动调整)第5帧图像中物体302的临时框，得到物体302的标注框303。并且，将第4帧图像作为目标图像，将第1-3帧图像作为对象图像，在第1-3帧图像中调整物体302的临时框304。

接着，调整第8帧图像中物体302的临时框，同时，按照平滑曲线自动调整(或者结合人工手动调整)第7帧图像中物体302的临时框，得到物体302的标注框303。并且，将第8帧图像作为目标图像，将第9-11帧图像作为对象图像，在第9-11帧图像中调整物体302的临时框304。最后得到标注后的图像序列306。由图像序列306中的第1-3帧以及第9-11帧图像可以看出，物体302的临时框位于图像能够显示的范围以外的区域。

综合以上，可见，应用上述方案，能够使得图像中的临时框的分布位置更为合理，在不存在目标物体的大部分图像中，目标物体的临时框会位于图像能够显示的范围以外，避免了在能够显示的范围内临时框的杂乱堆叠，因此，有助于提高标注的效率，降低错误标注的几率。

需要说明的是，图3B仅为简单示意图，图中的图像的帧数、观察角度、物体的数量、物体的标注框和临时框的形态等，仅是为了便于描述本申请和简化描述，而不是指示或暗示其具有图中所示的特定特征，因此不能理解为对本申请的限定。

如图4所示，图4根据一示例性实施例示出的另一种在图像序列中标注物体的方法的流程图，该实施例描述了添加或调整目标物体的临时框的过程，该方法可以应用于终端设备中，包括以下步骤：

在步骤401中，确定定位数据，该定位数据包括图像序列中每帧图像对应的定位信息。

在步骤402中，响应于针对目标图像中目标物体的预设标注操作，确定针对目标物体标注的标注框的目标信息，该目标信息包括该标注框的坐标信息和该标注框的姿态角度，该目标图像为图像序列中的图像。

在步骤403中，将目标图像之前和/或之后的每帧图像确定为对象图像。

在步骤404中，根据上述定位数据，确定目标图像对应的第一定位信息及每帧对象图像对应的每个第二定位信息。

在步骤405中，根据第一定位信息及每个第二定位信息，确定目标图像与每帧对象图像之间的坐标系转换矩阵。

在步骤406中，根据上述标注框的目标信息及目标图像与每帧对象图像之间的每个坐标系转换矩阵，确定目标物体在每帧对象图像中的临时框的标注引导信息，该临时框的标注引导信息包括该临时框的目标坐标信息和该临时框的目标姿态角度。

在本实施例中，临时框的标注引导信息用于指示临时框的设置信息，例如，临时框的标注引导信息可以包括该临时框的目标坐标信息和该临时框的目标姿态角度等。其中，目标坐标信息为临时框需要设置的位置坐标信息，目标姿态角度为临时框需要设置的姿态角度。

具体来说，针对任意一帧对象图像，可以通过如下方式确定目标物体在该对象图像中的临时框的标注引导信息：利用目标图像与该对象图像之间的坐标系转换矩阵，对标注框的坐标信息进行坐标转换，得到临时框的目标坐标信息。以及，根据标注框的姿态角度及目标图像与该对象图像之间的坐标系转换矩阵，确定临时框的目标姿态角度。

在本实施例中，可以通过如下方式确定临时框的目标姿态角度：可以根据目标图像与该对象图像之间的坐标系转换矩阵，确定标注框的多个姿态角度分量中每个姿态角度分量的修正参数，并利用该修正参数对每个姿态角度分量进行修正，得到临时框的目标姿态角度。

例如，设目标图像与该对象图像之间的坐标系转换矩阵M为一个三阶矩阵，m_ij为矩阵M的元素。标注框的姿态角度为(R_x，R_y，R_z)。其中，R_x分量的修正参数为atan(m₃₂，m₃₃)，R_y分量的修正参数为atan(-m₃₁，m₃₃)，R_z分量的修正参数为atan(m₂₁，m₁₁)。利用修正参数对每个姿态角度分量进行修正，可以得到临时框的目标姿态角度为：

(R_x+atan(m₃₂，m₃₃)，R_y+atan(-m₃₁，m₃₃)，R_z+atan(m₂₁，m₁₁))。

在步骤407中，按照临时框的标注引导信息，在每帧对象图像中添加或调整目标物体的临时框。

需要说明的是，对于与图2和图3A实施例中相同的步骤，在上述图4实施例中不再进行赘述，相关内容可参见图2和图3A实施例。

本申请的上述实施例提供的在图像序列中标注物体的方法，响应于针对目标图像中目标物体的预设标注操作，确定针对目标物体标注的标注框的坐标信息和姿态角度，将目标图像之前和/或之后的每帧图像确定为对象图像，根据目标图像对应的第一定位信息及每帧对象图像对应的每个第二定位信息，确定目标图像与每帧对象图像之间的坐标系转换矩阵，根据标注框的坐标信息、姿态角度以及该坐标系转换矩阵，确定目标物体在每帧对象图像中的临时框的标注引导信息，该标注引导信息包括临时框的目标坐标信息和目标姿态角度，并按照该标注引导信息在对象图像中添加或调整目标物体的临时框。从而使得图像中的临时框的分布位置更为合理，不仅在不存在目标物体的大部分图像中，目标物体的临时框会位于图像视野以外，避免了临时框的杂乱堆叠，还使得目标物体的临时框的姿态与目标物体的实际姿态更为贴近，从而使临时框的调整更为便捷，进一步提高了标注的效率，降低了错误标注的几率。

应当注意，尽管在上述实施例中，以特定顺序描述了本申请方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。相反，流程图中描绘的步骤可以改变执行顺序。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。

与前述在图像序列中标注物体的方法实施例相对应，本申请还提供了在图像序列中标注物体的装置的实施例。

如图5所示，图5是本申请根据一示例性实施例示出的一种在图像序列中标注物体的装置框图，该装置可以包括：定位模块501，获取模块502，第一确定模块503，第二确定模块504以及标注模块505。

其中，定位模块501，用于确定定位数据，该定位数据包括图像序列中每帧图像对应的定位信息。

获取模块502，用于响应于针对目标图像中目标物体的预设标注操作，确定针对目标物体标注的标注框的目标信息，目标图像为图像序列中的图像。

第一确定模块503，用于将目标图像之前和/或之后的每帧图像确定为对象图像。

第二确定模块504，用于根据上述定位数据，确定目标图像对应的第一定位信息及每帧对象图像对应的每个第二定位信息。

标注模块505，用于根据上述标注框的目标信息、上述第一定位信息及上述每个第二定位信息，在每帧对象图像中添加或调整目标物体的临时框。

在一些可选实施方式中，预设标注操作可以包括：首次生成目标物体的标注框的操作。或者，调整目标物体的标注框的操作，其中，目标图像满足以下条件：相邻图像中包括所述目标物体的临时框。或者，调整目标物体的临时框的操作。

如图6所示，图6是本申请根据一示例性实施例示出的另一种在图像序列中标注物体的装置框图，该实施例在前述图5所示实施例的基础上，标注模块505可以包括：第一确定子模块601，第二确定子模块602和调整子模块603。

其中，第一确定子模块601，用于根据上述第一定位信息及每个第二定位信息，确定目标图像与每帧对象图像之间的坐标系转换矩阵。

第二确定子模块602，用于根据上述标注框的目标信息及上述每个坐标系转换矩阵，确定目标物体在每帧对象图像中的临时框的标注引导信息。

调整子模块603，用于按照上述临时框的标注引导信息，在每帧对象图像中添加或调整目标物体的临时框。

在另一些可选实施方式中，针对任一帧对象图像，第一确定子模块601可以通过如下方式确定目标图像与该对象图像之间的坐标系转换矩阵：根据第一定位信息，确定目标图像与世界坐标系的第一转换矩阵，根据该对象图像对应的第二定位信息，确定该对象图像与世界坐标系之间的第二转换矩阵，基于第一转换矩阵及第二转换矩阵，确定目标图像与该对象图像之间的坐标系转换矩阵。

在另一些可选实施方式中，标注框的目标信息可以包括标注框的坐标信息，临时框的标注引导信息可以包括临时框的目标坐标信息。

针对任一帧对象图像，第二确定子模块602可以通过如下方式确定目标物体在该对象图像中的临时框的标注引导信息：利用目标图像与该对象图像之间的坐标系转换矩阵，对标注框的坐标信息进行坐标转换，得到临时框的目标坐标信息。

在另一些可选实施方式中，标注框的目标信息还可以包括标注框的姿态角度，临时框的标注引导信息还可以包括临时框的目标姿态角度。

针对任一帧对象图像，第二确定子模块602还可以通过如下方式确定目标物体在该对象图像中的临时框的标注引导信息：根据标注框的姿态角度及目标图像与该对象图像之间的坐标系转换矩阵，确定临时框的目标姿态角度。

在另一些可选实施方式中，第二确定子模块602可以通过如下方式根据标注框的姿态角度及目标图像与该对象图像之间的坐标系转换矩阵，确定临时框的目标姿态角度：根据目标图像与该对象图像之间的坐标系转换矩阵，确定标注框的多个姿态角度分量中每个姿态角度分量的修正参数，并利用修正参数对每个姿态角度分量进行修正，得到临时框的目标姿态角度。

应当理解，上述装置可以预先设置在终端设备中，也可以通过下载等方式而加载到终端设备中。上述装置中的相应模块可以与终端设备中的模块相互配合以实现在图像序列中标注物体的方案。

对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本申请方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

本申请实施例还提供了一种计算机可读存储介质，该存储介质存储有计算机程序，计算机程序可用于执行上述图2至图4任一实施例提供的在图像序列中标注物体的方法。

对应于上述的在图像序列中标注物体的方法，本申请实施例还提出了图7所示的根据本申请的一示例性实施例的电子设备的示意结构图。请参考图7，在硬件层面，该电子设备包括处理器、内部总线、网络接口、内存以及非易失性存储器，当然还可能包括其他业务所需要的硬件。处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，在逻辑层面上形成在图像序列中标注物体的装置。当然，除了软件实现方式之外，本申请并不排除其他实现方式，比如逻辑器件抑或软硬件结合的方式等等，也就是说以下处理流程的执行主体并不限定于各个逻辑单元，也可以是硬件或逻辑器件。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由下面的权利要求指出。

应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。

Claims (8)

1.一种在图像序列中标注物体的方法，其特征在于，所述方法包括：

确定定位数据，所述定位数据包括图像序列中每帧图像对应的定位信息；所述图像包括视觉图像、激光点云数据；

响应于针对目标图像中目标物体的预设标注操作，确定针对所述目标物体标注的标注框的目标信息；所述目标图像为所述图像序列中的图像；

将所述目标图像之前和/或之后的每帧图像确定为对象图像；

根据所述定位数据，确定所述目标图像对应的第一定位信息及每帧所述对象图像对应的每个第二定位信息；

根据所述标注框的目标信息、所述第一定位信息及所述每个第二定位信息，在每帧所述对象图像中添加或调整所述目标物体的临时框；

所述预设标注操作包括：

首次生成所述目标物体的标注框的操作；或者

调整所述目标物体的标注框的操作，其中，所述目标图像满足以下条件：相邻图像中包括所述目标物体的临时框；或者

调整所述目标物体的临时框的操作；

所述根据所述标注框的目标信息、所述第一定位信息及所述每个第二定位信息，在每帧所述对象图像中添加或调整所述目标物体的临时框，包括：

根据所述第一定位信息及所述每个第二定位信息，确定所述目标图像与每帧所述对象图像之间的坐标系转换矩阵；

根据所述标注框的目标信息及每个所述坐标系转换矩阵，确定所述目标物体在每帧所述对象图像中的临时框的标注引导信息；

按照所述临时框的标注引导信息，在每帧所述对象图像中添加或调整所述目标物体的临时框。

2.根据权利要求1所述的方法，其特征在于，针对任一帧对象图像，通过如下方式确定所述目标图像与该对象图像之间的坐标系转换矩阵：

根据所述第一定位信息，确定所述目标图像与世界坐标系的第一转换矩阵；

根据该对象图像对应的第二定位信息，确定该对象图像与世界坐标系之间的第二转换矩阵；

基于所述第一转换矩阵及所述第二转换矩阵，确定所述目标图像与该对象图像之间的坐标系转换矩阵。

3.根据权利要求1所述的方法，其特征在于，所述标注框的目标信息包括所述标注框的坐标信息；所述临时框的标注引导信息包括所述临时框的目标坐标信息；

针对任一帧对象图像，确定所述目标物体在该对象图像中的临时框的标注引导信息，包括：

利用所述目标图像与该对象图像之间的坐标系转换矩阵，对所述标注框的坐标信息进行坐标转换，得到所述临时框的目标坐标信息。

4.根据权利要求3所述的方法，其特征在于，所述标注框的目标信息还包括所述标注框的姿态角度；所述临时框的标注引导信息还包括所述临时框的目标姿态角度；

针对任一帧对象图像，确定所述目标物体在该对象图像中的临时框的标注引导信息，还包括：

根据所述标注框的姿态角度及所述目标图像与该对象图像之间的坐标系转换矩阵，确定所述临时框的目标姿态角度。

5.根据权利要求4所述的方法，其特征在于，所述根据所述标注框的姿态角度及所述目标图像与该对象图像之间的坐标系转换矩阵，确定所述临时框的目标姿态角度，包括：

根据所述目标图像与该对象图像之间的坐标系转换矩阵，确定所述标注框的多个姿态角度分量中每个姿态角度分量的修正参数；

利用所述修正参数对所述每个姿态角度分量进行修正，得到所述临时框的目标姿态角度。

6.一种在图像序列中标注物体的装置，其特征在于，所述装置包括：

定位模块，用于确定定位数据，所述定位数据包括图像序列中每帧图像对应的定位信息；所述图像包括视觉图像、激光点云数据；

获取模块，用于响应于针对目标图像中目标物体的预设标注操作，确定针对所述目标物体标注的标注框的目标信息；所述目标图像为所述图像序列中的图像；

第一确定模块，用于将所述目标图像之前和/或之后的每帧图像确定为对象图像；

第二确定模块，用于根据所述定位数据，确定所述目标图像对应的第一定位信息及每帧所述对象图像对应的每个第二定位信息；

标注模块，用于根据所述标注框的目标信息、所述第一定位信息及所述每个第二定位信息，在每帧所述对象图像中添加或调整所述目标物体的临时框；

所述预设标注操作包括：

首次生成所述目标物体的标注框的操作；或者

调整所述目标物体的标注框的操作，其中，所述目标图像满足以下条件：相邻图像中包括所述目标物体的临时框；或者

调整所述目标物体的临时框的操作；

标注模块包括：第一确定子模块，第二确定子模块和调整子模块；

其中，第一确定子模块，用于根据上述第一定位信息及每个第二定位信息，确定目标图像与每帧对象图像之间的坐标系转换矩阵；

第二确定子模块，用于根据上述标注框的目标信息及上述每个坐标系转换矩阵，确定目标物体在每帧对象图像中的临时框的标注引导信息；

调整子模块，用于按照上述临时框的标注引导信息，在每帧对象图像中添加或调整目标物体的临时框。

7.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述权利要求1-5中任一项所述的方法。

8.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现上述权利要求1-5中任一项所述的方法。

Images