CN111860305B - 一种图像标注方法、装置、电子设备及存储介质 - Google Patents

Abstract

本申请公开了一种图像标注方法、装置、电子设备以及存储介质，涉及计算机视觉技术领域，具体涉及人工智能、计算机视觉及自动驾驶等领域，包括：获取多个数据采集设备采集的同步帧图像；将各所述同步帧图像在同一图像标注界面中同时进行显示；对各所述同步帧图像进行并行标注。本申请实施例能够提高图像的标注效率和标注能力。

Description

一种图像标注方法、装置、电子设备及存储介质

技术领域

本申请涉及图像处理领域，具体涉及人工智能、计算机视觉及自动驾驶等领域。

背景技术

图像标注可以是对图像中的物体对象根据设定的标注规则进行标注，在人工智能、计算机视觉以及自动驾驶等技术领域应用较为广泛。例如，可以对图像中的车辆进行框选，或对人脸关键点进行打点处理等。图像标注可以应用于静态单帧图像标注领域，也可以应用于视频标注领域。例如，在视频预览或录像回放过程中，直接在视频的帧图像上对物体对象进行突出标记，使视频更具有针对性的视频处理方式。图像标注可以应用于诸多领域，例如，应用于自动驾驶领域定位障碍物，或应用于视频追踪领域锁定重要的视频线索信息等。

发明内容

本申请实施例提供了一种图像标注方法、装置、电子设备以及存储介质，以提高图像的标注效率和标注能力。

第一方面，本申请实施例提供了一种图像标注方法，包括：

获取多个数据采集设备采集的同步帧图像；

将各所述同步帧图像在同一图像标注界面中同时进行显示；

对各所述同步帧图像进行并行标注。

第二方面，本申请实施例提供了一种图像标注装置，包括：

同步帧图像获取模块，用于获取多个数据采集设备采集的同步帧图像；

同步帧图像显示模块，用于将各所述同步帧图像在同一图像标注界面中同时进行显示；

同步帧图像标注模块，用于对各所述同步帧图像进行并行标注。

第三方面，本申请实施例提供了一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行第一方面实施例所提供的图像标注方法。

第四方面，本申请实施例还提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行第一方面实施例所提供的图像标注方法。

本申请实施例通过在同一图像标注界面中同时显示多个数据采集设备采集的同步帧图像，以对各同步帧图像进行并行标注，解决现有图像标注方法存在的标注效率低及标注能力不足等问题，从而提高图像的标注效率和标注能力。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本申请的限定。其中：

图1是本申请实施例提供的一种环视十摄方案中各摄像头拍摄范围的效果示意图；

图2是本申请实施例提供的一种图像标注方法的流程图；

图3是本申请实施例提供的一种图像标注方法的流程图；

图4是本申请实施例提供的一种图像标注方法效果示意图；

图5是本申请实施例提供的一种图像标注方法的效果示意图；

图6是本申请实施例提供的一种图像标注界面的效果示意图；

图7是本申请实施例提供的一种图像标注装置的结构图；

图8是用来实现本申请实施例的图像标注方法的电子设备的结构示意图。

具体实施方式

以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

目标追踪是计算机视觉领域中的一项关键技术，可以广泛应用于多个领域中，如自动驾驶领域或人脸识别领域等。举例而言，对于自动驾驶技术来说，对车辆周围环境的精确感知能力是自动驾驶的基础内容。目前，自动驾驶领域的目标追踪方式一般包括两种，一种是需要激光雷达、毫米波雷达及车载摄像头等的传感器融合方案，另外一种是基于图像追踪的纯视觉闭环方案。其中，传感器融合方式是将采集到的3D点云图与2D图像同时进行标注，除了高昂的采集成本外，其数据与人眼感知到的真实世界也不同。纯视觉闭环方案是将采集的视频抽帧成图像进行标注。其中，图像标注环节主要包括两部分，第一步是对单摄像头的抽帧图像进行连续标注，第二步是对各个摄像头已经标注完成的图像的标注结果进行两两关联，也即对标处理，以保证同一物体在不同的摄像头间标注结果一致。例如，在第一步由标注员对抽帧图像的标注对象进行连续标框，同时标注除编号之外的属性；在第二步进行对标处理时，由标注员采用同一物体标注相同编号，不同物体标注不同编号的标注规则，对各标注对象标注编号。

相对于传感器融合方案来说，纯视觉闭环方案主要有以下几方面优势：一是获取的图像数据和人眼感知的真实世界相似度高；二是摄像头安装成本低，且可以避免车检不合规的问题；三是摄像头采集的视频数据中包含的信息更为丰富。

图1是本申请实施例提供的一种环视十摄方案中各摄像头拍摄范围的效果示意图。如图1所示，以十个摄像头的纯视觉闭环(简称环视十摄)方案为例说明，每个摄像头都有匹配的拍摄范围，且各个摄像头的拍摄范围有重叠。现有技术中，纯视觉闭环方案应用于环视十摄的应用场景时，往往需要多达近20次(具体次数需要根据各摄像头的重叠拍摄范围确定)的对标处理操作。也即，每个摄像头的视频数据需要被处理2-6次。这种图像标注方式不仅会导致标注成本升高，效率降低，而且由于标注规则或标注质量问题，标注结果的统一环节会存在大量标注结果冲突问题。例如，拍摄范围A对应的摄像头对距离较远的某个障碍物标注为三厢车，拍摄范围C对应的摄像头对包括该障碍物的图像进行对标时判断为两厢车，也即针对同一个障碍物出现了两种标注结果，分别对应两种类型的车。当出现标注结果冲突问题时需要重新进行标注，从而降低了标注质量和标注效率。

在一个示例中，图2是本申请实施例提供的一种图像标注方法的流程图，本实施例可适用于快速、高效地进行图像标注的情况，该装置可以由软件和/或硬件的方式来实现，并一般可集成在电子设备中。该电子设备可以是计算机设备等。相应的，如图2所示，该方法包括如下操作：

S110、获取多个数据采集设备采集的同步帧图像。

其中，数据采集设备可以是用于采集图像的设备，如摄像头或红外成像设备等，只要可以采集图像即可，本申请实施例并不对数据采集设备的具体设备类型进行限定。数据采集设备可以采集单帧图像，也可以采集连续的视频，本申请实施例对此并不进行限制。同步帧图像可以是各个数据采集设备同步采取的单帧图像。示例性的，假设共有4个数据采集设备，则同步帧图像可以是4个数据采集设备所采集的4个第2帧图像或4个第5帧图像等。

在本申请实施例中，对多个数据采集设备采集的图像进行标注时，可以同时获取多个数据采集设备采集的同步帧图像。其中，同步帧图像的数量与数据采集设备的数量相等。

S120、将各所述同步帧图像在同一图像标注界面中同时进行显示。

其中，图像标注界面可以用于显示需要进行标注的图像。

相应的，在获取到多个数据采集设备采集的同步帧图像后，可以将获取的各同步帧图像在同一图像标注界面中同时进行显示。

S130、对各所述同步帧图像进行并行标注。

由于各同步帧图像可以在同一图像标注界面中同时进行显示，因此，标注员在对各数据采集设备采集的图像的标注对象进行标注时，可以在同一图像标注界面中同时对各数据采集设备采集的同步帧图像的标注对象进行标注，从而实现对各同步帧图像的并行标注。

由此可见，在同一图像标注界面中同时对各数据采集设备采集的同步帧图像的标注对象进行标注，可以一次性对各同步帧图像中的标注对象进行标注，无需重复判断和重复标注，避免了对两两对数据采集设备的同步帧图像的标注结果进行对标处理的操作，从而大幅缩减标注成本，提高标注效率。同时，由于各同步帧图像在同一图像标注界面中同时进行显示，因此可以根据各同步帧图像中最清晰的图片判断标注对象的类型，从而有效避免标注结果冲突问题，还可以有效降低标注对象的判断难度和判断时间。保证了标注质量，提高了标注能力和标注效率。另外，由于在同一图像标注界面中同时对各数据采集设备采集的同步帧图像的标注对象进行标注的方式，避免对标处理操作，可以在对图像进行标注的同时进行质量校验，进行避免标注错误滞后导致的质量问题增多，进一步保证了标注质量，提高了标注能力和标注效率。

本申请实施例通过在同一图像标注界面中同时显示多个数据采集设备采集的同步帧图像，以对各同步帧图像进行并行标注，解决现有图像标注方法存在的标注效率低及标注能力不足等问题，从而提高图像的标注效率和标注能力。

在一个示例中，图3是本申请实施例提供的一种图像标注方法的流程图，本申请实施例在上述各实施例的技术方案的基础上，进行了优化改进，给出了获取多个数据采集设备采集的同步帧图像、将各所述同步帧图像在同一图像标注界面中同时进行显示，以及对各所述同步帧图像进行并行标注多种具体可选的实现方式。

如图3所示的一种图像标注方法，包括：

S210、获取各所述数据采集设备采集的连续帧图像；其中，一个数据采集设备对应采集一个连续帧图像。

其中，连续帧图像也即视频。

可选的，各数据采集设备可以分别采集一段视频，每段视频由连续帧图像组成。相应的，在对数据采集设备采集的同步帧图像进行标注时，可以首先获取各数据采集设备分别采集的连续帧图像。

S220、根据设定抽帧频率对各所述连续帧图像进行抽帧处理，得到抽帧图像。

其中，设定抽帧频率可以根据实际需求设定，如每10帧抽1帧，或每1秒抽5帧等，本申请实施例并不对设定抽帧频率的具体数值进行限定。

可选的，在获取到各数据采集设备采集的多个连续帧图像后，可以采用根据设定抽帧频率对各连续帧图像进行抽帧处理，得到各连续帧图像匹配的抽帧图像。抽帧图像也即待标注的图像。

S230、对各所述抽帧图像进行分段处理，得到各所述抽帧图像对应的分段待标注图像；各所述分段待标注图像包括至少两帧待标注图像。

其中，分段待标注图像可以是对抽帧图像进行分段得到的多帧待标注图像，每一个待标注图像为一个抽帧图像。也即，各分段待标注图像可以包括多帧待标注图像，且各分段待标注图像中包括的图像数量的总和，为待标注图像的数量总和。

为了进一步提高连续帧图像的标注效率，可以对抽帧图像划分成多个片段，得到多段分段待标注图像。需要说明的是，每一个数据采集设备的抽帧图像可以对应划分成多段分段待标注图像。可选的，对于同一数据采集设备来说，各个片段的分段待标注图像中包括的图像数量可以相同，也可以不同，本申请实施例并不对同一数据采集设备的分段待标注图像中包括的图像数量进行限定。例如，一个数据采集设备的抽帧图像可以对应划分成3段分段待标注图像，每段分段待标注图像包括的待标注图像分别为50帧、50帧和20帧。但需要说明的是，为了实现对同步帧图像的并行标注，各个数据采集设备在划分分段待标注图像时，序号相同的分段待标注图像包括的待标注图像的数量也相同。例如，第一个数据采集设备的抽帧图像可以对应划分成3段分段待标注图像，每段分段待标注图像包括的待标注图像分别为：第一段分段待标注图像：50帧，第二段分段待标注图像：40帧；第三段分段待标注图像：20帧。相应的，第二个数据采集设备的抽帧图像也需要采用同样的分段方式对应划分成3段分段待标注图像，每段分段待标注图像包括的待标注图像分别为：第一段分段待标注图像：50帧，第二段分段待标注图像：40帧；第三段分段待标注图像：20帧。

可选的，各分段待标注图像可以包括至少两帧待标注图像，但为了提高图像标注的效率，通常情况下，分段待标注图像中包括的图像数量可以在20帧至50帧之间。

在得到抽帧图像对应的分段待标注图像后，不同的标注员即可对不同时序的分段待标注图像进行并行标注。例如，假设共有4个数据采集设备，各数据采集设备的抽帧图像可以对应划分成3段分段待标注图像，每段分段待标注图像包括的待标注图像分别为：第一段分段待标注图像：50帧，第二段分段待标注图像：40帧；第三段分段待标注图像：20帧。标注员A可以负责对第一段分段待标注图像进行并行标注，也即将第一段分段待标注图像中的同步帧图像进行并行标注。标注员B可以负责对第二段分段待标注图像进行并行标注，也即将第二段分段待标注图像中的同步帧图像进行并行标注。标注员C可以负责对第三段分段待标注图像进行并行标注，也即将第三段分段待标注图像中的同步帧图像进行并行标注。也即，一个标注员可以对同一段时序的不同数据采集设备采集的同步帧图像进行并行标注，不同标注员还可以对不同时序的不同数据采集设备采集的同步帧图像进行并行标注，从而实现对图像的多级并行处理。

可以理解的是，各个数据采集设备的抽帧图像进行分段处理的方式相同。因此，下文以一个数据采集设备的抽帧图像进行分段处理为例说明。相应的，S230具体可以包括下述操作：

S231、根据所述待标注图像的时间顺序以及所述分段待标注图像的设定图像数量，划分当前分段待标注图像。

其中，设定图像数量可以根据需求设定，可选的，设定图像数量可以在20-50之间。同时，不同分段待标注图像对应的设定图像数量可以相同，也可以不同，本申请实施例对此并不进行限制。当前分段待标注图像也即当前划分得到的分段待标注图像。

在本申请实施例中，可以依次划分各分段待标注图像。可选的，在对第一段分段待标注图像进行划分时，可以根据待标注图像的时间顺序以及分段待标注图像的设定图像数量，划分当前分段待标注图像，作为第一段分段待标注图像。例如，将连续帧图像的前20帧图像作为第一段分段待标注图像。

S232、根据重叠帧设置规则确定所述当前分段待标注图像的当前重叠帧。

其中，重叠帧设置规则可以用于设置各分段待标注图像之间的重叠的帧图像。当前重叠帧可以是当前分段待标注图像中包括的，与其他分段待标注图像相互重叠的图像帧。

相应的，当第一段分段待标注图像作为当前分段待标注图像划分完成后，可以根据重叠帧设置规则确定当前分段待标注图像的当前重叠帧。可选的，不同分段待标注图像的当前重叠帧的数量可以相同，也可以不同，本申请实施例对此并不进行限制。

可以理解的是，在确定当前分段待标注图像的当前重叠帧时，可以仅针对当前分段待标注图像确定后续图像的重叠帧。图4是本申请实施例提供的一种图像标注方法效果示意图，在一个示例性的例子中，如图4所示，将当前分段待标注图像的后1帧作为当前重叠帧。相应的，当前分段待标注图像的下一段分段待标注图像的前1帧图像可以是当前分段待标注图像的后1帧图像。也即，当前分段待标注图像与当前分段待标注图像的下一段分段待标注图像之间，存在1帧相同的图像。

在本申请的一个可选实施例中，所述重叠帧设置规则包括：将用于判定图像对象消失的帧图像数量，作为重叠帧的数量；或，将默认设置的帧图像数量，作为重叠帧的数量。

其中，重叠帧设置规则可以包括多种类型。可选的，可以将用于判定图像对象消失的帧图像数量，作为重叠帧的数量。例如，无人车障碍物标注规则中要求障碍物消失5帧即对标注对象赋予新的编号，此时，可以设置重叠帧的数量为5帧。或者，也还可以将默认设置的帧图像数量，作为重叠帧的数量。例如，默认设置1帧图像作为重叠帧的数量。其中，将默认设置的帧图像数量作为重叠帧的数量的重叠帧设置规则适用于没有特殊标注要求的应用场景。

上述方案中，通过多种类型的重叠帧设置规则设置各分段待标注图像之间的重叠帧，可以满足图像标注方法对多种应用场景的应用需求。

S233、将所述当前重叠帧作为下一段分段待标注图像的部分待标注图像，并根据所述设定图像数量确定所述下一段分段待标注图像的剩余待标注图像。

相应的，在当前分段待标注图像划分完成且确定了当前重叠帧后，可以将当前重叠帧作为下一段分段待标注图像的部分待标注图像，并根据设定图像数量确定下一段分段待标注图像的剩余待标注图像。

在一个示例性的例子中，假设第一段分段待标注图像划分完成，且确定了当前重叠帧为2帧，则可以将第一段分段待标注图像的最后2帧图像作为第二段分段待标注图像的前两帧图像。假设各分段待标注图像中的设定图像数量均为20帧，则可以根据时间顺序，从连续帧图像中获取第20帧至第37帧图像作为第二段分段待标注图像的剩余待标注图像，以完成对第二段分段待标注图像的划分。也即，第一段分段待标注图像包括第1帧至第20帧图像，第二段分段待标注图像包括第19帧至第38帧图像，第一段分段待标注图像和第二段分段待标注图像包括第19帧和第20帧两帧重叠图像。

S234、将所述下一段分段待标注图像作为所述当前分段待标注图像。

S235、判断当前分段待标注图像是否为最后一段分段待标注图像，若是，则执行，否则，返回执行S232。

S236、直至完成对全部待标注图像的划分。

在对当前分段待标注图像的下一段分段待标注图像划分完成后，可以将下一段分段待标注图像更新为当前分段待标注图像，并返回执行根据重叠帧设置规则确定当前分段待标注图像的当前重叠帧的操作，直至完成对全部待标注图像的划分。如图4所示，在对全部待标注图像划分完成且设置了重叠帧后，不同的标注员即可对各分段待标注图像开始进行并行标注。如利用方框框选出各标注对象，并对标注对象依次进行编号(也即标ID)。

上述方案中，通过利用重叠帧设置规则对各分段待标注图像设置重叠帧，能够建立起各分段待标注图像之间的关联，以用于对各分段待标注图像的标注结果进行统一处理。

在建立各分段待标注图像之间的重叠帧时，除了上述直接将未标注的图像帧设置重叠帧，还可以有多种其他可选的设置方案。图5是本申请实施例提供的一种图像标注方法的效果示意图，在一个示例性的例子中，如图5所示，可以首先对各分段待标注图像先进行并行标注，并利用方框框选出各标注对象，并对标注对象依次进行编号(也即标ID)。在各分段待标注图像完成标注后，将具有相同标注框(也即具有相同的标注内容)的待标注图像作为重叠帧。

需要说明的是，除了上述利用重叠帧建立起各分段待标注图像之间的关联，还可以存在其他建立起各分段待标注图像之间的关联的方式。如在相邻两待标注图像之间差别不大，且相邻两待标注图像包括的标注对象基本相同的情况下，还可以通过各分段待标注图像中前序图像以及后续图像在视频中的时间为依据，对各分段待标注图像进行关联，假设直接将一段连续帧图像直接作为待标注图像，则还可以根据各分段待标注图像之间前序图像和后续图像的帧编号或时间点等图像标识进行关联。例如，第一段分段待标注图像包括第1帧至第20帧图像，第二段分段待标注图像包括第21帧至第40帧图像。由于相邻两帧图像之间差别不大，包括的标注对象基本相同，因此，第一段分段待标注图像和第二段分段待标注图像可以通过第20帧图像和第21帧图像进行关联。

需要说明的是，如果各分段待标注图像包括的待标注图像的数量相同，且各分段待标注图像之间的重叠帧数量也相同，则可以一次性同时完成全部分段待标注图像的划分，而无需按照时序分别划分各分段待标注图像。示例性的，假设抽帧图像总共有50帧，每段分段待标注图像包括20帧待标注图像，各分段待标注图像之间包括5帧重叠帧，则可以同时确定全部的分段待标注图像：第一段分段待标注图像包括第1帧至第20帧图像，第二段分段待标注图像包括第16帧至第35帧图像，第三段分段待标注图像包括第31帧至第50帧图像。

S240、从各所述抽帧图像对应的分段待标注图像中，获取各所述数据采集设备采集的同步帧图像。

相应的，在对各数据采集设备的抽帧图像完成分段处理后，即可从各抽帧图像对应的分段待标注图像中，获取各数据采集设备采集的同步帧图像。

示例性的，假设4个数据采集设备的抽帧图像均划分了3个分段待标注图像，每段分段待标注图像包括5帧待标注图像。标注员A负责对4个数据采集设备的第一段分段待标注图像进行标注，标注员B负责对4个数据采集设备的第二段分段待标注图像进行标注，标注员C负责对4个数据采集设备的第三段分段待标注图像进行标注。对于标注员A来说，可以从4个数据采集设备的第一段分段待标注图像获取4个第1帧图像作为各数据采集设备采集的同步帧图像进行标注处理，在第1帧图像标注处理完成后，再依次从4个数据采集设备的第一段分段待标注图像获取4个第2帧图像作为各数据采集设备采集的同步帧图像进行标注处理。以此类推，直至完成对4个数据采集设备的第一段分段待标注图像中5帧图像的标注处理。同理，标注员B可以采用上述图像标注方式对4个数据采集设备的第二段分段待标注图像中的各同步帧图像进行标注，标注员C则可以采用上述图像标注方式对4个数据采集设备的第三段分段待标注图像中的各同步帧图像进行标注。

由此可见，本申请实施例所提供的图像标注方法可以实现两个层次的并行标注处理。

上述方案中，通过对各数据采集设备采集的连续帧图像进行抽帧处理，并对得到的抽帧图像进行分段处理，以从各抽帧图像对应的分段待标注图像中，获取各数据采集设备采集的同步帧图像，能够实现对图像的多级并行标注处理，从而进一步缩短标注时间，进而提高标注能力和标注效率。

S250、在所述图像标注界面中，将各所述同步帧图像按照所述数据采集设备相对承载设备的位置进行分布显示。

其中，承载设备可以用于承载数据采集设备。示例性的，在自动驾驶应用场景中，承载设备可以是无人驾驶车辆，数据采集设备则可以是设置在无人驾驶车辆的各个位置处的摄像头。

可以理解的是，数据采集设备在承载设备中具有相对固定的位置。因此，在对各数据采集设备的同步帧图像进行同时显示时，可以在图像标注界面中，将各同步帧图像按照数据采集设备相对承载设备的位置进行分布显示。这种同步帧图像的同时显示方式能够高度还原采集场景，使得标注员能够更精准得进行标注对象的判断。

图6是本申请实施例提供的一种图像标注界面的效果示意图，在一个示例性的例子中，如图6所示，假设无人驾驶车辆上设置了10个摄像头，其分布位置具体是前方3个，左前方一个，左后方一个，左鱼眼一个，正后方一个，右后方一个，右鱼眼一个，右前方一个。则在图像标注界面中同时对10个摄像头的同步帧图像进行布局时，可以根据各摄像头相对无人驾驶车辆的相对位置进行布局。图6中第一幅图像右下角的标号“1-2”中，“1”表示摄像头编号，“2”表示该摄像头的图像帧标号，也即第二帧图像。同理，其他摄像头也可以在图像的右下角按照上述形式进行标号，以确定各图像帧的来源以及图像帧在连续帧图像中的顺序。具体的，前3个摄像头的第2帧图像可以分布在图像标注界面中的第一行，第4个摄像头为车辆的右前方的摄像头，则第4个摄像头的第2帧图像可以分布在图像标注界面中的右前方，也即标号为“4-2”的图像。以此类推，将各摄像头的第2帧图像在图像标注界面中按照摄像头相对车辆的相对位置进行布局。其中，图像标注界面中中间两幅没有标号的区域表示车体。由此可见，按照摄像头相对车辆的相对位置同时布局各摄像头的同步帧图像，能够高度还原各摄像头的采集场景，使得标注员能够更精准得进行标注对象的判断。

S260、采用统一的标注规则同时对各所述同步帧图像的标注对象进行标注。

可以理解的是，由于在同一图像标注界面中同时显示的各同步帧图像均由同一个标注员进行标注，因此，标注员可以采用统一的标注规则同时对各同步帧图像的标注对象进行标注，实现对不同数据采集设备的同步帧图像的并行标注。所谓统一的标注规则也即：相同的标注对象标注相同的标注结果，不同的标注对象标注不同的标注结果。这样设置的好处是：标注员可以根据各同步帧图像对各标注对象进行清晰地判断和标注，能够避免出现标注冲突，提高了标注的准确率、标注效率和标注能力。

示例性的，假设第一个摄像头的第2帧图像中包括3个标注对象，分别为小汽车、自行车和行人，第二个摄像头的第2帧图像中包括3个标注对象，分别为小汽车、自行车和行人，第三个摄像头的第2帧图像中包括2个标注对象，分别为大客车和电动车，第四个摄像头的第2帧图像中包括2个标注对象，分别为大客车和电动车。其中，第一个摄像头的第2帧图像中的标注对象与第二个摄像头的第2帧图像中的标注对象相同，第三个摄像头的第2帧图像中的标注对象与第四个摄像头的第2帧图像中的标注对象相同。相应的，标注员采用统一的标注规则同时对四个摄像头的各同步帧图像的标注对象进行标注时，具体可以是：小汽车-1、自行车-2、行人-3、大客车-4和电动车5。

需要说明的是，虽然一个标注员对分段待标注图像中的各同步帧图像可以采用统一的标注规则进行标注，但不同的标注员在对不同的分段待标注图像中的标注对象进行并行标注时，各标注员对各分段待标注图像可以采用彼此相互独立的标注规则进行标注。示例性的，当采用编号对标注对象进行标注时，假设第一个分段待标注图像中包括3个标注对象，则可以利用编号“1、2及3”对第一个分段待标注图像的各标注对象依次标注。假设第二个分段待标注图像中包括4个标注对象，则可以利用编号“1、2、3及4”对第一个分段待标注图像的各标注对象依次标注，或者，也还可以利用编号“5、6、7或8”对第一个分段待标注图像的各标注对象依次标注。也即，各分段待标注图像的标注行为不受其他分段待标注图像的标注行为所影响。

S270、获取各所述分段待标注图像对应的原始并行标注结果。

其中，原始并行标注结果可以是对各分段待标注图像同时标注后得到的初步标注结果。

相应的，在各分段待标注图像划分完成后，不同的标注员即可对各分段待标注图像开始针对分段待标注图像进行并行标注，同时，标注员还可以对各自负责的分段待标注图像中的各同步帧图像进行并行标注。针对分段待标注图像的并行标注可以包括两个环节，其中，第一个环节为各标注员针对各分段待标注图像的同步帧图像，采用统一的标注规则对标注对象进行标注。当所有标注员完成对各自负责的分段待标注图像的标注工作后，即可得到各分段待标注图像对应的原始并行标注结果。第二个环节即为对各原始并行标注结果进行归一化处理，以对各原始并行标注结果进行统一。

示例性的，如图4所示，标注员A采用统一的标注规则对第一段分段待标注图像中的标注对象进行标注可以是：对第一段分段待标注图像中采用方框作为标注工具，框选出的各标注对象，并对各标注对象标注的原始并行标注结果：大卡车-1，行人-2及小汽车-10。除了这三种标注对象，还存在其他的标注对象，标号分别为3-9，图中未示出。标注员B采用统一的标注规则对第二段分段待标注图像中的标注对象进行标注可以是：对第二段分段待标注图像中采用方框作为标注工具，框选出的各标注对象，并对各标注对象的原始并行标注结果：大卡车-1，小汽车-2及电动车-5。除了这三种标注对象，还存在其他的标注对象，标号分别为3-4，图中未示出。

S280、对各所述原始并行标注结果进行归一化检查。

需要说明的是，为了进一步保障标注结果的质量，提高图像标注的效率，在对各原始并行标注结果进行归一化处理之前，可以首先对各原始并行标注结果进行归一化检查。所谓归一化检查也即检查原始并行标注结果中是否存在人为标注错误，例如，将标注对象的某一属性标错，或者，使用错误的标注工具对标注对象进行标注。其中，标注工具可以是方框、线、点或区域等，本申请实施例并不对标注工具的类型进行限定。

对各原始并行标注结果进行归一化检查可以保证各原始并行标注结果的一致性，也即，提高原始并行标注结果的质量。例如，在进行障碍物标注时，一致性可以是指对同一障碍物的类型、遮挡等属性的标注情况是否一致，并不包括对各障碍物标注的ID号是否一致。由此可见，对各原始并行标注结果进行归一化检查可以保证后续归一化处理的准确性，能够避免因标注不统一导致归一化处理失败，需要重新进行检查和归一化处理过程，从而进一步提高标注效率。

可选的，所述归一化检查可以包括通用归一化检查和定制归一化检查；其中：所述通用归一化检查可以包括：标注对象标注数量错误、标注对象类型标注错误以及标注对象关键属性标注错误；所述定制归一化检查可以包括：根据定制标注规则标注的标注对象的标注错误。

其中，通用归一化检查可以依据对所有标注对象均通用的检查规则，对标注对象进行检查。定制归一化检查可以根据特殊标注需求所形成的规则，对标注对象进行检查。

在本申请实施例中，可选的，归一化检查可以包括两种形式。第一种形式可以是通用归一化检查，可以用于检查原始并行标注结果中是否存在标注对象标注数量错误、标注对象类型标注错误以及标注对象关键属性标注错误等问题，也即检查是否存在多标、漏标、类型及关键属性错误等问题。其中，标注对象类型可以是障碍物的类型、人脸关键点的类型或追踪对象的类型等。以障碍物作为标注对象来说，标注对象的属性例如可以是具体方位、是否遮挡或是否移动等。

第二种形式可以是定制归一化检查，可以用于根据特殊标注规则的需求检查原始并行标注结果中是否存在标注错误问题。示例性的，假设标注对象为超市人流，也即图像标注方法具体应用于超市人流量统计的应用场景。此时，对人流进行标注时，要求安保人员统一标注为“0”。在进行定制归一化检查时，如果同一个安保人员在两张图片中的原始并行标注结果分别为“0”和“1”，则表明原始并行标注结果出现标注错误。

S290、对所述原始并行标注结果进行归一化处理，得到各所述分段待标注图像对应的目标并行标注结果。

其中，目标并行标注结果即为最终的标注结果。

对各分段待标注图像进行并行标注的第二个环节即为对原始并行标注结果进行归一化处理。所谓归一化处理也即对各原始并行标注结果中，针对同一标注对象的标注结果进行统一处理。对各原始并行标注结果进行归一化处理可以实现对各标注对象进行唯一标识，从而获取满足标注需求的目标并行标注结果。

在本申请的一个可选实施例中，对所述原始并行标注结果进行归一化处理，可以包括：按照时间顺序，依次从所述原始并行标注结果中确定基准原始并行标注结果，以及所述基准原始并行标注结果的下一段原始并行标注结果；将所述下一段原始并行标注结果作为当前处理并行标注结果；在确定所述基准原始并行标注结果与所述当前处理并行标注结果中存在相同目标标注对象的情况下，将所述基准原始并行标注结果中所述目标标注对象的标注结果，作为所述当前处理并行标注结果中所述目标标注对象的标注结果。

其中，基准原始并行标注结果可以是用于作为统一基准的原始并行标注结果。当前处理并行标注结果可以是需要对于基准原始并行标注结果相同标注对象的标注结果进行统一处理的原始并行标注结果。目标标注对象可以是基准原始并行标注结果与当前处理并行标注结果中相同的标注对象。

可选的，在对原始并行标注结果进行归一化处理时，可以在原始并行标注结果中依次确定基准原始并行标注结果以及当前处理并行标注结果。然后对基准原始并行标注结果以及当前处理并行标注结果进行对比，如果确定基准原始并行标注结果与当前处理并行标注结果中存在相同目标标注对象，则将基准原始并行标注结果中目标标注对象的标注结果，作为当前处理并行标注结果中目标标注对象的标注结果。通常情况下，重叠帧图像中包括的各标注对象，也即基准原始并行标注结果与当前处理并行标注结果中的相同目标标注对象。例如，重叠帧图像中的小汽车和自行车均可以是相同目标标注对象。

示例性的，首先将第一段原始并行标注结果作为基准原始并行标注结果，将第二段原始并行标注结果作为当前处理并行标注结果。对基准原始并行标注结果和当前处理并行标注结果中重叠帧图像对应的标注结果进行对比，如果基准原始并行标注结果和当前处理并行标注结果中针对重叠帧图像中相同目标标注对象的标注结果不同，则当前处理并行标注结果可以自动沿用基准原始并行标注结果中目标标注对象的标注结果。当第一段原始并行标注结果和第二段原始并行标注结果归一化处理完成后，可以将第二段原始并行标注结果作为基准原始并行标注结果，将第三段原始并行标注结果作为当前处理并行标注结果，以此类推，直至完成对所有原始并行标注结果的归一化处理。

上述方案中，通过当前处理并行标注结果沿用基准原始并行标注结果针对目标标注对象的标注结果，可以使基准原始并行标注结果和当前处理并行标注结果中针对重叠帧图像中相同目标标注对象的标注结果保持一致，从而实现针对相同标注对象的统一标注。

在本申请的一个可选实施例中，对所述原始并行标注结果进行归一化处理，还可以包括：在确定所述基准原始并行标注结果与所述当前处理并行标注结果中存在相同目标标注对象，且所述当前处理并行标注结果中存在新增标注对象的情况下，对所述新增标注对象按照标注顺序重新进行标注。

在本申请的一个可选实施例中，对所述新增标注对象按照标注顺序重新进行标注，可以包括：确定当前已处理的并行标注结果中的末次标注结果；对所述末次标注结果延续处理，得到延续标注结果；将所述延续标注结果作为所述新增标注对象的目标标注结果。

在本申请的一个可选实施例中，确定所述当前处理并行标注结果中存在新增标注对象，可以包括：在所述当前处理并行标注结果中，将与所述目标标注对象的部分标注结果相同的非目标标注对象作为所述新增标注对象。

其中，新增标注对象可以是当前处理并行标注结果中新出现的标注对象，也即基准原始并行标注结果中不存在的标注对象。需要说明的是，新增标注对象的定义可以根据具体的标注规则设定。示例性的，假设标注规则要求对象消失5帧既赋予新的标注结果。假如第一帧图像中有“小汽车”这一标注对象，如果在第二帧图像至第8帧图像中均未出现该“小汽车”，并在第9帧图像中又出现了相同的“小汽车”，则即使第9帧图像中的“小汽车”与第1帧图像中的“小汽车”相同，也将第9帧图像中的“小汽车”作为新增标注对象，并重新按照标注顺序进行标注。末次标注结果可以是对最后一个出现的标注对象进行标注的结果。延续标注结果可以是对末次标注结果进行顺序延续后得到的标注结果。示例性的，末次标注结果为“2”，则延续标注结果可以是“3”。目标标注结果也即对新增标注对象重新进行标注的结果。非目标标注对象与目标标注对象的部分标注结果相同，可以是非目标标注对象中标注编号(也即标注ID)与目标标注对象的标注编号相同。

相应的，如果基准原始并行标注结果与当前处理并行标注结果中存在相同目标标注对象，且当前处理并行标注结果中存在新增标注对象，则对新增标注对象按照标注顺序重新进行标注。通常情况下，在对重叠帧图像以外的其他帧图像中，当前处理并行标注结果可能会存在新增标注对象的情况。

示例性的，假设基准原始并行标注结果与当前处理并行标注结果中存在相同目标标注对象“小汽车”，经过归一化处理后，将该“小汽车”的标注ID统一为“10”。如果当前处理并行标注结果中针对第8帧图像的新增标注对象“大客车”的标注ID也为“10”，则可以确定当前处理并行标注结果中已经标注的最大ID号，也即末次标注结果。如果已经标注的最大ID号为“15”，则对末次标注结果延续处理，得到延续标注结果“16”，并将新增标注对象“大客车”的标注ID重新标注为“16”。

上述方案中，通过对当前处理并行标注结果中的新增标注对象按照标注顺序重新进行标注，可以避免新增标注对象与目标标注对象标注结果冲突的问题。

S2A0、删除标注图像中的多余重叠帧。

其中，标注图像可以是完成并行标注的图像。多余重叠帧可以是多余的重叠帧。示例性的，假设第一段分段待标注图像和第二段分段待标注图像包括重叠帧：第20帧，则第一段分段待标注图像中的第20帧或第二段分段待标注图像中的第20帧可以认为是多余重叠帧。

由于在前序步骤中设置了重叠帧，因此，在对各待标注图像完成并行标注得到标注图像后，可以将标注图像中多余的重叠帧删除，也即去重处理，以保证得到完整的连续帧。可以理解的是，分段待标注图像完成并行处理后即形成分段标注图像。通过归一化处理后的重叠帧标注结果已经一致，因此，删除分段标注图像中前端或后端的重叠帧均是可行的，只要保证最终可以得到连续帧即可。也即需要注意的是，不能删除所有的重叠帧，导致图像帧的缺失。

需要说明的是，现有的需要对标处理的图像标注方法中，本质上属于横向拆分、纵向聚合的方法。也即，从数据采集设备的空间角度对待标注图像进行拆分并标注，然后从时间角度对初步标注完成的图像进行聚合处理。然而，本申请实施例所提供的图像标注方法中，本质上属于横向聚合、纵向拆分的方法。也即，首先从时间角度对各数据采集设备的连续帧图像进行拆分并标注，然后从数据采集设备的空间角度对各数据采集设备的初步标注结果进行聚合处理。

上述技术方案，通过对在同一图像标注界面中同时显示的各同步帧图像进行并行标注，以及，针对不同分段待标注图像同时进行并行标注，实现了针对图像的多级并行标注方式，提高了图像的标注效率和标注能力。

在一个示例中，图7是本申请实施例提供的一种图像标注装置的结构图，本实施例可适用于快速、高效地进行图像标注的情况，该装置可以由软件和/或硬件的方式来实现，并一般可集成在电子设备中。该电子设备可以是计算机设备等。

如图7所示的一种图像标注装置300，包括：同步帧图像获取模块310、同步帧图像显示模块320和同步帧图像标注模块330。其中，

同步帧图像获取模块310，用于获取多个数据采集设备采集的同步帧图像；

同步帧图像显示模块320，用于将各所述同步帧图像在同一图像标注界面中同时进行显示；

同步帧图像标注模块330，用于对各所述同步帧图像进行并行标注。

本申请实施例通过在同一图像标注界面中同时显示多个数据采集设备采集的同步帧图像，以对各同步帧图像进行并行标注，解决现有图像标注方法存在的标注效率低及标注能力不足等问题，从而提高图像的标注效率和标注能力。

可选的，所述装置还包括：连续帧图像获取模块，用于获取各所述数据采集设备采集的连续帧图像；其中，一个数据采集设备对应采集一个连续帧图像；抽帧处理模块，用于根据设定抽帧频率对各所述连续帧图像进行抽帧处理，得到抽帧图像；分段待标注图像获取模块，用于对各所述抽帧图像进行分段处理，得到各所述抽帧图像对应的分段待标注图像；各所述分段待标注图像包括至少两帧待标注图像；同步帧图像获取模块310具体用于：从各所述抽帧图像对应的分段待标注图像中，获取各所述数据采集设备采集的同步帧图像。

可选的，所述分段待标注图像获取模块具体用于：根据所述待标注图像的时间顺序以及所述分段待标注图像的设定图像数量，划分当前分段待标注图像；根据重叠帧设置规则确定所述当前分段待标注图像的当前重叠帧；将所述当前重叠帧作为下一段分段待标注图像的部分待标注图像，并根据所述设定图像数量确定所述下一段分段待标注图像的剩余待标注图像；将所述下一段分段待标注图像作为所述当前分段待标注图像，并返回执行根据重叠帧设置规则确定所述当前分段待标注图像的当前重叠帧的操作，直至完成对全部待标注图像的划分。

可选的，所述重叠帧设置规则包括：将用于判定图像对象消失的帧图像数量，作为重叠帧的数量；或，将默认设置的帧图像数量，作为重叠帧的数量。

可选的，同步帧图像显示模块320具体用于：在所述图像标注界面中，将各所述同步帧图像按照所述数据采集设备相对承载设备的位置进行分布显示。

可选的，同步帧图像标注模块330具体用于：采用统一的标注规则同时对各所述同步帧图像的标注对象进行标注。

可选的，所述装置还包括：原始并行标注结果获取模块，用于获取各所述分段待标注图像对应的原始并行标注结果；归一化处理模块，用于对所述原始并行标注结果进行归一化处理，得到各所述分段待标注图像对应的目标并行标注结果。

可选的，所述归一化处理模块具体用于：按照时间顺序，依次从所述原始并行标注结果中确定基准原始并行标注结果，以及所述基准原始并行标注结果的下一段原始并行标注结果；将所述下一段原始并行标注结果作为当前处理并行标注结果；在确定所述基准原始并行标注结果与所述当前处理并行标注结果中存在相同目标标注对象的情况下，将所述基准原始并行标注结果中所述目标标注对象的标注结果，作为所述当前处理并行标注结果中所述目标标注对象的标注结果。

可选的，所述归一化处理模块还用于：在确定所述基准原始并行标注结果与所述当前处理并行标注结果中存在相同目标标注对象，且所述当前处理并行标注结果中存在新增标注对象的情况下，对所述新增标注对象按照标注顺序重新进行标注。

可选的，所述归一化处理模块具体用于：确定当前已处理的并行标注结果中的末次标注结果；对所述末次标注结果延续处理，得到延续标注结果；将所述延续标注结果作为所述新增标注对象的目标标注结果。

可选的，所述归一化处理模块具体用于：在所述当前处理并行标注结果中，将与所述目标标注对象的部分标注结果相同的非目标标注对象作为所述新增标注对象。

可选的，所述装置还包括：归一化检查模块，用于对各所述原始并行标注结果进行归一化检查；所述归一化检查包括通用归一化检查和定制归一化检查；其中：所述通用归一化检查包括：标注对象标注数量错误、标注对象类型标注错误以及标注对象关键属性标注错误；所述定制归一化检查包括：根据定制标注规则标注的标注对象的标注错误。

可选的，所述装置还包括：多余重叠帧删除模块，用于删除标注图像中的多余重叠帧。

上述图像标注装置可执行本申请任意实施例所提供的图像标注方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本申请任意实施例提供的图像标注方法。

由于上述所介绍的图像标注装置为可以执行本申请实施例中的图像标注方法的装置，故而基于本申请实施例中所介绍的图像标注方法，本领域所属技术人员能够了解本实施例的图像标注装置的具体实施方式以及其各种变化形式，所以在此对于该图像标注装置如何实现本申请实施例中的图像标注方法不再详细介绍。只要本领域所属技术人员实施本申请实施例中图像标注方法所采用的装置，都属于本申请所欲保护的范围。

在一个示例中，本申请还提供了一种电子设备和一种可读存储介质。

图8是用来实现本申请实施例的图像标注方法的电子设备的结构示意图。如图8所示，是根据本申请实施例的图像标注方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。

如图8所示，该电子设备包括：一个或多个处理器401、存储器402，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图8中以一个处理器401为例。

存储器402即为本申请所提供的非瞬时计算机可读存储介质。其中，所述存储器存储有可由至少一个处理器执行的指令，以使所述至少一个处理器执行本申请所提供的图像标注方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的图像标注方法。

存储器402作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的图像标注方法对应的程序指令/模块(例如，附图7所示的同步帧图像获取模块310、同步帧图像显示模块320和同步帧图像标注模块330)。处理器401通过运行存储在存储器402中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的图像标注方法。

存储器402可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储实现图像标注方法的电子设备的使用所创建的数据等。此外，存储器402可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器402可选包括相对于处理器401远程设置的存储器，这些远程存储器可以通过网络连接至实现图像标注方法的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

实现图像标注方法的电子设备还可以包括：输入装置403和输出装置404。处理器401、存储器402、输入装置403和输出装置404可以通过总线或者其他方式连接，图8中以通过总线连接为例。

输入装置403可接收输入的数字或字符信息，以及产生与实现图像标注方法的电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置404可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。

此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端可以是智能手机、笔记本电脑、台式计算机、平板电脑、智能音箱等，但并不局限于此。服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云计算、云服务、云数据库、云存储等基础云计算服务的云服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。

本申请实施例通过在同一图像标注界面中同时显示多个数据采集设备采集的同步帧图像，以对各同步帧图像进行并行标注，解决现有图像标注方法存在的标注效率低及标注能力不足等问题，从而提高图像的标注效率和标注能力。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。

Claims (26)

1.一种图像标注方法，包括：

获取多个数据采集设备采集的同步帧图像；

将各所述同步帧图像在同一图像标注界面中同时进行显示；

对各所述同步帧图像进行并行标注；

在所述获取多个数据采集设备采集的同步帧图像之前，还包括：

获取各所述数据采集设备采集的连续帧图像；其中，一个数据采集设备对应采集一个连续帧图像；

根据设定抽帧频率对各所述连续帧图像进行抽帧处理，得到抽帧图像；

对各所述抽帧图像进行分段处理，得到各所述抽帧图像对应的分段待标注图像；各所述分段待标注图像包括至少两帧待标注图像；

所述获取多个数据采集设备采集的同步帧图像，包括：

从各所述抽帧图像对应的分段待标注图像中，获取各所述数据采集设备采集的同步帧图像。

2.根据权利要求1所述的方法，其中，所述对各所述连续帧图像进行分段处理，包括：

根据所述待标注图像的时间顺序以及所述分段待标注图像的设定图像数量，划分当前分段待标注图像；

根据重叠帧设置规则确定所述当前分段待标注图像的当前重叠帧；

将所述当前重叠帧作为下一段分段待标注图像的部分待标注图像，并根据所述设定图像数量确定所述下一段分段待标注图像的剩余待标注图像；

将所述下一段分段待标注图像作为所述当前分段待标注图像，并返回执行根据重叠帧设置规则确定所述当前分段待标注图像的当前重叠帧的操作，直至完成对全部待标注图像的划分。

3.根据权利要求2所述的方法，其中，所述重叠帧设置规则包括：

将用于判定图像对象消失的帧图像数量，作为重叠帧的数量；或，

将默认设置的帧图像数量，作为重叠帧的数量。

4.根据权利要求1所述的方法，其中，所述将各所述同步帧图像在同一图像标注界面中同时进行显示，包括：

在所述图像标注界面中，将各所述同步帧图像按照所述数据采集设备相对承载设备的位置进行分布显示。

5.根据权利要求1所述的方法，其中，所述对各所述同步帧图像进行并行标注，包括：

采用统一的标注规则同时对各所述同步帧图像的标注对象进行标注。

6.根据权利要求1-3任一所述的方法，在所述对各所述同步帧图像进行并行标注之后，还包括：

获取各所述分段待标注图像对应的原始并行标注结果；

对所述原始并行标注结果进行归一化处理，得到各所述分段待标注图像对应的目标并行标注结果。

7.根据权利要求6所述的方法，其中，对所述原始并行标注结果进行归一化处理，包括：

按照时间顺序，依次从所述原始并行标注结果中确定基准原始并行标注结果，以及所述基准原始并行标注结果的下一段原始并行标注结果；

将所述下一段原始并行标注结果作为当前处理并行标注结果；

在确定所述基准原始并行标注结果与所述当前处理并行标注结果中存在相同目标标注对象的情况下，将所述基准原始并行标注结果中所述目标标注对象的标注结果，作为所述当前处理并行标注结果中所述目标标注对象的标注结果。

8.根据权利要求7所述的方法，其中，对所述原始并行标注结果进行归一化处理，还包括：

在确定所述基准原始并行标注结果与所述当前处理并行标注结果中存在相同目标标注对象，且所述当前处理并行标注结果中存在新增标注对象的情况下，对所述新增标注对象按照标注顺序重新进行标注。

9.根据权利要求8所述的方法，其中，对所述新增标注对象按照标注顺序重新进行标注，包括：

确定当前已处理的并行标注结果中的末次标注结果；

对所述末次标注结果延续处理，得到延续标注结果；

将所述延续标注结果作为所述新增标注对象的目标标注结果。

10.根据权利要求8所述的方法，其中，确定所述当前处理并行标注结果中存在新增标注对象，包括：

在所述当前处理并行标注结果中，将与所述目标标注对象的部分标注结果相同的非目标标注对象作为所述新增标注对象。

11.根据权利要求6所述的方法，在对所述原始并行标注结果进行归一化处理之前，还包括：

对各所述原始并行标注结果进行归一化检查；所述归一化检查包括通用归一化检查和定制归一化检查；其中：

所述通用归一化检查包括：标注对象标注数量错误、标注对象类型标注错误以及标注对象关键属性标注错误；

所述定制归一化检查包括：根据定制标注规则标注的标注对象的标注错误。

12.根据权利要求6所述的方法，在对所述原始并行标注结果进行归一化处理之后，还包括：

删除标注图像中的多余重叠帧。

13.一种图像标注装置，包括：

同步帧图像获取模块，用于获取多个数据采集设备采集的同步帧图像；

同步帧图像显示模块，用于将各所述同步帧图像在同一图像标注界面中同时进行显示；

同步帧图像标注模块，用于对各所述同步帧图像进行并行标注；

所述装置还包括：

连续帧图像获取模块，用于获取各所述数据采集设备采集的连续帧图像；其中，一个数据采集设备对应采集一个连续帧图像；

抽帧处理模块，用于根据设定抽帧频率对各所述连续帧图像进行抽帧处理，得到抽帧图像；

分段待标注图像获取模块，用于对各所述抽帧图像进行分段处理，得到各所述抽帧图像对应的分段待标注图像；各所述分段待标注图像包括至少两帧待标注图像；

所述同步帧图像获取模块具体用于：

从各所述抽帧图像对应的分段待标注图像中，获取各所述数据采集设备采集的同步帧图像。

14.根据权利要求13所述的装置，其中，所述分段待标注图像获取模块具体用于：

根据所述待标注图像的时间顺序以及所述分段待标注图像的设定图像数量，划分当前分段待标注图像；

根据重叠帧设置规则确定所述当前分段待标注图像的当前重叠帧；

将所述当前重叠帧作为下一段分段待标注图像的部分待标注图像，并根据所述设定图像数量确定所述下一段分段待标注图像的剩余待标注图像；

将所述下一段分段待标注图像作为所述当前分段待标注图像，并返回执行根据重叠帧设置规则确定所述当前分段待标注图像的当前重叠帧的操作，直至完成对全部待标注图像的划分。

15.根据权利要求14所述的装置，其中，所述重叠帧设置规则包括：

将用于判定图像对象消失的帧图像数量，作为重叠帧的数量；或，

将默认设置的帧图像数量，作为重叠帧的数量。

16.根据权利要求13所述的装置，其中，所述同步帧图像显示模块具体用于：

在所述图像标注界面中，将各所述同步帧图像按照所述数据采集设备相对承载设备的位置进行分布显示。

17.根据权利要求13所述的装置，其中，所述同步帧图像标注模块具体用于：

采用统一的标注规则同时对各所述同步帧图像的标注对象进行标注。

18.根据权利要求13-15任一所述的装置，所述装置还包括：

原始并行标注结果获取模块，用于获取各所述分段待标注图像对应的原始并行标注结果；

归一化处理模块，用于对所述原始并行标注结果进行归一化处理，得到各所述分段待标注图像对应的目标并行标注结果。

19.根据权利要求18所述的装置，其中，所述归一化处理模块具体用于：

按照时间顺序，依次从所述原始并行标注结果中确定基准原始并行标注结果，以及所述基准原始并行标注结果的下一段原始并行标注结果；

将所述下一段原始并行标注结果作为当前处理并行标注结果；

在确定所述基准原始并行标注结果与所述当前处理并行标注结果中存在相同目标标注对象的情况下，将所述基准原始并行标注结果中所述目标标注对象的标注结果，作为所述当前处理并行标注结果中所述目标标注对象的标注结果。

20.根据权利要求19所述的装置，其中，所述归一化处理模块还用于：

在确定所述基准原始并行标注结果与所述当前处理并行标注结果中存在相同目标标注对象，且所述当前处理并行标注结果中存在新增标注对象的情况下，对所述新增标注对象按照标注顺序重新进行标注。

21.根据权利要求20所述的装置，其中，所述归一化处理模块具体用于：

确定当前已处理的并行标注结果中的末次标注结果；

对所述末次标注结果延续处理，得到延续标注结果；

将所述延续标注结果作为所述新增标注对象的目标标注结果。

22.根据权利要求20所述的装置，其中，所述归一化处理模块具体用于：

在所述当前处理并行标注结果中，将与所述目标标注对象的部分标注结果相同的非目标标注对象作为所述新增标注对象。

23.根据权利要求18所述的装置，所述装置还包括：

归一化检查模块，用于对各所述原始并行标注结果进行归一化检查；所述归一化检查包括通用归一化检查和定制归一化检查；其中：

所述通用归一化检查包括：标注对象标注数量错误、标注对象类型标注错误以及标注对象关键属性标注错误；

所述定制归一化检查包括：根据定制标注规则标注的标注对象的标注错误。

24.根据权利要求18所述的装置，所述装置还包括：

多余重叠帧删除模块，用于删除标注图像中的多余重叠帧。

25.一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-12中任一项所述的图像标注方法。

26.一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行权利要求1-12中任一项所述的图像标注方法。