CN113591580A - 图像标注方法、装置、电子设备和存储介质 - Google Patents

Abstract

本申请公开了一种图像标注方法、装置、电子设备和存储介质，涉及深度学习、自动驾驶、智能交通等领域。具体实现方案为：确定待处理的图像数据及图像数据中多个图像的对象属性信息，并对多个图像按照采集时间点进行排序以及分段，得到多个分段序列，确定每个分段序列中各个图像之间的对象关联关系，以根据多个图像的对象属性信息以及多个分段序列中各个图像之间的对象关联关系，生成图像数据的标注结果。由此，通过对图像进行分段处理，可以提升标注效率，并且，根据图像中对象属性信息以及不同图像之间的对象关联关系，生成图像数据的标注结果，可以提升标注结果的可靠性和准确性。

Description

图像标注方法、装置、电子设备和存储介质

技术领域

本申请涉及深度学习、自动驾驶、智能交通等AI(Artificial Intelligence，人工智能)领域，尤其涉及图像标注方法、装置、电子设备和存储介质。

背景技术

自动驾驶的感知系统算法训练，目前主要基于以下两种结构化数据：第一种，通过激光雷达、毫米波雷达、车载摄像头等采集的点云融合数据，第二种，纯视觉的多摄像头采集的图像数据。第二种方案相比于第一种方案具有以下几方面优势：第一，获取的图像数据和人眼感知的真实世界最为相似；第二，摄像头安装成本低且避免了车检不合规问题；第三，摄像头采集的图像数据中包含的信息更为丰富。因此，如何对多摄像头采集的图像数据进行标注，从而利用标注后的图像数据对自动驾驶的感知系统算法进行训练是非常重要的。

发明内容

本申请提供了一种用于图像标注方法、装置、电子设备和存储介质。

根据本申请的一方面，提供了一种图像标注方法，包括：

确定待处理的图像数据，以及所述图像数据中多个图像的对象属性信息；其中，多个所述图像为多个摄像头在相同时间段对目标区域进行图像采集得到的，每个所述图像对应有摄像头标识；

对多个所述图像按照采集时间点进行排序以及分段，得到多个分段序列；

确定每个所述分段序列中各个图像之间的对象关联关系；

根据多个所述图像的对象属性信息以及多个所述分段序列中各个图像之间的对象关联关系，生成所述图像数据的标注结果。

根据本申请的另一方面，提供了一种图像标注装置，包括：

第一确定模块，用于确定待处理的图像数据，以及所述图像数据中多个图像的对象属性信息；其中，多个所述图像为多个摄像头在相同时间段对目标区域进行图像采集得到的，每个所述图像对应有摄像头标识；

处理模块，用于对多个所述图像按照采集时间点进行排序以及分段，得到多个分段序列；

第二确定模块，用于确定每个所述分段序列中各个图像之间的对象关联关系；

生成模块，用于根据多个所述图像的对象属性信息以及多个所述分段序列中各个图像之间的对象关联关系，生成所述图像数据的标注结果。

根据本申请的又一方面，提供了一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本申请上述一方面提出的图像标注方法。

根据本申请的再一方面，提供了一种计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行本申请上述一方面提出的图像标注方法。

根据本申请的还一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现本申请上述一方面提出的图像标注方法。

应当理解，本部分所描述的内容并非旨在标识本申请的实施例的关键或重要特征，也不用于限制本申请的范围。本申请的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本申请的限定。其中：

图1是本申请实施例一所提供的图像标注方法的流程示意图；

图2为本申请实施例二所提供的图像标注方法的流程示意图；

图3为本申请实施例三所提供的图像标注方法的流程示意图；

图4为本申请实施例四所提供的图像标注方法的流程示意图；

图5为本申请实施例五所提供的图像标注方法的流程示意图；

图6为本申请实施例六所提供的图像标注装置的结构示意图；

图7示出了可以用来实施本申请的实施例的示例电子设备的示意性框图。

具体实施方式

以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

目前，对于多摄像头采集的图像数据的标注需求，主要包括以下两种标注方式：

第一种，所有摄像头采集的图像数据不做拆分合并，直接由同一标注员一次性标注所有图像数据。

第二种，先由标注员标注一个摄像头采集的图像数据，然后再由研发人员手动处理，订制化支持导入到新的项目中对多个摄像头进行关联标注。

然而上述第一种方式，由同一标注员对所有图像数据进行标注，标注员的负担较重，一般情况下，一个摄像头采集的视频段会有几百帧图像，n个摄像头需要标注的图像数量就需要再乘以n，因此在多摄场景下，需要标注的图像数量较高，由同一标注员对所有图像数据进行标注的方案，只能适用于图像数量较少的场景，适用性不高。

第二种方式，由于需要处理的图像数量较多，浪费开发人力的同时，也影响了项目交付的效率。

因此针对上述存在的问题，本申请提出一种图像标注方法、装置、电子设备和存储介质。

下面参考附图描述本申请实施例的图像标注方法、装置、电子设备和存储介质。

图1为本申请实施例一所提供的图像标注方法的流程示意图。

本申请实施例以该图像标注方法被配置于图像标注装置中来举例说明，该图像标注装置可以应用于任一电子设备中，以使该电子设备可以执行图像标注功能。

其中，电子设备可以为任一具有计算能力的设备，例如可以为个人电脑(PersonalComputer，简称PC)、移动终端、服务器等，移动终端例如可以为车载设备、手机、平板电脑、个人数字助理、穿戴式设备等具有各种操作系统、触摸屏和/或显示屏的硬件设备。

如图1所示，该图像标注方法可以包括以下步骤：

步骤101，确定待处理的图像数据，以及图像数据中多个图像的对象属性信息；其中，多个图像为多个摄像头在相同时间段对目标区域进行图像采集得到的，每个图像对应有摄像头标识。

在本申请实施例中，待处理的图像数据为多个摄像头在相同时间段对同一区域进行图像采集得到的图像数据。

在本申请实施例中，对象可以为图像中的任一对象，对象属性信息即为对象的属性信息，对象属性信息可以包括位置信息、方向信息、颜色信息、类型信息等等。比如，以对象为车辆进行示例性说明，对象属性信息可以包括位置信息(该位置信息可以为车辆的位置信息，也可以为图像中包围车辆的识别框或检测框的位置信息)、车辆方向信息(比如可以包括车身方向、车头方向等)、车辆颜色信息、车辆类型信息(比如轿车、面包车、卡车等)等等。

在本申请实施例中，目标区域为多个摄像头的采集区域，比如，当多个摄像头设置在交通路口时，目标区域可以为路口区域。

在本申请实施例中，摄像头标识用于唯一标识对应的摄像头，比如，对于多个摄像头，可以按照固定顺序，对摄像头进行编码，将摄像头编码作为摄像头标识。例如，可以按照由小至大的取值，依次为摄像头进行编码，或者，可以按照由大至小的取值，依次为摄像头进行编码，或者，还可以按照顺时针或逆时针的方式，依次为摄像头进行编码，比如摄像头编码分别为a、b、c、d等，本申请对此并不作限制。

在本申请实施例中，可以获取待处理的图像数据，并确定图像数据中多个图像的对象属性信息。

作为一种可能的实现方式，可以基于标注模型对图像进行标注，确定对象属性信息。其中，标注模型已学习得到图像与对象属性信息之间的对应关系。

作为另一种可能的实现方式，为了提升图像标注结果的可靠性，还可以通过人工对图像进行标注，得到对象属性信息。

步骤102，对多个图像按照采集时间点进行排序以及分段，得到多个分段序列。

可以理解的是，不同摄像头的启动时间、拍摄时间间隔可能不同，多个摄像头中可能会出现某个摄像头延迟拍摄、某个摄像头的拍摄间隔较大或某个摄像头的拍摄间隔较小的情况，从而导致各摄像头拍摄时间不一致。

因此，在本申请实施例中，为了尽量使得不同摄像头拍摄时间一致，最大程度地还原拍摄场景，可以按照各摄像头的采集时间点，对多个图像进行排序和分段，使得同一分段序列中的各个图像的拍摄时间尽量一致。

步骤103，确定每个分段序列中各个图像之间的对象关联关系。

在本申请实施例中，对象关联关系，是指具有相同或相似的对象属性信息的图像之间具有对象关联关系。比如，以对象为车辆进行示例，同一车辆在不同图像中对应的属性信息相同或相似，当任意两副图像中包含相同或相似的车辆属性信息的情况下，可以确定上述两副图像之间具有对象关联关系。

在本申请实施例中，针对每个分段序列，可以确定该分段序列中各个图像之间的对象关联关系。例如，针对分段序列中的任意两个图像，当该两个图像中存在匹配的对象属性信息的情况下，可以确定上述两个图像之间具有对象关联关系。比如，两个图像中存在至少一个相同的车辆，则根据这两个图像的对象属性信息，可以确定这两个图像中存在至少一个匹配的对象属性信息，因此，可以确定这两个图像之间具有对象关联关系。

步骤104，根据多个图像的对象属性信息以及多个分段序列中各个图像之间的对象关联关系，生成图像数据的标注结果。

在本申请实施例中，可以根据多个图像的对象属性信息，以及多个分段序列中各个图像之间的对象关联关系，生成图像数据的标注结果。由此，标注结果不仅根据对象属性信息生成，还根据对象关联关系生成，可以保证同一对象在不同图像中标注结果的准确性和可靠性。比如，以对象为车辆进行示例，可以保证同一车辆在不同图像中车辆编号的唯一性，可以提升标注结果的准确性。

需要说明的是，图像数据的标注结果，不仅可以用于对自动驾驶的感知系统算法进行训练，还可以用于训练自动标注算法，比如，可以利用图像数据的标注结果，对自动标注模型进行训练，或者，图像数据的标注结果，也可以用于对象跟踪、统计分析等领域，比如，可以基于图像数据的标注结果对车辆的违规情况进行检测等，本申请对此并不作限制。

需要说明的是，本申请的技术方案中，所涉及的摄像头采集的图像数据的获取、用户个人信息的获取、存储、应用和分析等，均符合相关法律法规的规定，且不违背公序良俗。

本申请实施例的图像标注方法，通过确定待处理的图像数据及图像数据中多个图像的对象属性信息，并对多个图像按照采集时间点进行排序以及分段，得到多个分段序列，确定每个分段序列中各个图像之间的对象关联关系，以根据多个图像的对象属性信息以及多个分段序列中各个图像之间的对象关联关系，生成图像数据的标注结果。由此，通过对图像进行分段处理，可以提升标注效率，并且，根据图像中对象属性信息以及不同图像之间的对象关联关系，生成图像数据的标注结果，可以提升标注结果的可靠性和准确性。

为了清楚说明上述实施例中是如何确定每个图像的对象属性信息的，本申请提供了另一种图像标注方法。

图2为本申请实施例二所提供的图像标注方法的流程示意图。

如图2所示，该图像标注方法可以包括以下步骤：

步骤201，确定待处理的图像数据，其中，图像数据包括多个图像，多个图像为多个摄像头在相同时间段对目标区域进行图像采集得到的，每个图像对应有摄像头标识。

在本申请实施例中，可以从多个摄像头获取各摄像头采集的图像，以得到待处理的图像数据。

需要说明的是，步骤201的执行过程可以参见上述实施例的执行过程，在此不做赘述。

作为一种示例，针对每个图像，可以为该图像定义唯一标识，比如可以自动为每个图像定义一个UUID(Universally Unique Identifier，通用唯一识别码)。比如，图像的唯一标识可以为：图像批次编号(可选地)+摄像头标识+图像编号，例如，对于摄像头标识为a的摄像头在启动后采集的第一帧图像，对应的图像标识可以为555-a-0001。

其中，图像批次编号为获取的图像批次的编号，比如，各摄像头同时采集的图像可以称为一个图像批次，或者各摄像头在同一时段采集的图像可以称为一个图像批次；摄像头标识可以为同一图像批次内摄像头的编号，一般可以按照固定顺序，比如顺时针或者逆时针编码即可；图像编号为每一帧图像的编号，比如摄像头采集的第一帧图像对应的图像编号可以为0001，第二帧图像对应的图像编号可以为0002。

步骤202，按照摄像头标识对多个图像进行拆分处理，得到每个摄像头标识对应的至少一个图像集合。

在本申请实施例中，可以按照摄像头标识，对图像数据中的多个图像进行拆分处理，得到每个摄像头标识对应的至少一个图像集合。

步骤203，确定每个图像集合中图像的对象属性信息。

在本申请实施例中，在得到每个摄像头标识对应的至少一个图像集合后，针对每个摄像头标识中的每个图像集合，可以确定该图像集合中图像的对象属性信息。

作为一种可能的实现方式，可以基于标注模型对图像进行标注，确定对象属性信息。其中，标注模型已学习得到图像与对象属性信息之间的对应关系。

作为另一种可能的实现方式，为了提升图像标注结果的可靠性，还可以通过人工对图像进行标注，得到对象属性信息。

在本申请实施例的一种可能的实现方式中，为了进一步提升图像标注效率，每个图像集合中图像的数量可以小于或者等于预设数量阈值。例如，该预设数量阈值可以为50，或者也可以为其他，本申请对此并不作限制。应当理解的是，当图像集合中的图像数量小于或者等于预设数量阈值的情况下，若由人工对图像进行标注，还可以降低标注员的处理负担。

作为一种应用场景，以预设数量阈值为50进行示例性说明，多个摄像头在同一时段对目标区域进行图像采集，若单个摄像头采集的图像数量小于或者等于50，则该摄像头采集的图像数据无需拆分，可以将该摄像头采集的图像数据划分为一个图像集合，由同一个标注员对该摄像头的图像集合进行标注，得到图像集合中各图像的对象属性信息。

而若单个摄像头采集的图像数据量大于50，则可以以50为上限，对该摄像头采集的所有图像数据进行拆分，得到不同的图像集合，从而可以将不同的图像集合分给不同的标注员进行并行标注，得到图像的对象属性信息。

举例而言，单个摄像头采集的图像数量为99，则可以将该摄像头采集的所有图像数据拆分为2个图像集合，第一个图像集合中为第1-50帧图像，第二个图像集合中为第51-99帧图像，从而可以由两个标注员，分别标注第一个图像集合和第二个图像集合。

需要说明的是，按照摄像头标识对多个图像进行拆分处理，并标注得到每个图像集合中各图像对应的对象属性信息之后，还可以将同一摄像头标识对应的各个图像集合进行关联。仍以上述例子进行示例，可以预先利用目标检测算法检测图像中的各对象，得到包围对象的识别框或检测框，或者，也可以基于人工标注图像中的各对象，得到包围对象的识别框或检测框，由于第一个图像集合中的最后一帧图像与第二个图像集合中的第一帧图像相同，基于图像中相同的检测框或识别框，以及标注员标注得到的对象属性信息，可以识别第一个标注员标注的最后一帧和第二个标注员标注的第一帧，从而可以实现将第一个图像集合和第二个图像集合关联。

步骤204，对多个图像按照采集时间点进行排序以及分段，得到多个分段序列。

步骤205，确定每个分段序列中各个图像之间的对象关联关系。

步骤206，根据多个图像的对象属性信息以及多个分段序列中各个图像之间的对象关联关系，生成图像数据的标注结果。

步骤204至206的执行过程可以参见本申请任一实施例的执行过程，在此不做赘述。

本申请实施例的图像标注方法，通过确定待处理的图像数据，并按照摄像头标识对多个图像进行拆分处理，得到每个摄像头标识对应的至少一个图像集合；确定每个图像集合中图像的对象属性信息。由此，按照摄像头标识，对图像数据进行分段处理，可以实现并行标注各图像集合，得到图像集合中图像的对象属性信息。

在本申请实施例的一种可能的实现方式中，为了尽量使得不同摄像头拍摄时间一致，从而最大程度地还原拍摄场景，保证图像的标注质量，本申请中，分段序列中各个图像对应的摄像头标识可以不同，且分段序列中任意两个图像的前后位置，需与上述两个图像对应的摄像头标识在预设摄像头标识序列中的前后位置一致。下面结合实施例三，对上述过程进行详细说明。

图3为本申请实施例三所提供的图像标注方法的流程示意图。

如图3所示，该图像标注方法可以包括以下步骤：

步骤301，确定待处理的图像数据，以及图像数据中多个图像的对象属性信息；其中，多个图像为多个摄像头在相同时间段对目标区域进行图像采集得到的，每个图像对应有摄像头标识。

步骤301的执行过程可以参见上述任一实施例的执行过程，在此不做赘述。

步骤302，对多个图像按照采集时间点进行排序以及分段，得到多个分段序列；其中，分段序列中各个图像对应的摄像头标识不同，且分段序列中任意两个图像的前后位置，与两个图像对应的摄像头标识在预设摄像头标识序列中的前后位置一致。

可以理解的是，不同摄像头的启动时间、拍摄时间间隔可能不同，多个摄像头中可能会出现某个摄像头延迟拍摄、某个摄像头的拍摄间隔较大或某个摄像头的拍摄间隔较小的情况，从而导致各摄像头拍摄时间不一致。比如，以摄像头的个数为4个进行示例性说明，4个摄像头对应的摄像头标识分别为a、b、c、d，由于摄像头标识为b的摄像头延迟开启，导致图像的排序为a-0001，c-0001，d-0001，a-0002，b-0001，c-0002，d-0002。

因此，在本申请实施例中，为了尽量使得不同摄像头拍摄时间一致，从而最大程度地还原拍摄场景，可以按照各摄像头的采集时间点，对多个图像进行排序和分段，得到的每个分段序列中各个图像对应的摄像头标识不同，且分段序列中任意两个图像的前后位置，与两个图像对应的摄像头标识在预设摄像头标识序列中的前后位置一致，从而使得同一分段序列中的各个图像的拍摄时间尽量一致。

作为一种示例，以摄像头个数为10个进行示例性说明，分段的原则为：

第一，一个分段序列中包含的图像位(或图片位)与摄像头数量一致，比如一共有10个摄像头，则分段序列中就有10个图像位，最多支持放10帧图像；

第二，一个分段序列中最多只能包含同一个摄像头采集的一帧图像，允许某个摄像头在该分段序列中没有其采集的图像，可选地，在分段序列中没有某个摄像头采集的图像的情况下，可以自动插入一张空图；

第三，一个分段序列中，按照各图像的位置，对各图像对应的摄像头标识进行排序，得到的摄像头标识序列需要与定义摄像头标识的固定顺序(本公开中记为预设摄像头标识序列)一致，比如摄像头标识是按照顺时针方式依次编码得到的，则上述摄像头标识序列也需为顺时针编号。比如，一共有4个摄像头，预设摄像头标识序列为abcd，则一个分段序列中允许出现的摄像头标识序列可以为abcd、abc、abd、acd、bcd、ab、ac、ad、bc、bd、cd、a、b、c、d，而不能出现acb、bac等等。

举例而言，以摄像头的个数为4个，预设摄像头标识序列为abcd(顺时针)进行示例性说明，对多个图像按照采集时间点进行排序，得到的排序结果中各图像对应的摄像头标识分别为：abccdbcdabcdacdcab，则可以将abccdbcdabcdacdcab划分为：abc/cd/bcd/abcd/acd/c/ab，得到7个分段序列。由此，能够尽量保证同一个分段序列中不同图像的拍摄时间一致，从而最大程度的还原拍摄场景，保证图像的标注质量。

步骤303，确定每个分段序列中各个图像之间的对象关联关系。

步骤304，根据多个图像的对象属性信息以及多个分段序列中各个图像之间的对象关联关系，生成图像数据的标注结果。

步骤303至304的执行过程可以参见上述任一实施例的执行过程，在此不做赘述。

本申请实施例的图像标注方法，通过分段序列中各个图像对应的摄像头标识不同，且分段序列中任意两个图像的前后位置，与两个图像对应的摄像头标识在预设摄像头标识序列中的前后位置一致，能够尽量保证同一个分段序列中不同图像的拍摄时间一致，从而最大程度的还原拍摄场景，保证图像的标注质量。

为了清楚说明本申请上述任一实施例中是如何生成图像数据的标注结果的，本申请提供了另一种图像标注方法。

图4为本申请实施例四所提供的图像标注方法的流程示意图。

如图4所示，该图像标注方法可以包括以下步骤：

步骤401，确定待处理的图像数据，以及图像数据中多个图像的对象属性信息；其中，多个图像为多个摄像头在相同时间段对目标区域进行图像采集得到的，每个图像对应有摄像头标识。

可以理解的是，图像中可能存在至少一个对象，对象属性信息可以包括各个对象对应的属性信息。

步骤402，对多个图像按照采集时间点进行排序以及分段，得到多个分段序列。

步骤403，确定每个分段序列中各个图像之间的对象关联关系。

步骤401至403的执行过程可以参见上述任一实施例的执行过程，在此不做赘述。

步骤404，确定多个图像中具有相同摄像头标识的各个图像，以及各个图像之间的对象关联关系。

在本申请实施例中，可以根据各图像对应的摄像头标识，确定具有相同摄像头标识的各个图像。根据具有相同摄像头标识的各个图像中是否具有相同或相似的对象的属性信息，来确定具有相同摄像头标识的各个图像之间的对象关联关系。即，针对具有相同摄像头标识的各个图像，可以根据任意两个图像的对象属性信息，确定上述两个图像之间的对象关联关系。

作为一种示例，针对具有相同摄像头标识的任意两个图像，可以根据上述两个图像的对象属性信息，确定至少一个对象对，其中，每个对象对中的两个对象的属性信息匹配，从而可以确定对象对中的两个对象之间具有对象关联关系。由此，根据匹配的对象的属性信息，确定对象关联关系，可以提升对象关联关系确定结果的准确性，从而后续基于对象关联关系，对图像数据进行标注，可以提升标注结果的准确性和可靠性。

举例而言，以对象为车辆进行示例性说明，针对相同摄像头标识的任意两个图像，若这两个图像中存在同一车辆，由于同一车辆在不同图像中对应的属性信息相同或相似，基于车辆的属性信息，可以确定这两个图像中的车辆对，并确定该车辆对具有对象关联关系，从而后续可以基于对象关联关系，对图像数据进行标注，可以保证同一车辆在不同图像中车辆编号的唯一性。

步骤405，根据多个分段序列中各个图像之间的对象关联关系、具有相同摄像头标识的各个图像之间的对象关联关系以及多个图像的对象属性信息，生成图像数据的标注结果。

应当理解的是，以对象为车辆进行示例性说明，同一车辆在同一分段序列中的车辆编号需保持一致，为了保证标注结果的可靠性和准确性，同一车辆在不同分段序列中的车辆编号也应保持一致。

因此，本申请中，为了提升标注结果的可靠性和准确性，可以根据多个分段序列中各个图像之间的对象关联关系、具有相同摄像头标识的各个图像之间的对象关联关系，以及多个图像的对象属性信息，生成图像数据的标注结果。

本申请实施例的图像标注方法，通过确定多个图像中具有相同摄像头标识的各个图像，以及各个图像之间的对象关联关系，根据多个分段序列中各个图像之间的对象关联关系、具有相同摄像头标识的各个图像之间的对象关联关系以及多个图像的对象属性信息，生成图像数据的标注结果。由此，根据匹配的对象的属性信息，确定具有相同摄像头标识的各个图像之间的对象关联关系，可以提升对象关联关系确定结果的准确性，从而基于对象关联关系，对图像数据进行标注，可以提升标注结果的准确性和可靠性。

在本申请实施例的一种可能的实现方式中，为了保证同一对象在不同图像中对象编号信息的唯一性，可以根据多个分段序列中各个图像之间的对象关联关系、具有相同摄像头标识的各个图像之间的对象关联关系，确定多个图像中的对象编号信息，根据多个图像中的对象编号信息以及对象属性信息，生成图像数据的标注结果。下面结合实施例五，对上述过程进行详细说明。

图5为本申请实施例五所提供的图像标注方法的流程示意图。

如图5所示，该图像标注方法可以包括以下步骤：

步骤501，确定待处理的图像数据，以及图像数据中多个图像的对象属性信息；其中，多个图像为多个摄像头在相同时间段对目标区域进行图像采集得到的，每个图像对应有摄像头标识。

步骤502，对多个图像按照采集时间点进行排序以及分段，得到多个分段序列。

步骤503，确定每个分段序列中各个图像之间的对象关联关系。

步骤504，确定多个图像中具有相同摄像头标识的各个图像，以及各个图像之间的对象关联关系。

步骤501至504的执行过程可以参见上述任一实施例的执行过程，在此不做赘述。

步骤505，根据多个分段序列中各个图像之间的对象关联关系、具有相同摄像头标识的各个图像之间的对象关联关系，确定多个图像中的对象编号信息。

在本申请实施例中，为了保证同一对象在不同图像中对象编号信息的唯一性，可以根据多个分段序列中各个图像之间的对象关联关系、具有相同摄像头标识的各个图像之间的对象关联关系，确定多个图像中的对象编号信息。例如，可以根据多个分段序列中各个图像之间的对象关联关系、具有相同摄像头标识的各个图像之间的对象关联关系，确定不同图像中的同一对象，从而可以对不同图像中的同一对象，分配或生成唯一的对象编号信息。

举例而言，以对象为车辆进行示例性说明，同一车辆在不同摄像头采集的图像中的车辆编号应该唯一，并且，在同一摄像头采集的图像中的车辆编号也应该唯一，因此，可以根据多个分段序列中各个图像之间的对象关联关系、具有相同摄像头标识的各个图像之间的对象关联关系，确定不同图像中的同一车辆，从而可以为不同图像中的同一车辆分配唯一的车辆编号。

步骤506，根据多个图像中的对象编号信息以及对象属性信息，生成图像数据的标注结果。

在本申请实施例中，可以根据多个图像中的对象编号信息以及对象属性信息，生成图像数据的标注结果。

需要说明的是，针对具有相同摄像头标识的任意两个图像，当未获取到对象对时，可以确定图像中的对象为孤立存在的，此时，可以直接生成图像中的对象编号信息，比如自动为图像中的对象进行编号，得到对象编号信息，从而根据图像中的对象编号信息以及对象属性信息，生成该图片的标注结果。

以对象为车辆进行示例性说明，可以通过路口设置的多个摄像头，采集车辆图像，对车辆图像进行标注，标注过程主要包括以下几个步骤：

1、为每个图像定义唯一：图像批次编号+摄像头标识+图像编号。其中，摄像头标识一般可以按照固定顺序，比如顺时针或者逆时针编码即可。

2、按照摄像头标识对同批次的图像进行拆分，并行标注单个摄像头采集的图像。

为了保证标注效率和标注精度，拆分策略可以根据单摄像头采集的图像数量的不同，会有所区别，一般情况来说：单摄像头采集的图像数量小于等于50帧的，推荐摄像头内的所有图像数据无须再拆分，由一个标注员标注；单摄像头采集的图像数量大于50帧的，推荐以50帧为上限对摄像头采集的图像进行拆分，得到不同的图像集合，图像集合的关联方法可以参见步骤203，在此不做赘述。

3、按照采集时间点对所有图像进行排序，采集时间点可以精确到毫秒，其中，排序不考虑摄像头标识和图像编号。之后，可以对排序结果进行分段，例如，可以以摄像头标识为卡尺，对排序结果进行分段，得到各个卡尺段(本申请中记为分段序列)。

其中，分段原则为：

第一，每一个卡尺段中包含的图像位(或图片位)与摄像头数量一致，；

第二，每一个卡尺段中最多只能包含同一个摄像头采集的一帧图像，允许某个摄像头在该卡尺段中没有其采集的图像，在卡尺段中没有某个摄像头采集的图像的情况下，可以自动插入一张空图；

第三，每一个卡尺段中，按照各图像的位置，对各图像对应的摄像头标识进行排序，得到的摄像头标识序列需要与定义摄像头标识的固定顺序一致，比如摄像头标识是按照顺时方式依次编码得到的，则上述摄像头标识序列也需为顺时针编号。

举例而言，以摄像头的个数为4个，4个摄像头对应的摄像头标识分别为abcd(顺时针)进行示例性说明，对多个图像按照采集时间点进行排序，得到的排序结果中各图像对应的摄像头标识分别为：abccdbcdabcdacdcab，则可以将abccdbcdabcdacdcab划分为：abc/cd/bcd/abcd/acd/c/ab，得到7个卡尺段。

第一个卡尺段中，abc摄像头都有采集的图像，d摄像头为自动补齐的空白图；第二个卡尺段中，ab摄像头为自动补齐的空白图，cd摄像头为待标注的图像；第三个卡尺段中，a摄像头为自动补齐的空白图，bcd摄像头为待标注的图像；第四个卡尺段中，abcd摄像头都有采集的图像；第五个卡尺段中，acd摄像头都有采集的图像，b摄像头为自动补齐的空白图；第六个卡尺段中，abd摄像头为自动补齐的空白图，c摄像头为待标注的图像；第七个卡尺段中，ab摄像头为待标注的图像，cd摄像头为自动补齐的空白图。

4、对卡尺段进行编号，每个卡尺段的编号作为同一时刻的图像帧，从而可以对各个编号的卡尺段内的图像进行标注。

5、将标注图像中补齐的空白图去掉，同时，按照接入的批次及摄像头标识，将标注图像进行拆分归位，得到每个摄像头采集的图像对应的标注结果。

由此，通过对图像进行拆分合并的方式，可实现图像的并行标注，提升标注效率，并且，无需研发人员定向支持，不仅节约了大量的开发人力，还可以提升标注效率。

本申请实施例的图像标注方法，通过根据多个分段序列中各个图像之间的对象关联关系、具有相同摄像头标识的各个图像之间的对象关联关系，确定多个图像中的对象编号信息，根据多个图像中的对象编号信息以及对象属性信息，生成图像数据的标注结果。由此，可以保证同一对象在不同图像中对象编号信息的唯一性，从而提升标注结果的准确性。

与上述图1至图5实施例提供的图像标注方法相对应，本申请还提供一种图像标注装置，由于本申请实施例提供的图像标注装置与上述图1至图5实施例提供的图像标注方法相对应，因此在图像标注方法的实施方式也适用于本申请实施例提供的图像标注装置，在本申请实施例中不再详细描述。

图6为本申请实施例六所提供的图像标注装置的结构示意图。

如图6所示，该图像标注装置600可以包括：第一确定模块610、处理模块620、第二确定模块630以及生成模块640。

其中，第一确定模块610，用于确定待处理的图像数据，以及图像数据中多个图像的对象属性信息；其中，多个图像为多个摄像头在相同时间段对目标区域进行图像采集得到的，每个图像对应有摄像头标识。

处理模块620，用于对多个图像按照采集时间点进行排序以及分段，得到多个分段序列。

第二确定模块630，用于确定每个分段序列中各个图像之间的对象关联关系。

生成模块640，用于根据多个图像的对象属性信息以及多个分段序列中各个图像之间的对象关联关系，生成图像数据的标注结果。

在本申请实施例的一种可能的实现方式中，第一确定模块610，具体用于：确定待处理的图像数据；按照摄像头标识对多个图像进行拆分处理，得到每个摄像头标识对应的至少一个图像集合；确定每个图像集合中图像的对象属性信息。

在本申请实施例的一种可能的实现方式中，每个图像集合中图像的数量小于或者等于预设数量阈值。

在本申请实施例的一种可能的实现方式中，分段序列中各个图像对应的摄像头标识不同，且分段序列中任意两个图像的前后位置，与两个图像对应的摄像头标识在预设摄像头标识序列中的前后位置一致。

在本申请实施例的一种可能的实现方式中，生成模块640，包括：

确定单元，用于确定多个图像中具有相同摄像头标识的各个图像，以及各个图像之间的对象关联关系。

生成模块，用于根据多个分段序列中各个图像之间的对象关联关系、具有相同摄像头标识的各个图像之间的对象关联关系以及多个图像的对象属性信息，生成图像数据的标注结果。

在本申请实施例的一种可能的实现方式中，对象属性信息包括：图像中各个对象的属性信息；确定单元，具体用于：确定多个图像中具有相同摄像头标识的各个图像；针对具有相同摄像头标识的任意两个图像，根据两个图像的对象属性信息，确定至少一个对象对，其中，对象对中的两个对象的属性信息匹配；确定对象对中的两个对象之间具有对象关联关系。

在本申请实施例的一种可能的实现方式中，生成单元，具体用于：根据多个分段序列中各个图像之间的对象关联关系、具有相同摄像头标识的各个图像之间的对象关联关系，确定多个图像中的对象编号信息；根据多个图像中的对象编号信息以及对象属性信息，生成图像数据的标注结果。

本申请实施例的图像标注装置，通过确定待处理的图像数据及图像数据中多个图像的对象属性信息，并对多个图像按照采集时间点进行排序以及分段，得到多个分段序列，确定每个分段序列中各个图像之间的对象关联关系，以根据多个图像的对象属性信息以及多个分段序列中各个图像之间的对象关联关系，生成图像数据的标注结果。由此，通过对图像进行分段处理，可以提升标注效率，并且，根据图像中对象属性信息以及不同图像之间的对象关联关系，生成图像数据的标注结果，可以提升标注结果的可靠性和准确性。

为了实现上述实施例，本申请还提供一种电子设备，该电子设备可以包括至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行本申请上述任一实施例提出的图像标注方法。

为了实现上述实施例，本申请还提供一种存储有计算机指令的非瞬时计算机可读存储介质，其中，计算机指令用于使计算机执行本申请上述任一实施例提出的图像标注方法。

为了实现上述实施例，本申请还提供一种计算机程序产品，该计算机程序产品包括计算机程序，计算机程序在被处理器执行时实现本申请上述任一实施例提出的图像标注方法。

根据本申请的实施例，本申请还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。

图7示出了可以用来实施本申请的实施例的示例电子设备的示意性框图。其中，电子设备可以包括上述实施例中的服务端、客户端。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。

如图7所示，设备700包括计算单元701，其可以根据存储在ROM(Read-OnlyMemory，只读存储器)702中的计算机程序或者从存储单元707加载到RAM(Random AccessMemory，随机访问/存取存储器)703中的计算机程序，来执行各种适当的动作和处理。在RAM703中，还可存储设备700操作所需的各种程序和数据。计算单元701、ROM 702以及RAM 703通过总线704彼此相连。I/O(Input/Output，输入/输出)接口705也连接至总线704。

设备700中的多个部件连接至I/O接口705，包括：输入单元706，例如键盘、鼠标等；输出单元707，例如各种类型的显示器、扬声器等；存储单元708，例如磁盘、光盘等；以及通信单元709，例如网卡、调制解调器、无线通信收发机等。通信单元709允许设备700通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元701可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元701的一些示例包括但不限于CPU(Central Processing Unit，中央处理单元)、GPU(Graphic Processing Units，图形处理单元)、各种专用的AI(Artificial Intelligence，人工智能)计算芯片、各种运行机器学习模型算法的计算单元、DSP(Digital SignalProcessor，数字信号处理器)、以及任何适当的处理器、控制器、微控制器等。计算单元701执行上文所描述的各个方法和处理，例如上述图像标注方法。例如，在一些实施例中，上述图像标注方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元708。在一些实施例中，计算机程序的部分或者全部可以经由ROM 702和/或通信单元709而被载入和/或安装到设备700上。当计算机程序加载到RAM 703并由计算单元701执行时，可以执行上文描述的图像标注方法的一个或多个步骤。备选地，在其他实施例中，计算单元701可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行上述图像标注方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、FPGA(Field Programmable Gate Array，现场可编程门阵列)、ASIC(Application-Specific Integrated Circuit，专用集成电路)、ASSP(Application Specific StandardProduct，专用标准产品)、SOC(System On Chip，芯片上系统的系统)、CPLD(ComplexProgrammable Logic Device，复杂可编程逻辑设备)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本申请的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本申请的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、RAM、ROM、EPROM(Electrically Programmable Read-Only-Memory，可擦除可编程只读存储器)或快闪存储器、光纤、CD-ROM(Compact Disc Read-Only Memory，便捷式紧凑盘只读存储器)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(Cathode-Ray Tube，阴极射线管)或者LCD(Liquid Crystal Display，液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：LAN(LocalArea Network，局域网)、WAN(Wide Area Network，广域网)、互联网和区块链网络。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务(VirtualPrivate Server，虚拟专用服务器)中，存在的管理难度大，业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器，或者是结合了区块链的服务器。

其中，需要说明的是，人工智能是研究使计算机来模拟人的某些思维过程和智能行为(如学习、推理、思考、规划等)的学科，既有硬件层面的技术也有软件层面的技术。人工智能硬件技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理等技术；人工智能软件技术主要包括计算机视觉技术、语音识别技术、自然语言处理技术以及机器学习/深度学习、大数据处理技术、知识图谱技术等几大方向。

根据本申请实施例的技术方案，通过确定待处理的图像数据及图像数据中多个图像的对象属性信息，并对多个图像按照采集时间点进行排序以及分段，得到多个分段序列，确定每个分段序列中各个图像之间的对象关联关系，以根据多个图像的对象属性信息以及多个分段序列中各个图像之间的对象关联关系，生成图像数据的标注结果。由此，通过对图像进行分段处理，可以提升标注效率，并且，根据图像中对象属性信息以及不同图像之间的对象关联关系，生成图像数据的标注结果，可以提升标注结果的可靠性和准确性。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。

Claims (17)

1.一种图像标注方法，包括：

确定待处理的图像数据，以及所述图像数据中多个图像的对象属性信息；其中，多个所述图像为多个摄像头在相同时间段对目标区域进行图像采集得到的，每个所述图像对应有摄像头标识；

对多个所述图像按照采集时间点进行排序以及分段，得到多个分段序列；

确定每个所述分段序列中各个图像之间的对象关联关系；

根据多个所述图像的对象属性信息以及多个所述分段序列中各个图像之间的对象关联关系，生成所述图像数据的标注结果。

2.根据权利要求1所述的方法，其中，所述确定待处理的图像数据，以及所述图像数据中多个图像的对象属性信息，包括：

确定待处理的所述图像数据；

按照摄像头标识对多个所述图像进行拆分处理，得到每个摄像头标识对应的至少一个图像集合；

确定每个所述图像集合中图像的对象属性信息。

3.根据权利要求2所述的方法，其中，每个所述图像集合中图像的数量小于或者等于预设数量阈值。

4.根据权利要求1所述的方法，其中，所述分段序列中各个图像对应的摄像头标识不同，且所述分段序列中任意两个图像的前后位置，与所述两个图像对应的摄像头标识在预设摄像头标识序列中的前后位置一致。

5.根据权利要求1所述的方法，其中，所述根据多个所述图像的对象属性信息以及多个所述分段序列中各个图像之间的对象关联关系，生成所述图像数据的标注结果，包括：

确定多个所述图像中具有相同摄像头标识的各个图像，以及各个所述图像之间的对象关联关系；

根据多个所述分段序列中各个图像之间的对象关联关系、具有相同摄像头标识的各个图像之间的对象关联关系以及多个所述图像的对象属性信息，生成所述图像数据的标注结果。

6.根据权利要求5所述的方法，其中，所述对象属性信息包括：图像中各个对象的属性信息；

所述确定多个所述图像中具有相同摄像头标识的各个图像，以及各个所述图像之间的对象关联关系，包括：

确定多个所述图像中具有相同摄像头标识的各个图像；

针对具有相同摄像头标识的任意两个图像，根据所述两个图像的对象属性信息，确定至少一个对象对，其中，所述对象对中的两个对象的属性信息匹配；

确定所述对象对中的两个对象之间具有对象关联关系。

7.根据权利要求5所述的方法，其中，所述根据多个所述分段序列中各个图像之间的对象关联关系、具有相同摄像头标识的各个图像之间的对象关联关系以及多个所述图像的对象属性信息，生成所述图像数据的标注结果，包括：

根据多个所述分段序列中各个图像之间的对象关联关系、具有相同摄像头标识的各个图像之间的对象关联关系，确定多个所述图像中的对象编号信息；

根据多个所述图像中的对象编号信息以及对象属性信息，生成所述图像数据的标注结果。

8.一种图像标注装置，包括：

第一确定模块，用于确定待处理的图像数据，以及所述图像数据中多个图像的对象属性信息；其中，多个所述图像为多个摄像头在相同时间段对目标区域进行图像采集得到的，每个所述图像对应有摄像头标识；

处理模块，用于对多个所述图像按照采集时间点进行排序以及分段，得到多个分段序列；

第二确定模块，用于确定每个所述分段序列中各个图像之间的对象关联关系；

生成模块，用于根据多个所述图像的对象属性信息以及多个所述分段序列中各个图像之间的对象关联关系，生成所述图像数据的标注结果。

9.根据权利要求8所述的装置，其中，所述第一确定模块，具体用于：

确定待处理的所述图像数据；

按照摄像头标识对多个所述图像进行拆分处理，得到每个摄像头标识对应的至少一个图像集合；

确定每个所述图像集合中图像的对象属性信息。

10.根据权利要求9所述的装置，其中，每个所述图像集合中图像的数量小于或者等于预设数量阈值。

11.根据权利要求8所述的装置，其中，所述分段序列中各个图像对应的摄像头标识不同，且所述分段序列中任意两个图像的前后位置，与所述两个图像对应的摄像头标识在预设摄像头标识序列中的前后位置一致。

12.根据权利要求8所述的装置，其中，所述生成模块，包括：

确定单元，用于确定多个所述图像中具有相同摄像头标识的各个图像，以及各个所述图像之间的对象关联关系；

生成模块，用于根据多个所述分段序列中各个图像之间的对象关联关系、具有相同摄像头标识的各个图像之间的对象关联关系以及多个所述图像的对象属性信息，生成所述图像数据的标注结果。

13.根据权利要求12所述的装置，其中，所述对象属性信息包括：图像中各个对象的属性信息；

所述确定单元，具体用于：

确定多个所述图像中具有相同摄像头标识的各个图像；

针对具有相同摄像头标识的任意两个图像，根据所述两个图像的对象属性信息，确定至少一个对象对，其中，所述对象对中的两个对象的属性信息匹配；

确定所述对象对中的两个对象之间具有对象关联关系。

14.根据权利要求12所述的装置，其中，所述生成单元，具体用于：

根据多个所述分段序列中各个图像之间的对象关联关系、具有相同摄像头标识的各个图像之间的对象关联关系，确定多个所述图像中的对象编号信息；

根据多个所述图像中的对象编号信息以及对象属性信息，生成所述图像数据的标注结果。

15.一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-7中任一项所述的图像标注方法。

16.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-7中任一项所述的图像标注方法。

17.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-7中任一项所述的图像标注方法。

Images