CN114241384B - 连续帧图片标注方法、电子设备及存储介质 - Google Patents

Abstract

本发明公开一种连续帧图片标注方法，包括：响应于标注员在连续帧图片组中的第一帧图片上针对目标对象的标注操作生成标注框；在所述连续帧图片组中除所述第一帧图片之外的剩余图片上分别生成所述标注框；识别所述剩余图片中的至少部分图片中包含的所述目标对象；根据所述至少部分图片中包含的所述目标对象调整所述至少部分图片各自的所述标注框。本发明的整个过程标注员只需要手动完成第一张图片的标注，之后便可以基于自动生成标注框、自动识别目标对象和自动调整，实现了对连续帧图片组中的目标对象的快速、准确地标注，提高了标注效率，避免了过渡依赖人工而造成的错误标注。

Description

连续帧图片标注方法、电子设备及存储介质

技术领域

本发明涉及数据标注技术领域，尤其涉及一种连续帧图片标注方法、电子设备及存储介质。

背景技术

对连续帧图片进行标注时，采取按组标注，由同一标注员对连续帧图片组进行标注。但标注员在标注过程中，由于标注图片多，标注对象多，往往产生标注速度慢，准确率低的问题。

行业中连续帧标注过程中可以实现连续帧图片中同一对象的标签一致性。将连续帧图片设置为一个标注题目，由同一标注员进行标注。在第一张标注某标注对象后，第二张自动复制第一张的标注框包括标签和位置大小；标注员根据第二张图片对象实际位置调整框位置，第三张图片会自动复制第二张图的标注框，以此类推完成此对象所有图片的标注。整个标注过程需要标注员逐张对图片进行标注，标注效率低下，而且人工手动标注众多图片容易产生疲劳，从而出现标注错误。

发明内容

本发明实施例提供一种连续帧图片标注方法、电子设备及存储介质，用于至少解决上述技术问题之一。

第一方面，本发明实施例提供一种连续帧图片标注方法，包括：

响应于标注员在连续帧图片组中的第一帧图片上针对目标对象的标注操作生成标注框；

在所述连续帧图片组中除所述第一帧图片之外的剩余图片上分别生成所述标注框；

识别所述剩余图片中的至少部分图片中包含的所述目标对象；

根据所述至少部分图片中包含的所述目标对象调整所述至少部分图片各自的所述标注框

第二方面，提供一种电子设备，其包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明上述任一项连续帧图片标注方法。

第三方面，本发明实施例提供一种存储介质，所述存储介质中存储有一个或多个包括执行指令的程序，所述执行指令能够被电子设备(包括但不限于计算机，服务器，或者网络设备等)读取并执行，以用于执行本发明上述任一项连续帧图片标注方法。

第四方面，本发明实施例还提供一种计算机程序产品，所述计算机程序产品包括存储在存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，使所述计算机执行上述任一项连续帧图片标注方法。

本发明实施例中在标注员完成第一张图片中的目标对象的标注之后，自动在后续图片上生成了相同的标注框，并采用自动识别的方式识别后续图片中的目标对象，然后根据识别到的目标对象来调整相应的标注框。整个过程标注员只需要手动完成第一张图片的标注，之后便可以基于自动生成标注框、自动识别目标对象和自动调整，实现了对连续帧图片组中的目标对象的快速、准确地标注，提高了标注效率，避免了过渡依赖人工而造成的错误标注。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明的连续帧图片标注方法的一实施例的流程图；

图2为本发明的连续帧图片标注方法的另一实施例的流程图；

图3为本发明的连续帧图片标注方法的另一实施例的流程图；

图4为本发明的连续帧图片标注方法的另一实施例的流程图；

图5为本发明的连续帧图片标注方法的另一实施例的流程图；

图6为现有技术中采用keep_track跟踪算法的精度图；

图7为采用本发明的连续帧图片标注方法的精度图；

图8为现有技术中采用keep_track跟踪算法的成功图；

图9为采用本发明的连续帧图片标注方法的成功图；

图10为本发明的电子设备的一实施例的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

还需要说明的是，在本文中，术语“包括”、“包含”，不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

在进行连续帧标注时，一组图片非常多，有些多达一两百张。每张图片的被标注对象多则达到一两百项。这样来看，标注完一组图片需要标注上万个框，此外还要保证同一对象在不同图片中的标注标签要完全一致，比如一辆目测为小货车的对象，在图片1中被标注为“小货车”，但在图片10中由于被其它车辆遮挡不能区分是小货车还是其它类别，此时如果合理脑补选择为其它类别的话，就会产生标签不一致。此外，在连续帧图片中相邻图片的相似性可能非常高，但由于物体都产生了不同距离的位移，不能把前张图片标注内容完全复制且移动，没有一蹴而就的快速标注方法。

为此，发明人提出了一种连续帧图片标注方法，该方法可以实现为一种图片标注软件工具，该图片标注软件工具可安装在电子设备上，由标注员通过电子设备来操作该图片标注软件工具实现连续图片帧标注。

示例性地，将一个连续帧图片组作为一个标注任务，分发给一个标注员标注。标注员拿到这个连续帧图片组后，以“对象”为单位进行标注，即：在第一张图片A1中按一定规律(比如从近及远)选择一个对象，比如一辆小汽车，对此小汽车拉框并标注标签为“小汽车”，系统会自动在A1后续所有图片的同一位置生成相同标签相同大小形状的框。浏览后面的图片查看这辆小汽车的走向，然后停止在这个小汽车彻底消失前的那张图片An，对最后出现小汽车的那张图片的框进行位置及大小调整，调整到贴合状态。在A1到An之间启用“AI自动识别”功能，系统将调整A1和An之间所有此对象的框位置及大小。标注员查看自动标注的结果，并对不贴合的地方进行微调。对于An+1及以后的图片，将此小汽车标签设置为“后续隐藏”，然后此对象的标注框自动消失。其中，“AI自动识别”功能采用图像识别算法，来识别图片中所包含的目标对象。此外，此标注工具还具有“自动播放”功能，标注员完成一个对象的标注或全部对象的标注完成后，通过自动播放查看标注对象一致性及精准度，对于标注结果的提升有很大帮助。

本发明相对于现有技术中的连续帧标注方法至少具备以下有益效果：

1.标注界面交互上更合理。对不同图片的同一标注对象，在图片下面的有目视化图片按钮提示，通过颜色及白点标志醒目，显示此对象标签在不同图片的状态：是否在该图片上有该标注框；是否在该图片上有人为调整。

2."自动播放"功能，系统自动逐张显示标注图片，通过连续帧渐变方式对人视觉冲击，实现人为快速审核。

3.“后续隐藏”功能，对于某标注对象消失的图片，将此标注对象的标注框在存储器中删除，提升系统计算速度。

4.自动AI计算算法。在完成某标注对象出现的第一张和最后一张的标注后，发明人自主研发的算法可以实现中间图片的自动标注，标注结果准确率高。

如图1所示，本发明的实施例提供一种连续帧图片标注方法，应用于电子设备，该电子设备包括但不限于笔记本电脑、台式电脑、平板电脑、智能手机等，该方法包括：

S11、响应于标注员在连续帧图片组中的第一帧图片上针对目标对象的标注操作生成标注框。

示例性地，连续帧图片组是标注员当前需要进行标注的一组图片。该组图片可以是某一场景下的具有一定时长的监控视频中的多帧图片，该多帧图片可以是该一定时长的监控视频中的部分或者全部图片帧。例如，对于某一路口，监控视频为某一时间段内该某一路口监控录像视频，该监控录像视频中包括来往的车辆和行人，都可能是需要进行标注的对象。以车辆为例，则针对该监控录像视频所对应的连续帧图片组的任务就是标注每张图片中的车辆。

示例性地，标注员通过在屏幕上所显示的连续帧图片组中的第一帧图片上进行框选操作。可以采用鼠标进行该框选操作或者使用触摸形式进行框选操作，本发明对此不作限定。在一些实施例中，当标注员进行框选操作时可以提示用户进行编辑相应的标签。

S12、在所述连续帧图片组中除所述第一帧图片之外的剩余图片上分别生成所述标注框。

在标注员对第一帧图片中的目标对象进行标注之后，可以根据第一帧图片中对目标对象的标注参数(标注框的位置、大小以及标签等信息)在剩余其它图片上分别生成相同的标注框。

S13、识别所述剩余图片中的至少部分图片中包含的所述目标对象。

示例性地，由于剩余图片中不一定所有的图片中都包含了目标对象，所以在进行图片识别时可以仅对部分图片进行识别。本实施例中的识别方法可以是图像识别方法，识别任务将目标对象作为识别对象。

示例性地，通过识别得到至少部分图片中所包含的所述目标对象的对象参数信息，该对象参数信息包括但不限于目标对象的大小信息和位姿信息。其中大小信息可以包括目标对象的长、宽等信息；位姿信息可以包括目标对象的姿态信息和位置信息，姿态信息可以包括目标对象的朝向信息，位置信息可以是目标对象在当前图片中的坐标信息等。通过该步骤确定出了目标对象在连续帧图片组中的每张图片上的分布情况。

S14、根据所述至少部分图片中包含的所述目标对象调整所述至少部分图片各自的所述标注框。

示例性地，通过步骤S30已经识别出了目标对象，在本步骤S40中来调整各图片中的标注框以适配相应的目标对象。例如，根据识别出的某张图片中的目标对象的大小信息和位姿信息来对该某张图片中的标注框的大小参数和位姿参数进行调整以达到相互匹配。

本实施例中在标注员完成第一张图片中的目标对象的标注之后，自动在后续图片上生成了相同的标注框，并采用自动识别的方式识别后续图片中的目标对象，然后根据识别到的目标对象来调整相应的标注框。整个过程标注员只需要手动完成第一张图片的标注，之后便可以基于自动生成标注框、自动识别目标对象和自动调整，实现了对连续帧图片组中的目标对象的快速、准确地标注，提高了标注效率，避免了过渡依赖人工而造成的错误标注。

在一些实施例中，本发明的连续帧图片标注方法还包括：检测标注员从所述剩余图片中选择包含所述目标对象的最后一帧图片的操作；或者对所述剩余图片进行图像识别以确定包含所述目标对象的最后一帧图片。在该实施例中，所述至少部分图片为所述剩余图片中的自所述包含所述目标对象的最后一帧图片之前的图片。

示例性地，连续帧图片组中包括多张图片，这多张图片是对应于某一场景下所拍摄的一定时长的监控视频内的部分或者全部图片。对于其中所包含的移动的目标对象，可能并不存在于全部的图片中。

以交通路口的监控视频为例，连续帧图片为该某一段时间的监控视频中的部分或全部图片帧。行驶的车辆为目标对象，由于车辆是行驶的，则该车辆可能在开始是出现了，但是在某一时刻(该某一段时间内的一个时刻)就驶出了监控范围，则该某一时刻之后的图片帧中是不存在该车辆的(即，目标对象)。可见，在进行对象标注时没必要对连续帧图像组中的所有图像都进行标注。因此，本发明通过人工或者机器来确定了包含目标对象的最后一帧图片，并据此确定出了需要进行目标对象标注的范围。使得图像标注的范围更加精准，不做无效标注，同时也避免了无效标注所带来的运算负担以及能耗负担等。

在一些实施例中，本发明的连续帧图片标注方法还包括：响应于标注员操作，删除所述包含所述目标对象的最后一帧图片之后的图片中的所述标注框。

示例性地，标注员操作可以是点击某一虚拟按钮或者虚拟组件。该虚拟按钮或者虚拟组件可是“后续隐藏”、“当前隐藏”等，具体命名本发明不作限定。

由于在之前的实施例中除了第一帧图片之外的所有剩余图片上生成了标注框，但实际上之后第一帧图片和前述实施例中确定的所述包含所述目标对象的最后一帧图片之间的图像上存在目标对象，其它图片实际根部就不存在目标对象，从而也就不需要之前所生成的标注框，因此本实施例中可以响应于用户的操作来删除这部分标注框。这样一方面能够避免这部分无用标注框导致的存储开销，另一方面也可以降低由此带来的后续计算量大增加以及标注错乱。

如图2所示为本发明的连续帧图片标注方法的另一实施的流程图，在该实施例中所述方法还包括：

S21、在图片展示区展示所述连续帧图片组中的第一帧图片，以供标注员进行标注操作。

示例性地，标注员进行标注时将需要标注的第一帧图片展示在图片展示区，这样标注员可以根据预设规则(例如，按照逐行的方式或者逐列的方式)来完成所观察到的所有对象的标注。

S22、在所述展示区的下方展示对应于所述连续帧图片组的图片标识序列，用于标注人员切换所要展示的图片。

示例性地，在展示区的下方相应的展示与连续帧图片组中的图片相同数量的图片标识，形成图片标识序列。图片标识序列中的图片标识与连续帧图片组中的图片一一对应。

当展示区中展示连续帧图片组中的某一帧图片时，相应的图片标识突出显示出来，以便于标注员观察当前显示的该某一帧图片在整个连续帧图片组中的位置。

此外，标注员还可以通过点击图片标识序列中的图片标识来切换展示在图片展示区中的图片。并且通过图片标识序列的总览，标注员可以快速的选择希望展示的任意指定的图片。

在一些实施例中，所述图片标识序列中的每个图片标识可以被配置为标示相应图片的标注状态。

示例性地，对不同图片的同一标注对象，在图片下面的有目视化图片按钮提示，通过颜色及白点标志醒目，显示此对象标签在不同图片的状态：是否在该图片上有该标注框，是否在该图片上有人为调整。

如图3所示为本发明的连续帧图片标注方法的另一实施的流程图，在该实施例中所述方法还包括：

S31、根据标注员针对所述目标对象的标注，更新对象列表，所述对象列表中包括不同目标对象。

示例性地，连续帧图片组中的每帧图片中均包含后多个可标注的对象，这时就需要完成多个对象的标注，因此建立了对象列表。示例性地，续帧图片组中包括的对象有“小汽车”、“公交车”、“电动车”和“自行车”等，则相应的在对象列表中包括这几种对象。

S32、响应于标注员在所述对象列表中所选择的目标对象，获取所述所选择的目标对象对应的连续帧图片组。

S33、在所述展示区的下方展示所述对应的连续帧图片组的相应的图片标识序列。

示例性地，图片标识序列中的每个图片标识可以被配置为标示相应图片的标注状态，包括：图片标识序列中的每个图片标识可以被配置为标示相应图片中的目标对象的标注状态。由于目标对象是对应于图片标识的，因此相应的不同的目标对象对应了不同的图片标识序列。从而在标注员在从对象列表中选择目标对象时，相应的在图片展示区下方展示相应的图片标识序列。

在一些实施例中，本发明的连续帧图片标注方法还包括：在完成对所述连续帧图片组中的目标对象的标注后，响应于标注员的操作，逐帧顺序播放标注后的所述连续帧图片组。

通过本实施例的方法标注员可以快速的完成对已标注连续帧图片组的标注结果的检查，极大提升了质检效率。

在一些实施例中，本发明的连续帧图片组标注方法包括以下步骤：

步骤1：对于一个连续帧图片组，从第一张图片开始，标注员对某一标注对象(目标对象)进行拉框并打标签；

步骤2：系统对此图片之后所有图片自动生成具有相同标签的标注框，此标注框与第一张大小、位置相同；

步骤3：标注员浏览第一张图片后续所有图片，并锁定标注对象消失前的图片An；

步骤4：标注员对图片An上的此标注对象的标注框进行调整，调整包括但不限于标注框的大小和位置；

步骤5：标注员点击“AI自动识别”，系统对A1到An之间的标注框进行自动调整，使得每张图片上的标注框与相应的标注对象相贴合；

步骤6：标注员在An+1图片点击“后续隐藏”，从而删除An+1以及以后图片中的标注框；

步骤7：开始标注第一张图片的下一个对象，并按照步骤1-6，完成该下一个对象的标注；如果第一张图片中的所有对象已标注完成，查看第二张图片是否出现新的标注对象，如果有开始按步骤1-6进行标注。直到所有图片的所有对象完成标注。

步骤8：用自动播放功能检查标注结果。

如图4所示为本发明的连续帧图片标注方法的一实施例的流程图，在该实施例中，AI自动识别功能通过以下步骤实现：

S10、预先训练目标跟踪模型和目标检测模型。

S20、将所述帧序列输入至目标跟踪模型以获取所述目标对象在每一帧图像上的第一关联位置信息。

S30、对于每一帧图像执行以下步骤：

S31′、采用所述目标检测模型检测与所述目标对象同类别的至少一个对象在当前帧图像中的至少一个第二关联位置信息。

S32′、根据对应于所述当前帧图像的第一关联位置信息和所述至少一个第二关联位置信息确定所述目标对象在所述当前帧图像上的目标关联位置信息。

本实施例中在对帧序列中的目标对象进行标注时同时采用预选训练的目标跟踪模型和目标检测模型。其中，目标跟踪模块用于跟踪帧序列中的目标对象(例如，选定的车辆)确定相应的第一关联位置信息；目标检测模型用于检测每帧图像中与目标对象同类别的对象，并获取该同类别的对象的第二关联位置信息，该同类别的对象的数量至少为一个。进而同时基于当前帧的第一关联位置信息和第二关联位置信息两个因素来确定目标对象在当前帧中的目标关联位置信息。通过目标检测模型对目标跟踪模型所确定的每帧图像上的对象的关联位置信息进行了辅助检测，提升了目标对象检测的准确性。

由于在大间隔抽帧跟踪任务中应用了两种网络模型，势必要对整个跟踪流程的推理延迟进行大幅优化，本发明实施例进行了以下优化：

在一些实施例中，本发明的连续帧图片标注方法的还包括：对目标检测模型和目标跟踪模型的推理延迟进行优化。

示例性地，对于步骤S10：预先训练目标跟踪模型和目标检测模型。其中，所述目标跟踪模型和/或所述目标检测模型采用轻量级网络结构。示例性地，轻量级网络机构包括SqueezeNet、MobileNet、ShuffleNet和Xception之一。

本实施例中更换目标检测模型和目标跟踪模型的主干网络(backbone)。将两个模型的主干网络(backbone)全部更换成更为轻量，参数更少的网络结构(例如，SqueezeNet、MobileNet、ShuffleNet和Xception)，本发明实施例中采用的是MobilenetV3。替换后目标跟踪模型使用公开数据集重新训练达到最优。目标检测模型使用自制多种类数据集重新训练达到最优。

在一些实施例中，本发明的连续帧图片标注方法的，其中，所述预先训练目标跟踪模型和目标检测模型，包括：对所述目标跟踪模型和目标检测模型进行量化处理。

本实施例中使用基于Nvidia TensorRT技术加速推理。示例性地，本发明中的目标检测模型和目标跟踪模型部署在GPU上。该GPU可以为Nvidia P4。由于目标检测模型和目标跟踪模型是部署在Nvidia P4上，该GPU支持int8精度推理，本发明对目标跟踪模型和目标检测模型基于TensorRT8推理库进行了int8量化处理。

以上实施例的方法使得推理延迟大幅降低。

在一些实施例中，对于步骤S20：将所述帧序列输入至目标跟踪模型以获取所述目标对象在每一帧图像上的第一关联位置信息。

其中，目标对象可以是图像中的不同车辆，每个车辆可以为一个类别。基于目标跟踪模型来对帧序列中的每帧图像进行处理，以得到目标对象在每帧图像上的第一关联位置信息。例如，帧序列包括n帧图像，则目标跟踪模型对这n帧图像进行处理，得到相应的n个第一关联位置信息。

示例性地，所述目标对象在每一帧图像上的第一关联位置信息包括：所述目标对象在每一帧图像上的标注框的第一位置信息。其中，每一帧图像上的标注框可以是用于框选目标对象的方框，第一位置信息为相应方框的中心点的坐标信息。

在一些实施例中，对于S31′：采用所述目标检测模型检测与所述目标对象同类别的至少一个对象在当前帧图像中的至少一个第二关联位置信息。其中，所述至少一个对象在当前帧图像中的至少一个第二关联位置信息包括：所述至少一个对象在当前帧图像中的至少一个标注框的第二位置信息。

在一些实施例中，目标对象在所述当前帧图像上的目标关联位置信息包括：所述目标对象在所述当前帧图像上的标注框的目标位置信息。

在一些实施例中，根据对应于所述当前帧图像的第一关联位置信息和所述至少一个第二关联位置信息确定所述目标对象在所述当前帧图像上的目标关联位置信息，包括：根据对应于所述当前帧图像的第一位置信息和所述至少一个第二位置信息确定所述目标对象在所述当前帧图像上的标注框的目标位置信息。

如图5所示为本发明的连续帧图片标注方法的一实施例的流程图。在该实施例，所述根据对应于所述当前帧图像的第一位置信息和所述至少一个第二位置信息确定所述目标对象在所述当前帧图像上的标注框的目标位置信息，包括：

S321、根据对应于所述当前帧图像的第一位置信息和所述至少一个第二位置信息确定确定至少一个交并比值；

S322、将所述至少一个交并比值中的最大值所对应的第二位置信息为所述目标对象在所述当前帧图像上的标注框的目标位置信息。

本实施例中引入目标检测模型在目标跟踪模型定位到目标后辅助检测包围框。由于目标跟踪模型在序列帧中定位目标位置后，其包围框(t_bboxes)准确度很低。在知道该包围框中的目标类别后，由于事先已经使用目标检测模型对全图同类别目标进行了检测，可以得到若干个包围框(d_bboxes，以置信度阈值0.5筛选)。对于每一帧，使用t_bbox与d_bboxes求取得到若干个iou(Intersection over Union，交并比)，选取d_bboxes中iou最大的包围框即为我们需要的包围框。

在一些实施例中，本发明的连续帧图片标注方法的包括以下步骤：

步骤1：设计轻量目标跟踪模型，该模型参数量较小，训练和推理速度更快。

步骤2：目标跟踪模型适用于通用目标(不限类别)，所以使用公开数据集训练就可以达到良好的效果。训练完成后，需要进一步使用TensorRT8推理库对模型进行量化。

步骤3：设计轻量目标检测模型，该模型参数量较小，训练和推理速度更快。

步骤4：目标检测模型适用于限制类别的目标，本发明使用预先构建的多类别目标数据集训练。训练完成后，需要进一步使用TensorRT8推理库对模型进行量化。

步骤5：输入抽取的视频帧序列，用目标跟踪模型获取目标对象在每一帧上的包围框坐标t_bbox。

步骤6：用目标检测模型获取目标对象在每一帧上的该目标类别的包围框d_bboxes。

步骤7：使用t_bbox和d_bboxes求iou，获取最大的iou值所对应的包围框。

本发明对UAV123公开数据集的样本按照五帧选一帧的方式降采样，之后在降采样后数据集的bike类别上进行模型评估。

1.引入目标检测模型在目标跟踪模型定位到目标后辅助检测包围框。

性能如下：给出两种目标跟踪领域常用的评价指标：

1)Precision plot(精度图)。

如图6所示为现有技术中采用keep_track跟踪算法的精度图。如图7所示为采用本发明的连续帧图片标注方法的精度图。精度图指的是算法估计的目标位置(bounding box)的中心点与人工标注(ground-truth)的目标的中心点，这两者的距离小于给定阈值的视频帧的百分比。其中横坐标标识阈值，纵坐标标识百分比。不同的阈值，得到的百分比不一样，因此可以获得一条曲线。每个阈值对应的精度求均值可以求得平均精度。

上图6和7中可以看到，现有技术中的跟踪算法keep_track在大间隔抽帧跟踪场景下表现很差，平均跟踪精度仅有6.7，而本发明算法在该场景下可达到75.6，更精准。

2)Success Plot(成功图)。

如图8所示为现有技术中采用keep_track跟踪算法的成功图。如图9所示为采用本发明的连续帧图片标注方法的成功图。其中，横坐标为重叠阈值，纵坐标为重叠精度。本发明算法得到的目标框(bounding box)与ground-truth计算IOU。当某一帧的IOU大于设定的阈值时，则该帧被视为成功的(Success)，总的成功的帧占所有帧的百分比即为成功率(Success rate)。

上图8和9中可以看到，主流跟踪算法keep_track在大间隔抽帧跟踪场景下表现很差，平均跟踪成功率仅有2.7，而本发明实施例算法在该场景下可达到47.5，更准确。

2.对目标检测模型和目标跟踪模型的推理延迟进行优化

性能如下：

Keep_track是主流跟踪算法，对多张图片处理速度求均值后得到其一帧图片的处理速度是114ms,本产品在经过int8量化优化后跟踪和检测模块总耗时是93ms，可见其推理速度比keep_track更快。

需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作合并，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在一些实施例中，本发明实施例还提供一种电子设备，其包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行连续帧图片标注方法。

在一些实施例中，本发明实施例提供一种非易失性计算机可读存储介质，所述存储介质中存储有一个或多个包括执行指令的程序，所述执行指令能够被电子设备(包括但不限于计算机，服务器，或者网络设备等)读取并执行，以用于执行本发明上述任一项连续帧图片标注方法。

在一些实施例中，本发明实施例还提供一种计算机程序产品，所述计算机程序产品包括存储在非易失性计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，使所述计算机执行上述任一项连续帧图片标注方法。

图10是本申请另一实施例提供的执行连续帧图片标注方法的电子设备的硬件结构示意图，如图10所示，该设备包括：

一个或多个处理器1010以及存储器1020，图10中以一个处理器1010为例。

执行连续帧图片标注方法的设备还可以包括：输入装置1030和输出装置1040。

处理器1010、存储器1020、输入装置1030和输出装置1040可以通过总线或者其他方式连接，图10中以通过总线连接为例。

存储器1020作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如本申请实施例中的连续帧图片标注方法对应的程序指令/模块。处理器1010通过运行存储在存储器1020中的非易失性软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例连续帧图片标注方法。

存储器1020可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据连续帧图片标注装置的使用所创建的数据等。此外，存储器1020可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，存储器1020可选包括相对于处理器1010远程设置的存储器，这些远程存储器可以通过网络连接至连续帧图片标注装置。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

输入装置1030可接收输入的数字或字符信息，以及产生与连续帧图片标注装置的用户设置以及功能控制有关的信号。输出装置1040可包括显示屏等显示设备。

所述一个或者多个模块存储在所述存储器1020中，当被所述一个或者多个处理器1010执行时，执行上述任意方法实施例中的连续帧图片标注方法。

上述产品可执行本申请实施例所提供的方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本申请实施例所提供的方法。

本申请实施例的电子设备以多种形式存在，包括但不限于:

(1)移动通信设备:这类设备的特点是具备移动通信功能，并且以提供话音、数据通信为主要目标。这类终端包括:智能手机(例如iPhone)、多媒体手机、功能性手机，以及低端手机等。

(2)超移动个人计算机设备:这类设备属于个人计算机的范畴，有计算和处理功能，一般也具备移动上网特性。这类终端包括:PDA、MID和UMPC设备等，例如iPad。

(3)便携式娱乐设备:这类设备可以显示和播放多媒体内容。该类设备包括:音频、视频播放器(例如iPod)，掌上游戏机，电子书，以及智能玩具和便携式车载导航设备。

(4)其他具有数据交互功能的电子装置。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (7)

1.一种连续帧图片标注方法，包括：

响应于标注员在连续帧图片组中的第一帧图片上针对目标对象的标注操作生成标注框；

在所述连续帧图片组中除所述第一帧图片之外的剩余图片上分别生成所述标注框，其中，根据所述第一帧图片中对所述目标对象的标注参数在剩余其它图片上的同一位置分别生成相同标签和相同大小的标注框；

识别所述剩余图片中的至少部分图片中包含的所述目标对象；

根据所述至少部分图片中包含的所述目标对象调整所述至少部分图片各自的所述标注框，其中，调整所述至少部分图片各自的所述标注框包括：自动识别后续图片中的目标对象，根据所述目标对象自动调整相应的标注框；

其中，自动识别所述目标对象的步骤包括：将帧序列输入至预先训练的目标跟踪模型以获取所述目标对象在每一帧图像上的标注框的第一位置信息；采用预先训练的目标检测模型检测与所述目标对象同类别的至少一个对象在当前帧图像中的至少一个标注框的第二位置信息；

根据对应于当前帧图像的第一位置信息和所述至少一个第二位置信息确定至少一个交并比值；将所述至少一个交并比值中的最大值所对应的第二位置信息作为所述目标对象在当前帧图像上的标注框的目标位置信息；

其中，确定剩余图片中的至少部分图片包括：对所述剩余图片进行图像识别以确定包含所述目标对象的最后一帧图片，其中，所述至少部分图片为所述剩余图片中的自所述包含所述目标对象的最后一帧图片之前的图片；

响应于标注员的操作，删除所述包含所述目标对象的最后一帧图片之后的图片中的所述标注框；根据标注员针对所述目标对象的标注，更新对象列表，所述对象列表中包括不同目标对象；响应于标注员在所述对象列表中所选择的目标对象，获取所述所选择的目标对象对应的连续帧图片组；在展示区的下方展示所述对应的连续帧图片组的相应的图片标识序列。

2.根据权利要求1所述的方法，其特征在于，还包括：

检测标注员从所述剩余图片中选择包含所述目标对象的最后一帧图片的操作；

所述至少部分图片为所述剩余图片中的自所述包含所述目标对象的最后一帧图片之前的图片。

3.根据权利要求1所述的方法，其特征在于，还包括：

在图片展示区展示所述连续帧图片组中的第一帧图片，以供标注员进行标注操作；

在所述展示区的下方展示对应于所述连续帧图片组的图片标识序列，用于标注人员切换所要展示的图片。

4.根据权利要求3所述的方法，其特征在于，所述图片标识序列中的每个图片标识可以被配置为标示相应图片的标注状态。

5.根据权利要求1-4中任一项所述的方法，其特征在于，还包括：

在完成对所述连续帧图片组中的目标对象的标注后，响应于标注员的操作，逐帧顺序播放标注后的所述连续帧图片组。

6.一种电子设备，其包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-5中任意一项所述方法的步骤。

7.一种存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1-5中任意一项所述方法的步骤。