CN113283509A - 一种自动标注标签的方法、电子设备及存储介质 - Google Patents

Abstract

本发明实施例涉及机器学习技术领域，尤其涉及一种自动标注标签的方法、电子设备及存储介质，通过获取图像集中的多张图像在时间上的连续情况，若多张图像在时间上连续，则采用目标跟踪模型预测各所述图像的标签，并对各所述图像分别标注对应的标签，从而，可以实现对图像集进行自动化打标签，无需人工标注，使得标注准确且效率高。

Description

一种自动标注标签的方法、电子设备及存储介质

技术领域

本发明实施例涉及机器学习技术领域，尤其涉及一种自动标注标签的方法、电子设备及存储介质。

背景技术

人工智能算法是数据驱动型算法，也就是说，如果想实现人工智能，首先需要把人类理解和判断事物的能力教给计算机，让计算机学习到这种识别能力。具体的，计算机通过学习大量的标注数据的特征，训练出学习模型，从而，学习模型可以对未知的数据进行理解和判断。

目前，一般采用人工标注的方式把需要计算机识别和分辨的数据贴上标签。一方面，人工标注方式效率十分低下，而且，标注结果是否准确很大程度上依赖标注人员的标注水平。

发明内容

本发明实施例主要解决的技术问题是提供一种自动标注标签的方法，能够实现对图像集进行自动化打标签，标注准确且效率高。

为解决上述技术问题，第一方面，本发明实施例中提供给了一种自动标注标签的方法，应用于由图像获取装置获取的图像集，所述图像集包括多张图像，所述方法包括：

获取所述图像集中的所述多张图像在时间上的连续情况；

若所述多张图像在时间上连续，则采用目标跟踪模型预测各所述图像的标签，并对各所述图像分别标注对应的标签，以获取标注有标签的图像集，所述标签包括各目标物体的种类和位置。

在一些实施例中，所述方法还包括：

若所述多张图像在时间上连续，则采用所述目标跟踪模型预测所述图像集中的多个第二图像的标签，并对各所述第二图像标注对应的标签，其中，所述多个第二图像包括所述图像集中的至少一个第一子图像集，所述第一子图像集中的图像在时间上连续；

根据标注有标签的所述多个第二图像，训练第一目标识别模型，并采用所述第一目标识别模型识别所述图像集中未标注有标签的图像的标签，并对所述图像集中未标注有标签的图像标注对应的标签，以获取标注有标签的图像集。

在一些实施例中，所述方法还包括：

获取所述图像集中的所述多张图像的标注情况；

若所述图像集中的多张图像在时间上连续，且所述多张图像中存在若干个所述第一图像，则采用所述目标跟踪模型预测所述图像集中未标注有标签的图像的标签，并对所述图像集中未标注有标签的图像标注对应的标签，以获取标注有标签的图像集，其中，所述第一图像为所述多张图像中标注有标签的图像；或，

若所述图像集中的多张图像在时间上连续，且所述多张图像中存在若干个所述第一图像，则根据若干个所述第一图像，训练第二目标识别模型，并采用所述第二目标识别模型识别所述图像集中未标注有标签的图像的标签，并对所述图像集中未标注有标签的图像标注对应的标签，以获取标注有标签的图像集；或，

若所述图像集中的多张图像在时间上连续，且所述多张图像中存在若干个所述第一图像，采用所述目标跟踪模型预测所述图像集中未标注有标签的图像中多个第三图像的标签，并对各所述第三图像分别标注对应的标签，其中，所述多个第三图像包括所述图像集中未标注有标签的图像中的至少一个第二子图像集，所述第二子图像集中的图像在时间上连续；

根据标注有标签的所述多个第一图像和/或标注有标签的所述多个第三图像，训练第三目标识别模型，并采用所述第三目标识别模型识别所述图像集中未标注有标签的图像的标签，并对各所述图像集中未标注有标签的图像标注对应的标签，以获取标注有标签的图像集。

在一些实施例中，所述方法还包括：

若所述图像集中的多张图像在时间上不完全连续，且所述多张图像中存在若干个所述第一图像，则根据若干个所述第一图像，训练第四目标识别模型，并采用所述第四目标识别模型识别所述图像集中未标注有标签的图像的标签，并对所述图像集中未标注有标签的图像分别标注对应的标签，以获取标注有标签的图像集。

在一些实施例中，所述方法还包括：

若所述图像集中的多张图像在时间上不完全连续，且所述多张图像中存在若干个所述第一图像，则：

对所述图像集按时间连续性划分成多个第三子图像集，每个所述第三子图像集中的各图像在时间上连续；

分别采用所述目标跟踪模型预测各所述第三子图像集中未标注有标签的图像的标签，并对各所述第三子图像集中未标注有标签的图像标注对应的标签，或，分别采用所述目标跟踪模型预测至少一个第三子图像集中未标注有标签的图像的标签，并对所述至少一个第三子图像集中未标注有标签的图像标注对应的标签，根据标注有标签的多个所述第一图像和/或标注有标签的所述至少一个第三子图像集中的图像，训练第五目标识别模型，采用所述第五目标识别模型识别所述图像集中未标注有标签的图像的标签，并对所述图像集中未标注有标签的图像分别标注对应的标签，以获取标注有标签的图像集。

在一些实施例中，所述方法还包括：

若所述图像集中的多张图像在时间上不完全连续，且所述多张图像中不存在若干个所述第一图像，则：

对所述图像集按时间连续性划分成多个第四子图像集，每个所述第四子图像集中的各图像在时间上连续；

分别采用所述目标跟踪模型预测至少一个第四子图像集中图像的标签，并对所述至少一个第四子图像集中的图像标注对应的标签；

根据标注有标签的所述至少一个第四子图像集中的图像，训练第六目标识别模型，采用所述第六目标识别模型识别所述图像集中未标注有标签的图像，并对所述图像集中未标注有标签的图像分别标签对应的标签，以获取标注有标签的图像集。

在一些实施例中，当采用目标跟踪模型预测图像的标签时，以预设张数图像为一跟踪组，对所述各目标物体分别依次在所述跟踪组中进行跟踪，直到所述各目标物体均在所述跟踪组完成跟踪。

在一些实施例中，目标识别模型是基于Cascade RCNN网络模型训练成的，所述Cascade RCNN网络模型包括依次排列的至少两个检测器，每个检测器对应一个并交比阈值，各所述并交比阈值呈逐渐增大的趋势，其中，所述目标识别模型为所述第一目标识别模型、第二目标识别模型、第三目标识别模型、第四目标识别模型、第五目标识别模型或第六目标识别模型中的任意一个。

在一些实施例中，所述方法还包括：

对所述标注有标签的图像集进行图像增强处理。

为解决上述技术问题，第二方面，本发明实施例中提供给了一种电子设备，包括：

至少一个处理器，以及

与所述至少一个处理器通信连接的存储器，其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上第一方面所述的方法。

为解决上述技术问题，第三方面，本发明实施例中提供给了一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使电子设备执行如上第一方面所述的方法。

本发明实施例的有益效果：区别于现有技术的情况，本发明实施例提供的自动标注标签的方法，通过获取图像集中的多张图像在时间上的连续情况，若多张图像在时间上连续，则采用目标跟踪模型预测各所述图像的标签，并对各所述图像分别标注对应的标签，从而，可以实现对图像集进行自动化打标签，无需人工标注，使得标注准确且效率高。

附图说明

一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除非有特别申明，附图中的图不构成比例限制。

图1为本发明其中一实施例提供的自动标注标签的方法的运行环境示意图；

图2为本发明其中一实施例提供的电子设备的结构示意图；

图3为本发明其中一实施例提供的一种自动标注标签的方法的流程示意图；

图4为本发明其中一实施例提供的一种自动标注标签的方法的流程示意图；

图5为本发明其中一实施例提供的一种自动标注标签的方法的流程示意图；

图6为本发明其中一实施例提供的一种自动标注标签的方法的流程示意图；

图7为本发明其中一实施例提供的一种自动标注标签的方法的流程示意图；

图8为本发明其中一实施例提供的一种自动标注标签的方法的流程示意图；

图9为本发明其中一实施例提供的一种自动标注标签的方法的流程示意图；

图10为本发明其中一实施例提供的目标跟踪示意图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。

需要说明的是，如果不冲突，本发明实施例中的各个特征可以相互结合，均在本申请的保护范围之内。另外，虽然在装置示意图中进行了功能模块划分，在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于装置中的模块划分，或流程图中的顺序执行所示出或描述的步骤。此外，本文所采用的“第一”、“第二”、“第三”等字样并不对数据和执行次序进行限定，仅是对功能和作用基本相同的相同项或相似项进行区分。

除非另有定义，本说明书所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本说明书中在本发明的说明书中所使用的术语只是为了描述具体的实施方式的目的，不是用于限制本发明。本说明书所使用的术语“和/或”包括一个或多个相关的所列项目的任意的和所有的组合。

此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

图1是本发明实施例提供的自动标注标签的方法的运行环境示意图。请参照图1，包括电子设备10和图像获取装置20，电子设备10和图像获取装置20通信连接。

该通信连接可以是有线连接，例如：光纤电缆，也可以是无线通信连接，例如：WIFI连接、蓝牙连接、4G无线通信连接，5G无线通信连接等等。

在采集数据样本时，通常采用图像获取装置20采集视频或图像，以获得多个图像作为训练样本。具体的，该图像获取装置20用于获取至少一个视频或至少一个图像，可以理解的是，从至少一个视频可以离散出多个单帧图像，从而，多个单帧图像和/或至少一个图像可以组成一个图像集。由此可知，该图像集中的多张图像可能在时间上是连续的，例如，为3点5分到3点8分连续拍摄到的多张图像，该图像集中的多张图像可能在时间上是不完全连续的，例如，包括4点10分到4点13分连续拍摄到的多张图像，和，4点20到4点24分连续拍摄到的多张图像。可以理解的是，该图像集中的多张图像还可能包括在时间上不连续的图像，但在图像集的前一段中图像在时间上一定是连续的。该图像获取装置20可为能够拍摄图像的终端，例如：具有拍摄功能的手机、平板电脑、录像机或摄像头等。

电子设备10是能够按照程序运行，自动、高速处理海量数据的设备，其通常是由硬件系统和软件系统所组成，例如：计算机、智能手机等等。电子设备10可以是本地设备，其直接与图像获取装置20连接；也可以是云设备，例如：云服务器、云主机、云服务平台、云计算平台等，云设备通过网络与图像获取装置20连接，并且两者通过预定的通信协议通信连接，在一些实施例，该通信协议可以是TCP/IP、NETBEUI和IPX/SPX等协议。

可以理解的是：图像获取装置20和电子设备10也可以集成在一起，作为一体式的设备，例如，带有摄像头的计算机或智能相机等。

该电子设备10接收所述图像获取装置20采集到的图像集，并对该图像集标注各目标物体的种类和位置。可以理解的是，各目标物体是期望计算机能够理解或分辨的物体，例如，在智能驾驶领域，当需要训练算法模型识别红绿灯或路标时，各目标物体可以为红绿灯或路标等。

在上述图1的基础上，本发明的其他实施例提供了一种电子设备10，请参阅图2，为本发明实施例提供的一种电子设备10的硬件结构图，具体的，如图2所示，所述电子设备10包括通信连接的至少一个处理器11和存储器12(图2中以总线连接、一个处理器为例)。

其中，所述处理器11用于提供计算和控制能力，以控制电子设备10执行相应任务，例如，控制所述电子设备10执行下述发明实施例提供的任意一种自动标注标签的方法。

可以理解的是，所述处理器11可以是通用处理器，包括中央处理器(CentralProcessing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital Signal Processing，DSP)、专用集成电路(Application SpecificIntegrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

所述存储器12作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态性计算机可执行程序以及模块，如本发明实施例中的自动标注标签的方法对应的程序指令/模块。所述处理器11通过运行存储在存储器12中的非暂态软件程序、指令以及模块，可以实现下述任一方法实施例中的自动标注标签的方法。具体地，所述存储器12可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器12还可以包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

以下，对本发明实施例提供的自动标注标签的方法进行详细说明，请参阅图3，所述方法S200包括但不限制于以下步骤：

S201：获取所述图像集中的所述多张图像在时间上的连续情况。

S202：若所述多张图像在时间上连续，则采用目标跟踪模型预测各所述图像的标签，并对各所述图像分别标注对应的标签，以获取标注有标签的图像集，所述标签包括各目标物体的种类和位置。

基于图像集中的多张图像是由相机等图像获取装置获取的，从而，可以获取图像集中每张图像的拍摄时间，从而，根据每张图像的拍摄时间，获取该图像集中的多张图像在时间上的连续情况，例如，图像集中的多张图像在时间上连续或不完全连续等。

若图像集中的多张图像在时间上连续，例如，均为下午3点到下午4点采集到的图像，且该多张图像中不存在若干个第一图像。基于图像集中的图像是连续拍摄获取的连续帧图像，各目标物体在连续帧图像中具有相同的特征，仅存在细微的位置变化，则采用目标跟踪模型预测图像集中各图像的标签，并对各图像分别标注对应的标签。可以理解的是，标签包括各目标物体的种类和位置，例如，若图像集拍摄的是道路图像，各目标物体可以为红绿灯或路标等。

具体的，在图像集的第一帧图像中输入初始化目标框，例如，在第一帧图像中框选出各目标物体的种类和位置，然后目标跟踪模型会在下一帧图像中产生众多候选框，提取各候选框中的特征，然后对这些候选框按与真实目标物体的相似度进行评分，对于每一类目标物体选择得分最高的候选框作为预测标签。由此，可以依次在后续帧图像中，识别出各目标物体的种类和位置，从而，得到各图像的标签。

然后，采用现有的标注工具将识别到的图像的标签标注于图像上，形成XML或JSON标注文件。也即标注有标签的图像集包括各图像对应的标注文件。可以理解的是，该标注工具可以采用Label Img等工具。

可以理解的是，在本实施例中，该目标跟踪模型可以为ECO算法或SiamRPN++算法。其中，ECO算法是基于相关滤波的跟踪算法，融合有卷积神经网络(CNN)、方向梯度直方图(HOG)和颜色特征(CN)，能够精准跟踪各目标。其中，SiamRPN++算法是基于深度学习的目标跟踪算法，其利用随机偏移采样策略缓解平移不变性问题，从而，能增加网络深度，提升算法效果。

在本实施例中，通过获取图像集中的多张图像在时间上的连续情况，以及，图像集中的多张图像的标注情况，若多张图像在时间上连续，且所述多张图像中不存在有已标注好的图像，则采用目标跟踪模型预测各所述图像的标签，并对各所述图像分别标注对应的标签，从而，可以实现对图像集进行自动化打标签，无需人工标注，使得标注准确且效率高。

在一些实施例中，请参阅图4，所述方法还包括：

S203：若所述多张图像在时间上连续，则采用所述目标跟踪模型预测所述图像集中的多个第二图像的标签，并对各所述第二图像标注对应的标签，其中，所述多个第二图像包括所述图像集中的至少一个第一子图像集，所述第一子图像集中的图像在时间上连续。

S204：根据标注有标签的所述多个第二图像，训练第一目标识别模型，并采用所述第一目标识别模型识别所述图像集中未标注有标签的图像的标签，并对所述图像集中未标注有标签的图像标注对应的标签，以获取标注有标签的图像集。

在本实施例中，将图像集划分成若干个第一子图像集，例如，对于在4点至4点30分时间段内采集到的图像集，每隔5分钟划分一个第一子图像集，从而，划分成6个第一子图像集1#-6#。多个第二图像包括至少一个第一子图像集，例如包括第一子图像集1#和3#，或第一子图像集2#、4#和6#等。可以理解的是，基于图像集在时间上连续，以及按时间间隔分段划分的方式，该第一子图像集中的图像也在时间上连续。

为了提高图像标注的准确性，可以采用目标跟踪模型对图像集中的多个第二图像进行预测标签，并对多个第二图像标注对应的标签。将标注有标签的各第二图像作为训练集，结合现有的目标识别网络算法，训练第一目标识别模型，然后，采用该第一目标识别模型识别图像集中未标注有标签的图像的标签，并对图像集中未标注有标签的图像标注对应的标签。例如，采用SiamRPN++算法跟踪模型对上述第一子图像集1#、进行目标跟踪，获取第一子图像集1#中各图像的标签，并进行标注，从而，将第一子图像集1#作为训练第一目标识别模型的训练集，结合现有目标识别算法，训练第一目标识别模型，然后，采用该第一目标识别模型识别第一子图像集2#至第一子图像集6#中的各图像的标签，并对第一子图像集2#至第一子图像集6#中的各图像分别标注对应的标签。也即，通过目标跟踪与目标识别，分两阶段将图像集预测并标注对应的标签，能够避免因单一预测方式(仅目标跟踪)可能带来的误差，从而，能够提高标签的准确率。

在一些实施例中，请参阅图5，所述方法还包括：

S205：获取所述图像集中的所述多张图像的标注情况。

S206：若所述图像集中的多张图像在时间上连续，且所述多张图像中存在若干个第一图像，则采用所述目标跟踪模型预测所述图像集中未标注有标签的图像的标签，并对所述图像集中未标注有标签的图像标注对应的标签，以获取标注有标签的图像集，其中，所述第一图像为所述多张图像中标注有标签的图像。

图像标注标签后一般会生成XML格式或JSON格式的标注文件，从而，可以通过识别图像集中图像的格式确定图像的标注情况，例如，当图像集中的某一图像1#的格式为GIF或PNG等图像格式，则该图像1#未标注有标签，当图像集中的某一图像2#的格式为XML格式或JSON格式，则该图像2#标注有标签。从而，通过遍历图像集中的每一图像，获取文件格式，则可以确定图像是否被标注，即可获取该图像集中的图像的标注情况。在其他实施例中，也可以通过识别图像文件中的标注数据确定是否被标注，例如，若图像中标注有目标物体的种类或位置等标注数据，则该图像已被标注有标签。

可以理解的是，将标注有标签的图像称为第一图像，例如，上述图像2#即为第一图像。例如，若图像集中有3000张图像，其中，有100张图像标注有标签，则该图像集中有100张第一图像。

可以理解的是，当图像集在时间上连续，并存在若干个第一图像(部分图像有标注基础)时，可以采用目标跟踪模型预测图像集中未标注有标签的图像(图像集中除多个第一图像外的剩余图像)的标签。具体的跟踪过程与步骤S201中的跟踪过程相似，区别在于本实施例中进行目标跟踪时跳过各第一图像即可，具体跟踪过程在此不再一一赘述。

S207：若所述图像集中的多张图像在时间上连续，且所述多张图像中存在若干个所述第一图像，则根据若干个所述第一图像，训练第二目标识别模型，并采用所述第二目标识别模型识别所述图像集中未标注有标签的图像的标签，并对所述图像集中未标注有标签的图像标注对应的标签，以获取标注有标签的图像集。

基于该图像集中存在若干个第一图像(标注有标签的图像)，从而，可以根据该若干个第一图像，结合现有的目标识别网络算法，训练第二目标识别模型，然后，采用该第二目标识别模型识别图像集中未标注有标签的图像(图像集中除第一图像外的剩余图像)，并对图像集中未标注有标签的图像标注对应的标签。可以理解的是，该第二目标识别模型的训练识别方式与步骤S204中第一目标识别模型的训练识别方式相似，在此不再一一赘述。

本实施例作为当图像集在时间上连续，并存在若干个第一图像(即部分图像有标注基础)时的另外一种标注方式，通过将图像集中有标签的第一图像训练第二目标识别模型，然后，采用第二目标识别模型可以准确预测出未标注有标签的图像的标签。

在一些实施例中，请参阅图6，所述方法还包括：

S208：若所述图像集中的多张图像在时间上连续，且所述多张图像中存在若干个所述第一图像，采用所述目标跟踪模型预测所述图像集中未标注有标签的图像中多个第三图像的标签，并对各所述第三图像分别标注对应的标签，其中，所述多个第三图像包括所述图像集中未标注有标签的图像中的至少一个第二子图像集，所述第二子图像集中的图像在时间上连续。

S209：根据标注有标签的所述多个第一图像和/或标注有标签的所述多个第三图像，训练第三目标识别模型，并采用所述第三目标识别模型识别所述图像集中未标注有标签的图像的标签，并对各所述图像集中未标注有标签的图像标注对应的标签，以获取标注有标签的图像集。

在本实施例中，将图像集划分成若干个第二子图像集，例如，对于9点至10点时间段内采集到的图像集，每隔10分钟划分一个第二子图像集，从而，划分成6个第二子图像集7#-12#。多个第三图像包括至少一个第二子图像集，例如包括第二子图像集7#和9#，或包括第二子图像集7#、9#和10#等。可以理解的是，基于图像集在时间上连续，以及按时间间隔分段划分的方式，该第二子图像集中的图像也在时间上连续。

为了提高图像标注的准确性，可以采用目标跟踪模型对图像集中的多个第三图像进行预测标签，并对多个第三图像标注对应的标签。然后，将标注有标签的各第三图像和/或第一图像作为训练集，结合现有的目标识别网络算法，训练第三目标识别模型，采用该第三目标识别模型识别图像集中未标注有标签的图像的标签。可以理解的是，该第三目标识别模型的训练识别方式与步骤S204中第一目标识别模型的训练识别方式相似，在此不再一一赘述。

本实施例作为当图像集在时间上连续，并存在若干个所述第一图像(即部分图像有标注基础)时的另外一种标注方式，首先通过目标跟踪模型识别图像集中部分分段连续的第三图像，获取第三图像的标签并对各第三图像标注对应的标签，然后将标注有标签的第一图像和/或第三图像作为训练集，训练第三目标识别模型，最后，采用训练好的第三目标识别模型对图像集中剩余的未标注有标签的图像进行预测标签，并标注对应的标签。也即，通过目标跟踪和目标识别两种方式进行标签预测，能够避免因单一预测方式(仅目标跟踪或仅目标识别)可能带来的误差，从而，能够提高标签的准确率。

在一些实施例中，请参阅图7，所述方法还包括：

S210：若所述图像集中的多张图像在时间上不完全连续，且所述多张图像中存在若干个所述第一图像，则根据若干个所述第一图像，训练第四目标识别模型，并采用所述第四目标识别模型识别所述图像集中未标注有标签的图像的标签，并对所述图像集中未标注有标签的图像分别标注对应的标签，以获取标注有标签的图像集。

在此实施例中，图像集中的多张图像在时间上不完全连续，例如图像集包括分别在11点至11点20分、11点30至11点50分、12点10分至12点30分获取的图像，并且图像集中存在若干个第一图像。在图像集中存在有标注基础的若干个第一图像的情况下，可以将若干个第一图像作为训练集，结合现有的目标识别网络算法，训练第四目标识别模型，然后，采用第四目标识别模型识别图像集中未标注有标签的图像的标签，并对图像中未标注有标签的图像标注对应的标签。可以理解的是，该第四目标识别模型与步骤S204中第一目标识别模型的训练识别方式相似，在此不再一一赘述。

在此实施例中，通过将图像集中有标签的第一图像训练第四目标识别模型，然后，采用第四目标识别模型可以准确预测出未标注有标签的图像的标签。

在一些实施例中，请参阅图8，所述方法还包括：

若所述图像集中的多张图像在时间上不完全连续，且所述多张图像中存在若干个所述第一图像，则：

S211：对所述图像集按时间连续性划分成多个第三子图像集，每个所述第三子图像集中的各图像在时间上连续。

在本实施例中，将图像集划分成若干个第三子图像集，例如，将上述分别在11点至11点20分、11点30至11点50分、12点10分至12点30分获取的图像集，按时间连续性划分成3个相应的第三子图像集，每个第三子图像集中的图像在时间上连续。

S212：分别采用所述目标跟踪模型预测各所述第三子图像集中未标注有标签的图像的标签，并对各所述第三子图像集中未标注有标签的图像标注对应的标签。

基于各第三子图像集中图像在时间上连续，在步骤S211中，可以对各第三子图像集中的任意一个第三子图像集A采用目标跟踪模型预测该第三子图像集A中未标注有标签的图像的标签，并对该第三子图像集A中未标注有标签的图像标签对应的标签。可以理解的是，具体的跟踪过程与步骤S201中的跟踪过程相似，区别在于本实施例中进行目标跟中时跳过各第一图像即可，具体跟踪过程不再一一赘述。

在此实施例中，将不完全连续的图像集按时间分段连续性划分成多个第三子图像集，分段进行目标跟踪，以获取图像集中各图像的标签，从而，无需人工标注。

在一些实施例中，可以采用下述步骤S213预测各第三子图像集中的图像的标签。

S213：分别采用所述目标跟踪模型预测至少一个第三子图像集中未标注有标签的图像的标签，并对所述至少一个第三子图像集中未标注有标签的图像标注对应的标签，根据标注有标签的多个所述第一图像和/或标注有标签的所述至少一个第三子图像集中的图像，训练第五目标识别模型，采用所述第五目标识别模型识别所述图像集中未标注有标签的图像的标签，并对所述图像集中未标注有标签的图像分别标注对应的标签，以获取标注有标签的图像集。

为了提高图像标注的准确性，在此实施例中，可以分别采用所述目标跟踪模型预测至少一个第三子图像集中未标注有标签的图像的标签，并对所述至少一个第三子图像集中未标注有标签的图像标注对应的标签。例如，对上述在11点至11点20分获取的第三子图像集B中的各图像采用目标跟踪模型预测标签，并进行相应的标注，使得第三子图像集B中的图像具有标注基础。

然后，将标注有标签的至少一个第三子图像集中的图像和/或各第一图像作为训练集，结合现有的目标识别网络算法，训练第五目标识别模型，采用该第五目标识别模型识别图像集中未标注有标签的图像的标签。可以理解的是，该第五目标识别模型的训练识别方式与步骤S204中第一目标识别模型的训练识别方式相似，在此不再一一赘述。

本实施例中，首先通过目标跟踪模型识别图像集中的至少一个第三子图像集，获取至少一个第三子图像集中图像的标签并进行相应的标注，然后，将标注有标签的至少一个第三子图像集和/或各第一图像作为训练集，训练第五目标识别模型，最后，采用训练好的第五目标识别模型对图像集中剩余的未标注有标签的图像进行预测标签，并标注对应的标签。也即，通过目标跟踪和目标识别两种方式进行标签预测，能够避免因单一预测方式(仅目标识别)可能带来的误差，从而，能够提高标签的准确率。

在一些实施例中，请参阅图9，所述方法还包括：

若所述图像集中的多张图像在时间上不完全连续，且所述多张图像中不存在若干个所述第一图像，则：

S214：对所述图像集按时间连续性划分成多个第四子图像集，每个所述第四子图像集中的各图像在时间上连续。

S215：分别采用所述目标跟踪模型预测至少一个第四子图像集中图像的标签，并对所述至少一个第四子图像集中的图像标注对应的标签。

S216：根据标注有标签的所述至少一个第四子图像集中的图像，训练第六目标识别模型，采用所述第六目标识别模型识别所述图像集中未标注有标签的图像，并对所述图像集中未标注有标签的图像分别标签对应的标签，以获取标注有标签的图像集。

在此实施例中，图像集中的多张图像在时间上不完全连续且不存在若干个第一图像，即图像集不完全连续也没有标注基础。例如，图像集包括分别在6点至6点20分、6点30至6点50分、6点10分至6点30分获取的图像，并且图像集中不存在若干个第一图像。将该图像集按时间连续性划分成多个第四子图像集，每个第四子图像集中的图像在时间上连续。

基于各第四子图像集中的图像在时间上连续，从而，可以对至少一个第四子图像集采用目标跟踪模型预测标签，并进行相应的标注，例如，可以对在6点至6点20分获取的第四子图像集进行目标跟踪获取该第四子图像集中图像的相应标签，并进行标注。可以理解的是，具体的跟踪过程与步骤S201中的跟踪过程相似，在此不再一一赘述。

从而，可以将标注有标签的至少一个第四子图像集作为训练集，结合现有的目标识别网络算法，训练第六目标识别模型，采用该第六目标识别模型识别图像集中未标注有标签的图像的标签。可以理解的是，该第六目标识别模型的训练识别方式与步骤S204中第一目标识别模型的训练识别方式相似，在此不再一一赘述。

在本实施例中，首先通过目标跟踪模型识别图像集中的至少一个第四子图像集中各图像的标签，以进行相应的标注，然后，将标注有标签的至少一个第四子图像集作为训练集，训练第六目标识别模型，最后，采用训练好的第六目标识别模型对图像集中剩余的未标注有标签的图像进行预测标签并标注，从而，得到标注有标签的图像集。也即，通过目标跟踪和目标识别两种方式进行标签预测，能够避免因单一预测方式(仅目标跟踪)可能带来的误差，从而，能够提高标签的准确率。

在一些实施例中，当采用目标跟踪模型预测图像的标签时，以预设张数图像为一跟踪组，对所述各目标物体分别依次在所述跟踪组中进行跟踪，直到所述各目标物体均在所述跟踪组完成跟踪。

基于目标跟踪学习的侧重点是帧间的相似性，根据第一帧中目标物体的初始状态(如位置，尺寸)，自动估计该目标物体在后续帧中的状态。在跟踪目标物体时，可以设置m张(预设张数)图像为一跟踪组，即一次跟踪m张图像，若有n个目标物体，根据第一帧图像给出的第一个目标物体的状态，依次在后续m-1张图像中跟踪该第一个目标物体，然后转而至第一张图像去跟踪第二个目标物体，当第二个目标物体的跟踪张数达到m时，转而至第一张图像去跟踪第三个目标物体，依次类推，直至在m张图像中跟踪完第n个目标物体。例如，如图10所示，图10(a)为第一帧中红绿灯(一目标物体)的初始位置示意图，图10(b)为第j帧中跟踪红绿灯的位置示意图，图10(c)为第m帧中跟踪红绿灯的位置示意图。当红绿灯在m张图像(一跟踪组)中跟踪完成时，会回到第一帧去跟踪下一个目标物体至第m张图像。

可以理解的是，m和n的具体数值可以根据实际情况而设置。

在本实施例中，通过设置跟踪组，对每个目标物体在跟踪组中依次跟踪，能更好的拟合实际情况，使用不同的场景。

在一些实施例中，目标识别模型是基于Cascade RCNN网络模型训练成的，所述Cascade RCNN网络模型包括依次排列的至少两个检测器，每个检测器对应一个并交比阈值，各所述并交比阈值呈逐渐增大的趋势，其中，所述目标识别模型为所述第一目标识别模型、第二目标识别模型、第三目标识别模型、第四目标识别模型、第五目标识别模型或第六目标识别模型中的任意一个。

可以理解的是，对于上述实施例中的第一目标识别模型、第二目标识别模型、第三目标识别模型、第四目标识别模型、第五目标识别模型或第六目标识别模型均可以是是基于Cascade RCNN网络模型训练成的。Cascade RCNN网络模型包括依次排列的至少两个检测器。每个检测器均会生成一系列的预测框，并将各预测框分类，分类依据是预测框与真实框的并交比(IOU)是否超过该检测器对应的并交比阈值，若一预测框对应的并交比大于并交比阈值则为正类，若小于等于并交比阈值则为负类。然后对属于正类的预测框进行边框回归，得到该预测框对应的边框回归结果(种类和位置)。每个检测器均接受上一级检测器输出的边框回归结果，再进行预测。

为了提高目标识别的准确性，各检测器对应的并交比阈值呈逐渐增大的趋势，例如，若该Cascade RCNN网络模型包括三个检测器，第一个检测器对应的并交比阈值为0.5，第一个检测器对应的并交比阈值为0.6，第三个检测器对应的并交比阈值为0.7，从而，每一级检测器的输出并交比都比其输入的并交比高，将高并交比的预测框输入高并交比阈值的检测器进行学习，可以实现输入预测框的并交比与检测器的训练并交比阈值尽可能匹配的目的，从而，能够提高目标识别的准确性。

在一些实施例中，所述方法还包括：对所述标注有标签的图像集进行图像增强处理。

可知，标注有标签的图像集用于作为训练样本。为了提高图像集的数据量以及质量，避免因数据量较少或受光照等影响，导致后续训练结果准确的问题，可以对标注有标签的图像集采用imgaug库进行数据增强，例如将图像变亮、变暗、裁剪、旋转或反转等。例如，若图像A的标注数据为a，图像A为光线极好的情况下获取的，相应的标注数据a为亮度较高的数据。将图像A进图像增强处理(变暗)后，得到图像B，相应的，图像B的标注数据b为亮度较低的数据，从而，使得图像集包括包括光线好与光线差两种情况下的标注数据，能够提高图像集中数据的多样性。

综上所述，本申请实施例中的自动标注标签的方法，通过获取图像集中的多张图像在时间上的连续情况，以及，图像集中的多张图像的标注情况，若多张图像在时间上连续，且所述多张图像中不存在有已标注好的图像，则采用目标跟踪模型预测各所述图像的标签，并对各所述图像分别标注对应的标签，从而，可以实现对图像集进行自动化打标签，无需人工标注，使得标注准确且效率高。

本发明另一实施例还提供了一种非暂态计算机可读存储介质，该非暂态计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令用于使电子设备执行上述任一实施例中的自动标注标签的方法。

需要说明的是，以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

通过以上的实施方式的描述，本领域普通技术人员可以清楚地了解到各实施方式可借助软件加通用硬件平台的方式来实现，当然也可以通过硬件。本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存储记忆体(Random Access Memory,RAM)等。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；在本发明的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本发明的不同方面的许多其它变化，为了简明，它们没有在细节中提供；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (11)

1.一种自动标注标签的方法，应用于由图像获取装置获取的图像集，所述图像集包括多张图像，其特征在于，所述方法包括：

获取所述图像集中的所述多张图像在时间上的连续情况；

若所述多张图像在时间上连续，则采用目标跟踪模型预测各所述图像的标签，并对各所述图像分别标注对应的标签，以获取标注有标签的图像集，所述标签包括各目标物体的种类和位置。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

若所述多张图像在时间上连续，则采用所述目标跟踪模型预测所述图像集中的多个第二图像的标签，并对各所述第二图像标注对应的标签，其中，所述多个第二图像包括所述图像集中的至少一个第一子图像集，所述第一子图像集中的图像在时间上连续；

根据标注有标签的所述多个第二图像，训练第一目标识别模型，并采用所述第一目标识别模型识别所述图像集中未标注有标签的图像的标签，并对所述图像集中未标注有标签的图像标注对应的标签，以获取标注有标签的图像集。

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：

获取所述图像集中的所述多张图像的标注情况；

若所述图像集中的多张图像在时间上连续，且所述多张图像中存在若干个第一图像，则采用所述目标跟踪模型预测所述图像集中未标注有标签的图像的标签，并对所述图像集中未标注有标签的图像标注对应的标签，以获取标注有标签的图像集，其中，所述第一图像为所述多张图像中标注有标签的图像；或，

若所述图像集中的多张图像在时间上连续，且所述多张图像中存在若干个所述第一图像，则根据若干个所述第一图像，训练第二目标识别模型，并采用所述第二目标识别模型识别所述图像集中未标注有标签的图像的标签，并对所述图像集中未标注有标签的图像标注对应的标签，以获取标注有标签的图像集；或，

若所述图像集中的多张图像在时间上连续，且所述多张图像中存在若干个所述第一图像，采用所述目标跟踪模型预测所述图像集中未标注有标签的图像中多个第三图像的标签，并对各所述第三图像分别标注对应的标签，其中，所述多个第三图像包括所述图像集中未标注有标签的图像中的至少一个第二子图像集，所述第二子图像集中的图像在时间上连续；

根据标注有标签的所述多个第一图像和/或标注有标签的所述多个第三图像，训练第三目标识别模型，并采用所述第三目标识别模型识别所述图像集中未标注有标签的图像的标签，并对各所述图像集中未标注有标签的图像标注对应的标签，以获取标注有标签的图像集。

4.根据权利要求3所述的方法，其特征在于，所述方法还包括：

若所述图像集中的多张图像在时间上不完全连续，且所述多张图像中存在若干个所述第一图像，则根据若干个所述第一图像，训练第四目标识别模型，并采用所述第四目标识别模型识别所述图像集中未标注有标签的图像的标签，并对所述图像集中未标注有标签的图像分别标注对应的标签，以获取标注有标签的图像集。

5.根据权利要求4所述的方法，其特征在于，所述方法还包括：

若所述图像集中的多张图像在时间上不完全连续，且所述多张图像中存在若干个所述第一图像，则：

对所述图像集按时间连续性划分成多个第三子图像集，每个所述第三子图像集中的各图像在时间上连续；

分别采用所述目标跟踪模型预测各所述第三子图像集中未标注有标签的图像的标签，并对各所述第三子图像集中未标注有标签的图像标注对应的标签，或，分别采用所述目标跟踪模型预测至少一个第三子图像集中未标注有标签的图像的标签，并对所述至少一个第三子图像集中未标注有标签的图像标注对应的标签，根据标注有标签的多个所述第一图像和/或标注有标签的所述至少一个第三子图像集中的图像，训练第五目标识别模型，采用所述第五目标识别模型识别所述图像集中未标注有标签的图像的标签，并对所述图像集中未标注有标签的图像分别标注对应的标签，以获取标注有标签的图像集。

6.根据权利要求3所述的方法，其特征在于，所述方法还包括：

若所述图像集中的多张图像在时间上不完全连续，且所述多张图像中不存在若干个所述第一图像，则：

对所述图像集按时间连续性划分成多个第四子图像集，每个所述第四子图像集中的各图像在时间上连续；

分别采用所述目标跟踪模型预测至少一个第四子图像集中图像的标签，并对所述至少一个第四子图像集中的图像标注对应的标签；

根据标注有标签的所述至少一个第四子图像集中的图像，训练第六目标识别模型，采用所述第六目标识别模型识别所述图像集中未标注有标签的图像，并对所述图像集中未标注有标签的图像分别标签对应的标签，以获取标注有标签的图像集。

7.根据权利要求1-6任一项所述的方法，其特征在于，当采用目标跟踪模型预测图像的标签时，以预设张数图像为一跟踪组，对所述各目标物体分别依次在所述跟踪组中进行跟踪，直到所述各目标物体均在所述跟踪组完成跟踪。

8.根据权利要求2-6任一项所述的方法，其特征在于，目标识别模型是基于CascadeRCNN网络模型训练成的，所述Cascade RCNN网络模型包括依次排列的至少两个检测器，每个检测器对应一个并交比阈值，各所述并交比阈值呈逐渐增大的趋势，其中，所述目标识别模型为所述第一目标识别模型、第二目标识别模型、第三目标识别模型、第四目标识别模型、第五目标识别模型或第六目标识别模型中的任意一个。

9.根据权利要求1-6任一项所述的方法，其特征在于，所述方法还包括：

对所述标注有标签的图像集进行图像增强处理。

10.一种电子设备，其特征在于，包括：

至少一个处理器，以及

与所述至少一个处理器通信连接的存储器，其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-9任一项所述的方法。

11.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使电子设备执行如权利要求1-9任一项所述的方法。

Images