CN110781859A - 图像标注方法、装置、计算机设备和存储介质 - Google Patents

Abstract

本申请提供了一种图像标注方法、装置、计算机设备和存储介质。所述方法包括：获取视频流数据；所述视频流数据包括多帧图像；加载多个元素识别模型；通过所述多个元素识别模型处理所述多帧图像，得到每帧图像所对应的一个或多个元素类别；从所述多帧图像对应的元素类别中筛选符合标注条件的目标元素类别；对所述目标元素类别所对应的图像中的元素进行标注。采用本方法能够提高图像标注效率。

Description

图像标注方法、装置、计算机设备和存储介质

技术领域

本申请涉及计算机技术领域，特别是涉及一种图像标注方法、装置、计算机设备和存储介质。

背景技术

近年来，随着机器学习和深度学习技术的发展，越来越多的用户使用深度学习技术对图像物体进行检测。而基于深度学习的图像物体检测技术需要准确地标注大量图像数据，以此为深度学习提供样本数据。

目前，常用的图像标注方法是标注员从大量视频流数据中，通过人为观察对视频流中的图像所包含的物体进行标注。该方法需要对大量的视频流数据进行标记，耗费人力和时间，导致图像标注的效率较低。

发明内容

基于此，有必要针对上述技术问题，提供一种能够提高图像标注效率的方法、装置、计算机设备和存储介质。

一种图像标注方法，所述方法包括：

获取视频流数据；所述视频流数据包括多帧图像；

加载多个元素识别模型；通过所述多个元素识别模型处理所述多帧图像，得到每帧图像所对应的一个或多个元素类别；

从所述多帧图像对应的元素类别中筛选符合标注条件的目标元素类别；

对所述目标元素类别所对应的图像中的元素进行标注。

在一个实施例中，所述多帧图像包括模糊图像和标准图像；所述方法还包括：

通过模糊检测算法处理所述多帧图像，得到所述模糊图像的图像标识；

根据所述模糊图像的图像标识确定所述标准图像；

通过图像去重算法对所述标准图像去重，得到去重后的标准去重图像；

对所述标准去重图像中的元素进行标注。

在一个实施例中，所述通过模糊检测算法处理所述多帧图像，得到所述模糊图像的图像标识包括：

对所述多帧图像的每帧图像划分区域，得到每帧图像对应的多个区域；

通过模糊检测算法提取每个区域的区域模糊特征；

将所述区域模糊特征按序拼接，得到每帧图像对应的全局模糊特征；

根据所述全局模糊特征对每帧图像进行模糊检测，得到所述模糊图像的图像标识。

在一个实施例中，所述通过图像去重算法对所述标准图像去重，得到去重后的标准去重图像包括：

对所述多帧图像的每帧图像划分区域，得到每帧图像对应的多个区域；

通过图像去重算法提取每个区域的区域图像特征；

计算当前帧图像中每个区域的区域图像特征和位于当前帧顺序之前的预设帧数的每个图像的相同区域的区域图像特征的相似度；得到所述当前帧图像中每个区域所对应的所述预设帧数的相似度值；

根据所述相似度值大于第一阈值的数量与所述预设帧数，得到所述多帧图像中存在重复图像的图像标识；

根据所述重复图像的图像标识确定去重后的标准去重图像。

在一个实施例中，所述元素识别模型的生成方式包括：

获取样本视频流和已知标签，所述样本视频流包括多帧样本图像；

通过待训练的元素识别模型对所述样本图像进行特征提取，得到样本图像的参考特征；

确定所述参考特征与对应的所述已知标签的损失值；

根据所述损失值调整所述元素识别模型中的模型参数，直至所确定的损失值达到训练停止条件。

在一个实施例中，所述标注条件包括待标注图像的元素类别；所述从所述多帧图像对应的元素类别中筛选符合标注条件的目标元素类别包括：

当所述多帧图像所包含的元素类别不包含所述待标注图像的元素类别时，根据元素类别之间的关联关系，筛选与所述待标注图像的元素类别相关联的元素类别；

将筛选得到的元素类别作为符合所述标注条件的目标元素类别。

在一个实施例中，所述方法还包括：

当对所述目标元素类别所对应的图像中的元素进行标注后，存储所述图像的图像标识、所述元素的元素类别和所述元素的位置的对应关系。

一种图像标注装置，所述装置包括：

数据获取模块，用于获取视频流数据；所述视频流数据包括多帧图像；

元素识别模块，用于加载多个元素识别模型；通过所述多个元素识别模型处理所述多帧图像，得到每帧图像所对应的一个或多个元素类别；

元素类别筛选模块，用于从所述多帧图像对应的元素类别中筛选符合标注条件的目标元素类别；

元素标注模块，用于对所述目标元素类别所对应的图像中的元素进行标注。

在一个实施例中，所述装置还包括图像筛选模块，用于通过模糊检测算法处理所述多帧图像，得到所述模糊图像的图像标识；根据所述模糊图像的图像标识确定所述标准图像；通过图像去重算法对所述标准图像去重，得到去重后的标准去重图像；对所述标准去重图像中的元素进行标注。

在一个实施例中，所述图像筛选模块还用于对所述多帧图像的每帧图像划分区域，得到每帧图像对应的多个区域；通过模糊检测算法提取每个区域的区域模糊特征；将所述区域模糊特征按序拼接，得到每帧图像对应的全局模糊特征；根据所述全局模糊特征对每帧图像进行模糊检测，得到所述模糊图像的图像标识。

在一个实施例中，所述图像筛选模块还用于对所述多帧图像的每帧图像划分区域，得到每帧图像对应的多个区域；通过图像去重算法提取每个区域的区域图像特征；计算当前帧图像中每个区域的区域图像特征和位于当前帧顺序之前的预设帧数的每个图像的相同区域的区域图像特征的相似度；得到所述当前帧图像中每个区域所对应的所述预设帧数的相似度值；根据所述相似度值大于第一阈值的数量与所述预设帧数，得到所述多帧图像中存在重复图像的图像标识；根据所述重复图像的图像标识确定去重后的标准去重图像。

在一个实施例中，所述装置还包括元素识别模型生成模块，用于获取样本视频流和已知标签，所述样本视频流包括多帧样本图像；通过待训练的元素识别模型对所述样本图像进行特征提取，得到样本图像的参考特征；确定所述参考特征与对应的所述已知标签的损失值；根据所述损失值调整所述元素识别模型中的模型参数，直至所确定的损失值达到训练停止条件。

在一个实施例中，所述元素类别筛选模块还用于当所述多帧图像所包含的元素类别不包括所述待标注图像的元素类别时，根据元素类别之间的关联关系，筛选与所述待标注图像的元素类别相关联的元素类别；将筛选得到的元素类别作为符合所述标注条件的目标元素类别。

在一个实施例中，所述装置还包括标注图像存储模块，用于当对所述目标元素类别所对应的图像中的元素进行标注后，存储所述图像的图像标识、所述元素的元素类别和所述元素的位置的对应关系。

一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述图像标注方法的步骤。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述图像标注方法的步骤。

上述图像标注方法、装置、计算机设备和存储介质，基于获取到的视频流数据，通过加载的多个元素识别模型对视频流数据中的多帧图像进行识别，得到每帧图像对应的一个或多个元素类别，通过元素类别可以有效的给视频流数据中的多帧图像进行元素标记，为后续的图像标注提供了索引基础；进一步，从多帧图像对应的元素类别中筛选符合标注条件的目标元素类别，基于目标元素类别对应的图像的元素进行标注，缩小了标注图像的范围，减少图像标注的工作量，提高标注效率。

附图说明

图1为一个实施例中图像标注方法的应用场景图；

图2为一个实施例中图像标注方法的流程示意图；

图3a为一个实施例中图像区域划分的示意图；

图3b为另一个实施例中图像区域划分的示意图；

图4为一个实施例中图像标注装置的结构框图；

图5为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本申请提供的图像标注方法，可以应用于如图1所示的应用环境中。该图像标注方法应用于图像标注系统中。该图像标注系统包括终端102与服务器104。其中，终端102与服务器104通过网络进行通信。终端102从服务器104中获取视频流数据，并加载多个元素识别模型，通过多个元素识别模型处理视频流中的多帧图像，从而得到每帧图像对应的元素类别，进而从多帧图像对应的元素类别中筛选出符合条件的目标元素类别，并对筛选出的目标元素类别所对应的图像中的元素进行标注。其中，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备，服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。

在一个实施例中，如图2所示，提供了一种图像标注方法，以该方法应用于图1中的终端为例进行说明，包括以下步骤：

步骤S202，获取视频流数据；视频流数据包括多帧图像。

其中，视频是由多帧具有时间顺序的图像组成的。视频流是指视频数据的传输形式，通过一种稳定和连续的流形式进行传输。视频流数据包括按序排列的多帧图像，视频流数据的传输是指将多帧图像按顺序通过视频流进行传输。

具体地，服务器中存储有大量的视频流数据，终端在预设时间从服务器中获取视频流数据，并对获取的视频流数据进行视频解码，得到具有统一图片格式的多帧图像。服务器也可以直接将存储的视频流数据按序传输至终端。

在其中一个实施例中，视频流数据可以通过光学组件实时或在预设时间采集视频，并按照采集时间和采集地点封装成视频流数据，进而将采集好的视频流数据传输至服务器进行存储。其中，光学组件是依据光学原理对目标物体进行感光成像，并形成视频流数据的组件。光学组件包括光学传感器，光学传感器可以是摄像头。

步骤S204，加载多个元素识别模型；通过多个元素识别模型处理多帧图像，得到每帧图像所对应的一个或多个元素类别。

其中，元素识别模型是指通过具有相同图像元素的样本图像对元素识别模型进行训练，得到具有识别该图像元素的识别模型，元素识别模型与元素具有一一映射关系。每个元素具有唯一区分各图像元素的元素类别。

具体地，存储器中存储有多个元素识别模型，在终端获取到视频流数据时，终端从存储器中加载多个元素识别模型，通过元素识别模型对获取到的视频流数据中的多帧图像进行元素识别，得到每帧图像所对应的一个或多个元素类别。元素类别可以采用数字、字母、字符中的一种或多种组合。

在其中一个实施例中，元素识别模型的生成方式包括：获取样本视频流和已知标签，样本视频流包括多帧样本图像；通过待训练的元素识别模型对样本图像进行特征提取，得到样本图像的参考特征；确定参考特征与对应的已知标签的损失值；根据损失值调整元素识别模型中的模型参数，直至所确定的损失值达到训练停止条件。

其中，样本视频流数据包括按序排列的多帧样本图像。参考特征是待训练的元素识别模型对样本图像进行识别后所得的预测标签。随着元素识别模型的训练次数增加，参考特征也会变化。训练停止条件是视频流数据中各个样本图像中的参考特征与已知标签的损失值达到预设范围内。

具体地，终端获取样本视频流数据和对应的已知标签，通过运行在终端上的待训练元素识别模型对样本视频流中的多帧图像进行特征提取，得到样本图像特征集合；进而对提取到的样本图像特征集合中的元素进行识别，得到每个样本图像对应的参考特征，通过损失函数计算参考特征与对应的已知标签的损失值，根据损失值进一步调整待训练的元素识别模型中的模型参数，直到计算得到的损失值达到训练停止条件，得到已训练好的元素识别模型。在本实施例中，根据样本视频流数据对元素识别模型进行训练，以此得到训练好的元素识别模型，从而更好的对视频流数据进行特征提取和识别，提高了特征提取的准确度，由此使得对图像中的元素的识别结果更精确。

在其中一个实施例中，通过多个元素识别模型处理多帧图像之前，还包括终端按照预设间隔帧数从按序排列的多帧图像中筛选图像，得到筛选后的图像流数据，其中图像流数据包括多帧图像，预设间隔帧数可以选取23帧。

步骤S206，从多帧图像对应的元素类别中筛选符合标注条件的目标元素类别。

具体地，基于多帧图像对应的全部元素类别，终端可以根据预先设置的标注条件从该元素类比中筛选与待标注图像的元素类别一致的元素类别作为目标元素类别。终端也可以获取用户输入的标注条件，从全部元素类别中选取符合待标注图像的元素类的元素类别作为目标元素类别。终端检测到用户输入的标注条件，获取标注条件所携带的待标注图像的元素类别，从多帧图像对应的元素类别中筛选与待标注图像的元素类别一致的目标元素类别。其中，标注条件包括标注待标注图像的元素类别。

在其中一个实施例中，从多帧图像对应的元素类别中筛选符合标注条件的目标元素类别包括：当多帧图像所包含的元素类别不包含待标注图像的元素类别时，根据元素类别之间的关联关系，筛选与待标注图像的元素类别相关联的元素类别；将筛选得到的元素类别作为符合标注条件的目标元素类别。

具体地，由于终端存储的元素识别模型有限，对视频流数据中的每帧图像进行元素识别，得到每帧图像对应的一个或多个元素类别，将每帧图像对应的元素类别进行合并，得到视频流数据对应的元素类别集合。当该元素类别集合不包含待标注图像的元素类别时，根据预先构建的元素类别与元素类别之间的映射关系，从该映射关系中筛选与待标注图像的元素类别对应的元素类别作为目标元素类别。

例如，用户要标注的图像元素是“耳机”，但是终端内存储的元素识别模型不包含耳机元素的识别模型，因此，对应的视频流数据的元素类别集合中也不包含耳机元素类别，此时，可以根据元素类别之间的关联关系，筛选与耳机相关的其他元素类别作为目标元素类别，比如可以筛选出手机元素类别作为目标元素类别，因为图像中出现手机，及有可能也会出现耳机，因此也可以通过相关联的元素类别进一步缩小标注图像的范围，减少图像标注的工作量，提高标注效率。

步骤S208，对目标元素类别所对应的图像中的元素进行标注。

具体地，基于筛选得到的目标元素类别，终端从视频流数据的多帧图像中筛选所有包含目标元素类别的图像作为待标注图像，进一步，对待标注图像的元素进行标注。终端将待标注图像按时间顺序排序，将时间顺序位于首位的图像展示在终端界面上，当检测到标注触发指令时，获取用户输入的标注线框，根据该标注线框在当前帧图像中的位置确定标注线框的位置坐标，在检测到用户触发的保存指令时，执行对已标注图像的保存操作。其中标注线框的位置坐标包括标注线框的左上角的位置坐标，以及标注线框的右下角的位置坐标。

在其中一个实施例中，上述方法还包括：当对目标元素类别所对应的图像中的元素进行标注后，存储图像的图像标识、元素的元素类别和元素的位置的对应关系。其中，元素的位置包括标注线框的位置坐标。

例如，终端将待标注的当前帧图像展示在标注界面上，用户按下鼠标左键并且拖动鼠标，出现标注线框，通过标注线框对待需标注的元素进行标注，然后用户松开鼠标左键，在标注界面上展示出该元素对应的元素类别，用户在核对该元素类别无误后，点击保存按钮，终端将图像的图像标识、已标注元素的元素类别以及标注线框的位置坐标进行对应存储。

在上述实施例中，基于获取到的视频流数据，通过加载的多个元素识别模型对视频流数据中的多帧图像进行识别，得到每帧图像对应的一个或多个元素类别，通过元素类别可以有效的给视频流数据中的多帧图像进行元素标记，为后续的图像标注提供了索引基础；进一步，从多帧图像对应的元素类别中筛选符合标注条件的目标元素类别，基于目标元素类别对应的图像的元素进行标注，缩小了标注图像的范围，减少图像标注的工作量，提高标注效率。

在一个实施例中，多帧图像包括模糊图像和标准图像；上述方法还包括：通过模糊检测算法处理多帧图像，得到模糊图像的图像标识；根据模糊图像的图像标识确定标准图像；通过图像去重算法对标准图像去重，得到去重后的标准去重图像；对标准去重图像中的元素进行标注。

具体地，基于多帧图像所包含的模糊图像和标准图像，采用模糊检测算法对多帧图像中的模糊图像进行去模糊，得到迷糊图像的图像标识，从而可以根据模糊图像的图像标识从多帧图像中筛选得到标准图像。进一步，采用去重算法对标准图像进行去重，将相似度较高的多帧图像去重，仅保留一帧图像，以此得到标准去重图像，加载多个元素识别模型，通过多个元素识别模型处理标准去重图像，得到每帧标准去重图像所对应的一个或多个元素类别；从多帧图像对应的元素类别中筛选符合标注条件的目标元素类别；对目标元素类别所对应的图像中的元素进行标注。

在其中一个实施例中，上述方法还包括：通过图像去重算法对多帧图像去重，得到去重后的标准去重图像；对标准去重图像中的元素进行标注。

在其中一个实施例中，多帧图像包括模糊图像和标准图像；上述方法还包括：通过模糊检测算法处理多帧图像，得到模糊图像的图像标识；根据模糊图像的图像标识确定标准图像；对标准去重图像中的元素进行标注。

在其中一个实施例中，多帧图像包括模糊图像和标准图像；上述方法还包括：通过图像去重算法对多帧图像去重，得到去重后的去重图像；通过模糊检测算法处理去重图像，得到模糊图像的图像标识；根据模糊图像的图像标识确定标准去重图像；对标准去重图像中的元素进行标注。

在其中一个实施例中，通过模糊检测算法处理多帧图像，得到模糊图像的图像标识包括：对多帧图像的每帧图像划分区域，得到每帧图像对应的多个区域；通过模糊检测算法提取每个区域的区域模糊特征；将区域模糊特征按序拼接，得到每帧图像对应的全局模糊特征；根据全局模糊特征对每帧图像进行模糊检测，得到模糊图像的图像标识。

具体地，基于获取到的视频流数据的多帧图像，终端对多帧图像进行区域划分，得到每帧图像对应的多个区域，进而采用模糊检测算法对每帧图像中提取每个区域的模糊特征，进而将提取到的多个区域的模糊特征进行拼接得到对应帧图像的全局模糊特征，终端基于全局模糊特征对每帧图像进行模糊检测，识别出视频流数据中存在模糊图像的图像标识。

在其中一个实施例中，可以对图像划分为从内向外逐个包围的多个区域，如图3a所示，提供了图像区域划分的示意图，从图中可以得到，当前帧图像被划分为四个区域1，2，3，4，为了区分各个区域，分别用区域标识来标识(图中采用数字1～4标记)。这四个区域从内向外逐个包围。在本实施例中，所划分的从内向外逐个包围的多个区域包括多个环形区域。在本实施例中，通过这种区域划分方式，能够更突出图像中关注对象集中出现的区域，从而可以对图像中出现的前景和背景的模糊分别进行提取，便于对图像模糊的准确分类。

在其中一个实施例中，提取每个区域的模糊特征包括将当前帧图像平均划分为相同尺寸大小的块，块的尺寸小于区域的尺寸，此时每个区域与块会存在交叠状态的块，即一个区域与多个块存在交叠；提取对应区域中存在交叠状态的块的图像特征作为该区域的模糊特征。也可以通过块进行小波变换的结果构造区域的模糊特征、通过对块进行三角函数变换的结果来构造区域的模糊特征等方法来提取么每个区域中的模糊特征。

在其中一个实施例中，通过图像去重算法对标准图像去重，得到去重后的标准去重图像包括：对多帧图像的每帧图像划分区域，得到每帧图像对应的多个区域；通过图像去重算法提取每个区域的区域图像特征；计算当前帧图像中每个区域的区域图像特征和位于当前帧顺序之前的预设帧数的每个图像的相同区域的区域图像特征的相似度；得到当前帧图像中每个区域所对应的预设帧数的相似度值；根据相似度值大于第一阈值的数量与预设帧数，得到多帧图像中存在重复图像的图像标识；根据重复图像的图像标识确定去重后的标准去重图像。

具体地，终端将多帧图像的每帧图像进行区域划分，得到每帧图像对应的多个区域，采用去重算法对每个区域进行图像特征提取得到区域图像特征，进一步，将当前帧图像与位于当前帧顺序之前的预设帧数的图像进行相似度比较，计算当前帧图像中每个区域的区域图像特征和位于当前帧顺序之前的预设帧数的每个图像的相同区域的区域图像特征的相似度，从而得到当前帧图像中每个区域所对应的预设帧数的相似度值，计算相似度值大于第一阈值的数量与预设帧数的比值，得到区域比值；当前帧图像包括预设区域数的区域，计算区域比值超过第二阈值的数量与预设区域数的比值，得到图像比值；当该图像比值超出第三阈值时，判定当前帧图像为重复图像。对于每帧图像，反复执行上述当前帧图像的步骤，得到数据流数据中存在重复图像的图像标识；从多帧图像对应的图像标识中删除重复图像的图像标识，得到去重后的标准去重图像。

在其中一个实施例中，对图像划分区域包括将图像平均划分为相同尺的多个区域，如图3a所示，提供了图像区域划分的示意图，从图中可以得到，当前帧图像被划分为12个相同尺寸的区域，分别用区域标记来标识(图中采用数字1～12标记)。

在本实施例中，通过对多帧图像进行去模糊和去重处理，删减了质量较差的图像，以及对标注效果没有意义的重复图像，为后续的元素识别提供了质量较高的图像，进而提升了元素识别的准确性，以此提高标注效率。

应该理解的是，虽然图2、3a、3b的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2、3a、3b中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中，如图4所示，提供了一种图像标注装置400，包括：数据获取模块402、元素识别模块404、元素类别筛选模块406和元素标注模块408，其中：

数据获取模块402，用于获取视频流数据；视频流数据包括多帧图像。

元素识别模块404，用于加载多个元素识别模型；通过多个元素识别模型处理多帧图像，得到每帧图像所对应的一个或多个元素类别。

元素类别筛选模块406，用于从多帧图像对应的元素类别中筛选符合标注条件的目标元素类别。

元素标注模块408，用于对目标元素类别所对应的图像中的元素进行标注。

在其中一个实施例中，上述装置还包括图像筛选模块，用于通过模糊检测算法处理多帧图像，得到模糊图像的图像标识；根据模糊图像的图像标识确定标准图像；通过图像去重算法对标准图像去重，得到去重后的标准去重图像；对标准去重图像中的元素进行标注。

在其中一个实施例中，上述图像筛选模块还用于对多帧图像的每帧图像划分区域，得到每帧图像对应的多个区域；通过模糊检测算法提取每个区域的区域模糊特征；将区域模糊特征按序拼接，得到每帧图像对应的全局模糊特征；根据全局模糊特征对每帧图像进行模糊检测，得到模糊图像的图像标识。

在其中一个实施例中，上述图像筛选模块还用于对多帧图像的每帧图像划分区域，得到每帧图像对应的多个区域；通过图像去重算法提取每个区域的区域图像特征；计算当前帧图像中每个区域的区域图像特征和位于当前帧顺序之前的预设帧数的每个图像的相同区域的区域图像特征的相似度；得到当前帧图像中每个区域所对应的预设帧数的相似度值；根据相似度值大于第一阈值的数量与预设帧数，得到多帧图像中存在重复图像的图像标识；根据重复图像的图像标识确定去重后的标准去重图像。

在其中一个实施例中，上述装置还包括模型生成模块，用于获取样本视频流和已知标签，样本视频流包括多帧样本图像；通过待训练的元素识别模型对样本图像进行特征提取，得到样本图像的参考特征；确定参考特征与对应的已知标签的损失值；根据损失值调整元素识别模型中的模型参数，直至所确定的损失值达到训练停止条件。

在其中一个实施例中，上述元素类别筛选模块还用于当多帧图像所包含的元素类别不包含待标注图像的元素类别时，根据元素类别之间的关联关系，筛选与待标注图像的元素类别相关联的元素类别；将筛选得到的元素类别作为符合标注条件的目标元素类别。

在其中一个实施例中，上述装置还包括存储模块，用于当对目标元素类别所对应的图像中的元素进行标注后，存储图像的图像标识、元素的元素类别和元素的位置的对应关系。

在本实施例中，基于获取到的视频流数据，通过加载的多个元素识别模型对视频流数据中的多帧图像进行识别，得到每帧图像对应的一个或多个元素类别，通过元素类别可以有效的给视频流数据中的多帧图像进行元素标记，为后续的图像标注提供了索引基础；进一步，从多帧图像对应的元素类别中筛选符合标注条件的目标元素类别，基于目标元素类别对应的图像的元素进行标注，缩小了标注图像的范围，减少图像标注的工作量，提高标注效率。

关于图像标注装置的具体限定可以参见上文中对于图像标注方法的限定，在此不再赘述。上述图像标注装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图5所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种图像标注方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图5中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，该存储器存储有计算机程序，该处理器执行计算机程序时实现以下步骤：获取视频流数据；视频流数据包括多帧图像；加载多个元素识别模型；通过多个元素识别模型处理多帧图像，得到每帧图像所对应的一个或多个元素类别；从多帧图像对应的元素类别中筛选符合标注条件的目标元素类别；对目标元素类别所对应的图像中的元素进行标注。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：通过模糊检测算法处理多帧图像，得到模糊图像的图像标识；根据模糊图像的图像标识确定标准图像；通过图像去重算法对标准图像去重，得到去重后的标准去重图像；对标准去重图像中的元素进行标注。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：对多帧图像的每帧图像划分区域，得到每帧图像对应的多个区域；通过模糊检测算法提取每个区域的区域模糊特征；将区域模糊特征按序拼接，得到每帧图像对应的全局模糊特征；根据全局模糊特征对每帧图像进行模糊检测，得到模糊图像的图像标识。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：对多帧图像的每帧图像划分区域，得到每帧图像对应的多个区域；通过图像去重算法提取每个区域的区域图像特征；计算当前帧图像中每个区域的区域图像特征和位于当前帧顺序之前的预设帧数的每个图像的相同区域的区域图像特征的相似度；得到当前帧图像中每个区域所对应的预设帧数的相似度值；根据相似度值大于第一阈值的数量与预设帧数，得到多帧图像中存在重复图像的图像标识；根据重复图像的图像标识确定去重后的标准去重图像。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：获取样本视频流和已知标签，样本视频流包括多帧样本图像；通过待训练的元素识别模型对样本图像进行特征提取，得到样本图像的参考特征；确定参考特征与对应的已知标签的损失值；根据损失值调整元素识别模型中的模型参数，直至所确定的损失值达到训练停止条件。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：当多帧图像所包含的元素类别不包含待标注图像的元素类别时，根据元素类别之间的关联关系，筛选与待标注图像的元素类别相关联的元素类别；将筛选得到的元素类别作为符合标注条件的目标元素类别。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：当对目标元素类别所对应的图像中的元素进行标注后，存储图像的图像标识、元素的元素类别和元素的位置的对应关系。

在本实施例中，基于获取到的视频流数据，通过加载的多个元素识别模型对视频流数据中的多帧图像进行识别，得到每帧图像对应的一个或多个元素类别，通过元素类别可以有效的给视频流数据中的多帧图像进行元素标记，为后续的图像标注提供了索引基础；进一步，从多帧图像对应的元素类别中筛选符合标注条件的目标元素类别，基于目标元素类别对应的图像的元素进行标注，缩小了标注图像的范围，减少图像标注的工作量，提高标注效率。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：获取视频流数据；视频流数据包括多帧图像；加载多个元素识别模型；通过多个元素识别模型处理多帧图像，得到每帧图像所对应的一个或多个元素类别；从多帧图像对应的元素类别中筛选符合标注条件的目标元素类别；对目标元素类别所对应的图像中的元素进行标注。

在一个实施例中，计算机程序被处理器执行时实现以下步骤：通过模糊检测算法处理多帧图像，得到模糊图像的图像标识；根据模糊图像的图像标识确定标准图像；通过图像去重算法对标准图像去重，得到去重后的标准去重图像；对标准去重图像中的元素进行标注。

在一个实施例中，计算机程序被处理器执行时实现以下步骤：对多帧图像的每帧图像划分区域，得到每帧图像对应的多个区域；通过模糊检测算法提取每个区域的区域模糊特征；将区域模糊特征按序拼接，得到每帧图像对应的全局模糊特征；根据全局模糊特征对每帧图像进行模糊检测，得到模糊图像的图像标识。

在一个实施例中，计算机程序被处理器执行时实现以下步骤：对多帧图像的每帧图像划分区域，得到每帧图像对应的多个区域；通过图像去重算法提取每个区域的区域图像特征；计算当前帧图像中每个区域的区域图像特征和位于当前帧顺序之前的预设帧数的每个图像的相同区域的区域图像特征的相似度；得到当前帧图像中每个区域所对应的预设帧数的相似度值；根据相似度值大于第一阈值的数量与预设帧数，得到多帧图像中存在重复图像的图像标识；根据重复图像的图像标识确定去重后的标准去重图像。

在一个实施例中，计算机程序被处理器执行时实现以下步骤：获取样本视频流和已知标签，样本视频流包括多帧样本图像；通过待训练的元素识别模型对样本图像进行特征提取，得到样本图像的参考特征；确定参考特征与对应的已知标签的损失值；根据损失值调整元素识别模型中的模型参数，直至所确定的损失值达到训练停止条件。

在一个实施例中，计算机程序被处理器执行时实现以下步骤：当多帧图像所包含的元素类别不包含待标注图像的元素类别时，根据元素类别之间的关联关系，筛选与待标注图像的元素类别相关联的元素类别；将筛选得到的元素类别作为符合标注条件的目标元素类别。

在一个实施例中，计算机程序被处理器执行时实现以下步骤：当对目标元素类别所对应的图像中的元素进行标注后，存储图像的图像标识、元素的元素类别和元素的位置的对应关系。

在本实施例中，基于获取到的视频流数据，通过加载的多个元素识别模型对视频流数据中的多帧图像进行识别，得到每帧图像对应的一个或多个元素类别，通过元素类别可以有效的给视频流数据中的多帧图像进行元素标记，为后续的图像标注提供了索引基础；进一步，从多帧图像对应的元素类别中筛选符合标注条件的目标元素类别，基于目标元素类别对应的图像的元素进行标注，缩小了标注图像的范围，减少图像标注的工作量，提高标注效率。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种图像标注方法，所述方法包括：

获取视频流数据；所述视频流数据包括多帧图像；

加载多个元素识别模型；通过所述多个元素识别模型处理所述多帧图像，得到每帧图像所对应的一个或多个元素类别；

从所述多帧图像对应的元素类别中筛选符合标注条件的目标元素类别；

对所述目标元素类别所对应的图像中的元素进行标注。

2.根据权利要求1所述的方法，其特征在于，所述多帧图像包括模糊图像和标准图像；所述方法还包括：

通过模糊检测算法处理所述多帧图像，得到所述模糊图像的图像标识；

根据所述模糊图像的图像标识确定所述标准图像；

通过图像去重算法对所述标准图像去重，得到去重后的标准去重图像；

对所述标准去重图像中的元素进行标注。

3.根据权利要求2所述的方法，其特征在于，所述通过模糊检测算法处理所述多帧图像，得到所述模糊图像的图像标识包括：

对所述多帧图像的每帧图像划分区域，得到每帧图像对应的多个区域；

通过模糊检测算法提取每个区域的区域模糊特征；

将所述区域模糊特征按序拼接，得到每帧图像对应的全局模糊特征；

根据所述全局模糊特征对每帧图像进行模糊检测，得到所述模糊图像的图像标识。

4.根据权利要求2所述的方法，其特征在于，所述通过图像去重算法对所述标准图像去重，得到去重后的标准去重图像包括：

对所述多帧图像的每帧图像划分区域，得到每帧图像对应的多个区域；

通过图像去重算法提取每个区域的区域图像特征；

计算当前帧图像中每个区域的区域图像特征和位于当前帧顺序之前的预设帧数的每个图像的相同区域的区域图像特征的相似度；得到所述当前帧图像中每个区域所对应的所述预设帧数的相似度值；

根据所述相似度值大于第一阈值的数量与所述预设帧数，得到所述多帧图像中存在重复图像的图像标识；

根据所述重复图像的图像标识确定去重后的标准去重图像。

5.根据权利要求1所述的方法，其特征在于，所述元素识别模型的生成方式包括：

获取样本视频流和已知标签，所述样本视频流包括多帧样本图像；

通过待训练的元素识别模型对所述样本图像进行特征提取，得到样本图像的参考特征；

确定所述参考特征与对应的所述已知标签的损失值；

根据所述损失值调整所述元素识别模型中的模型参数，直至所确定的损失值达到训练停止条件。

6.根据权利要求1所述的方法，其特征在于，所述标注条件包括待标注图像的元素类别；所述从所述多帧图像对应的元素类别中筛选符合标注条件的目标元素类别包括：

当所述多帧图像所包含的元素类别不包含所述待标注图像的元素类别时，根据元素类别之间的关联关系，筛选与所述待标注图像的元素类别相关联的元素类别；

将筛选得到的元素类别作为符合所述标注条件的目标元素类别。

7.根据权利要求1至6中任意一项所述的方法，其特征在于，所述方法还包括：

当对所述目标元素类别所对应的图像中的元素进行标注后，存储所述图像的图像标识、所述元素的元素类别和所述元素的位置的对应关系。

8.一种图像标注装置，其特征在于，所述装置包括：

数据获取模块，用于获取视频流数据；所述视频流数据包括多帧图像；

元素识别模块，用于加载多个元素识别模型；通过所述多个元素识别模型处理所述多帧图像，得到每帧图像所对应的一个或多个元素类别；

元素类别筛选模块，用于从所述多帧图像对应的元素类别中筛选符合标注条件的目标元素类别；

元素标注模块，用于对所述目标元素类别所对应的图像中的元素进行标注。

9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。

Images