CN112884055A - 一种目标标注方法和一种目标标注装置 - Google Patents

Abstract

本发明公开了一种目标标注方法和目标标注装置。方法包括：使用训练后的目标检测模型标注预测图片集合，得到预测框信息，预测图片集合中包含已标注的图片和未标注的图片；从预测框中，筛选出与已标注目标重合程度低于预设值或缺少已标注目标的预测框；使用搭建并训练过的分类网络对筛选出的预测框进行分类，分类网络由已标注目标及其背景图像训练得到；若该预测框的分类结果与该预测框的预测类别一致，则将该预测框信息写入标注文件。本申请使用训练后的模型标注预测图片集合，并筛选出与已标注目标重合程度低于预设值或缺少已标注目标的预测框，利用分类网络进行分类检验，实现对目标标注的智能实现和结果检验，可提高目标标注的效率和准确度。

Description

一种目标标注方法和一种目标标注装置

技术领域

本发明涉及目标标注技术领域，特别涉及一种目标标注方法和一种目标标注装置。

背景技术

近几年，传统制造正逐渐向智能制造转变。传统的人工标注，容易随着标注人员疲惫的增加造成精确度与效率的降低，并且人工标注容易伴随着判断标准变化而产生不稳定。首先，人为判断的标准不能保证持续稳定，其次，人工容易受工作量大的影响，产生疲惫与积极性的下降，从而导致工作的准确性下降，因此如果在大批量(几千到上万张图片需要标注)需要标注的工作面前，就需要借助智能办法实现。深度学习是智能制造的重要一环，因此用于深度学习的图像正确和快速的标注，显得较为重要。

发明内容

鉴于现有技术大批量图像人工标注工作易出现错误、不稳定的问题，提出了本申请的一种目标标注方法和一种目标标注装置，以便克服上述问题。

为了实现上述目的，本申请采用了如下技术方案：

依据本申请的一个方面，提供了一种目标标注方法，方法包括：

使用训练后的目标检测模型标注预测图片集合，得到预测框信息，预测图片集合中包含已标注的图片和未标注的图片；

从预测框中，筛选出与已标注目标重合程度低于预设值或缺少已标注目标的预测框；

使用搭建并训练过的分类网络对筛选出的预测框进行分类，分类网络由已标注目标及其背景图像训练得到；若该预测框的分类结果与该预测框的预测类别一致，则将该预测框信息写入标注文件。

可选地，在使用分类网络对筛选出的预测框进行分类之前，方法还包括：

计算预测框的面积和边长最小值，若该预测框的面积和边长最小值均小于其预测类别对应的目标标注框最小面积和最小边长，则将该预测框送入分类网络中进行分类，否则，将该预测框信息丢弃。

可选地，分类网络的训练过程为：

对每一类目标，分别截取已标注目标的标注框以及该目标标注框外预设面积的背景图像，输入到分类网络中进行训练。

可选地，使用搭建并训练过的分类网络对筛选出的预测框进行分类，包括：

对筛选出的预测框，将该预测框从图片中截取出来，并记录截取位置和预测类别；

将截取的预测框图片送入分类网络中进行分类，判定该预测框图片是背景图像还是目标图像，若为目标图像，判断该预测框图片的分类结果与预测类别是否一致。

可选地，利用下述方式搭建分类网络：

采用残差模块结合跨阶段局部连接模块的方式搭建分类网络，残差模块设置在跨阶段局部连接模块内；

或者，采用残差模块结合图像金字塔模块的方式搭建分类网络，残差模块设置在图像金字塔模块内。

可选地，分类网络采用残差模块结合跨阶段局部连接模块的方式搭建，将第一卷积层、跨阶段局部连接模块、第二卷积层、第一全连接层、第二全连接层和分类器层依次连接；

跨阶段局部连接模块包括第一分支和第二分支，第一分支包括依次连接的第三卷积层、残差模块和第四卷积层，第二分支包括第五卷积层，第一分支和第二分支将信息处理后拼接输出；

残差模块包括第一通道和第二通道，第一通道包括第六卷积层，第二通道包括依次连接的第七卷积层和第八卷积层，第一通道和第二通道将信息处理后加和输出。

可选地，方法还包括：

将分类结果与预测类别一致的预测框所对应的图片作为样本，加入到分类网络的训练集中，以补充训练分类网络。

可选地，方法还包括：

在判定预测框的分类结果与该预测框的预测类别不一致时，检查分类网络的训练轮数，若分类网络的训练轮数未达到预设轮数，则继续对分类网络进行下一轮训练，以再训练后的分类网络对预测框进行分类。

可选地，方法还包括：对于预测框中与已标注目标重合程度不小于预设值的预测框，将其预测框信息直接写入标注文件。

依据本申请的另一个方面，提供了一种目标标注装置，包括：

处理器；以及被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行如上任一所述目标标注方法。

综上所述，本申请的有益效果是：

使用训练后的模型标注带有部分已标注图片的预测图片集合，筛选出与已标注目标重合程度低于预设值或缺少已标注目标的预测框，利用分类网络进行分类检验，实现对目标标注的智能实现和结果检验，替代人工检测，提高目标标注的效率和准确度。

附图说明

图1为本申请一个实施例提供的一种目标标注方法的流程示意图；

图2为本申请一个实施例提供的一种预测框与真实框对照示意图；

图3为本申请一个实施例提供的一种目标标注方法的分类网络结构示意图；

图4为本申请另一个实施例提供的一种目标标注方法的流程示意图；

图5为本申请一个实施例提供的一种目标标注装置的结构示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。

在本申请的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

在本申请的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本申请中的具体含义。

本申请的技术构思是：在标注过程中，使用训练后的模型标注带有部分已标注图片的预测图片集合，筛选出与已标注目标重合程度低于预设值或缺少已标注目标的预测框，利用分类网络进行分类检验，实现对目标标注的智能实现和结果检验，从而替代人工检测，提高目标标注的效率和准确度

图1为本申请一个实施例提供的一种目标标注方法的流程示意图。如图1所示，该目标标注方法，包括：

步骤S110，使用训练后的目标检测模型标注预测图片集合，得到预测框信息，预测图片集合中包含已标注的图片和未标注的图片。

本实施例在使用目标检测模型标注图片时，同时使用目标检测模型标注已标注的图片和待标注的图片，标注获得的预测框信息，进一步检验后用于写入图片的标注文件，实现图片自动标注。

步骤S120，从预测框中，筛选出与已标注目标重合程度低于预设值或缺少已标注目标的预测框。

该类预测框为可能存在错误的预测框，即FP(False Positives，假的正样本)类信息，本实施例需要对该类预测结果进行进一步判断，以确定该类预测框信息是否是真正需要标注的目标。

步骤S130，使用搭建并训练过的分类网络对筛选出的预测框进行分类，分类网络由已标注目标及其背景图像训练得到；若该预测框的分类结果与该预测框的预测类别一致，则将该预测框信息写入标注文件。

在步骤S120筛选出FP类的预测框后，利用由已标注目标及其背景图像训练得到的分类网络对该类预测框进行分类处理，通过比较分类结果和预测框的预测类别是否一致，来检验目标检测模型的标注预测是否正确。当该预测框的分类结果与该预测框的预测类别一致时，则可认为该预测框信息准确，可写入标注文件，实现图片目标自动标注。

在本申请的一个实施例中，步骤S110中所用的目标检测模型可以是目前现有的性能较好的任何检测模型，例如yolov4模型等。对于步骤S120中预测框结果的筛选，可以采用已知简单的IoU(Intersection over Union，交并比)计算方式，IoU的计算公式如下：

其中，A为真实框(在本申请中已标注图片的标注框即可理解为真实框)的面积，B为预测框的面积，IoU为真实框与预测框的交并比，A∩B为A、B交集的面积，A∪B为A、B并集的面积，预测框与真实框的对照示意图见图2所示。当然，其他改进的、表现预测框与真实框的重合程度的计算方法也可用于本申请。

在本申请的一个实施例中，在使用分类网络对筛选出的预测框进行分类之前，本实施例目标标注方法还包括：计算预测框的面积和边长最小值，若该预测框的面积和边长最小值均小于其预测类别对应的目标标注框最小面积和最小边长，则将该预测框送入分类网络中进行分类，否则，将该预测框信息丢弃。

通过对预测框面积尺寸和边长尺寸的判断，实现对预测框的初步验证，当预测框的最小面积和最小边长均小于其预测类别对应的目标标注框最小面积和最小边长时，才暂时认为该预测框可能为真实需要标注的目标，需要进一步分类验证。

在本申请的一个实施例中，步骤S130中所用分类网络的训练过程为：对每一类目标，分别截取已标注目标的标注框以及该目标标注框外预设面积的背景图像，输入到分类网络中进行训练。

待检测的目标通常包括很多类，各类目标均需要收集样本进行训练。本实施例的一个实施例中，可以将人工标注好的目标(如产品缺陷)图片，按照标注文件中的标注框标表信息和标注类别从原图片中截取分类，在标注框外，截取2-3倍的已标注图片中未标注部分的图片作为背景类，形成分类网络的训练集，对分类网络进行训练。

在本申请的一个实施例中，步骤S130中，使用搭建并训练过的分类网络对筛选出的预测框进行分类，包括：对筛选出的预测框，将该预测框从图片中截取出来，并记录截取位置和预测类别；将截取的预测框图片送入分类网络中进行分类，判定该预测框图片是背景图像还是目标图像，若为目标图像，判断该预测框图片的分类结果与预测类别是否一致。

通过对目标检测模型标注得到的预测框进一步进行分类，验证分类类别是否与预测框的预测类别一致，从而验证预测框的准确性。

在本申请的一个实施例中，采用残差模块结合跨阶段局部连接模块的方式搭建分类网络，残差模块设置在跨阶段局部连接模块内。

将分类网络结合残差模块和跨阶段局部连接模块，在浅层网络上可以最大限度的学习缺陷特征，同时缩短计算时间。直连的卷积层或全连接层在信息传递时，或多或少会存在信息丢失、损耗等问题，残差模块可以在一定程度上解决这个问题，通过直接将输入信息绕道传到输出，保护信息的完整性，这样只需要学习输入、输出差别的那一部分，简化了学习目标和难度。跨阶段局部连接模块，通过分割梯度流，使梯度流通过不同的网络路径进行传播，然后通过concat进行拼接连接，组合了不同梯度或者感受野的特征，同时也减少了计算量。

图3示出了本申请一个目标标注方法实施例的分类网络结构示意图。如图3所示，该分类网络采用残差模块结合跨阶段局部连接模块的方式搭建，将第一卷积层310、跨阶段局部连接模块320、第二卷积层330、第一全连接层340、第二全连接层350和分类器层360依次连接，实现分类网络构建。各卷积层采用3x3卷积核Conv 3x3，分类网络输入的图片数据为64*64尺寸、3通道(64*64*3)，第一全连接层340表示为fc 128、第二全连接层350表示为fc，(其中fc缩写自“fully connected”)，分类器层360表示为softmax。

如图3所示，其中，虚线框部分为跨阶段局部连接模块320，跨阶段局部连接模块320通过分割梯度流，使梯度流沿不同的网络路径(即第一分支B1和第二分支B2)进行传播，然后通过拼接层324(表示为concat，拼接)进行连接。从而，本申请实施例采用跨阶段局部连接模块320，组合了不同梯度或者感受野的特征，也同时减少了计算量。

在跨阶段局部连接模块320内，实线框标注部分为残差模块322，残差模块322具有卷积层数量不同的两个通道(第一通道p1和第二通道p2)，残差模块322通过将输入信息绕道传到输出，尽可能保护了信息的完整性，这样只需要学习输入、输出差别的那一部分，从而简化了学习目标和难度。

参考图3所示，本申请一个实施例中，跨阶段局部连接模块320和残差模块322的具体结构如下：

跨阶段局部连接模块322，包括第一分支B1和第二分支B2，第一分支B1包括依次连接的第三卷积层321、残差模块322和第四卷积层323；第二分支B2包括第五卷积层325。第一分支B1和第二分支B2将信息处理后，经拼接层324拼接输出。

第一分支中的残差模块322包括第一通道p1和第二通道p2，第一通道p1包括第六卷积层322-3；第二通道p2包括依次连接的第七卷积层322-1和第八卷积层322-2。第一通道p1和第二通道p2将信息处理后加和输出，实现不同通道映射的组合。

本申请图3所示实施例构建的分类网络仅是本申请的一种优选方式，并非表示本申请只可使用该分类网络结构。实际使用中，可根据待识别目标的尺寸大小等进行适应修改，确定分类网络的深度。

在本申请的另一些实施例中，还可以采用残差模块结合图像金字塔模块的方式搭建分类网络，残差模块设置在图像金字塔模块内。具体结构本领域技术人员可根据现有网络结构参照上述图3示例自行设置，在此不再赘述。

在本申请的一个实施例中，本实施例目标标注方法还包括：将分类结果与预测类别一致的预测框所对应的图片作为样本，加入到分类网络的训练集中，以补充训练分类网络，从而不断实现分类网络的训练进化，学习新的标注分类规则。

在本申请的一个实施例中，本实施例目标标注方法还包括：在判定预测框的分类结果与该预测框的预测类别不一致时，检查分类网络的训练轮数，若分类网络的训练轮数未达到预设轮数，则继续对分类网络进行下一轮训练，以再训练后的分类网络对预测框进行分类。通过对分类网络的训练设定预设轮数，尽量避免因为分类网络训练不到位造成分类检测错误。

在本申请的一个实施例中，本实施例目标标注方法还包括：对于预测框中与已标注目标重合程度不小于预设值的预测框，将其预测框信息直接写入标注文件。除了本申请上述实施例处理的可能存在错误的FP类预测框以外，在使用目标检测模型标注预测图片合集时，还存在与已标注目标重合程度不小于预设值的预测框，例如，与已标注目标交并比IoU值较高的预测框，这类预测框称为TP(True Positives，真的正样本)类预测框，表示需要标注且已经成功标注的框，因此无需进一步处理，直接写入标注文件即可。

图4示出了本申请一个实施例提供的一种目标标注方法的流程示意图。

如图4所示，该方法从步骤S410目标检测模型输出FP类预测框出发，对FP类预测框进行检验。其中，所用的目标检测模型可以为现有性能较好的目标检测模型，如yolov4等。此外，本实施例还需要做一些准备工作，即通过步骤S401、S402和S403，对图片进行标注框和背景的截取，所截取内容留作检验素材，以及，经过步骤S404将已标注准确的图片作为训练集，通过步骤S405构建分类网络，并利用上述训练集训练得到可用于检验的分类网络。

具体的FP类预测框检验过程如下：

首先通过步骤S420，对筛选出的FP类预测框进行初步判断，通过与A、B……N各类目标截取的标注框内容进行比较，筛选出面积和边长最小值均小于预测类别目标标注框的预测框，此时暂判定这些FP类预测框有可能是真实所需标注的目标，将其从图片中截取出来并编号记录，记录截取的图片源以及预测框的预测类别。

而后，在步骤S430中，将初步判断可能是真实所需目标的预测框输入到训练好的分类网络中，进行分类检验，通过分类检验判断分类类别与预测类别是否一致。

若分类类别与预测类别一致，则证明该预测框标注正确，是所要标注的目标，在步骤S440中，将该预测框信息写入标注文件完成标注。

此外，在步骤S450中，若在预测类别与分类网络预测的类别不一致时，检测到分类网络没有达到预设轮数，则进行分类网络再训练，以提高分类网络的准确性。

至此，上述实施例通过对预测框的筛选以及分类验证，实现了目标的自动准确标注，可替代大量人工标注工作，提高标注效率和准确率。

本申请还公开了一种目标标注装置，该目标标注装置用于实现上述任一的目标标注方法。

图5是本申请的一个实施例目标标注装置的结构示意图。请参考图5，在硬件层面，该目标标注装置包括处理器，可选地还包括内部总线、网络接口、存储器。其中，存储器可能包含内存，例如高速随机存取存储器(Random-Access Memory，RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少1个磁盘存储器等。当然，该目标标注装置还可能包括其他业务所需要的硬件。

处理器、网络接口和存储器可以通过内部总线相互连接，该内部总线可以是ISA(Industry Standard Architecture，工业标准体系结构)总线、PCI(PeripheralComponent Interconnect，外设部件互连标准)总线或EISA(Extended Industry StandardArchitecture，扩展工业标准结构)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，图5中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。

存储器，用于存放程序。具体地，程序可以包括程序代码，程序代码包括计算机操作指令。存储器可以包括内存和非易失性存储器，并向处理器提供指令和数据。

处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，在逻辑层面上形成目标标注装置。处理器，执行存储器所存放的程序，并具体用于执行以下操作：

使用训练后的目标检测模型标注预测图片集合，得到预测框信息，预测图片集合中包含已标注的图片和未标注的图片；从预测框中，筛选出与已标注目标重合程度低于预设值或缺少已标注目标的预测框；使用搭建并训练过的分类网络对筛选出的预测框进行分类，分类网络由已标注目标及其背景图像训练得到；若该预测框的分类结果与该预测框的预测类别一致，则将该预测框信息写入标注文件。

在本申请的一个实施例中，处理器，执行存储器所存放的程序，还用于执行：在使用分类网络对筛选出的预测框进行分类之前，计算预测框的面积和边长最小值，若该预测框的面积和边长最小值均小于其预测类别对应的目标标注框最小面积和最小边长，则将该预测框送入分类网络中进行分类，否则，将该预测框信息丢弃。

在本申请的一个实施例中，处理器，执行存储器所存放的程序，训练分类网络的过程为：对每一类目标，分别截取已标注目标的标注框以及该目标标注框外预设面积的背景图像，输入到分类网络中进行训练。

在本申请的一个实施例中，处理器，执行存储器所存放的程序，使用搭建并训练过的分类网络对筛选出的预测框进行分类，包括：对筛选出的预测框，将该预测框从图片中截取出来，并记录截取位置和预测类别；将截取的预测框图片送入分类网络中进行分类，判定该预测框图片是背景图像还是目标图像，若为目标图像，判断该预测框图片的分类结果与预测类别是否一致。

在本申请的一个实施例中，处理器，执行存储器所存放的程序，搭建分类网络的过程为：采用残差模块结合跨阶段局部连接模块的方式搭建分类网络，残差模块设置在跨阶段局部连接模块内；或者，采用残差模块结合图像金字塔模块的方式搭建分类网络，残差模块设置在图像金字塔模块内。

在本申请的一个实施例中，处理器，执行存储器所存放的程序，用于采用残差模块结合跨阶段局部连接模块的方式搭建分类网络，将第一卷积层、跨阶段局部连接模块、第二卷积层、第一全连接层、第二全连接层和分类器层依次连接；跨阶段局部连接模块包括第一分支和第二分支，第一分支包括依次连接的第三卷积层、残差模块和第四卷积层，第二分支包括第五卷积层，第一分支和第二分支将信息处理后拼接输出；其中，残差模块包括第一通道和第二通道，第一通道包括第六卷积层，第二通道包括依次连接的第七卷积层和第八卷积层，第一通道和第二通道将信息处理后加和输出。

在本申请的一个实施例中，处理器，执行存储器所存放的程序，还用于执行如下操作：将分类结果与预测类别一致的预测框所对应的图片作为样本，加入到分类网络的训练集中，以补充训练分类网络。

在本申请的一个实施例中，处理器，执行存储器所存放的程序，还用于执行如下操作：在判定预测框的分类结果与该预测框的预测类别不一致时，检查分类网络的训练轮数，若分类网络的训练轮数未达到预设轮数，则继续对分类网络进行下一轮训练，以再训练后的分类网络对预测框进行分类。

在本申请的一个实施例中，处理器，执行存储器所存放的程序，还用于执行如下操作：对于预测框中与已标注目标重合程度不小于预设值的预测框，将其预测框信息直接写入标注文件。

上述本申请所示实施例揭示的目标标注装置执行的方法可以应用于处理器中，或者由处理器实现。处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。

本申请实施例还提出了一种计算机可读存储介质，该计算机可读存储介质存储一个或多个程序，该一个或多个程序包括指令，该指令当被包括多个应用程序的目标标注装置执行时，能够使该目标标注装置执行上述所示实施例中目标标注装置执行的方法，并具体用于执行：

使用训练后的目标检测模型标注预测图片集合，得到预测框信息，预测图片集合中包含已标注的图片和未标注的图片；从预测框中，筛选出与已标注目标重合程度低于预设值或缺少已标注目标的预测框；使用搭建并训练过的分类网络对筛选出的预测框进行分类，分类网络由已标注目标及其背景图像训练得到；若该预测框的分类结果与该预测框的预测类别一致，则将该预测框信息写入标注文件。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

以上所述，仅为本发明的具体实施方式，在本发明的上述教导下，本领域技术人员可以在上述实施例的基础上进行其他的改进或变形。本领域技术人员应该明白，上述的具体描述只是更好的解释本发明的目的，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种目标标注方法，其特征在于，所述方法包括：

使用训练后的目标检测模型标注预测图片集合，得到预测框信息，所述预测图片集合中包含已标注的图片和未标注的图片；

从所述预测框中，筛选出与已标注目标重合程度低于预设值或缺少已标注目标的预测框；

使用搭建并训练过的分类网络对筛选出的预测框进行分类，所述分类网络由已标注目标及其背景图像训练得到；若该预测框的分类结果与该预测框的预测类别一致，则将该预测框信息写入标注文件。

2.根据权利要求1所述的目标标注方法，其特征在于，在使用分类网络对筛选出的预测框进行分类之前，所述方法还包括：

计算预测框的面积和边长最小值，若该预测框的面积和边长最小值均小于其预测类别对应的目标标注框最小面积和最小边长，则将该预测框送入分类网络中进行分类，否则，将该预测框信息丢弃。

3.根据权利要求1所述的目标标注方法，其特征在于，所述分类网络的训练过程为：

对每一类目标，分别截取已标注目标的标注框以及该目标标注框外预设面积的背景图像，输入到所述分类网络中进行训练。

4.根据权利要求3所述的目标标注方法，其特征在于，所述使用搭建并训练过的分类网络对筛选出的预测框进行分类，包括：

对筛选出的预测框，将该预测框从图片中截取出来，并记录截取位置和预测类别；

将截取的预测框图片送入分类网络中进行分类，判定该预测框图片是背景图像还是目标图像，若为目标图像，判断该预测框图片的分类结果与预测类别是否一致。

5.根据权利要求1所述的目标标注方法，其特征在于，利用下述方式搭建分类网络：

采用残差模块结合跨阶段局部连接模块的方式搭建所述分类网络，所述残差模块设置在所述跨阶段局部连接模块内；

或者，采用残差模块结合图像金字塔模块的方式搭建所述分类网络，所述残差模块设置在所述图像金字塔模块内。

6.根据权利要求5所述的目标标注方法，其特征在于，所述分类网络采用残差模块结合跨阶段局部连接模块的方式搭建，将第一卷积层、跨阶段局部连接模块、第二卷积层、第一全连接层、第二全连接层和分类器层依次连接；

所述跨阶段局部连接模块包括第一分支和第二分支，所述第一分支包括依次连接的第三卷积层、残差模块和第四卷积层，所述第二分支包括第五卷积层，所述第一分支和所述第二分支将信息处理后拼接输出；

所述残差模块包括第一通道和第二通道，所述第一通道包括第六卷积层，所述第二通道包括依次连接的第七卷积层和第八卷积层，所述第一通道和所述第二通道将信息处理后加和输出。

7.根据权利要求3所述的目标标注方法，其特征在于，所述方法还包括：

将分类结果与预测类别一致的预测框所对应的图片作为样本，加入到所述分类网络的训练集中，以补充训练所述分类网络。

8.根据权利要求1所述的目标标注方法，其特征在于，所述方法还包括：

在判定预测框的分类结果与该预测框的预测类别不一致时，检查所述分类网络的训练轮数，若所述分类网络的训练轮数未达到预设轮数，则继续对所述分类网络进行下一轮训练，以再训练后的分类网络对预测框进行分类。

9.根据权利要求1所述的目标标注方法，其特征在于，所述方法还包括：对于预测框中与已标注目标重合程度不小于预设值的预测框，将其预测框信息直接写入标注文件。

10.一种目标标注装置，其特征在于，包括：

处理器；以及

被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行如权利要求1～9之任一所述目标标注方法。

Images