CN114332452A - 一种针对目标检测或目标分割的图像标注结果的自动检测方法 - Google Patents

Abstract

本发明公开了一种针对目标检测或目标分割的图像标注结果的自动检测方法，该方法包括：步骤1：对于目标检测或者目标分割任务，所有目标类别总数量记为n，基于预先设定的标注规范，对选取的图像进行标注和审核，使得每张图像的标注结果满足预先设定的标注规范；步骤2：对每个类别，分别训练对应的单分类神经网络模型，步骤3，在标注阶段对标注结果进行自动检测对类别的每个标注结果I，使用模型评估I的得分，对于得分低于阈值的标注结果，记录为不符合标注规范的标注结果，进行重新标注。通过在标注过程中，对每个类别的图像数据，训练生成描述该类别图像数据特征的单分类模型，并使用训练出的单分类模型，对后续的标注结果进行检测，自动识别出标注不符合规范的标注结果，大大提高图像标注的检测效率，提升了图像标注的质量。

Description

一种针对目标检测或目标分割的图像标注结果的自动检测 方法

技术领域

本发明涉及图像识别和图像数据标注研究领域，尤其是标注结果的自动检测方法，具体涉及一种针对目标检测或目标分割的图像标注结果的自动检测方法。

背景技术

在计算机视觉领域，模型的训练依赖于大量高质量标注的数据，在目标检测或目标分割这两个图像任务中，图像标注的数据量巨大，对标注人员的标注质量有很高的要求，需要耗费大量的人力和物力。标注人员标注技术的熟练度、标注的时长等因素，均会影响图像标注的质量，产生错误的标注，包含错误标注数据的数据集，往往导致训练出的模型在性能上达不对预期的目标。

发明内容

为了克服现有技术的不足，本发明提供了一种针对目标检测或目标分割的图像标注结果的自动检测方法，可以自动识别出标注不符合规范的标注结果，大大提高图像标注的检测效率，提升了图像标注的质量。技术方案如下：

本发明提供了一种针对目标检测或目标分割的图像标注结果的自动检测方法，该方法包括如下步骤：

步骤1：对于目标检测或者目标分割任务，所有目标类别总数量记为n，目标类别集合记为C＝{c₁，c₂，...，c_n}，对每个类别c_i，i∈{1，2，...，n}，随机选取一批图像，每张图像至少包含1个该类别的目标，每个类别标注的目标总数量记为m_i，i＝{1，2，…，n}；基于预先设定的标注规范，对选取的图像进行标注和审核，使得每张图像的标注结果满足预先设定的标注规范。

步骤2：对每个类别c_i，分别训练对应的单分类神经网络模型M_i，单分类神经网络模型M_i的模型结构采用应用于ImageNet图像分类任务的深度卷积神经网络模型结构，对所采用的单分类神经网络模型M_i，将最顶层的全连接层的输出维度，从原先的1000修改为2。

在单分类神经网络模型M_i训练的每个批次迭代中：

对于目标检测任务，从步骤1的标注结果中，随机选择2K个标注结果作为正样本，也即2K个矩形ROI图像区域，将该2K个矩形ROI图像区域缩放到相同的尺寸，缩放后的图像长度记为H，宽度记为W。

对于目标分割任务，从步骤1的标注结果中，随机选择2K个标注结果作为正样本，也即2K个不规则形状的ROI图像区域。将此2K个不规则形状ROI图像区域的外接矩形ROI图像区域，缩放到相同的尺寸，缩放后的图像长度记为H，宽度记为W。

在训练集中随机选择K张图像作为负样本，对选择的K张图像，每张图像随机提取一个矩形ROI区域，记为a，a的尺寸保持随机，同时，a和任一类别c_i的标注区域之间均不存在重叠的区域。将从K张图像中随机提取出的K个矩形ROI图像区域，缩放到长为H宽为W的统一尺寸。

模型M_i的结构包括一系列的卷积层、全局平均池化层和全连接层，全连接层的输出经过SoftMax的运算，最终计算出分类损失，每张训练图片通过卷积层和全局平均池化层提取出的特性向量的维度记为D，每个批次迭代中，输入进全连接层的特征向量记为F，F的尺寸为3K×D。基于高斯分布N(μ，σ²·I)生成K个D维的向量，其中μ是高斯分布的均值，σ是高斯分布的标准差，I是D×D的单位矩阵；将生成的K个D维向量添加到特征向量F中，最终F的尺寸为4K×D。

模型M_i的损失函数定义为：

其中p代表模型预测为正样本的概率，α是2K个正样本在损失计算中的权重，β是K个从图片中随机提取出的负样本在损失计算中的权重，γ是K个从高斯分布N(μ，σ²·I)中生成的伪特征向量在在损失计算中的权重。

使用Adam优化算法训练模型，直至模型收敛，得到每个类别的单分类神经网络模型M_i。

步骤3：对每个类别用于训练的正样本数据集m_i，使用步骤2的单分类神经网络模型M_i计算m_i中每张样本的得分，并按照分值从大到小排序，排序后的数据集记为m′_i。

在标注阶段对标注结果进行自动检测对类别c_i的每个标注结果I，使用单分类神经网络模型M_i评估I的得分，对于得分低于阈值θ的标注结果，记录为不符合标注规范的标注结果I′，进行重新标注。

优选的，步骤2所述深度卷积神经网络模型结构采用ResNet18或ShuffleNet V2或MobileNet V3的轻量级深度卷积神经网络模型结构。

优选的，步骤2缩放后的图像长度H和宽度W均设置为224。

优选的，步骤2中μ设置为0，σ设置为0.01。

优选的，步骤2中α设置为2，β设置为1，γ设置为1。

优选的，步骤3中阈值θ设置为0.5。

优选的，步骤3，对于不符合标注规范的标注结果I′，对其进行人工审核，对于审核不通过的，进行重新标注，对于审核通过的，加入到对应类别的训练集m′_i中，并删除m′_i中原有得分最高的样本，从而更新样本集，进而更新单分类神经网络模型M_i。

优选的，步骤3还包括：如果m′_i中数据替换的比例大于阈值θ_sub，则按照步骤2，使用数据集m′_i重新训练模型M_i。进一步的，阈值θ_sub设置为0.1-0.3。

与现有技术相比，上述技术方案中的一个技术方案具有如下有益效果：通过在标注过程中，对每个类别的图像数据，训练生成描述该类别图像数据特征的单分类模型，并使用训练出的单分类模型，对后续的标注结果进行检测，自动识别出标注不符合规范的标注结果，大大提高图像标注的检测效率，提升了图像标注的质量。

具体实施方式

为了阐明本发明的技术方案和工作原理，下面将对本公开实施方式做进一步的详细描述。上述所有可选技术方案，可以采用任意结合形成本公开的可选实施例，在此不再一一赘述。

本申请的说明书和权利要求书中的术语“步骤1”、“步骤2”、“步骤3”等类似描述是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里描述的那些以外的顺序实施。

本公开实施例提供了一种针对目标检测或目标分割的图像标注结果的自动检测方法，该方法包括如下步骤：

步骤1：对于目标检测或者目标分割任务，所有目标类别总数量记为n，目标类别集合记为C＝{c₁，c₂，...，c_n}，对每个类别c_i，i∈{1，2，...，n}，随机选取一批图像，每张图像至少包含1个该类别的目标，每个类别标注的目标总数量记为m_i，i＝{1，2，…，n}；基于预先设定的标注规范，对选取的图像进行标注和审核，使得每张图像的标注结果满足预先设定的标注规范。

步骤2：对每个类别c_i，分别训练对应的单分类神经网络模型M_i，单分类神经网络模型M_i的模型结构采用应用于ImageNet图像分类任务的深度卷积神经网络模型结构，对所采用的单分类神经网络模型M_i，将最顶层的全连接层的输出维度，从原先的1000修改为2。优选地，所述深度卷积神经网络模型采用ResNet18、ShuffleNet V2、MobileNet V3等轻量级深度卷积神经网络模型结构。

在单分类神经网络模型M_i训练的每个批次迭代中：

对于目标检测任务，从步骤1的标注结果中，随机选择2K个标注结果作为正样本，也即2K个矩形ROI图像区域，将该2K个矩形ROI图像区域缩放到相同的尺寸，缩放后的图像长度记为H，宽度记为W(优选的，H和W均设置为224)。

对于目标分割任务，从步骤1的标注结果中，随机选择2K个标注结果作为正样本，也即2K个不规则形状的ROI图像区域。将此2K个不规则形状ROI图像区域的外接矩形ROI图像区域，缩放到相同的尺寸，缩放后的图像长度记为H，宽度记为W。

在训练集中随机选择K张图像作为负样本，对选择的K张图像，每张图像随机提取一个矩形ROI区域，记为a，a的尺寸保持随机，同时，a和任一类别ci的标注区域之间均不存在重叠的区域。将从K张图像中随机提取出的K个矩形ROI图像区域，缩放到长为H宽为W的统一尺寸。

模型M_i的结构包括一系列的卷积层、全局平均池化层和全连接层，全连接层的输出经过SoftMax的运算，最终计算出分类损失，每张训练图片通过卷积层和全局平均池化层提取出的特性向量的维度记为D，每个批次迭代中，输入进全连接层的特征向量记为F，F的尺寸为3K×D。基于高斯分布N(μ，σ²·I)生成K个D维的向量，其中μ是高斯分布的均值，σ是高斯分布的标准差，I是D×D的单位矩阵(优选的，μ设置为0，σ设置为0.01)。将生成的K个D维向量添加到特征向量F中，最终F的尺寸为4K×D。

模型M_i的损失函数定义为：

其中p代表模型预测为正样本的概率，α是2K个正样本在损失计算中的权重，β是K个从图片中随机提取出的负样本在损失计算中的权重，γ是K个从高斯分布N(μ，σ²·I)中生成的伪特征向量在在损失计算中的权重(优选的，α设置为2，β设置为1，γ设置为1)。

使用Adam优化算法训练模型，直至模型收敛，得到每个类别的单分类神经网络模型M_i。

步骤3：对每个类别用于训练的正样本数据集m_i，使用步骤2的单分类神经网络模型M_i计算m_i中每张样本的得分，并按照分值从大到小排序，排序后的数据集记为m′_i。

在标注阶段对标注结果进行自动检测对类别c_i的每个标注结果I，使用单分类神经网络模型M_i评估I的得分，对于得分低于阈值θ(优选的，θ设置为0.5)的标注结果，记录为不符合标注规范的标注结果I′，进行重新标注。

优选的，对于不符合标注规范的标注结果I′，对其进行人工审核，对于审核不通过的，进行重新标注，对于审核通过的，加入到对应类别的训练集m′_i中，并删除m′_i中原有得分最高的样本，用模型不容易分辨的样本替换模型容易分辨的样本，提升模型的分辨性能，通过对标注结果自动检测后，用于训练样本的更新，从而进一步实现对单分类模型的在线迭代优化。进一步的，如果m′_i中数据替换的比例大于阈值θ_sub(优选的，θ_sub设置为0.1-0.3)，按照步骤2，使用数据集m′_i重新训练模型M_i，并按照步骤3，将数据集中的数据重新按照得分进行排序。

以上对本发明进行了示例性描述，显然，本发明具体实现并不受上述方式的限制，凡是采用了本发明的方法构思和技术方案进行的各种非实质性的改进；或者未经改进、等同替换，将本发明的上述构思和技术方案直接应用于其他场合的，均在本发明的保护范围之内。

Claims (9)

1.一种针对目标检测或目标分割的图像标注结果的自动检测方法，其特征在于，该方法包括如下步骤：

步骤1：对于目标检测或者目标分割任务，所有目标类别总数量记为n，目标类别集合记为C＝{c₁，c₂，...，c_n}，对每个类别c_i，i∈{1，2，...，n}，随机选取一批图像，每张图像至少包含1个该类别的目标，每个类别标注的目标总数量记为m_i，i＝{1，2，…，n}；基于预先设定的标注规范，对选取的图像进行标注和审核，使得每张图像的标注结果满足预先设定的标注规范；

步骤2：对每个类别c_i，分别训练对应的单分类神经网络模型M_i，单分类神经网络模型M_i的模型结构采用应用于ImageNet图像分类任务的深度卷积神经网络模型结构，对所采用的单分类神经网络模型M_i，将最顶层的全连接层的输出维度，从原先的1000修改为2；

在单分类神经网络模型M_i训练的每个批次迭代中：

对于目标检测任务，从步骤1的标注结果中，随机选择2K个标注结果作为正样本，也即2K个矩形ROI图像区域，将该2K个矩形ROI图像区域缩放到相同的尺寸，缩放后的图像长度记为H，宽度记为W；

对于目标分割任务，从步骤1的标注结果中，随机选择2K个标注结果作为正样本，也即2K个不规则形状的ROI图像区域，将此2K个不规则形状ROI图像区域的外接矩形ROI图像区域，缩放到相同的尺寸，缩放后的图像长度记为H，宽度记为W；

在训练集中随机选择K张图像作为负样本，对选择的K张图像，每张图像随机提取一个矩形ROI区域，记为a，a的尺寸保持随机，同时，a和任一类别c_i的标注区域之间均不存在重叠的区域；将从K张图像中随机提取出的K个矩形ROI图像区域，缩放到长为H宽为W的统一尺寸；

模型M_i的结构包括一系列的卷积层、全局平均池化层和全连接层，全连接层的输出经过SoftMax的运算，最终计算出分类损失，每张训练图片通过卷积层和全局平均池化层提取出的特性向量的维度记为D，每个批次迭代中，输入进全连接层的特征向量记为F，F的尺寸为3K×D；基于高斯分布N(μ，σ²·I)生成K个D维的向量，其中μ是高斯分布的均值，σ是高斯分布的标准差，I是D×D的单位矩阵；将生成的K个D维向量添加到特征向量F中，最终F的尺寸为4K×D；

模型M_i的损失函数定义为：

其中p代表模型预测为正样本的概率，α是2K个正样本在损失计算中的权重，β是K个从图片中随机提取出的负样本在损失计算中的权重，γ是K个从高斯分布N(μ，σ²·I)中生成的伪特征向量在在损失计算中的权重；

使用Adam优化算法训练模型，直至模型收敛，得到每个类别的单分类神经网络模型M_i；

步骤3：对每个类别用于训练的正样本数据集m_i，使用步骤2的单分类神经网络模型M_i计算m_i中每张样本的得分，并按照分值从大到小排序，排序后的数据集记为m′_i；

在标注阶段对标注结果进行自动检测对类别c_i的每个标注结果I，使用单分类神经网络模型M_i评估I的得分，对于得分低于阈值θ的标注结果，记录为不符合标注规范的标注结果I′，进行重新标注。

2.根据权利要求1所述的一种针对目标检测或目标分割的图像标注结果的自动检测方法，其特征在于，步骤2所述深度卷积神经网络模型结构采用ResNet18或ShuffleNet V2或MobileNet V3的轻量级深度卷积神经网络模型结构。

3.根据权利要求1所述的一种针对目标检测或目标分割的图像标注结果的自动检测方法，其特征在于，步骤2缩放后的图像长度H和宽度W均设置为224。

4.根据权利要求1所述的一种针对目标检测或目标分割的图像标注结果的自动检测方法，其特征在于，步骤2中μ设置为0，σ设置为0.01。

5.根据权利要求1所述的一种针对目标检测或目标分割的图像标注结果的自动检测方法，其特征在于，步骤2中α设置为2，β设置为1，γ设置为1。

6.根据权利要求1所述的一种针对目标检测或目标分割的图像标注结果的自动检测方法，其特征在于，步骤3中阈值θ设置为0.5。

7.根据权利要求1-6任一项所述的一种针对目标检测或目标分割的图像标注结果的自动检测方法，其特征在于，步骤3，对于不符合标注规范的标注结果I′，对其进行人工审核，对于审核不通过的，进行重新标注，对于审核通过的，加入到对应类别的训练集m′_i中，并删除m′_i中原有得分最高的样本，从而更新样本集，进而更新单分类神经网络模型M_i。

8.根据权利要求7所述的一种针对目标检测或目标分割的图像标注结果的自动检测方法，其特征在于，步骤3还包括：如果m′_i中数据替换的比例大于阈值θ_sub，则按照步骤2，使用数据集m′_i重新训练模型M_i。

9.根据权利要求8所述的一种针对目标检测或目标分割的图像标注结果的自动检测方法，其特征在于，阈值θ_sub设置为0.1-0.3。