CN111523586A - 一种基于噪声可知的全网络监督目标检测方法 - Google Patents

Abstract

本发涉及一种基于噪声可知的全网络监督目标检测方法，其明通过构建包含主干卷积神经网络、候选区域池化层、弱监督检测头部网络和残差检测头部网络的网络模型，使其形成双分支网络结构；并且通过空间敏感熵标准来估算网络图片标签的置信度，然后根据估算的置信度来使用不同分支来训练模型，从而有效分解噪声，提高目标检测的准确率，而且对于包含错误前景标签的图片训练集，本发明的包混淆策略也能够减低出现前景噪声标签的概率，从而降低训练数据的标注成本，提高了数据的利用率。

Description

一种基于噪声可知的全网络监督目标检测方法

技术领域

本发明涉及计算机视觉技术领域，具体涉及一种基于噪声可知的全网络监督目标检测方法。

背景技术

目标检测的任务是找出图像或视频中的感兴趣物体，同时检测出它们的位置和大小，是机器视觉领域的核心问题之一。物体检测过程中有很多不确定因素，如图像中物体数量不确定，物体有不同的外观、形状、姿态，加之物体成像时会有光照、遮挡等因素的干扰，导致检测算法有一定的难度。近些年随着深度学习技术的火热发展，目标检测算法也从基于手工特征的传统算法转向了基于深度神经网络的检测技术。从最初的R-CNN、OverFeat，到Fast/Faster R-CNN，SSD，YOLO系列，再到最近的PeleeNet和ThunderNet。基于深度学习的目标检测技术，在网络结构上，从Two Stage到One Stage模型，从Bottom-up到Top-Down模型，从Single Scale Network到Feature Pyramid Network，从面向服务器端到面向手机端，都涌现出许多好的算法技术，这些算法在开放目标检测数据集上的检测效果和性能都很出色。

在深度学习时代，强监督的深度学习模型在视觉场景理解中虽然拥有很好的效果，但依赖于大量的标准数据，然而数据本身的标注成本是极高的。比如在PASCAL VOC数据集中，需要十余名工人来标注27374个边界框，而对于ImageNet甚至需要25000名人员对上千万张数据进行标注。精确的目标级标注需要较为昂贵的人力成本，并且训练准确的目标检测模型需要巨大的数据量。如何利用低成本的图像标注取得良好的检测结果成为了当下研究的热点，因此研究者开始研究基于弱监督学习的目标检测算法。同时，我们可以从互联网轻松获取海量粗标注的图片，如利用Flickr的标签。因此，研究如何使用网络数据，即仅提供带噪声图片类别标注，训练目标检测模型，具有重要的意义。

网络获取的数据集里的标签通常不会都是正确的，比如Flickr的标签，如果有人错误地把猫标记成狗，将会对训练结果造成不良的影响。如何提高检测算法对标签噪声的鲁棒性，提升检测器在噪声环境下的性能，减少因标签噪声对检测器所带来的负面影响，最大化发挥海量数据的价值。

发明内容

针对现有技术存在的问题，本发明的目的在于提供一种基于噪声可知的全网络监督目标检测方法，其可以提高目标检测的准确率。

为实现上述目的，本发明采用的技术方案是：

一种基于噪声可知的全网络监督目标检测方法，其包括

步骤1、构建全网络监督目标检测的网络模型；

所述网络模型包括主干卷积神经网络、候选区域池化层、弱监督检测头部网络和残差检测头部网络；所述主干卷积神经网络的输出端连接候选区域池化层的输入端；所述候选区域池化层的输出端连接弱监督检测头部网络和残差检测头部网络；

步骤2、网络模型训练；

步骤2.1、初始化主干卷积神经网络；

步骤2.2、给定类别，从图像分享网站上抓取图像数据作为图像训练集；

步骤2.3、从图像训练集中随机采样两张类别标签一样的训练图像；

步骤2.4、把训练图像输入模型，经主干卷积神经网络和候选区域池化层后获得候选区域特征图；

步骤2.5、候选区域特征图经弱监督检测网络前向传播获得预测结果y_k；候选区域特征图经残差检测头部网络前向传播获得预测结果

步骤2.6、计算弱监督检测头部网络预测结果的空间敏感熵值；

(2)计算每个预测结果的熵：

(3)计算候选区域之间的Jaccard相似系数矩阵

J_ij＝IoU(p_i，p_j)

其中，IoU(p_i,p_j)表示候选区域p_i和候选区域p_j的交并比；

(6)计算熵的正则项：

其中，

表示Hadamard除法；

(7)计算加入空间信息修正后的熵：

其中，⊙表示Hadamard乘法；

(8)计算每个类别标签是背景噪声的置信度：

其中，p_k表示第k个类别标签是背景噪声的置信度，t_k表示第k个类别的标签，z_k表示第k个类别可能存在的最大的熵。ln()表示底数为自然数，e的对数函数；

步骤2.7、根据空间敏感熵的值计算网络模型的最终损失；

(4)弱监督检测头部网络的损失函数为：

(5)残差检测头部网络的损失函数为：

(6)网络模型的最终损失函数为：

步骤2.8、基于交叉熵损失函数，使用随机梯度下降算法更新主干卷积神经网络的参数；

步骤2.9、重复步骤2.3-2.8直到交叉熵损失函数的结果不再降低；

步骤3、目标检测；

步骤3.1、输入一张图像到网络模型，经主干卷积神经网络和弱监督检测头部网络后得到预测结果y_k。

所述步骤2.3采样得到的训练图像通过包混淆策略生成两张新的训练图像，然后将新的训练图像输入网络模型中；包混淆策略具体为：

随机采样一张训练图像I₁，根据采样图像I₁的标签再次采样一张同标签的训练图像I₂；

随机从Dirichlet分布里采样混合率{λ₁，λ₂}，生成两张新的训练图像：

所述步骤2.5中，弱监督检测头部网络对候选区域特征图的处理如下：

(1)候选区域特征图通过弱监督检测网络的两个全连接层获得R个候选区域{P₁...P_R}的特征{φ₁...φ_R}；

(2)候选区域特征{φ₁...φ_R}分别通过两个支流：分类支流和检测支流，得到两个得分矩阵X^c,X^d∈R^R×C，其中，R表示候选区域数目，C表示类别数目。

(3)对两个得分矩阵X^c、X^d在类别和候选区域维度上进行归一化处理：

(4)对归一化后的两个得分矩阵进行点积：x^s＝σ(x^c)·σ(x^d)

(5)为了获得图像层面的预测，对点积结果进行累加池化处理，得到预测结果：

其中，k表示第k个类别，y_k为预测结果，

表示第r个候选区域的第k个类别的预测结果；

残差检测头部网络对候选区域特征图的处理如下：

(1)候选区域特征图经过残差检测头部网络的两个全连接层获得R个候选区域{P₁...P_R}的特征

(2)把弱监督检测头部网络的特征{φ₁...φ_R}与残差检测头部网络的特征

相加，获得噪声候选区域特征

(3)将噪声候选区域特征

通过两个支流：分类支流和检测支流，得到两个得分矩阵

(4)对两个得分矩阵

在类别和候选区域维度上进行归一化处理：

(5)归一化后的得分矩阵进行点积：

(6)为了获得图像层面的预测，对点积结果进行累加池化处理，得到预测结果：

其中，k表示第k个类别，

为预测结果。

所述步骤3还包括：

步骤3.2、使用非极大值抑制算法过滤预测结果y_k后，得到最终的预测结果。

采用上述方案后，本发明通过构建包含主干卷积神经网络、候选区域池化层、弱监督检测头部网络和残差检测头部网络的网络模型，使其形成双分支网络结构；并且通过空间敏感熵标准来估算网络图片标签的置信度，然后根据估算的置信度来使用不同分支来训练模型，从而有效分解噪声，提高目标检测的准确率，而且对于包含错误标签的图片训练集，本发明也能够有效分解噪声，从而降低训练数据的标注成本，提高了数据的利用率。

此外，本发明在训练过程中，采用包混淆测率对训练数据进行进一步处理，减低出现前景噪声标签的概率，进而降低前景噪声的负面影响，提高目标检测的准确率。

附图说明

图1为全网络监督目标检测的框架图；

图2为本发明的详细框架图；

图3为包混淆策略的效果图。

具体实施方式

本发明揭示了一种基于噪声可知的全网络监督目标检测方法，其包括以下步骤：

步骤1、构建全网络监督目标检测的网络模型；

所述网络模型包括主干卷积神经网络、候选区域池化层、弱监督检测头部网络和残差检测头部网络；所述主干卷积神经网络的输出端连接候选区域池化层的输入端；所述候选区域池化层的输出端连接弱监督检测头部网络和残差检测头部网络。

步骤2、网络模型训练；

步骤2.1、初始化主干卷积神经网络；

具体地，对于主干卷积神经网络的卷积层，使用MSRA初始化算法进行初始化；对于主干卷积神经网络的全连接层，使用Guassian初始化算法。

步骤2.2、给定类别，从图像分享网站上抓取图像数据作为图像训练集。

步骤2.3、从图像训练集中随机采样两张类别标签一样的训练图像，通过包混淆策略生成两张新的训练图像。

具体地，随机采样一张训练图像I₁，根据采样图像I₁的标签再次采样一张同标签的训练图像I₂；

随机从Dirichlet分布里采样混合率{λ₁,λ₂}，生成两张新的训练图像：

步骤2.4、把生成的训练图像输入模型，经主干卷积神经网络和候选区域池化层后获得候选区域特征图。

步骤2.5、候选区域特征图经弱监督检测网络前向传播获得预测结果y_k；候选区域特征图经残差检测头部网络前向传播获得预测结果

具体地，弱监督检测头部网络对候选区域特征图的处理如下：

(1)候选区域特征图通过弱监督检测网络的两个全连接层获得R个候选区域{P₁…P_R}的特征{φ₁…φ_R}；

(2)候选区域特征{φ₁…φ_R}分别通过两个支流：分类支流和检测支流，得到两个得分矩阵X^c,X^d∈R^R×C，其中，R表示候选区域数目，C表示类别数目。

(3)对两个得分矩阵X^c、X^d在类别和候选区域维度上进行归一化处理：

(4)对归一化后的两个得分矩阵进行点积：

x^s＝σ(x^c)·σ(x^d) (5)

(5)为了获得图像层面的预测，对点积结果进行累加池化处理，得到预测结果：

其中，k表示第k个类别，y_k为预测结果，

表示第r个候选区域的第k个类别的预测结果。

残差检测头部网络对候选区域特征图的处理如下：

(1)候选区域特征图经过残差检测头部网络的两个全连接层获得R个候选区域{P₁…P_R}的特征

(2)把弱监督检测头部网络的特征{φ₁…φ_R}与残差检测头部网络的特征

相加，获得噪声候选区域特征

(3)将噪声候选区域特征

通过两个支流：分类支流和检测支流，得到两个得分矩阵

(4)对两个得分矩阵

在类别和候选区域维度上进行归一化处理：

(5)归一化后的得分矩阵进行点积：

(6)为了获得图像层面的预测，对点积结果进行累加池化处理，得到预测结果：

其中，k表示第k个类别，

为预测结果。

步骤2.6、计算弱监督检测头部网络预测结果的空间敏感熵值；

(1)计算每个预测结果的熵：

(2)计算候选区域之间的Jaccard相似系数矩阵

J_ij＝IoU(p_i，p_j) (13)

其中，IoU(p_i,p_j)表示候选区域p_i和候选区域p_j的交并比；

(3)计算熵的正则项：

其中，

表示Hadamard除法；

(4)计算加入空间信息修正后的熵：

其中，⊙表示Hadamard乘法；

(5)计算每个类别标签是背景噪声的置信度：

其中，p_k表示第k个类别标签是背景噪声的置信度，t_k表示第k个类别的标签，z_k表示第k个类别可能存在的最大的熵。ln()表示底数为自然数，e的对数函数；

步骤2.7、根据空间敏感熵的值计算网络模型的最终损失；

(1)弱监督检测头部网络的损失函数为：

(2)残差检测头部网络的损失函数为：

(3)网络模型的最终损失函数为：

步骤2.8、基于交叉熵损失函数，使用随机梯度下降算法更新主干卷积神经网络的参数。

步骤2.9、重复步骤2.3-2.8直到交叉熵损失函数的结果不再降低；

步骤3、目标检测；

步骤3.1、输入一张图像到网络模型，经主干卷积神经网络和弱监督检测头部网络后得到预测结果y_k；

步骤3.2、使用非极大值抑制算法过滤预测结果y_k后，得到最终的预测结果。

本发明通过构建包含主干卷积神经网络、候选区域池化层、弱监督检测头部网络和残差检测头部网络的网络模型，使其形成双分支网络结构；并且通过空间敏感熵标准来估算网络图片标签的置信度，然后根据估算的置信度来使用不同分支来训练模型，从而有效分解噪声，提高目标检测的准确率，而且对于包含错误标签的图片训练集，本发明也能够有效分解噪声，从而降低训练数据的标注成本，提高了数据的利用率。

此外，本发明在训练过程中，采用包混淆测率对训练数据进行进一步处理，减低出现前景噪声标签的概率，进而降低前景噪声的负面影响，提高目标检测的准确率。

以上所述，仅是本发明实施例而已，并非对本发明的技术范围作任何限制，故凡是依据本发明的技术实质对以上实施例所作的任何细微修改、等同变化与修饰，均仍属于本发明技术方案的范围内。

Claims (4)

1.一种基于噪声可知的全网络监督目标检测方法，其特征在于：包括

步骤1、构建全网络监督目标检测的网络模型；

所述网络模型包括主干卷积神经网络、候选区域池化层、弱监督检测头部网络和残差检测头部网络；所述主干卷积神经网络的输出端连接候选区域池化层的输入端；所述候选区域池化层的输出端连接弱监督检测头部网络和残差检测头部网络；

步骤2、网络模型训练；

步骤2.1、初始化主干卷积神经网络；

步骤2.2、给定类别，从图像分享网站上抓取图像数据作为图像训练集；

步骤2.3、从图像训练集中随机采样两张类别标签一样的训练图像；

步骤2.4、把训练图像输入模型，经主干卷积神经网络和候选区域池化层后获得候选区域特征图；

步骤2.5、候选区域特征图经弱监督检测网络前向传播获得预测结果y_k；候选区域特征图经残差检测头部网络前向传播获得预测结果

步骤2.6、计算弱监督检测头部网络预测结果的空间敏感熵值；

(1)计算每个预测结果的熵：

(2)计算候选区域之间的Jaccard相似系数矩阵

J_ij＝IoU(p_i，p_j)

其中，IoU(p_i,p_j)表示候选区域p_i和候选区域p_j的交并比；

(3)计算熵的正则项：

其中，

表示Hadamard除法；

(4)计算加入空间信息修正后的熵：

其中，⊙表示Hadamard乘法；

(5)计算每个类别标签是背景噪声的置信度：

其中，p_k表示第k个类别标签是背景噪声的置信度，t_k表示第k个类别的标签，z_k表示第k个类别可能存在的最大的熵，ln()表示底数为自然数，e的对数函数；

步骤2.7、根据空间敏感熵的值计算网络模型的最终损失；

(1)弱监督检测头部网络的损失函数为：

(2)残差检测头部网络的损失函数为：

(3)网络模型的最终损失函数为：

步骤2.8、基于交叉熵损失函数，使用随机梯度下降算法更新主干卷积神经网络的参数；

步骤2.9、重复步骤2.3-2.8直到交叉熵损失函数的结果不再降低；

步骤3、目标检测；

步骤3.1、输入一张图像到网络模型，经主干卷积神经网络和弱监督检测头部网络后得到预测结果y_k。

2.根据权利要求1所述的一种基于噪声可知的全网络监督目标检测方法，其特征在于：所述步骤2.3采样得到的训练图像通过包混淆策略生成两张新的训练图像，然后将新的训练图像输入网络模型中；包混淆策略具体为：

随机采样一张训练图像I₁，根据采样图像I₁的标签再次采样一张同标签的训练图像I₂；

随机从Dirichlet分布里采样混合率{λ₁，λ₂}，生成两张新的训练图像：

3.根据权利要求1所述的一种基于噪声可知的全网络监督目标检测方法，其特征在于：所述步骤2.5中，弱监督检测头部网络对候选区域特征图的处理如下：

(1)候选区域特征图通过弱监督检测网络的两个全连接层获得R个候选区域{P₁...P_R}的特征{φ₁...φ_R}；

(2)候选区域特征{φ₁...φ_R}分别通过两个支流：分类支流和检测支流，得到两个得分矩阵X^c,X^d∈R^R×C，其中，R表示候选区域数目，C表示类别数目；

(3)对两个得分矩阵X^c、X^d在类别和候选区域维度上进行归一化处理：

(4)对归一化后的两个得分矩阵进行点积：x^s＝σ(x^c)·σ(x^d)

(5)为了获得图像层面的预测，对点积结果进行累加池化处理，得到预测结果：

其中，k表示第k个类别，y_k为预测结果，

表示第r个候选区域的第k个类别的预测结果；

残差检测头部网络对候选区域特征图的处理如下：

(1)候选区域特征图经过残差检测头部网络的两个全连接层获得R个候选区域{P₁...P_R}的特征

(2)把弱监督检测头部网络的特征{φ₁...φ_R}与残差检测头部网络的特征

相加，获得噪声候选区域特征

(3)将噪声候选区域特征

通过两个支流：分类支流和检测支流，得到两个得分矩阵

(4)对两个得分矩阵

在类别和候选区域维度上进行归一化处理：

(5)归一化后的得分矩阵进行点积：

(6)为了获得图像层面的预测，对点积结果进行累加池化处理，得到预测结果：

其中，k表示第k个类别，

为预测结果。

4.根据权利要求1所述的一种基于噪声可知的全网络监督目标检测方法，其特征在于：所述步骤3还包括：

步骤3.2、使用非极大值抑制算法过滤预测结果y_k后，得到最终的预测结果。

Images