CN109784203A - 基于分层传播和激活的弱监督x光图像违禁品检查方法 - Google Patents

Abstract

本发明公开了一种基于分层传播和激活的弱监督X光图像违禁品检查方法，其实现过程为：首先获取X光图像数据，及其对应的图像类别，并形成训练样本集和测试样本集；然后在训练样本集上通过卷积神经网络(CNN)自上而下的分层结构得到特征图；分层传播激活的方法通过自上而下的层间和层内置信度的传播推动各层特征图的激活，最终得到违禁品的准确位置。本方法利用弱监督标注信息学习图像识别模型，在对图像进行标注时只需要简单的指定图像中有无违禁品以及违禁品的类别信息，不需要对图像中违禁品的具体位置进行精确标注，从而大幅的减少了人工标注的成本，本发明对于实现违禁品目标的智能检测、减少安检过程中不必要的重复工作具有极为重要的意义。

Description

基于分层传播和激活的弱监督X光图像违禁品检查方法

技术领域

本发明属于安检领域，涉及图像处理和分类，特别涉及一种基于分层传播和激活的弱监督X光图像违禁品检查方法。

背景技术

自动的X光图像安全检查技术是保障公共安全的重要手段，对于保障人、机场、船舶、货物流通以及关键基础设施的安全具有重要作用。目前，公共安全领域对违禁物品的主要查验手段是利用人工查看X光图像。随着全球旅行中越来越多的乘客和对运输安全方面更广泛的关注，安检人员的工作强度逐渐增大，长时间的X光图像检查工作给他们带来了巨大的负担和压力。

如何缓解公共安全领域安检效率低与安检需求量大之间的矛盾已成为一个亟待解决的问题。根据2013年海关统计数据，除传统货运渠道，我国进出口邮件已超过5亿个；2014年，我国成为世界第一快递、物流大国。寄递、物流业快速发展，在方便人们工作生活的同时，也带来一些安全隐患。以海关为例，其自动化分拣线与检验设备集成度不高，需要人工将邮件从分拣线挑选出来，采用搬运小车拉到检验设备人工完成检验，然后再将邮件放到自动化分拣线上。整个过程繁琐复杂，并且会需要大量的人力资源。

为提高自动化应用水平，降低工作人员工作强度，有必要提供一种基于弱监督深度学习方法，研究自动识别违禁品包裹的算法，将具有违禁品的箱包和包裹分拣至待检区域，减少安检人员工作量，辅助安检人员减少违禁品的漏检和误检。

传统的监督学习模型往往需要在大量的图像中精确标注每一个目标的位置。虽然这类方法能够依靠大量的标注信息学习目标识别和定位信息，但是对数据的标注提出了非常高的要求。对图像数据集中的每一个目标精确标注的这一过程耗时耗力，这很大程度上影响了算法在海量数据上的扩展，限制了深度学习算法对大数据集的利用。除此之外，大量X光数据只包含类别标号(有无违禁品)，没有精确的违禁品目标位置。结合X光安检的具体问题，弱监督学习需要识别出包裹是否包含违禁品的信息以及违禁品的大概位置，以供安检员进一步查验。综合样本标注和实际应用两个方面，采用弱监督的学习框架相较于传统监督框架更具操作性。学习过程中只要求对图像中是否出现过某类目标给出标注，该标注工作和图像分类的标注工作一致，显著降低了标注工作量。

X光图像因为其成像方式的不同导致X光数据集有鲜明的不同于传统光学图像数据集的特点。X光图像在成像过程中会将相同材质的物体投影为相同的颜色，案件过程中因为要将立体的物体向一个方向投影会导致生成的图像中有很多遮挡的情况，当物体被遮挡时，它们通常是半透明的，而不是在光学图像中不可见。X光图片中即使同一个类别的违禁品的形态、大小相差都比较大。同时在实际的应用中，X光图片中含有违禁品的图像要占少数，大多数都是不含违禁品的图像，所以X光图片中还存在正反例不平衡的问题。

发明内容

为了克服上述问题，本发明人进行了锐意研究，针对X光图片中存在的问题，提出了基于分层传播和激活的弱监督X光图像违禁品检查方法，利用X光成像的特殊性，即X射线的色彩空间比光学数据集的色彩空间更加单一，相同材质的物体会被投影到相似的颜色中，本发明提出的方案中分层传播的机制能够很好的利用这个特点，以发现同一类别中目标之间的相似性，采用分层激活的方法激活特征图像中的显著性区域(响应值高的区域)，能够有效的减轻目标大小不一、遮挡严重的问题；采用定义加权损失函数的方法，正例样本少，赋予较大的损失权重，反例样本多，赋予较小的损失权重，减轻正反例图片不平衡的问题。实验表明，该方法取得了优越的分类性能，提高了定位的稳定性和精度，从而完成本发明。

本发明提供了一种基于分层传播和激活的弱监督X光图像违禁品检查方法，技术方案主要包括以下方面：

(1)一种弱监督X光图像违禁品检查的方法，所述方法包括以下步骤：

步骤1)，获取X光图像数据，确定图像类别，并形成训练样本集和测试样本集；

步骤2)，将训练样本集中图片输入到自上而下分层的卷积神经网络，进行特征提取，将特征分类，得到分类模型；

步骤3)，利用训练好的分类模型，对测试样本集中的未知图像进行分类预测以及定位信息预测。

(2)根据上述(1)所述的方法，所述步骤2)还包括分类模型优化的过程，该过程包括以下步骤：

步骤2.4)设计加权损失函数，根据损失函数计算梯度，对整个卷积层网络进行梯度反传，并更新卷积层网络参数；

步骤2.5)根据加权损失函数计算得到的分类误差判定网络是否收敛(即误差值不再减小)，或者判定是否已经达到最大迭代次数，如果网络收敛或已经达到最大迭代次数，停止网络训练，否则跳转至步骤2.1)。

根据本发明提供的一种基于分层传播和激活的弱监督X光图像违禁品检查方法，具有以下有益效果：

(1)本方法基于弱监督学习，只需要相关场景中的弱标注数据(即只标注图像标号，不需要对图像中的目标进行位置标注)进行训练，可行性和实用性大大提高；

(2)针对X光图像成像的特点，提出了分层传播网络结构，分层的结构可以使网络有效的学习大小不一的目标，传播机制能够发现同一目标的相似性，使得网络能够学习到更精细的目标信息；

(3)本方法采用分层激活的机制，使得网络能够激活最深层特征图上的显著性区域，同时利用目标之间的相似性，去除背景信息的干扰，有效的提高分类的性能；

(4)本方法针对图像中正反例图片分布不均衡的问题，设计了加权损失函数，通过给正例的损失函数乘以比较高的权重，使其在反向传播的过程中能够激活更多的神经元，提高正例的分类性能。

附图说明

图1示出本发明分类模型的结构示意图；

图2示出实施例1中验证模型所用训练样本集和测试样本集图片示例；

图3示出传播和激活模块在SIXray-S数据集上分类和点定位的效果；

图4示出不同反例-正例图片比例的测试样本对分类结果的影响；

图5示出不同反例-正例图片比例的测试样本对点定位准确性的影响。

具体实施方式

下面通过附图对本发明进一步详细说明。通过这些说明，本发明的特点和优点将变得更为清楚明确。

如图1所示，本发明提供了一种弱监督X光图像违禁品检查方法，所述方法包括以下步骤：

步骤1)，获取X光图像数据，确定图像类别，并形成训练样本集和测试样本集；

步骤2)，将训练样本集中图片输入到自上而下分层的卷积神经网络(CNN)，进行特征提取，将特征分类，得到分类模型；

步骤3)，利用训练好的分类模型，对测试样本集中的未知图像(即没有任何标注信息的图像)进行分类预测以及定位信息预测。

步骤1)，获取X光图像数据，确定图像类别，并形成训练样本集和测试样本集。

在一种优选的实施方式中，为了实验的准确性和可比性，训练样本集的反例图片(即不包含违禁品的图片)和正例图片(即包含违禁品的图片)比例相近，如反例图片和正例图片的比例为2:1，该训练样本集中的图片是模拟的，同时训练样本集中的图片有比较少的遮挡情况，用来调整算法中的参数。

测试样本集中的图片都来自于真实场景，反例图片和正例图片的比例相差较大，如反例、正例比例达到100:1，该测试样本集中图片背景复杂并且遮挡情况比较严重，用来验证分类模型的有效性。

训练样本集中图片只给定图像标号、不标注目标位置，其中图像标号只表明该图像中是否含有违禁品。假定训练数据集共有D张X光图像，用表示，x_d为输入图片，C表示总类别数，y_d＝(y_d1,y_d2,...,y_dc,...,y_dC)为输入图片x_d的类别标注信息。如果输入图片x_d至少包含第c个类别(如刀类、枪类)的一个违禁品，则y_dc＝1否则y_dc＝0。

实际安检中获得的X光图像的标注也仅是涉及是否包含违禁品而未具体说明违禁品位置，图像标号和安检中X光图像的标注一致，显著降低了标注工作量。

在一种优选的实施方式中，获取X光图像数据后进行预处理，所述预处理包括归一化处理。优选地，归一化处理通过获得图片像素平均值以及方差，将图片中每个像素的值减去像素平均值后再除以方差进行。经预处理后的X光图像，噪声小，便于后续的特征提取。

步骤2)，将训练样本集中图片输入到自上而下分层的卷积神经网络(CNN)，进行特征提取，将特征分类，得到分类模型。

在一种优选的实施方式中，步骤2)包括以下子步骤：

步骤2.1)，构造自上而下分层的卷积神经网络，对由训练样本集中选择的图片提取特征并进行层内层间的置信度传播；

步骤2.2)，在每层的最后一个卷积层的特征图上使用激活的方法进行特征提取，即采用分层激活的方法激活特征图；

步骤2.3)，利用卷积神经网络的全连接层对步骤2.2)中提取出的特征分类，得到该图片属于每个类别的概率，即构建完成分类模型。

本发明步骤2.1)中，构造自上而下分层的卷积神经网络，对由训练样本集中选择的图片提取特征并进行层内层间的置信度传播。

如图1所示，自上而下分层的卷积神经网络为改进后的卷积神经网络，其将卷积神经网络中某一卷积层进行多级侧输出，添加新的卷积层(如图1中，在每个侧输出的后面均添加了两个卷积层)，侧输出添加的卷积层和原始卷积层形成自上而下类似金字塔的结构。新卷积层和原始卷积层的感受野是不相同的，因而提取的特征必然不同。

在一种优选的实施方式中，侧输出是在靠近全连接层的三个深层卷积层中的任意一个深层卷积层上产生的。理论上，侧输出可以在卷积神经网络中任意一个卷积层上产生，但是，浅层卷积层(离全连接层较远的卷积层)输出的特征图的感受野较小，浅层卷积层提取的信息都是浅层的边缘纹理信息而非高层语义信息并且，特征图较大，在计算图传播模型时耗时长，降低了训练的灵活性；而靠近全连接层的三个深层卷积层则完全解决了浅层卷积层侧输出带来的不利影响。

本发明中，深层卷积层是指靠近全连接层的卷积层，后文中提到的最深层卷积层是指最后一个卷积层，即最靠近全连接层的卷积层。

违禁品(如刀枪)在X光图片中存在大小不一的情况，用分层的卷积层结构，每一层特征图对应的感受野不同，可以提取原图中不同大小的目标的特征，这样就可以涵盖原X光图片中所有大小的目标，存在层次的关系，这有效解决了违禁品大小形态差异的问题；即分层结构导致有多个输出(分支)，多个输出共同决定图片分类，利于提高分类准确性。

本发明中，由于特征图是卷积层进行卷积后的输出，卷积层为分层结构，对应的特征图为分层结构。

本发明步骤2.1)中，层间传播：层间传播采用类似金字塔的特征图结构并且通过融合不同层的特征图来构造。l+1层的置信度传播图(该置信度传播图为经过层间置信度传播后的特征图)通过上采样以和第l层的特征图有相同的空间分辨率，并且和第l层特征图进行级联，接着通过1×1的卷积层进行卷积，这样两层的特征进行了融合，并且置信度从l+1层传到了l层，层间置信度传播见图1a，层间置信度传播公式如式(1)所示：

M^l←W^l*∧(M^l+1,F^l) (1)

M^l表示第l层的置信度传播图，F^l∈R^K×N×N表示第l层特征图有K个维度并且每个维度特征图的大小为N×N，N表示特征图的高(height)和宽(width)；R代表实数；∧(·)表示将l+1层的置信度传播图M^l+1上采样后和第l层特征图F^l进行级联的操作；W^l是1×1卷积层中参数；“*”是卷积操作。当L是卷积层数时M^L＝F^L。

本发明步骤2.1)中，层内传播：正如公式(1)所描述的，置信度传播图M^l是在自上而下金字塔特征图结构中由第l层的特征图和第l+1层的置信度传播图得到的。

层内传播将通过使用传播图，以及周围像素交互作用更新置信度传播图，主要作用在于通过抑制噪声、聚焦相关区域得到更准确的违禁品定位信息。我们将每一个特征图的像素看作一个马尔科夫链，第l层的传播图A^l∈R^N×N通过随机游走算法计算得到，该传播图通过迭代乘以转换概率矩阵不断循环的更新每个像素的状态。当马尔科夫链的平衡分布通过不断积累使得像素与其周围像素具有很高不相似度时，A^l将会达到一个稳定的状态。

表示置信度传播图M^l中第K个维度上位置(i,j)对应的向量，转换概率矩阵通过M^l中像素之间的连接得到。定义两个像素(i,j)和(i',j')间的转换概率矩阵 ||·||表示L2正则化，D((i,j),(i',j'))＝exp((i-i')²+(j-j')²)/σ²表示正则化的空间距离公式，σ表示距离参数，设置为0.2×N，N表示表示特征图的高和宽。σ影响最终分类结果，本发明人经过试验发现，σ为0.2×N时，利于提高分类结果准确性。可以这样认为，转换概率矩阵G^l等同于权值矩阵，以像素作为结点，特征图上结点构成全连接有向图，该权值矩阵为结点间有向边权值的组合。结点之间有向边的权值通过一种自定义的相似度度量方法计算得到，由上述的计算过程也可以看出。若两结点相似相似度高，则对应的有向边权值小，若两结点相似相似度低，则对应的有向边权值大。

为了便于随机游走操作，A^l中的每个元素都被初始化为1/N₂，根据A^l当前的状态迭代乘以转换概率矩阵G^l就可以得到A^l的下一个状态，重复此操作直到A^l到达一个稳定的状态，我们就可以得到传播图A^l，可以这样认为，传播图A^l为经过G^l更新后的权值矩阵，A^l中的每个元素值代表该位置的目标概率。层内置信度传播结构见图1b，经层间置信度传播后的特征图据下式(2)进行更新：

其中，表示层间层内置信度传播后的特征图；表示对应像素相乘，表示M^l的第k个维度。

层内传播基础(或者说传播图A^l或转换概率矩阵G^l的计算基础)是：(1)深层特征中的邻近像素呈现出语义相关性；(2)同一个类别的像素有相似的特征向量。相当于采用软分割的过程来聚合之前的激活。

本发明步骤2.2)中，在每层的最后一个卷积层(即最深层卷积层)的特征图上使用激活的方法进行特征提取。

激活的过程是由弱监督驱动的，图像的标号是对整个卷积层网络训练过程的监督。在弱监督定位的任务中，激活图T_c通过激活最深层卷积层的特征图上的显著性区域(响应值高的区域)得到，该过程是为了发现图像中目标的位置。

然而传统的直接将图像分类的网络用来做定位的任务存在一些缺点：(1)深层的神经元对应着原图很大的面积但是空间精度较低；(2)浅层的神经元有更精确的定位但是其感受野比较小，只能看到原图中局部的信息。其中，感受野是指卷积神经网络每一层输出的特征图上的像素点在原始图像上映射的区域大小。

为此，本发明进行了大量研究，依赖本发明的分层的卷积神经网络，确定采用分层激活的方法进行特征提取。

对于类别c(类别c代表违禁品的任意一个类别)，其l层的激活图定义为 定义为最后一个全连接层中类别c与特征图第k个维度之间的权重。在本发明中，根据公式(1)和(2)可以得到第l层的激活图，如下式(3)所示：

分层激活的结构示意图见图1c。

本发明提出了分层激活的结构，并且每一个激活图T_c ^l都在自上而下的结构中融合了第l层和第l+1层的最深层特征图的特征，相比于其他方法只在最深卷积层(对应于图1的第l-1层)的特征图处理得到激活特征图，分层激活特征图可以收集到图像分类和违禁品定位的更丰富的线索。

本发明步骤2.3)中，利用卷积神经网络的全连接层对步骤2.2)中提取出的特征分类，得到该图片属于每个类别的概率，构建完成分类模型。

类别概率的输出是通过在最后一个卷积层后连接一个全连接层完成的，全连接层的输出节点数是训练样本集中所有目标的类别总数。在完成神经网络的前向传播后就会得到给定图片中每个类别的得分(概率大小)。

在本发明中，所述步骤2)还包括分类模型优化的过程，该过程包括以下步骤：

步骤2.4)设计加权损失函数，根据损失函数计算梯度，对整个卷积层网络进行梯度反传，并更新卷积层网络参数；

步骤2.5)根据加权损失函数计算得到的分类误差判定网络是否收敛(即误差值不再减小)，或者判定是否已经达到最大迭代次数，如果网络收敛或已经达到最大迭代次数，停止网络训练，否则跳转至步骤2.1)。

在本发明步骤2.4)中，在本发明的算法中置信度在卷积层的层内和层间进行传播，并且通过损失函数在特征图上分层激活。对第l层计算损失，图片x_d的得分通过神经网络的前向传播获得，考虑到在一幅图像中存在多标号的情况，对于图像x_d采用交叉熵的损失函数：

β是为了减轻类别不平衡问题设置的权重系数；是指输入图片x_d模型第l层输出的损失函数；是指输入图片x_d模型第l层输出的预测结果；是指输入图片x_d模型第l层输出的第c类的预测结果；y_d是指输入图片x_d的类别标注信息；y_dc是指输入图片x_d的属于c类别的标注信息。

算法的损失函数可以定义为

在计算完损失后，本发明方法通过梯度反向传播更新分类模型参数，其中，卷积神经网络网络的学习率为0.001。深度学习框架能够根据损失函数的梯度，计算出整个卷积层网络不同层的相应的梯度值，并根据学习率更新卷积层网络的参数。

本发明步骤3为测试部分：利用训练好的分类网络，对测试样本集中的未知图像(没有任何标注信息的图像)进行分类预测以及定位信息预测，具体步骤如下：

步骤3.1)：对于给定的未知图像，使用训练好的自上而下的卷积层分层网络结构进行层内和层间的置信度传播；

步骤3.2)：在每层的最后一个卷积层(即最深层卷积层)的特征图上使用激活的方法进行特征提取；

步骤3.3)：利用卷积神经网络的全连接层对步骤3.2)中提取出的特征分类，得到该图片属于每个类别的概率；

步骤3.4)：利用最深层卷积层的特征图和全连接层的权重，构造激活特征图，得到图像中目标的位置信息。

本发明对于违禁品的检查包括图像分类和违禁品定位两个方面，对于分类我们预测在给定的输入X光图像中是否存在违禁品。本发明提供的方法是一个端到端的图像分类框架，在卷积神经网络进行前向传播之后可以直接得到图像分类置信度。如果图像中包含违禁品，卷积神经网络对于该违禁品类别的预测得分就会很高。更进一步，我们通过激活特征图预测出含有违禁品的图片中违禁品的位置信息。推测出的位置信息是特征图中响应值最大的像素(点定位)或者在类别激活特征图上取像素的响应高于一定阈值的区域(候选框定位)。

实施例

实施例1

1、数据库和样本分类

采用本发明所述方法进行违禁品目标识别，如图2所示，为了实验的准确性和可比性，我们标注了一个真实场景的数据集命名为SIXray，划分一个小的数据集SIXray-S(训练样本集)包括20319幅图片，反正例图片的比例为2:1，该数据集中的图片是模拟的，同时数据集中的图片有比较少的遮挡情况，在本发明中用来调整算法中的参数；SIXray-L数据集包括1082511幅图片，反正例比例达到100:1，该数据集中的图片都来自于真实场景。SIXray-S包含四个违禁品类别而SIXray-L包含五个违禁品类别，SIXray-L数据集中图片背景复杂并且遮挡情况比较严重，用来验证算法有效性。

本发明方法没有使用目标的标注信息，取而代之的是图像的标号。在SIXray数据集中，每一类图像都有图像级的标号，标号为1表示该图像包含该类目标，0则表示不包含。实验中反例是指该图像标号中所有类别对应的标号都是0，即该图像中不包含任何目标类别。

2、性能评测准则

为了进行算法性能的评测以及与其他方法的对比，我们选取在图像分类中被广泛使用的评测方法：基于Recall(查全率)和Precision(准确率)计算出的AP(AveragePrecision，平均准确率)。

首先介绍Recall和Precision的计算过程。在训练集上学习到分类模型之后，测试集上的每一个样本都会由分类器计算出一个得分，根据样本的得分可以判断样本是正例还是反例，对所有样本的正反例评判有如下四种情况：

a)True Positive(TP)：正确的正例，也就是正例样本被分类器正确的判定为正例样本。

b)False Positive(FP)：错误的正例，也就是反例样本被分类器错误的判定为正例样本。

c)True Negative(TN)：正确的反例，也就是反例样本被分类器正确的判定为反例样本。

d)False Negative(FN)：错误的反例，也就是正例样本被分类器错误的判定为反例样本。

有了上述四个定义之后，Recall和Precision可以用如下公式计算：

Recall＝TP/(TP+FN) 式(6)

Precision＝TP/(TP+FP) 式(7)

实验中对所有测试样本的得分排序，并且通过不断的调整正反例样本的得分阈值形成不同的Recall和Precision。本发明中由于实验数据类别太多，实验中没有给出每一类目标对应的Recall-Precision曲线，而是采用了图像分类使用最为广泛的AP值，通过多组Recall和Precision计算出平均性能AP。

实验中定位性能的评测包括点定位和框定位两种，为了能够实现目标定位的评测，在测试集上的图片除了标定目标类别外，也对目标进行了框的标注，即标注了能够覆盖目标的最小直立框。

点定位性能的评测：将类别特征图映射到原图，如果类别特征图中响应最大的值正好落在原图中属于该类别的目标的框内，则认为该图片该类别的定位正确，否则认为定位错误，对于每个类别，分别计算图片定位正确的与所有图片的百分比作为点定位的性能评测结果。

框定位性能的评测：在类别特征图上将大于给定阈值的区域用框标定，然后将框映射到原图，如果该框与原图中属于同一类别的目标的框IOU>0.5，则认为框定位正确，否则定位错误。对于每个类别，分别计算图片定位正确的与所有图片的百分比作为框定位的性能评测结果。

3、结果与分析

(1)实验结果以及和baseline(基准实验)的对比

基于Googlenet和VGGnet网络的分层传播激活网络模型在SIXray-S和SIXray-L上与baseline对比的基本实验性能。其中，Googlenet网络为Google在2014年提出的网络；VGGnet网络为2014年提出的当时最深的网络。

表1 Googlenet分层传播激活模型在SIXray-S的分类结果(％)

Method	枪	刀子	扳手	钳子	均值
						CAM	97.3	97.7	92.6	94.8	95.6
SPN	98.9	96.3	94.6	93.1	95.7
						HPA	98.7	98.4	94.6	96.1	97.0

表2 Googlenet分层传播激活模型在SIXray-S的点定位结果(％)

Method	枪	刀子	扳手	钳子	均值
						CAM	89.6	79.9	63.6	67.3	75.1
SPN	89.0	75.1	69.9	76.0	77.5
						HPA	93.2	91.8	77.6	84.7	86.8

表3 VGGnet分层传播激活模型在SIXray-S的分类结果(％)

Method	枪	刀子	扳手	钳子	均值
						CAM	95.7	97.9	93.3	92.5	94.9
SPN	98.6	93.7	94.8	93.0	95.0
						HPA	95.5	98.9	93.6	94.5	95.6

表4 VGGnet分层传播激活模型在SIXray-S上的点定位结果(％)

Method	枪	刀子	扳手	钳子	均值
						CAM	80.2	84.1	72.7	84.0	80.3
SPN	86.8	81.6	70.6	87.3	81.6
						HPA	92.6	93.2	76.9	90.0	88.2

表5 Googlenet分层传播激活模型在SIXray-L的分类结果(％)

Method	枪	刀子	扳手	钳子	剪刀	均值
							CAM	96.0	90.2	64.5	70.0	25.1	69.2
SPN	96.4	90.2	62.5	69.9	29.5	69.7
							HPA	95.3	90.5	65.8	73.0	41.3	73.2

表6 Googlenet分层传播激活模型在SIXray-L的点定位结果(％)

Method	枪	刀子	扳手	钳子	剪刀	均值
							CAM	88.0	81.4	34.6	43.1	2.0	49.8
SPN	73.6	79.7	36.4	57.1	12.5	51.8
							HPA	77.8	82.1	30.1	66.7	15.4	54.4

对比例

上述实验中，使用目前已有的弱监督学习方法CAM(类别激活网络)和SPN(候选框网络)进行测试。

CAM在文献“Zhou,B.,Khosla,A.,Lapedriza,A.,Oliva,A.,Torralba,A.:Learning deep features for discriminative localization.In:CVPR.(2016)2921{2929”中提出；SPN在文献“Zhu,Y.,Zhou,Y.,Ye,Q.,Qiu,Q.,Jiao,J.:Soft proposalnetworks for weakly supervised objectlocalization.(2017)”中提出。

从表1至6中可以看出，本发明所提出的方法“HPA”在测试中的准确率均高于已有的经典弱监督学习算法CAM和SPN。可以看出，在使用分层传播激活后，本发明提出的方法能够激活目标区域，抑制背景信息，使得模型能够挖掘更为准确的训练样本。

实验例

针对网络中的传播和激活模块以及提出的加权损失函数分别验证其有效性。

1)加权损失函数的影响

验证分层传播和激活网络模型中加权损失函数在SIXray-S数据集上的分类和点定位效果。

表7 验证加权损失函数在SIXray-S的分类结果(％)

Network	Method	枪	刀子	扳手	钳子	均值
							Googlenet	HPA-	98.9	98.7	95.8	92.7	96.5
Googlenet	HPA	98.7	98.4	94.6	96.1	97.0
							VGGnet	HPA-	98.5	95.6	92.2	93.4	94.9
VGGnet	HPA	95.5	98.9	93.6	94.5	95.6

表8 验证加权损失函数在SIXray-S的点定位结果(％)

Network	Method	枪	刀子	扳手	钳子	均值
							Googlenet	HPA-	92.6	89.5	67.8	87.3	84.3
Googlenet	HPA	93.2	91.8	77.6	84.7	86.8
							VGGnet	HPA-	93.1	91.8	76.2	83.3	86.1
VGGnet	HPA	92.6	93.2	76.9	90.0	88.2

“HPA-”表示分层传播激活网络采用交叉熵损失函数

“HPA”表示分层传播激活网络采用加权损失函数

在SIXray-S数据集上基于Googlenet和VGGnet都可以验证，本发明提出的加权损失函数可以有效的减轻样本不平衡的问题，提高分类和点定位的性能。

2)网络结构的影响

分别验证传播和激活模块在SIXray-S数据集上分类和点定位的效果：

表9 Googlenet传播和激活分别在SIXray-S的分类结果(％)

Method	枪	刀子	扳手	钳子	均值
						CAM	97.3	97.7	92.6	94.8	95.6
HA	98.3	98.5	93.5	95.5	96.5
						HPA	98.7	98.4	94.6	96.1	97.0

表10 Googlenet传播和激活分别在SIXray-S的点定位结果(％)

Method	枪	刀子	扳手	钳子	均值
						CAM	89.6	79.9	63.6	67.3	75.1
HA	90.8	90.2	69.2	73.3	80.9
						HPA	93.2	91.8	77.6	84.7	86.8

“CAM”是基网络既没有传播也没有激活模块；

“HA”是在基网络的基础上添加分层激活结构模块；

“HPA”是在“HA”的基础上添加分层传播结构。

三种方式的点定位结果如图3所示，分类数据和点定位数据见表9～10。从表9～10可以看出分层激活模块和分层传播模块对于SIXray-S数据集中分类性能和点定位性能都有一定的提高。由图3可以看出本发明提出的方法能够更准确的定位目标的位置。

3)样本不平衡的问题

验证本专利提出的方法对样本不平衡问题的有效性，分别从SIXray-L中取反例与正例的比例为2：1、10：1、100：1。测定样本不平衡对CAM、SPN和HPA三种算法分类和点定位性能的影响，结果见图4和图5。

从图4和图5中可以看出，随着反例和正例比例的不断增大，分类和点定位的性能明显下降，说明样本不平衡问题对于分类和定位的性能都有很大的影响；从对比实验可以看出，本发明提出的算法能一定程度的减少样本不平衡问题的影响，提高分类和定位的性能。

以上结合了优选的实施方式对本发明进行了说明，不过这些实施方式仅是范例性的，仅起到说明性的作用。在此基础上，可以对本发明进行多种替换和改进，这些均落入本发明的保护范围内。

Claims (10)

1.一种弱监督X光图像违禁品的检查方法，其特征在于，所述方法包括以下步骤：

步骤1)，获取X光图像数据，确定图像类别，并形成训练样本集和测试样本集；

步骤2)，将训练样本集中图片输入到自上而下分层的卷积神经网络，进行特征提取，将特征分类，得到分类模型；

步骤3)，利用训练好的分类模型，对测试样本集中的未知图像进行分类预测以及定位信息预测。

2.根据权利要求1所述的方法，其特征在于，步骤1)中，训练样本集中图片只给定图像标号、不标注目标位置，其中图像标号只表明该图像中是否含有违禁品。

3.根据权利要求1所述的方法，其特征在于，步骤1)中，获取X光图像数据后进行预处理，所述预处理包括归一化处理；

优选地，归一化处理通过获得图片像素平均值和方差，将图片中每个像素减去像素平均值后再除以方差进行。

4.根据权利要求1所述的方法，其特征在于，步骤2)包括以下子步骤：

步骤2.1)，构造自上而下分层的卷积神经网络，对由训练样本集中选择的图片提取特征并进行层内层间的置信度传播；

步骤2.2)，在每层的最后一个卷积层的特征图上使用激活的方法进行特征提取，即采用分层激活的方法激活特征图；

步骤2.3)，利用卷积神经网络的全连接层对步骤2.2)中提取出的特征分类，得到该图片属于每个类别的概率，即构建完成分类模型；

其中，自上而下分层的卷积神经网络为将卷积神经网络中产生多级侧输出，侧输出产生的卷积层和原始卷积层形成自上而下类似金字塔的结构。

5.根据权利要求1所述的方法，其特征在于，步骤2.1)中，层间传播通过以下步骤得到：

上层的置信度传播图通过上采样以和下层的特征图有相同的空间分辨率，并和下层特征图进行级联，通过1×1的卷积层进行卷积，这样两层的特征进行了融合，并且置信度从上层传到了下层；

层间置信度传播公式如式(1)所示：

M^l←W^l*∧(M^l+1,F^l) 式(1)

其中，M^l表示第l层的置信度传播图，F^l∈R^K×N×N表示第l层特征图有K个维度并且每个维度特征图的大小为N×N，N表示特征图的高和宽；R代表实数；∧(·)表示将l+1层的置信度传播图M^l+1上采样后和第l层特征图F^l进行级联的操作；W^l是1×1卷积层的参数；“*”是卷积操作。

6.根据权利要求1所述的方法，其特征在于，步骤2.1)中，层内传播通过使用传播图A^l∈R^N×N和转换概率矩阵更新特征图上每个像素的状态；转换概率矩阵用于确定特征图上两个像素间的相似度；

传播图A^l中的每个元素均被初始化为1/N²，传播图A^l迭代乘以转换概率矩阵G^l就可以得到传播图A^l的下一个状态，重复此操作直到传播图A^l到达一个稳定的状态；

经层间置信度传播后的特征图据下式(2)进行更新：

其中，表示层间层内置信度传播后的特征图；表示对应像素相乘，表示M^l的第k个维度。

7.根据权利要求5或6所述的方法，其特征在于，步骤2.2)中，采用分层激活的网络结构进行特征提取；

对于违禁品类别c，其l层的激活特征图定义为 定义为最后一个全连接层中类别c特征图第k个维度之间的权重；类别c代表违禁品的任意一个类别；

第l层的激活特征图，如下式(3)所示：

8.根据权利要求1所述的方法，其特征在于，所述步骤2)还包括分类模型优化的过程，该过程包括以下步骤：

步骤2.4)设计加权损失函数，根据损失函数计算梯度，对整个卷积层网络进行梯度反传，并更新卷积层网络参数；

步骤2.5)根据加权损失函数计算得到的分类误差判定网络是否收敛(即误差值不再减小)，或者判定是否已经达到最大迭代次数，如果网络收敛或已经达到最大迭代次数，停止网络训练，否则跳转至步骤2.1)。

9.根据权利要求1所述的方法，其特征在于，步骤2.4)中，所述加权损失函数为交叉熵的损失函数：

其中，β是为了减轻类别不平衡问题设置的权重系数；是指输入图片x_d模型第l层输出的损失函数；是指输入图片x_d模型第l层输出的预测结果；是指输入图片x_d模型第l层输出的第c类的预测结果；y_d是指输入图片x_d的类别标注信息；y_dc是指输入图片x_d的属于c类别的标注信息。

10.根据权利要求1所述的方法，其特征在于，步骤3)中具体包括以下步骤，

步骤3.1)：对于给定的未知图像，使用训练好的自上而下的卷积层分层网络结构进行层内和层间的置信度传播；

步骤3.2)：在每层的最后一个卷积层即最深层卷积层的特征图上使用激活的方法进行特征提取；

步骤3.3)：利用卷积神经网络的全连接层对步骤3.2)中提取出的特征分类，得到该图片属于每个类别的概率；

步骤3.4)：利用最深层卷积层的特征图和全连接层的权重，构造激活特征图，得到图像中目标的位置信息。