CN112381107A - 基于深度学习的物品x光检测方法、装置和计算机设备 - Google Patents

Abstract

本申请涉及一种基于深度学习的物品X光检测方法、装置和计算机设备。所述方法包括：获取物品X光检测的原始图像；通过自底向上的卷积层网络，对原始图像进行特征提取，得到第一特征金字塔；通过自顶向下的上采样层网络，对原始图像进行特征提取，得到第二特征金字塔；对第一特征金字塔和第二特征金字塔进行特征融合，得到第三特征金字塔；根据第三特征金字塔，确定原始图像中待检测物品对应的目标候选区域；从第三特征金字塔选择特征图大小与目标候选区域的面积匹配的识别特征图；根据目标候选区域和识别特征图，确定原始图像中待检测物品的物品类别和物品边界框。采用本方法能够提高物品X光检测的准确率。

Description

基于深度学习的物品X光检测方法、装置和计算机设备

技术领域

本申请涉及计算机技术领域，特别是涉及一种基于深度学习的物品X光检测方法、装置和计算机设备。

背景技术

当今社会，安全检查是我们在出行过程中不可避免需要经历的过程，安检帮助我们发现危险品，有效杜绝安全隐患，保证了大家的安全。但是传统安检的方案存在很多痛点问题：

1）传统安检机的X光影像识别依靠人工，从而需要长时间地培训大量安检人员，人力成本非常高；

2）安检人员的工作时间长、违禁品识别强度大、易受干扰及视觉疲劳，物品识别准确度随时间和强度下降；

3）人工安检通过速度慢，高峰期容易排队影响通过率。

利用传统图像处理算法进行物品检测是基于先验知识，对X光影像数据进行预处理和手动提取特征等复杂操作。且X光影像数据纹理信息缺失，加大了人工提取特征的难度，导致最终检测准确率低。

发明内容

基于此，有必要针对上述技术问题，提供一种能够解决通过传统图像处理算法进行检测准确率低问题的基于深度学习的物品X光检测方法、装置和计算机设备。

一种基于深度学习的物品X光检测方法，所述方法包括：

获取物品X光检测的原始图像；

通过自底向上的卷积层网络，对所述原始图像进行特征提取，得到第一特征金字塔；

通过自顶向下的上采样层网络，对所述原始图像进行特征提取，得到第二特征金字塔；

对所述第一特征金字塔和所述第二特征金字塔进行特征融合，得到第三特征金字塔；

根据所述第三特征金字塔，确定所述原始图像中待检测物品对应的目标候选区域；

从所述第三特征金字塔选择特征图大小与所述目标候选区域的面积匹配的识别特征图；

根据所述目标候选区域和所述识别特征图，确定所述原始图像中待检测物品的物品类别和物品边界框。

在其中一个实施例中，还包括：通过自底向上的卷积层网络，对所述原始图像进行特征提取，得到第一特征金字塔；其中，所述卷积层网络包括多个不同大小依次连接的卷积层；所述第一特征金字塔为大小依次减小的特征图序列。

在其中一个实施例中，还包括：通过自顶向下的上采样层网络，对所述原始图像进行特征提取，得到第二特征金字塔；其中，所述上采样层网络为多个上采样层依次连接组成，所述上采样层将输入的特征图放大预设倍数；所述第二特征金字塔为大小依次减小的特征图序列。

在其中一个实施例中，所述卷积层网络的网络层数与所述上采样层网络的网络层数相同，所述第一特征金字塔中特征图的数量与所述第二特征金字塔中特征图的数量相同；还包括：将所述第一特征金字塔和所述第二特征金字塔中的特征图对应相加，得到第三特征金字塔。

在其中一个实施例中，还包括：通过预设的卷积网络对所述第三特征金字塔进行特征提取，得到预设维数的第四特征金字塔。

在其中一个实施例中，还包括：对所述第三特征金字塔中的特征图按照预设步长进行池化，得到拓展特征图；根据所述拓展特征图，对所述第四特征金字塔进行拓展。

在其中一个实施例中，还包括：根据所述第三特征金字塔，拓展得到第四特征金字塔；遍历所述第四特征金字塔中每一特征图中的每个像素点，并设置多个不同宽高比的所述像素点对应的矩形框；其中，所述第四特征金字塔每一特征图的矩形框的大小和特征图大小对应；获取每一特征图中中心像素点对应的特征向量；将所述特征向量输入预设的卷积层后进行归一化，输出第一预设维度的第一特征向量；所述第一特征向量包括：所述多个不同宽高比的矩形框的前景矩形框得分和背景得分；将所述特征向量输入预设的卷积层后进行矩形框回归运算，输出第二预设维度的第二特征向量；所述第二特征向量包括所述多个不同宽高比的矩形框的偏移量；根据所述前景得分的排序，选择排序靠前的矩形框构建候选矩形框集合；根据所述偏移量，对所述候选矩形框集合中的矩形框进行调整，得到修正矩形框集合；根据原始图像的边界，删除所述修正矩形框集合中超过边界的修正矩形框，得到矩形框集合；对所述矩形框集合中矩形框进行非极大值抑制，得到原始图像中待检测物品对应的目标候选区域。

在其中一个实施例中，还包括：将每一特征图对应的原始图像中待检测物品对应的目标候选区域与每一特征图进行比较，确定识别特征图。

一种基于深度学习的物品X光检测装置，所述装置包括：

输入模块，用于获取物品X光检测的原始图像；

第一特征金字塔提取模块，用于通过自底向上的卷积层网络，对所述原始图像进行特征提取，得到第一特征金字塔；

第二特征金字塔提取模块，用于通过自顶向下的上采样层网络，对所述原始图像进行特征提取，得到第二特征金字塔；

融合模块，用于对所述第一特征金字塔和所述第二特征金字塔进行特征融合，得到第三特征金字塔；

目标候选区域提取模块，用于根据所述第三特征金字塔，确定所述原始图像中待检测物品对应的目标候选区域；

目标候选区域匹配模块，用于从所述第三特征金字塔选择特征图大小与所述目标候选区域的面积匹配的识别特征图；

识别模块，用于根据所述目标候选区域和所述识别特征图，确定所述原始图像中待检测物品的物品类别和物品边界框。

一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

获取物品X光检测的原始图像；

通过自底向上的卷积层网络，对所述原始图像进行特征提取，得到第一特征金字塔；

通过自顶向下的上采样层网络，对所述原始图像进行特征提取，得到第二特征金字塔；

对所述第一特征金字塔和所述第二特征金字塔进行特征融合，得到第三特征金字塔；

根据所述第三特征金字塔，确定所述原始图像中待检测物品对应的目标候选区域；

从所述第三特征金字塔选择特征图大小与所述目标候选区域的面积匹配的识别特征图；

根据所述目标候选区域和所述识别特征图，确定所述原始图像中待检测物品的物品类别和物品边界框。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：

获取物品X光检测的原始图像；

通过自底向上的卷积层网络，对所述原始图像进行特征提取，得到第一特征金字塔；

通过自顶向下的上采样层网络，对所述原始图像进行特征提取，得到第二特征金字塔；

对所述第一特征金字塔和所述第二特征金字塔进行特征融合，得到第三特征金字塔；

根据所述第三特征金字塔，确定所述原始图像中待检测物品对应的目标候选区域；

从所述第三特征金字塔选择特征图大小与所述目标候选区域的面积匹配的识别特征图；

根据所述目标候选区域和所述识别特征图，确定所述原始图像中待检测物品的物品类别和物品边界框。

上述基于深度学习的物品X光检测方法、装置、计算机设备和存储介质，获取物品X光的原始图像；一方面通过卷积层网络提取自底向上的第一特征金字塔，另一方面通过上采样层网络提取自顶向下的第二特征金字塔，从而对第一特征金字塔和第二特征金字塔进行特征融合，得到第三特征金字塔，通过特征金字塔中不同大小的特征图，可以捕获X光图像更复杂、更抽象的信息。根据第三特征金字塔，确定原始图像中待检测物品对应的目标候选区域，通过匹配的方式，确定识别特征图，在保证计算量小的前提下，提高识别的准确率，并且最终输出原始图像中待检测物品的物品类别和物品边界框。

附图说明

图1为一个实施例中基于深度学习的物品X光检测方法的流程示意图；

图2为一个实施例中基于深度学习的物品X光检测装置的结构框图；

图3为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

在一个实施例中，如图1所示，提供了一种基于深度学习的物品X光检测方法，包括以下步骤：

步骤102，获取物品X光检测的原始图像。

一般而言，在车站、机场以及其他公共场所进行安检时，是通过拍摄X光图像确定是否行人是否携带潜在的危险物品，从而实现安检的目的。

本步骤中的原始图像，是通过X光相机拍摄的X光图像，X光图像是通过模拟技术形成，一旦X光图像产生，其图像质量无法进一步改进，从而很难直接通过图像处理算法进行处理。

步骤104，通过自底向上的卷积层网络，对原始图像进行特征提取，得到第一特征金字塔。

卷积层网络是通过多个卷积层级联形成，对于卷积层网络中的每一个卷积层，输出的特征图的大小是从上至下依次减小，具体的，根据不同项目的需求，减小的幅度可以自行设置，例如设置为从上至下依次减小一半。

第一特征金字塔中的特征图是卷积层网络每个卷积层输出的特征图，并按照一定的顺序排列。

步骤106，通过自顶向下的上采样层网络，对原始图像进行特征提取，得到第二特征金字塔。

上采样层网络是通过多个上采样层级联形成，对于上采样层网络中的每一个上采样层，输出的特征图的大小是从上至下依次增大，具体的，根据不同项目的需求，增大的幅度可以自行设置，例如设置为从上至下依次增大两倍。

第二特征金字塔中的特征图是上采样层网络每个上采样层输出的特征图，并按照一定的顺序排列。

步骤108，对第一特征金字塔和第二特征金字塔进行特征融合，得到第三特征金字塔。

特征融合的方式可以选择拼接、相加、相乘等。

步骤110，根据第三特征金字塔，确定原始图像中待检测物品对应的目标候选区域。

目标候选区域（ROI，region of interest）可以通过目标候选区域算法确定，本步骤中，第三特征金字塔包括多个尺度的特征图，因此，需要确定不同尺度特征图中待检测物品的目标候选区域。

步骤112，从第三特征金字塔选择特征图大小与目标候选区域的面积匹配的识别特征图。

本步骤中，通过匹配可以选择合适尺度的特征图进行物品识别，即选择得到用于识别的特征图；

步骤114，根据目标候选区域和识别特征图，确定原始图像中待检测物品的物品类别和物品边界框。

进行物品分类，可以选择常规的分类算法、回归算法、支持向量机等。在此不做具体限定。

上述基于深度学习的物品X光检测方法，获取物品X光的原始图像；一方面通过卷积层网络提取自底向上的第一特征金字塔，另一方面通过上采样层网络提取自顶向下的第二特征金字塔，从而对第一特征金字塔和第二特征金字塔进行特征融合，得到第三特征金字塔，通过特征金字塔中不同大小的特征图，可以捕获X光图像更复杂、更抽象的信息。根据第三特征金字塔，确定原始图像中待检测物品对应的目标候选区域，通过匹配的方式，确定识别特征图，在保证计算量小的前提下，提高识别的准确率，并且最终输出原始图像中待检测物品的物品类别和物品边界框。

值得说明的是，经典的目标检测算法的网络（如Faster R-CNN）通常采用单个高层特征进行后续的物体分类和边界框回归，但对目标的多尺度变化效果不好，特别是小目标本身具有的像素信息少，经过下采样后极易丢失部分信息，为了处理这种物体大小差异十分明显的检测问题，经典的方法是利用图像金字塔的方式进行多尺度变化增强，但这样会带来极大的计算量。

鉴于此，对于步骤104，在其中一个实施例中，通过自底向上的卷积层网络，对原始图像进行特征提取，得到第一特征金字塔；其中，卷积层网络包括多个不同大小依次连接的卷积层；第一特征金字塔为大小依次减小的特征图序列。

具体的，以卷积层为4个为例，进行进一步说明，卷积层网络每个卷积层输出的特征图的大小依次减小一半，通过卷积层网络，得到第一特征金字塔为[C2,C3,C4,C5]，其中，C2-C5依次为尺度减小一半的特征图，本实施例中，C2和C3的卷积感受野较小，用于捕捉影像局部和细节信息，上层如C4和C5的卷积感受野逐层加大，用于捕获图像更复杂、更抽象的信息。

对于步骤106，在其中一个实施例中，通过自顶向下的上采样层网络，对原始图像进行特征提取，得到第二特征金字塔；其中，上采样层网络为多个上采样层依次连接组成，上采样层将输入的特征图放大预设倍数；第二特征金字塔为大小依次减小的特征图序列。

具体的，上采样层网络的层数与卷积层网络的层数需保持一致，以4层为例，上采样层网络每个上采样层输出的特征图的大小依次增加两倍，第二特征金字塔为[M5,M4.M3,M2]，其中M2-M5依次增大两倍。

通过上述实施例，由自底向上和自顶向下两类网络进行特征提取，实现从单尺度的单张输入图像，快速构建在所有尺度上都具有强语义信息的特征金字塔。

对于步骤108，在其中一个实施例中，卷积层网络的网络层数与上采样层网络的网络层数相同，第一特征金字塔中特征图的数量与第二特征金字塔中特征图的数量相同；将第一特征金字塔和第二特征金字塔中的特征图对应相加，得到第三特征金字塔。

以上述具体实例进行说明，第一特征金字塔为[C2,C3,C4,C5]，第二特征金字塔为[M5,M4.M3,M2]，相加得到的第三特征金字塔为[K5,K4,K3,K2]，其中，K2-K5为不同尺度的特征图，K5=C5+M5，K4=C4+M4，K3=C3+M3，K2=C2+M2。

在其中一个实施例中，由于上采样过程可能带来的混叠效应，因此需要消除混叠效应，具体手段如下：通过预设的卷积网络对第三特征金字塔进行特征提取，得到预设维数的第四特征金字塔。

具体的，以预设的卷积网络为卷积核数量为256的3*3卷积网络为例进行说明，将第三特征金字塔 [K5,K4,K3,K2]分别输入该卷积网络，得到256维的第四特征金字塔[P5,P4,P3,P2]。

另外，还可以对第四特征金字塔进行拓展，具体如下：

对第三特征金字塔中的特征图按照预设步长进行池化，得到拓展特征图；根据拓展特征图，对第四特征金字塔进行拓展。

具体的，以预设步长为2进行说明，将第三特征金字塔的特征图K5经过步长为2的最大池化，得到特征图P6，从而得到拓展后的第四特征金字塔为[P6,P5,P4,P3,P2]，从而能更好地表示出输入的原始图像各个维度信息的特征金字塔。需要说明的是，上述特征提取模块可使用FPN（Feature Pyramid Networks for Object Detection）架构来配置，其中的自底向上使用ResNet架构来作为骨干网络。

在提取到第四特征金字塔之后，值得说明的是，现有经典的目标候选区域生成方法有OpenCV的adaboost迭代算法使用滑动窗口以及R-CNN使用SS(Selective Search，选择性搜索)方法，但这些目标候选区域生成方法都非常耗时，效率低下。

鉴于此，对于步骤110，在其中一个实施例中，根据第三特征金字塔，拓展得到第四特征金字塔；遍历第四特征金字塔中每一特征图中的每个像素点，并设置多个不同宽高比的所述像素点对应的矩形框；其中，第四特征金字塔每一特征图的矩形框的大小和特征图大小对应；获取每一特征图中中心像素点对应的特征向量；将特征向量输入预设的卷积层后进行归一化，输出第一预设维度的第一特征向量；第一特征向量包括：多个不同宽高比的矩形框的前景矩形框得分和背景得分；将特征向量输入预设的卷积层后进行矩形框回归运算，输出第二预设维度的第二特征向量；第二特征向量包括多个不同宽高比的矩形框的偏移量；根据前景得分的排序，选择排序靠前的矩形框构建候选矩形框集合；根据偏移量，对候选矩形框集合中的矩形框进行调整，得到修正矩形框集合；根据原始图像的边界，删除修正矩形框集合中超过边界的修正矩形框，得到矩形框集合；对矩形框集合中矩形框进行非极大值抑制，得到原始图像中待检测物品对应的目标候选区域。

具体的，具体设置3个不同的宽高比，分别为W:H∈{1:1, 1:2, 2:1}，由于拓展后的第四特征金字塔的尺度不同，因此，可以选择矩形框的大小分别为[512*512,256*256,128*128,64*64,32*32]。预设的卷积层可以选择1*1卷积，1*1卷积用于进行降维，因此在此不对卷积的大小进行限制，可以根据实际项目需求选择，归一化可以采用softmax，具体以特征向量为256维的特征向量为例，通过1*1卷积降维，softmax归一化输出一个6维的第一特征向量，第一特征向量包括：3个不同宽高比的矩形框的前景矩形框得分和背景得分。同理，第二特征向量为12维特征向量，第二特征向量包括3个不同宽高比的矩形框的偏移量，具体的，偏移量包括x，y，w，h四个参数，x，y，w，h分别表示矩形框的中心点在坐标系中的x坐标、中心点的y坐标、矩形框的宽和矩形框的高。

为了更好的解释本实施例，以P6层特征图的处理为例，P6中的一个中心点可表示为一个256维的特征向量T6。第一部分：T6通过1*1卷积降维后接入softmax层得到一个6维的特征向量，包含3种不同宽高比的矩形框的前景得分和背景得分；第二部分：T6通过1*1卷积降维后进行矩形框回归运算得到一个12维的特征向量，包含3种不同宽高比的矩形框的x，y，w，h的偏移量；最后，根据前景得分选择得分排名前6000的矩形框，再通过矩形框偏移量对矩形框位置进行微调，并删除超出图像边界的矩形框，再对剩下的矩形框进行非极大值抑制，得到待检测物品在输入的原始图像上的目标候选区域，数量为2000个。

上述目标候选区域生成的网络可以通过区域生成网络（Region ProposalNetwork，RPN）配置。

对于步骤112，在其中一个实施例中，将每一特征图对应的原始图像中待检测物品对应的目标候选区域与每一特征图进行比较，确定识别特征图。

具体的，此处，选择第四特征金字塔进行匹配，具体匹配时可以参照如下公式：

其中，L用于判断选择哪一层特征图，n表示预训练图片的尺寸，预训练图像可以是通过ImageNet选取，n=224表示输入图片的大小为224*224，

表示面积为

的目标候选区域所在的层级，例如设置

=4，则面积为

的目标候选区域与P4匹配，

表示取整操作。具体的，目标候选区域的尺度小于224（比如112 * 112），这意味着要从更高分辨率的P3中产生。另外，L值做取整处理，用于防止结果不是整数。大尺度的目标候选区域应该匹配低分辨率的特征图，有利于检测大目标，小尺度的ROI应该匹配高分辨率的特征图，有利于检测小目标。

具体的，

是可以设置的，但在本实施例中L0表示面积为w*h=n*n的ROI所应该在的层级。本模块将L0设置为4，n=224，也就是说w*h=224*224的ROI与特征金字塔中的P4匹配。假设ROI的尺度小于224（比如说是112 * 112），L= L0-1=4-1=3，这意味着要从更高分辨率的P3中产生。

对于步骤114，在其中一个实施例中，在选取好识别特征图之后，根据原始图像大小与特征图大小的比例，通过等比例缩放将输入的每一个目标候选区域映射到所匹配的特征图的对应位置；然后将映射后的目标候选区域均匀划分为大小相同的7*7小块；再对每个小块进行最大池化操作，这样不论输入的目标候选区域和特征图大小如何，均能得到固定尺寸7*7的特征图输出；最后经过两次1024维的全连接层后，通过softmax层计算每个目标候选区域内的待检测物体属于哪个具体的类别，以此得到预测的物品类别，同时再次运用矩形框回归获得每个目标候选区域位置的偏移量，从而再次修正目标候选区域得到预测的物品边界框。需要说明的是，所述物品检测模块使用两阶段目标检测器R-CNN架构来配置。

应该理解的是，虽然图1的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中，如图2所示，提供了一种基于深度学习的物品X光检测装置，包括：输入模块202、第一特征金字塔提取模块204、第二特征金字塔提取模块206、融合模块208、目标候选区域提取模块210、目标候选区域匹配模块212和识别模块214，其中：

输入模块202，用于获取物品X光检测的原始图像；

第一特征金字塔提取模块204，用于通过自底向上的卷积层网络，对所述原始图像进行特征提取，得到第一特征金字塔；

第二特征金字塔提取模块206，用于通过自顶向下的上采样层网络，对所述原始图像进行特征提取，得到第二特征金字塔；

融合模块208，用于对所述第一特征金字塔和所述第二特征金字塔进行特征融合，得到第三特征金字塔；

目标候选区域提取模块210，用于根据所述第三特征金字塔，确定所述原始图像中待检测物品对应的目标候选区域；

目标候选区域匹配模块212，用于从所述第三特征金字塔选择特征图大小与所述目标候选区域的面积匹配的识别特征图；

识别模块214，用于根据所述目标候选区域和所述识别特征图，确定所述原始图像中待检测物品的物品类别和物品边界框。

在其中一个实施例中，第一特征金字塔提取模块204还用于通过自底向上的卷积层网络，对所述原始图像进行特征提取，得到第一特征金字塔；其中，所述卷积层网络包括多个不同大小依次连接的卷积层；所述第一特征金字塔为大小依次减小的特征图序列。

在其中一个实施例中，第二特征金字塔提取模块206还用于通过自顶向下的上采样层网络，对所述原始图像进行特征提取，得到第二特征金字塔；其中，所述上采样层网络为多个上采样层依次连接组成，所述上采样层将输入的特征图放大预设倍数；所述第二特征金字塔为大小依次减小的特征图序列。

在其中一个实施例中，所述卷积层网络的网络层数与所述上采样层网络的网络层数相同，所述第一特征金字塔中特征图的数量与所述第二特征金字塔中特征图的数量相同；融合模块208还用于将所述第一特征金字塔和所述第二特征金字塔中的特征图对应相加，得到第三特征金字塔。

在其中一个实施例中，目标候选区域提取模块210还用于通过预设的卷积网络对所述第三特征金字塔进行特征提取，得到预设维数的第四特征金字塔。

在其中一个实施例中，目标候选区域提取模块210还用于对所述第三特征金字塔中的特征图按照预设步长进行池化，得到拓展特征图；根据所述拓展特征图，对所述第四特征金字塔进行拓展。

在其中一个实施例中，目标候选区域提取模块210还用于根据所述第三特征金字塔，拓展得到第四特征金字塔；遍历所述第四特征金字塔中每一特征图中的每个像素点，并设置多个不同宽高比的所述像素点对应的矩形框；其中，所述第四特征金字塔每一特征图的矩形框的大小和特征图大小对应；获取每一特征图中中心像素点对应的特征向量；将所述特征向量输入预设的卷积层后进行归一化，输出第一预设维度的第一特征向量；所述第一特征向量包括：所述多个不同宽高比的矩形框的前景矩形框得分和背景得分；将所述特征向量输入预设的卷积层后进行矩形框回归运算，输出第二预设维度的第二特征向量；所述第二特征向量包括所述多个不同宽高比的矩形框的偏移量；根据所述前景得分的排序，选择排序靠前的矩形框构建候选矩形框集合；根据所述偏移量，对所述候选矩形框集合中的矩形框进行调整，得到修正矩形框集合；根据原始图像的边界，删除所述修正矩形框集合中超过边界的修正矩形框，得到矩形框集合；对所述矩形框集合中矩形框进行非极大值抑制，得到原始图像中待检测物品对应的目标候选区域。

在其中一个实施例中，目标候选区域匹配模块212还用于将每一特征图对应的原始图像中待检测物品对应的目标候选区域与每一特征图进行比较，确定识别特征图。

关于基于深度学习的物品X光检测装置的具体限定可以参见上文中对于基于深度学习的物品X光检测方法的限定，在此不再赘述。上述基于深度学习的物品X光检测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，终端需连接一个X光成像装置，用于获取包含待检测物品的X光影像，其内部结构图可以如图3所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于深度学习的物品X光检测方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，显示屏可以显示物品类别和物品边界框，便于辅助安检人员进行安检。

本领域技术人员可以理解，图3中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，该存储器存储有计算机程序，该处理器执行计算机程序时实现上述实施例中方法的步骤。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述实施例中方法的步骤。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器（ROM）、可编程ROM（PROM）、电可编程ROM（EPROM）、电可擦除可编程ROM（EEPROM）或闪存。易失性存储器可包括随机存取存储器（RAM）或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM（SRAM）、动态RAM（DRAM）、同步DRAM（SDRAM）、双数据率SDRAM（DDRSDRAM）、增强型SDRAM（ESDRAM）、同步链路（Synchlink） DRAM（SLDRAM）、存储器总线（Rambus）直接RAM（RDRAM）、直接存储器总线动态RAM（DRDRAM）、以及存储器总线动态RAM（RDRAM）等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种基于深度学习的物品X光检测方法，其特征在于，所述方法包括：

获取物品X光检测的原始图像；

通过自底向上的卷积层网络，对所述原始图像进行特征提取，得到第一特征金字塔；

通过自顶向下的上采样层网络，对所述原始图像进行特征提取，得到第二特征金字塔；

对所述第一特征金字塔和所述第二特征金字塔进行特征融合，得到第三特征金字塔；

根据所述第三特征金字塔，确定所述原始图像中待检测物品对应的目标候选区域；

从所述第三特征金字塔选择特征图大小与所述目标候选区域的面积匹配的识别特征图；

根据所述目标候选区域和所述识别特征图，确定所述原始图像中待检测物品的物品类别和物品边界框。

2.根据权利要求1所述的方法，其特征在于，所述通过自底向上的卷积层网络，对所述原始图像进行特征提取，得到第一特征金字塔，包括：

通过自底向上的卷积层网络，对所述原始图像进行特征提取，得到第一特征金字塔；其中，所述卷积层网络包括多个不同大小依次连接的卷积层；所述第一特征金字塔为大小依次减小的特征图序列。

3.根据权利要求1所述的方法，其特征在于，所述通过自顶向下的上采样层网络，对所述原始图像进行特征提取，得到第二特征金字塔，包括：

通过自顶向下的上采样层网络，对所述原始图像进行特征提取，得到第二特征金字塔；其中，所述上采样层网络为多个上采样层依次连接组成，所述上采样层将输入的特征图放大预设倍数；所述第二特征金字塔为大小依次减小的特征图序列。

4.根据权利要求1至3任一项所述的方法，其特征在于，所述卷积层网络的网络层数与所述上采样层网络的网络层数相同，所述第一特征金字塔中特征图的数量与所述第二特征金字塔中特征图的数量相同；

对所述第一特征金字塔和所述第二特征金字塔进行特征融合，得到第三特征金字塔，包括：

将所述第一特征金字塔和所述第二特征金字塔中的特征图对应相加，得到第三特征金字塔。

5.根据权利要求4所述的方法，其特征在于，在对所述第一特征金字塔和所述第二特征金字塔进行特征融合，得到第三特征金字塔之后，所述方法还包括：

通过预设的卷积网络对所述第三特征金字塔进行特征提取，得到预设维数的第四特征金字塔。

6.根据权利要求5所述的方法，其特征在于，所述方法还包括：

对所述第三特征金字塔中的特征图按照预设步长进行池化，得到拓展特征图；

根据所述拓展特征图，对所述第四特征金字塔进行拓展。

7.根据权利要求6所述的方法，其特征在于，根据所述第三特征金字塔，确定所述原始图像中待检测物品对应的目标候选区域，包括：

根据所述第三特征金字塔，拓展得到第四特征金字塔；

遍历所述第四特征金字塔中每一特征图中的每个像素点，并设置多个不同宽高比的所述像素点对应的矩形框；其中，所述第四特征金字塔每一特征图的矩形框的大小和特征图大小对应；

获取每一特征图中中心像素点对应的特征向量；

将所述特征向量输入预设的卷积层后进行归一化，输出第一预设维度的第一特征向量；所述第一特征向量包括：所述多个不同宽高比的矩形框的前景矩形框得分和背景得分；

将所述特征向量输入预设的卷积层后进行矩形框回归运算，输出第二预设维度的第二特征向量；所述第二特征向量包括所述多个不同宽高比的矩形框的偏移量；

根据所述前景得分的排序，选择排序靠前的矩形框构建候选矩形框集合；

根据所述偏移量，对所述候选矩形框集合中的矩形框进行调整，得到修正矩形框集合；

根据原始图像的边界，删除所述修正矩形框集合中超过边界的修正矩形框，得到矩形框集合；

对所述矩形框集合中矩形框进行非极大值抑制，得到原始图像中待检测物品对应的目标候选区域。

8.根据权利要求7所述的方法，其特征在于，从所述第三特征金字塔选择特征图大小与所述目标候选区域的面积匹配的识别特征图，包括：

将每一特征图对应的原始图像中待检测物品对应的目标候选区域与每一特征图进行比较，确定识别特征图。

9.一种基于深度学习的物品X光检测装置，其特征在于，所述装置包括：

输入模块，用于获取物品X光检测的原始图像；

第一特征金字塔提取模块，用于通过自底向上的卷积层网络，对所述原始图像进行特征提取，得到第一特征金字塔；

第二特征金字塔提取模块，用于通过自顶向下的上采样层网络，对所述原始图像进行特征提取，得到第二特征金字塔；

融合模块，用于对所述第一特征金字塔和所述第二特征金字塔进行特征融合，得到第三特征金字塔；

目标候选区域提取模块，用于根据所述第三特征金字塔，确定所述原始图像中待检测物品对应的目标候选区域；

目标候选区域匹配模块，用于从所述第三特征金字塔选择特征图大小与所述目标候选区域的面积匹配的识别特征图；

识别模块，用于根据所述目标候选区域和所述识别特征图，确定所述原始图像中待检测物品的物品类别和物品边界框。

10.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至8中任一项所述方法的步骤。

Images