CN114494891A - 一种基于多尺度并行检测的危险品识别装置和方法 - Google Patents

Abstract

本发明涉及一种基于多尺度并行检测的危险品识别装置和方法，属于图像预处理及识别技术领域，解决传统模型常出现长尾效应，造成识别精度低的问题。该装置包括：混合模块用于获取历史安检图片集并将含有不同危险品的安检图片集与不含危险品的安检图片集混合均匀；训练集和验证集获取模块用于将历史安检图片集划分为训练集和验证集；模型构建模块用于建立包括卷积模块的检测模型，卷积模块包括三个不同尺度的卷积核的多尺度并行检测算子；模型训练及验证模块用于对检测进行训练和验证；以及检测模块用于将实时获取的待检测图片发送给训练后的检测模型以生成识别结果并判断是否含有危险品及危险品的位置。使用不同尺度卷积核检测出大小不同目标。

Description

一种基于多尺度并行检测的危险品识别装置和方法

技术领域

本发明涉及图像预处理及识别技术领域，尤其涉及一种基于多尺度并行检测的危险品识别装置和方法。

背景技术

近几年来，随着经济的发展和电商行业的迅速崛起，相关产业尤其是物流货物流通量急剧增长，该产业在享受经济增长的福利的同时，也带来了挑战，尤其是在货物运输的安检方面，迅速膨胀的货物量，尤其是一些购物节的货物数量暴增，极大地增加了安检人员的工作量，提高了物流货物安检工作的难度。现有的安检机只能用不同颜色标注出不同材质的物体，但是对于货物中是否包含危险品还需要安检人员人工确认，这种检测方式效率很低，且人工成本高，已经逐渐无法适应当前的需求。因此，利用计算机视觉以及神经网络技术来辅助安检工作人员完成危险品检测工作是未来发展的主要趋势。

随着深度学习和计算机视觉技术的不断发展，使用人工智能技术辅助安检工作人员进行危险品的目标检测已经成为可能，但是传统的方法是采用卷积神经网络的方式进行危险品的检测与定位，这存在无法适应检测不同尺寸危险品的问题，过大的危险品（如刀等）和小的危险品（如打火机等）可能同时在一张图片里面出现，固定的检测算子无法同时高精度地精确识别两种物体。同时由于危险品图片样本较少，一些特殊方式摆放的危险品（如堆叠等）的训练样本不足，传统的模型经常出现检测的长尾效应，造成识别精度不高的问题。长尾效应即指类别的数据量分布不均衡的问题，即待分辨的类别中，待检测的类别（在这里即指危险品样本）数量远远少于非感兴趣目标的类别（在这里即指普通的非危险品）。这种情况下如果使用传统的检测模型，那么模型更倾向于将目标检测为非危险品。

发明内容

鉴于上述的分析，本发明实施例旨在提供一种基于多尺度并行检测的危险品识别装置和方法，用以解决传统模型经常出现检测的长尾效应，造成识别精度不高的问题。

一方面，本发明实施例提供了一种基于多尺度并行检测的危险品识别装置，包括：混合模块，用于获取历史安检图片集并将含有不同危险品的安检图片集与不含危险品的安检图片集混合均匀；训练集和验证集获取模块，用于将所述历史安检图片集划分为训练集和验证集；模型构建模块，用于建立包括卷积模块的检测模型，所述卷积模块包括三个不同尺度的卷积核的多尺度并行检测算子；模型训练及验证模块，用于使用所述训练集对所述检测模型进行训练，并使用所述验证集验证所述检测模型的训练结果；以及检测模块，用于将实时获取的待检测图片发送给训练后的检测模型以生成识别结果并根据所述识别结果判断所述待检测图片中是否含有危险品以及危险品的位置。

上述技术方案的有益效果如下：使用大小不同的卷积核并行处理图片，使得可以同时检测出同一张图片中大小不同目标的特征，同时为了在保证感受野的目的下不增加计算量，在卷积核上进行了“打洞”操作，极大地降低了计算量。

基于上述装置的进一步改进，所述卷积模块包括：第一层卷积模块、第二层卷积模块、第三层卷积模块、第四层卷积模块和最大池化层，其中，所述第一层卷积模块，用于压缩安检图片尺寸并初步分离安检图片特征；所述第二层卷积模块，用于通过三个不同尺度的卷积核进一步提取图片特征，以提取安检图片中不同尺寸的目标；所述第三层卷积模块和所述第四层卷积模块，用于按顺序将所述第二层卷积模块输出的图片特征分化，同时将输出特征图的尺寸统一为22×22；以及所述最大池化层模块，用于在保证通道数不变的情况下，对尺寸统一的输出特征图进一步缩减特征图尺寸。

基于上述装置的进一步改进，所述第二层卷积模块包括第一卷积核、第二空洞卷积核和第三空洞卷积核，其中，所述第一卷积核，用于从所述第一层卷积模块的输出特征图中提取小目标；所述第二空洞卷积核，用于从所述第一层卷积模块的输出特征图中提取中目标；以及所述第三空洞卷积核，用于从所述第一层卷积模块的输出特征图中提取大目标。

基于上述装置的进一步改进，所述第二空洞卷积核和所述第三空洞卷积核用于在扩大感受野、提高大尺寸目标检测准确率的同时，不增加计算量，其中，所述第一卷积核，为3×3卷积核，步进尺寸为1；所述第二空洞卷积核，为5×5卷积核，步进尺寸为2；以及所述第三空洞卷积核，为7×7卷积核，步进尺寸为3。

基于上述装置的进一步改进，经过所述第二层卷积模块后，通过以下公式计算对应的单特征层的尺寸：

其中，in代表输入特征层的大小，out是输出特征层的大小，kernel_size为卷积核大小，stride为卷积核移动步长。

基于上述装置的进一步改进，所述检测模型包括Adaboost 模块和全连接层，其中，所述Adaboost 模块，用于对所述卷积模块的输出特征图进行预检测，以判断图像中是否含有危险品，其中，当图像中含有危险品时，再对所述危险品进行检测和定位；以及所述全连接层，用于判断待检测目标的位置和类别。

基于上述装置的进一步改进，基于多尺度并行检测的危险品识别装置，还包括损失函数，其中，使用以下公式计算所述损失函数：

其中，所述检测模型的预测结果为q _t ，γ为聚焦参数，γ=2。

基于上述装置的进一步改进，基于多尺度并行检测的危险品识别装置，还包括预处理模块，用于将所述训练集中的图片进行尺度伸缩变换和叠加融合的处理，以增广所述训练集，其中，使用以下变换矩阵对所述训练集T中的图片进行尺度伸缩变换：

H ₁=H(h _x 、h _y )

其中h _x 、h _y 分别表示缩放矩阵沿x轴和y轴的缩放比例，其为缩放矩阵H ₁的对角线矩阵块。

另一方面，本发明实施例提供了一种基于多尺度并行检测的危险品识别方法，包括：获取历史安检图片集并将含有不同危险品的安检图片集与不含危险品的安检图片集混合均匀，并将所述历史安检图片集划分为训练集和验证集；建立包括卷积模块的检测模型，其中，所述卷积模块包括三个不同尺度的卷积核的多尺度并行检测算子；使用所述训练集对所述检测模型进行训练，并使用所述验证集验证所述检测模型的训练结果；以及将实时获取的待检测图片发送给训练后的检测模型以生成识别结果并根据所述识别结果判断所述待检测图片中是否含有危险品以及危险品的位置。

基于上述方法的进一步改进，所述卷积模块包括：将所述历史安检图片集或所述待检测图片输入第一层卷积模块，然后压缩安检图片尺寸并初步分离安检图片特征；将初步分离的安检图片特征输入第二层卷积模块的三个不同尺度的卷积核，然后利用所述第二层卷积模块进一步提取图片特征，以提取安检图片中不同尺寸的目标；通过第三层卷积模块和第四层卷积模块按顺序将所述第二层卷积模块输出的图片特征分化，同时将输出特征图的尺寸统一为22×22；以及通过最大池化层模块在保证通道数不变的情况下，对尺寸统一的输出特征图进一步缩减为10×10。

与现有技术相比，本发明至少可实现如下有益效果之一：

1、为了获取多尺度的上下文信息，使用大小不同的卷积核并行处理图片，使得可以同时检测出同一张图片中大小不同目标的特征，同时为了在保证感受野的目的下不增加计算量，在卷积核上进行了“打洞”操作，极大地降低了计算量；

2、针对安检图片中目标占比小、干扰噪声较大的特点，使用Focal Loss损失函数代替传统的交叉熵损失，通过增加难分类样本的权重（即待检测目标），降低容易分类样本的权重，解决了样本不平衡问题，提升模型性能；

3、使用AdaBoost算法对图片进行预检测。对卷积网络提取出的图片特征进行预检测，考虑到后续的定位计算成本较高，使用AdaBoost算法预先检测出图片中是否含有危险品，只对含有危险品的图片进行目标检测与定位，提高效率。

本发明中，上述各技术方案之间还可以相互组合，以实现更多的优选组合方案。本发明的其他特征和优点将在随后的说明书中阐述，并且，部分优点可从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过说明书以及附图中所特别指出的内容中来实现和获得。

附图说明

附图仅用于示出具体实施例的目的，而并不认为是对本发明的限制，在整个附图中，相同的参考符号表示相同的部件；

图１为根据本发明实施例的基于多尺度并行检测的危险品识别装置的框图；

图2为根据本发明实施例的检测模型的总体结构；

图3为根据本发明实施例的多尺度检测算子的示意图；

图4为根据本发明实施例的检测结果的示图；

图5为根据本发明实施例的图像预处理结果的示图；

图6为根据本发明实施例的图像预处理结果的示图；

图7为根据本发明实施例的基于多尺度并行检测的危险品识别方法的流程图。

具体实施方式

下面结合附图来具体描述本发明的优选实施例，其中，附图构成本申请一部分，并与本发明的实施例一起用于阐释本发明的原理，并非用于限定本发明的范围。

本发明的一个具体实施例，公开了一种基于多尺度并行检测的危险品识别装置。如图1所示，基于多尺度并行检测的危险品识别装置包括：混合模块102、训练集和验证集获取模块104、模型构建模块106、模型训练及验证模块108和检测模块110。混合模块102，用于获取历史安检图片集并将含有不同危险品的安检图片集与不含危险品的安检图片集混合均匀；训练集和验证集获取模块104，用于将历史安检图片集划分为训练集和验证集；模型构建模块106，用于建立包括卷积模块的检测模型，卷积模块包括三个不同尺度的卷积核的多尺度并行检测算子；模型训练及验证模块108，用于使用训练集对检测模型进行训练，并使用验证集验证检测模型的训练结果；以及检测模块110，用于将实时获取的待检测图片发送给训练后的检测模型以生成识别结果并根据识别结果判断待检测图片中是否含有危险品以及危险品的位置。

与现有技术相比，本实施例提供的基于多尺度并行检测的危险品识别装置中，通过三个不同尺度的卷积核的多尺度并行检测算子并行处理图片，使得可以同时检测出同一张图片中大小不同目标的特征，同时为了在保证感受野的目的下不增加计算量，在卷积核上进行了空洞卷积操作，（即，“打洞”操作），极大地降低了计算量。

下文中，参考图1至图3，对根据本发明实施例的基于多尺度并行检测的危险品识别装置进行详细描述。基于多尺度并行检测的危险品识别装置包括：混合模块102、训练集和验证集获取模块104、预处理模块、模型构建模块106、模型训练及验证模块108和检测模块110。

混合模块102用于获取历史安检图片集并将含有不同危险品的安检图片集与不含危险品的安检图片集混合均匀。

训练集和验证集获取模块104用于将历史安检图片集划分为训练集和验证集。以split _ratio =0.7将图片集划分为训练集T和验证集V。具体地，将数据集的70%划分为训练集，将数据集剩下的30%划分为验证集。

预处理模块用于将训练集中的图片进行尺度伸缩变换和叠加融合的处理，以增广训练集，其中，使用以下变换矩阵对训练集T中的图片进行尺度伸缩变换：H ₁=H(h _x 、h _y )，其中，h _x 、h _y 分别表示缩放矩阵沿x轴和y轴的缩放比例，其为缩放矩阵H ₁的对角线矩阵块。

模型构建模块106用于建立检测模型，该检测模型包括卷积模块、Adaboost模块和全连接层。参考图2和图3，卷积模块202包括三个不同尺度的卷积核的多尺度并行检测算子，即，第一检测算子204、第二检测算子206和第三检测算子208。卷积模块202包括：第一层卷积模块、第二层卷积模块、第三层卷积模块、第四层卷积模块和最大池化层，其中，第一层卷积模块，用于压缩安检图片尺寸并初步分离安检图片特征；第二层卷积模块，用于通过三个不同尺度的卷积核进一步提取图片特征，以提取安检图片中不同尺寸的目标；第三层卷积模块和第四层卷积模块，用于按顺序将第二层卷积模块输出的图片特征分化，同时将输出特征图的尺寸统一为22×22；以及最大池化层模块，用于在保证通道数不变的情况下，对尺寸统一的输出特征图进一步缩减特征图尺寸。检测模型包括Adaboost模块210和全连接层，其中，Adaboost模块210用于对卷积模块的输出特征图进行预检测，以判断图像中是否含有危险品，其中，当图像中含有危险品时，再对危险品进行检测和定位；以及全连接层，用于判断待检测目标的位置和类别。

参考图2和图3，第二层卷积模块包括第一卷积核（即，第一检测算子204）、第二空洞卷积核（即，第二检测算子206）和第三空洞卷积核（即，第三检测算子208）。第一卷积核用于从第一层卷积模块的输出特征图中提取小目标，其中，第一卷积核为3×3卷积核，步进尺寸为1。第二空洞卷积核和第三空洞卷积核用于在扩大感受野、提高大尺寸目标检测准确率的同时，不增加计算量。第二空洞卷积核用于从第一层卷积模块的输出特征图中提取中目标，其中，第二空洞卷积核为5×5卷积核，步进尺寸为2；以及第三空洞卷积核用于从第一层卷积模块的输出特征图中提取大目标，第三空洞卷积核为7×7卷积核，步进尺寸为3。经过第二层卷积模块后，通过以下公式计算对应的单特征层的尺寸：

其中 in代表输入特征层的大小，out是输出特征层的大小，kernel_size为卷积核大小，stride为卷积核移动步长。

模型训练及验证模块108，用于使用训练集对检测模型进行训练，并使用验证集验证检测模型的训练结果。对检测模型进行正向传播训练，计算出模型的预测结果q _t ，并使用Focal Loss损失函数计算多分类损失。根据Focal Loss损失对检测模型进行模型参数的反向传播训练。Focal Loss函数对传统的交叉熵损失函数进行了改进。使用以下公式计算Focal Loss损失函数：

其中检测模型的预测结果为q _t ，γ为聚焦参数，γ=2。对检测模型进行正向传播训练，计算出模型的预测结果q _t ，并使用Focal Loss损失函数计算多分类损失。

由于检测的安检危险品属于小概率目标，检测过程中存在长尾效应，所以需要适当调整样本中的目标与非目标的权重，当使用Focal Loss函数时，其使得容易分类的样本权重降低，而对于难分类的样本权重增加。针对安检图片中目标占比小、干扰噪声较大的特点，使用Focal Loss损失函数代替传统的交叉熵损失，通过增加难分类样本的权重（即待检测目标），降低容易分类样本的权重，解决了样本不平衡问题，提升模型性能。

检测模块110用于将实时获取的待检测图片发送给训练后的检测模型以生成识别结果并根据识别结果判断待检测图片中是否含有危险品以及危险品的位置。

本发明的另一个具体实施例，公开了一种基于多尺度并行检测的危险品识别方法。参见图7，基于多尺度并行检测的危险品识别方法包括以下步骤：

在步骤S702中，获取历史安检图片集并将含有不同危险品的安检图片集与不含危险品的安检图片集混合均匀，并将历史安检图片集划分为训练集和验证集。

在步骤S704中，建立包括卷积模块的检测模型，其中，卷积模块包括三个不同尺度的卷积核的多尺度并行检测算子，具体地，卷积模块包括：将历史安检图片集或待检测图片输入第一层卷积模块，然后压缩安检图片尺寸并初步分离安检图片特征；将初步分离的安检图片特征输入第二层卷积模块的三个不同尺度的卷积核，然后利用第二层卷积模块进一步提取图片特征，以提取安检图片中不同尺寸的目标；通过第三层卷积模块和第四层卷积模块按顺序将第二层卷积模块输出的图片特征分化，同时将输出特征图的尺寸统一为22×22；以及通过最大池化层模块在保证通道数不变的情况下，对尺寸统一的输出特征图进一步缩减为10×10。

在步骤S706中，使用训练集对检测模型进行训练，并使用验证集验证检测模型的训练结果。

在步骤S708中，将实时获取的待检测图片发送给训练后的检测模型以生成识别结果并根据识别结果判断待检测图片中是否含有危险品以及危险品的位置。

下文中，将参考图2至图6，以具体实例的方式对根据本发明实施例的基于多尺度并行检测的危险品识别方法进行详细描述。

基于多尺度并行检测的危险品识别方法包括以下步骤：

获取待检测图片数据集，将含有不同危险品的安检图片集与不含危险品的安检图片集混合均匀，并以split _ratio =0.7将图片集划分为训练集T和验证集V。具体地，以split _ratio =0.7将图片集划分为训练集T和验证集V包括：使用scikit learn函数库中的train_test_split()函数划分训练集T与验证集V，将数据集的70%划分为训练集，将剩下的30%划分为验证集。

对训练集T进行预处理，根据待检测目标的特点，将训练集图片进行尺度伸缩变换和叠加融合的处理，以达到增广训练集的作用，提高识别准确度。具体地，对训练集T进行预处理，根据待检测目标的特点，将训练集图片进行尺度伸缩变换和叠加融合的处理，以达到增广训练集的作用，提高识别准确度包括使用变换矩阵（又称为缩放矩阵）H ₁对训练集T中的图片进行尺度伸缩变换，其中缩放矩阵H ₁=H(h _x 、h _y )，h _x 、h _y 分别表示缩放矩阵沿x轴和y轴的缩放比例，其为缩放矩阵H ₁的对角线矩阵块。使用缩放矩阵H ₁对训练集图片进行叠加融合处理（参考图5和图6），以复现实际应用场景中的情况，使得模型更具有鲁棒性。通过训练图片集进行两种方式的预处理很好地解决了检测过程中的“长尾效应”，即某些待检测目标的存在与摆放位置特殊导致的训练集样本个数极少，从而导致模型对该类情况的训练不充分，无法提供高准确度的检测结果。针对本方法的应用场景以及应用图片集进行尺度伸缩变换和叠加融合变换，可以很好地模仿实际情况下存在概率不大的情况。

使用PyTorch深度学习框架搭建三个不同规模的检测算子。参考图2和图3，使用PyTorch深度学习框架搭建三个不同规模的检测算子包括：第一个检测算子为传统的卷积模型，对于输入图片x∈X∈R ^N×H×W×C ，其中N为Batchsize，这里取32，H=96为图片高度，W=96为图片宽度，C=3是图片通道数，其输入通道数in_channels=3、输出通道数out_channels=96、卷积核尺寸kernel_size=3×3、卷积核移动步长strides=1，这里设置3×3大小卷积核，用于检测较小的目标，由于感受野的限制，导致第一个算子无法检测图片过大范围的目标。第二、三个检测算子（即为上、中、下三个卷积操作）对卷积核进行特殊的设计，扩大卷积核范围的同时对卷积核进行“打洞”操作（参考图3），具体地，即对扩大了的卷积核使用等间隔采样操作。使用空洞卷积的方法可以在扩大感受野、提高大尺寸目标检测准确率的同时，不增加计算量负担。三种检测算子对待检测目标进行特征提取后，需配合最大池化层MaxPool2d来进行目标的决策。为了获取多尺度的上下文信息，使用大小不同的卷积核并行处理图片，使得可以同时检测出同一张图片中大小不同目标的特征，同时为了在保证感受野的目的下不增加计算量，在卷积核上进行了“打洞”操作，极大地降低了计算量。

具体地，一个batch X中有N个训练图片x，将图片x输入三个检测算子中提取特征，检测算子的第一层输入通道均为3，与训练图片通道数相对应，分别使用3×3、5×5、7×7大小的卷积核，其中，5×5大小的卷积核使用等间隔采样的方式，间隔为1，7×7大小的卷积核使用等间隔采样的方式，间隔大小为2，三个卷积核步进尺寸分别为1、2、3，经过卷积层后，对应的单特征层大小计算公式为：

其中in代表输入特征层的大小，out是输出特征层的大小，kernel_size为卷积核大小，stride为卷积核移动步长。

设置训练模型第一层的输出通道为96，则图片经过第一层卷积特征提取后，得到的结果为x ₁∈R ^{N×93×93×96}、x ₂∈R ^{N×45×45×96}、x ₃∈R ^{N×30×30×96}，其中，参数N的含义是Batchsize，即一个minibatch中的样本数目：

其中x为输入图片，k为卷积核，m、n为生成图片的尺寸。

接着再进行两步卷积操作（如图2所示）。以提高通道数并压缩特征图大小，最终将三个卷积通道变成512×22×22。

接着使用4×4大小的kernel的最大池化层提取显著性特征，kernel步进长度为2，通过消除感受野内的非极大值，降低了下层网络的计算复杂度，同时扩大了下层网络的感受野，达到了特征压缩的效果。

使用AdaBoost算法对3个检测算子提取出的图像特征进行决策，判断图像中是否含有危险品，若含有危险品，则再对危险品进一步检测和定位。AdaBoost算法可以将一族弱学习器提升为强学习器。

对于样本提取出的特征，假设其为：

(x ₁,y ₁),(x ₂,y ₂),…,(x _n ,y _n )

其中x _i 为图像特征向量，y _i ∈{+1,-1}代表图像中是否含有目标。

使用平均分布初始化图像特征权值D _m ：

D _m =w _m1,w _m2,…,w _mn

其中w _m1,w _m2,…,w _mn 为初始化的权重，值为1/n，n为特征数量。对于m=1,2,…,M，使用具有权重分布D _m 的训练数据，训练第m个弱分类器h _m (x)。训练后计算h _m (x)在训练集上的分类错误率e _m ：

通过其分类错误率得到基学习器的系数α _m ：

α _m 表示第m个基分类器G _m (x)在最终分类器上的重要性，需要强调的是：α _m 是e _m 的单调递减函数，即其物理意义是错分误差越大，代表该分类器性能越不佳，其重要性越低。

如此重复训练每个基学习器进行直到基学习器的数目达到指定值T，这里设置T=200，即取200个基学习器。使用基学习器的线性组合：

来最小化指数损失函数（exponential loss function）：

最后，采用全连接层判断待检测目标的位置和类别。具体地，使用全连接层设置不同大小的待检测目标的判别权重，较大卷积核的检测算子对大目标的检测权重更大，相反，较小卷积核的检测算子对小目标的检测权重更大。

使用AdaBoost算法对图片进行预检测。对卷积网络提取出的图片特征进行预检测，考虑到后续的定位计算成本较高，使用AdaBoost算法预先检测出图片中是否含有危险品，只对含有危险品的图片进行目标检测与定位，提高效率。

使用训练集T进行训练，使用验证集V验证模型训练结果。使用训练集T进行训练，使用验证集V验证模型训练结果包括：使用图像集中的70%图像作为训练数据集T对检测模型进行训练，使用图像集中的30%图像作为验证数据集V对检测模型进行训练结果的验证；

对检测模型进行正向传播训练，计算出模型的预测结果q _t （其中，该预测结果是一个向量，表示待检测目标为各个类别的概率），并使用Focal Loss损失函数计算多分类损失。Focal loss函数对传统的交叉熵损失函数进行了改进，具体为：

其中(1-q _t )^γ称之为调变因子(modulating factor)，γ为聚焦参数，这里取γ=2，由于所检测的安检危险品属于小概率目标，检测过程中存在长尾效应，所以需要适当调整样本中的目标与非目标的权重，当使用Focal Loss函数时，其使得容易分类的样本权重降低，而对于难分类的样本权重增加。根据Focal Loss损失对检测模型进行模型参数的反向传播训练。

获取待检测的样本图片，并将待检测的样本图片发送给训练后的三个不同规模的检测算子（卷积核分别为3×3、5×5、7×7），生成识别结果，并根据识别结果判断当前待检测样本中是否含有危险品以及危险品的位置。获取待检测的图像，并将待检测的图像发送给训练后的检测模型，得到检测结果包括：获取待检测图像；将待检测图像发送给训练后的检测模型，以使的检测模型对待检测图像进行识别，得到识别结果（参考图4）。

根据本发明实施例的基于多尺度并行检测的危险品识别装置包括：搭建模块，配置为使用PyTorch深度学习框架搭建检测模型；训练模块，配置为使用的训练数据集对检测模型进行训练；识别模块，配置为获取待检测图像集F，并将待检测图像发送给训练后的检测模型，得到识别结果。

本领域技术人员可以理解，实现上述实施例方法的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于计算机可读存储介质中。其中，所述计算机可读存储介质为磁盘、光盘、只读存储记忆体或随机存储记忆体等。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种基于多尺度并行检测的危险品识别装置，其特征在于，包括：

混合模块，用于获取历史安检图片集并将含有不同危险品的安检图片集与不含危险品的安检图片集混合均匀；

训练集和验证集获取模块，用于将所述历史安检图片集划分为训练集和验证集；

模型构建模块，用于建立包括卷积模块的检测模型，所述卷积模块包括三个不同尺度的卷积核的多尺度并行检测算子；

模型训练及验证模块，用于使用所述训练集对所述检测模型进行训练，并使用所述验证集验证所述检测模型的训练结果；以及

检测模块，用于将实时获取的待检测图片发送给训练后的检测模型以生成识别结果并根据所述识别结果判断所述待检测图片中是否含有危险品以及危险品的位置。

2.根据权利要求1所述的基于多尺度并行检测的危险品识别装置，其特征在于，所述卷积模块包括：第一层卷积模块、第二层卷积模块、第三层卷积模块、第四层卷积模块和最大池化层，其中，

所述第一层卷积模块，用于压缩安检图片尺寸并初步分离安检图片特征；

所述第二层卷积模块，用于通过三个不同尺度的卷积核进一步提取图片特征，以提取安检图片中不同尺寸的目标；

所述第三层卷积模块和所述第四层卷积模块，用于按顺序将所述第二层卷积模块输出的图片特征分化，同时将输出特征图的尺寸统一为22×22；以及

所述最大池化层模块，用于在保证通道数不变的情况下，对尺寸统一的输出特征图进一步缩减特征图尺寸。

3.根据权利要求2所述的基于多尺度并行检测的危险品识别装置，其特征在于，所述第二层卷积模块包括第一卷积核、第二空洞卷积核和第三空洞卷积核，其中，

所述第一卷积核，用于从所述第一层卷积模块的输出特征图中提取小目标；

所述第二空洞卷积核，用于从所述第一层卷积模块的输出特征图中提取中目标；以及

所述第三空洞卷积核，用于从所述第一层卷积模块的输出特征图中提取大目标。

4.根据权利要求3所述的基于多尺度并行检测的危险品识别装置，其特征在于，所述第二空洞卷积核和所述第三空洞卷积核用于在扩大感受野、提高大尺寸目标检测准确率的同时，不增加计算量，其中，

所述第一卷积核，为3×3卷积核，步进尺寸为1；

所述第二空洞卷积核，为5×5卷积核，步进尺寸为2；以及

所述第三空洞卷积核，为7×7卷积核，步进尺寸为3。

5.根据权利要求4所述的基于多尺度并行检测的危险品识别装置，其特征在于，经过所述第二层卷积模块后，通过以下公式计算对应的单特征层的尺寸：

其中in代表输入特征层的大小，out是输出特征层的大小，kernel_size为卷积核大小，stride为卷积核移动步长。

6.根据权利要求1所述的基于多尺度并行检测的危险品识别装置，其特征在于，所述检测模型包括Adaboost模块和全连接层，其中，

所述Adaboost模块，用于对所述卷积模块的输出特征图进行预检测，以判断图像中是否含有危险品，其中，当图像中含有危险品时，再对所述危险品进行检测和定位；以及

所述全连接层，用于判断待检测目标的位置和类别。

7.根据权利要求1所述的基于多尺度并行检测的危险品识别装置，其特征在于，还包括损失函数，其中，使用以下公式计算所述损失函数：

其中所述检测模型的预测结果为q _t ，γ为聚焦参数，γ=2。

8.根据权利要求1所述的基于多尺度并行检测的危险品识别装置，其特征在于，还包括预处理模块，用于将所述训练集中的图片进行尺度伸缩变换和叠加融合的处理，以增广所述训练集，其中，

使用以下变换矩阵对所述训练集T中的图片进行尺度伸缩变换：

H ₁=H(h _x 、h _y )

其中h _x 、h _y 分别表示缩放矩阵沿x轴和y轴的缩放比例，其为缩放矩阵H ₁的对角线矩阵块。

9.一种基于多尺度并行检测的危险品识别方法，其特征在于，包括：

获取历史安检图片集并将含有不同危险品的安检图片集与不含危险品的安检图片集混合均匀，并将所述历史安检图片集划分为训练集和验证集；

建立包括卷积模块的检测模型，其中，所述卷积模块包括三个不同尺度的卷积核的多尺度并行检测算子；

使用所述训练集对所述检测模型进行训练，并使用所述验证集验证所述检测模型的训练结果；以及

将实时获取的待检测图片发送给训练后的检测模型以生成识别结果并根据所述识别结果判断所述待检测图片中是否含有危险品以及危险品的位置。

10.根据权利要求9所述的基于多尺度并行检测的危险品识别方法，其特征在于，所述卷积模块包括：

将所述历史安检图片集或所述待检测图片输入第一层卷积模块，然后压缩安检图片尺寸并初步分离安检图片特征；

将初步分离的安检图片特征输入第二层卷积模块的三个不同尺度的卷积核，然后利用所述第二层卷积模块进一步提取图片特征，以提取安检图片中不同尺寸的目标；

通过第三层卷积模块和第四层卷积模块按顺序将所述第二层卷积模块输出的图片特征分化，同时将输出特征图的尺寸统一为22×22；以及

通过最大池化层模块在保证通道数不变的情况下，对尺寸统一的输出特征图进一步缩减为10×10。

Images