CN109446888A - 一种基于卷积神经网络的细长类物品检测方法 - Google Patents

Abstract

本发明涉及一种基于卷积神经网络的细长类物品检测方法，以SSD，即Single Shot MultiBox Detector为基础，构建ESSD检测模型，即Elongated Single Shot MultiBox Detector，在SSD的基础上，增加两个预测分支：利用1×5的卷积预测1:4的default bounding box的输出，以及利用5×1的卷积预测4:1的default bounding box的输出，最后和SSD的3×3的卷积预测输出结果融合之后，作为最后的检测结果。本发明技术方案有效提高了如管制刀具(武士刀，剑)、钝器(扳手、铁棍)、枪支(狙击枪、火铳)等长条状的违禁品检测效果。

Description

一种基于卷积神经网络的细长类物品检测方法

1技术领域：

本发明属于安检技术领域，具体涉及一种基于卷积神经网络的细长类物品检测方法。

2背景技术：

安检正在成为每一个城市不可缺少的一环，在城市的轨道交通、机场、物流快递中心、大型活动现场等人员密集的区域，安保问题一直是核心问题，而其中安检是有效防止突发情况的手段。

2016年1月1日起开始施行的《反恐法》，第三十二条明确规定：“重点目标的管理单位应当建立公共安全视频图像信息系统值班监看、信息保存使用、运行维护等管理制度，保障相关系统正常运行。采集的视频图像信息保存期限不得少于九十日。”其中须履行的场所包含了政府机构、银行、城市大型活动场所、机场、火车站、城市轨道交通站等重点目标，其视频录像由30天以上须调整为90天以上。同时安检方面，规定对航空器、列车、城市轨道车辆等公共交通行业，营运单位应当依照规定配备安保人员和相应设备、设施，加强安全检查和保卫工作；大型活动承办单位以及重点目标的管理单位应当依照规定，对进入大型活动场所、机场、火车站、码头、城市轨道交通站、公路长途客运站、口岸等重点目标的人员、物品和交通工具进行安全检查，强化对违禁品和管制物品的管理。根据2017年1月北京市发改委公布的《关于北京市轨道交通17条运营线路实施“人物同检”一期工程项目建议书(代可行性研究报告)的批复》(京改(审)[2016]671号)，北京17条运营线路将全部实施“人物同检”，安检力度不断加强。随着北京地铁安检升级，形成对其他城市轨道交通安保措施的示范和带动效应，上海、广州、福州等地的公安部门及地铁运营公司公布将启用人物同检的安检模式，落实安检职责。国家一系列安防法律法规、产业政策的颁布和实施，为安防服务行业营造了良好的外部环境，将有力助推行业需求的快速增长和行业健康发展。

当前的违禁品智能计算检测中，通常直接在被检测物品的x光成像伪彩图上进行计算处理，可能包含了多个物品和包裹，同时又包括了大量空白区域，会降低检测效率，对于小型物品如子弹、打火机，也可能降低检出率，同时对于一些细长类违禁品如钢管、刀具等，现有的SSD模型检出效果也不够理想，很多细长类违禁品都会被当成普通背景而被检测算法忽略掉。

3发明内容：

发明目的：为了解决传统安检机需要安检员人工识别违禁品带来的不稳定因素，以及计算机自动化识别违禁品可能出现的漏检问题，通过分拆包裹和提升细长类物品检测效率，有效提高违禁品识别稳定性。

技术方案：

一种基于卷积神经网络的细长类物品检测方法，其特征在于，以SSD，即SingleShot MultiBox Detector为基础，构建ESSD检测模型，即Elongated Single ShotMultiBox Detector，具体实现为：在SSD基础上，增加两个预测分支：利用1×5的卷积预测1:4的default bounding box的输出，以及利用5×1的卷积预测4:1的default boundingbox的输出，最后和SSD的3×3的卷积预测输出结果融合之后，作为最后的检测结果。

所述的SSD选用VGG网络作为主干网络结构。

所述的ESSD检测模型利用Mxnet框架构建。

一种利用权利要求1所述ESSD检测模型的违禁品检测方法，其特征在于，包括以下步骤：

步骤一、从安检机获取包括n个包裹x光成像伪彩图的数字图像P0，其中n≥2；

步骤二、对数字图像P0进行处理，获得n个包裹的坐标(x1,y1,x2,y2)，分别表示每个包裹的x光成像伪彩图在安检机当前工作画面内的左上角坐标(x1,y1)和右下角坐标(x2,y2)；

步骤三、利用基于卷积神经网络的物体检测模型，截取出n个包裹的x光图像PB{i},其中i＝1,…,n；

步骤四、将得到的n张包裹的x光伪彩图像PB{i},其中i＝1,…,n，送入基于卷积神经网络的ESSD检测模型，得到违禁品坐标，完成检测。

所述步骤三的具体实现为：

步骤1、模型训练构建，收集10000张实际应用场景下的x光安检机过包图像，采用Mxnet版本的SSD，即Single Shot MultiBox Detector算法，将包裹图像看成是一个目标类别，进行训练，得到训练之后的SSD模型；

步骤2、将获取包括n个包裹x光成像伪彩图的数字图像P0，线性缩放到分辨率为512×512的图像P1，将图像P1送入SSD模型，获得安检机画面P0中的n个包裹坐标(x1,y1,x2,y2)，分别表示每个包裹的x光成像伪彩图在安检机当前工作画面内的左上角坐标(x1,y1)和右下角坐标(x2,y2)。

所述步骤四的具体实现为：

步骤1、模型训练，利用Mxnet框架，构建ESSD检测模型，收集50000张带违禁品的x光包裹图像，将图像中的违禁品的矩形坐标用标注工具标注出来，并记录类别，对ESSD检测模型进行训练；

步骤2、将各包裹图像PB{i}的尺度统一缩放到336×336的分辨率，缩放时采用双线性插值技术，得到新的包裹图像PB{i},其中i＝1,…,n；

步骤3、将图像PB{i}输入ESSD检测模型，经过VGG主干网络之后，获得一系列的特征图谱输出，分别有输出尺度为64×64、32×32、16×16、8×8、4×4一共5个不同层级的特征图谱；

步骤4、在每一个特征图谱上，用3×3的卷积核，去预测长宽比例为1:1、1:2、2:1三种不同长宽比例的违禁品的坐标输出；

步骤5、在每一个特征图谱上，用1×5的卷积核，去预测长宽比例为1:4的违禁品的坐标输出；

步骤6、在每一个特征图谱上，用5×1的卷积核，去预测长宽比例为4:1的违禁品的坐标输出；

步骤7、将步骤4、步骤5、步骤6中所有的预测输出组合在一起，对组合结果进行非极大值抑制，即NMS，把相近的预测矩形框进行融合，得到最终的预测并输出。

所述步骤一中，通过图像采集卡，将安检机VGA输出信号转换为数字图像信号。

有益效果：

1、通过SSD检测器对原始图像画面进行预处理，将安检机原始画面中的包裹图像进行预截取。能够避免违禁品检测算法对于安检机中很多空白部分图像的无效计算，同时能够让违禁品检测算法只关注包裹图像，间接提高了检测算法的分辨能力，能够有效提高如子弹、打火机等体积较小的违禁品检测效果。

2、通过ESSD算法，对截取之后的包裹图像进行违禁品检测，利用1×5和5×1两个非常规尺寸的卷积核，增加了1:4和4:1两种长条状的违禁品检测。有效提高了如管制刀具(武士刀，剑)、钝器(扳手、铁棍)、枪支(狙击枪、火铳)等长条状的违禁品检测效果。

4附图说明

图1是本发明检测算法流程示意图。

图2是本发明ESSD算法示意图。

图3为本发明实施例中标注包裹示意图。

图4位本发明实施例中标注违禁品示意图。

图5至图7为本发明实施中对有关违禁品进行识别的示意图。

5具体实施例

下面结合附图说明和具体实施实例对本发明提供的违禁品检测方法提供详细的说明，实施方式分为两个部分，分别为训练和部署，训练SSD和ESSD模型，然后部署在实际应用环境中。

1、在带有NVIDIA图像处理器GTX1080Ti的计算机上，安装Ubuntu1604系统，并安装配置好NVIDIA官方提供的CUDA运行环境。

2、搭建Mxnet深度学习框架平台，Mxnet是一款优秀的主流深度学习框架，也是目前最受欢迎的深度学习框架之一。具有简洁的C++/Python接口，能够快速上手，Mxnet环境的搭建步骤可以参照官方的安装指南。

3、收集10000张实际应用场景下的x光安检机过包图像，并标注出每张图像中的包裹位置，如图3所示，将包裹用最小红色矩形框标注出来，并记录下矩形框的坐标。

4、采用Mxnet版本的SSD算法，将包裹图像看成是一个目标类别，进行训练，能够得到训练之后的SSD模型，利用该模型即可在一幅图像中自动得到包裹图像的坐标，能够高效截取出包裹的x光成像图。本发明中的基本网络结构采用了VGG结构。

5、参考中国民用航空运输中给出的危险品类别，定义需要在x光图像中检测识别出的违禁品类别，本发明中的类别定义共有四类，分别是管制刀具或利器、枪支、钝器、烟花爆竹。

6、收集50000张带违禁品的x光包裹图像，将图像中的违禁品的矩形坐标用标注工具标注出来，并记录下是哪一个类别。如图4所示，将厨具用刀标注出来，并记录下是管制刀具类别。

7、利用Mxnet框架，实现ESSD(Elongated Single Shot MultiBox Detector)检测算法。实现过程可以参考(4)中提到的SSD算法，在此基础之上，需要增加两个预测分支，分别是利用1×5的卷积去预测1:4的default bounding box的输出，以及利用5×1的卷积去预测4:1的default bounding box的输出，然后和SSD的3×3的卷积预测输出结果融合之后，作为最后的检测结果。

8、利用(6)中提供的标注好的违禁品数据，以及(7)中实现的ESSD算法，对ESSD模型进行训练，为了加快训练过程，本发明中使用了4个GTX1080Ti图形处理器并行训练，50000张图像，训练耗时大约是18个小时。

9、将(4)中得到的用于截取包裹的SSD模型，和(8)中得到的直接用于违禁品检测识别的ESSD模型，部署在一套软件之中。将安检机的视频输出信号VGA接口接在图像采集卡上，通过图像采集卡SDK获取安检机的最新图像画面，利用(4)中训练得到的SSD模型，检测画面中的包裹图，并将包裹单独截取出来。针对每一个包裹x光图像，利用(7)中训练得到的ESSD模型，进行违禁品检测，并将检测到的违禁品用矩形框绘制出来，同时将模型的预测概率也绘制在图片上。在算法实际测检测部署中，当量概率大于0.3(选定阈值)时，则认为存在违禁品目标，如图5中，检测到包裹图像中包含一把枪支，且算法认为是枪支的当量概率为0.5015；如图6中，检测到包裹图像中包含一把管制刀具或利器，且算法认为是管制刀具或利器的当量概率是0.7391；如图7中同样算法检测到了一把管制刀具或利器，并认为相应的当量概率是0.7016；对于图7中的检测出的目标利器，在现有检测技术中，图7中的目标无法有效检出，会被当成普通背景而忽略掉。通过本发明ESSD算法中的两个长条状的defaultbounding box的预测，有效提高了长宽比例悬殊，细长状的违禁品的检出效果。

Claims (7)

1.一种基于卷积神经网络的细长类物品检测方法，其特征在于，以SSD，即Single ShotMultiBox Detector为基础，构建ESSD检测模型，即Elongated Single Shot MultiBoxDetector，具体实现为：在SSD基础上，增加两个预测分支：利用1×5的卷积预测1:4的default bounding box的输出，以及利用5×1的卷积预测4:1的default bounding box的输出，最后和SSD的3×3的卷积预测输出结果融合之后，作为最后的检测结果。

2.根据权利要求1所述的基于卷积神经网络的细长类物品检测方法，其特征在于，所述的SSD选用VGG网络作为主干网络结构。

3.根据权利要求1所述的基于卷积神经网络的细长类物品检测方法，其特征在于，所述的ESSD检测模型利用Mxnet框架构建。

4.一种利用权利要求1所述ESSD检测模型的违禁品检测方法，其特征在于，包括以下步骤：

步骤一、从安检机获取包括n个包裹x光成像伪彩图的数字图像P0，其中n≥2；

步骤二、对数字图像P0进行处理，获得n个包裹的坐标(x1,y1,x2,y2)，分别表示每个包裹的x光成像伪彩图在安检机当前工作画面内的左上角坐标(x1,y1)和右下角坐标(x2,y2)；

步骤三、利用基于卷积神经网络的物体检测模型，截取出n个包裹的x光图像PB{i},其中i＝1,…,n；

步骤四、将得到的n张包裹的x光伪彩图像PB{i},其中i＝1,…,n，送入基于卷积神经网络的ESSD检测模型，得到违禁品坐标，完成检测。

5.根据权利要求4所述的一种违禁品检测方法，其特征在于，所述步骤三的具体实现为：

步骤1、模型训练构建，收集10000张实际应用场景下的x光安检机过包图像，采用Mxnet版本的SSD，即Single Shot MultiBox Detector算法，将包裹图像看成是一个目标类别，进行训练，得到训练之后的SSD模型；

步骤2、将获取包括n个包裹x光成像伪彩图的数字图像P0，线性缩放到分辨率为512×512的图像P1，将图像P1送入SSD模型，获得安检机画面P0中的n个包裹坐标(x1,y1,x2,y2)，分别表示每个包裹的x光成像伪彩图在安检机当前工作画面内的左上角坐标(x1,y1)和右下角坐标(x2,y2)。

6.根据权利要求4所述的一种违禁品检测方法，其特征在于，所述步骤四的具体实现为：

步骤1、模型训练，利用Mxnet框架，构建ESSD检测模型，收集50000张带违禁品的x光包裹图像，将图像中的违禁品的矩形坐标用标注工具标注出来，并记录类别，对ESSD检测模型进行训练；

步骤2、将各包裹图像PB{i}的尺度统一缩放到336×336的分辨率，缩放时采用双线性插值技术，得到新的包裹图像PB{i},其中i＝1,…,n；

步骤3、将图像PB{i}输入ESSD检测模型，经过VGG主干网络之后，获得一系列的特征图谱输出，分别有输出尺度为64×64、32×32、16×16、8×8、4×4一共5个不同层级的特征图谱；

步骤4、在每一个特征图谱上，用3×3的卷积核，去预测长宽比例为1:1、1:2、2:1三种不同长宽比例的违禁品的坐标输出；

步骤5、在每一个特征图谱上，用1×5的卷积核，去预测长宽比例为1:4的违禁品的坐标输出；

步骤6、在每一个特征图谱上，用5×1的卷积核，去预测长宽比例为4:1的违禁品的坐标输出；

步骤7、将步骤4、步骤5、步骤6中所有的预测输出组合在一起，对组合结果进行非极大值抑制，即NMS，把相近的预测矩形框进行融合，得到最终的预测并输出。

7.根据权利要求4所述的一种违禁品检测方法，其特征在于，所述步骤一中，通过图像采集卡，将安检机VGA输出信号转换为数字图像信号。