CN108303747A - 检查设备和检测枪支的方法 - Google Patents

Abstract

公开了一种检查设备和检测枪支的方法。对被检查物体进行X射线检查，得到透射图像。利用训练的枪支检测神经网络确定所述透射图像中的多个候选区域。利用所述枪支检测神经网络对所述多个候选区域进行分类，以确定所述透射图像中是否包含枪支。利用上述方案，可以更为准确地确定集装箱/车辆中是否包含枪支。

Description

检查设备和检测枪支的方法

技术领域

本公开涉及对辐射检查技术，具体涉及一种检查设备和检测集装箱或车辆中携带的枪支的方法。

背景技术

枪支具有直接杀伤力和巨大破坏力，违法携带枪支直接影响社会稳定和危及人民群众生命财产安全。枪支检测在安全检查领域一直是一项重要的任务。近年来，安全形势日益严峻,恐怖活动日益猖獗,使得公共安全检查成为全世界各国密切关注的焦点问题。武器、爆炸物、毒品等违禁品的检测一直是安全检查领域面临的主要任务。为有效预防和打击犯罪恐怖活动,各国警方都采用安全检查技术设备对危险物品、违禁物品进行有针对性的安全检查。

目前，在车辆和/或集装箱检查任务上，辐射成像是安全检查最常用的技术之一。辐射成像是一种利用高能射线，穿透物体，从而观察物体内部的技术，辐射成像可以反映出车辆和/或集装箱中隐藏武器类违禁品的形状。当前己有一些辐射成像检查系统,实现了车辆/集装箱透视检查。

但是人工检查技术存在有一些缺陷，首先需要安检人员逐一检查图片,工作量十分巨大，长时间辨认大量的图片,必然会造成视觉上疲劳,难免会发生漏检甚至错检的情况。其次，安全人员不能做到24小时值守，影响通关时效。目前，也有一些利用计算机技术进行辅助检测的方法，但传统的技术必须依靠人工设计的特征，使用诸如HAAR特征、SURF特征、LBP特征等特征算子进行识别。传统特征提取有一个严重的缺陷，就是很难设计一个很好的特征，即便是采用多种特征结合的方式也难做到特征通用，在面对复杂多变的背景时算法可能失效。

发明内容

考虑到现有技术中的一个或多个问题，提出了一种检查设备和检查集装箱/车辆中的枪支的方法。

在本公开的一个方面，提出了一种检测枪支的方法，包括步骤：对被检查物体进行X射线检查，得到透射图像；利用训练的枪支检测神经网络确定所述透射图像中的多个候选区域；以及利用所述枪支检测神经网络对所述多个候选区域进行分类，以确定所述透射图像中是否包含枪支。

根据本公开的实施例，计算各个候选区域中包含枪支的置信度，并且在所述置信度大于特定阈值的情况下判断所述候选区域中包括枪支。

根据本公开的实施例，在多个候选区域中都包括相同枪支的情况下，对各个候选区域中的枪支图像进行标注，并且融合所述多个候选区域中的枪支图像，以得到枪支的位置。

根据本公开的实施例，所述枪支检测神经网络是通过如下的操作训练的：建立枪支的样本透射图像；对卷积神经网络进行初始化，得到初始检测网络；利用样本透射图像对初始检测网络进行训练，得到枪支检测神经网络。

根据本公开的实施例，所述的方法还包括步骤：将历史检查图像中的枪支部分裁剪出；将裁剪的枪支图像随机抖动，插入到不包含枪支的被检查物体图像中作为训练用的样本透射图像。

根据本公开的实施例，所述随机抖动包括以下至少之一：旋转、仿射、加噪声、灰度调整、尺度调整。

根据本公开的另一方面，提出了一种检查设备，包括：X射线检查系统，对被检查物体进行X射线检查，得到透射图像；存储器，存储所述透射图像；处理器，配置为：利用训练的枪支检测神经网络确定所述透射图像中的多个候选区域；利用所述检测神经网络对所述多个候选区域进行分类，以确定所述透射图像中是否包含枪支。

根据本公开的实施例，处理器配置为计算各个候选区域中包含枪支的置信度，并且在所述置信度大于特定阈值的情况下判断所述候选区域中包括枪支。

根据本公开的实施例，处理器配置为在多个候选区域中都包括相同枪支的情况下，对各个候选区域中的枪支图像进行标注，并且融合所述多个候选区域中的枪支图像，以得到枪支的位置。

根据本公开的实施例，所述存储器中存储有枪支的样本透射图像，所述处理器配置为通过如下操作训练得到所述枪支检测神经网络：对卷积神经网络进行初始化，得到初始检测网络；利用样本透射图像对初始检测网络进行训练，得到枪支检测神经网络。

利用上述方案，可以更为准确地确定集装箱/车辆中是否包含枪支。

附图说明

为了更好地理解本发明，将根据以下附图对本发明进行详细描述：

图1示出了根据本公开实施例的检查设备的结构示意图；

图2是描述如图1所述的检查设备中包括的计算设备的结构的示意图；

图3是描述根据本公开的实施例创建枪支样本图像数据库的流程图；

图4A是描述根据本公开的实施例中枪支的原图；

图4B是描述根据本公开实施例的增加枪支样本图像的数量的示意图；

图5是描述根据本公开实施例的创建枪支检测网络模型的过程的示意图；

图6示出了根据本公开实施例的检测中的枪支的过程的示意图；

图7A示出了根据本公开的实施例中得到的X射线透射图像的示意图；

图7B示出了根据本公开实施例中检测的候选区域的示意图；

图7C示出了根据本公开实施例中将候选区域输入到神经网络中进行特征提取和分类的过程；

图7D示出了根据本公开实施例的检查结果的示意图；以及

图8示出了根据本公开实施例的在线更新枪支检测模型的过程的流程图。

具体实施方式

下面将详细描述本发明的具体实施例，应当注意，这里描述的实施例只用于举例说明，并不用于限制本发明。在以下描述中，为了提供对本发明的透彻理解，阐述了大量特定细节。然而，对于本领域普通技术人员显而易见的是：不必采用这些特定细节来实行本发明。在其他实例中，为了避免混淆本发明，未具体描述公知的结构、材料或方法。

在整个说明书中，对“一个实施例”、“实施例”、“一个示例”或“示例”的提及意味着：结合该实施例或示例描述的特定特征、结构或特性被包含在本发明至少一个实施例中。因此，在整个说明书的各个地方出现的短语“在一个实施例中”、“在实施例中”、“一个示例”或“示例”不一定都指同一实施例或示例。此外，可以以任何适当的组合和/或子组合将特定的特征、结构或特性组合在一个或多个实施例或示例中。此外，本领域普通技术人员应当理解，这里使用的术语“和/或”包括一个或多个相关列出的项目的任何和所有组合。

鉴于现有技术中存在的问题，本公开的实施例提出了一种检测集装箱或车辆中携带的枪支的方法。对被检查物体进行X射线检查，得到透射图像。然后利用训练的枪支检测神经网络确定透射图像中的多个候选区域并且利用枪支检测神经网络对多个候选区域进行分类，以确定所述透射图像中是否包含枪支。这样，基于辐射成像技术和深度学习技术,实现对车辆和/或集装箱携带枪支、刀具等危险品的图像的智能辅助检测。通过深度学习算法自动检测辐射图像中是否有疑似枪支。还可以同时给出枪支在图像中的位置，以此辅助人工判断是否存在违法携带枪支。当从辐射图像中自动识别疑似枪支时，发出警告信号,安检人员可进行二次辨别，可以极大减少工作量，同时也能做到24小时值守。

图1示出了根据本公开实施例的检查设备的结构示意图。如图1所示，根据本公开实施例的检查设备100包括X射线源110、探测器130、数据采集装置150、控制器140、和计算设备160，对诸如集装箱卡车之类的被检查物体120进行安全检查，例如判断其中是否包含了诸如枪支的危险品/或可疑物品。虽然在该实施例中，将探测器130和数据采集装置150分开描述，但是本领域的技术人员应该理解也可以将它们集成在一起称为X射线探测和数据采集设备。

根据一些实施例，上述的X射线源110可以是同位素，也可以是X光机或加速器等。X射线源110可以是单能，也可以是双能。这样，通过X射线源110和探测器150以及控制器140和计算设备160对被检查物体120进行透射扫描，得到探测数据。例如在被检查物体120行进过程中，操作人员借助于计算设备160的人机交互界面，通过控制器140发出指令，命令X射线源110发出射线，穿过被检查物体120后被探测器130和数据采集设备150接收，并且通过计算设备160对数据进行处理，可以获得透射图像，并且进一步利用训练的枪支检测神经网络确定透射图像中的多个候选区域，并且利用枪支检测神经网络对所述多个候选区域进行分类，以确定透射图像中是否包含枪支。在其他的实施例中，还可以在图像中标出枪支的位置或者提醒判图员被检查物体中携带了枪支。

图2示出了如图1所示的计算设备的结构示意图。如图2所示，探测器130探测的信号通过数据采集器采集，数据通过接口单元167和总线163存储在存储器161中。只读存储器(ROM)162中存储有计算机数据处理器的配置信息以及程序。随机存取存储器(RAM)163用于在处理器165工作过程中暂存各种数据。另外，存储器161中还存储有用于进行数据处理的计算机程序，例如物质识别程序和图像处理程序等等。内部总线163连接上述的存储器161、只读存储器162、随机存取存储器163、输入装置164、处理器165、显示装置166和接口单元167。

在用户通过诸如键盘和鼠标之类的输入装置164输入的操作命令后，计算机程序的指令代码命令处理器165执行预定的数据处理算法，在得到数据处理结果之后，将其显示在诸如LCD显示器之类的显示装置167上，或者直接以诸如打印之类硬拷贝的形式输出处理结果。

图3是描述根据本公开的实施例创建枪支样本图像数据库的流程图；如图3所示，建立枪支检测数据库主要分为图像采集、图像预处理以及感兴趣区域提取三个部分。

在步骤S310，获取样本图像。例如，采集相当数量的小型物品机枪支图像，使图像数据库包含各个摆放形式、不同数量下的枪支图像，获取枪支图像库{X}。丰富样本的多样性，这样才能使本公开的枪支检测算法具有泛化能力。

在步骤S320，对图像进行预处理。例如为了适用于各类小型物品机扫描设备，可以在获取图像时对图像进行归一化。具体而言，设原始二维图像信号为X，按照扫描设备物理参数，将X分辨率缩放到5mm/像素，并进行灰度拉伸，即可得到归一化图像

在步骤S330，提取感兴趣区域(ROI，Region Of Interest)。例如，检测X中的空气部分，将其排除在检测过程之外。这样一方面提高运算速度，另一方面避免在空气中出现误报。例如，统计的直方图，在直方图中计算最亮峰值a，并拟合以其为中心的空气正态分布(a,σ_a)，则设定阈值为t_a＝a-3*σ_a。中大于t_a的像素被认为是空气，不进行检测计算。这样，在扫描得到的灰度图像中，以枪支为单位，手工标注枪支位置，并给出枪支所处的坐标(x,y,w,h)，其中x和y表示枪支外接矩形框的左下顶点的坐标，w为宽，h为高。

本公开的实施例还包括样本增加方法。图4A是描述根据本公开的实施例中枪支的原图。图4B是描述根据本公开实施例的增加枪支样本图像的数量的示意图。例如，针对枪支的样本难以获得的特点，在违禁品检测中采用样本增加技术。样本增加技术是将历史图像中的枪支部分裁剪出，再将裁剪出的枪支图像经过随机抖动处理，插入到不含有枪支的车辆/集装箱图像，伪装成含有枪支的训练样本，如图4B所示。所谓随机抖动处理，是一系列图像处理，包括但不限于以下至少之一：图像旋转，图像仿射，图像加噪声，图像灰度变化，图像尺度变化。

根据本公开实施例的深度学习网络把特征提取和分类器设计合二为一，它是一种多个分层的有监督学习的机器学习模型。深度学习网络通过结合局部感知、共享权值、空间或者时间上的池采样来充分利用数据本身包含的特征，优化网络结构，得到一个可以提取图像特征，并做出分类的网络。由于使用大量训练样本，并且采用上述的样本增加技术，可以保证一定程度上的位移和变形的算法不失效，算法的泛化能力更强。

图5是描述根据本公开实施例的创建枪支检测网络模型的过程的示意图。

如图5所示，在步骤S510，建立枪支的样本透射图像。然后，在步骤S520，对卷积神经网络进行初始化，得到初始检测网络。在步骤S530，利用样本透射图像对初始检测网络进行训练，得到枪支检测神经网络。在计算机视觉领域中，神经网络有多种类型，本公开的实施例以卷积神经网络(CNN)为实施例说明，卷积神经网络的学习过程包括算输出(前向传播)和调参数(反向传播)两个环节。通过学习样本图像，即多经过多层卷积，激励函数，池采样，全连接，误差计算后优化得到一个网络，保证该网络在当前样本图像下预测误差最小，即认为该模型是最优模型。

图6示出了根据本公开实施例的检测枪支的过程的示意图。如图6所示，在步骤S610，利用图1所示的检查系统对被检查物体进行X射线检查，得到透射图像。例如该步骤还可以包括图像预处理过程。例如，去除一些和检测目标无关的区域，如图像空白区等。其次进行灰度归一化，去噪等常规图像处理步骤。图7A示出了根据本公开的实施例中得到的X射线透射图像的示意图。

然后在步骤S620，利用训练的枪支检测神经网络确定所述透射图像中的多个候选区域。所得的枪支预处理图像输入神经网络中，神经网络做检测过程实际和模型训练共享一部分过程，检测的过程不需要反向传播误差。在输入图像中生成候选区域。图7B示出了根据本公开实施例中检测的候选区域的示意图。

在步骤S630，利用所述枪支检测神经网络对所述多个候选区域进行分类，以确定所述透射图像中是否包含枪支。图7C示出了根据本公开实施例中将候选区域输入到神经网络中进行特征提取和分类的过程。例如，对候选区域进行枪支分类，如果该区域枪支的置信度大于特定阈值，则认为该区域存在枪支，同时进行矩形框标定。图7D示出了根据本公开实施例的检查结果的示意图。

图8示出了根据本公开实施例的在线更新枪支检测模型的过程的流程图。如图8所示，本公开的实施例还包括在线更新模型方法。例如通过不断学习样本，使上述训练的神经网络得到越来越强的泛化能力，能够应对各种不同的环境背景下违禁品检测。例如在得到新的包括枪支的样本图像时，可以将样本图像输入到样本数据库810中，并且枪支检测网络从模型数据库中读取数据，初始化检测网络，然后枪支检测网络830学习该样本图像的内容，进行迭代优化更新网络参数，得到新模型840，存储在模型数据库820中。这里，所谓的样本是已经被人工标记的含有目标物的图像。这样，通过学习有监督的样本数据，得到一个最优的网络参数。

这样，根据上述实施例，能够对车辆和/或集装箱携带枪支、刀具等危险品的图像的智能辅助检测。通过深度学习算法自动检测辐射图像中是否有疑似枪支。此外还可以同时给出枪支在图像中的位置，以此辅助人工判断是否存在违法携带枪支。当从辐射图像中自动识别疑似枪支时，发出警告信号,安检人员可进行二次辨别，可以极大减少工作量，同时也能做到24小时值守。

以上的详细描述通过使用示意图、流程图和/或示例，已经阐述了检查设备和检查枪支的方法的众多实施例。在这种示意图、流程图和/或示例包含一个或多个功能和/或操作的情况下，本领域技术人员应理解，这种示意图、流程图或示例中的每一功能和/或操作可以通过各种结构、硬件、软件、固件或实质上它们的任意组合来单独和/或共同实现。在一个实施例中，本发明的实施例所述主题的若干部分可以通过专用集成电路(ASIC)、现场可编程门阵列(FPGA)、数字信号处理器(DSP)、或其他集成格式来实现。然而，本领域技术人员应认识到，这里所公开的实施例的一些方面在整体上或部分地可以等同地实现在集成电路中，实现为在一台或多台计算机上运行的一个或多个计算机程序(例如，实现为在一台或多台计算机系统上运行的一个或多个程序)，实现为在一个或多个处理器上运行的一个或多个程序(例如，实现为在一个或多个微处理器上运行的一个或多个程序)，实现为固件，或者实质上实现为上述方式的任意组合，并且本领域技术人员根据本公开，将具备设计电路和/或写入软件和/或固件代码的能力。此外，本领域技术人员将认识到，本公开所述主题的机制能够作为多种形式的程序产品进行分发，并且无论实际用来执行分发的信号承载介质的具体类型如何，本公开所述主题的示例性实施例均适用。信号承载介质的示例包括但不限于：可记录型介质，如软盘、硬盘驱动器、紧致盘(CD)、数字通用盘(DVD)、数字磁带、计算机存储器等；以及传输型介质，如数字和/或模拟通信介质(例如，光纤光缆、波导、有线通信链路、无线通信链路等)。

虽然已参照几个典型实施例描述了本发明，但应当理解，所用的术语是说明和示例性、而非限制性的术语。由于本发明能够以多种形式具体实施而不脱离发明的精神或实质，所以应当理解，上述实施例不限于任何前述的细节，而应在随附权利要求所限定的精神和范围内广泛地解释，因此落入权利要求或其等效范围内的全部变化和改型都应为随附权利要求所涵盖。

Claims (10)

1.一种检测枪支的方法，包括步骤：

对被检查物体进行X射线检查，得到透射图像；

利用训练的枪支检测神经网络确定所述透射图像中的多个候选区域；以及

利用所述枪支检测神经网络对所述多个候选区域进行分类，以确定所述透射图像中是否包含枪支。

2.如权利要求1所述的方法，其中计算各个候选区域中包含枪支的置信度，并且在所述置信度大于特定阈值的情况下判断所述候选区域中包括枪支。

3.如权利要求1所述的方法，其中在多个候选区域中都包括相同枪支的情况下，对各个候选区域中的枪支图像进行标注，并且融合所述多个候选区域中的枪支图像，以得到枪支的位置。

4.如权利要求1所述的方法，所述枪支检测神经网络是通过如下的操作训练的：

建立枪支的样本透射图像；

对卷积神经网络进行初始化，得到初始检测网络；

利用样本透射图像对初始检测网络进行训练，得到枪支检测神经网络。

5.如权利要求4所述的方法，还包括步骤：

将历史检查图像中的枪支部分裁剪出；

将裁剪的枪支图像随机抖动，插入到不包含枪支的被检查物体图像中作为训练用的样本透射图像。

6.如权利要求5所述的方法，其中，所述随机抖动包括以下至少之一：

旋转、仿射、加噪声、灰度调整、尺度调整。

7.一种检查设备，包括：

X射线检查系统，对被检查物体进行X射线检查，得到透射图像；

存储器，存储所述透射图像；

处理器，配置为：

利用训练的枪支检测神经网络确定所述透射图像中的多个候选区域；

利用所述检测神经网络对所述多个候选区域进行分类，以确定所述透射图像中是否包含枪支。

8.如权利要求7所述的检查设备，其中所述处理器配置为计算各个候选区域中包含枪支的置信度，并且在所述置信度大于特定阈值的情况下判断所述候选区域中包括枪支。

9.如权利要求7所述的检查设备，其中所述处理器配置为在多个候选区域中都包括相同枪支的情况下，对各个候选区域中的枪支图像进行标注，并且融合所述多个候选区域中的枪支图像，以得到枪支的位置。

10.如权利要求7所述的检查设备，其中，所述存储器中存储有枪支的样本透射图像，所述处理器配置为通过如下操作训练得到所述枪支检测神经网络：

对卷积神经网络进行初始化，得到初始检测网络；

利用样本透射图像对初始检测网络进行训练，得到枪支检测神经网络。