CN110163179A

CN110163179A - 一种基于深度学习的违禁品检测识别方法、系统、设备及其存储介质

Info

Publication number: CN110163179A
Application number: CN201910454456.8A
Authority: CN
Inventors: 程国华
Original assignee: Zhejiang Qiyun Intelligent Technology Co Ltd
Current assignee: Zhejiang Qiyun Intelligent Technology Co Ltd
Priority date: 2019-05-29
Filing date: 2019-05-29
Publication date: 2019-08-23

Abstract

本发明属于安检技术领域，公开了一种基于深度学习的违禁品检测识别方法、系统、设备及其存储介质。本发明方法包括以下步骤：使用安检机采集图像，且对图像进行预处理；制定编辑策略，得到编辑后的图像；构建生成式对抗网络并调整网络参数；将编辑后的图像输入生成网络中，得到的违禁品图像样本数据与违禁品样本数据加入样本库；构建用于违禁品检测识别的卷积神经网络；训练用于违禁品识别的卷积神经网络；违禁品自动检测识别。本发明解决了深度学习训练样本数据采集、标注难且数据量大的问题，为违禁品的检测提供有效的训练样本，极大地提高了利用深度学习方法执行安检过程中的目标检测任务的效率以及准确率。

Description

一种基于深度学习的违禁品检测识别方法、系统、设备及其存储介质

技术领域

本发明属于安检技术领域，具体涉及一种基于深度学习的违禁品检测识别方法、系统、设备及其存储介质。

背景技术

目前，辐射成像技术是各国广泛使用的安检系统中的主流技术，该技术以射线（如X射线、太赫兹辐射成像等）照射被检测物体，根据探测器接收到的信号，再经过计算机的处理得到被检测物体的射线图像，安检员通过观察图像根据常见的违禁品的形状及色带辨别图像中是否有可疑违禁物品。这种人工判读的方法效率低，漏检率高并且有很高的人工成本。专利申请号为201711126618.2的中国专利“安检检测方法、装置、系统及电子设备”、专利申请号为201810551326.1的中国专利“基于人工智能深度学习的自动识别物体的方法及其装置”等发明中采用了基于人工智能的深度学习模型实现对违禁品的自动识别检测，提高了安检效率、准确率，极大的降低了安检成本。

然而使用深度学习方法在实际的安检检测应用中，其检测结果常常受到检测目标的放置角度、背景环境、人为伪装等外界因素的影响。为了实现准确的目标检测任务就需要海量的训练样本数据，并且需要对图像中的目标做标注，但是往往采集数据和标注数据需要很高的成本。同时，一般在训练样本集较小的情况下，会使用数据增广技术，即对训练图像进行旋转、裁剪等操作来扩大样本数据集，然而这种处理过于简单，因此应用在目标检测任务中，效果不佳。

发明内容

本发明的目的在于提供一种基于深度学习的违禁品检测识别方法、系统、设备及其存储介质，与传统依赖人工的违禁品检测识别方法相比准确率、效率高、成本低，并通过解决深度学习训练样本数据采集、标注难且数据量大的问题，快速地为违禁品的检测识别提供有效的训练样本，以提高利用深度学习方法执行安检过程中的目标检测任务的效率以及准确率。

为了解决上述技术问题，根据本发明的一个方面，提出了一种基于深度学习的违禁品识别方法，包括：

1）使用安检机采集图像，且对图像进行预处理，得到预处理后的图像；

2）对1）中预处理后的每个图像制定编辑策略，得到编辑后的图像；

3）构建生成式对抗网络并对该网络进行训练，所述生成式对抗网络包括生成网络和判别网络；

4）将2）中编辑后的图像输入训练好的生成网络中获得带目标的样本数据，得到的样本数据与违禁品样本数据共同组成样本库；

5）构建用于违禁品检测识别的卷积神经网络；

6）用步骤4）样本库中数据训练用于违禁品识别的卷积神经网络；

7）违禁品自动检测识别。

根据本发明的一个方面，所述安检机为X射线安检机或太赫兹成像设备中的一种或多种。优选地，安检机所采集的对象包括违禁品、模拟的违禁品存放场景。优选地，所述场景为包含或者不包含违禁品的箱体、包、袋类。所述包含违禁品的图像采集违禁品数量可以是一个或多个，一种或多种。

所述步骤2）中编辑策略包括增加掩模、人工绘制违禁品图样、添加颜色中的至少一种；所述图样可以是简单轮廓线；所述颜色与采集对象的材质种类、密度以及原子序数相关。通过该编辑步骤可自动获取目标样本的标签。

所述步骤3）中生成式对抗网络包括生成网络和判别网络。所述生成网络负责将编辑后的图像生成新的图像，所述判别网络负责判断新的图像是否属于违禁品。优选地，所述生成网络为基于卷积神经网络的深度学习模型，所述判别网络为基于卷积的二分类网络结构。

所述生成式对抗网络的训练方法包括如下步骤：

3.1）安检机采集违禁品图像，并对图像进行预处理；

3.2）在预处理后图像中随机擦除目标区域，提取目标区域的掩模、轮廓图、颜色图；所述预处理后图像、掩模、轮廓图、颜色图以及被擦除目标区域后的预处理后图像作为训练集，训练生成式对抗网络；其中掩模、轮廓图、颜色图和被擦除目标区域后的预处理后图像作为生成网络的输入，修复的图像为生成网络的输出；修复的图像和原始预处理后图像为判别网络的输入，而所述判别网络的输出为二分类判断，即判别网络主要区分该图像为原始预处理后的图像还是修复的图像，有利于后续；

3.3）调整网络参数，得到训练好的生成式对抗网络。

优选地，本发明还可对预处理后图像和生成样本库中图像进行数据增广。

根据本发明的第二个方面，提出了一种基于深度学习的违禁品检测识别系统，包括：图像采集模块、预处理模块、生成式对抗网络、编辑模块、用于违禁品检测识别的神经网络训练数据集、用于违禁品检测识别的卷积神经网络。

所述图像采集模块用于获取一定数量的安检设备拍摄的的安检图像，其中安检设备为X射线安检机或太赫兹成像设备中的一种或多种。

安检机所采集的对象包括违禁品、模拟的违禁品存放场景。优选地，所述场景为包含或者不包含违禁品的箱体、包、袋类。所述包含违禁品的图像采集违禁品数量可以是一个或多个，一种或多种。

所述预处理模块通过图像增强和去噪操作对生成式对抗网络的训练数据集中所有图像进行预处理。

所述生成式对抗网络用于扩充样本数据，包括生成网络和判别网络。所述生成网络负责将编辑后的图像生成新的图像，所述判别网络负责判断新的图像是否属于违禁品。优选地，所述生成网络为基于卷积神经网络的深度学习模型，所述判别网络为基于卷积的二分类网络结构。

采集违禁品安检图像并预处理，将预处理后图像随机擦除目标区域，提取目标区域的掩模、轮廓图、颜色图，使用所述目标区域的掩模、轮廓图、颜色图、被擦除目标区域后的预处理后图像以及原始预处理后图像作为训练集来拟合参数，得到训练好的生成式对抗网络。生成式对抗网络通过至少如下训练方法训练得到：

1）安检机采集违禁品图像，并对图像进行预处理；

2）在预处理后图像中随机擦除目标区域，提取目标区域的掩模、轮廓图、颜色图；所述掩模、轮廓图、颜色图以及被擦除目标区域后的预处理后图像作为训练集，训练生成式对抗网络；其中掩模、轮廓图、颜色图和被擦除目标区域后的预处理后图像作为生成网络的输入，修复的图像为生成网络的输出；修复的图像和原始预处理后图像为判别网络的输入，而所述判别网络的输出为二分类判断，即判别网络主要区分该图像为原始预处理后的图像还是修复的图像，有利于后续；

3）得到训练好的生成式对抗网络。

所述编辑模块对预处理模块处理过的图像制定编辑策略，所述编辑策略包括增加掩模、人工绘制违禁品图样、添加颜色中的至少一种；所述图样可以是简单轮廓线；通过该编辑模块可自动获取目标样本的标签。

所述用于违禁品检测识别的神经网络训练数据集为利用生成网络将编辑模块编辑后的图像作为输入得到的带目标的样本数据和违禁品样本数据组成。

所述用于违禁品检测识别的卷积神经网络经用于违禁品检测识别的神经网络训练数据集训练得到。

根据本发明的第三个方面，提出了一种基于深度学习的违禁品检测识别计算设备，包括：

一个或多个处理器；和

存储器；

一个或多个程序，其中所述一个或多个程序存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行上述方法中的任一方法的指令。

本发明还有一目的在于存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，所述指令当计算设备执行时，使得所述计算设备执行上述的方法中的任一方法。

如上所述，本发明的一种基于深度学习的违禁品检测识别方法、系统、设备及存储介质，具有以下有益效果：与现有技术相比，只需预先拍摄少量的违禁品图像和场景图像即可实现深度学习样本数据的采集，可以大量模拟现实情况下的稀缺样本，由此减少了海量训练样本数据的准备时间成本及人力成本。并且通过编辑还可自动获取目标的标签，节省了人工标注的时间、人力成本。

本公开的其他特征和优点将在随后的说明书中阐述，或者，部分特征和优点可以从说明书推知或毫无疑义地确定，或者通过实施本公开的上述技术即可得知。

为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

图1为本发明提供的基于深度学习的违禁品检测识别方法的流程框图。

图2为本发明提供的基于深度学习的违禁品检测识别方法中生成式对抗网络训练流程图。

图3为本发明提供的生成网络结构示意图。

图4为本发明提供的基于深度学习的违禁品检测识别系统的结构框图。

图5为本发明提供的包含基于深度学习的违禁品检测识别方法的计算设备结构框图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

实施例1：

一种基于深度学习的违禁品检测识别方法，包括：1）使用X射线安检机采集图像，对上述采集到的图像进行预处理，得到预处理后的图像。

在真实的场景中违禁品的目标姿态差异很大，例如一把手枪从不同角度去看，它的外观形状也是不同的，所处的场景也是千变万化，再比如在实际安检中还会有违禁品经常被其他同种类或不同违禁物品遮挡住的情况。因此以现有安检违禁品安检图像放入网络中进行训练，网络将难以学习到这些图像的共同特征，并且对图像中的目标做标注也是非常费时费力的，实现准确的目标检测就非常困难。本发明可在现有数据采集技术下对于大量稀缺的训练样本只需预先拍摄少量的违禁品图像和场景图像即可实现，由此减少了海量训练样本数据的准备时间成本及人力成本。

安检机所采集的对象包括违禁品、模拟的违禁品存放场景。箱体、包、袋类是违禁品的常规存放场景，也是安检机通常的采集对象，本发明中模拟违禁品的真实存放场景可适当向上述场景中填充介质，其中包含或者不包含违禁品或其他填充物的箱体、包、袋类均是本发明实施例的采集对象。所述包含违禁品的图像采集违禁品数量可以是一个或多个，一种或多种。以X射线安检设备为例，在获取到X光图像，检测X光图像的过程中，首先要求该X光图像具有良好的性能。但是由于外界干扰和X光机自身因素会造成X光图像质量的降低，基于此本发明实施例采用的预处理操作主要包括图像增强和去噪，上述对该X光图像进行预处理包括：采用邻域平均法对采集的X光图像进行平滑去噪，得到平滑去噪后的X光图像；采用直方图均衡法对平滑去噪后的图像的边缘信息进行增强，得到预处理后的X光图像。通过上述的预处理方法，能够增强图像中的有用信息如边缘信息，在一定程度上削弱干扰(介质散射、高速运动、噪声干扰)，提高图像的性能，使得图像的特征充分展现出来，更有利于后期的特征提取与表示。太赫兹设备获取图像及其图像预处理过程同理。

2）对预处理后的每个图像制定编辑策略，所述编辑策略包括增加掩模、人工绘制图样、添加颜色中的至少一种，所述图样可以是简单轮廓线；所述颜色与采集对象的材质种类、密度以及原子序数相关。

对于人工绘制图样和添加颜色可以得到预处理后每个图像的图样图和颜色图。以双能量X射线安检系统为例，系统会把透视得到的安检图像进行颜色设定，把属于有机物的物体颜色设定为橙色，把无机物设定为蓝色，把混合物设定为绿色，具体颜色差异则根据物体对X射线的吸收程度而定，吸收程度越高，则颜色就越深，反之颜色就越浅。而且，各类物质具有不同的密度和原子序数，通过测量到的物体密度值和原子序数值与数据库中物质进行对比，就可以判断任意位置的物质种类，并有针对性的进行甄别。因此采集到的X射线图像除了具有形状特性还会根据材质显现不同的颜色，在进行图像编辑的时候就可以利用上述特性进行编辑。通过添加掩模可以根据需要提取违禁品样本数据或任何感兴趣区域得到预处理后每个图像的掩模图像。通过添加图样可以得到与处理后每个图像的草图，图样可以是简单轮廓线。通过编辑颜色可以得到反映违禁品材质、密度以及原子序数的颜色图。所有编辑策略均需依据样本需要合理地做出，具体并无限制。通过该编辑步骤可自动获取目标样本的标签。

3）构建生成式对抗网络并对该网络进行训练。

所述生成式对抗网络包括生成网络和判别网络。所述生成式对抗网络包括生成网络和鉴别网络，所述生成网络负责将编辑后的图像生成新的图像，所述鉴别网络负责判断新的图像是否属于违禁品。优选地，所述生成网络为基于卷积神经网络的深度学习模型，所述判别网络为基于卷积的二分类网络结构。构建生成式对抗网络并训练的过程与步骤2）无先后限定。所述生成式对抗网络的训练方法包括如下步骤：

3.1）安检机采集违禁品图像，并对图像进行预处理；

3.3）得到训练好的生成式对抗网络。

4）将步骤2）中编辑后的图像输入训练好的生成网络中获得带目标的样本数据，将得到的样本数据与违禁品样本数据共同组成样本库。

5）构建用于违禁品检测识别的卷积神经网络。本实施例并不限定用于检测识别的卷积神经网络结构，只要能实现物体的检测和识别任务的神经网络均可。

6）用步骤4）样本库中数据训练用于违禁品识别的卷积神经网络。

7）真实场景下的违禁品自动检测识别。

优选地，本发明还可对预处理后图像和生成的新图像进行数据增广。

如图4所示，为本发明提供一种基于深度学习的违禁品检测识别系统结构框图，包括：图像采集模块、预处理模块、生成式对抗网络、编辑模块、用于违禁品检测识别的神经网络训练数据集、用于违禁品检测识别的卷积神经网络。

所述生成式对抗网络用于扩充样本数据，包括生成网络和判别网络。所述生成网络负责将编辑后的图像生成新的图像，所述判别网络负责判断新的图像是否属于违禁品。优选地，所述生成网络为基于卷积神经网络的深度学习模型，所述判别网络为基于卷积的二分类网络结构。将预处理后图像随机擦除目标区域，提取目标区域的掩模、轮廓图、颜色图，使用所述目标区域的掩模、轮廓图、颜色图、被擦除目标区域后的预处理后图像以及原始预处理后图像作为训练集来拟合参数，得到训练好的生成式对抗网络。所述训练方法包括如下步骤：

1）安检机采集违禁品图像，并对图像进行预处理；

3）得到训练好的生成式对抗网络。

所述编辑模块对预处理模块处理过的图像制定编辑策略，所述编辑策略包括增加掩模、人工绘制违禁品图样、添加颜色中的至少一种；所述图样可以是简单轮廓线；所述颜色与采集对象的材质种类、密度以及原子序数相关。

由于该系统与上述方法为一一对应关系，其涉及的技术细节与技术效果参照上述方法实施例，在此不一一赘述。

请参阅图5，为本发明提供一种计算设备，包括：

一个或多个处理器50；和

存储器51；

一个或多个程序(计算机程序52)，其中所述一个或多个程序存储在所述存储器中51并被配置为由所述一个或多个处理器50执行，所述一个或多个程序包括用于执行上述方法中的任一方法的指令。

本发明还提供一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，所述指令当计算设备执行时，使得所述计算设备执行上述的方法中的任一方法。

这里描述的各种技术可结合硬件或软件，或者它们的组合一起实现。从而，本发明的方法和设备，或者本发明的方法和设备的某些方面或部分可采取嵌入有形媒介，例如软盘、CD-ROM、硬盘驱动器或者其它任意机器可读的存储介质中的程序代码(即指令)的形式，其中当程序被载入诸如计算机之类的机器，并被所述机器执行时，所述机器变成实践本发明的设备。

在程序代码在可编程计算机上执行的情况下，计算设备一般包括处理器、处理器可读的存储介质(包括易失性和非易失性存储器和/或存储元件)，至少一个输入装置，和至少一个输出装置。其中，存储器被配置用于存储程序代码；处理器被配置用于根据该存储器中存储的所述程序代码中的指令，执行本发明所述的方法。

以示例而非限制的方式，计算机可读介质包括计算机存储介质和通信介质。计算机可读介质包括计算机存储介质和通信介质。计算机存储介质存储诸如计算机可读指令、数据结构、程序模块或其它数据等信息。通信介质一般以诸如载波或其它传输机制等已调制数据信号来体现计算机可读指令、数据结构、程序模块或其它数据，并且包括任何信息传递介质。以上的任一种的组合也包括在计算机可读介质的范围之内。

此外，所述实施例中的一些在此被描述成可以由计算机系统的处理器或者由执行所述功能的其它装置实施的方法或方法元素的组合。因此，具有用于实施所述方法或方法元素的必要指令的处理器形成用于实施该方法或方法元素的装置。此外，装置实施例的在此所述的元素是如下装置的例子：该装置用于实施由为了实施该发明的目的的元素所执行的功能。

综上所述，与传统依赖人工的违禁品检测识别方法相比准确率、效率高、成本低，并通过解决深度学习训练样本数据采集、标注难且数据量大的问题，只需预先拍摄少量的违禁品图像和场景图像即可实现深度学习样本数据的采集，可以大量模拟现实情况下的稀缺样本快速地为违禁品的检测识别提供有效的训练样本，由此减少了海量训练样本数据的准备时间成本及人力成本，并且本发明还可自动获取目标的标签，节省了人工标注的时间、人力成本，大幅度提高了利用深度学习方法执行安检过程中的目标检测任务的效率以及准确率。

将违禁品均执行上述操作即为本发明实施例。通过试验发现，本发明方法所得样本能够大大提高违禁品检出率。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims

1.一种基于深度学习的违禁品检测识别方法，其特征在于，包括以下步骤，

4）将2）中编辑后的图像输入训练好的生成网络中获得带目标的样本数据，将得到的样本数据与违禁品数据共同组成样本库；

5）构建用于违禁品检测识别的卷积神经网络；

7）违禁品自动检测识别。

2.根据权利要求1所述一种基于深度学习的违禁品检测识别方法，其特征在于，所述安检机为X射线安检机或太赫兹成像设备中的一种或多种。

3.根据权利要求1所述一种基于深度学习的违禁品检测识别方法，其特征在于，安检机所采集的对象包括违禁品、模拟的违禁品存放场景；所述场景为包含或者不包含违禁品的箱体、包、袋类；所述包含违禁品的图像中违禁品数量可以是一个或多个，在种类上可以是一种或多种。

4.根据权利要求1所述一种基于深度学习的违禁品检测识别方法，其特征在于，所述编辑策略包括增加掩模、人工绘制违禁品图样、添加颜色中的至少一种；所述图样可以是轮廓线；所述颜色与采集对象的材质种类、密度以及原子序数相关。

5.根据权利要求1所述一种基于深度学习的违禁品检测识别方法，其特征在于，所述生成式对抗网络包括生成网络和判别网络；所述生成网络负责将编辑后的图像生成新的图像，所述判别网络负责判断新的图像是否属于违禁品。

6.根据权利要求5所述一种基于深度学习的违禁品检测识别方法，其特征在于，所述生成网络为基于卷积神经网络的深度学习模型；所述判别网络为基于卷积的二分类网络结构。

7.根据权利要求1所述一种基于深度学习的违禁品检测识别方法，其特征在于，所述生成式对抗网络的训练方法包括如下步骤：

1）安检机采集违禁品图像，并对图像进行预处理；

2）在预处理后图像中随机擦除目标区域，提取目标区域的掩模、轮廓图、颜色图；所述预处理后图像、掩模、轮廓图、颜色图以及被擦除目标区域后的预处理后图像作为训练集，训练生成式对抗网络；其中掩模、轮廓图、颜色图和被擦除目标区域后的预处理后图像作为生成网络的输入，修复的图像为生成网络的输出；修复的图像和原始预处理后图像为判别网络的输入，而所述判别网络的输出为二分类判断，即判别网络主要区分该图像为原始预处理后的图像还是修复的图像，有利于后续；

3）得到训练好的生成式对抗网络。

8.一种基于深度学习的违禁品检测识别系统，其特征在于，包括，图像采集模块、预处理模块、生成式对抗网络、编辑模块、用于违禁品检测识别的神经网络训练数据集、用于违禁品检测识别的卷积神经网络。

9.根据权利要求8所述的一种基于深度学习的违禁品检测识别系统，其特征在于，所述用于生成式对抗网络的训练数据集为一定数量的安检设备拍摄的安检图像；所述安检设备为X射线安检机或太赫兹成像设备中的一种或多种。

10.根据权利要求8所述的一种基于深度学习的违禁品检测识别系统，其特征在于，安检设备所采集的对象包括违禁品、模拟的违禁品存放场景；所述场景为包含或者不包含违禁品的箱体、包、袋类；所述包含违禁品的图像采集违禁品数量可以是一个或多个，一种或多种。

11.根据权利要求8所述的一种基于深度学习的违禁品检测识别系统，其特征在于，所述预处理模块通过图像增强和去噪操作对生成式对抗网络的训练数据集中所有图像进行预处理。

12.根据权利要求8所述的一种基于深度学习的违禁品检测识别系统，其特征在于，所述生成式对抗网络包括生成网络和判别网络；生成网络负责将编辑后的图像生成新的图像，所述判别网络负责判断新的图像是否属于违禁品。

13.根据权利要求12所述的一种基于深度学习的违禁品检测识别系统，其特征在于，所述生成网络为基于卷积神经网络的深度学习模型；所述判别网络为基于卷积的二分类网络结构。

14.根据权利要求8所述的一种基于深度学习的违禁品检测识别系统，其特征在于，所述编辑模块对预处理模块处理过的图像制定编辑策略，所述编辑策略包括增加掩模、人工绘制违禁品图样、添加颜色中的至少一种；所述图样可以是简单轮廓线。

15.根据权利要求8所述的一种基于深度学习的违禁品检测识别系统，其特征在于，生成式对抗网络的训练方法包括如下步骤：

1）安检机采集违禁品图像，并对图像进行预处理；

3）得到训练好的生成式对抗网络。

16.根据权利要求8所述的一种基于深度学习的违禁品检测识别系统，其特征在于，所述用于违禁品检测识别的神经网络训练数据集为利用生成网络将编辑模块编辑后的图像作为输入得到的带目标的样本数据和违禁品样本数据组成。

17.一种计算设备，其特征在于，包括：

一个或多个处理器；

和存储器；

一个或多个程序，其中所述一个或多个程序存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行根据权利要求1-7所述方法中的任一方法的指令。

18.一种存储一个或多个程序的计算机可读存储介质，其特征在于，所述一个或多个程序包括指令，所述指令当计算设备执行时，使得所述计算设备执行根据权利要求1-7所述的方法中的任一方法。