CN109948565B - 一种用于邮政业的违禁品不开箱检测方法 - Google Patents

Abstract

本发明属于邮政业货物包裹安检领域，公开了一种用于邮政业的违禁品不开箱检测方法。本发明包括以下步骤：由安检机采集得到待识别包裹的X光图像；将所述待识别包裹的X光图像输入预设的深度学习模型，提取所述X光图像中对应的物品信息数据；利用深度学习模型对接收到的物品信息数据进行检测识别；将判别为可疑违禁物品的信息生成对应的识别结果。其中，深度学习模型的训练样本通过将违禁品与模拟的场景图像利用抠图、增广、融合三个步骤得到。本发明为违禁品的检测提供了有效的训练样本，进一步地提高了利用深度学习方法对邮政业违禁品的安检效率和准确率。

Description

一种用于邮政业的违禁品不开箱检测方法

技术领域

本发明涉及邮政业货物包裹安检领域，具体涉及一种用于邮政业的违禁品不开箱检测方法。

背景技术

近年来随着我国邮政业的高速发展，利用物流寄递渠道的各类违法犯罪行为亦呈现高发态势，不法分子利用物流寄递渠道“不实名”、“不验视”的管理漏洞，通过物流寄递渠道从事贩运毒品、枪支弹药、管制刀具、危险化学品、爆炸物、区域销售商品、公安需要查处的物品与实施危害社会公共安全的恶性事件不断增多，物流寄递已成为犯罪分子从事贩运违禁品犯罪活动的主要渠道之一。为此，针对邮政业的物流寄递进行安检显得尤为必要。

目前，辐射成像技术是各国广泛使用的安检系统中的主流技术，该技术以射线（如X射线）照射被检测物体，根据探测器接收到的信号，再经过计算机的处理得到被检测物体的射线图像，安检员通过观察X光图像根据常见的违禁品的形状及色带辨别图像中是否有可疑违禁物品。这种人工判读的方法效率低，漏检率高并且有很高的人工成本。针对这种情况，专利申请号为201711126618.2的中国专利“安检检测方法、装置、系统及电子设备”、专利申请号为201810551326.1的中国专利“基于人工智能深度学习的自动识别物体的方法及其装置”等发明中采用了基于人工智能的深度学习模型实现对违禁品的自动识别检测，提高了安检效率、准确率，极大的降低了安检成本。

然而使用深度学习方法在实际的安检检测应用中，其检测结果常常受到检测目标的放置角度、背景环境等外界因素的影响，特别是违禁品常常与材质相近的物品放一起来干扰识别。为了实现准确的目标检测任务就需要海量的训练样本数据，并且需要对图像中的目标做标注，但是往往采集数据和标注数据都需要很高的成本。同时，一般在训练样本集较小的情况下，会使用数据增广技术，即对训练图像进行旋转、裁剪等操作来扩大样本数据集，然而这种处理过于简单，没有增加背景的复杂程度，因此应用在目标检测任务中，效果不佳。

因此，在人工智能迅猛发展的今天，有必要提供一种准确、高效、快速的针对邮政业的智能违禁品不开箱安检检测方法。

发明内容

本发明的目的在于提供一种用于邮政业的违禁品不开箱检测方法，以解决上述背景技术中提出的邮政业货物包裹安检问题，提高了利用深度学习方法对邮政业违禁品的安检效率和准确率。

为了解决上述技术问题，本发明提出的一种用于邮政业的违禁品不开箱检测方法包括：

S1：由安检机采集得到待识别包裹的X光图像；

S2：将所述待识别包裹的X光图像输入预设的深度学习模型，提取所述X光图像中对应的物品信息数据；

S3：利用深度学习模型对接收到的物品信息数据进行检测识别；

S4：将判别为可疑违禁物品的信息生成对应的识别结果。

所述安检机包括X光扫描设备，用于对安检机中的物品进行X光扫描获得X光扫描图像。

所述深度学习模型为基于卷积神经网络的深度学习模型，且通过各种违禁品的样本数据训练得到。

作为优选，所述卷积神经网络的网络结构包括特征编码通道、特征解码通道、目标解析网络及输出网络四部分，其中特征编码通道和特征解码通道以U-Net网络结构为基础。

作为优选，所述样本数据的生成步骤如下：

S21：多角度采集违禁品的X光图像，获得待抠图图片；

S22：对所述待抠图图片进行抠图处理，得到抠图图像；

S23：模拟邮政业中违禁品的存放场景，多角度采集所述场景的X光图像；

S24：对所述抠图图像及场景图像进行数据增广；

S25：将S24中的抠图图像的目标区域与场景图像进行密度统计，将S24中抠图图像目标区域依据区域匹配原则放置于S24的场景图中进行图像融合，所得匹配区域的掩模作为数据标签，融合后的图像数据及所述标签作为深度学习样本数据。

所述多角度可根据违禁品及场景形态从其外部进行至少6个角度的采集；所述违禁品还包括对可拆解违禁品进行拆解处理。

作为优选，所述场景为有填充物的箱体、包、袋类。

所述的步骤S24中，进行数据增广时，对抠图图像及场景图像进行几何变换操作和/或像素变换操作；作为优选，所述的几何变换操作包括旋转操作、缩放操作、裁剪操作中的一种或多种；所述的像素变换操作包括加噪操作、模糊变换、透视操作、亮度操作及对比度操作中的一种或多种。

所述区域匹配原则是依据X光成像原理及密度统计结果，将场景图像中密度方差与抠图图像目标区域密度方差的差值最小、平均密度与抠图图像目标区域最接近的区域确定为匹配区域所在位置，此时生成的样本为最难识别样本；当调整抠图图像目标区域所在场景图像区域位置，对应的场景图像区域密度方差与抠图图像目标区域密度方差的差值变大，场景图像与抠图图像目标区域平均密度差值变大，采集得到识别难度变容易的样本。

作为优选，根据如下公式对S25步骤中匹配区域的密度进行处理：

Mask*(α*ρ_抠图图像＋β*ρ_场景图像)，其中α、β为系数，α＋β＝1；ρ为密度值；Mask是指图像掩模，图像目标区域的值为1，目标区域外的值为0。

融合后的图像数据根据如下公式处理得到：

Mask*(α*ρ_抠图图像＋β*ρ_场景图像)＋（1-Mask）*ρ_场景图像，其中，其中α、β为系数，α＋β＝1；ρ为密度值；Mask是指图像掩模，图像目标区域的值为1，目标区域外的值为0。

所述检测识别，用于获得包括待检测物位置、物体类别标签和掩模Mask的信息。

与现有技术相比，本发明至少具有以下有益效果。

本发明引入了深度学习方法对邮政业物流包裹进行检测识别，这样可以利用人工智能的方法把各种违禁品从物流包裹的X光图像中识别并定位出来，相比现有人工判读的方法效率高，漏检率低并且降低了人工成本。另外，为违禁品的检测提供了有效的训练样本，解决了深度学习训练样本采集数据难且采集数据量大的问题，进一步地提高了利用深度学习方法对邮政业违禁品的安检效率和准确率。通过大量实验的验证，该发明在违禁品不开箱检测试验中，检测识别效果优异，具有更出色的识别性能。

本公开的其他特征和优点将在随后的说明书中阐述，或者，部分特征和优点可以从说明书推知或毫无疑义地确定，或者通过实施本公开的上述技术即可得知。

为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，作详细说明如下。

具体实施方式

下面对本申请实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

一种用于邮政业的违禁品不开箱检测方法包括：

S1：由安检机采集得到待识别包裹的X光图像。

其中，所述的安检机包括X光扫描设备，用于对安检机中的物品进行X光扫描获得X光扫描图像。此处主要利用了X射线的穿透性，X射线因其波长短，能量大，照在物质上时仅一部分被物质所吸收，大部分经由原子间隙而透过，表现出很强的穿透能力。X射线穿透物质的能力与X射线光子的能量有关，X射线的波长越短，光子的能量越大，穿透能力越强。当X射线穿过物品时，不同物质组成、不同密度和不同厚度的物品内部结构能够不同程度地吸收X射线，密度、厚度越大，吸收射线越多；密度、厚度越小，吸收射线越少，所以从物品透射出来的射线强度就能够反映出物品内部结构信息。本步骤旨在利用安检仪中的X射线发射器对进入该安检仪中的待检测物品进行透视检测，利用X光的特性得到该待检测物品的透视图。

S2：将所述待识别包裹的X光图像输入预设的深度学习模型，提取所述X光图像中对应的物品信息数据。

所述深度学习模型为基于卷积神经网络的深度学习模型，且通过各种违禁品的样本数据训练得到。

作为优选，所述卷积神经网络的网络结构包括特征编码通道、特征解码通道、目标解析网络及输出网络四部分，其中特征编码通道和特征解码通道以U-Net网络结构为基础。

作为优选，所述样本数据的生成步骤如下：

S21：多角度采集违禁品的X光图像，获得待抠图图片。

所述多角度可根据违禁品及场景形态从其外部进行至少6个角度的采集；所述违禁品还包括对可拆解违禁品进行拆解处理。

S22：对所述待抠图图片进行抠图处理，得到抠图图像。

S23：模拟邮政业中违禁品的存放场景，多角度采集所述场景的X光图像。

作为优选，所述场景为有填充物的箱体、包、袋类。

S24：对所述抠图图像及场景图像进行数据增广。

所述的步骤S24中，进行数据增广时，对抠图图像及场景图像进行几何变换操作和/或像素变换操作；作为优选，所述的几何变换操作包括旋转操作、缩放操作、裁剪操作中的一种或多种；所述的像素变换操作包括加噪操作、模糊变换、透视操作、亮度操作及对比度操作中的一种或多种。所述旋转操作：将图像顺/逆时针旋转一定角度，减少图像有个倾角就识别失败的概率。所述缩放操作：在通过抠图产生的图像样本时，输入缩放比例，然后在原图截取缩放后尺寸的图片再压缩成原图大小。所述裁剪操作：通过将抠图图像样本进行裁剪处理减少图像有个缺失或者遮挡就识别失败的概率。进一步的，所述加噪操作的方法采用：根据均值和高斯协方差生成噪声矩阵，在原图像矩阵加上噪声，再判断各点像素值的合法性，即各点像素值是否在0到255之间，如果像素值小于0那么赋值为0，若像素值大于255那么赋值为255。所述模糊变换的方法采用OpenCV的blur函数实现，即在原图像中增加一个模糊块。所述透视操作：将原图的四个角点按照输入透视比例变换到新的四个点，再由变换前后的这四个点的对应映射关系，将原图整个点进行透视。所述亮度和对比度操作的方法采用调整每个像素的RGB值的方法来实现对图像的亮度和对比度操作。

S25：对S24中的抠图图像的目标区域与场景图像进行密度统计，将S24中抠图图像目标区域依据区域匹配原则放置于S24中场景图中进行图像融合，所得匹配区域的掩模作为数据标签，融合后的图像数据及所述标签作为深度学习样本数据。

当X射线穿过物品时，不同物质组成、不同密度和不同厚度的物品内部结构能够不同程度地吸收X射线，密度、厚度越大，吸收射线越多；密度、厚度越小，吸收射线越少，生成图像的像素值代表物体实物的密度值，所以从物品透射出来的射线强度就能够反映出物品内部结构信息。

所述区域匹配原则是依据X光成像原理及密度统计结果，将场景图像中密度方差与抠图图像目标区域密度方差的差值最小、平均密度与抠图图像目标区域最接近的区域确定为匹配区域所在位置，此时生成的样本为最难识别样本；当调整抠图图像目标区域所在场景图像区域位置，对应的场景图像区域密度方差与抠图图像目标区域密度方差的差值变大，场景图像与抠图图像目标区域平均密度差值变大，采集得到识别难度变容易的样本。

作为优选，根据如下公式对S25步骤中匹配区域的密度进行处理：

Mask*(α*ρ_抠图图像＋β*ρ_场景图像)，其中α、β为系数，α＋β＝1；ρ为密度值；Mask是指图像掩模，图像目标区域的值为1，目标区域外的值为0。

融合后的图像数据根据如下公式处理得到：

Mask*(α*ρ_抠图图像＋β*ρ_场景图像)＋（1-Mask）*ρ_场景图像，其中，其中α、β为系数，α＋β＝1；ρ为密度值；Mask是指图像掩模，图像目标区域的值为1，目标区域外的值为0。

S3：利用深度学习模型对接收到的物品信息数据进行检测识别。

所述检测识别，用于获得包括待检测物位置、物体类别标签和掩模Mask的信息。

S4：将判别为可疑违禁物品的信息生成对应的识别结果。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (9)

1.一种用于邮政业的违禁品不开箱检测方法，其特征在于，包括：

S1：由安检机采集得到待识别包裹的X光图像；

S2：将所述待识别包裹的X光图像输入预设的深度学习模型，提取所述X光图像中对应的物品信息数据；

S3：利用深度学习模型对接收到的物品信息数据进行检测识别；

S4：将判别为可疑违禁物品的信息生成对应的识别结果；

所述深度学习模型为基于卷积神经网络的深度学习模型，且通过各种违禁品的样本数据训练得到；

所述样本数据的生成步骤如下：

S21：多角度采集违禁品的X光图像，获得待抠图图片；

S22：对所述待抠图图片进行抠图处理，得到抠图图像；

S23：模拟邮政业中违禁品的存放场景，多角度采集所述场景的X光图像；

S24：对所述抠图图像及场景图像进行数据增广；

S25：用图像的像素值代表物体实物的密度值， 将S24中的抠图图像的目标区域与场景图像进行密度统计，将S24中抠图图像目标区域依据区域匹配原则放置于S24的场景图中进行图像融合，所得匹配区域的掩模作为数据标签，融合后的图像数据及所述标签作为深度学习样本数据；

所述区域匹配原则是依据X光成像原理及密度统计结果，采集得到抠图图像目标区域在场景图像中不同区域的样本；

所述不同区域的样本与识别难度相关，将场景图像中密度方差与抠图图像目标区域密度方差的差值最小、平均密度与抠图图像目标区域最接近的区域确定为匹配区域所在位置，此时生成的样本为最难识别样本；当调整抠图图像目标区域所在场景图像区域位置，对应的场景图像区域密度方差与抠图图像目标区域密度方差的差值变大，场景图像与抠图图像目标区域平均密度差值变大，采集得到识别难度变容易的样本。

2.根据权利要求1所述用于邮政业的违禁品不开箱检测方法，其特征在于，所述多角度可根据违禁品及场景形态从其外部进行至少6个角度的采集。

3.根据权利要求1所述用于邮政业的违禁品不开箱检测方法，其特征在于，所述违禁品还包括对可拆解违禁品进行拆解处理。

4.根据权利要求1所述用于邮政业的违禁品不开箱检测方法，其特征在于，所述场景为有填充物的箱体、包、袋类。

5.根据权利要求1所述用于邮政业的违禁品不开箱检测方法，其特征在于，所述的步骤S24中，进行数据增广时，对抠图图像及场景图像进行几何变换操作和/或像素变换操作。

6.根据权利要求 5所述用于邮政业的违禁品不开箱检测方法，其特征在于，所述的几何变换操作包括旋转操作、缩放操作、裁剪操作中的一种或多种；所述的像素变换操作包括加噪操作、模糊变换、透视操作、亮度操作及对比度操作中的一种或多种。

7.根据权利要求1所述用于邮政业的违禁品不开箱检测方法，其特征在于，根据如下公式对S25步骤中匹配区域的密度进行处理：

Mask*(α*ρ_抠图图像＋β*ρ_场景图像)，其中α＋β＝1；ρ为密度值；Mask是指图像掩模，图像目标区域的值为1，目标区域外的值为0。

8.根据权利要求1所述用于邮政业的违禁品不开箱检测方法，其特征在于，融合后的图像数据根据如下公式处理得到：

Mask*(α*ρ_抠图图像＋β*ρ_场景图像)＋（1-Mask）*ρ_场景图像，其中，其中α＋β＝1；ρ为密度值；Mask是指图像掩模，图像目标区域的值为1，目标区域外的值为0。

9.根据权利要求1所述用于邮政业的违禁品不开箱检测方法，其特征在于，所述检测识别，用于获得包括待检测物位置、物体类别标签和掩模的信息。