CN109948562A - 一种基于x射线图像的安检系统深度学习样本生成方法 - Google Patents

Abstract

本发明属于安检技术领域，公开了一种基于X射线图像的安检系统深度学习样本生成方法。本发明包括以下步骤：多角度采集违禁品的X光图像，获得待抠图图片；对所述待抠图图片进行抠图处理，得到抠图图像；模拟违禁品的存放场景，多角度采集所述场景的X光图像；对所述抠图图像及场景图像进行数据增广；将上一步骤中的抠图图像的目标区域与场景图像进行密度统计，将上一步骤中抠图图像目标区域依据区域匹配原则放置于上一步骤的场景图中进行图像融合，所得匹配区域的掩模作为数据标签，融合后的图像数据及所述标签作为深度学习样本数据。本发明解决了深度学习训练样本数据采集、标注难且数据量大的问题，为违禁品的检测提供有效的训练样本，提高了利用深度学习方法执行安检过程中的目标检测任务的效率以及准确率。

Description

一种基于X射线图像的安检系统深度学习样本生成方法

技术领域

本发明属于安检技术领域，具体涉及一种基于X射线图像的安检系统深度学习样本生成方法。

背景技术

X射线是比可见光波长还要短的一种电磁辐射，具有比可见光更强的固体、液体穿透能力，甚至能够穿透一定厚度的钢板。当X射线穿过物品时，不同物质组成、不同密度和不同厚度的物品内部结构能够不同程度地吸收X射线，密度、厚度越大，吸收射线越多；密度、厚度越小，吸收射线越少，生成图像的像素值代表物体实物的密度值，所以从物品透射出来的射线强度就能够反映出物品内部结构信息。

目前，辐射成像技术是各国广泛使用的安检系统中的主流技术，该技术以射线（如X射线）照射被检测物体，根据探测器接收到的信号，再经过计算机的处理得到被检测物体的射线图像，安检员通过观察X光图像根据常见的违禁品的形状及色带辨别图像中是否有可疑违禁物品。这种人工判读的方法效率低，漏检率高并且有很高的人工成本。针对这种情况，专利申请号为201711126618.2的中国专利“安检检测方法、装置、系统及电子设备”、专利申请号为201810551326.1的中国专利“基于人工智能深度学习的自动识别物体的方法及其装置”等发明中采用了基于人工智能的深度学习模型实现对违禁品的自动识别检测，提高了安检效率、准确率，极大的降低了安检成本。

然而使用深度学习方法在实际的安检检测应用中，其检测结果常常受到检测目标的放置角度、背景环境等外界因素的影响，特别是违禁品常常与材质相近的物品放一起来干扰识别。为了实现准确的目标检测任务就需要海量的训练样本数据，并且需要对图像中的目标做标注，但是往往采集数据和标注数据需要很高的成本。同时，一般在训练样本集较小的情况下，会使用数据增广技术，即对训练图像进行旋转、裁剪等操作来扩大样本数据集，然而这种处理过于简单，没有增加背景的复杂程度，因此应用在目标检测任务中，效果不佳。

发明内容

本发明的目的在于提供一种基于X射线图像的安检系统深度学习样本生成方法，解决深度学习训练样本数据采集、标注难且数据量大的问题，为违禁品的检测快速提供有效的训练样本，以提高利用深度学习方法执行安检过程中的目标检测任务的效率以及准确率。

为了解决上述技术问题，本发明提出的一种基于X射线图像的安检系统深度学习样本生成方法包括：

S1：多角度采集违禁品的X光图像，获得待抠图图片；

S2：对所述待抠图图片进行抠图处理，得到抠图图像；

S3：模拟违禁品的存放场景，多角度采集所述场景的X光图像；

S4：对所述抠图图像及场景图像进行数据增广；

S5：对S4中的抠图图像的目标区域与场景图像进行密度统计，将S4中抠图图像目标区域依据区域匹配原则放置于S4中场景图中进行图像融合，所得匹配区域的掩模作为数据标签，融合后的图像数据及所述标签作为深度学习样本数据。

所述多角度可根据违禁品及场景形态从其外部进行至少6个角度的采集；所述违禁品还包括对可拆解违禁品进行拆解处理。

作为优选，所述场景为有填充物的箱体、包、袋类。

所述的步骤S4中，进行数据增广时，对抠图图像及场景图像进行几何变换操作和/或像素变换操作；作为优选，所述的几何变换操作包括旋转操作、缩放操作、裁剪操作中的一种或多种；所述的像素变换操作包括加噪操作、模糊变换、透视操作、亮度操作及对比度操作中的一种或多种。

所述区域匹配原则是依据X光成像原理及密度统计结果，将场景图像中密度方差与抠图图像目标区域密度方差的差值最小、平均密度与抠图图像目标区域最接近的区域确定为匹配区域所在位置，此时生成的样本为最难识别样本；当调整抠图图像目标区域所在场景图像区域位置，对应的场景图像区域密度方差与抠图图像目标区域密度方差的差值变大，场景图像与抠图图像目标区域平均密度差值变大，采集得到识别难度变容易的样本。

作为优选，根据如下公式对S5步骤中匹配区域的密度进行处理：

Mask*(α*ρ_抠图图像＋β*ρ_场景图像)，其中α、β为系数，α＋β＝1；ρ为密度值；Mask是指图像掩模，图像目标区域的值为1，目标区域外的值为0。

融合后的图像数据根据如下公式处理得到：

Mask*[α*ρ_抠图图像＋β*ρ_场景图像]＋（1-Mask）*ρ_场景图像，其中，其中α、β为系数，α＋β＝1；ρ为密度值；Mask是指图像掩模，图像目标区域的值为1，目标区域外的值为0。

与现有技术相比，本发明至少具有以下有益效果：

1）只需预先拍摄少量的违禁品图像和场景图像即可实现深度学习样本数据的采集，可以大量模拟现实情况下的稀缺样本，由此减少了海量训练样本数据的准备时间成本及人力成本；

2）利用本发明方法，采用抠图、增广、融合三个步骤得到与场景图像融合后的图像数据，有针对性地弥补了现有技术中训练样本的不足，为存在干扰情况下实现违禁品的检测提供有效的、优质的训练样本。

本公开的其他特征和优点将在随后的说明书中阐述，或者，部分特征和优点可以从说明书推知或毫无疑义地确定，或者通过实施本公开的上述技术即可得知。

为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

图1为本发明实施例提供的基于X射线图像的安检系统深度学习样本生成方法的流程框图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

实施例：如图1所示，本实施例提供一种基于X射线图像的安检系统深度学习样本生成方法包括如下步骤。

S1：多角度采集违禁品的X光图像，获得待抠图图片。

所述多角度可根据违禁品及场景形态从其外部进行至少6个角度的采集；所述违禁品还包括对可拆解违禁品进行拆解处理。

S2：对所述待抠图图片进行抠图处理，得到抠图图像。

S3：模拟违禁品的存放场景，多角度采集所述场景的X光图像。

作为优选，所述场景为有填充物的箱体、包、袋类。

S4：对所述抠图图像及场景图像进行数据增广。

进行数据增广时，对抠图图像及场景图像进行几何变换操作和/或像素变换操作；作为优选，所述的几何变换操作包括旋转操作、缩放操作、裁剪操作中的一种或多种；所述的像素变换操作包括加噪操作、模糊变换、透视操作、亮度操作及对比度操作中的一种或多种。所述旋转操作：将图像顺/逆时针旋转一定角度，减少图像有个倾角就识别失败的概率。所述缩放操作：在通过抠图产生的图像样本时，输入缩放比例，然后在原图抠取缩放后尺寸的图片再压缩成原图大小。所述裁剪操作：通过将抠图图像样本进行裁剪处理减少图像有个缺失或者遮挡就识别失败的概率。进一步的，所述加噪操作的方法采用：根据均值和高斯协方差生成噪声矩阵，在原图像矩阵加上噪声，再判断各点像素值的合法性，即各点像素值是否在0到255之间，如果像素值小于0那么赋值为0，若像素值大于255那么赋值为255。所述模糊变换的方法采用OpenCV的blur函数实现，即在原图像中增加一个模糊块。所述透视操作：将原图的四个角点按照输入透视比例变换到新的四个点，再由变换前后的这四个点的对应映射关系，将原图整个点进行透视。所述亮度和对比度操作的方法采用调整每个像素的RGB值的方法来实现对图像的亮度和对比度操作。

S5：对S4中的抠图图像的目标区域与场景图像进行密度统计，将S4中抠图图像目标区域依据区域匹配原则放置于S4中场景图中进行图像融合，所得匹配区域的掩模作为数据标签，融合后的图像数据及所述标签作为深度学习样本数据。

当X射线穿过物品时，不同物质组成、不同密度和不同厚度的物品内部结构能够不同程度地吸收X射线，密度、厚度越大，吸收射线越多；密度、厚度越小，吸收射线越少，生成图像的像素值代表物体实物的密度值，所以从物品透射出来的射线强度就能够反映出物品内部结构信息。

所述区域匹配原则是依据X光成像原理及密度统计结果，将场景图像中密度方差与抠图图像目标区域密度方差的差值最小、平均密度与抠图图像目标区域最接近的区域确定为匹配区域所在位置，此时生成的样本为最难识别样本；当调整抠图图像目标区域所在场景图像区域位置，对应的场景图像区域密度方差与抠图图像目标区域密度方差的差值变大，场景图像与抠图图像目标区域平均密度差值变大，采集得到识别难度变容易的样本。

作为优选，根据如下公式对S5步骤中匹配区域的密度进行处理：

Mask*(α*ρ_抠图图像＋β*ρ_场景图像)，其中α、β为系数，α＋β＝1；ρ为密度值；Mask是指图像掩模，图像目标区域的值为1，目标区域外的值为0。

融合后的图像数据根据如下公式处理得到：

Mask*[α*ρ_抠图图像＋β*ρ_场景图像]＋（1-Mask）*ρ_场景图像，其中，其中α、β为系数，α＋β＝1；ρ为密度值；Mask是指图像掩模，图像目标区域的值为1，目标区域外的值为0。

将所有违禁品均执行上述操作即为本发明实施例。通过试验发现，本发明方法所得样本能够大大提高违禁品检出率。

对所公开的实施例的上述说明，使本 领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (11)

1.一种基于X射线图像的安检系统深度学习样本生成方法，其特征在于，包括：

S1：多角度采集违禁品的X光图像，获得待抠图图片；

S2：对所述待抠图图片进行抠图处理，得到抠图图像；

S3：模拟违禁品的存放场景，多角度采集所述场景的X光图像；

S4：对所述抠图图像及场景图像进行数据增广；

S5：对S4中的抠图图像的目标区域与场景图像进行密度统计，将S4中抠图图像目标区域依据区域匹配原则放置于S4中场景图中进行图像融合，所得匹配区域的掩模作为数据标签，融合后的图像数据及所述标签作为深度学习样本数据。

2.根据权利要求1所述一种基于X射线图像的安检系统深度学习样本生成方法，其特征在于，所述多角度可根据违禁品及场景形态从其外部进行至少6个角度的采集。

3.根据权利要求1所述一种基于X射线图像的安检系统深度学习样本生成方法，其特征在于，所述违禁品还包括对可拆解违禁品进行拆解处理。

4.根据权利要求1所述一种基于X射线图像的安检系统深度学习样本生成方法，其特征在于，所述场景为有填充物的箱体、包类。

5.根据权利要求1所述一种基于X射线图像的安检系统深度学习样本生成方法，其特征在于，所述的步骤S4中，进行数据增广时，对抠图图像及场景图像进行几何变换操作和/或像素变换操作。

6.根据权利要求5所述一种基于X射线图像的安检系统深度学习样本生成方法，其特征在于，所述的几何变换操作包括旋转操作、缩放操作、裁剪操作中的一种或多种。

7.根据权利要求5所述一种基于X射线图像的安检系统深度学习样本生成方法，其特征在于，所述的像素变换操作包括加噪操作、模糊变换、透视操作、亮度操作及对比度操作中的一种或多种。

8.根据权利要求1所述一种基于X射线图像的安检系统深度学习样本生成方法，其特征在于，所述区域匹配原则是依据X光成像原理及密度统计结果，采集得到抠图图像目标区域在场景图像中不同区域的样本。

9.根据权利要求8所述一种基于X射线图像的安检系统深度学习样本生成方法，其特征在于，所述不同区域的样本与识别难度相关，将场景图像中密度方差与抠图图像目标区域密度方差的差值最小、平均密度与抠图图像目标区域最接近的区域确定为匹配区域所在位置，此时生成的样本为最难识别样本；当调整抠图图像目标区域所在场景图像区域位置，对应的场景图像区域密度方差与抠图图像目标区域密度方差的差值变大，场景图像与抠图图像目标区域平均密度差值变大，采集得到识别难度变容易的样本。

10.根据权利要求1所述一种基于X射线图像的安检系统深度学习样本生成方法，其特征在于，根据如下公式对S5步骤中匹配区域的密度进行处理：

Mask*(α*ρ_抠图图像＋β*ρ_场景图像)，其中α＋β＝1；ρ为密度值；Mask是指图像掩模，图像目标区域的值为1，目标区域外的值为0。

11.根据权利要求1所述一种基于X射线图像的安检系统深度学习样本生成方法，其特征在于，融合后的图像数据根据如下公式处理得到：

Mask*[α*ρ_抠图图像＋β*ρ_场景图像]＋（1-Mask）*ρ_场景图像，其中，其中α＋β＝1；ρ为密度值；Mask是指图像掩模，图像目标区域的值为1，目标区域外的值为0。