CN110910467B - 一种x射线图像样本生成方法、系统及用途 - Google Patents

Abstract

本发明属于安检技术领域，公开了一种X射线图像样本生成方法、系统及用途。本发明包括以下步骤：构建原始样本库；从原始样本中任取至少两张X光图像进行尺寸归一化；在尺寸归一化图像上对像素点进行逐一对比，进行融合；生成增广后的新样本，与原始样本共同组成深度学习样本库。本发明解决了深度学习训练样本数据采集、标注难且数据量大的问题，得到的融合后图像数据不会损失物体的边缘信息，更符合现实场景中多个物体堆叠的状态，为存在干扰情况下实现违禁品的检测提供有效的、优质的训练样本，提高了智能安检方法中的目标检测任务的效率以及准确率。

Description

一种X射线图像样本生成方法、系统及用途

技术领域

本发明属于安检技术领域，具体涉及一种X射线图像样本生成方法、系统及用途。

背景技术

X射线是比可见光波长还要短的一种电磁辐射，具有比可见光更强的固体、液体穿透能力，甚至能够穿透一定厚度的钢板。当X射线穿过物品时，不同物质组成、不同密度和不同厚度的物品内部结构能够不同程度地吸收X射线，密度、厚度越大，吸收射线越多；密度、厚度越小，吸收射线越少，生成图像的像素值代表物体实物的密度值，所以从物品透射出来的射线强度就能够反映出物品内部结构信息。通常，为了更直观地了解被检测物的物质组成，系统会把透视得到的安检图像进行颜色设定，把属于有机物的物体颜色设定为橙色，把无机物设定为蓝色，把混合物设定为绿色，具体颜色差异则根据物体对X射线的吸收程度而定，吸收程度越高，则颜色就越深，反之颜色就越浅。因此采集到的X射线图像除了具有形状特性还会根据材质显现不同的颜色，在进行物品识别的时候就可以利用上述特性进行分析识别。辐射成像技术是各国广泛使用的安检系统中的主流技术，该技术以射线(如X射线)照射被检测物体，根据探测器接收到的信号，再经过计算机的处理得到被检测物体的射线图像，安检员通过观察X光图像根据常见的违禁品的形状及色带辨别图像中是否有可疑违禁物品。这种人工判读的方法效率低，漏检率高并且有很高的人工成本。

近年来，随着人工智能技术的不断发展，深度学习技术已经在计算机视觉领域的分类、识别、检测、分割、跟踪等任务都取得了突破性的进展。相较于传统的机器视觉方法，深度卷积神经网络在大数据的训练下，从大量数据中学习出有用的特征，具有速度快、精度高、成本低等优势。但是虽然深度学习能达到这种优于传统方法的很大一部分原因是因为深度学习是建立在大量数据的基础上的。特别是在安检领域，深度学习更是需要大量的数据。如何克服深度学习依赖数据集的特点，当前主流的做法就是数据增强。但是并不是一味的增加数据量就能够提升模型的性能，特别是对于X射线成像用于危险品、违禁品安检识别具有十分重要的意义。

发明内容

本发明的目的在于提供一种X射线图像样本生成方法、系统及用途，解决深度学习训练样本数据采集、标注难且数据量大的问题，为违禁品的检测快速提供有效的训练样本，以提高利用深度学习方法执行安检过程中的目标检测任务的效率以及准确率。

为了解决上述技术问题，本发明提出的一种X射线图像样本生成方法包括：

S1：构建由物品X光图像组成的原始样本库；

S2：从原始样本中任取N(N≥2)张X光图像进行尺寸归一化；

S3：对所述归一化图像中N张图的每一个位置像素点进行融合，得到融合后的图像；

设N张图同一位置的三通道像素均值分别为P₁，P₂……P_n，背景色阈值为δ；

所述融合步骤如下：

(1)P_i≥δ，i∈N，说明该点在N张图处均为背景；融合后的图片该点的像素点为n个像素点的均值，即：

(2)P_i＜δ，i∈N，至少有一张图像中像素点处存在物体；融合后的图片该点的像素点为通过对N个点进行权重分配得到，即：

P_new为融合后该点的像素值。

S4：重复步骤S2-S3，形成新样本，与原始样本共同组成深度学习样本库。

S1中所述物品X光图像可使用X射线安检设备进行图像采集。

所述至少两张X射线图像可以相同或者不同，至少两张X射线图像的尺寸可以相同也可以不同，都是本发明的保护范围。

所述物品包括普通物品、行李、快递包裹、大件货物等。

优选地，对S1中X光图像进行数据增广，增广后的图像也是原始样本的组成部分，所述增广方法包括几何变换操作和/或像素变换操作；作为优选，所述的几何变换操作包括旋转操作、缩放操作、裁剪操作中的一种或多种；所述的像素变换操作包括加噪操作、模糊变换、透视操作、亮度操作及对比度操作中的一种或多种。

所述尺寸归一化的图像长宽以融合图像的最小外接矩形框大小设定，以X光图像为两张时为例，取w_new＝max(w₁,w₂)，h_new＝max(h₁,h₂)，其中，两张X光图像的长宽分别为(w₁,h₁)，(w₂,h₂)；每张图像尺寸归一化过程通过对图像新增区域以背景色填充实现，这样可以不改变原有图像内目标，所述背景色与采集X光图像的设备相关，可根据具体X光图像进行调整。

第二个方面一种X射线图像样本生成系统，包括：原始样本库，尺寸归一化模块，图像融合模块，生成样本库。

所述原始样本库由物品X光图像组成，所述物品X光图像可使用X射线安检设备进行图像采集；所述物品包括行李、快递包裹、大件货物等。

优选地，对原始X光图像进行数据增广，增广后的图像也是原始样本库的组成部分；所述增广方法包括几何变换操作和/或像素变换操作；作为优选，所述的几何变换操作包括旋转操作、缩放操作、裁剪操作中的一种或多种；所述的像素变换操作包括加噪操作、模糊变换、透视操作、亮度操作及对比度操作中的一种或多种。

所述尺寸归一化模块用于从原始样本中每次任取N(N≥2)张X光图像进行尺寸归一化；所述至少两张X射线图像可以相同或者不同，至少两张X射线图像的尺寸可以相同也可以不同，都是本发明的保护范围。

所述尺寸归一化的图像长宽以融合图像的最小外接矩形框大小设定，以单次取X光图像为两张时为例，取w_new＝max(w₁,w₂)，h_new＝max(h₁,h₂)，其中，两张X光图像的长宽分别为(w₁,h₁)，(w₂,h₂)；每张图像尺寸归一化过程通过对图像新增区域以背景色填充实现，这样可以不改变原有图像内目标，所述背景色与采集X光图像的设备相关，可根据具体X光图像进行调整。

所述图像融合模块用于对尺寸归一化模块所得N张图的每一个位置像素点进行融合；设N张图同一位置的三通道像素均值分别为P₁，P₂……P_n，背景色阈值为δ；

所述融合步骤如下：

(1)P_i≥δ，i∈N，说明该点在N张图处均为背景；融合后的图片该点的像素点为n个像素点的均值，即：

(2)P_i＜δ，i∈N，至少有一张图像中像素点处存在物体；融合后的图片该点的像素点为通过对N个点进行权重分配得到，即：

P_new为融合后该点的像素值，所述三通道是指X光图像中每个像素点都有3个值表示，所以就是三通道。

所述生成样本库包括图像融合模块所生成的样本图像和原始样本库中图像。

与现有技术相比，本发明至少具有以下有益效果：只需预先拍摄少量的违禁品图像和场景图像即可实现深度学习样本数据的采集，利用本发明方法得到融合后的图像数据不会损失物体的边缘信息，不失真，更符合现实场景中多个物体堆叠的状态，为存在干扰情况下实现违禁品的检测提供有效的、优质的训练样本，并且由此减少了海量训练样本数据的准备时间成本及人力成本。

本公开的其他特征和优点将在随后的说明书中阐述，或者，部分特征和优点可以从说明书推知或毫无疑义地确定，或者通过实施本公开的上述技术即可得知。

为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

图1为本发明实施例提供的一种X射线图像样本生成方法的流程框图。

图2为任取的X射线图像1。

图3为任取的X射线图像2。

图4为使用现有技术融合所得图像。

图5为使用本发明实施例方法融合后所得图像。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

实施例1：如图1所示，一种X射线图像样本生成方法，包括：

S1：构建由物品X光图像组成的原始样本库。

所述物品X光图像可使用X射线安检设备进行图像采集；所述物品包括行李、快递包裹、大件货物等。

优选地，对S1中X光图像进行数据增广，增广后的图像也是原始样本的组成部分；所述增广方法包括几何变换操作和/或像素变换操作；作为优选，所述的几何变换操作包括旋转操作、缩放操作、裁剪操作中的一种或多种；所述的像素变换操作包括加噪操作、模糊变换、透视操作、亮度操作及对比度操作中的一种或多种。所述旋转操作：将图像顺/逆时针旋转一定角度，减少图像有个倾角就识别失败的概率。所述缩放操作：在通过抠图产生的图像样本时，输入缩放比例，然后在原图抠取缩放后尺寸的图像再压缩成原图大小。所述裁剪操作：通过将抠图图像样本进行裁剪处理减少图像有个缺失或者遮挡就识别失败的概率。进一步的，所述加噪操作的方法采用：根据均值和高斯协方差生成噪声矩阵，在原图像矩阵加上噪声，再判断各点像素值的合法性。所述模糊变换的方法采用OpenCV的blur函数实现，即在原图像中增加一个模糊块。所述透视操作：将原图的四个角点按照输入透视比例变换到新的四个点，再由变换前后的这四个点的对应映射关系，将原图整个点进行透视。所述亮度和对比度操作的方法采用调整每个像素的RGB值的方法来实现对图像的亮度和对比度操作。

S2：从原始样本中任取N(N≥2)张X光图像进行尺寸归一化。

所述至少两张X射线图像可以相同或者不同，至少两张X射线图像的尺寸可以相同也可以不同，都是本发明的保护范围。

所述尺寸归一化的图像长宽以融合图像的最小外接矩形框大小设定，以X光图像为两张时为例，取w_new＝max(w₁,w₂)，h_new＝max(h₁,h₂)，其中，两张X光图像的长宽分别为(w₁,h₁)，(w₂,h₂)；每张图像尺寸归一化过程通过对图像新增区域以背景色填充实现，这样可以不改变原有图像内目标，所述背景色与采集X光图像的设备相关，可根据具体X光图像进行调整。

S3：对所述尺寸归一化的N张图的每一个位置像素点进行融合，得到融合后的图像；设N张图同一位置的三通道像素均值分别为P₁，P₂……P_n，背景色阈值为δ；

所述融合步骤如下：

(1)P_i≥δ，i∈N，说明该点在N张图处均为背景；融合后的图片该点的像素点为n个像素点的均值，即：

(2)P_i＜δ，i∈N，至少有一张图像中像素点处存在物体；融合后的图片该点的像素点为通过对N个点进行权重分配得到，即：

P_new为融合后该点的像素值，所述三通道是指X光图像中每个像素点都有3个值表示，所以就是三通道。

图2为任取的X射线图像1，图3为任取的X射线图像2。

图4为使用现有技术融合所得图像，图5为使用本发明实施例方法融合后所得图像。可见，利用本发明方法得到融合后的图像数据不会损失物体的边缘信息，不失真，更符合现实场景中多个物体堆叠的状态，为存在干扰情况下实现违禁品的检测提供有效的、优质的训练样本。

S4：重复步骤S2-S3，形成新样本，与原始样本共同组成深度学习样本库。

实施例2：如图3所示，本说明书实施例提供了一种X射线图像样本生成系统，包括：原始样本库，尺寸归一化模块，图像融合模块，生成样本库。

所述原始样本库由物品X光图像组成，所述物品X光图像可使用X射线安检设备进行图像采集；所述物品包括行李、快递包裹、大件货物等。

优选地，对原始X光图像进行数据增广，增广后的图像也是原始样本库的组成部分；所述增广方法包括几何变换操作和/或像素变换操作；作为优选，所述的几何变换操作包括旋转操作、缩放操作、裁剪操作中的一种或多种；所述的像素变换操作包括加噪操作、模糊变换、透视操作、亮度操作及对比度操作中的一种或多种。所述旋转操作：将图像顺/逆时针旋转一定角度，减少图像有个倾角就识别失败的概率。所述缩放操作：在通过抠图产生的图像样本时，输入缩放比例，然后在原图抠取缩放后尺寸的图像再压缩成原图大小。所述裁剪操作：通过将抠图图像样本进行裁剪处理减少图像有个缺失或者遮挡就识别失败的概率。进一步的，所述加噪操作的方法采用：根据均值和高斯协方差生成噪声矩阵，在原图像矩阵加上噪声，再判断各点像素值的合法性。所述模糊变换的方法采用OpenCV的blur函数实现，即在原图像中增加一个模糊块。所述透视操作：将原图的四个角点按照输入透视比例变换到新的四个点，再由变换前后的这四个点的对应映射关系，将原图整个点进行透视。所述亮度和对比度操作的方法采用调整每个像素的RGB值的方法来实现对图像的亮度和对比度操作。

所述尺寸归一化模块用于从原始样本中每次任取N(N≥2)张X光图像进行尺寸归一化；所述至少两张X射线图像可以相同或者不同，至少两张X射线图像的尺寸可以相同也可以不同，都是本发明的保护范围。本实施例通过不断重复任取至达到所需样本数量、质量需求。

所述尺寸归一化的图像长宽以融合图像的最小外接矩形框大小设定，以单次取X光图像为两张时为例，取w_new＝max(w₁,w₂)，h_new＝max(h₁,h₂)，其中，两张X光图像的长宽分别为(w₁,h₁)，(w₂,h₂)；每张图像尺寸归一化过程通过对图像新增区域以背景色填充实现，这样可以不改变原有图像内目标，所述背景色与采集X光图像的设备相关，可根据具体X光图像进行调整。

所述图像融合模块用于对尺寸归一化模块所得N张图的每一个位置像素点进行融合；设N张图同一位置的三通道像素均值分别为P₁，P₂……P_n，背景色阈值为δ；

所述融合步骤如下：

(3)P_i≥δ，i∈N，说明该点在N张图处均为背景；融合后的图片该点的像素点为n个像素点的均值，即：

(4)P_i＜δ，i∈N，至少有一张图像中像素点处存在物体；融合后的图片该点的像素点为通过对N个点进行权重分配得到，即：

P_new为融合后该点的像素值，所述三通道是指X光图像中每个像素点都有3个值表示，所以就是三通道。

所述生成样本库包括图像融合模块所生成的样本图像和原始样本库中图像。

第三个方面，本说明书实施例提供了一种X射线图像样本生成系统用作检测违禁品的用途，所述系统与本发明实施例二中内容相对应，在此不再赘述。

通过试验发现，本发明方法所得样本训练的神经网络，能够一定程度上提高违禁品检出率。

包括技术和科学术语的在这里使用的术语具有与本领域技术人员通常理解的术语相同的含义，只要不是不同地限定该术语。应当理解在通常使用的词典中限定的术语具有与现有技术中的术语的含义一致的含义。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种X射线图像样本生成方法，其特征在于，包括以下步骤：

S1：构建由物品X光图像组成的原始样本库；

S2：从原始样本中任取N张X光图像进行尺寸归一化，其中N≥2；

S3：对所述尺寸归一化的N张图的每一个位置像素点进行融合，得到融合后的图像；

设N张图同一位置的三通道像素均值分别为P₁，P₂……P_n，背景色阈值为δ；

所述融合步骤如下：

1）P_i≥δ，i∈N，说明该点在N张图处均为背景；融合后的图片该点的像素点为n个像素点的均值，即：

；

2）P_i＜δ，i∈N，至少有一张图像中像素点处存在物体；融合后的图片该点的像素点为通过对N个点进行权重分配得到，即：

，P_new 为融合后该点的像素值；

S4：重复步骤S2-S3，形成新样本，与原始样本共同组成深度学习样本库。

2.根据权利要求1所述一种X射线图像样本生成方法，其特征在于，S1中所述物品X光图像通过X射线安检设备采集。

3.根据权利要求1所述一种X射线图像样本生成方法，其特征在于，对S1中X光图像进行数据增广，增广后的图像也是原始样本的组成部分。

4.根据权利要求3所述一种X射线图像样本生成方法，其特征在于，所述增广方法包括几何变换操作和/或像素变换操作。

5.根据权利要求1所述一种X射线图像样本生成方法，其特征在于，所述尺寸归一化的图像长宽以用于融合的原始样本图像的最小外接矩形框大小设定。

6.根据权利要求5所述一种X射线图像样本生成方法，其特征在于，当任取的X光图像为两张时，取w_new = max(w₁,w₂)， h_new = max(h₁,h₂)，其中，两张X光图像的长宽分别为（w₁,h₁），(w₂,h₂)；每张图像尺寸归一化过程通过对图像新增区域以背景色填充实现。

7.一种X射线图像样本生成系统，其特征在于，包括，原始样本库，尺寸归一化模块，图像融合模块，生成样本库；

所述原始样本库由物品X光图像组成；

所述尺寸归一化模块用于从原始样本中每次任取N张X光图像进行尺寸归一化，N≥2；

所述图像融合模块用于对尺寸归一化模块所得N张图的每一个位置像素点进行融合，得到融合后的图像，形成新样本，与原始样本共同组成深度学习样本库；

其中，所述图像融合模块融合步骤如下：

所述融合步骤如下：

1）P_i≥δ，i∈N，说明该点在N张图处均为背景；融合后的图片该点的像素点为n个像素点的均值，即：

；

2）P_i＜δ，i∈N，至少有一张图像中像素点处存在物体；融合后的图片该点的像素点为通过对N个点进行权重分配得到，即：

，其中N张图同一位置的三通道像素均值分别为P₁，P₂……P_n，背景色阈值为δ，P_new 为融合后该点的像素值。

8.根据权利要求7所述一种样本生成系统，其特征在于，尺寸归一化模块通过原始样本图像的最小外接矩形框大小设定合成图像的长宽。

9.根据权利要求7所述一种样本生成系统，其特征在于，每张图像尺寸归一化过程通过对图像新增区域以背景色填充实现。

10.根据权利要求7所述一种样本生成系统，其特征在于，可用于违禁品检测。

Images