CN114758259B - 一种基于x光物体图像识别的包裹检测方法及系统 - Google Patents

Abstract

本发明涉及一种基于X光物体图像识别的包裹检测方法及系统，涉及物品检测领域，该方法包括：获取待检测包裹的X光图像；基于胡矩的轮廓匹配对X光图像进行物品检测，获得检测结果；检测结果为确定X光图像中物品是物品库中物品、确定X光图像中物品不是物品库中物品或者X光图像中物品疑似物品库中物品；当检测结果为X光图像中物品疑似物品库中物品时，采用YOLO V4模型对X光图像进行物品识别。本发明保证检测精度的同时提高了检测效率。

Description

一种基于X光物体图像识别的包裹检测方法及系统

技术领域

本发明涉及物品检测技术领域，特别是涉及一种基于X光物体图像识别的包裹检测方法及系统。

背景技术

随着X-光安检机在众多安检点被广泛应用，使用X-光安检机检测包裹中是否存在特定可疑物品，成为物流安全中必须排查的部分。现有目前物流行业仍需要安检人员时刻值守在X-光安检机旁边观察每一件经过安检机的物体图像，需要耗费极大的人力物力且工作效率低。

发明内容

本发明的目的是提供一种基于X光物体图像识别的包裹检测方法及系统，保证检测精度的同时提高了检测效率。

为实现上述目的，本发明提供了如下方案：

一种基于X光物体图像识别的包裹检测方法，包括：

获取待检测包裹的X光图像；

基于胡矩的轮廓匹配对所述X光图像进行物品检测，获得检测结果；所述检测结果为确定所述X光图像中物品是物品库中物品、确定所述X光图像中物品不是所述物品库中物品或者所述X光图像中物品疑似所述物品库中物品；

当所述检测结果为所述X光图像中物品疑似所述物品库中物品时，采用YOLO V4模型对所述X光图像进行物品识别。

可选地，所述基于胡矩的轮廓匹配对所述X光图像进行物品检测，获得检测结果，具体包括：

将所述X光图像转换为灰度图；

采用最大类间阈值法将所述灰度图转换为二值化图像；

提取所述二值化图像中所有多边形轮廓区域；

依次对每个多边形轮廓区域进行物品检测，当检测到第k个多边形轮廓区域时：

统计第k个多边形轮廓区域内的像素总数；

计算所述像素总数与所述物品库中各物体的像素数的面积相对差；

获取面积相对差小于20%对应的所述物品库中物体的胡矩特征，记为第一胡矩特征；

统计第k个多边形轮廓区域对应灰度图的胡矩特征，记为第二胡矩特征；

计算所述第一胡矩特征与所述第二胡矩特征的余弦相似度；

若所述余弦相似度超过90%，则所述检测结果为确定所述X光图像中物品是物品库中物品；若所述余弦相似度小于60%，则所述检测结果为确定所述X光图像中物品不是物品库中物品；若所述余弦相似度大于或等于60%且小于或等于90%，则所述X光图像中物品疑似所述物品库中物品。

可选地，所述YOLO V4模型为通过数据集训练好的YOLO V4模型；所述数据集中样本图像为通过安检机搭载的X光图像采集系统采集的图像，所述样本图像的标签为使用BBoxLabelTool软件对所述样本图像中预设物品标注的矩形框；所述预设物品为物品库中物品。

可选地，当所述检测结果为所述X光图像中物品疑似所述物品库中物品时，采用YOLO V4模型对所述X光图像进行物品识别，具体包括：

将所述X光图像的尺寸转换为416*416，并将尺寸转换后的图像中各像素点的RBG值归一化到0到1；

将归一化后的图像输入所述YOLO V4模型，输出多个检测框，将多个检测框中置信度超过置信度阈值的检测框作为检测结果。

本发明还公开了一种基于X光物体图像识别的包裹检测系统，包括：

X光图像获取模块，用于获取待检测包裹的X光图像；

基于胡矩的轮廓匹配的物品检测模块，用于基于胡矩的轮廓匹配对所述X光图像进行物品检测，获得检测结果；所述检测结果为确定所述X光图像中物品是物品库中物品、确定所述X光图像中物品不是所述物品库中物品或者所述X光图像中物品疑似所述物品库中物品；

YOLO V4模型检测模块，用于当所述检测结果为所述X光图像中物品疑似所述物品库中物品时，采用YOLO V4模型对所述X光图像进行物品识别。

可选地，基于胡矩的轮廓匹配的物品检测模块，具体包括：

灰度图转换单元，用于将所述X光图像转换为灰度图；

二值化图像转换单元，用于采用最大类间阈值法将所述灰度图转换为二值化图像；

多边形轮廓区域提取单元，用于提取所述二值化图像中所有多边形轮廓区域；

物品检测单元，用于依次对每个多边形轮廓区域进行物品检测，当检测到第k个多边形轮廓区域时：

统计第k个多边形轮廓区域内的像素总数；

计算所述像素总数与所述物品库中各物体的像素数的面积相对差；

获取面积相对差小于20%对应的所述物品库中物体的胡矩特征，记为第一胡矩特征；

统计第k个多边形轮廓区域对应灰度图的胡矩特征，记为第二胡矩特征；

计算所述第一胡矩特征与所述第二胡矩特征的余弦相似度；

若所述余弦相似度超过90%，则所述检测结果为确定所述X光图像中物品是物品库中物品；若所述余弦相似度小于60%，则所述检测结果为确定所述X光图像中物品不是物品库中物品；若所述余弦相似度大于或等于60%且小于或等于90%，则所述X光图像中物品疑似所述物品库中物品。

可选地，所述YOLO V4模型为通过数据集训练好的YOLO V4模型；所述数据集中样本图像为通过安检机搭载的X光图像采集系统采集的图像，所述样本图像的标签为使用BBoxLabelTool软件对所述样本图像中预设物品标注的矩形框；所述预设物品为物品库中物品。

可选地，所述YOLO V4模型检测模块，具体包括：

图像预处理单元，用于将所述X光图像的尺寸转换为416*416，并将尺寸转换后的图像中各像素点的RBG值归一化到0到1；

YOLO V4模型检测单元，用于将归一化后的图像输入所述YOLO V4模型，输出多个检测框，将多个检测框中置信度超过置信度阈值的检测框作为检测结果。

根据本发明提供的具体实施例，本发明公开了以下技术效果：

本发明公开了一种基于X光物体图像识别的包裹检测方法及系统，将物品检测分为两个阶段，第一个阶段基于胡矩的轮廓匹配对所述X光图像进行物品检测，利用基于胡矩的轮廓匹配方法提高了检测速度，对于无法准确判断是否存在可疑物品的X光图像，采用YOLO V4模型对X光图像进行物品识别，保证了物品的精准检测，从而使本申请保证检测精度的同时提高了检测效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明一种基于X光物体图像识别的包裹检测方法流程图；

图2为本发明YOLO V4模型训练过程示意图；

图3为本发明硬件设备连接示意图；

图4为本发明识别iPhone和iPad的界面展示示意图；

图5为本发明识别笔记本电脑的界面展示示意图；

图6为本发明识别移动硬盘效果示意图；

图7为本发明识别CF卡效果示意图；

图8为本发明一种基于X光物体图像识别的包裹检测系统结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的目的是提供一种基于X光物体图像识别的包裹检测方法及系统，保证检测精度的同时提高了检测效率。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

图1为本发明一种基于X光物体图像识别的包裹检测方法流程图，如图1所示，一种基于X光物体图像识别的包裹检测方法，包括：

步骤101：获取待检测包裹的X光图像。

其中，步骤101具体包括：从安检机搭载的实时X光图像采集系统实时获得待检测包裹的X光图像。

步骤102：基于胡矩的轮廓匹配对X光图像进行物品检测，获得检测结果；检测结果为确定X光图像中物品是物品库中物品、确定X光图像中物品不是物品库中物品或者X光图像中物品疑似物品库中物品。

其中，步骤102具体包括：

将X光图像转换为灰度图。

采用最大类间阈值法将灰度图转换为二值化图像。

提取二值化图像中所有多边形轮廓区域。

依次对每个多边形轮廓区域进行物品检测，当检测到第k个多边形轮廓区域时：

统计第k个多边形轮廓区域内的像素总数。

计算像素总数与物品库中各物体的像素数的面积相对差。

获取面积相对差小于20%对应的物品库中物体的胡矩特征，记为第一胡矩特征。

统计第k个多边形轮廓区域对应灰度图的胡矩特征，记为第二胡矩特征。

计算第一胡矩特征与第二胡矩特征的余弦相似度。

若余弦相似度超过90%，则检测结果为确定X光图像中物品是物品库中物品；若余弦相似度小于60%，则检测结果为确定X光图像中物品不是物品库中物品；若余弦相似度大于或等于60%且小于或等于90%，则X光图像中物品疑似物品库中物品。

YOLO V4模型为通过数据集训练好的YOLO V4模型；数据集中样本图像为通过安检机搭载的X光图像采集系统采集的图像，样本图像的标签为使用BBoxLabelTool软件对样本图像中预设物品标注的矩形框；预设物品为物品库中物品。数据集中样本图像尺寸为416*416。

步骤103：当检测结果为X光图像中物品疑似物品库中物品时，采用YOLO V4模型对X光图像进行物品识别。

YOLO V4模型输出物品的类别和位置。

其中，步骤103具体包括：

将X光图像的尺寸转换为416*416，并将尺寸转换后的图像中各像素点的RBG值归一化到0到1。

将归一化后的图像输入YOLO V4模型，输出多个检测框，将多个检测框中置信度超过置信度阈值的检测框作为检测结果。

对YOLO V4模型进行训练的过程包括以下步骤：

Step1：使用“安天下”AT10080型号安检机搭建实时X光图像采集系统，并对采集到的X光图像进行可疑物品标注。具体步骤包括：

Step1-1：对安检过程中所有存在疑似物品的X光图像进行收集。

Step1-2：使用BBoxLabelTool软件对疑似物品采用矩形框进行标注，疑似物品包括标注硬盘、电脑、手机和CF卡的BoundingBox，即记录物体边界框的左上角x，y坐标和右下角x，y坐标。把获得的BoundingBox左上角和右下角坐标格式转换成YOLO的中间点坐标，宽和高的格式。

Step1-3：根据标注图像及标签构建可疑物品库，库中保存了每种可疑物品的图像，并统计其物体区域灰度图的胡矩参数（胡矩特征）作为灰度图的胡矩模板。

Step2：利用标注图像，训练用于可疑物品检测的YOLO V4模型，具体步骤如图2所示，其步骤包括：

Step2-1：选择训练模型的硬件平台及软件环境，包括型号为GTX1080Ti的显卡、16GB内存和500G固态硬盘，Ubuntu16.04的操作系统和开源Darknet框架。

Step2-2：编译Darknet框架，生成本地可执行文件。

Step2-3：对所编译的Darknet框架进行迁移学习，初始化当前YOLO V4网络模型，YOLO V4网络的主要参数为：

a.每次迭代要进行训练的图片数量batch=64；

b.batch中的图片再产生的子集subdivisions=8；

c.输入图片的宽度width=416；

d.输入图片的高度height=416；

e.输入图片的通道数channels=3；

f.学习率learning rate=0.001;

g.最大迭代次数max batches=40100；

h.权值衰减decay=0.005。

Step2-4：确认配置文件和相关图像文件位置后，开始训练网络。

Step2-5：当验证集误差持续1000轮迭代不再下降时训练结束。

采用型号为Raspberry Pi 4的树莓派执行本发明一种基于X光物体图像识别的包裹检测方法，具体包括：

Step3：在安检现场搭建用于实时检测可疑物体的软硬件平台（如图3所示），具体包括：

Step3-1：使用型号为Raspberry Pi 4的树莓派，用于部署可疑物品检测算法包括YOLO V4模型。

Step3-2：将X光机采集到的X光图像存储到树莓派的指定文件夹，并采用Step4检测算法不断地对X光图像中是否存在可疑物品及可疑物品的类型、位置进行检测。对于iPhone、ipad、移动硬盘（disk）、CF卡、笔记本电脑等物品的检测效果如图4~7所示。

图3中报警器的作用为当检测到危险物品时，发出报警信号。

Step4：对于实时拍摄得到的可疑包裹的X光图像，为了兼顾检测效率及检测的准确性，首先基于胡矩分析法初步判断包裹中是否包含可疑物品，具体可分为以下步骤：

Step4-1：将可疑包裹的X光图像的彩色图转为灰度图。

Step4-2：使用最大类间阈值法处理Step1-3的灰度图，得到二值化图像。

Step4-3：应用OpenCV中的函数findContours提取二值图像中的所有多边形轮廓区域，

Step4-4：对检测到的所有多边形区域，执行Step4-4-1至4-4-3。

Step4-4-1：统计多边形区域内的像素总数S，将像素数与可疑物品库中各物体的像素数A _i 进行比较，计算面积的相对差：

；

对于面积相对差

小于20%的物体，执行Step4-4-2。

Step4-4-2：利用树莓派上的并行计算单元统计该多边形区域的灰度图的7维胡矩特征v∈R ⁷，v计算方式如下：

；

其中，v ₀-v ₆分别是一维至七维对应的标量，η _ij 表示图像的标准化中心矩，i和j分别代表x方向和y方向求解矩的阶，η _ij 的计算公式为：

；

其中，μ _ij 表示图像中心矩，计算方式如下：

；

和

代表多边形轮廓区域的质心，I(x,y)代表位置(x,y)的灰度值。该过程可通过树莓派中的并行计算单元并行计算。

Step4-4-2：同时计算此胡矩特征与库中物品i的胡矩模板a _i ∈R ⁷的余弦相似度：

；

Step4-4-3：当余弦相似度c(a _i ,v)超过90%时，则可判定该多边形区域为物品库中的物品i。余弦相似度小于60%时，认为该可疑物品必然不是物品库中的物品i。当余弦相似度为60%-90%之间，说明该可疑物品疑似为物品i。

Step4-5：对于一副图像中的所有多边形轮廓，如果存在某个轮廓疑似为某个物品，此时执行Step5，使用YoloV4模型对X光图像重新进行检测。否则，将各个多边轮廓标记为对应的疑似物品或非疑似物品，然后检测下一张图像。

Step5：使用训练完成的YOLO V4模型对X光图像进行检测，具体包括：

Step5-1：将图像的大小转换为416*416，并将图像各像素点的RGB值归一化到0~1。

Step5-2：将归一化的图像输入至YOLO v4模型中,得到多个检测框，取其中置信度超过0.7的检测框作为图像检测结果。返回输出结果后重复Step4。

本发明在识别率和测试速度方法具有大幅度提升，能够满足物流场景下的实时检测需求。

图8为本发明一种基于X光物体图像识别的包裹检测系统结构示意图，如图8所示，一种基于X光物体图像识别的包裹检测系统，包括：

X光图像获取模块201，用于获取待检测包裹的X光图像。

基于胡矩的轮廓匹配的物品检测模块202，用于基于胡矩的轮廓匹配对X光图像进行物品检测，获得检测结果；检测结果为确定X光图像中物品是物品库中物品、确定X光图像中物品不是物品库中物品或者X光图像中物品疑似物品库中物品。

YOLO V4模型检测模块203，用于当检测结果为X光图像中物品疑似物品库中物品时，采用YOLO V4模型对X光图像进行物品识别。

基于胡矩的轮廓匹配的物品检测模块202，具体包括：

灰度图转换单元，用于将X光图像转换为灰度图。

二值化图像转换单元，用于采用最大类间阈值法将灰度图转换为二值化图像。

多边形轮廓区域提取单元，用于提取二值化图像中所有多边形轮廓区域。

物品检测单元，用于依次对每个多边形轮廓区域进行物品检测，当检测到第k个多边形轮廓区域时：

统计第k个多边形轮廓区域内的像素总数；

计算像素总数与物品库中各物体的像素数的面积相对差；

获取面积相对差小于20%对应的物品库中物体的胡矩特征，记为第一胡矩特征；

统计第k个多边形轮廓区域对应灰度图的胡矩特征，记为第二胡矩特征；

计算第一胡矩特征与第二胡矩特征的余弦相似度；

若余弦相似度超过90%，则检测结果为确定X光图像中物品是物品库中物品；若余弦相似度小于60%，则检测结果为确定X光图像中物品不是物品库中物品；若余弦相似度大于或等于60%且小于或等于90%，则X光图像中物品疑似物品库中物品。

YOLO V4模型为通过数据集训练好的YOLO V4模型；数据集中样本图像为通过安检机搭载的X光图像采集系统采集的图像，样本图像的标签为使用BBoxLabelTool软件对样本图像中预设物品标注的矩形框；预设物品为物品库中物品。

YOLO V4模型检测模块203，具体包括：

图像预处理单元，用于将X光图像的尺寸转换为416*416，并将尺寸转换后的图像中各像素点的RBG值归一化到0到1。

YOLO V4模型检测单元，用于将归一化后的图像输入YOLO V4模型，输出多个检测框，将多个检测框中置信度超过置信度阈值的检测框作为检测结果。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (6)

1.一种基于X光物体图像识别的包裹检测方法，其特征在于，包括：

获取待检测包裹的X光图像；

基于胡矩的轮廓匹配对所述X光图像进行物品检测，获得检测结果；所述检测结果为确定所述X光图像中物品是物品库中物品、确定所述X光图像中物品不是所述物品库中物品或者所述X光图像中物品疑似所述物品库中物品；

当所述检测结果为所述X光图像中物品疑似所述物品库中物品时，采用YOLO V4模型对所述X光图像进行物品识别；

所述基于胡矩的轮廓匹配对所述X光图像进行物品检测，获得检测结果，具体包括：

将所述X光图像转换为灰度图；

采用最大类间阈值法将所述灰度图转换为二值化图像；

提取所述二值化图像中所有多边形轮廓区域；

依次对每个多边形轮廓区域进行物品检测，当检测到第k个多边形轮廓区域时：

统计第k个多边形轮廓区域内的像素总数；

计算所述像素总数与所述物品库中各物体的像素数的面积相对差；

获取面积相对差小于20%对应的所述物品库中物体的胡矩特征，记为第一胡矩特征；

统计第k个多边形轮廓区域对应灰度图的胡矩特征，记为第二胡矩特征；

计算所述第一胡矩特征与所述第二胡矩特征的余弦相似度；

若所述余弦相似度超过90%，则所述检测结果为确定所述X光图像中物品是物品库中物品；若所述余弦相似度小于60%，则所述检测结果为确定所述X光图像中物品不是物品库中物品；若所述余弦相似度大于或等于60%且小于或等于90%，则所述X光图像中物品疑似所述物品库中物品。

2.根据权利要求1所述的基于X光物体图像识别的包裹检测方法，其特征在于，所述YOLO V4模型为通过数据集训练好的YOLO V4模型；所述数据集中样本图像为通过安检机搭载的X光图像采集系统采集的图像，所述样本图像的标签为使用BBoxLabelTool软件对所述样本图像中预设物品标注的矩形框；所述预设物品为物品库中物品。

3.根据权利要求1所述的基于X光物体图像识别的包裹检测方法，其特征在于，当所述检测结果为所述X光图像中物品疑似所述物品库中物品时，采用YOLO V4模型对所述X光图像进行物品识别，具体包括：

将所述X光图像的尺寸转换为416*416，并将尺寸转换后的图像中各像素点的RBG值归一化到0到1；

将归一化后的图像输入所述YOLO V4模型，输出多个检测框，将多个检测框中置信度超过置信度阈值的检测框作为检测结果。

4.一种基于X光物体图像识别的包裹检测系统，其特征在于，包括：

X光图像获取模块，用于获取待检测包裹的X光图像；

基于胡矩的轮廓匹配的物品检测模块，用于基于胡矩的轮廓匹配对所述X光图像进行物品检测，获得检测结果；所述检测结果为确定所述X光图像中物品是物品库中物品、确定所述X光图像中物品不是所述物品库中物品或者所述X光图像中物品疑似所述物品库中物品；

YOLO V4模型检测模块，用于当所述检测结果为所述X光图像中物品疑似所述物品库中物品时，采用YOLO V4模型对所述X光图像进行物品识别；

基于胡矩的轮廓匹配的物品检测模块，具体包括：

灰度图转换单元，用于将所述X光图像转换为灰度图；

二值化图像转换单元，用于采用最大类间阈值法将所述灰度图转换为二值化图像；

多边形轮廓区域提取单元，用于提取所述二值化图像中所有多边形轮廓区域；

物品检测单元，用于依次对每个多边形轮廓区域进行物品检测，当检测到第k个多边形轮廓区域时：

统计第k个多边形轮廓区域内的像素总数；

计算所述像素总数与所述物品库中各物体的像素数的面积相对差；

获取面积相对差小于20%对应的所述物品库中物体的胡矩特征，记为第一胡矩特征；

统计第k个多边形轮廓区域对应灰度图的胡矩特征，记为第二胡矩特征；

计算所述第一胡矩特征与所述第二胡矩特征的余弦相似度；

若所述余弦相似度超过90%，则所述检测结果为确定所述X光图像中物品是物品库中物品；若所述余弦相似度小于60%，则所述检测结果为确定所述X光图像中物品不是物品库中物品；若所述余弦相似度大于或等于60%且小于或等于90%，则所述X光图像中物品疑似所述物品库中物品。

5.根据权利要求4所述的基于X光物体图像识别的包裹检测系统，其特征在于，所述YOLO V4模型为通过数据集训练好的YOLO V4模型；所述数据集中样本图像为通过安检机搭载的X光图像采集系统采集的图像，所述样本图像的标签为使用BBoxLabelTool软件对所述样本图像中预设物品标注的矩形框；所述预设物品为物品库中物品。

6.根据权利要求4所述的基于X光物体图像识别的包裹检测系统，其特征在于，所述YOLO V4模型检测模块，具体包括：

图像预处理单元，用于将所述X光图像的尺寸转换为416*416，并将尺寸转换后的图像中各像素点的RBG值归一化到0到1；

YOLO V4模型检测单元，用于将归一化后的图像输入所述YOLO V4模型，输出多个检测框，将多个检测框中置信度超过置信度阈值的检测框作为检测结果。

Images