CN114898131A - 一种基于自然引导和数据增强的违禁物品检测方法及系统 - Google Patents

Abstract

本发明公开了一种基于自然引导和数据增强的违禁物品检测方法及系统，应用于X光安全检查技术领域，其方法包括以下步骤：S1、基于原始目标检测框构造自然图像和X光安检图像的训练样本对；S2、通过数据增强策略提升训练样本对的多样性；S3、对数据增强策略获得的第一预测框结果进行分步融合，得到第二预测框结果S4、根据所述第二预测框结果对违禁物品进行检测；通过所述目标检测方法对违禁物品进行检测，引入自然图像为X光安检图像数据集提供外观特征，增强模型对违禁品的判别能力，提升检测精度；通过不同的数据增强策略提升数据集的多样性，减低因数据集本身的缺陷带来的影响，能够大大提高X光违禁物品检测模型的检测性能。

Description

一种基于自然引导和数据增强的违禁物品检测方法及系统

技术领域

本发明涉及X光安全检查技术领域，更具体的说是涉及一种基于自然引导和数据增强的违禁物品检测方法及系统。

背景技术

X光安全检查在火车、飞机、地铁等公共交通场所中发挥着重要作用。X光安检机将行李扫描成伪彩色，安检人员需要根据对各类违禁物品成像的记忆和经验识别出行李中违禁物品的种类和位置。然而目前这种安检方式的效率完全依赖于安检人员的经验及工作状态，易受环境影响，导致漏检、误检可能性增加大。

为了减轻安检人员负担，提升安全检查效率，采用计算机自动实现违禁物品检测变得更加迫切和重要。随着计算机视觉技术的发展，目标检测任务常被用于物体的分类与定位，这与X光安检图像中识别并定位违禁物品的任务相似。在现有的深度学习方法中，通常采用迁移学习技术，直接将经典的目标检测算法迁移到X光安检图像的违禁品检测研究中，然而由于X光安检机的成像特殊性，X光安检图像在外观上和自然光图像有很大不同，X光安检图像丢失了较多的细节信息如颜色、纹理等，并且图像重叠、遮挡严重，目前常用的目标检测模型并不适用，因此，如何补充X光安检图像中违禁物品信息、提高模型泛化能力以及检测性是本领域技术人员急需解决的技术问题。

发明内容

有鉴于此，本发明提供了一种基于自然引导和数据增强的违禁物品检测方法及系统

为了实现上述目的，本发明提供如下技术方案：

一种基于自然引导和数据增强的违禁物品检测方法，包括以下步骤：

S1、基于原始目标检测框构造自然图像和X光安检图像的训练样本对；

S2、通过数据增强策略提升所述训练样本对的多样性；

S3、对所述数据增强策略获得的第一预测框结果进行分步融合，得到第二预测框结果；

S4、根据所述第二预测框结果对违禁物品进行检测。

优选的，所述步骤S1包括：

S11、通过原始目标检测框获取违禁物品的分类准确度；

S12、基于所述分类准确度判断所述违禁物品的分类是否存在混淆；

S13、如果存在混淆，获取存在混淆的类别信息并确定自然图像的引入类别；

S14、在自然图像样本集中寻找包含所述引入类别的违禁物品图像进行样本配对。

优选的，所述步骤S2具体为：通过图像金字塔对所述X光安检图像的尺度进行校正；从所述X光安检图像中提取违禁品投影到其他X光安检图像中；对所述X光安检图像进行对比度增强、亮度增强处理。

优选的，所述步骤S3具体为：

S31、获取所述数据增强策略的第一预测框结果，所述第一预测框结果为预测框位置坐标以及置信度信息；

S32、将所述第一预测框结果按照置信度降序排列，去除置信度低于预设阈值的预测框，得到参与集成学习的待融合预测框集合；

S33、分步融合S32中得到的待融合预测框，得到初步融合预测框与未被融合预测框；

优选的，所述步骤S33之后还包括：

S34、判断所述初步融合预测框与所述未被融合预测框之间的融合程度，如果所述融合程度大于融合阈值，执行步骤S35，否则执行步骤S36；

S35、将所述初步融合预测框与所述未被融合预测框重新融合，得到一个次级预测框结果；

S36、将所述未被融合预测框单独聚类，得到一个次级预测框结果；

S37、获取所述次级预测框结果合集，作为第二预测框结果。

一种基于自然引导和数据增强的违禁物品检测系统，包括：自然引导模块、数据增强模块、策略集成模块、目标检测模块；

所述自然引导模块构造自然图像和X光安检图像的训练样本对；

所述数据增强模块通过数据增强策略提升所述训练样本对的多样性；

所述策略集成模块对所述数据增强策略的第一预测框结果进行分步融合，得到第二预测框结果；

所述目标检测模块根据所述第二预测框结果进行违禁物品检测。

经由上述的技术方案可知，与现有技术相比，本发明公开提供了一种基于自然引导和数据增强的违禁物品检测方法及系统，具有以下有益效果：通过引入自然图像为X光安检图像数据集提供外观特征，补充违禁物品信息，增强模型对违禁品的判别能力，提升检测精度；通过不同的数据增强策略提升数据集的多样性，减低因数据集本身的缺陷带来的影响，能够大大提高X光违禁物品检测模型的检测性能。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明的违禁物品检测方法流程示意图；

图2为本发明的违禁物品检测系统框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例一：

本发明实施例公开了一种基于自然引导和数据增强的违禁物品检测方法，如图1所示，包括以下步骤：

S1、基于原始目标检测框构造自然图像和X光安检图像的训练样本对；

S2、通过数据增强策略提升训练样本对的多样性；

S3、对数据增强策略获得的第一预测框结果进行分步融合，得到第二预测框结果；

S4、根据第二预测框结果对违禁物品进行检测。

实施例二：

本发明实施例公开了一种基于自然引导和数据增强的违禁物品检测方法，包括以下步骤：

S1、基于原始目标检测框构造自然图像和X光安检图像的训练样本对，具体包括：

S11、通过原始目标检测框获取所有类别违禁物品的分类准确度；

S12、基于所述分类准确度判断所述违禁物品的分类是否存在混淆，具体为：

mean(|f(O_n,c)-f(O_n,c′)|)<Δ

式中，O_n,c表示n种材料，c类的违禁物品，O_n,c′表示n种材料，c′类的违禁物品，Δ表示物品O_n,c与O_n,c′的混淆程度；

S13、如果存在混淆，获取存在混淆的类别信息并确定自然图像的引入类别，具体为：

获得分类准确度最低的一类别c_l

式中，c_l为引入的自然图像类别；

S14、在自然图像样本集中寻找包含所述引入类别的违禁物品图像进行样本配对，具体为：

式中，B表示X光安检图像，B′表示训练样本对，

表示自然图像样本集中包含c_l类别的违禁物品图像，countif(B,c_l)用于计算B中包含c_l类违禁物品图像的数量，

用于执行图像的随机替换，当B中包含c_l类别的违禁品图像时，可以确保B′中一定包含至少一张自然图像样本集中的

S2、通过数据增强策略提升训练样本对的多样性，具体为：

通过图像金字塔对X光安检图像的尺度进行校正；从X光安检图像中提取违禁品投影到其他X光安检图像中；对X光安检图像进行对比度增强、亮度增强处理。

S3、对数据增强策略获得的第一预测框结果进行分步融合，得到第二预测框结果，具体为：

S31、获取所有K种数据增强策略的第一预测框结果，第一预测框结果为预测框位置坐标以及置信度信息，具体为：

Φ＝Q₁(x)∪Q₂(x)∪…∪Q_K(x)

式中，Φ表示所有K种数据增强策略的第一预测框结果集合，Q_K(x)表示第K种数据增强策略的第一预测框结果；

S32、将第一预测框结果按照置信度S降序排列，去除置信度低于预设阈值的预测框，得到参与集成学习的待融合预测框集合Φ_S：

Φ_S＝sort(Φ,S)；

S33、分步融合S32中得到的待融合预测框，得到初步融合预测框与未被融合预测框，具体为：

判断两个待融合预测框的面积交并比，如果面积交并比大于交并比参数，则将待融合预测框进行融合：

获得待融合预测框中最大的置信度分数s_oi：

s_oi＝max(s_i,…,s_j)

式中，s_i，s_j表示参与待融合预测框的置信度；

计算待融合预测框的坐标参数

式中f_oi为初步融合预测框，s_k表示待融合预测框的置信度，x_1,2k,y_1,2k表示待融合预测框的坐标参数；

S34、判断初步融合预测框与未被融合预测框之间的融合程度IOU：

如果融合程度大于融合阈值thr，执行步骤S35，否则执行步骤S36；

S35、将初步融合预测框与未被融合预测框重新融合，得到一个次级预测框结果：

f_oi2＝Fus({b_i,…b_j}),IOU(f_oi1,b_j)>thr

式中，f_oi1为初步融合预测框，b_j为未被融合预测框，f_oi2为重新融合后的次级预测框结果，Fus({b_i,…b_j})为融合函数，IOU(f_oi1,b_j)为f_oi1和b_j的融合程度，thr为融合阈值，融合阈值大于0.75；

S36、将未被融合预测框单独聚类，得到一个次级预测框结果：

f_oi2＝b_j,IOU(f_oi1,b_j)<thr

式中，f_oi2为b_j单独聚类后的次级预测框结果。

S37、获取次级预测框结果合集，作为第二预测框结果。

S4、根据第二预测框结果对违禁物品进行检测。

实施例三：

本发明实施例公开了一种基于自然引导和数据增强的违禁物品检测系统，如图2所示，包括：自然引导模块、数据增强模块、策略集成模块、目标检测模块；

自然引导模块构造自然图像和X光安检图像的训练样本对；

数据增强模块通过数据增强策略提升训练样本对的多样性；

策略集成模块对数据增强策略的第一预测框结果进行分步融合，得到第二预测框结果；

目标检测模块根据第二预测框结果进行违禁物品检测。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (6)

1.一种基于自然引导和数据增强的违禁物品检测方法，其特征在于，包括以下步骤：

S1、基于原始目标检测框构造自然图像和X光安检图像的训练样本对；

S2、通过数据增强策略提升所述训练样本对的多样性；

S3、对所述数据增强策略获得的第一预测框结果进行分步融合，得到第二预测框结果；

S4、根据所述第二预测框结果对违禁物品进行检测。

2.根据权利要求1所述的一种基于自然引导和数据增强的违禁物品检测方法，其特征在于，所述步骤S1包括：

S11、通过原始目标检测框获取违禁物品的分类准确度；

S12、基于所述分类准确度判断所述违禁物品的分类是否存在混淆；

S13、如果存在混淆，获取存在混淆的类别信息并确定自然图像的引入类别；

S14、在自然图像样本集中寻找包含所述引入类别的违禁物品图像进行样本配对。

3.根据权利要求1所述的一种基于自然引导和数据增强的X光违禁物品检测方法，其特征在于，所述步骤S2具体为：通过图像金字塔对所述X光安检图像的尺度进行校正；从所述X光安检图像中提取违禁品投影到其他X光安检图像中；对所述X光安检图像进行对比度增强、亮度增强处理。

4.根据权利要求1所述的一种基于自然引导和数据增强的违禁物品检测方法，其特征在于，所述步骤S3具体为：

S31、获取所述数据增强策略的第一预测框结果，所述第一预测框结果为预测框位置坐标以及置信度信息；

S32、将所述第一预测框结果按照置信度降序排列，去除置信度低于预设阈值的预测框，得到参与集成学习的待融合预测框集合；

S33、分步融合S32中得到的待融合预测框，得到初步融合预测框与未被融合预测框。

5.根据权利要求4所述的一种基于自然引导和数据增强的违禁物品检测方法，其特征在于，所述步骤S33之后还包括：

S34、判断所述初步融合预测框与所述未被融合预测框之间的融合程度，

如果所述融合程度大于融合阈值，执行步骤S35，否则执行步骤S36；

S35、将所述初步融合预测框与所述未被融合预测框重新融合，得到一个次级预测框结果；

S36、将所述未被融合预测框单独聚类，得到一个次级预测框结果；

S37、获取所述次级预测框结果合集，作为第二预测框结果。

6.一种基于自然引导和数据增强的违禁物品检测系统，其特征在于，包括：自然引导模块、数据增强模块、策略集成模块、目标检测模块；

所述自然引导模块构造自然图像和X光安检图像的训练样本对；

所述数据增强模块通过数据增强策略提升所述训练样本对的多样性；

所述策略集成模块对所述数据增强策略的第一预测框结果进行分步融合，得到第二预测框结果；

所述目标检测模块根据所述第二预测框结果进行违禁物品检测。

Images