CN114548230B - 基于rgb色彩分离双路特征融合的x射线违禁物品检测方法 - Google Patents

Abstract

本发明提供了一种基于RGB色彩分离双路特征融合的X射线违禁物品检测方法，包括以下步骤：获取训练样本集和测试样本集；构建RGB色彩分离的双路特征融合网络模型；对RGB色彩分离的双路特征融合网络进行迭代训练；获取X射线违禁物品图像识别结果。本发明在构建X射线违禁物品检测模型结构时，首先构建了RGB色彩分离结构，然后构建特征提取网络结构，之后构建特征融合网络结构，再进行训练，解决了现有技术排除无关信息对违禁物品检测产生影响的问题，从而提高了X射线场景下违禁物品的检测准确率。

Description

基于RGB色彩分离双路特征融合的X射线违禁物品检测方法

技术领域

本发明涉及违禁检测技术，特别是涉及一种基于RGB色彩分离双路特征融合的X射线违禁物品检测方法。

背景技术

X射线图像检测是无损检测广泛使用的方法，常使用于机场、火车站、以及购物中心等场所的违禁物品检测。X射线安全检查是维持机场与交通安全的最广泛使用的安全措施之一，由人工操作人员进行的人工检查在其中发挥着至关重要的作用。人工行李检查不仅是一项对经验和知识要求相当高的工作，同时还是一项十分累人的工作。虽然经验和知识是检测信心的关键因素，但是依然容易受情绪与工作满意度等外部因素干扰而导致出错，从而造成很大的安全隐患。

X射线下的行李包裹存在的另一个问题就是其混乱的性质，也会对人类操作员的决策时间和检测性能造成负面影响。例如：当笔记本电脑被留在袋子里时，人工安检器的威胁检测性能显著降低。这是因为笔记本电脑结构紧凑，隐藏了潜在的威胁，限制了筛选器的检测能力。所有这些问题都需要在X射线安全成像中使用自动目标检测算法，这将保持人类操作员的警觉性，提高检测效率，缩短响应时间，从而获得更高的操作员信任。所以设计出一个可辅助人工，乃至于替代人工检测违禁物品的算法势在必行。

在X射线下成像特点主要分为两大特点，一种是：不同材质成像特征不同，有机物呈现为橙色(如布匹、塑料等非违禁物)，混合物一般呈现为绿色(如不锈钢制品、电缆等)，无机物呈现为蓝色(如电击器、子弹、枪槽弹、枪和刀具等)，同时发胶、打火机等易燃易爆物品，在经过X射线后，外面的罐子呈蓝色，中间呈绿色，若是塑料打火机，则外壳呈橙色。另一特点为：物体经过X射线成像后，可以很好的保持物体的外观形状。

现如今绝大多数算法都是在目标检测算法的基础上针对X射线在成像时可以很好的保持物体的外观形状这一特点，提出了如轮廓、前后背景分离、边缘等检测方法。如YanluWei等人于2020年在其发表的论文“Occluded Prohibited Items Detection:An X-ray Security Inspection Benchmark and De-occlusion Attention Module”(Proceedings of the 28th ACM International Conference on Multimedia.2020)中，公开了一种基于去遮挡注意力模块的X射线违禁物品检测方法。该方法使用了一个去遮挡的注意力模块来排除遮挡物品在X射线图像中的干扰，该模型可以嵌入到现有的单阶段或双阶段深度学习方法中。在训练神经网络时，根据两个子模块“边缘引导”和“材质认知”来生成违禁物品的边缘信息和材质信息，再通过这两个信息计算出注意力图，最后使输入关注于注意力图以得到高质量的图像特征，为探测器提供可靠信息。该方法重点关注于违禁物品的边缘和材质信息，帮助了检测器获得高质量的图像特征，从而提升检测效果。但是，该方法虽然训练时关注了边缘和材质信息，但违禁物品和无关物品的边缘和材质信息糅杂在一起，仍需要检测器从混杂的信息识别违禁物品，从而降低了违禁物品的检测精度。但是很少有对X射线下的成像色彩进行研究的。

在很多工作中，融合不同尺度的特征是提高分割性能的一个重要手段。低层特征分辨率更高，包含更多位置、细节信息，但是由于经过的卷积更少，其语义性更低，噪声更多。高层特征具有更强的语义信息，但是分辨率很低，对细节的感知能力较差。如何将两者高效融合，取其长处，弃之糟泊，是改善模型的关键。

发明内容

针对现有技术中存在的缺陷，本发明的目的在于提供一种基于RGB色彩分离双路特征融合的X射线违禁物品检测方法，解决现有技术中存在的检测精度较低的技术问题。

为了达到上述目的，本发明所采用的具体技术方案如下：

一种基于RGB色彩分离双路特征融合的X射线违禁物品检测方法，具体包括以下步骤：

(1)获取训练样本集和测试样本集：获取若干副包含不同类别违禁物品的X光图像，并对每副X光图像中的违禁物品类别及位置坐标进行标注，得到类别标签集和位置坐标标签集，将X光图像及其对应的类别标签和位置坐标标签按照设定规则分为训练样本集和测试样本集；

(2)构建RGB色彩分离的双路特征融合网络模型：构建RGB色彩分离的双路特征融合网络模型的结构，定义损失函数，其中模型结构包括顺次连接的RGB色彩分离处理器、特征提取网络、双路特征融合网络、RPN网络、ROI池化网络和输出网络，所述RGB色彩分离处理器用于对X光图像进行色彩分离，所述特征提取网络用于提取色彩分离后的X光图像的特征并传输给双路特征融合网络，所述双路特征融合网络用于特征融合，并将特征融合后的X光图像输入至RPN网络，所述RPN网络用于在输入图像中生成正负类的候选框，并输入至ROI池化网络，所述ROI池化网络对RPN网络生成的ROI进行分类和微调，判断是否包含目标，并修正框的位置和坐标；所述输出网络用于根据ROI池化网络的输出值求得结果并输出；

(3)对RGB色彩分离的双路特征融合网络进行迭代训练：将训练样本输入RGB色彩分离处理器，所述RGB色彩分离处理器将违禁物品的三个色彩通道分别提取出来，剔除Red色彩通道，得到新的训练样本集，基于训练样本和新的训练样本对RGB色彩分离的双路特征融合网络进行迭代训练；

(4)获取X射线违禁物品图像识别结果：将测试样本输入训练后的模型中，获取X射线违禁物品图像识别结果。

优选的，将X光图像及其对应的类别标签和位置坐标标签按照设定规则分为训练样本集和测试样本集具体指的是：

随机选取半数以上的X光图像及其对应的类别标签和位置坐标标签组成训练样本集，其余的X光图像及其对应的类别标签和位置坐标标签组成测试样本集。

优选的，所述双路特征融合网络用于特征融合具体指的是通过特征提取网络提取到的高级特征分别与得到的比例参数相乘，之后根据网络学习到的参数特征相加获得新的特征融合后的X光图像。

优选的，所述特征提取网络包括输入层、多个卷积模块和多个残差模块；双路特征融合网络包括多个卷积模块和多个add拼接层；RPN网络包含多个卷积模块；ROI池化网络包括多个设有不同的IoU阈值的ROI池化网络单元，输出网络包括多个全连接层和多个激活函数层。

优选的，RPN网络包括三个卷积模块，所述ROI池化网络包括三个设有不同的IoU阈值的ROI池化网络单元，所述输出网络包括三个与所述ROI池化网络单元相对应的输出网络单元，每个输出网络单元包括三层全连接层和两个激活函数层。

优选的，步骤(2)定义损失函数具体包括定义定位损失函数、定义分类损失函数、定义RGB色彩分离的双路特征融合网络损失函数。

优选的，定义定位损失函数具体指的是：

设图像块x上预测的边界框坐标：b＝(b_x,b_y,b_w,b_h)，从训练样本集中学习一个回归器f(x,b)，将候选边界框b回归到目标边界框g：

其中，L_loc对距离矢量Δ进行计算，结果如下Δ＝(δ_x，δ_y，δ_w，δ_h)：

定义分类损失函数具体指的是：

通过分类器h(x)将图像块x预测为M+1中的一个类，基于各个类别的后验分布函数hk(x)＝p(y＝k|x)，在给定训练集(x_i,y_i)时，采用经典交叉熵损失函数计算分类损失函数L_cls：

定义RGB色彩分离的双路特征融合网络损失函数具体指的是：

假设图像块x的类别标签是u的函数，

在每个阶段t，CascadaR-CNN包括分类器h_t和针对IoU阈值u_t优化的回归器f_t，其中u_t＞u_t-1，通过最小化损失来保证，RGB色彩分离的双路特征融合网络损失函数为：

L(x^t,g)＝L_cls(h_t(x^t),y^t)+λ[y^t≥1]L_loc(f_t(x^t,b^t),g)

其中b_t＝f_t-1(x_t-1,b_t-1)，g是x_t的地面真实对象，λ＝1折衷函数，[.]指标函数，y_t是u_t给定的xt的标签y。

优选的，步骤(3)具体包括以下步骤：

(3a)将训练样本输入RGB色彩分离处理器，所述RGB色彩分离处理器将违禁物品的三个色彩通道分别提取出来，剔除Red色彩通道，得到新的训练样本集；

(3b)初始化特征提取网络、双路特征融合网络、RPN网络、ROI池化网络和输出网络的网络权重参数和迭代次数；

(3c)将训练样本集和新的训练样本集的每副图像作为特征提取网络的输入，在特征提取网络中进行前向传播，得到两路高级特征；

(3d)双路特征融合网络按照网络学习的比例将两路高级特征进行特征融合，得到新的高级特征；

(3e)新的高级特征经RPN网络分为两层，一层完成分类锚以获得前景和后景，另一层对锚进行边界框回归，整合后获得精准的候选框；

(3f)将锚映射回原图，判断候选框超出边界的范围是否达到设定阈值，若是，则剔除该候选框；

(3g)为锚分配分类标签和回归标签模块接收RPN网络输出的每张图片的所有候选框，然后对候选框进一步提炼，输出具体类别和边界框回归；

(3h)更新网络权重参数，对RGB色彩分离的双路特征融合网络进行迭代训练，直到完成迭代次数。

优选的，步骤(4)具体包括以下步骤：

(4a)将测试样本集中的每一个测试图像输入训练后的模型中进行前向传播，得到违禁物品的预测位置坐标标签、置信度信息和类别标签概率；

(4b)将预测的置信度信息大于设定值的测试图像所对应的预测位置坐标标签作为测试图像违禁物品的位置预测结果，类别标签概率最大值对应的违禁物品类别作为测试图像违禁物品的类别预测结果。

本发明的有益效果在于：构建RGB色彩分离结构、特征提取网络的结构、特征融合网络结构，再进行训练，解决了现有技术排除无关信息对违禁物品检测产生影响的问题，从而提高了X射线场景下违禁物品的检测准确率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一种基于RGB色彩分离双路特征融合的X射线违禁物品检测方法的流程图；

图2a是经RGB色彩分离处理器处理后的违禁物品灰度图；图2b是未经RGB色彩分离处理器处理后的违禁物品灰度图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的其他实施例，都属于本发明保护的范围。

如图1所示，本发明提出了一种基于RGB色彩分离双路特征融合的X射线违禁物品检测方法，具体包括以下步骤：

(1)获取训练样本集和测试样本集：获取若干副包含不同类别违禁物品的X光图像，并对每副X光图像中的违禁物品类别及位置坐标进行标注，得到类别标签集和位置坐标标签集，将X光图像及其对应的类别标签和位置坐标标签按照设定规则分为训练样本集和测试样本集；

具体包包括以下步骤：

(1a)获取V幅包含不同类别违禁物品的X光图像O＝{o_i|1≤i≤V}，并对每幅X光图像o_i中的违禁物品类别及位置坐标进行标注，得到类别标签集和位置坐标标签集/>其中，V＞8000，o_i表示第i幅X光图像，/>和/>分别表示o_i所包含的违禁物品的类别标签和位置坐标标签，/> 表示第u类违禁物品，U表示违禁物品类别标签的总数，U≥2，/>和/>分别表示所围成的标记框中心的横坐标、标记框中心的纵坐标、标记框的宽和标记框的高；本实例中，V＝8885，U＝5；

(1b)将随机选取O中半数以上的违禁物品X光图像及其对应的类别标签和位置坐标标签组成训练样本集O_train＝{o_j|1≤j≤V_train}，V/2＜V_train≤V，将其余违禁物品X光图像及其对应的类别标签和位置坐标标签组成测试样本集O_test＝{o_l|1≤l≤V_test}，其中，o_j表示训练样本集中的第j张X光图像，o_l表示训练样本集中的第l张X光图像，V/2＜V_train≤V，V_test＝V-V_train。

(2)构建RGB色彩分离的双路特征融合网络模型：构建RGB色彩分离的双路特征融合网络模型的结构，定义损失函数，其中模型结构包括顺次连接的RGB色彩分离处理器、特征提取网络f_extract、双路特征融合网络f_feature、RPN网络f_rpn、ROI池化网络f_roi和输出网络f_output，所述RGB色彩分离处理器用于对X光图像进行色彩分离，所述特征提取网络用于提取色彩分离后的X光图像的特征并传输给双路特征融合网络，所述双路特征融合网络用于特征融合，并将特征融合后的X光图像输入至RPN网络，所述RPN网络用于在输入图像中生成正负类的候选框，并输入至ROI池化网络，所述ROI池化网络对RPN网络生成的ROI进行分类和微调，判断是否包含目标，并修正框的位置和坐标；所述输出网络用于根据ROI池化网络的输出值求得结果并输出；

其中RGB色彩分离模块用于初步处理X射线图像，将与违禁物品无关的有机物“淡化”，可能含有违禁物品的无机物与混合物“突出”；特征提取网络f_extract用于初步提取图像中的高级特征，为在排除遮挡在违禁物品上的无关信息又不丢失有用信息的前提下，利用双路特征融合网络f_feature将特征进行融合，将融合后的图像输入到RPN网络f_rpn区域生成网络模块，从输入图像中生成正负类的候选框，输入到ROI池化网络f_roi对由RPN网络f_rpn产生的ROI进行分类和微调，判断它是否包含目标，并修正框的位置和坐标；最后输入到输出网络f_output取ROI网络f_roi中3个ROIAlign模块处理后的平均以求得结果并输出。

所述特征提取网络包括输入层、多个卷积模块和多个残差模块；具体的，特征提取网络采用包含五个卷积模块(除第一个卷积模块外其中四个包含到每组残差模块的第一个卷积模块)与三十三个残差模块，其结构依次为：第一卷积模块→(第二卷积模块)第一残差模块→第二残差模块→第三残差模块→(第三卷积模块)第四残差模块→第五残差模块→第六残差模块→第七残差模块→(第四卷积模块)第八残差模块→第九残差模块→第十残差模块→第十一残差模块→第十二残差模块→第十三残差模块→第十四残差模块→第十五残差模块→第十六残差模块→第十七残差模块→第十八残差模块→第十九残差模块→第二十残差模块→第二十一残差模块→第二十二残差模块→第二十三残差模块→第二十四残差模块→第二十五残差模块→第二十六残差模块→第二十七残差模块→第二十八残差模块→第二十九残差模块→第三十残差模块→(第五卷积模块)第三十一残差模块→第三十二残差模块→第三十三残差模块→平均池化层；

所述卷积模块的具体结构依次为：第一卷积层→第一归一化层→第一激活函数层；

所述残差模块的具体结构依次为：第一卷积模块→第二卷积模块→第三卷积模块→add拼接层；

所述特征提取网络的每层参数设置为：将第一卷积模块中的第一卷积层的卷积核大小设置为7×7，卷积步长设置为2；将第一至第三十三残差模块中第一卷积模块的第一卷积层的卷积核大小设置为1×1，卷积步长设置为1，将第二卷积模块的第一卷积层积核大小设置为3×3，卷积步长设置为1；将第三卷积模块的第一卷积层积核大小设置为1×1，卷积步长设置为1；第一卷积模块和第一至第三十三残差模块中的归一化层均采用BatchNormalization函数；第一卷积模块和第一至第三十三残差模块中的激活函数层均采用Activation函数，其斜率均设置为0.2；平均池化层采用GlobalAveragePooling2D函数。

双路特征融合网络包括多个卷积模块和多个add拼接层；通过特征提取网络提取到的高级特征分别与得到的比例参数相乘，之后根据网络学习到的参数特征相加获得新的特征融合后的X光图像。

RPN网络包含多个卷积模块；ROI池化网络包括多个设有不同的IoU阈值的ROI池化网络单元，输出网络包括多个全连接层和多个激活函数层。

RPN网络包括三个卷积模块，第一个卷积模块中的第一个卷积层的卷积核大小设置为3×3，第二和第三个卷积模块中的第一个卷积层的卷积核大小设置为1×1。所述ROI池化网络包括三个设有不同的IoU阈值的ROI池化网络单元，所述输出网络包括三个与所述ROI池化网络单元相对应的输出网络单元，每个输出网络单元包括三层全连接层和两个激活函数层，其中激活函数均为ReLU函数。

步骤(2)定义损失函数具体包括定义定位损失函数、定义分类损失函数、定义RGB色彩分离的双路特征融合网络损失函数。

定义定位损失函数具体指的是：

设图像块x上预测的边界框坐标：b＝(b_x,b_y,b_w,b_h)，从训练样本集中学习一个回归器f(x,b)，将候选边界框b回归到目标边界框g：

其中，L_loc对距离矢量Δ进行计算，结果如下Δ＝(δ_x，δ_y，δ_w，δ_h)：

定义分类损失函数具体指的是：

通过分类器h(x)将图像块x预测为M+1中的一个类，基于各个类别的后验分布函数hk(x)＝p(y＝k|x)，在给定训练集(x_i,y_i)时，采用经典交叉熵损失函数计算分类损失函数L_cls：

定义RGB色彩分离的双路特征融合网络损失函数具体指的是：

假设图像块x的类别标签是u的函数，

在每个阶段t，CascadaR-CNN包括分类器h_t和针对IoU阈值u_t优化的回归器f_t，其中u_t＞u_t-1，通过最小化损失来保证，RGB色彩分离的双路特征融合网络损失函数为：

L(x^t,g)＝L_cls(h_t(x^t),y^t)+λ[y^t≥1]L_loc(f_t(x^t,b^t),g)

其中b_t＝f_t-1(x_t-1,b_t-1)，g是x_t的地面真实对象，λ＝1折衷函数，[.]指标函数，y_t是u_t给定的xt的标签y。

(3)对RGB色彩分离的双路特征融合网络进行迭代训练：将训练样本输入RGB色彩分离处理器，所述RGB色彩分离处理器将违禁物品的三个色彩通道分别提取出来，剔除Red色彩通道，得到新的训练样本集，基于训练样本和新的训练样本对RGB色彩分离的双路特征融合网络进行迭代训练；

步骤(3)具体包括以下步骤：

(3a)将训练样本O_temp输入RGB色彩分离处理器，所述RGB色彩分离处理器将违禁物品的三个色彩通道分别提取出来，剔除Red色彩通道，得到新的训练样本集O_train；

(3b)初始化特征提取网络f_extract的网络权重参数为双路特征融合网络f_feature的网络权重参数为/>RPN网络f_rpn的网络权重参数为/>ROI池化网络f_roi的网络权重参数为/>输出网络f_output的网络权重参数为/>迭代次数为t，本实例中最大迭代次数为T＝30，并令t＝0；

(3c)将训练样本集O_train和新的训练样本集O_temp的每副图像o_j与o_i作为特征提取网络f_extract的输入，每副图像o_j与o_i在特征提取网络中进行前向传播，得到两路图像o_j与o_i的高级特征与/>

(3d)双路特征融合网络按照网络学习的比例将两路高级特征与/>进行特征融合，得到新的高级特征/>

(3e)新的高级特征经RPN网络分为两层，一层完成分类锚以获得前景和后景，另一层对锚进行边界框回归，整合后获得精准的候选框；

先做平移：(Δx,Δy),Δx＝P_wd_x(P),Δy＝P_hd_y(P)

再做缩放：(S_w,S_h),S_w＝P_wd_w(P),S_h＝P_hd_h(P)

平移量(t_x,t_y)与尺度因子(t_w,t_h)如下：

其中是对应锚的feature map组成的特征向量，w是需要学习的参数，d(A)是得到的预测值(*表示x，y，w，h，也就是每一个变换对应一个上述目标函数)。为了让预测值与真实值(t_x,t_y,t_w,t_h)最小，得到损失函数：

函数优化目标为：

(3f)利用feat_stride和im_info将锚映射回原图，判断候选框超出边界的范围是否达到设定阈值，若是，则剔除该候选框；即判断预proposal是否大范围超过边界，剔除严重超出边界的。按照softmax score进行从大到小排序，提取前2000个预proposal，对这个2000个进行NMS(非极大值抑制)(基于IoU，thr：0.7)，将得到的再次进行排序，输出300个最优的proposal。再对IoU＝0.6，IoU＝0.5分别进行一次。

(3g)为锚分配分类标签和回归标签模块接收RPN网络输出的每张图片的所有候选框，然后对候选框进一步提炼，输出具体类别和边界框回归；

其中边界框与类别的损失函数为：

类别损失函数：

边界框损失函数

(3h)更新网络权重参数，对RGB色彩分离的双路特征融合网络进行迭代训练，直到完成迭代次数。即若t≥T成立，得到训练好的基于RGB色彩分离的双路特征融合网络模型，否则，令t＝t+1，并执行步骤(3b)；

(4)获取X射线违禁物品图像识别结果：将测试样本输入训练后的模型中，获取X射线违禁物品图像识别结果。

步骤(4)具体包括以下步骤：

(4a)将测试样本集O_test中的每一个测试图像o_l作为训练好的前后背景分离卷积神经网络模型的输入进行前向传播，得到违禁物品的预测位置坐标标签(x_l,y_l,w_l,h_l)，置信度信息C_l和类别标签概率p_l(c)；

(4b)将测试图像o₁预测的置信度信息中大于0.5的结果所对应的预测位置坐标标签(x_l,y_l,w_l,h_l)和类别标签概率p_l(c)中最大值对应的违禁物品类别分别作为测试图像o_l违禁物品的位置预测结果和类别预测结果。

本发明仿真实验中生成训练集和测试集时，使用了公开的标准数据集OccludedProhibitedItemsX-ray(OPIXray)，该数据集包含五个分类，折叠刀，直刀，剪刀，美工刀，多功能刀，共8885张X射线图像，本发明仿真实验中使用OPIXray中7109张图片作为训练集，1776张图片作为测试集。

本发明仿真实验是采用本发明和一个现有技术(CascadeR-cnn)分别对测试集中的1176张图片中的违禁物品进行检测。

为了对本发明仿真结果的效果进行评估，本发明采用平均精度(AP(IoU＝0.50：0.95))作为性能评价指标与现有技术进行对比，AP的定义为精度Precision和和召回率Recall所成曲线下的面积，精度Precision定义为TP/(TP+FP)，召回率Recall定义为TP/(TP+FN)，其中TP，TN，FP和FN分别代表真正类，真反类，假正类和假反类，mAP定义为AP的平均值，(IoU＝0.50：0.95)定义为IoU为0.50到IoU为0.95下的每0.05做一次mAP记录，最后取平均的结果。对比结果如表1所示：

表1仿真实验中本发明和现有技术AP的对比表

从表1中可以看出本发明在OPIXray数据集上mAP为0.397，高于现有技术方法，在折叠刀，直刀，剪刀，美工刀，多功能刀五个类别上的AP分别为0.414，0.277，0.509，0.383，0.402，在折叠刀，直刀，剪刀，美工刀，多功能刀五个类别上均现有技术方法，证明本方法可以有效提高检测X射线图像中的违禁物品的精度。

以上仿真实验表明：本发明在构建X射线违禁物品检测模型结构时，首先构建了RGB色彩分离结构，然后构建特征提取网络的结构，之后构建特征融合网络结构，在进行训练。解决了现有技术排除无关信息对违禁物品检测产生影响的问题，从而提高了X射线场景下违禁物品的检测准确率。

以上述依据本发明的理想实施例为启示，通过上述的说明内容，本领域技术人员完全可以在不偏离本发明技术思想的范围内，进行多样的变更以及修改。本发明的技术性范围并不局限于说明书上的内容，必须要根据权利要求书范围来确定其技术性范围。

Claims (9)

1.一种基于RGB色彩分离双路特征融合的X射线违禁物品检测方法，其特征在于，具体包括以下步骤：

(1)获取训练样本集和测试样本集：获取若干副包含不同类别违禁物品的X光图像，并对每副X光图像中的违禁物品类别及位置坐标进行标注，得到类别标签集和位置坐标标签集，将X光图像及其对应的类别标签和位置坐标标签按照设定规则分为训练样本集和测试样本集；

(2)构建RGB色彩分离的双路特征融合网络模型：构建RGB色彩分离的双路特征融合网络模型的结构，定义损失函数，其中模型结构包括顺次连接的RGB色彩分离处理器、特征提取网络、双路特征融合网络、RPN网络、ROI池化网络和输出网络，所述RGB色彩分离处理器用于对X光图像进行色彩分离，所述特征提取网络用于提取色彩分离后的X光图像的特征并传输给双路特征融合网络，所述双路特征融合网络用于特征融合，并将特征融合后的X光图像输入至RPN网络，所述RPN网络用于在输入图像中生成正负类的候选框，并输入至ROI池化网络，所述ROI池化网络对RPN网络生成的ROI进行分类和微调，判断是否包含目标，并修正框的位置和坐标；所述输出网络用于根据ROI池化网络的输出值求得结果并输出；

(3)对RGB色彩分离的双路特征融合网络进行迭代训练：将训练样本输入RGB色彩分离处理器，所述RGB色彩分离处理器将违禁物品的三个色彩通道分别提取出来，剔除Red色彩通道，得到新的训练样本集，基于训练样本和新的训练样本对RGB色彩分离的双路特征融合网络进行迭代训练；

(4)获取X射线违禁物品图像识别结果：将测试样本输入训练后的模型中，获取X射线违禁物品图像识别结果。

2.根据权利要求1所述的基于RGB色彩分离双路特征融合的X射线违禁物品检测方法，其特征在于，将X光图像及其对应的类别标签和位置坐标标签按照设定规则分为训练样本集和测试样本集具体指的是：

随机选取半数以上的X光图像及其对应的类别标签和位置坐标标签组成训练样本集，其余的X光图像及其对应的类别标签和位置坐标标签组成测试样本集。

3.根据权利要求1所述的基于RGB色彩分离双路特征融合的X射线违禁物品检测方法，其特征在于，所述双路特征融合网络用于特征融合具体指的是通过特征提取网络提取到的高级特征分别与得到的比例参数相乘，之后根据网络学习到的参数特征相加获得新的特征融合后的X光图像。

4.根据权利要求1所述的基于RGB色彩分离双路特征融合的X射线违禁物品检测方法，其特征在于，所述特征提取网络包括输入层、多个卷积模块和多个残差模块；双路特征融合网络包括多个卷积模块和多个add拼接层；RPN网络包含多个卷积模块；ROI池化网络包括多个设有不同的IoU阈值的ROI池化网络单元，输出网络包括多个全连接层和多个激活函数层。

5.根据权利要求4所述的基于RGB色彩分离双路特征融合的X射线违禁物品检测方法，其特征在于，RPN网络包括三个卷积模块，所述ROI池化网络包括三个设有不同的IoU阈值的ROI池化网络单元，所述输出网络包括三个与所述ROI池化网络单元相对应的输出网络单元，每个输出网络单元包括三层全连接层和两个激活函数层。

6.根据权利要求1所述的基于RGB色彩分离双路特征融合的X射线违禁物品检测方法，其特征在于，步骤(2)定义损失函数具体包括定义定位损失函数、定义分类损失函数、定义RGB色彩分离的双路特征融合网络损失函数。

7.根据权利要求6所述的基于RGB色彩分离双路特征融合的X射线违禁物品检测方法，其特征在于，定义定位损失函数具体指的是：

设图像块x上预测的边界框坐标：b＝(b_x,b_y,b_w,b_h)，从训练样本集中学习一个回归器f(x,b)，将候选边界框b回归到目标边界框g：

其中，L_loc对距离矢量Δ进行计算，结果如下Δ＝(δ_x，δ_y，δ_w，δ_h)：

δ_x＝(g_x-b_x)/b_w,δ_y＝(g_y-b_y)/b_h

δ_w＝log(g_w/b_w),δ_h＝log(g_h/b_h)；

定义分类损失函数具体指的是：

通过分类器h(x)将图像块x预测为M+1中的一个类，基于各个类别的后验分布函数hk(x)＝p(y＝k|x)，在给定训练集(x_i,y_i)时，采用经典交叉熵损失函数计算分类损失函数L_cls：

定义RGB色彩分离的双路特征融合网络损失函数具体指的是：

假设图像块x的类别标签是u的函数，

在每个阶段t，CascadaR-CNN包括分类器h_t和针对IoU阈值u_t优化的回归器f_t，其中u_t＞u_t-1，通过最小化损失来保证，RGB色彩分离的双路特征融合网络损失函数为：

L(x^t,g)＝L_cls(h_t(x^t),y^t)+λ[y^t≥1]L_loc(f_t(x^t,b^t),g)

其中b_t＝f_t-1(x_t-1,b_t-1)，g是x_t的地面真实对象，λ＝1折衷函数，[.]指标函数，y_t是u_t给定的x_t的标签y。

8.根据权利要求1所述的基于RGB色彩分离双路特征融合的X射线违禁物品检测方法，其特征在于，步骤(3)具体包括以下步骤：

(3a)将训练样本输入RGB色彩分离处理器，所述RGB色彩分离处理器将违禁物品的三个色彩通道分别提取出来，剔除Red色彩通道，得到新的训练样本集；

(3b)初始化特征提取网络、双路特征融合网络、RPN网络、ROI池化网络和输出网络的网络权重参数和迭代次数；

(3c)将训练样本集和新的训练样本集的每副图像作为特征提取网络的输入，在特征提取网络中进行前向传播，得到两路高级特征；

(3d)双路特征融合网络按照网络学习的比例将两路高级特征进行特征融合，得到新的高级特征；

(3e)新的高级特征经RPN网络分为两层，一层完成分类锚以获得前景和后景，另一层对锚进行边界框回归，整合后获得精准的候选框；

(3f)将锚映射回原图，判断候选框超出边界的范围是否达到设定阈值，若是，则剔除该候选框；

(3g)为锚分配分类标签和回归标签模块接收RPN网络输出的每张图片的所有候选框，然后对候选框进一步提炼，输出具体类别和边界框回归；

(3h)更新网络权重参数，对RGB色彩分离的双路特征融合网络进行迭代训练，直到完成迭代次数。

9.根据权利要求1所述的基于RGB色彩分离双路特征融合的X射线违禁物品检测方法，其特征在于，步骤(4)具体包括以下步骤：

(4a)将测试样本集中的每一个测试图像输入训练后的模型中进行前向传播，得到违禁物品的预测位置坐标标签、置信度信息和类别标签概率；

(4b)将预测的置信度信息大于设定值的测试图像所对应的预测位置坐标标签作为测试图像违禁物品的位置预测结果，类别标签概率最大值对应的违禁物品类别作为测试图像违禁物品的类别预测结果。