CN113807231B - 基于unet下采样卷积神经网络的x光违禁物检测方法 - Google Patents

基于unet下采样卷积神经网络的x光违禁物检测方法 Download PDF

Info

Publication number
CN113807231B
CN113807231B CN202111073404.XA CN202111073404A CN113807231B CN 113807231 B CN113807231 B CN 113807231B CN 202111073404 A CN202111073404 A CN 202111073404A CN 113807231 B CN113807231 B CN 113807231B
Authority
CN
China
Prior art keywords
convolution
module
network
layer
attention
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111073404.XA
Other languages
English (en)
Other versions
CN113807231A (zh
Inventor
刘静
马玉婷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN202111073404.XA priority Critical patent/CN113807231B/zh
Publication of CN113807231A publication Critical patent/CN113807231A/zh
Application granted granted Critical
Publication of CN113807231B publication Critical patent/CN113807231B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明提出了一种基于UNET的下采样卷积神经网络的X光违禁物品检测方法，能够高效的将违禁物品检测出来。基于UNET网络实现的细粒度划分网络重复利用原有的低级特征和高级特征的弹性形变获得更优的特征提取，经过多次下采样后的低分辨率信息，可反映威胁目标和环境之间的潜在关系，有助于物体的类别判断；高分辨率信息，为分割提供更精细的特征，保证了特征的高效性和多样性，用来处理数据不平衡问题。在层次结构方面，建立了一种新的损失函数——分类损失函数，根据权重对数据进行重新分配和变形，以解决X射线安全检查中的数据覆盖问题，是一种非常实用的X光异常检测方法。

Description

基于UNET下采样卷积神经网络的X光违禁物检测方法
技术领域
本发明属于图像处理技术领域，更进一步涉及计算机视觉技术领域中的一种基于UNET的下采样卷积神经网络X光违禁物品检测方法，可用于对X光图像中的违禁物品进行检测。
背景技术
近年来，X光安全检测问题逐渐得到人们的重视，尤其是行李威胁检测已经成为全世界最关注的问题。仅2019年广州高铁站每天就平均检测40万人次，因此，积极寻找自动可靠的行李检查系统，快速、自动和准确地识别X射线扫描图像中的违禁物品也就变的非常关键。X射线图像中被遮挡的违禁物体的识别可以看作是计算机视觉的一个目标检测问题，在行李检测中威胁对象出现的概率较小，被低严重低估，出现了类不平衡问题，这类检测有个统一的名称叫异常检测。
目前，在x射线行李图像的目标检测主要有两种方法：一种是传统视觉方法，一种是深度学习方法。传统视觉方法利用训练的手工特征，如X光行李图像中的单词(BoW。具有多个特征表示如DoG、DoG+SIFT、DoG+Harris)形成特征描述子进行特征提取，再利用支持向量机(SVM)进行分类和检测。但它的缺点是人工分析图片的特征，主观性较强且只在特定场景下适用，不利于泛化。深度学习方法一般方法为：采集大量图片，标注图片，把图片放进网络训练，查看训练结果，调节参数和网络结构，再次训练，得到最好的结果。
随着深度学习方法的深入研究，大量的卷积神经网络方法在X光安全检测中应用。Yanlu Wei在其发表的论文“Occluded Prohibited Items Detection:An X-ray SecurityInspection Benchmark and De-occlusion Attention Module”(arXiv preprintarXiv2004.08656,2020)中，公开了一种基于去遮挡注意力模块的X光违禁物品检测方法。该方法使用了一个去遮挡的注意力模块将目标和背景进一步区分，在注意生成中，通过“边缘引导”和“材料感知”生成两个特征图，并融合生成注意图，将注意图应用于输入图像，生成想要的精细特征图，细化后的特征映射用于SSD网络中。该方法使用了目标物品的边缘信息和材质信息，获得的图像特征的质量很高，且插件式设计灵活多用，但在威胁目标数量过少或数据集缺乏的情况下，边缘信息和材料信息远远不足，且当图片覆盖严重时，会对整体的精确度造成影响。
发明内容
本发明的目的在于针对上述现有技术存在的不足，提出一种基于UNET的下采样卷积神经网络的X光违禁物品检测方法。旨在提高因为威胁目标和数据集的缺乏以及图片覆盖严重情况下X光违禁物品的检测准确度。
本发明的技术思路是，首先构建X光违禁物品数据集，将其依输入到特征提取网络ff-e、细粒度划分网络fdown-up、注意力网络fattention和输出网络foutput，在细粒度划分网络fdown-up中利用UNET网络结构，减弱了威胁目标数量过少的影响，然后修改损失函数的算法，降低X光图像中的无用信息比重，将被检测目标图像更大权重的输入基于深度的卷积神经网络的检测器，最后用训练好的基于UNET的下采样卷积神经网络对待检测的X光图像进行检测。
为实现上述目的，本发明采取的技术方案包括如下步骤：
(1)获取训练样本集和测试样本集：
(1a)获取N幅包含不同类别违禁物品的X光图像M＝{mi|1≤i≤N}，并对每幅X光图像mi中的违禁物品类别及位置坐标进行标注，得到类别标签集和位置坐标标签集/>其中，N＞8000，mi表示第i幅X光图像，/>和/>分别表示mi所包含的违禁物品的类别标签和位置坐标标签，/> 表示第s类违禁物品，S表示违禁物品的类别数，S≥2，/> 和/>分别表示/>所围成的标记框中心的横坐标、标记框中心的纵坐标、标记框的宽和标记框的高；
(1b)将随机选取M中半数以上的违禁物品X光图像及其对应的类别标签和位置坐标标签组成训练样本集Mtrain＝{mj|1≤j≤Ntrain}，N/2＜Ntrain≤N，将其余违禁物品X光图像及其对应的类别标签和位置坐标标签组成测试样本集Mtest＝{ml|1≤l≤Ntest}，其中，mj表示训练样本集中的第j幅X光图像，ml表示训练样本集中的第l幅X光图像，N/2＜Ntrain≤N，Ntest＝N-Ntrain；
(2)构建基于UNET的下采样卷积神经网络：
(2a)构建基于UNET的下采样卷积神经网络的结构：
构建包括顺次连接的特征提取网络ff-e、基于UNET网络实现的细粒度划分网络fdown-up、注意力网络fattention和输出网络foutput的下采样卷积神经网络，其中，特征提取网络ff-e包括输入层、多个卷积模块和多个残差模块；细粒度划分网络fdown-up包含多个上采样连接模块、多个下采样连接模块、卷积模块和多个concat拼接层，构成“U”型结构；注意力网络fattention包括多个卷积模块和一个融合模块；输出网络foutput包括两个卷积层，一个归一化层和一个激活函数层的神经网络；
(2b)定义基于UNET的下采样卷积神经网络的损失函数Loss：
Loss＝LGHM-C+Llc
其中，LGHM-C表示分类损失函数，LCE是交叉熵损失损失函数，P是构建的卷积神经网络的检测概率，P*是X图像的标签，P*的取值为0或1，GD(g)表示单位梯度模长g部分的样本个数，即梯度密度，δε(gd,g)表明了样本1～W中，梯度模长分布在范围内的样本个数，lε(g)代表了/>区间的长度；Llc表示类别和定位损失函数，Llc把X光图片划分成不同大小的网格,根据候选框和标记框的中心点坐标、及宽高信息和网格数构建函数，M代表候选框数量，M＝3，K代表网格数，/>表示在q,m处的候选框有目标，/>表示在q,m处的候选框没有目标，w表示候选框的宽度，h表示候选框的高度，x表示候选框中心的横坐标，y表示候选框中心的纵坐标，C表示候选框内存在违禁物品的置信度，/>表示候选框内实际是存在违禁物品的,/>表示违禁物品是属于第c类的概率，λcoord为定位平衡参数，λnoobj为类别平衡参数；
(3)对基于UNET的下采样卷积神经网络进行迭代训练：
(3a)初始化特征提取网络ff-e的权重参数为细粒度划分网络fdown-up的权重参数为/>注意力网络fattention的权重参数为/>输出网络foutput的权重参数为/>迭代次数为t，最大迭代次数为T≥50，并令t＝0；
(3b)将训练样本集Mtrain中的每个训练样本包括X光图像及其对应的类别标签和位置坐标标签作为特征提取网络ff-e的输入，每幅图像mj在特征提取网络中进行前向特征提取，得到图像mj的第一高级特征
(3c)将图像mj的第一高级特征作为细粒度划分网络fdown-up的输入进行特征提取，在细粒度划分网络fdown-up中进行特征融合，得到图像mj的第二高级特征/>
(3d)将图像mj的第二高级特征作为注意力网络fattention的输入进行前向特征提取，得到图像mj的注意力图/>
(3e)将图像mj的注意力图与图像mj的第一高级特征/>在融合模块中相乘，得到图像mj的第三高级特征/>
(3f)将图像mj的第三高级特征作为输出网络foutput的输入进行前向特征提取，得到图像mj的所包含违禁物品的预测位置坐标标签/>置信度信息/>和预测类别标签概率/>
(3g)基于UNET的下采样卷积神经网络的损失函数Loss＝LGHM-C+Llc，通过计算分类损失函数LGHM-C，以及类别和定位损失函数Llc的函数值，并将LGHM-C与Llc相加得到Loss,再采用反向传播方法，通过Loss计算ff-e、fdown-up、fattention和foutput的网络权重参数梯度，然后采用梯度下降算法通过ff-e、fdown-up、fattention和foutput的网络权重参数梯度对ff-e、fdown-up、fattention和foutput的网络权重参数/>θattention和θoutput进行更新；
(3h)判断t≥T是否成立，若是，得到训练好的基于UNET的下采样卷积神经网络，否则，令t＝t+1，并执行步骤(3b)；
(4)获取X光违禁物品图像识别结果：
(4a)将测试样本集Mtest中的每个训练样本包括X光图像及其对应的类别标签和位置坐标标签作为训练好的基于UNET的下采样卷积神经网络的输入进行前向传播，得到违禁物品的预测位置坐标标签(xl,yl,wl,hl)，置信度信息Cl和类别标签概率pl(c)；
(4b)将测试图像ml预测的置信度信息中大于0.5的结果所对应的预测位置坐标标签(xl,yl,wl,hl)和类别标签概率pl(c)中最大值对应的违禁物品类别分别作为测试图像ml违禁物品的位置预测结果和类别预测结果；
本发明与现有技术相比，具有以下优点：
本发明在对基于UNET的下采样卷积神经网络进行训练以及获取X光违禁物品的检测结果的过程中，基于UNET网络实现的细粒度划分网络重复利用原有的低级特征和高级特征的弹性形变获得更优的特征提取，增强数据特征多样性，丰富了边缘信息和材料信息，解决了数据集数据较少引发的威胁目标数量更少的这一类问题的X光图像检测效果；其次，引入的分类损失函数LGHM-C，克服了现有技术中对于图片覆盖严重的问题虽然能通过设定颜色阈值、用边缘分离前后背景等操作提高检测效果，但不可避免的杂糅了无关信息进去，造成了干扰，有助于把严重覆盖的图片和非常简单的图片(背景很多的图片)看作离群点做权重调整后得到更优秀数据，从而提高了因为威胁目标和数据集的缺乏以及图片覆盖严重情况下X光违禁物品的检测准确度。
附图说明
图1为本发明的实现流程图；
图2为本发明和现有技术检测精度的仿真结果对比图。
具体实施方式
下面将结合附图和具体实施例，对本发明进行详细说明。
参照图1，本发明包括如下步骤：
步骤1)获取训练样本集和测试样本集：
步骤1a)获取N幅包含不同类别违禁物品的X光图像M＝{mi|1≤i≤N}，并对每幅X光图像mi中的违禁物品类别及位置坐标进行标注，得到类别标签集和位置坐标标签集/>其中，N＞8000，mi表示第i幅X光图像，/>和/>分别表示mi所包含的违禁物品的类别标签和位置坐标标签，/> 表示第s类违禁物品，S表示违禁物品的类别数，S≥2，/> 和/>分别表示/>所围成的标记框中心的横坐标、标记框中心的纵坐标、标记框的宽和标记框的高，本实例中N＝8885，S＝5；
(1b)将随机选取M中半数以上的违禁物品X光图像及其对应的类别标签和位置坐标标签组成训练样本集Mtrain＝{mj|1≤j≤Ntrain}，N/2＜Ntrain≤N，将其余违禁物品X光图像及其对应的类别标签和位置坐标标签组成测试样本集Mtest＝{ml|1≤l≤Ntest}，其中，mj表示训练样本集中的第j张X光图像，ml表示训练样本集中的第l张X光图像，N/2＜Ntrain≤N，Ntest＝N-Ntrain,本实例中，Ntrain＝7109，Ntest＝1776；
步骤2)构建基于UNET的下采样卷积神经网络：
步骤2a)构建基于UNET的下采样卷积神经网络的结构：
构建包括顺次连接的特征提取网络ff-e、基于UNET网络实现的细粒度划分网络fdown-up、注意力网络fattention和输出网络foutput的下采样卷积神经网络，其中，特征提取网络ff-e包括输入层、多个卷积模块和多个残差模块；细粒度划分网络fdown-up包含多个上采样连接模块、多个下采样连接模块、卷积模块和多个concat拼接层，构成“U”型结构；注意力网络fattention包括多个卷积模块和一个融合模块；输出网络foutput包括两个卷积层，一个归一化层和一个激活函数层的神经网络；
特征提取网络ff-e，其结构依次为：输入层→第一卷积模块→第一卷积层→第一残差模块→第二卷积层→第二残差模块→第三残差模块→第三卷积层→第四残差模块→第五残差模块→第六残差模块→第七残差模块→第八残差模块→第九残差模块→第十残差模块→第十一残差模块→第四卷积层→第十二残差模块→第十三残差模块→第十四残差模块→第十五残差模块→第十六残差模块→第十七残差模块→第十八残差模块→第十九残差模块→第采用包含五个卷积模块和二十三个残差模块的卷积神经网络，其结构依次为：输入层→第一卷积模块→第一残差模块→第二卷积模块→第二残差模块→第三残差模块→第三卷积模块→第四残差模块→第五残差模块→第六残差模块→第七残差模块→第八残差模块→第九残差模块→第十残差模块→第十一残差模块→第四卷积模块→第十二残差模块→第十三残差模块→第十四残差模块→第十五残差模块→第十六残差模块→第十七残差模块→第十八残差模块→第十九残差模块→第五卷积模块→第二十残差模块→第二十一残差模块→第二十二残差模块→第二十三残差模块；
其中每个卷积模块包含一个卷积层，一个归一化层和一个激活函数层，每个残差模块包含两个卷积模块和一个shortcut拼接层；
设置特征提取网络ff-e中每层的参数为，将第一、二、三、四、五卷积模块中的卷积层的卷积核大小设置为3×3，卷积步长设置为2，填充值为1；将第一、二、三、四、五、六、七、八、九、十、十一、十二、十三、十四、十五、十六、十七、十八、十九、二十、二十一、二十二、二十三残差模块中第一个卷积层的卷积核大小设置为1×1，卷积步长设置为1，填充值为0，第二个卷积层卷积核大小设置为3×3，卷积步长设置为1，填充值为1；所有归一化层都采用BatchNorm2d函数实现；所有激活函数层都采用Mish函数实现；
细粒度划分网络fdown-up整体呈“U”型结构，该网络左边结构包括包含七个卷积模块，两个下采样连接模块和一个SPP模块，该网络右边结构由两个上采样连接层模块组成，其整体结构依次为：第一卷积模块→第二卷积模块→第三卷积模块→第四卷积模块→SPP模块→第五卷积模块→第六卷积模块→第七卷积模块→第一下采样连接模块→第二下采样连接模块→第一上采样连接模块→第二上采样连接模块；
细粒度划分网络fdown-up的每层参数均设置为：其中每个卷积模块包含一个卷积层，一个归一化层和一个激活函数层，每个下采样连接模块包含两个卷积模块，一个下采样，五个卷积模块，每个上采样连接模块包含两个卷积模块，一个上采样，一个concat层，五个卷积模块，SPP模块包含三个最大池化层和concat层。
设置每个模块中每层的参数为：第一、二、四、五、七卷积模块中的卷积层的卷积核大小设置为1×1，卷积步长设置为1，填充值为0，归一化层采用BatchNorm2d函数实现，激活函数层除第一卷积模块用Mish函数，此外都采用LeakyReLU函数实现，其斜率均设置为0.2；第一、二下采样连接模块中的卷积层的卷积核大小设置为设置为1×1，卷积步长设置为1，填充值为0，归一化层采用BatchNorm2d函数实现，激活函数层采用LeakyReLU函数实现，其斜率均设置为0.2；第一、二上采样连接模块中的卷积层的卷积核大小设置为设置为1×1，卷积步长设置为1，填充值为0，归一化层采用BatchNorm2d函数实现，激活函数层采用LeakyReLU函数实现，其斜率均设置为0.2；
注意力网络fattention采用包含五个卷积模块和一个融合模块的卷积神经网络，其结构依次为：第一卷积模块→第二卷积模块→第三卷积模块→第四卷积模块→第五卷积模块→第一融合模块；
所述注意力网络fattention的卷积模块每层参数设置为：将第一至五卷积模块中的第一卷积层的卷积核大小设置为3×3，卷积步长设置为2，填充值为1；第一至五卷积模块中的第一归一化层采用BatchNorm2d函数；第一、二卷积模块中的第一激活函数采用LeakyReLU函数，其斜率均设置为0.2；第三、四、五卷积模块中的第一激活函数采用Mish函数；
所述注意力网络fattention的融合模块由一个卷积层构成，卷积核大小设置为3×3，卷积步长设置为2，填充值为1；
输出网络foutput采用包含两个卷积层，一个归一化层和一个激活函数层的神经网络，其结构依次为：第一卷积层→第二卷积层→第一归一化层→第一激活函数层；
所述输出网络foutput的每层参数设置为：将第一卷积层的卷积核大小设置为3×3，卷积步长设置为2，填充值为1；将第二卷积层的卷积核大小设置为1×1，卷积步长设置为1，填充值为0；第一归一化层采用BatchNorm2d函数；第一激活函数层第一激活函数采用LeakyReLU函数。
步骤2b)为了减少数据集中威胁目标过少和数据遮挡严重带来的问题，损失函数由分类损失函数LGHM-C和类别和定位损失函数Llc两部分构成，总损失函数Loss定义为：
Loss＝LGHM-C+Llc
其中，LGHM-C表示分类损失函数，LCE是交叉熵损失损失函数，P是构建的卷积神经网络的检测概率，P*是X图像的标签，P*的取值为0或1，GD(g)表示单位梯度模长g部分的样本个数，即梯度密度，δε(gd,g)表明了样本1～W中，梯度模长分布在范围内的样本个数，lε(g)代表了/>区间的长度；Llc表示类别和定位损失函数，Llc把X光图片划分成不同大小的网格,根据候选框和标记框的中心点坐标、及宽高信息和网格数构建函数，M代表候选框数量，M＝3，K代表网格数，/>表示在q,m处的候选框有目标，/>表示在q,m处的候选框没有目标，w表示候选框的宽度，h表示候选框的高度，x表示候选框中心的横坐标，y表示候选框中心的纵坐标，C表示候选框内存在违禁物品的置信度，/>表示候选框内实际是存在违禁物品的,/>表示违禁物品是属于第c类的概率，λcoord为定位平衡参数，λnoobj为类别平衡参数，本实例中，候选框的数量M为3，网格数量K为13，26，52，定位平衡参数λcoord为5，类别平衡参数λnoobj为0.5；
步骤3)对基于UNET的下采样卷积神经网络进行迭代训练：
步骤3a)初始化特征提取网络ff-e的权重参数为细粒度划分网络fdown-up的权重参数为/>注意力网络fattention的权重参数为/>输出网络foutput的权重参数为迭代次数为t，最大迭代次数为T≥50，并令t＝0；
步骤3b)将训练样本集Mtrain中的每个训练样本包括X光图像及其对应的类别标签和位置坐标标签作为特征提取网络ff-e的输入，每幅图像mj在特征提取网络中进行前向特征提取，得到图像mj的第一高级特征
步骤3c)将图像mj的第一高级特征作为细粒度划分网络fdown-up的输入进行特征提取，在细粒度划分网络fdown-up中进行特征融合，得到图像mj的第二高级特征/>
步骤3d)将图像mj的第二高级特征作为注意力网络fattention的输入进行前向特征提取，得到图像mj的注意力图/>
步骤3e)将图像mj的注意力图与图像mj的第一高级特征/>在融合模块中相乘，得到图像mj的第三高级特征/>
步骤3f)将图像mj的第三高级特征作为输出网络foutput的输入进行前向特征提取，得到图像mj的所包含违禁物品的预测位置坐标标签/>置信度信息/>和预测类别标签概率/>
步骤3g)基于UNET的下采样卷积神经网络的损失函数Loss＝LGHM-C+Llc，通过计算分类损失函数LGHM-C，以及类别和定位损失函数Llc的函数值，并将LGHM-C与Llc相加得到Loss,再采用反向传播方法，通过Loss计算ff-e、fdown-up、fattention和foutput的网络权重参数梯度，然后采用梯度下降算法通过ff-e、fdown-up、fattention和foutput的网络权重参数梯度对ff-e、fdown-up、fattention和foutput的网络权重参数/>θattention和θoutput进行更新；
步骤3h)判断t≥T是否成立，若是，得到训练好的基于UNET的下采样卷积神经网络，否则，令t＝t+1，并执行步骤(3b)；
(4)获取X光违禁物品图像识别结果：
(4a)将测试样本集Mtest中的每个训练样本包括X光图像及其对应的类别标签和位置坐标标签作为训练好的基于UNET的下采样卷积神经网络的输入进行前向传播，得到违禁物品的预测位置坐标标签(xl,yl,wl,hl)，置信度信息Cl和类别标签概率pl(c)；
(4b)将测试图像ml预测的置信度信息中大于0.5的结果所对应的预测位置坐标标签(xl,yl,wl,hl)和类别标签概率pl(c)中最大值对应的违禁物品类别分别作为测试图像ml违禁物品的位置预测结果和类别预测结果；
下面结合仿真实验对本发明的效果做进一步的说明：
1.仿真实验条件：
本发明的仿真实验的硬件平台为：处理器为Intel(R)Core i7-10700K CPU，主频为3.8GHz，内存为32GB、显卡为NVIDIA GeForce RTX 3090。
本发明的仿真实验的软件平台为：Ubuntu 18.04操作系统，python 3.7.4，Pytorch1.7.0。
2.仿真内容及仿真结果分析：
本发明仿真实验中生成训练集和测试集时，使用了公开的标准数据集OccludedProhibited Items X-ray(OPIXray),该数据集包含五个分类，折叠刀，直刀，剪刀，美工刀，多功能刀，共8885张X光图像，本发明仿真实验中使用OPIXray中7109张图片作为训练集，1176张图片作为测试集。
本发明仿真实验是采用本发明和现有技术分别对测试集中的1176张图片中的违禁物品进行检测。
在仿真实验中，采用的现有技术是指：
Y.Wei等人在“Occluded prohibited items detection:An X-ray securityinspection benchmark and de-occlusion attention module.(Proceedings of the28th ACM International Conference on Multimedia.2020)”中提出的基于去遮挡注意力模块的X光违禁物品检测方法，简称DOAM方法，仿真实验中DOAM方法采用单阶段目标检测算法yolov4作为主体网络，嵌入DOAM模块进行仿真。
为了对本发明仿真结果的效果进行评估，本发明采用AP作为性能评价指标与现有技术进行对比，AP的定义为精度Precision和和召回率Recall所成曲线下的面积，精度Precision定义为TP/(TP+FP)，召回率Recall定义为TP/(TP+FN)，其中TP，FP，TN和FN分别代表真正类，假正类，真反类，和假反类，mAP定义为AP的平均值，对比结果如表1所示：
表1仿真实验中本发明和现有技术AP的对比表
从表1中可以看出本发明在OPIXray数据集上mAP为82.92％，高于两种现有技术方法，在折叠刀，直刀，剪刀，美工刀，多功能刀五个类别上的AP分别为87.90％，56.33％，97.82％，83.47％，89.06％，在折叠刀，直刀，剪刀，美工刀，多功能刀五个类别上均高于现有技术方法，由图2(a)和图2(c)所示，本发明能够精确的识别并定位违禁物品的位置和种类，证明本方法可以有效提高检测X光图像中的违禁物品的精度。且由图2(b)所示，本发明能在各类物品层叠遮挡的情况下准确识别定位违禁物品的位置和种类，证明本发明对遮挡严重场景下的X光图像能够达到很好的检测效果。
本发明方法构建的基于UNET的下采样卷积神经网络，在方法上，经过多次下采样后的低分辨率信息，提供威胁目标在整个图像中上下文语义信息，这个特征反映威胁目标和环境之间的潜在关系，有助于物体的类别判断。高分辨率信息，为分割提供更精细的特征，如梯度等，有效的将本来就不多的低级特征和其衍生出来的高级特征做了弹性形变和保留，保证了特征的高效性和多样性，用来处理数据不平衡问题。在层次结构方面，建立了一种新的损失函数，根据权重对数据进行重新分配和变形，以解决X射线安全检查中的数据覆盖问题，是一种非常实用的X光异常检测方法。

Claims (2)

1.一种基于UNET的下采样卷积神经网络的X光违禁物品检测方法，其特征在于包括如下步骤：
(1)获取训练样本集和测试样本集：
(1a)获取N幅包含不同类别违禁物品的X光图像M＝{mi|1≤i≤N}，并对每幅X光图像mi中的违禁物品类别及位置坐标进行标注，得到类别标签集和位置坐标标签集/>其中，N＞8000，mi表示第i幅X光图像，/>和/>分别表示mi所包含的违禁物品的类别标签和位置坐标标签，/> 表示第s类违禁物品，S表示违禁物品的类别数，S≥2，/> 和/>分别表示/>所围成的标记框中心的横坐标、标记框中心的纵坐标、标记框的宽和标记框的高；
(1b)将随机选取M中半数以上的违禁物品X光图像及其对应的类别标签和位置坐标标签组成训练样本集Mtrain＝{mj|1≤j≤Ntrain}，N/2＜Ntrain≤N，将其余违禁物品X光图像及其对应的类别标签和位置坐标标签组成测试样本集Mtest＝{ml|1≤l≤Ntest}，其中，mj表示训练样本集中的第j幅X光图像，ml表示训练样本集中的第l幅X光图像，N/2＜Ntrain≤N，Ntest＝N-Ntrain；
(2)构建基于UNET的下采样卷积神经网络：
(2a)构建基于UNET的下采样卷积神经网络的结构：
构建包括顺次连接的特征提取网络ff-e、基于UNET网络实现的细粒度划分网络fdown-up、注意力网络fattention和输出网络foutput的下采样卷积神经网络，其中，特征提取网络ff-e包括输入层、多个卷积模块和多个残差模块；细粒度划分网络fdown-up包含多个上采样连接模块、多个下采样连接模块、卷积模块和多个concat拼接层，构成“U”型结构；注意力网络fattention包括多个卷积模块和一个融合模块；输出网络foutput采用包括两个卷积层、一个归一化层和一个激活函数层的神经网络；
(2b)定义基于UNET的下采样卷积神经网络的损失函数Loss：
Loss＝LGHM-C+Llc
其中，LGHM-C表示分类损失函数，LCE是交叉熵损失函数，P是构建的卷积神经网络的检测概率，P*是X光图像的标签，P*的取值为0或1，GD(g)表示单位梯度模长g部分的样本个数，即梯度密度，δε(gd,g)表明了样本1～W中，梯度模长分布在范围内的样本个数，lε(g)代表了/>区间的长度；Llc表示类别和定位损失函数，Llc把X光图像划分成不同大小的网格,根据候选框和标记框的中心点坐标、及宽高信息和网格数构建函数，M代表候选框数量，M＝3，K代表网格数，/>表示在q,m处的候选框有目标，/>表示在q,m处的候选框没有目标，w表示候选框的宽度，h表示候选框的高度，x表示候选框中心的横坐标，y表示候选框中心的纵坐标，C表示候选框内存在违禁物品的置信度，/>表示候选框内实际是存在违禁物品的,/>表示违禁物品是属于第c类的概率，λcoord为定位平衡参数，λnoobj为类别平衡参数；
(3)对基于UNET的下采样卷积神经网络进行迭代训练：
(3a)初始化特征提取网络ff-e的权重参数为细粒度划分网络fdown-up的权重参数为注意力网络fattention的权重参数为/>输出网络foutput的权重参数为/>迭代次数为t，最大迭代次数为T≥50，并令t＝0；
(3b)将训练样本集Mtrain中的每个训练样本包括X光图像及其对应的类别标签和位置坐标标签作为特征提取网络ff-e的输入，每幅图像mj在特征提取网络中进行前向特征提取，得到图像mj的第一高级特征
(3c)将图像mj的第一高级特征作为细粒度划分网络fdown-up的输入进行特征提取，在细粒度划分网络fdown-up中进行特征融合，得到图像mj的第二高级特征/>
(3d)将图像mj的第二高级特征作为注意力网络fattention的输入进行前向特征提取，得到图像mj的注意力图/>
(3e)将图像mj的注意力图与图像mj的第一高级特征/>在融合模块中相乘，得到图像mj的第三高级特征/>
(3f)将图像mj的第三高级特征作为输出网络foutput的输入进行前向特征提取，得到图像mj的所包含违禁物品的预测位置坐标标签/>置信度信息/>和预测类别标签概率/>
(3g)基于UNET的下采样卷积神经网络的损失函数Loss＝LGHM-C+Llc，通过计算分类损失函数LGHM-C，以及类别和定位损失函数Llc的函数值，并将LGHM-C与Llc相加得到Loss,再采用反向传播方法，通过Loss计算ff-e、fdown-up、fattention和foutput的网络权重参数梯度，然后采用梯度下降算法通过ff-e、fdown-up、fattention和foutput的网络权重参数梯度对ff-e、fdown-up、fattention和foutput的网络权重参数/>θattention和θoutput进行更新；
(3h)判断t≥T是否成立，若是，得到训练好的基于UNET的下采样卷积神经网络，否则，令t＝t+1，并执行步骤(3b)；
(4)获取X光违禁物品图像识别结果：
(4a)将测试样本集Mtest中的每个训练样本包括X光图像及其对应的类别标签和位置坐标标签作为训练好的基于UNET的下采样卷积神经网络的输入进行前向传播，得到违禁物品的预测位置坐标标签(xl,yl,wl,hl)，置信度信息Cl和类别标签概率pl(c)；
(4b)将测试图像ml预测的置信度信息中大于0.5的结果所对应的预测位置坐标标签(xl,yl,wl,hl)和类别标签概率pl(c)中最大值对应的违禁物品类别分别作为测试图像ml违禁物品的位置预测结果和类别预测结果。
2.根据权利要求1所述的基于UNET的下采样卷积神经网络X光违禁物品检测方法，其特征在于，步骤(2a)中所述的特征提取网络ff-e、细粒度划分网络fdown-up、注意力网络fattention和输出网络foutput，其中：
特征提取网络ff-e采用包含五个卷积模块和二十三个残差模块的卷积神经网络，其结构依次为：输入层→第一卷积模块→第一残差模块→第二卷积模块→第二残差模块→第三残差模块→第三卷积模块→第四残差模块→第五残差模块→第六残差模块→第七残差模块→第八残差模块→第九残差模块→第十残差模块→第十一残差模块→第四卷积模块→第十二残差模块→第十三残差模块→第十四残差模块→第十五残差模块→第十六残差模块→第十七残差模块→第十八残差模块→第十九残差模块→第五卷积模块→第二十残差模块→第二十一残差模块→第二十二残差模块→第二十三残差模块；
其中每个卷积模块包含一个卷积层，一个归一化层和一个激活函数层，每个残差模块包含两个卷积模块和一个shortcut拼接层；
设置特征提取网络ff-e中每层的参数为，将第一、二、三、四、五卷积模块中的卷积层的卷积核大小设置为3×3，卷积步长设置为2，填充值为1；将第一、二、三、四、五、六、七、八、九、十、十一、十二、十三、十四、十五、十六、十七、十八、十九、二十、二十一、二十二、二十三残差模块中第一个卷积层的卷积核大小设置为1×1，卷积步长设置为1，填充值为0，第二个卷积层卷积核大小设置为3×3，卷积步长设置为1，填充值为1；所有归一化层都采用BatchNorm2d函数实现；所有激活函数层都采用Mish函数实现；
细粒度划分网络fdown-up采用包含两个上采样连接模块，两个下采样连接层模块，一个SPP模块和七个卷积模块的卷积神经网络，其结构依次为：第一卷积模块→第二卷积模块→第三卷积模块→第四卷积模块→SPP模块→第五卷积模块→第六卷积模块→第七卷积模块→第一下采样连接模块→第二下采样连接模块→第一上采样连接模块→第二上采样连接模块；
细粒度划分网络fdown-up的每层参数均设置为：其中每个卷积模块包含一个卷积层，一个归一化层和一个激活函数层，每个下采样连接模块包含两个卷积模块，一个下采样，五个卷积模块，每个上采样连接模块包含两个卷积模块，一个上采样，一个concat层，五个卷积模块，SPP模块包含三个最大池化层和concat层；
设置每个模块中每层的参数为：第一、二、四、五、七卷积模块中的卷积层的卷积核大小设置为1×1，卷积步长设置为1，填充值为0，归一化层采用BatchNorm2d函数实现，激活函数层除第一卷积模块用Mish函数，此外都采用LeakyReLU函数实现，其斜率均设置为0.2；第一、二下采样连接模块中的卷积层的卷积核大小设置为设置为1×1，卷积步长设置为1，填充值为0，归一化层采用BatchNorm2d函数实现，激活函数层采用LeakyReLU函数实现，其斜率均设置为0.2；第一、二上采样连接模块中的卷积层的卷积核大小设置为设置为1×1，卷积步长设置为1，填充值为0，归一化层采用BatchNorm2d函数实现，激活函数层采用LeakyReLU函数实现，其斜率均设置为0.2；
注意力网络fattention采用包含五个卷积模块和一个融合模块的卷积神经网络，其结构依次为：第一卷积模块→第二卷积模块→第三卷积模块→第四卷积模块→第五卷积模块→第一融合模块；
所述注意力网络fattention的卷积模块每层参数设置为：将第一至五卷积模块中的第一卷积层的卷积核大小设置为3×3，卷积步长设置为2，填充值为1；第一至五卷积模块中的第一归一化层采用BatchNorm2d函数；第一、二卷积模块中的第一激活函数采用LeakyReLU函数，其斜率均设置为0.2；第三、四、五卷积模块中的第一激活函数采用Mish函数；
所述注意力网络fattention的融合模块由一个卷积层构成，卷积核大小设置为3×3，卷积步长设置为2，填充值为1；
输出网络foutput采用包含两个卷积层，一个归一化层和一个激活函数层的神经网络，其结构依次为：第一卷积层→第二卷积层→第一归一化层→第一激活函数层；
所述输出网络foutput的每层参数设置为：将第一卷积层的卷积核大小设置为3×3，卷积步长设置为2，填充值为1；将第二卷积层的卷积核大小设置为1×1，卷积步长设置为1，填充值为0；第一归一化层采用BatchNorm2d函数；第一激活函数层第一激活函数采用LeakyReLU函数。
CN202111073404.XA 2021-09-14 2021-09-14 基于unet下采样卷积神经网络的x光违禁物检测方法 Active CN113807231B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111073404.XA CN113807231B (zh) 2021-09-14 2021-09-14 基于unet下采样卷积神经网络的x光违禁物检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111073404.XA CN113807231B (zh) 2021-09-14 2021-09-14 基于unet下采样卷积神经网络的x光违禁物检测方法

Publications (2)

Publication Number Publication Date
CN113807231A CN113807231A (zh) 2021-12-17
CN113807231B true CN113807231B (zh) 2024-02-13

Family

ID=78895315

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111073404.XA Active CN113807231B (zh) 2021-09-14 2021-09-14 基于unet下采样卷积神经网络的x光违禁物检测方法

Country Status (1)

Country Link
CN (1) CN113807231B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115049664B (zh) * 2022-08-16 2022-10-28 金乡县强力机械有限公司 基于视觉的船舶发动机配件缺陷检测方法
CN116016289A (zh) * 2023-03-23 2023-04-25 芯知科技(江苏)有限公司 一种基于移动终端数据中心检测方法

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109344821A (zh) * 2018-08-30 2019-02-15 西安电子科技大学 基于特征融合和深度学习的小目标检测方法
CN110020651A (zh) * 2019-04-19 2019-07-16 福州大学 基于深度学习网络的车牌检测定位方法
CN110348416A (zh) * 2019-07-17 2019-10-18 北方工业大学 一种基于多尺度特征融合卷积神经网络的多任务人脸识别方法
CN110555425A (zh) * 2019-09-11 2019-12-10 上海海事大学 一种视频流实时行人检测方法
CN110751633A (zh) * 2019-10-11 2020-02-04 上海眼控科技股份有限公司 基于深度学习的多轴大车制动检测方法、装置、系统
KR20200023695A (ko) * 2018-08-21 2020-03-06 재단법인 아산사회복지재단 연산량을 줄이는 학습 시스템
CN111986126A (zh) * 2020-07-17 2020-11-24 浙江工业大学 一种基于改进vgg16网络的多目标检测方法
CN112270208A (zh) * 2020-09-28 2021-01-26 天津大学 一种基于特征子空间分离的交叉数据域微表情分类方法
CN112330591A (zh) * 2020-09-30 2021-02-05 中国铁道科学研究院集团有限公司 少样本学习的钢轨表面缺陷检测方法及装置
WO2021103721A1 (zh) * 2019-11-25 2021-06-03 北京迈格威科技有限公司 基于部件分割的识别模型训练、车辆重识别方法及装置
KR102270009B1 (ko) * 2020-03-20 2021-06-28 주식회사 인포웍스 다채널 영상 인공지능 알고리즘 기반 이동 물체 탐지 및 거리 추정 방법
CN113095404A (zh) * 2021-04-13 2021-07-09 西安电子科技大学 基于前后背景分卷积神经网络的x光违禁物品检测方法
CN113128558A (zh) * 2021-03-11 2021-07-16 重庆邮电大学 基于浅层空间特征融合与自适应通道筛选的目标检测方法

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200023695A (ko) * 2018-08-21 2020-03-06 재단법인 아산사회복지재단 연산량을 줄이는 학습 시스템
CN109344821A (zh) * 2018-08-30 2019-02-15 西安电子科技大学 基于特征融合和深度学习的小目标检测方法
CN110020651A (zh) * 2019-04-19 2019-07-16 福州大学 基于深度学习网络的车牌检测定位方法
CN110348416A (zh) * 2019-07-17 2019-10-18 北方工业大学 一种基于多尺度特征融合卷积神经网络的多任务人脸识别方法
CN110555425A (zh) * 2019-09-11 2019-12-10 上海海事大学 一种视频流实时行人检测方法
CN110751633A (zh) * 2019-10-11 2020-02-04 上海眼控科技股份有限公司 基于深度学习的多轴大车制动检测方法、装置、系统
WO2021103721A1 (zh) * 2019-11-25 2021-06-03 北京迈格威科技有限公司 基于部件分割的识别模型训练、车辆重识别方法及装置
KR102270009B1 (ko) * 2020-03-20 2021-06-28 주식회사 인포웍스 다채널 영상 인공지능 알고리즘 기반 이동 물체 탐지 및 거리 추정 방법
CN111986126A (zh) * 2020-07-17 2020-11-24 浙江工业大学 一种基于改进vgg16网络的多目标检测方法
CN112270208A (zh) * 2020-09-28 2021-01-26 天津大学 一种基于特征子空间分离的交叉数据域微表情分类方法
CN112330591A (zh) * 2020-09-30 2021-02-05 中国铁道科学研究院集团有限公司 少样本学习的钢轨表面缺陷检测方法及装置
CN113128558A (zh) * 2021-03-11 2021-07-16 重庆邮电大学 基于浅层空间特征融合与自适应通道筛选的目标检测方法
CN113095404A (zh) * 2021-04-13 2021-07-09 西安电子科技大学 基于前后背景分卷积神经网络的x光违禁物品检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
A Novel Lesion Segmentation Algorithm based on U-Net Network for Tuberculosis CT Image;Shaoyue Wen, Jing Liu, Wenge Xu;《Automation and Information Sciences》;全文 *
人工目标识别与跟踪算法研究;刘静;中国优秀硕士学位论文全文数据库;全文 *

Also Published As

Publication number Publication date
CN113807231A (zh) 2021-12-17

Similar Documents

Publication Publication Date Title
CN112949572B (zh) 基于Slim-YOLOv3的口罩佩戴情况检测方法
CN109784203B (zh) 基于分层传播和激活的弱监督x光图像违禁品检查方法
US20200074205A1 (en) Methods and apparatuses for vehicle appearance feature recognition, methods and apparatuses for vehicle retrieval, storage medium, and electronic devices
CN113807231B (zh) 基于unet下采样卷积神经网络的x光违禁物检测方法
CN109117876A (zh) 一种稠密小目标检测模型构建方法、模型及检测方法
CN109344736A (zh) 一种基于联合学习的静态图像人群计数方法
CN109117836A (zh) 一种基于焦点损失函数的自然场景下文字检测定位方法和装置
CN113920107A (zh) 一种基于改进yolov5算法的绝缘子破损检测方法
CN109948415A (zh) 基于背景过滤和尺度预测的光学遥感图像目标检测方法
CN113095404B (zh) 基于前后背景分卷积神经网络的x光违禁物品检测方法
CN112560675B (zh) Yolo与旋转-融合策略相结合的鸟类视觉目标检测方法
CN112528896A (zh) 一种面向sar图像的飞机目标自动检测方法及系统
CN110222636B (zh) 基于背景抑制的行人属性识别方法
CN111860309A (zh) 一种人脸识别方法及系统
CN110263731B (zh) 一种单步人脸检测系统
CN112926652A (zh) 一种基于深度学习的鱼类细粒度图像识别方法
CN113627229A (zh) 目标检测方法、系统、设备以及计算机存储介质
KR20200129314A (ko) 고해상도 항공 이미지내의 물체를 감지하기 위한 단일 단계 고밀도 피라미드 특징 네트워크
CN115439693A (zh) 目标识别网络模型的训练方法、电子设备及程序产品
CN113887455B (zh) 一种基于改进fcos的人脸口罩检测系统及方法
Xiang et al. License plate detection based on fully convolutional networks
CN117274774A (zh) 一种基于YOLOv7的X射线安检图像危险品检测算法
Wang et al. Detection method of obstacles in the dangerous area of electric locomotive driving based on MSE-YOLOv4-Tiny
Yin et al. Detection of steel surface defect based on faster r-cnn and fpn
CN117746020A (zh) 一种x光安检图像违禁物品检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant