CN113095404A - 基于前后背景分卷积神经网络的x光违禁物品检测方法 - Google Patents

基于前后背景分卷积神经网络的x光违禁物品检测方法 Download PDF

Info

Publication number
CN113095404A
CN113095404A CN202110392132.3A CN202110392132A CN113095404A CN 113095404 A CN113095404 A CN 113095404A CN 202110392132 A CN202110392132 A CN 202110392132A CN 113095404 A CN113095404 A CN 113095404A
Authority
CN
China
Prior art keywords
image
convolution
network
decoder
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110392132.3A
Other languages
English (en)
Other versions
CN113095404B (zh
Inventor
刘静
邵方涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN202110392132.3A priority Critical patent/CN113095404B/zh
Publication of CN113095404A publication Critical patent/CN113095404A/zh
Application granted granted Critical
Publication of CN113095404B publication Critical patent/CN113095404B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N23/00—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00
    • G01N23/02—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material
    • G01N23/04—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material and forming images of the material
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Image Analysis (AREA)

Abstract

本发明提出了一种基于前后背景分离卷积神经网络的X光违禁物品检测方法，主要解决现有技术难以在重叠严重的X光场景下对违禁物品精确检测的问题。实现步骤为：(1)获取训练样本集和测试样本集；(2)构建前后背景分离神经网络模型；(3)对前后背景分离卷积神经网络模型进行迭代训练；(4)获取X光图像违禁物品识别结果。本发明在构建X光违禁物品检测模型结构时，首先构建特征提取网络模型的结构，然后用前景解码器和背景解码器来分别重构前景和背景，再利用注意力网络使高级特征关注于前景，解决了现有技术难以在重叠严重的X光场景下排除无关信息对违禁物品检测产生影响的问题，从而提高了X光场景下违禁物品的检测准确率。

Description

基于前后背景分卷积神经网络的X光违禁物品检测方法
技术领域
本发明属于计算机视觉技术领域，涉及一种X光违禁物品检测方法，具体涉及一种基于前后背景分离卷积神经网络的X光图像违禁物品的检测方法。
背景技术
X光图像检测广泛应用于维持公共交通枢纽以及物流运输，有效降低了危险事件和犯罪事件的发生。随着交通吞吐量的增加和对安全要求的提高，低效和繁琐的人工X光图像检查越来越难以满足要求，一种自动精准识别X光图像中的违禁物品的检查方法变得越来越重要。目前已经有很多目标检测算法在普通光学图像上取得了优异的结果，然而X光图像的成像特性与普通光学图像不同，X光违禁物品图像中的物体以半透明的形式呈现，物体之间遮挡严重并且失去了纹理和光泽特征，使得现有的目标检测算法难以在X光违禁物品场景下保持检测精度。
目前，对X光图像中的违禁物品检测主要有两种方法：一种方法是通过传统视觉方法检测违禁物品，一种用深度学习方法检测违禁物品。传统视觉方法首先用滑动窗口等策略对整幅图像进行区域选择，然后用特征描述子如HOG，SIFT，Haar等来对图像进行特征提取，最后用机器学习的分类器支持向量机对图像进行检测和识别。传统视觉方法在特定场景下具有优势，但需人工设计规则，且难以泛化，在复杂的X光图像场景下效果精度较低。深度学习方法分为两阶段和单阶段方法，两阶段方法先利用区域推荐获得候选框，将候选框输入到卷积神经网络学习到特征向量，由支持向量机对特征向量分类并完成候选框的框标定和回归，而单阶段方法通过卷积神经网络学习到特征后直接回归物体的类别和坐标值。深度学习方法相比传统方法具有更高的精度，但X光图像上的物体以半透明的状态相互重叠，使得现有深度学习方法在X光图像场景下检测精度欠佳。
随着深度学习的发展，更多的方法使用卷积神经网络作为主要框架来检测X光图像中的违禁物品。Yanlu Wei等人于2020年在其发表的论文“Occluded Prohibited ItemsDetection:An X-ray Security Inspection Benchmark and De-occlusion AttentionModule”(Proceedings of the 28th ACM International Conference onMultimedia.2020)中，公开了一种基于去遮挡注意力模块的X光违禁物品检测方法。该方法使用了一个去遮挡的注意力模块来排除遮挡物品在X光图像中的干扰，该模型可以嵌入到现有的单阶段或双阶段深度学习方法中。在训练神经网络时，根据两个子模块“边缘引导”和“材质认知”来生成违禁物品的边缘信息和材质信息，再通过这两个信息计算出注意力图，最后使输入关注于注意力图以得到高质量的图像特征，为探测器提供可靠信息。该方法重点关注于违禁物品的边缘和材质信息，帮助了检测器获得高质量的图像特征，从而提升检测效果。但是，该方法虽然训练时关注了边缘和材质信息，但违禁物品和无关物品的边缘和材质信息糅杂在一起，仍需要检测器从混杂的信息识别违禁物品，从而降低了违禁物品的检测精度。
又如Jinyi Liu等人于2019年在其发表的论文“Deep Convolutional NeuralNetwork Based Object Detector for X-ray Baggage Security Imagery”(International Conference on Tools with Artificial Intelligence(ICTAI)，2019，pp.1757–1761)中，公开了一种基于基于深度神经网络的目标检测框架，该方法采用双阶段的目标检测方法Fast R-CNN作为目标检测框架来检测X光图像中的违禁物品，在训练网络之前，先根据颜色对图像进行分割，设定R(224-255)，G(216-255)，B(201-255)作为阈值，将图像中在阈值范围内的部分作为背景，其他作为前景，然后将分割好的图像输入到检测器中检测违禁物品。该方法成功将大部分违禁物品分割到前景中，然而仅以颜色进行分割的图像，与违禁物品具有近似颜色的无关物品也被分割到前景中，导致违禁物品的检测精度。
发明内容
本发明的目的在于针对上述现有技术的不足，提出一种基于前后背景分离卷积神经网络的X光违禁物品检测方法，用于解决现有技术中存在的检测精度较低的技术问题。
为实现上述目的，本发明采取的技术方案包括如下步骤：
(1)获取训练样本集和测试样本集：
(1a)获取V幅包含不同类别违禁物品的X光图像O＝{oi|1≤i≤V}，并对每幅X光图像oi中的违禁物品类别及位置坐标进行标注，得到类别标签集
Figure BDA0003017120700000021
和位置坐标标签集
Figure BDA0003017120700000022
其中，V＞8000，oi表示第i幅X光图像，
Figure BDA0003017120700000023
和
Figure BDA0003017120700000024
分别表示oi所包含的违禁物品的类别标签和位置坐标标签，
Figure BDA0003017120700000025
cu表示第u类违禁物品，U表示违禁物品类别标签的总数，U≥2，yloc＝(xi,yi,wi,hi)，xi、yi、wi和hi分别表示
Figure BDA0003017120700000026
所围成的标记框中心的横坐标、标记框中心的纵坐标、标记框的宽和标记框的高；
(1b)将随机选取O中半数以上的违禁物品X光图像及其对应的类别标签和位置坐标标签组成训练样本集Otrain＝{oj|1≤j≤Vtrain}，V/2＜Vtrain≤V，将其余违禁物品X光图像及其对应的类别标签和位置坐标标签组成测试样本集Otest＝{ol|1≤l≤Vtest}，其中，oj表示训练样本集中的第j张X光图像，ol表示训练样本集中的第l张X光图像，V/2＜Vtrain≤V，Vtest＝V-Vtrain；
(2)构建前后背景分离卷积神经网络模型：
(2a)构建前后背景分离卷积神经网络模型的结构：
构建包括顺次连接的特征提取网络fextract、前景解码器网络fdecoder_foreground、注意力网络fattention和输出网络foutput，和连接在特征提取网络fextract后的另一分支背景解码器网络fdecoder_background，其中，特征提取网络fextract包括输入层、多个卷积模块和多个残差模块；前景解码器网络fdecoder_foreground、背景解码器网络fdecoder_background均包括多个上采样层、多个卷积模块和多个shortcut拼接层；注意力网络fattention包括多个卷积模块；输出网络foutput包括多个卷积层、多个归一化层和多个激活函数层；
(2b)定义前后背景分离损失函数Lossfb：
Lossfb＝|fpredict-ftarget|+|opredict-oj|+λin(|fin_predict-fin_target|+|oin_predict-oin|)
opredict＝fpredict·bpredict
其中oj表示训练样本集Otrain中的一幅图像，fpredict表示图像oj的预测前景图像，bpredict表示图像oj的预测背景图像，opredict表示由图像oj的预测前景fpredict和预测背景bpredict重构的图像，ftarget表示图像oj的目标前景图像，fin_predict表示预测前景fpredict在图像oj的位置坐标标签yloc范围内的图像，fin_target表示目标前景ftarget在图像oj的位置坐标标签yloc范围内的图像，oin_predict表示重构图像opredict在图像oj的位置坐标标签yloc范围内的图像，oin表示图像oj在在图像oj的位置坐标标签yloc范围内的图像，λin为位置坐标内外平衡参数；
(2c)定义类别和定位损失函数Losslc：
Figure BDA0003017120700000041
其中，K表示将图像oj划分成网格的网格数量，M表示候选框的anchor数量，
Figure BDA0003017120700000042
表示图像oj在网格点m，n处的候选框anchor内存在违禁物品，
Figure BDA0003017120700000043
表示图像oj在网格点m，处的候选框anchor内是否存在违禁物品，w表示图像的oj预测标记框的宽度，h表示图像oj的预测标记框的高度，x表示图像的oj预测标记框中心的横坐标，y表示图像oj预测标记框中心的纵坐标，C表示图像oj在预测标记框内存在违禁物品的置信度，
Figure BDA0003017120700000044
表示图像oj在预测标记框内实际存在违禁物品，p(c)表示图像oj的预测标记框内违禁物品属于第c类违禁物品的概率，
Figure BDA0003017120700000045
表示图像oj的预测标记框内是否存在第c类违禁物品，λcoord表示定位平衡参数，λnoobj表示类别平衡参数；
(3)对前后背景分离卷积神经网络进行迭代训练：
(3a)初始化特征提取网络fextract的网络权重参数为
Figure BDA0003017120700000046
前景解码器网络fdecoder_foreground的网络权重参数为
Figure BDA0003017120700000047
背景解码器网络fdecoder_background的网络权重参数为
Figure BDA0003017120700000048
注意力网络fattention的网络权重参数为
Figure BDA0003017120700000049
输出网络foutput的网络权重参数为
Figure BDA00030171207000000410
迭代次数为t，最大迭代次数为T≥50，并令t＝0；
(3b)将训练样本集Otrain中的每幅图像oj作为特征提取网络fextract的输入，每幅图像oj在特征提取网络中进行前向传播，得到图像oj的高级特征
Figure BDA00030171207000000411
(3d)将图像oj的高级特征
Figure BDA0003017120700000051
分别作为前景解码器网络fdecoder_foreground和背景解码器fdecoder_background的输入进行重构，得到图像oj的预测前景
Figure BDA0003017120700000052
和预测背景
Figure BDA0003017120700000053
(3e)由预测前景
Figure BDA0003017120700000054
和预测背景
Figure BDA0003017120700000055
构建图像oj的目标前景
Figure BDA0003017120700000056
和目标背景
Figure BDA0003017120700000057
Figure BDA0003017120700000058
Figure BDA0003017120700000059
其中，
Figure BDA00030171207000000510
表示图像oj在位置坐标标签
Figure BDA00030171207000000511
范围内的图像，
Figure BDA00030171207000000512
表示图像oj中除
Figure BDA00030171207000000513
以外部分的图像，
Figure BDA00030171207000000514
表示
Figure BDA00030171207000000515
与
Figure BDA00030171207000000516
之间的差异，threhold为差异阈值；
(3f)将图像oj的预测前景
Figure BDA00030171207000000517
作为注意力网络fattention的输入fattention进行向前传播，得到图像oi的注意力图
Figure BDA00030171207000000518
(3g)将图像oj的注意力图
Figure BDA00030171207000000519
与图像oj的高级特征
Figure BDA00030171207000000520
相乘，得到图像oj关注于预测前景
Figure BDA00030171207000000521
的高级特征
Figure BDA00030171207000000522
(3g)将图像oj关注于预测前景
Figure BDA00030171207000000523
的高级特征
Figure BDA00030171207000000524
作为输出网络foutput的输入进行向前传播，得到图像oi的所包含违禁物品的预测位置坐标标签
Figure BDA00030171207000000525
置信度信息
Figure BDA00030171207000000526
和预测类别标签概率
Figure BDA00030171207000000527
(3h)采用损失函数Lossfb，当t＝0，通过
Figure BDA00030171207000000528
计算前后背景分离损失函数Lossfb，当t≥1，通过
Figure BDA00030171207000000529
计算前后背景分离损失函数Lossfb；采用损失函数Losslc，并通过
Figure BDA00030171207000000530
(xj,yj,wj,hj)、
Figure BDA00030171207000000531
Figure BDA00030171207000000532
计算类别和定位损失函数Losslc；将前后背景分离损失函数Lossfb与类别和定位损失函数Losslc相加得到前后背景分离卷积神经网络总损失函数Loss＝Lossfb+Losslc，再采用反向传播方法并通过Loss计算fextract、fdecoder_foreground、fdecoder_background，fattention和foutput的网络权重参数梯度，然后采用梯度下降算法通过fextract、fdecoder_foreground、fdecoder_background，fattention和foutput的网络权重参数梯度对fextract、fdecoder_foreground、fdecoder_background，fattention和foutput的网络权重参数θextract，θdecoder_foreground，θdecoder_background，θattention和θoutput进行更新；
(3f)判断t≥T是否成立，若是，得到训练好的前后背景分离卷积神经网络模型，否则，令t＝t+1，并执行步骤(3b)；
(4)获取X光违禁物品图像识别结果：
(4a)将测试样本集Otest中的每一个测试图像ol作为训练好的前后背景分离卷积神经网络模型的输入进行前向传播，得到违禁物品的预测位置坐标标签(xl,yl,wl,hl)，置信度信息Cl和类别标签概率pl(c)；
(4b)将测试图像ol预测的置信度信息
Figure BDA0003017120700000061
中大于0.5的结果所对应的预测位置坐标标签(xl,yl,wl,hl)和类别标签概率pl(c)中最大值对应的违禁物品类别分别作为测试图像ol违禁物品的位置预测结果和类别预测结果。
本发明与现有技术相比，具有以下优点：
本发明在构建X光违禁物品检测模型结构时，首先构建特征提取网络模型的结构，然后用前景解码器和背景解码器来分别重构前景和背景，再利用注意力网络使高级特征关注于前景，解决了现有技术虽然能提取出轮廓和材质信息，但难以排除无关信息对违禁物品检测产生影响的问题，从而提高了X光场景下违禁物品的检测准确率；其次，本发明构建了目标前景和目标背景并使用递归训练使其自适应的向真实前景和真实背景接近，解决了现有技术中设定颜色阈值来分离前后背景时得到的前景仍包含较多干扰信息的问题，从而提高了复杂X光场景下违禁物品的检测准确率。
附图说明
图1为本发明的实现流程图；
图2为本发明的X光图像违禁物品检测结果示意图。
具体实施方式
下面将结合附图和具体实施例，对本发明进行详细说明。
参照图1，本发明包括如下步骤：
步骤1)获取训练样本集和测试样本集：
步骤1a)获取V幅包含不同类别违禁物品的X光图像O＝{oi|1≤i≤V}，并对每幅X光图像oi中的违禁物品类别及位置坐标进行标注，得到类别标签集
Figure BDA0003017120700000071
和位置坐标标签集
Figure BDA0003017120700000072
其中，V＞8000，oi表示第i幅X光图像，
Figure BDA0003017120700000073
和
Figure BDA0003017120700000074
分别表示oi所包含的违禁物品的类别标签和位置坐标标签，
Figure BDA0003017120700000075
cu表示第u类违禁物品，U表示违禁物品类别标签的总数，U≥2，yloc＝(xi,yi,wi,hi)，xi、yi、wi和hi分别表示
Figure BDA0003017120700000076
所围成的标记框中心的横坐标、标记框中心的纵坐标、标记框的宽和标记框的高，本实例中，V＝8885，U＝5；
步骤1b)将随机选取O中半数以上的违禁物品X光图像及其对应的类别标签和位置坐标标签组成训练样本集Otrain＝{oj|1≤j≤Vtrain}，V/2＜Vtrain≤V，将其余违禁物品X光图像及其对应的类别标签和位置坐标标签组成测试样本集Otest＝{ol|1≤l≤Vtest}，其中，oj表示训练样本集中的第j张X光图像，ol表示训练样本集中的第l张X光图像，V/2＜Vtrain≤V，Vtest＝V-Vtrain本实例中，Vtrain＝7109，Vtest＝1776；
步骤2)构建前后背景分离卷积神经网络模型：
步骤2a)构建前后背景分离卷积神经网络模型的结构：
构建包括顺次连接的特征提取网络fextract、前景解码器网络fdecoder_foreground、注意力网络fattention和输出网络foutput，和连接在特征提取网络fextract后的另一分支背景解码器网络fdecoder_background，其中，特征提取网络fextract包括输入层、多个卷积模块和多个残差模块；前景解码器网络fdecoder_foreground、背景解码器网络fdecoder_background均包括多个上采样层、多个卷积模块和多个shortcut拼接层；注意力网络fattention包括多个卷积模块；输出网络foutput包括多个卷积层、多个归一化层和多个激活函数层；
其中特征提取网络fextract用于初步提取图像中的高级特征，为排除遮挡在违禁物品上的无关信息，利用前景解码器fdecoder_foreground和背景解码器fattention分别重构违禁物品和无关物品作为前景和背景，然后利用注意力网络fattention使高级特征关注于只有违禁物品信息的前景，排除无关信息对网络检测的影响，从而提高检测检测精度；
前后背景分离卷积神经网络模型包括特征提取网络fextract，前景解码器网络fdecoder_foreground、背景解码器网络fdecoder_background，注意力网络fattention和输出网络foutput，其中：
特征提取网络fextract采用包含和五个卷积模块和二十三个残差模块的卷积神经网络，其结构依次为：输入层→第一卷积模块第一残差模块→第二卷积模块→第二残差模块→第三残差模块→第三卷积模块→第四残差模块→第五残差模块→第六残差模块→第七残差模块→第八残差模块→第九残差模块→第十残差模块→第十一残差模块→第四卷积模块→第十二残差模块→第十三残差模块→第十四残差模块→第十五残差模块→第十六残差模块→第十七残差模块→第十八残差模块→第十九残差模块→第五卷积模块→第二十残差模块→第二十一残差模块→第二十二残差模块→第二十三残差模块；
所述卷积模块的具体结构依次为：第一卷积层→第一归一化层→第一激活函数层；
所述残差模块的具体结构依次为：第一卷积模块→第二卷积模块→shortcut拼接层；
所述特征提取网络fextract的每层参数设置为：将第一至第五卷积模块中的第一卷积层的卷积核大小设置为3×3，卷积步长设置为2，填充值为1；将第一至第二十三残差模块中第一卷积模块的第一卷积层的卷积核大小设置为1×1，卷积步长设置为1，填充值为0，将第二卷积模块的第一卷积层积核大小设置为3×3，卷积步长设置为1，填充值为1；第一至第五卷积模块和第一至第二十三残差模块中的归一化层均采用BatchNorm2d函数；第一至第五卷积模块和第一至第二十三残差模块中的激活函数层均采用LeakyReLU函数，其斜率均设置为0.2；
前景解码器网络fdecoder_foreground、前景解码器网络fdecoder_background均采用包含五个上采样层，五个shortcut拼接层和六个卷积模块的卷积神经网络，其结构依次为：第一上采样层→第一shortcut拼接层→第一卷积模块→第二上采样层→第二shortcut拼接层→第二卷积模块→第三上采样层→第三shortcut拼接层→第三卷积模块→第四上采样层→第四shortcut拼接层→第四卷积模块→第五上采样层→第五shortcut拼接层→第五卷积模块→第六卷积模块；
所述前景解码器网络fdecoder_foreground、前景解码器网络fdecoder_background的每层参数均设置为：第一至第五上采样层采用nearest算法，比例设置为2；将第一至第五卷积模块中的第一卷积层的卷积核大小设置为1×1，卷积步长设置为1，填充值为0；第一至第五卷积模块中的第一归一化层采用BatchNorm2d函数；第一至第五卷积中的第一激活函数层采用LeakyReLU函数，其斜率均设置为0.2；将第六卷积模块的第一卷积层的卷积核大小设置为1×1，卷积步长设置为1，填充值为0；第六卷积的第一归一化层采用BatchNorm2d函数；第六卷积模块的第一激活函数层采用Sigmoid函数；
注意力网络fattention采用包含五个卷积模块的卷积神经网络，其结构依次为：第一卷积模块→第二卷积模块→第三卷积模块→第四卷积模块→第五卷积模块；
所述注意力网络fattention的每层参数设置为：将第一至五卷积模块中的第一卷积层的卷积核大小设置为3×3，卷积步长设置为2，填充值为1；第一至五卷积模块中的第一归一化层采用BatchNorm2d函数；第一、二卷积模块中的第一激活函数采用LeakyReLU函数，其斜率均设置为0.2；第三、四、五卷积模块中的第一激活函数采用Sigmoid函数；
输出网络foutput采用包含两个卷积层，一个归一化层和一个激活函数层的神经网络，其结构依次为：第一卷积层→第二卷积层→第一归一化层→第一激活函数曾；
所述输出网络foutput的每层参数设置为：将第一卷积层的卷积核大小设置为3×3，卷积步长设置为2，填充值为1；将第二卷积层的卷积核大小设置为1×1，卷积步长设置为1，填充值为0；第一归一化层采用BatchNorm2d函数；第一激活函数层第一激活函数采用LeakyReLU函数；
步骤2b)为了使重构的前景和背景接近真实前景和背景，在损失函数中刚加入前后背景分离损失函数Lossfb，前后背景分离损失函数Lossfb定义为：
Lossfb＝|fpredict-ftarget|+|opredict-oj|+λin(|fin_predict-fin_target|+|oin_predict-oin|)
opredict＝fpredict·bpredict
其中oj表示训练样本集Otrain中的一幅图像，fpredict表示图像oj的预测前景图像，bpredict表示图像oj的预测背景图像，opredict表示由图像oj的预测前景fpredict和预测背景bpredict重构的图像，ftarget表示图像oj的目标前景图像，fin_predict表示预测前景fpredict在图像oj的位置坐标标签yloc范围内的图像，fin_target表示目标前景ftarget在图像oj的位置坐标标签yloc范围内的图像，oin_predict表示重构图像opredict在图像oj的位置坐标标签yloc范围内的图像，oin表示图像oj在在图像oj的位置坐标标签yloc范围内的图像，λin为位置坐标内外平衡参数，本实例中，内外平衡参数λin为0.2；
步骤2c)定义类别和定位损失函数Losslc：
Figure BDA0003017120700000101
其中，K表示将图像oj划分成网格的网格数量，M表示候选框的anchor数量，
Figure BDA0003017120700000102
表示图像oj在网格点m，n处的候选框anchor内存在违禁物品，
Figure BDA0003017120700000103
表示图像oj在网格点m，处的候选框anchor内是否存在违禁物品，w表示图像的oj预测标记框的宽度，h表示图像oj的预测标记框的高度，x表示图像的oj预测标记框中心的横坐标，y表示图像oj预测标记框中心的纵坐标，C表示图像oj在预测标记框内存在违禁物品的置信度，
Figure BDA0003017120700000104
表示图像oj在预测标记框内实际存在违禁物品，p(c)表示图像oj的预测标记框内违禁物品属于第c类违禁物品的概率，
Figure BDA0003017120700000105
表示图像oj的预测标记框内是否存在第c类违禁物品，λcoord表示定位平衡参数，λnoobj表示类别平衡参数，本实例中，候选框anchor的数量M为3，网格数量K为13，26，52，定位平衡参数λcoord为5，类别平衡参数λnoobj为0.5；
步骤3)对前后背景分离卷积神经网络进行迭代训练：
步骤3a)初始化特征提取网络fextract的网络权重参数为
Figure BDA0003017120700000106
前景解码器网络fdecoder_foreground的网络权重参数为
Figure BDA0003017120700000107
背景解码器网络fdecoder_background的网络权重参数为
Figure BDA0003017120700000108
注意力网络fattention的网络权重参数为
Figure BDA0003017120700000109
输出网络foutput的网络权重参数为
Figure BDA00030171207000001010
迭代次数为t，本实例中最大迭代次数为T＝50，并令t＝0；
步骤3b)将训练样本集Otrain中的每幅图像oj作为特征提取网络fextract的输入，每幅图像oj在特征提取网络中进行前向传播，得到图像oj的高级特征
Figure BDA0003017120700000111
步骤3d)将图像oj的高级特征
Figure BDA0003017120700000112
分别作为前景解码器网络fdecoder_foreground和背景解码器fdecoder_background的输入进行重构，得到图像oj的预测前景
Figure BDA0003017120700000113
和预测背景
Figure BDA0003017120700000114
步骤3e)由预测前景
Figure BDA0003017120700000115
和预测背景
Figure BDA0003017120700000116
构建图像oj的目标前景
Figure BDA0003017120700000117
和目标背景
Figure BDA0003017120700000118
Figure BDA0003017120700000119
Figure BDA00030171207000001110
其中，
Figure BDA00030171207000001111
表示图像oj在位置坐标标签
Figure BDA00030171207000001112
范围内的图像，
Figure BDA00030171207000001113
表示图像oj中除
Figure BDA00030171207000001114
以外部分的图像，
Figure BDA00030171207000001115
表示
Figure BDA00030171207000001116
与
Figure BDA00030171207000001117
之间的差异，threhold为差异阈值；
上述构建目标前景
Figure BDA00030171207000001118
和目标背景
Figure BDA00030171207000001119
的过程，保证了预测前景
Figure BDA00030171207000001120
和预测背景
Figure BDA00030171207000001121
与原图差异在一定范围内的调节下，自适应的向真实前景和真实背景靠近；
步骤3f)将图像oj的预测前景
Figure BDA00030171207000001122
作为注意力网络fattention的输入fattention进行向前传播，得到图像oi的注意力图
Figure BDA00030171207000001123
步骤3g)将图像oj的注意力图
Figure BDA00030171207000001124
与图像oj的高级特征
Figure BDA00030171207000001125
相乘，得到图像oj关注于预测前景
Figure BDA00030171207000001126
的高级特征
Figure BDA00030171207000001127
步骤3g)将图像oj关注于预测前景
Figure BDA00030171207000001128
的高级特征
Figure BDA00030171207000001129
作为输出网络foutput的输入进行向前传播，得到图像oi的所包含违禁物品的预测位置坐标标签
Figure BDA00030171207000001130
置信度信息
Figure BDA00030171207000001131
和预测类别标签概率
Figure BDA00030171207000001132
步骤3h)采用损失函数Lossfb，当t＝0，通过
Figure BDA00030171207000001133
计算前后背景分离损失函数Lossfb，当t≥1，通过
Figure BDA00030171207000001134
计算前后背景分离损失函数Lossfb；采用损失函数Losslc，并通过
Figure BDA0003017120700000121
(xj,yj,wj,hj)、
Figure BDA0003017120700000122
计算类别和定位损失函数Losslc；将前后背景分离损失函数Lossfb与类别和定位损失函数Losslc相加得到前后背景分离卷积神经网络总损失函数Loss＝Lossfb+Losslc，再采用反向传播方法并通过Loss计算fextract、fdecoder_foreground、fdecoder_background，fattention和foutput的网络权重参数梯度，然后采用梯度下降算法通过fextract、fdecoder_foreground、fdecoder_background，fattention和foutput的网络权重参数梯度对fextract、fdecoder_foreground、fdecoder_background，fattention和foutput的网络权重参数θextract，θdecoder_foreground，θdecoder_background，θattention和θoutput进行更新，网络权重参数θ的更新公式为：
Figure BDA0003017120700000123
其中，θt表示更新后的网络权重参数，θt表示更新前的网络权重参数，α表示步长，
Figure BDA0003017120700000124
表示f的网络权重参数梯度；
步骤3f)判断t≥T是否成立，若是，得到训练好的前后背景分离卷积神经网络模型，否则，令t＝t+1，并执行步骤(3b)；
步骤4)获取X光违禁物品图像识别结果：
步骤4a)将测试样本集Otest中的每一个测试图像ol作为训练好的前后背景分离卷积神经网络模型的输入进行前向传播，得到违禁物品的预测位置坐标标签(xl,yl,wl,hl)，置信度信息Cl和类别标签概率pl(c)；
步骤4b)将测试图像ol预测的置信度信息
Figure BDA0003017120700000125
中大于0.5的结果所对应的预测位置坐标标签(xl,yl,wl,hl)和类别标签概率pl(c)中最大值对应的违禁物品类别分别作为测试图像ol违禁物品的位置预测结果和类别预测结果。
以下结合仿真实验，对本发明的技术效果作进一步说明。
1.仿真条件：
本发明的仿真实验的硬件平台为：处理器为Intel(R)Core i5-9400F CPU，主频为2.9GHz，内存为32GB、显卡为NVIDIA GeForce RTX 2070Super。
本发明的仿真实验的软件平台为：Ubuntu 20.04操作系统，python版本为3.7，Pytorch版本为1.7.1。
2.仿真内容及仿真结果分析：
本发明仿真实验中生成训练集和测试集时，使用了公开的标准数据集OccludedProhibited Items X-ray(OPIXray)，该数据集包含五个分类，折叠刀，直刀，剪刀，美工刀，多功能刀，共8885张X光图像，本发明仿真实验中使用OPIXray中7109张图片作为训练集，1776张图片作为测试集。
本发明仿真实验是采用本发明和一个现有技术(DOAM方法)分别对测试集中的1176张图片中的违禁物品进行检测。
现有技术DOAM方法是指，Y.Wei等人在“Occluded prohibited items detection:An X-ray security inspection benchmark and de-occlusion attention module.(Proceedings of the 28th ACM International Conference on Multimedia.2020)”中提出的X光目标违禁物品检测方法，简称DOAM方法，仿真实验中DOAM方法采用单阶段目标检测算法yolov4作为主体网路，嵌入DOAM模块进行仿真。
为了对本发明仿真结果的效果进行评估，本发明采用平均精度(AP)作为性能评价指标与现有技术进行对比，AP的定义为精度Precision和和召回率Recall所成曲线下的面积，精度Precision定义为TP/(TP+FP)，召回率Recall定义为TP/(TP+FN)，其中TP，TN，FP和FN分别代表真正类，真反类，价正类和假反类，mAP定义为AP的平均值，对比结果如表1所示：
表1仿真实验中本发明和现有技术AP的对比表
Figure BDA0003017120700000131
从表1中可以看出本发明在OPIXray数据集上mAP为81.74％，高于现有技术方法，在折叠刀，直刀，剪刀，美工刀，多功能刀五个类别上的AP分别为86.38％，57.99％，95.45％，80.62％，88.29％，在直刀，剪刀，美工刀，多功能刀四个类别上均现有技术方法，证明本方法可以有效提高检测X光图像中的违禁物品的精度。
参照图2，是本发明的X光图像违禁物品检测结果示意图，X光图像中的违禁物品用矩形框出，并显示其类别和置信度，其中，图2(a)为多功能刀的检测结果示意图，检测置信度为0.95；图2(b)为直刀的检测结果示意图，检测置信度为0.95；图2(c)为剪刀的检测结果示意图，检测置信度为1.00；图2(d)为美工刀的检测结果示意图，检测置信度为0.99。
以上仿真实验表明：本发明在构建X光违禁物品检测模型结构时，首先构建特征提取网络模型的结构，然后用前景解码器和背景解码器来分别重构前景和背景，再利用注意力网络使高级特征关注于前景，解决了现有技术难以排除无关信息对违禁物品检测产生影响的问题，从而提高了X光场景下违禁物品的检测准确率。

Claims (3)

1.一种基于前后背景分离卷积神经网络的X光违禁物品检测方法，其特征在于包括如下步骤：
(1)获取训练样本集和测试样本集：
(1a)获取V幅包含不同类别违禁物品的X光图像O＝{oi|1≤i≤V}，并对每幅X光图像oi中的违禁物品类别及位置坐标进行标注，得到类别标签集
Figure FDA0003017120690000011
和位置坐标标签集
Figure FDA0003017120690000012
其中，V＞8000，oi表示第i幅X光图像，
Figure FDA0003017120690000013
和
Figure FDA0003017120690000014
分别表示oi所包含的违禁物品的类别标签和位置坐标标签，
Figure FDA0003017120690000015
cu表示第u类违禁物品，U表示违禁物品类别标签的总数，U≥2，yloc＝(xi,yi,wi,hi)，xi、yi、wi和hi分别表示
Figure FDA0003017120690000016
所围成的标记框中心的横坐标、标记框中心的纵坐标、标记框的宽和标记框的高；
(1b)将随机选取O中半数以上的违禁物品X光图像及其对应的类别标签和位置坐标标签组成训练样本集Otrain＝{oj|1≤j≤Vtrain}，V/2＜Vtrain≤V，将其余违禁物品X光图像及其对应的类别标签和位置坐标标签组成测试样本集Otest＝{ol|1≤l≤Vtest}，其中，oj表示训练样本集中的第j张X光图像，ol表示训练样本集中的第l张X光图像，V/2＜Vtrain≤V，Vtest＝V-Vtrain；
(2)构建前后背景分离卷积神经网络模型：
(2a)构建前后背景分离卷积神经网络模型的结构：
构建包括顺次连接的特征提取网络fextract、前景解码器网络fdecoder_foreground、注意力网络fattention和输出网络foutput，和连接在特征提取网络fextract后的另一分支背景解码器网络fdecoder_background，其中，特征提取网络fextract包括输入层、多个卷积模块和多个残差模块；前景解码器网络fdecoder_foreground、背景解码器网络fdecoder_background均包括多个上采样层、多个卷积模块和多个shortcut拼接层；注意力网络fattention包括多个卷积模块；输出网络foutput包括多个卷积层、多个归一化层和多个激活函数层；
(2b)定义前后背景分离损失函数Lossfb：
Lossfb＝|fpredict-ftarget|+|opredict-oj|+λin(|fin_predict-fin_target|+|oin_predict-oin|)
opredict＝fpredict·bpredict
其中oj表示训练样本集Otrain中的一幅图像，fpredict表示图像oj的预测前景图像，bpredict表示图像oj的预测背景图像，opredict表示由图像oj的预测前景fpredict和预测背景bpredict重构的图像，ftarget表示图像oj的目标前景图像，fin_predict表示预测前景fpredict在图像oj的位置坐标标签yloc范围内的图像，fin_target表示目标前景ftarget在图像oj的位置坐标标签yloc范围内的图像，oin_predict表示重构图像opredict在图像oj的位置坐标标签yloc范围内的图像，oin表示图像oj在在图像oj的位置坐标标签yloc范围内的图像，λin为位置坐标内外平衡参数；
(2c)定义类别和定位损失函数Losslc：
Figure FDA0003017120690000021
其中，K表示将图像oj划分成网格的网格数量，M表示候选框的anchor数量,
Figure FDA0003017120690000022
表示图像oj在网格点m，n处的候选框anchor内存在违禁物品，
Figure FDA0003017120690000023
表示图像oj在网格点m，处的候选框anchor内是否存在违禁物品，w表示图像的oj预测标记框的宽度，h表示图像oj的预测标记框的高度，x表示图像的oj预测标记框中心的横坐标，y表示图像oj预测标记框中心的纵坐标,C表示图像oj在预测标记框内存在违禁物品的置信度，
Figure FDA0003017120690000031
表示图像oj在预测标记框内实际存在违禁物品，p(c)表示图像oj的预测标记框内违禁物品属于第c类违禁物品的概率，
Figure FDA0003017120690000032
表示图像oj的预测标记框内是否存在第c类违禁物品，λcoord表示定位平衡参数，λnoobj表示类别平衡参数；
(3)对前后背景分离卷积神经网络进行迭代训练：
(3a)初始化特征提取网络fextract的网络权重参数为
Figure FDA0003017120690000033
前景解码器网络fdecoder_foreground的网络权重参数为
Figure FDA0003017120690000034
背景解码器网络fdecoder_background的网络权重参数为
Figure FDA0003017120690000035
注意力网络fattention的网络权重参数为
Figure FDA0003017120690000036
输出网络foutput的网络权重参数为
Figure FDA0003017120690000037
迭代次数为t，最大迭代次数为T≥50，并令t＝0；
(3b)将训练样本集Otrain中的每幅图像oj作为特征提取网络fextract的输入，每幅图像oj在特征提取网络中进行前向传播，得到图像oj的高级特征
Figure FDA0003017120690000038
(3d)将图像oj的高级特征
Figure FDA0003017120690000039
分别作为前景解码器网络fdecoder_foreground和背景解码器fdecoder_background的输入进行重构，得到图像oj的预测前景
Figure FDA00030171206900000310
和预测背景
Figure FDA00030171206900000311
(3e)由预测前景
Figure FDA00030171206900000312
和预测背景
Figure FDA00030171206900000313
构建图像oj的目标前景
Figure FDA00030171206900000314
和目标背景
Figure FDA00030171206900000315
Figure FDA00030171206900000316
Figure FDA00030171206900000317
其中，
Figure FDA00030171206900000318
表示图像oj在位置坐标标签
Figure FDA00030171206900000319
范围内的图像，
Figure FDA00030171206900000320
表示图像oj中除
Figure FDA00030171206900000321
以外部分的图像，
Figure FDA00030171206900000322
表示
Figure FDA00030171206900000323
与
Figure FDA00030171206900000324
之间的差异，threhold为差异阈值；
(3f)将图像oj的预测前景
Figure FDA0003017120690000041
作为注意力网络fattention的输入fattention进行向前传播，得到图像oi的注意力图
Figure FDA0003017120690000042
(3g)将图像oj的注意力图
Figure FDA0003017120690000043
与图像oj的高级特征
Figure FDA0003017120690000044
相乘，得到图像oj关注于预测前景
Figure FDA0003017120690000045
的高级特征
Figure FDA0003017120690000046
(3g)将图像oj关注于预测前景
Figure FDA0003017120690000047
的高级特征
Figure FDA0003017120690000048
作为输出网络foutput的输入进行向前传播，得到图像oi的所包含违禁物品的预测位置坐标标签
Figure FDA0003017120690000049
置信度信息
Figure FDA00030171206900000410
和预测类别标签概率
Figure FDA00030171206900000411
(3h)采用损失函数Lossfb，当t＝0，通过
Figure FDA00030171206900000412
计算前后背景分离损失函数Lossfb，当t≥1，通过
Figure FDA00030171206900000413
计算前后背景分离损失函数Lossfb；采用损失函数Losslc，并通过
Figure FDA00030171206900000414
Figure FDA00030171206900000415
(xj,yj,wj,hj)、
Figure FDA00030171206900000416
计算类别和定位损失函数Losslc；将前后背景分离损失函数Lossfb与类别和定位损失函数Losslc相加得到前后背景分离卷积神经网络总损失函数Loss＝Lossfb+Losslc，再采用反向传播方法并通过Loss计算fextract、fdecoder_foreground、fdecoder_background，fattention和foutput的网络权重参数梯度，然后采用梯度下降算法通过fextract、fdecoder_foreground、fdecoder_background，fattention和foutput的网络权重参数梯度对fextract、fdecoder_foreground、fdecoder_background，fattention和foutput的网络权重参数θextract,θdecoder_foreground，θdecoder_background，θattention和θoutput进行更新；
(3f)判断t≥T是否成立，若是，得到训练好的前后背景分离卷积神经网络模型，否则，令t＝t+1，并执行步骤(3b)；
(4)获取X光违禁物品图像识别结果：
(4a)将测试样本集Otest中的每一个测试图像ol作为训练好的前后背景分离卷积神经网络模型的输入进行前向传播，得到违禁物品的预测位置坐标标签(xl,yl,wl,hl)，置信度信息Cl和类别标签概率pl(c)；
(4b)将测试图像ol预测的置信度信息Ctesti中大于0.5的结果所对应的预测位置坐标标签(xl,yl,wl,hl)和类别标签概率pl(c)中最大值对应的违禁物品类别分别作为测试图像ol违禁物品的位置预测结果和类别预测结果。
2.根据权利要求1所述的基于前后背景分离卷积神经网络的X光违禁物品检测方法，其特征在于，步骤(2a)中所述的特征提取网络fextract，前景解码器网络fdecoder_foreground、背景解码器网络fdecoder_background，注意力网络fattention和输出网络foutput，其中：
特征提取网络fextract采用包含和五个卷积模块和二十三个残差模块的卷积神经网络，其结构依次为：输入层→第一卷积模块第一残差模块→第二卷积模块→第二残差模块→第三残差模块→第三卷积模块→第四残差模块→第五残差模块→第六残差模块→第七残差模块→第八残差模块→第九残差模块→第十残差模块→第十一残差模块→第四卷积模块→第十二残差模块→第十三残差模块→第十四残差模块→第十五残差模块→第十六残差模块→第十七残差模块→第十八残差模块→第十九残差模块→第五卷积模块→第二十残差模块→第二十一残差模块→第二十二残差模块→第二十三残差模块；
所述卷积模块的具体结构依次为：第一卷积层→第一归一化层→第一激活函数层；
所述残差模块的具体结构依次为：第一卷积模块→第二卷积模块→shortcut拼接层；
所述特征提取网络fextract的每层参数设置为：将第一至第五卷积模块中的第一卷积层的卷积核大小设置为3×3，卷积步长设置为2，填充值为1；将第一至第二十三残差模块中第一卷积模块的第一卷积层的卷积核大小设置为1×1，卷积步长设置为1，填充值为0，将第二卷积模块的第一卷积层积核大小设置为3×3，卷积步长设置为1，填充值为1；第一至第五卷积模块和第一至第二十三残差模块中的归一化层均采用BatchNorm2d函数；第一至第五卷积模块和第一至第二十三残差模块中的激活函数层均采用LeakyReLU函数，其斜率均设置为0.2；
前景解码器网络fdecoder_foreground、前景解码器网络fdecoder_background均采用包含五个上采样层，五个shortcut拼接层和六个卷积模块的卷积神经网络，其结构依次为：第一上采样层→第一shortcut拼接层→第一卷积模块→第二上采样层→第二shortcut拼接层→第二卷积模块→第三上采样层→第三shortcut拼接层→第三卷积模块→第四上采样层→第四shortcut拼接层→第四卷积模块→第五上采样层→第五shortcut拼接层→第五卷积模块→第六卷积模块；
所述前景解码器网络fdecoder_foreground、前景解码器网络fdecoder_background的每层参数均设置为：第一至第五上采样层采用nearest算法，比例设置为2；将第一至第五卷积模块中的第一卷积层的卷积核大小设置为1×1，卷积步长设置为1，填充值为0；第一至第五卷积模块中的第一归一化层采用BatchNorm2d函数；第一至第五卷积中的第一激活函数层采用LeakyReLU函数，其斜率均设置为0.2；将第六卷积模块的第一卷积层的卷积核大小设置为1×1，卷积步长设置为1，填充值为0；第六卷积的第一归一化层采用BatchNorm2d函数；第六卷积模块的第一激活函数层采用Sigmoid函数；
注意力网络fattention采用包含五个卷积模块的卷积神经网络，其结构依次为：第一卷积模块→第二卷积模块→第三卷积模块→第四卷积模块→第五卷积模块；
所述注意力网络fattention的每层参数设置为：将第一至五卷积模块中的第一卷积层的卷积核大小设置为3×3，卷积步长设置为2，填充值为1；第一至五卷积模块中的第一归一化层采用BatchNorm2d函数；第一、二卷积模块中的第一激活函数采用LeakyReLU函数，其斜率均设置为0.2；第三、四、五卷积模块中的第一激活函数采用Sigmoid函数；
输出网络foutput采用包含两个卷积层，一个归一化层和一个激活函数层的神经网络，其结构依次为：第一卷积层→第二卷积层→第一归一化层→第一激活函数曾；
所述输出网络foutput的每层参数设置为：将第一卷积层的卷积核大小设置为3×3，卷积步长设置为2，填充值为1；将第二卷积层的卷积核大小设置为1×1，卷积步长设置为1，填充值为0；第一归一化层采用BatchNorm2d函数；第一激活函数层第一激活函数采用LeakyReLU函数。
3.根据权利要求1所述的基于前后背景分离卷积神经网络的X光违禁物品检测方法，其特征在于，步骤(3h)中所述的采用梯度下降算法通过网络f的网络权重参数梯度对网络f的网络权重参数θ进行更新，其中，f为特征提取网络fextract，前景解码器网络fdecoder_foreground、背景解码器网络fdecoder_background，注意力网络fattention和输出网络foutput中的任一网络，θ为对应网络的网络权重参数，更新公式为：
θt＝θt-1-α▽Lt-1(θt-1)
其中，θt表示更新后的网络权重参数，θt表示更新前的网络权重参数，α表示步长，▽Lt-1(θt-1)表示f的网络权重参数梯度。
CN202110392132.3A 2021-04-13 2021-04-13 基于前后背景分卷积神经网络的x光违禁物品检测方法 Active CN113095404B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110392132.3A CN113095404B (zh) 2021-04-13 2021-04-13 基于前后背景分卷积神经网络的x光违禁物品检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110392132.3A CN113095404B (zh) 2021-04-13 2021-04-13 基于前后背景分卷积神经网络的x光违禁物品检测方法

Publications (2)

Publication Number Publication Date
CN113095404A true CN113095404A (zh) 2021-07-09
CN113095404B CN113095404B (zh) 2023-07-04

Family

ID=76677326

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110392132.3A Active CN113095404B (zh) 2021-04-13 2021-04-13 基于前后背景分卷积神经网络的x光违禁物品检测方法

Country Status (1)

Country Link
CN (1) CN113095404B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113807231A (zh) * 2021-09-14 2021-12-17 西安电子科技大学 基于unet下采样卷积神经网络的x光违禁物检测方法
CN115205292A (zh) * 2022-09-15 2022-10-18 合肥中科类脑智能技术有限公司 一种配电线路树障检测方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108647585A (zh) * 2018-04-20 2018-10-12 浙江工商大学 一种基于多尺度循环注意力网络的交通标识符检测方法
CN109784203A (zh) * 2018-12-24 2019-05-21 中国科学院大学 基于分层传播和激活的弱监督x光图像违禁品检查方法
WO2019134504A1 (zh) * 2018-01-05 2019-07-11 Oppo广东移动通信有限公司 图像背景虚化方法、装置、存储介质及电子设备
CN111783705A (zh) * 2020-07-08 2020-10-16 厦门商集网络科技有限责任公司 一种基于注意力机制的文字识别方法及系统
CN111832516A (zh) * 2020-07-22 2020-10-27 西安电子科技大学 基于无监督视频表示学习的视频行为识别方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019134504A1 (zh) * 2018-01-05 2019-07-11 Oppo广东移动通信有限公司 图像背景虚化方法、装置、存储介质及电子设备
CN108647585A (zh) * 2018-04-20 2018-10-12 浙江工商大学 一种基于多尺度循环注意力网络的交通标识符检测方法
CN109784203A (zh) * 2018-12-24 2019-05-21 中国科学院大学 基于分层传播和激活的弱监督x光图像违禁品检查方法
CN111783705A (zh) * 2020-07-08 2020-10-16 厦门商集网络科技有限责任公司 一种基于注意力机制的文字识别方法及系统
CN111832516A (zh) * 2020-07-22 2020-10-27 西安电子科技大学 基于无监督视频表示学习的视频行为识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
SAMET AKCAY ET AL.: ""Using Deep Convolutional Neural Network Architectures for Object Classification and Detection Within X一Ray Baggage Security Imagery"", 《IEEE TRANSACTTONS ON INFORMATION FORFNSTCS AND SECURITY》 *
张健 等: ""利用深度学习进行毫米波图像违禁物体识别"", 《计算机与数字工程》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113807231A (zh) * 2021-09-14 2021-12-17 西安电子科技大学 基于unet下采样卷积神经网络的x光违禁物检测方法
CN113807231B (zh) * 2021-09-14 2024-02-13 西安电子科技大学 基于unet下采样卷积神经网络的x光违禁物检测方法
CN115205292A (zh) * 2022-09-15 2022-10-18 合肥中科类脑智能技术有限公司 一种配电线路树障检测方法
CN115205292B (zh) * 2022-09-15 2022-11-25 合肥中科类脑智能技术有限公司 一种配电线路树障检测方法

Also Published As

Publication number Publication date
CN113095404B (zh) 2023-07-04

Similar Documents

Publication Publication Date Title
US8509526B2 (en) Detection of objects in digital images
CN108182454A (zh) 安检识别系统及其控制方法
CN113159120A (zh) 一种基于多尺度跨图像弱监督学习的违禁物检测方法
CN113920107A (zh) 一种基于改进yolov5算法的绝缘子破损检测方法
CN111401293B (zh) 一种基于Head轻量化Mask Scoring R-CNN的手势识别方法
Yang et al. Spatiotemporal trident networks: detection and localization of object removal tampering in video passive forensics
CN113095404B (zh) 基于前后背景分卷积神经网络的x光违禁物品检测方法
CN109886147A (zh) 一种基于单网络多任务学习的车辆多属性检测方法
Xing et al. Traffic sign recognition using guided image filtering
CN114612872A (zh) 目标检测方法、装置、电子设备及计算机可读存储介质
CN113807231B (zh) 基于unet下采样卷积神经网络的x光违禁物检测方法
CN115439693A (zh) 目标识别网络模型的训练方法、电子设备及程序产品
CN114548230B (zh) 基于rgb色彩分离双路特征融合的x射线违禁物品检测方法
CN117274774A (zh) 一种基于YOLOv7的X射线安检图像危险品检测算法
CN116824543A (zh) 一种基于od-yolo的自动驾驶目标检测方法
Yadav et al. An improved deep learning-based optimal object detection system from images
Wu et al. Object detection and X-ray security imaging: A survey
CN117423134A (zh) 一种人体目标检测和解析的多任务协同网络及其训练方法
CN116824333A (zh) 一种基于深度学习模型的鼻咽癌检测系统
CN113887455B (zh) 一种基于改进fcos的人脸口罩检测系统及方法
CN114792300B (zh) 一种基于多尺度注意力x光断针检测方法
CN116092115A (zh) 一种实时轻量的施工人员安全着装检测方法
Yin et al. Detection of steel surface defect based on faster R-CNN and FPN
CN114782983A (zh) 基于改进特征金字塔和边界损失的道路场景行人检测方法
CN106991684A (zh) 前景提取方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant