CN113657493A - 基于风格特征通道注意力的x光安检图像违禁品检测方法 - Google Patents
基于风格特征通道注意力的x光安检图像违禁品检测方法 Download PDFInfo
- Publication number
- CN113657493A CN113657493A CN202110941143.2A CN202110941143A CN113657493A CN 113657493 A CN113657493 A CN 113657493A CN 202110941143 A CN202110941143 A CN 202110941143A CN 113657493 A CN113657493 A CN 113657493A
- Authority
- CN
- China
- Prior art keywords
- contraband
- security inspection
- ray security
- module
- inspection image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000007689 inspection Methods 0.000 title claims abstract description 79
- 238000000034 method Methods 0.000 title claims abstract description 49
- 238000001514 detection method Methods 0.000 claims abstract description 56
- 238000012549 training Methods 0.000 claims abstract description 26
- 238000011176 pooling Methods 0.000 claims abstract description 17
- 238000012360 testing method Methods 0.000 claims abstract description 16
- 238000012545 processing Methods 0.000 claims abstract description 14
- 238000007781 pre-processing Methods 0.000 claims abstract description 4
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 12
- 230000004913 activation Effects 0.000 claims description 4
- 230000006870 function Effects 0.000 claims description 4
- 230000003213 activating effect Effects 0.000 claims description 3
- 230000003993 interaction Effects 0.000 claims description 3
- 230000008447 perception Effects 0.000 claims description 3
- 230000007306 turnover Effects 0.000 claims description 3
- 238000010586 diagram Methods 0.000 abstract description 11
- 238000013527 convolutional neural network Methods 0.000 description 7
- 238000013135 deep learning Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 238000009434 installation Methods 0.000 description 3
- VLJORLCVOAUUKM-UHFFFAOYSA-N 2,5-dimethoxy-4-amylamphetamine Chemical compound CCCCCC1=CC(OC)=C(CC(C)N)C=C1OC VLJORLCVOAUUKM-UHFFFAOYSA-N 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 239000003242 anti bacterial agent Substances 0.000 description 1
- 229940088710 antibiotic agent Drugs 0.000 description 1
- 208000003464 asthenopia Diseases 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及基于风格特征通道注意力的X光安检图像违禁品检测方法，属于目标检测技术领域。包括：1对数据集进行预处理获取训练集和测试集；2对训练集进行数据增强和打乱处理；3构建SCIA模块，并构建特征金字塔网络SCIA‑FPN；4将训练集的X光安检图像输入SCIA‑FPN获取特征图；5将特征图输入RPN网络获取预测框；6将预测框和特征图输入ROI池化层，输出池化后的特征图；7将池化后的特征图输入分类回归网络；8重复2至7进行多次训练获取违禁品检测模型；9将测试集输入违禁品检测模型输出违禁品检测结果。所述方法能有效检测出X光安检图像中被遮挡的多尺度违禁品，给出违禁品类别分数并精确标出违禁品位置。
Description
技术领域
本发明涉及基于风格特征通道注意力的X光安检图像违禁品检测方法，属于深度学习、目标检测以及X光安检图像处理技术领域。
背景技术
违禁品检测是目标检测的一个重要分支，旨在自动检测X光安检图像中是否存在一个或多个违禁的物品，并且给出每个违禁品的边界框及相应的违禁品类别。X光安检图像违禁品检测在维护公共场所秩序，交通枢纽安全保障，快递寄送等领域有着广泛的应用前景。当前，安检仍需安检人员通过肉眼识别X光安检图像中的违禁品，人工安检容易受视觉疲劳影响而出现漏判和错判现象。因此，X光安检图像违禁品检测近年来受到了研究人员的广泛关注。
现有X光安检图像违禁品检测方法分为两类。一类是基于机器学习的传统方法，一类是基于深度学习的方法。
基于机器学习的传统方法首先提取特征，然后进行分类识别。常用的特征描述方法包括加速稳健特征、快速加速稳健特征及尺度不变特征变换等，分类识别方法包括支持向量机、随机森林、最邻近算法等。传统方法存在的问题是：提取特征依赖于人工选定，并且仅局限于小样本数据集或某一类违禁品，性能较差，不能满足实际应用。
近年来，深度学习不断发展，由于深度卷积神经网络可以自动提取特征，基于深度卷积神经网络的目标检测算法层出不穷，这一方法也被应用到X光安检图像违禁品检测领域。如：Hassan等人利用结构张量提取违禁品的轮廓，但这种方法需要参数微调；Miao等人制作了一个安全检查X光图像数据集(security Inspection X-ray，SIXray)，并提出了一个类别平衡多层次框架检测该数据集中的违禁品；Wei等人制作了一个遮挡违禁品X光图像数据集(Occluded Prohibited Items X-ray，OPIXray)，提出一个结合边缘检测和注意力模型的抗遮挡注意力模块，检测数据集中不同遮挡水平的违禁品，但检测精度有待提高。尽管深度学习极大地促进了X光安检图像中违禁品检测的发展，但目前的违禁品检测仍存在两大难题：(1)多尺度问题：X光安检图像中违禁品尺寸各异，很难在检测过程中兼顾各种尺寸的违禁品，尤其小尺寸违禁品易漏检；(2)遮挡问题：X光安检图像中物品繁多，背景复杂，违禁品大多被严重遮挡，只有局部特征已知，不易检测。
基于现有方法的不足，本文提出了基于风格特征通道注意力的X光安检图像违禁品检测方法，利用X光安检图像中不同材质显示不同颜色这一风格特征，结合特征金字塔网络，解决违禁品的遮挡与多尺度问题。
发明内容
本发明的目的在于利用X光安检图像的风格特征，结合特征金字塔网络，解决违禁品的遮挡与多尺度问题，提出了基于风格特征通道注意力的X光安检图像违禁品检测方法。
为了达到上述目的，本发明采取如下技术方案。
所述X光安检图像违禁品检测方法，包括如下步骤：
步骤1：对X光安检图像数据集进行预处理，设置成与VOC2007数据集格式相同的X光安检图像数据集；
步骤1具体为：从公开网站中下载X光安检图像数据集，将数据集中的所有X光安检图像放入一个文件夹，将所有的标记文件放入另一个文件夹，并将数据集以K：(10-K)的比例划分为训练集和测试集；
其中，数据集中包含X光安检图像和每张图像对应的标记文件，标记文件里有每张图像中违禁品的位置信息和类别信息；
其中，K的取值范围大于等于6小于等于9；
步骤2：将步骤1中的训练集进行数据增强处理和打乱处理，得到增强训练集；
其中，数据增强处理是水平翻转图像，打乱处理指打乱训练集中X光安检图像的顺序；
步骤3：构建风格特征通道注意力模块，即SCIA模块；
其中，SCIA模块包含SP模块、CI模块以及激活单元；
其中，SP模块即风格感知模块，包括全局平均池化、全局标准差池化和拼接单元，用于提取X光安检图像的风格特征；CI模块即跨通道交互模块，包括两个一维卷积，将SP模块提取出的风格特征转化成通道权重以增强违禁品特征；
步骤4：构建基于SCIA模块的特征金字塔网络，即SCIA-FPN；
其中，SCIA-FPN包括ResNet残差网络、特征金字塔网络以及4个SCIA模块；
其中，ResNet残差网络包含五个部分，conv1、conv2_x、conv3_x、conv4_x、conv5_x；特征金字塔网络包含4个1*1卷积、4个3*3卷积以及3个上采样单元；
其中，conv1指7*7卷积，conv2_x包含m个残差块、conv3_x包含n个残差块，conv4_x包含p个残差块，conv5_x包含q个残差块；
其中，{m，n，p，q}＝{3，4，6，3}或{3，4，23，3}或{3，8，36，3}；
步骤5：将步骤2得到的增强训练集里的X光安检图像输入步骤4中构建好的SCIA-FPN，进行特征图提取，输出违禁品特征增强且包含多尺度信息的特征图；
步骤5包含如下子步骤：
步骤5.1：将X光安检图像输入ResNet残差网络，通过conv1和conv2_x得到特征图C2；
步骤5.2：将特征图C2通过一个SCIA模块，输出违禁品特征增强的特征图D2；
步骤5.3：将特征图D2通过conv3_x得到特征图C3；
步骤5.4：将特征图C3通过一个SCIA模块，输出违禁品特征增强的特征图D3；
步骤5.5：将特征图D3通过conv4_x得到特征图C4；
步骤5.6：将特征图C4通过一个SCIA模块，输出违禁品特征增强的特征图D4；
步骤5.7：将特征图D4通过conv5_x得到特征图C5；
步骤5.8：将特征图C5通过一个SCIA模块，输出违禁品特征增强的特征图D5；
步骤5.9：将特征图D2、D3、D4、D5输入特征金字塔网络，输出违禁品特征增强且包含多尺度信息的特征图P2、P3、P4、P5；
其中，步骤5.2、5.4、5.6、5.8具体为：
(a)将特征图Ci输入SP模块，通过全局平均池化和全局标准差池化分别得到通道均值μc与通道方差σc，再将通道均值和通道方差输入拼接单元，得到风格特征S；
(b)将风格特征S输入到CI模块，通过两个一维卷积Conv1D1和Conv1D2，得到风格特征S对应的权重向量WCI；
(c)将权重向量WCI通过激活函数sigmoid运算，得到权重向量WSCIA；
(d)将权重向量WSCIA与特征图Ci对应通道相乘，生成违禁品特征增强的特征图Di；
其中，i的取值为2、3、4、5；
步骤6：将步骤5的输出特征图P2、P3、P4、P5输入RPN网络，输出预测框；
步骤7：将步骤6的预测框和步骤5的特征图P2、P3、P4、P5输入ROI池化层，输出池化后的特征图；
步骤8：将池化后的特征图输入分类回归网络；
至此，步骤2至步骤8构成了X光安检图像违禁品检测训练阶段的操作；
步骤9：重复步骤2至步骤8进行多次模型训练，保存训练好的违禁品检测模型；
步骤10：输入步骤1中的测试集，测试步骤9保存的违禁品检测模型，获取测试结果；
至此，从步骤1到步骤10，完成了基于风格特征通道注意力的X光安检图像违禁品检测方法。
有益效果
本发明提出的基于风格特征通道注意力的X光安检图像违禁品检测方法，与现有技术相比，具有如下有益效果：
1.所述方法通过引入SCIA模块，利用X光安检图像的风格特征生成对应的通道权重，强调违禁品特征，同时结合特征金字塔网络获取违禁品特征增强且包含多尺度信息的特征图，能有效解决违禁品遮挡问题和多尺度问题；
2.所述X光安检图像违禁品检测方法与其他基于深度学习的违禁品检测方法相比，违禁品检测精度明显提升。
附图说明
图1是本发明基于风格特征通道注意力的X光安检图像违禁品检测方法训练阶段的流程图；
图2是本发明基于风格特征通道注意力的X光安检图像违禁品检测方法步骤3中SCIA模块的结构示意图；
图3是本发明基于风格特征通道注意力的X光安检图像违禁品检测方法步骤4中SCIA-FPN网络的结构示意图；
图4是本发明所述基于风格特征通道注意力的X光安检图像违禁品检测方法的违禁品检测效果图。
具体实施方式
下面结合附图及具体实施例对本发明所述基于风格特征通道注意力的X光安检图像违禁品检测方法进行详细阐述。
实施例1
本实施例阐述了采用本发明所述的基于风格特征通道注意力的X光安检图像违禁品检测方法的具体实施。
本实例使用NVIDIA GeForce GTX 1080Ti GPU，python编程环境，pytorch框架。使用平均精度均值(mAP)作为违禁品检测评价指标。
图1是本发明具体实施方式中X光安检图像违禁品检测方法的训练阶段流程图。
图2为本发明具体实施方式中基于风格特征通道注意力的X光安检图像违禁品检测方法步骤3中SCIA模块的结构示意图，共包含三个部分，SP模块，CI模块和sigmoid激活函数，CI模块中Conv1D1和Conv1D2均表示一维卷积；SCIA模块将X光安检图像的风格特征转化为对应的通道权重，能有效加强违禁品特征以应对遮挡问题。
图3为本发明具体实施方式中基于风格特征通道注意力的X光安检图像违禁品检测方法步骤4中SCIA-FPN网络的结构示意图。其中，conv1、conv2_x、conv3_x、conv4_x、conv5_x构成残差网络ResNet，conv2_x、conv3_x、conv4_x、conv5_x末端各包含一个SCIA模块，特征金字塔网络共包含4个1*1卷积、4个3*3卷积、3个上采样单元，能提取不同尺度大小的特征图以应对多尺度问题。
图4是实验效果图，将本发明所述的违禁品检测方法在公开数据集SIXray上进行实验，图中左边一列是未检测的原始图像，右边一列是通过本发明中所述检测方法得到的检测后图像；图4表明，本方法可精确检测出X光安检图像中的被遮挡、不同尺度的违禁品，给出违禁品类别分数并精确标出违禁品的位置，表明了本发明所述方法在解决违禁品遮挡和多尺度问题方面的有益效果。
采用本发明所述的基于风格特征通道注意力的X光安检图像违禁品检测方法在两个公开数据集SIXray和OPIXray上进行实验仿真。
在SIXray上输出的检测结果如下表1所示：
表1基于风格特征通道注意力的X光安检图像违禁品检测方法在SIXray上的检测结果
其中，mAP是违禁品检测的评价指标。
表1中从上到下依次为通过Faster R-CNN、Faster R-CNN+FPN、本发明所述方法、CHR方法分别得到的违禁品检测精度。从左到右依次为SIXray数据集的五类违禁品：刀、钳子、枪、扳手、剪刀。由表1可以看出，相比Faster R-CNN、Faster R-CNN+FPN和CHR方法，本发明所述方法在违禁品检测上性能最佳，其他方法的mAP均低于本发明所述方法。
在OPIXray上输出的检测结果如下表2所示：
表2基于风格特征通道注意力的X光安检图像违禁品检测方法在OPIXray上的检测结果
表2中从上到下依次为通过Faster R-CNN+FPN、本发明所述方法、SSD+DOAM、YOLOv3+DOAM方法分别得到的违禁品检测精度。从左到右依次为OPIXray数据集的五类违禁品：折叠刀、直刀、剪刀、实用刀、多工具刀。由表2可以看出，其他三种方法的mAP均低于本发明所述方法；
综上所述，本发明所述方法的违禁品检测性能最佳。
本实例采用本发明提出的基于风格特征通道注意力的X光安检图像违禁品检测方法对SIXray和OPIXray数据集进行违禁品检测，并与多种方法进行对比，体现了本发明所述方法的有益效果。
具体包括如下步骤：
步骤1：对X光安检图像数据集进行预处理，设置成与VOC2007数据集格式相同的X光安检图像数据集；
步骤1具体为：从公开网站中下载SIXray和OPIXray数据集，将数据集中的所有X光安检图像放入JPEGImages文件夹，将所有的标记文件放入Annotations文件夹，并将数据集以K：(10-K)的比例划分为训练集和测试集；
其中，数据集中包含X光安检图像和每张图像对应的标记文件，标记文件里有每张图像中违禁品的位置信息和类别信息；
其中，K的取值为8；
步骤2：将步骤1中的训练集进行数据增强处理和打乱处理，得到增强训练集；
其中，数据增强处理是水平翻转图像，打乱处理指打乱训练集中X光安检图像的顺序；
步骤3：构建风格特征通道注意力模块，即SCIA模块；
其中，SCIA模块包含SP模块、CI模块以及激活单元；
其中，SP模块即风格感知模块，包括全局平均池化、全局标准差池化和拼接单元，用于提取X光安检图像的风格特征；CI模块即跨通道交互模块，包括两个一维卷积，将SP模块提取出的风格特征转化成通道权重以增强违禁品特征；
步骤4：构建基于SCIA模块的特征金字塔网络，即SCIA-FPN；
其中，SCIA-FPN包括ResNet残差网络、特征金字塔网络以及4个SCIA模块；
其中，ResNet残差网络包含五个部分，conv1、conv2_x、conv3_x、conv4_x、conv5_x；特征金字塔网络包含4个1*1卷积、4个3*3卷积以及3个上采样单元；
其中，conv1指7*7卷积，conv2_x包含m个残差块、conv3_x包含n个残差块，conv4_x包含p个残差块，conv5_x包含q个残差块；
其中，{m，n，p，q}＝{3，4，23，3}；
步骤5：将步骤2得到的增强训练集里的X光安检图像输入SCIA-FPN，进行特征图提取，输出违禁品特征增强且包含多尺度信息的特征图；
步骤5包含如下子步骤：
步骤5.1：将X光安检图像输入ResNet残差网络，通过conv1和conv2_x得到特征图C2；
步骤5.2：将特征图C2通过一个SCIA模块，输出违禁品特征增强的特征图D2；
步骤5.3：将特征图D2通过conv3_x得到特征图C3；
步骤5.4：将特征图C3通过一个SCIA模块，输出违禁品特征增强的特征图D3；
步骤5.5：将特征图D3通过conv4_x得到特征图C4；
步骤5.6：将特征图C4通过一个SCIA模块，输出违禁品特征增强的特征图D4；
步骤5.7：将特征图D4通过conv5_x得到特征图C5；
步骤5.8：将特征图C5通过一个SCIA模块，输出违禁品特征增强的特征图D5；
步骤5.9：将特征图D2、D3、D4、D5输入特征金字塔网络，输出违禁品特征增强且包含多尺度信息的特征图P2、P3、P4、P5；
其中，步骤5.2、5.4、5.6、5.8具体为：
(1)将特征图Ci输入SP模块，通过全局平均池化和全局标准差池化分别得到通道均值μc与通道方差σc，再将通道均值和通道方差输入拼接单元，得到风格特征S；
其中，全局平均池化如式(1)：
其中，μc表示第c通道的通道均值，H、W分别为输入SP模块的特征图的高和宽，xchw表示第c通道上，第h行和第w列处的值，h的取值范围为1到H，w的取值范围为1到W，c的取值范围为1到C，C为输入SP模块的特征图的通道数；
其中，全局标准差池化如式(2)：
其中，σc表示第c通道的通道方差；
(2)将风格特征S输入到CI模块，通过两个一维卷积Conv1D1和Conv1D2，得到风格特征S对应的权重向量WCI；
其中，Conv1D1和Conv1D2的卷积核取自适应卷积核k，如式(3)：
其中，C表示通道数，int表示取整；
(3)将权重向量WCI通过激活函数sigmoid运算，得到权重向量WSCIA；
(4)将权重向量WSCIA与特征图Ci对应通道相乘，生成违禁品特征增强的特征图Di；
其中，i的取值为2、3、4、5；
步骤6：将步骤5的输出特征图P2、P3、P4、P5输入RPN网络，输出预测框；
步骤7：将步骤6的预测框以及特征图P2、P3、P4、P5输入ROI池化层，输出池化后的特征图；
步骤8：将池化后的特征图输入分类回归网络；
至此，步骤2至步骤8构成了X光安检图像违禁品检测训练阶段的操作；
步骤9：重复步骤2至步骤8进行多次模型训练，保存训练好的违禁品检测模型；
步骤10：输入步骤1中的测试集，测试步骤9保存的违禁品检测模型，获取测试结果；
至此，从步骤1到步骤10，完成了基于风格特征通道注意力的X光安检图像违禁品检测方法的全部过程；经实验验证，该方法能有效检测遮挡情形下的多尺度违禁品，给出违禁品类别分数并标注出违禁品的位置，并且检测精度明显优于其他方法。
综上所述，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (9)
1.基于风格特征通道注意力的X光安检图像违禁品检测方法，其特征在于：包括如下步骤：
步骤1：对X光安检图像数据集进行预处理，设置成与VOC2007数据集格式相同的X光安检图像数据集，并将数据集中的所有X光安检图像放入一个文件夹，将所有的标记文件放入另一个文件夹，并将数据集划分为训练集和测试集；
步骤2：将步骤1中的训练集进行数据增强处理和打乱处理，得到增强训练集；
步骤3：构建风格特征通道注意力模块，即SCIA模块；
其中，SCIA模块包含SP模块、CI模块以及激活单元；
其中，SP模块即风格感知模块，包括全局平均池化、全局标准差池化和拼接单元，用于提取X光安检图像的风格特征；CI模块即跨通道交互模块，包括两个一维卷积，将SP模块提取出的风格特征转化成通道权重以增强违禁品特征；
步骤4：构建基于SCIA模块的特征金字塔网络，即SCIA-FPN；
其中，SCIA-FPN包括ResNet残差网络、特征金字塔网络以及4个SCIA模块；
步骤5：将步骤2得到的增强训练集里的X光安检图像输入步骤4中构建好的SCIA-FPN，进行特征图提取，输出违禁品特征增强且包含多尺度信息的特征图；
步骤5包含如下子步骤：
步骤5.1：将X光安检图像输入ResNet残差网络，通过conv1和conv2_x得到特征图C2；
步骤5.2：将特征图C2通过一个SCIA模块，输出违禁品特征增强的特征图D2；
步骤5.3：将特征图D2通过conv3_x得到特征图C3；
步骤5.4：将特征图C3通过一个SCIA模块，输出违禁品特征增强的特征图D3；
步骤5.5：将特征图D3通过conv4_x得到特征图C4；
步骤5.6：将特征图C4通过一个SCIA模块，输出违禁品特征增强的特征图D4；
步骤5.7：将特征图D4通过conv5_x得到特征图C5；
步骤5.8：将特征图C5通过一个SCIA模块，输出违禁品特征增强的特征图D5；
步骤5.9：将特征图D2、D3、D4、D5输入特征金字塔网络，输出违禁品特征增强且包含多尺度信息的特征图P2、P3、P4、P5；
步骤6：将步骤5的输出特征图P2、P3、P4、P5输入RPN网络，输出预测框；
步骤7：将步骤6的预测框和步骤5的特征图P2、P3、P4、P5输入ROI池化层，输出池化后的特征图；
步骤8：将池化后的特征图输入分类回归网络；
至此，步骤2至步骤8构成了X光安检图像违禁品检测训练阶段的操作；
步骤9：重复步骤2至步骤8进行多次模型训练，保存训练好的违禁品检测模型；
步骤10：输入步骤1中的测试集，测试步骤9保存的违禁品检测模型，获取测试结果。
2.根据权利要求1所述的基于风格特征通道注意力的X光安检图像违禁品检测方法，其特征在于：步骤1的X光安检图像数据集从公开网站中下载，并将数据集的比例划分为K：(10-K)。
3.根据权利要求2所述的基于风格特征通道注意力的X光安检图像违禁品检测方法，其特征在于：数据集中包含X光安检图像和每张图像对应的标记文件，标记文件里有每张图像中违禁品的位置信息和类别信息。
4.根据权利要求3所述的基于风格特征通道注意力的X光安检图像违禁品检测方法，其特征在于：K的取值范围大于等于6小于等于9。
5.根据权利要求4所述的基于风格特征通道注意力的X光安检图像违禁品检测方法，其特征在于：步骤2中，数据增强处理是水平翻转图像，打乱处理指打乱训练集中X光安检图像的顺序。
6.根据权利要求5所述的基于风格特征通道注意力的X光安检图像违禁品检测方法，其特征在于：步骤4中，ResNet残差网络包含五个部分，conv1、conv2_x、conv3_x、conv4_x、conv5_x；特征金字塔网络包含4个1*1卷积、4个3*3卷积以及3个上采样单元；
其中，conv1指7*7卷积，conv2_x包含m个残差块、conv3_x包含n个残差块，conv4_x包含p个残差块，conv5_x包含q个残差块。
7.根据权利要求6所述的基于风格特征通道注意力的X光安检图像违禁品检测方法，其特征在于：{m，n，p，q}＝{3，4，6，3}或{3，4，23，3}或{3，8，36，3}。
8.根据权利要求7所述的基于风格特征通道注意力的X光安检图像违禁品检测方法，其特征在于：步骤5.2、5.4、5.6、5.8具体为：
(a)将特征图Ci输入SP模块，通过全局平均池化和全局标准差池化分别得到通道均值μc与通道方差σc，再将通道均值和通道方差输入拼接单元，得到风格特征S；
(b)将风格特征S输入到CI模块，通过两个一维卷积Conv1D1和Conv1D2，得到风格特征S对应的权重向量WCI；
(c)将权重向量WCI通过激活函数sigmoid运算，得到权重向量WSCIA；
(d)将权重向量WSCIA与特征图Ci对应通道相乘，生成违禁品特征增强的特征图Di。
9.根据权利要求8所述的基于风格特征通道注意力的X光安检图像违禁品检测方法，其特征在于：(a)和(d)中，i的取值为2、3、4、5。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110941143.2A CN113657493B (zh) | 2021-08-17 | 2021-08-17 | 基于风格特征通道注意力的x光安检图像违禁品检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110941143.2A CN113657493B (zh) | 2021-08-17 | 2021-08-17 | 基于风格特征通道注意力的x光安检图像违禁品检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113657493A true CN113657493A (zh) | 2021-11-16 |
| CN113657493B CN113657493B (zh) | 2024-06-25 |
Family
ID=78491251
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110941143.2A Active CN113657493B (zh) | 2021-08-17 | 2021-08-17 | 基于风格特征通道注意力的x光安检图像违禁品检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113657493B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114399482A (zh) * | 2022-01-04 | 2022-04-26 | 北京理工大学 | 一种基于加权双向融合特征金字塔网络的违禁品检测方法 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019096181A1 (zh) * | 2017-11-14 | 2019-05-23 | 深圳码隆科技有限公司 | 安检检测方法、装置、系统及电子设备 |
| WO2019223397A1 (zh) * | 2018-05-23 | 2019-11-28 | 北京市商汤科技开发有限公司 | 图像处理方法、装置、计算机设备和计算机存储介质 |
| CN110533051A (zh) * | 2019-08-02 | 2019-12-03 | 中国民航大学 | 基于卷积神经网络的x光安检图像中违禁品自动检测方法 |
| CN110533045A (zh) * | 2019-07-31 | 2019-12-03 | 中国民航大学 | 一种结合注意力机制的行李x光违禁品图像语义分割方法 |
| CN111951226A (zh) * | 2020-07-20 | 2020-11-17 | 深圳职业技术学院 | 一种基于x光图像的多尺度违禁品检测系统及方法 |
| CN112070079A (zh) * | 2020-07-24 | 2020-12-11 | 华南理工大学 | 基于特征图重赋权的x光违禁品包裹检测方法及装置 |
| CN113159120A (zh) * | 2021-03-15 | 2021-07-23 | 浙江工商大学 | 一种基于多尺度跨图像弱监督学习的违禁物检测方法 |
-
2021
- 2021-08-17 CN CN202110941143.2A patent/CN113657493B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019096181A1 (zh) * | 2017-11-14 | 2019-05-23 | 深圳码隆科技有限公司 | 安检检测方法、装置、系统及电子设备 |
| WO2019223397A1 (zh) * | 2018-05-23 | 2019-11-28 | 北京市商汤科技开发有限公司 | 图像处理方法、装置、计算机设备和计算机存储介质 |
| CN110533045A (zh) * | 2019-07-31 | 2019-12-03 | 中国民航大学 | 一种结合注意力机制的行李x光违禁品图像语义分割方法 |
| CN110533051A (zh) * | 2019-08-02 | 2019-12-03 | 中国民航大学 | 基于卷积神经网络的x光安检图像中违禁品自动检测方法 |
| CN111951226A (zh) * | 2020-07-20 | 2020-11-17 | 深圳职业技术学院 | 一种基于x光图像的多尺度违禁品检测系统及方法 |
| CN112070079A (zh) * | 2020-07-24 | 2020-12-11 | 华南理工大学 | 基于特征图重赋权的x光违禁品包裹检测方法及装置 |
| CN113159120A (zh) * | 2021-03-15 | 2021-07-23 | 浙江工商大学 | 一种基于多尺度跨图像弱监督学习的违禁物检测方法 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114399482A (zh) * | 2022-01-04 | 2022-04-26 | 北京理工大学 | 一种基于加权双向融合特征金字塔网络的违禁品检测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113657493B (zh) | 2024-06-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108830209B (zh) | 基于生成对抗网络的遥感图像道路提取方法 | |
| CN114067368B (zh) | 基于深度卷积特征的电网危害鸟种分类识别方法 | |
| CN108182454A (zh) | 安检识别系统及其控制方法 | |
| CN108428229A (zh) | 一种基于深度神经网络提取表观和几何特征的肺部纹理识别方法 | |
| CN107437092A (zh) | 基于三维卷积神经网络的视网膜oct图像的分类算法 | |
| CN108664971A (zh) | 基于2d卷积神经网络的肺结节检测方法 | |
| CN111860171A (zh) | 一种大规模遥感图像中不规则形状目标的检测方法及系统 | |
| CN108564094A (zh) | 一种基于卷积神经网络和分类器组合的材质识别方法 | |
| CN106600595A (zh) | 一种基于人工智能算法的人体特征尺寸自动测量方法 | |
| CN107203606A (zh) | 基于卷积神经网络的自然场景下文本检测与识别方法 | |
| CN109063649A (zh) | 基于孪生行人对齐残差网络的行人重识别方法 | |
| CN109033144A (zh) | 基于草图的三维模型检索方法 | |
| CN110287882A (zh) | 一种基于深度学习的大菊品种图像识别方法 | |
| Pacha et al. | Towards self-learning optical music recognition | |
| CN108009557A (zh) | 一种基于共享权重卷积网络的三维模型局部特征描述方法 | |
| CN103149163A (zh) | 基于多光谱图像纹理特征的检测牛肉嫩度的装置及其方法 | |
| Bajić et al. | Chart classification using simplified VGG model | |
| CN107247954A (zh) | 一种基于深度神经网络的图像离群点检测方法 | |
| CN108229515A (zh) | 高光谱图像的对象分类方法和装置、电子设备 | |
| CN113191359A (zh) | 基于支持与查询样本的小样本目标检测方法与系统 | |
| CN107895136A (zh) | 一种煤矿区域识别方法及系统 | |
| CN115601572A (zh) | 基于半监督CycleGan网络的超声相控阵图像优化重构方法及系统 | |
| CN118366162A (zh) | 基于深度学习的图像分割方法及系统 | |
| CN113657493A (zh) | 基于风格特征通道注意力的x光安检图像违禁品检测方法 | |
| CN104318260B (zh) | 一种基于分组支持向量机的裘皮近红外光谱鉴别的方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |