CN113920432A - 一种基于GuidedAnchor优化的刀具图像智能检测方法 - Google Patents

一种基于GuidedAnchor优化的刀具图像智能检测方法 Download PDF

Info

Publication number
CN113920432A
CN113920432A CN202111188194.9A CN202111188194A CN113920432A CN 113920432 A CN113920432 A CN 113920432A CN 202111188194 A CN202111188194 A CN 202111188194A CN 113920432 A CN113920432 A CN 113920432A
Authority
CN
China
Prior art keywords
cutter
training
rcnn
ray
security check
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111188194.9A
Other languages
English (en)
Inventor
许斌斌
陈畅
黄均才
刘鉴栋
袁晶
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Power Supply Bureau of Guangdong Power Grid Co Ltd
Original Assignee
Guangzhou Power Supply Bureau of Guangdong Power Grid Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Power Supply Bureau of Guangdong Power Grid Co Ltd filed Critical Guangzhou Power Supply Bureau of Guangdong Power Grid Co Ltd
Priority to CN202111188194.9A priority Critical patent/CN113920432A/zh
Publication of CN113920432A publication Critical patent/CN113920432A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于Guided Anchor优化的刀具图像图像智能检测方法。采集安检X射线刀具图片并添加标签；以Guided Anchor替代Faster‑RCNN中的RPN部分，以Double Head‑RCNN代替Faster‑RCNN的末端输出部分，建立深度学习网络模型；随机划分为训练集和测试集；训练集数据增强后对Faster‑RCNN+Guided Anchor+Double Head‑RCNN网络结构的深度学习网络模型进行训练，然后采用测试集测试调整，针对待测图像输入固化后的检测模型，输出获得检测结果。本发明能够实现安检X射线刀具图像的自动检测，具有较高的准确率，并且具有稳定性好，抗干扰能力强，通用性高等优点，具有良好的鲁棒性，能够应用于智能安检系统。

Description

一种基于GuidedAnchor优化的刀具图像智能检测方法
技术领域
本发明涉及了一种刀具智能检测的方法，尤其是涉及了一种基于Guided Anchor优化的刀具图像智能检测方法。
背景技术
在城市地铁的卡口，一般都会设置X射线安检设备进行违禁物品的检测。违禁物品中又以刀具为主，种类繁多、形状各异。传统的安检方式主要依靠安检员观察X射线图像的物品形状和材质颜色来判断是否存在刀具，一方面耗时耗力，另一方面对安检人员自身的经验和工作状态有很高的要求。因此，如果能够通过深度学习方法实现对X射线图像中刀具的自动检测，对于实现智能安检具有重要意义。借助卷积神经网络对安检机器得到的X射线图像及逆行自动化检测，也是亟需解决的难题之一。
发明内容
为了解决背景技术中的问题，本发明提出了一种基于Guided Anchor优化的刀具图像智能检测方法，能准确检测X射线图像中的刀具并具有良好稳定性。
本发明的技术方案包括以下步骤：
1)采集安检X射线刀具图片，对每一安检X射线刀具图片制作对应的样本标签文件；
2)建立改进的深度学习网络模型；
3)将获得的所有安检X射线刀具图片及其对应的样本标注文件构成数据集，并将数据集随机划分为训练集和测试集；
4)对训练集进行数据增强；
5)利用训练集对Faster-RCNN+Guided Anchor+Double Head-RCNN网络结构组成的深度学习网络模型进行初步训练，获得初步训练后的安检X射线刀具检测模型；
6)采用测试集测试初步训练后的安检X射线刀具检测模型的性能，根据测试结果调整训练参数与检测置信度阈值，优化处理后获得固化后的安检X射线刀具检测模型；
7)针对待测图像输入固化后的安检X射线刀具检测模型，输出获得检测结果。
所述的安检X射线刀具样本图片是装有刀具的包裹通过安检X射线机采集获得的图片。
所述步骤2)中，改进的深度学习网络模型具体是：以Guided Anchor(自指导锚点生成)替代Faster-RCNN中的RPN部分，以Double Head-RCNN代替Faster-RCNN的末端输出部分，建立深度学习网络模型；
在Faster-RCNN的骨干网络采用ResNet50，同时并且利用FPN特征金字塔网络将ResNet50网络框架模型的第二特征提取阶段到第五特征提取阶段输出进行插值融合产生特征图组，将特征图组输入到Guided Anchor中。
本发明中，将Faster-RCNN的原始RPN部分被Guided Anchor替代，使模型在生成预测anchor时同时对anchor的位置和形状进行预测，寻找更高质量的anchor。将Faster-RCNN的原始末端输出被替换成Double Head-RCNN。
所述步骤2)中，通过Guided Anchor引入了两个新的训练分支来替代传统的RPN，两个新的训练分支分别为位置预测分支和形状预测分支，位置预测分支和形状预测分支用来帮助原有的Faster-RCNN框架依据特征图局部特征完成稀疏anchor的生成，框架根据这两个分支的输出结果与设定的阈值比较，首先得到特征图上可能存在目标的中心位置，再根据中心位置附近特征的局部特征(泛化的概念，整个特征图包含了全局特征，其中一层(或者多层)cnn能在特征图上覆盖的感受野(通常无法覆盖整个特征图)，叫做局部特征)来预测最有可能的anchor形状。
所述步骤2)中，Double Head-RCNN放弃在分支之前的共享网络结构，直接采用全连接层对特征图提取的RoI感兴趣区域进行分类，同时采用全卷积层来确定检测目标的位置。
分别代替入Guided Anchor和Double Head-RCNN后，Guided Anchor和DoubleHead-RCNN能够产生协同作用和关系，通过实施例的表一的实验说明，列2，3单独都有比原始方案Faster-RCNN(列1)更好的效果，列4为两个同时引入，有最好的效果。
Double Head-RCNN提升精度的同时，因为参数增加，实时运行速度下降，通过Guided Anchor，可以减少anchor生成质量，减少无效anchor的生成，降低改进框架的计算量。两者相互协同，提高了检测精度和抗干扰能力。
所述步骤3)中对样本的划分具体是指取整个数据集的80％作为训练集，剩余的20％作为测试集。
所述步骤4)数据增强具体是对训练集中的安检X射线刀具样本图片进行随机翻转、随机亮度增强和颜色通道标准化的多方面的依次处理。
所述步骤5)中，将训练的图片统一缩放到相同大小，先采用ImageNet已知数据预训练ResNet50网络框架模型的参数，训练时的参数更新方式为SGD，初始学习率为0.02，动量项为0.9，权值衰减系数1×10-4，批训练大小为4，训练迭代次数30000次。
训练采用500次迭代来慢启动，以学习率0.02作为初始学习率，采用学习率阶段下降方式进行慢启动训练。
本发明首先对采集到的X射线刀具图像数据进行标注，再利用基于Faster-RCNN+Guided Anchor+Double Head-RCNN检测网络模型对刀具的深层语义信息进行学习；利用训练好的模型在测试集上进行刀具检测，预测出刀具在X射线图像中的位置，并预测对应位置的检测置信度，最终根据设置的重叠阈值去除重叠的检测框，完成X射线图像中刀具的检测。
本发明能够实现X射线图像中刀具的自动检测，具有较高的准确率，并且具有稳定性好，抗干扰能力强，通用性高等有点，具有良好的鲁棒性，能够应用于地铁智能安检系统。
本发明具有的有益的效果是：
相比于以往的X射线图像刀具检测方法，本发明方法准确率高，鲁棒性好，且对各种安检图像具有通用性；
本发明在Faster-RCNN目标检测模型上增加了Guided Anchor，实现了模型对于anchor形状的自主学习，提升了模型生成预选框的效果，提升了模型的运行速度；将Faster-RCNN的末端输出分支替换为Double Head-RCNN，提升了模型对形状各异刀具检测的效果。
本发明方法在高效的前提下实现了高检测精度，具有较强的抗干扰能力。
附图说明
图1为实施例训练样本图片。
图2为Faster-RCNN+Guided Anchor+Double Head-RCNN检测网络模型的网络结构。
图3为Guided Anchor部分的结构图。
图4为Double Head-RCNN部分的结构图。
图5为模型最终检测结果图。
具体实施方式
下面结合附图及具体实施例对本发明作进一步详细说明。
按照本发明内容完整方法实施的实施过程如下：
首先，建立安检X射线刀具图像数据集，数据集中图片的典型图如图1所示。其次，建立与图像数据集对应的标签。标签文件满足Pascal VOC格式的xml标签文件标准，内容包含图像名称、图像路径、图像的高度宽度以及真实目标框的中心点位置与宽高。
建立深度学习网络模型，采用Faster-RCNN、Guided Anchor以及Double Head-RCNN目标检测算法构建深度学习目标检测网络。
Faster-RCNN+Guided Anchor+Double Head-RCNN检测网络模型的网络结构如图2所示。在检测网络模型的骨干网络采用ResNet50，同时利用FPN特征金字塔网络将ResNet50网络框架模型的第二特征提取阶段到第五特征提取阶段输出进行插值融合产生特征图组。Faster-RCNN的原始RPN部分被Guided Anchor替代，使模型在生成预测anchor时同时对anchor的位置和形状进行预测，寻找更高质量的anchor。Faster-RCNN的原始末端输出被替换成Double Head-RCNN，使模型更好的利用卷积层的平移不变性，最终检测得到精度更高的结果。
Guided Anchor的结构示意图如图3所示。Guided Anchor引入了两个新的训练分支来替代传统的RPN，位置预测分支和形状预测分支用来帮助框架依据特征图局部特征完成稀疏anchor的生成，框架根据这两个分支的输出结果与设定的阈值比较，首先得到特征图上可能存在目标的中心位置，再根据中心位置附近特征的局部特征来预测最有可能的anchor形状。
Double Head-RCNN的结构示意图如图4所示。Double Head-RCNN应用了全连接层和卷积层不同的功能偏向性，放弃在分支之前的共享网络结构，直接采用全连接层对特征图提取的RoI感兴趣区域进行分类，同时采用全卷积层来确定检测目标的位置。卷积层采用ResNet中的残差网络结构来完成。
实验图片共有2191张。其中用于训练的图片有1314张，438张作为交叉验证集，剩余439张作为测试集。在训练图片进入模型训练前进行数据增强，采用随机翻转、随机亮度增强和颜色通道标准化方法。将数据增强后的图片，统一缩放到1000×833大小，采用在ImageNet上预训练的ResNet50模型参数。参数更新方式为SGD，初始学习率为0.02，动量项为0.9，权值衰减系数1×10-4，批训练大小为4，训练迭代次数30000次。训练采用500次迭代来慢启动，并采用学习率阶段下降方式。
本方法较有传统模型的检测效果有明显提升。表1给出了有效检测框是指检测框与标注框的重合度超过0.5、0.7情况下，本方法与Faster-RCNN检测网络以及在其基础上单一应用Guided Anchor或Double Head-RCNN检测结果的对比结果。检测精度指的是有效检测框对比真实检测框计算准确率(precision)和召回率(recall)后得到的AP。
表1检测模型对比结果
Figure BDA0003300147790000051
通过实施例的表1的实验说明，列2，3单独都有比原始方案Faster-RCNN(列1)更好的效果，列4为两个同时引入，有最好的效果。Double Head-RCNN和Guided Anchor两者相互协同，提高了检测精度和抗干扰能力。
利用训练好的模型在测试集上做测试，在测试样本图片上框出预测框并标上预测的置信度，测试典型结果如图5所示。然后计算检测模型的平均准确度，固化一个效果较好的检测模型。
上述具体实施方式用来解释说明本发明，而不是对本发明进行限制，在本发明的精神和权利要求的保护范围内，对本发明作出的任何修改和改变，都落入本发明的保护范围。

Claims (6)

1.一种基于Guided Anchor优化的刀具图像图像智能检测方法，包括以下步骤：
1)采集安检X射线刀具图片，对每一安检X射线刀具图片制作对应的样本标签文件；
2)建立改进的深度学习网络模型；
3)将获得的所有安检X射线刀具图片及其对应的样本标注文件构成数据集，并将数据集随机划分为训练集和测试集；
4)对训练集进行数据增强；
5)利用训练集对深度学习网络模型进行初步训练，获得初步训练后的安检X射线刀具检测模型；
6)采用测试集测试初步训练后的安检X射线刀具检测模型的性能，根据测试结果调整训练参数与检测置信度阈值，优化处理后获得固化后的安检X射线刀具检测模型；
7)针对待测图像输入固化后的安检X射线刀具检测模型，输出获得检测结果。
2.根据权利要求1所述的一种基于Guided Anchor优化的刀具图像图像智能检测方法，其特征在于：所述的安检X射线刀具样本图片是装有刀具的包裹通过安检X射线机采集获得的图片。
3.根据权利要求1所述的一种基于Guided Anchor优化的刀具图像图像智能检测方法，其特征在于：所述步骤2)中，改进的深度学习网络模型具体是：以Guided Anchor替代Faster-RCNN中的RPN部分，以Double Head-RCNN代替Faster-RCNN的末端输出部分，建立深度学习网络模型；并且利用FPN特征金字塔网络将ResNet50网络框架模型的第二特征提取阶段到第五特征提取阶段输出进行插值融合产生特征图组，将特征图组输入到GuidedAnchor中。
4.根据权利要求1所述的一种基于Guided Anchor优化的刀具图像智能检测方法，其特征在于：所述步骤3)中对样本的划分具体是指取整个数据集的80％作为训练集，剩余的20％作为测试集。
5.根据权利要求1所述的一种基于Guided Anchor优化的刀具图像智能检测方法，其特征在于：所述步骤4)数据增强具体是对训练集中的安检X射线刀具样本图片进行随机翻转、随机亮度增强和颜色通道标准化的多方面的依次处理。
6.根据权利要求1所述的一种基于Guided Anchor优化的刀具图像智能检测方法，其特征在于：所述步骤5)中，将训练的图片统一缩放到相同大小，先采用ImageNet已知数据预训练ResNet50网络框架模型的参数，训练时的参数更新方式为SGD，初始学习率为0.02，动量项为0.9，权值衰减系数1×10-4，批训练大小为4，训练迭代次数30000次。
CN202111188194.9A 2021-10-12 2021-10-12 一种基于GuidedAnchor优化的刀具图像智能检测方法 Pending CN113920432A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111188194.9A CN113920432A (zh) 2021-10-12 2021-10-12 一种基于GuidedAnchor优化的刀具图像智能检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111188194.9A CN113920432A (zh) 2021-10-12 2021-10-12 一种基于GuidedAnchor优化的刀具图像智能检测方法

Publications (1)

Publication Number Publication Date
CN113920432A true CN113920432A (zh) 2022-01-11

Family

ID=79239646

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111188194.9A Pending CN113920432A (zh) 2021-10-12 2021-10-12 一种基于GuidedAnchor优化的刀具图像智能检测方法

Country Status (1)

Country Link
CN (1) CN113920432A (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111103629A (zh) * 2018-10-25 2020-05-05 杭州海康威视数字技术股份有限公司 一种目标检测方法、装置、nvr设备及安检系统
CN111582072A (zh) * 2020-04-23 2020-08-25 浙江大学 结合ResNet50+FPN+DCN的变电站图片鸟巢检测方法
CN111583198A (zh) * 2020-04-23 2020-08-25 浙江大学 结合FasterR-CNN+ResNet101+FPN的绝缘子图片缺陷检测方法
CN111950610A (zh) * 2020-07-29 2020-11-17 中国科学院大学 基于精确尺度匹配的弱小人体目标检测方法
CN112085126A (zh) * 2020-09-30 2020-12-15 浙江大学 一种侧重于分类任务的单样本目标检测方法
CN112381107A (zh) * 2021-01-13 2021-02-19 湖南苏科智能科技有限公司 基于深度学习的物品x光检测方法、装置和计算机设备
CN112508090A (zh) * 2020-12-04 2021-03-16 重庆大学 一种外包装缺陷检测方法
CN112700442A (zh) * 2021-02-01 2021-04-23 浙江驿公里智能科技有限公司 基于Faster R-CNN的模切机工件缺陷检测方法和系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111103629A (zh) * 2018-10-25 2020-05-05 杭州海康威视数字技术股份有限公司 一种目标检测方法、装置、nvr设备及安检系统
CN111582072A (zh) * 2020-04-23 2020-08-25 浙江大学 结合ResNet50+FPN+DCN的变电站图片鸟巢检测方法
CN111583198A (zh) * 2020-04-23 2020-08-25 浙江大学 结合FasterR-CNN+ResNet101+FPN的绝缘子图片缺陷检测方法
CN111950610A (zh) * 2020-07-29 2020-11-17 中国科学院大学 基于精确尺度匹配的弱小人体目标检测方法
CN112085126A (zh) * 2020-09-30 2020-12-15 浙江大学 一种侧重于分类任务的单样本目标检测方法
CN112508090A (zh) * 2020-12-04 2021-03-16 重庆大学 一种外包装缺陷检测方法
CN112381107A (zh) * 2021-01-13 2021-02-19 湖南苏科智能科技有限公司 基于深度学习的物品x光检测方法、装置和计算机设备
CN112700442A (zh) * 2021-02-01 2021-04-23 浙江驿公里智能科技有限公司 基于Faster R-CNN的模切机工件缺陷检测方法和系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
LIXING LIU ET AL: "Surface Defect Detection of Solar Cells Based on Feature Pyramid Network and GA-Faster-RCNN", 《2019 2ND CHINA SYMPOSIUM ON COGNITIVE COMPUTING AND HYBRID INTELLIGENCE (CCHI)》 *
李玉: "基于卷积神经网络的射线图像识别系统的研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 *
蒋馨瑶: "目标检测中的分类回归特征解耦", 《中国优秀硕士学位论文全文数据库信息科技辑》 *

Similar Documents

Publication Publication Date Title
CN112819762B (zh) 一种基于伪孪生密集连接注意力机制的路面裂缝检测方法
CN110084165A (zh) 基于边缘计算的电力领域开放场景下异常事件的智能识别与预警方法
WO2023217163A1 (zh) 一种基于本地自注意力机制的大坝缺陷时序图像描述方法
CN111582029A (zh) 一种基于密集连接与注意力机制的交通标志识别方法
CN114092815B (zh) 一种大范围光伏发电设施遥感智能提取方法
CN110532914A (zh) 基于精细特征学习的建筑物检测方法
CN112633149A (zh) 一种域自适应雾天图像目标检测方法和装置
US20230368500A1 (en) Time-series image description method for dam defects based on local self-attention
CN111046928A (zh) 定位精准的单阶段实时通用目标检测器及方法
CN114267025A (zh) 基于高分辨率网络与轻量注意力机制的交通标志检测方法
CN115147383A (zh) 一种基于轻量化YOLOv5模型的绝缘子状态快速检测方法
CN109859222A (zh) 基于级联神经网络的边缘提取方法及系统
CN103605960B (zh) 一种基于不同焦距视频图像融合的交通状态识别方法
CN102938153B (zh) 基于约束谱聚类和马尔科夫随机场的视频图像分割方法
CN113361528B (zh) 一种多尺度目标检测方法及系统
CN114677357A (zh) 航拍绝缘子自爆缺陷的检测模型、方法、设备及存储介质
CN112734732B (zh) 基于改进ssd算法的铁路隧道漏缆卡具检测方法
CN113920432A (zh) 一种基于GuidedAnchor优化的刀具图像智能检测方法
CN116129327A (zh) 一种基于改进YOLOv7算法的红外车辆检测方法
CN111860332B (zh) 基于多阈值级联检测器的双通道电力图零部件检测方法
CN115661932A (zh) 一种垂钓行为检测方法
CN115456941A (zh) 新型电力绝缘子缺陷检测识别方法及系统
CN114821224A (zh) 铁路图像风格转换数据扩增方法及系统
CN115147432A (zh) 一种基于深度残差语义分割网络的初至拾取方法
CN114170581A (zh) 基于深度监督的Anchor-Free交通标志检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20220111

RJ01 Rejection of invention patent application after publication