CN112183583A - 一种注意力导向的太赫兹图像中的小目标检测方法 - Google Patents

一种注意力导向的太赫兹图像中的小目标检测方法 Download PDF

Info

Publication number
CN112183583A
CN112183583A CN202010932040.5A CN202010932040A CN112183583A CN 112183583 A CN112183583 A CN 112183583A CN 202010932040 A CN202010932040 A CN 202010932040A CN 112183583 A CN112183583 A CN 112183583A
Authority
CN
China
Prior art keywords
data set
terahertz
detection
target detection
attention
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010932040.5A
Other languages
English (en)
Inventor
曾文健
朱艳
沈韬
刘英莉
冼海锋
向思佳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kunming University of Science and Technology
Original Assignee
Kunming University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kunming University of Science and Technology filed Critical Kunming University of Science and Technology
Priority to CN202010932040.5A priority Critical patent/CN112183583A/zh
Publication of CN112183583A publication Critical patent/CN112183583A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038Image mosaicing, e.g. composing plane images from plane sub-images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种注意力导向的太赫兹图像中的小目标检测方法,属于目标检测技术领域。本发明首先收集太赫兹图像数据集,对收集到的数据集进行标注处理,并删除其中无效的图像。然后利用深度学习中目标检测领域的方法搭建目标检测框架,利用上述数据集在YOLO v4目标检测中进行训练并记录相关训练和检测结果。最后针对太赫兹图像的特点和实际应用场景中的需要,对太赫兹数据集进行数据增强处理并对YOLO v4检测框架进行优化,在相同的数据集上进行训练后对比原框架的检测效果。本发明能够有效减少工作人员的工作量,降低了人工成本,实现了自动、高效的检测过程。

Description

一种注意力导向的太赫兹图像中的小目标检测方法
技术领域
本发明涉及一种注意力导向的太赫兹图像中的小目标检测方法,属于目标检测技术领域。
背景技术
太赫兹成像是成像技术领域中的最新产品。传统的筛查系统(例如X射线机和金属探测器)不具备识别某些潜在威胁材料的能力,包括陶瓷手枪,塑料手枪等。金属探测器只能探测到诸如手枪和小刀之类的金属目标。无毒材料(玻璃,带扣)和恐怖物品之间存在实际差异。这样就产生了很多错误的预警。太赫兹技术具有穿透力强,能量低,连贯性等独特特征。在安全检查领域,太赫兹技术将发展越来越多的功能。太赫兹光子能量仅为4.1毫电子伏特。与X射线相比,它对人体安全。与红外相比,太赫兹对热本底不敏感。太赫兹辐射对塑料,纸板,纺织品和其他包装材料也具有很强的穿透力。目前,被动太赫兹成像的速度高达每秒10帧,并且在将来会更快。
被动式太赫兹人体安检仪为被动式探测,也就是探测时无需人员主动配合,设备自行完成对过往人群的探测。当设备安装启动后,将探测的图像信息实时地传输后后台屏幕上,如果被检人员体内携带了物品,后台屏幕的图像显示区域将在人体的某个部位上标注出矩形方框,以告知或提示安检人员被探测人员身体某一部位携带了物品。这对于特殊人群或特殊情况来说,被探测的人员可能不知道自己正在接受安全检查,这即可以让安检人员更好地完成对目标群体的检查,又能降低被检人员的顾虑和投诉。由于整个安全检查过程完全依赖设备,使用者并不需要在安检过程上部署工作人员,在应用中可以大大降低安检人员部署数量,可谓是开启了人体安检2.0时代的大门;另一方面,该安检全过程几乎不需要耗时。
因此,基于太赫兹技术的成像系统将成为安全检测的有效手段,它可以作为传统手段的强大补充,非常适合机场、火车站、汽车站、商场等人流众多的公共场所,以及政府部门、重要会议和大型活动等特殊环境的应用。
发明内容
本发明要解决的技术问题是提供一种注意力导向的太赫兹图像中的小目标检测方法,以用于解决被动式太赫兹安检仪所需人员多、工作繁琐、花费时间多效率低下等现象,实现了自动、高效的检测过程,有效地提高了安检速度。
本发明的技术方案是:一种注意力导向的太赫兹图像中的小目标检测方法,具体步骤为:
Step1:首先收集太赫兹图像数据集,对收集到的数据集进行标注处理,删除其中无效的图像,并利用上述数据集在YOLO v4目标检测中进行训练并记录相关训练和检测结果。
Step2:对太赫兹数据集进行数据增强处理,将每个图像中的所有小对象复制并粘贴到随机位置多次,来增多数据集中小目标的数量。
Step3:将高层特征图和具有局部描述信息的低层高分辨率特征图进行拼接,利用底层特征图对小目标进行检测。
Step4:针对太赫兹图像的特点和实际应用场景中对小目标检测的需要,在YOLOv4检测框架的基础上加入注意力机制。
对收集到的7711张太赫兹图片进行标注,并删除其中无效的图像。标注过程中将待检测检测分为三类,分别为person、phone和knife。其中每张图片都至少存在一个待检测物体,为person类,部分图片中包含全部三类待检测物体。
利用标注后的数据集送入YOLO v4目标检测框架中进行网络模型的训练,记录训练后的结果以及该模型在测试集中的检测效果。
本发明的有益效果是:解决了传统筛查系统所需人员多、工作繁琐、花费时间多效率低下等现象,实现了自动、高效的检测过程,有效地提高了安检速度和精度,同时该方法能够有效减少工作人员的工作量,降低了人工成本。
附图说明
图1是本发明流程图;
图2是对太赫兹数据集中的object采用k-means聚类的结果图;
图3是对太赫兹图像的数据增强操作结果对比图;
图4是修改后的特征增强模块图;
图5是Attention-guided YOLO v4目标检测框架中的注意力机制模块图;
图6是YOLOv4在太赫兹图像上的检测图。
具体实施方式
下面结合附图和具体实施方式,对本发明作进一步说明。
如图1-6所示,一种注意力导向的太赫兹图像中的小目标检测方法,具体步骤为:
首先收集太赫兹图像数据集,对收集到的数据集进行标注处理,并删除其中无效的图像。收集了7711张以室内为成像环境的被动太赫兹图像,降低了背景的干扰,所有图像均以人为主体,其中人体图像中也包含着一些隐藏物体如刀和手机等。
为了规划自己的数据,减少出错的可能性,先给自己的图片编一个合理的序号,比如0001~0999。
对收集到的被动太赫兹图像制作VOC格式的xml的标注文件,标注出隐藏物品的位置,标注工具为LabelImg。
将VOC格式的xml文件转换成YOLO格式的txt文件。
在目录下新建VOC2007,并在VOC2007下新建Annotations,ImageSets和JPEGImages三个文件夹。在ImageSets下新建Main文件夹。
将自己的数据集图片拷贝到JPEGImages目录下,JPEGImages文件夹下存放图片数据集,包括训练、测试加验证的所有图片。
ImageSets文件夹下存放图片名称,分为训练、测试和验证集。
labels文件夹下存放图片的标签,包括训练、测试加验证的所有标签。
bounding box的初始尺寸:
Anchor box的确定。这个先验框不同于之前Faster-Rcnn和SSD那样人工设定,在yolo_v2和yolo_v3中,都采用了对图像中的object采用k-means聚类。
YOLOv3网络在三个特征图中分别通过(4+1+c)k个大小为11的卷积核进行卷积预测,k为预设边界框的个数(k默认取3),c为预测目标的类别数,其中4k个参数负责预测目标边界框的偏移量,k个参数负责预测目标边界框内包含目标的概率,ck个参数负责预测这k个预设边界框对应c个目标类别的概率。图2展示了目标边界框的预测过程。
下面为太赫兹数据集聚类后的候选框尺寸:
33,34,59,38,55,66,139,43,236,345,288,350,328,347,357,355,398,360
YOLOv4是一个平衡精度和速度的算法。大的模型,例如Mask-RCNN和Cascade R-CNN在比赛中可以霸榜,但速度太慢;小的模型速度快,但精度又不高。另外,当今的不少模型因为太大,需要很多GPU进行并行训练,而YOLOv4可以在一块普通的GPU上完成训练,同时能够达到实时性,从而能够在生产环境中部署。一个完整的YOLOv4由以下三部分组成:CSPDarknet53(backbone)+SPP+PAN(Neck,也就是特征增强模块)+YoloV3组成。
为了提高小目标在整个数据集中的占比,平衡大小目标的数量。首先删除只含有目标是人的图像,并将每个图像中的所有小对象复制并粘贴到随机位置多次来增多数据集中小目标的数量,通过这种数据增强方式我们可以增强对小目标的检测性能。如图3所示,先将图像中的刀和手机复制一份,然后将其随机放置在可能出现的位置,以此来增多数据集中小目标的数量,平衡大小目标之间的数量关系。此过程后需要对图像重新进行标注。
注意力机制其实包含两个部分:(1)注意力机制需要决定整段输入的哪个部分需要更加关注;(2)从关键的部分进行特征提取,得到重要的信息。
按照注意力作用的特征形式,注意力机制可以分为基于通道的注意力和基于空间的注意力。基于通道的注意力机制建模的是特征的重要性;基于空间的注意力机制建模的则是位置的重要性。空间域是忽略了通道域中的信息,将每个通道中的图片特征同等处理,这种做法会将空间域变换方法局限在原始图片特征提取阶段,应用在神经网络其他层的可解释性不强。而通道域的注意力是对一个通道内的信息直接全局平均池化,而忽略每一个通道内的局部信息。
Attention-guided YOLO v4充分利用了通道注意力和空间注意力模块,并将二者的优势相结合,在网络主干卷积层后面、每个YOLO检测层前加入注意力模块。下面是CBAM注意力模块。
Figure BDA0002670550030000041
Figure BDA0002670550030000051
在VOC2007下新建test.py文件夹,生成四个文件:train.txt,val.txt,test.txt和trainval.txt。
修改自己的cfg文件优化器以及数据扩充:即每层的yolo之前的那个convolutional层都要修改filters的数目,filters=anchors_num*(classes_num+5),anchors_num为3,classes_num为3,修改yolo中classes的数目。注意是每个yolo和yolo前的convolutional层都做相同的修改。random为多尺度训练,1为打开多尺度训练。
因为是训练,所以注释Testing打开Training。
其中batch=64,每batch个样本更新一次参数。
Subdivisions=16,如果内存不够大,将batch分割为subdivisions个子batch,每个子batch的大小为batch/subdivisions。
momentum=0.9,运动的累积,历史记录对权重的进一步变化有多大的影响(优化程序)
Learning_rate=0.0001,初始学习率设置为0.0001。
Burn_in=1000,学习率的控制参数。
Max_batches=50200,迭代的次数,到50200的时候停止训练。
Policy=steps,学习率的变动策略。
Steps=10000,45000,学习率变动步长,在迭代10000次和45000的时候改变学习率的大小。
Scales=0.3,0.5,学习率变动因子,在迭代10000次的时候,学习率变为原来的0.3,在45000次的时候变为原来的0.5。
angle=0-在训练过程中随机旋转图像(仅限分类)
saturation=1.5-在训练过程中随机改变图像的饱和度
exposure=1.5-训练期间随机改变曝光(亮度)
hue=.1-在训练过程中随机更改色调(颜色)
修改data/voc.names为带检测的类别:person、phone、knife
在NVIDIA RTX2060 GPU上训练,使用CUDNN进行加速,YOLO v4模型用了22个小时。
以上结合附图对本发明的具体实施方式作了详细说明,但是本发明并不限于上述实施方式,在本领域普通技术人员所具备的知识范围内,还可以在不脱离本发明宗旨的前提下作出各种变化。

Claims (1)

1.一种注意力导向的太赫兹图像中的小目标检测方法,其特征在于:
Step1:首先收集太赫兹图像数据集,对收集到的数据集进行标注处理,删除其中无效的图像,并利用上述数据集在YOLO v4目标检测中进行训练并记录相关训练和检测结果;
Step2:对太赫兹数据集进行数据增强处理,将每个图像中的所有小对象复制并粘贴到随机位置多次,来增多数据集中小目标的数量;
Step3:将高层特征图和具有局部描述信息的低层高分辨率特征图进行拼接,利用底层特征图对小目标进行检测;
Step4:针对太赫兹图像的特点和实际应用场景中对小目标检测的需要,在YOLO v4检测框架的基础上加入注意力机制。
CN202010932040.5A 2020-09-08 2020-09-08 一种注意力导向的太赫兹图像中的小目标检测方法 Pending CN112183583A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010932040.5A CN112183583A (zh) 2020-09-08 2020-09-08 一种注意力导向的太赫兹图像中的小目标检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010932040.5A CN112183583A (zh) 2020-09-08 2020-09-08 一种注意力导向的太赫兹图像中的小目标检测方法

Publications (1)

Publication Number Publication Date
CN112183583A true CN112183583A (zh) 2021-01-05

Family

ID=73925084

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010932040.5A Pending CN112183583A (zh) 2020-09-08 2020-09-08 一种注意力导向的太赫兹图像中的小目标检测方法

Country Status (1)

Country Link
CN (1) CN112183583A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112560816A (zh) * 2021-02-20 2021-03-26 北京蒙帕信创科技有限公司 一种基于YOLOv4的设备指示灯识别方法及系统
CN112733821A (zh) * 2021-03-31 2021-04-30 成都西交智汇大数据科技有限公司 一种融合轻量级注意力模型的目标检测方法
CN113066047A (zh) * 2021-02-23 2021-07-02 青岛科技大学 轮胎x射线图像杂质缺陷检测方法
CN113807286A (zh) * 2021-09-24 2021-12-17 福建平潭瑞谦智能科技有限公司 一种人脸识别大数据训练方法
CN114338129A (zh) * 2021-12-24 2022-04-12 中汽创智科技有限公司 一种报文异常检测方法、装置、设备及介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109001833A (zh) * 2018-06-22 2018-12-14 天和防务技术(北京)有限公司 一种基于深度学习的太赫兹危险品检测方法
CN109886319A (zh) * 2019-01-30 2019-06-14 杭州芯影科技有限公司 一种基于毫米波安检图像的隐匿物检测方法及系统
CN109948527A (zh) * 2019-03-18 2019-06-28 西安电子科技大学 基于集成深度学习的小样本太赫兹图像异物检测方法
CN110490151A (zh) * 2019-08-22 2019-11-22 昆明理工大学 一种基于Mask RCNN识别太赫兹安检图像可疑物体的检测方法
CN111257957A (zh) * 2020-02-25 2020-06-09 西安交通大学 基于被动式太赫兹成像的识别跟踪系统及方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109001833A (zh) * 2018-06-22 2018-12-14 天和防务技术(北京)有限公司 一种基于深度学习的太赫兹危险品检测方法
CN109886319A (zh) * 2019-01-30 2019-06-14 杭州芯影科技有限公司 一种基于毫米波安检图像的隐匿物检测方法及系统
CN109948527A (zh) * 2019-03-18 2019-06-28 西安电子科技大学 基于集成深度学习的小样本太赫兹图像异物检测方法
CN110490151A (zh) * 2019-08-22 2019-11-22 昆明理工大学 一种基于Mask RCNN识别太赫兹安检图像可疑物体的检测方法
CN111257957A (zh) * 2020-02-25 2020-06-09 西安交通大学 基于被动式太赫兹成像的识别跟踪系统及方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
JINSONG ZHANG等: "《Terahertz Image Detection with the Improved Faster Region-Based Convolutional Neural Network》", 《SENSORS(BASEL)》 *
WHITERABBIT.AI: "《YOLO-v4 Object Detector》", 《HTTPS://RECKONING.DEV/BLOG/YOLO-V4/》 *
崔向伟 等: "《小样本太赫兹光谱识别》", 《HTTPS://KNS.CNKI.NET/KCMS/DETAIL/31.1690.TN.20200703.0951.008.HTML》 *
徐诚极 等: "《Attention-YOLO:引入注意力机制的 YOLO 检测算法》", 《计算机工程与应用》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112560816A (zh) * 2021-02-20 2021-03-26 北京蒙帕信创科技有限公司 一种基于YOLOv4的设备指示灯识别方法及系统
CN113066047A (zh) * 2021-02-23 2021-07-02 青岛科技大学 轮胎x射线图像杂质缺陷检测方法
CN112733821A (zh) * 2021-03-31 2021-04-30 成都西交智汇大数据科技有限公司 一种融合轻量级注意力模型的目标检测方法
CN112733821B (zh) * 2021-03-31 2021-07-02 成都西交智汇大数据科技有限公司 一种融合轻量级注意力模型的目标检测方法
CN113807286A (zh) * 2021-09-24 2021-12-17 福建平潭瑞谦智能科技有限公司 一种人脸识别大数据训练方法
CN113807286B (zh) * 2021-09-24 2023-04-07 福建平潭瑞谦智能科技有限公司 一种人脸识别大数据训练方法
CN114338129A (zh) * 2021-12-24 2022-04-12 中汽创智科技有限公司 一种报文异常检测方法、装置、设备及介质
CN114338129B (zh) * 2021-12-24 2023-10-31 中汽创智科技有限公司 一种报文异常检测方法、装置、设备及介质

Similar Documents

Publication Publication Date Title
CN112183583A (zh) 一种注意力导向的太赫兹图像中的小目标检测方法
Arras et al. Explaining recurrent neural network predictions in sentiment analysis
CN112926405B (zh) 一种安全帽佩戴检测方法、系统、设备及存储介质
CN111563557B (zh) 一种电力电缆隧道内目标检测的方法
Hassan et al. Real-time uav detection based on deep learning network
Horak et al. Deep learning concepts and datasets for image recognition: overview 2019
US20210241439A1 (en) Repair Estimation Based on Images
CN113158891A (zh) 一种基于全局特征匹配的跨摄像头行人重识别方法
Li et al. Multiple factors influence coal and gangue image recognition method and experimental research based on deep learning
Du et al. CAPTCHA recognition based on faster R-CNN
Li et al. Multi-branch semantic GAN for infrared image generation from optical image
Majumder et al. High-performance computing for automatic target recognition in synthetic aperture radar imagery
Zhang et al. Intelligent garbage detection system based on neural networks
Kan et al. Real-Time domestic garbage detection method based on improved YOLOv5
Duragkar et al. Comparison between yolov5 and ssd for pavement crack detection
Hu et al. An automatic detection method of the mural shedding disease using YOLOv4
Dai et al. Initial investigations into using an ensemble of deep neural networks for building façade image semantic segmentation
Prema Automatic number plate recognition using deep learning
Vubangsi et al. Applications of Transformer Attention Mechanisms in Information Security: Current Trends and Prospects
Xue et al. ISD-SSD: image splicing detection by using modified single shot MultiBox detector
Zhou et al. Multilevel feature cooperative alignment and fusion for unsupervised domain adaptation smoke detection
Popescu et al. Complex conditional generative adversarial nets for multiple objectives detection in aerial images
CN112802049B (zh) 一种家庭物品检测数据集构建方法及系统
Akbulut et al. Smart Arms Detection System Using YOLO Algorithm and OpenCV Libraries
Jin et al. A vehicle detection algorithm in complex traffic scenes

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210105