CN112446335A - 一种基于深度学习的太赫兹违禁物品检测方法 - Google Patents

一种基于深度学习的太赫兹违禁物品检测方法 Download PDF

Info

Publication number
CN112446335A
CN112446335A CN202011395496.9A CN202011395496A CN112446335A CN 112446335 A CN112446335 A CN 112446335A CN 202011395496 A CN202011395496 A CN 202011395496A CN 112446335 A CN112446335 A CN 112446335A
Authority
CN
China
Prior art keywords
terahertz
contraband
contraband detection
imaging
imaging graph
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011395496.9A
Other languages
English (en)
Inventor
潘新建
李奇
吴洁滢
李志莉
张崇富
邓春健
杨亮
徐世祥
王婷瑶
温贺平
张智
刘凯
易子川
刘青龙
迟锋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China Zhongshan Institute
Original Assignee
University of Electronic Science and Technology of China Zhongshan Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China Zhongshan Institute filed Critical University of Electronic Science and Technology of China Zhongshan Institute
Priority to CN202011395496.9A priority Critical patent/CN112446335A/zh
Publication of CN112446335A publication Critical patent/CN112446335A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/31—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
    • G01N21/35—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light
    • G01N21/3581—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light using far infrared light; using Terahertz radiation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/05—Recognition of patterns representing particular kinds of hidden objects, e.g. weapons, explosives, drugs

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Toxicology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度学习的太赫兹违禁物品检测方法，包括制作形成太赫兹数据集，对太赫兹数据集的太赫兹成像图和标注成像图进行数据增强后，构建违禁物检测神经网络并将其训练为违禁物检测模型，再对违禁物检测模型进行迭代训练后可直接应用于实际场景，将实时太赫兹采集成像的实时成像图输入至违禁物检测模型内，即可快速便捷地检测实时成像图存在的违禁物品，检测精度高，且无需标注大量目标进行模型训练。

Description

一种基于深度学习的太赫兹违禁物品检测方法
技术领域
本发明涉及一种违禁物品检测方法，特别是一种基于深度学习的太赫兹违禁物品检测方法。
背景技术
太赫兹是波频率在0.1～10THz之间的电磁波，位于可见光和微波之间，相比于X光，太赫兹波的频率低、能量很小，对人体不存在辐射伤害，而太赫兹的穿透能力强，可穿透塑料、纸张及各种纺织布料，可发现衣物下的物品，此外，太赫兹成像设备不但能显示出金属物品，也能显示非金属违物品，使得太赫兹成像技术极适用于人体成像安检领域，但由于太赫兹设备的特殊成像原理，造成太赫兹图像质量较差，依靠人工肉眼观察很难锁定违禁物品，随着人工智能的兴起，基于深度学习的目标检测算法已取得长足的发展，特别是在具有大量训练数据的场景，往往能取得非常好的检测效果，为了训练太赫兹违禁品目标检测模型，往往是对所有的图像进行标注，然后训练模型，这种标记方法需要大量的人力，且存在较强的主观性，同时太赫兹图像中存在大量的小目标(如火柴、打火机、刀片等)，而面临该类小目标的问题就是检测精度的需求高。
发明内容
为了克服现有技术的不足，本发明提供一种精度高、无需标注大量目标进行模型训练的基于深度学习的太赫兹违禁物品检测方法。
本发明解决其技术问题所采用的技术方案是：
一种基于深度学习的太赫兹违禁物品检测方法，包括以下步骤：
(1)、采集和制作太赫兹数据集，该太赫兹数据集包括人体携带违禁物品的太赫兹成像图；
(2)、对太赫兹成像图进行违禁物品标注，形成标注成像图；
(3)、数据增强太赫兹数据集的太赫兹成像图和标注成像图；
(4)、基于Faster-rcnn构建违禁物检测神经网络；
(5)、通过数据增强后的标注成像图将违禁物检测神经网络训练为违禁物检测模型；
(6)、通过数据增强后太赫兹成像图对违禁物检测模型进行迭代训练，并对违禁物检测模型输出的迭代检测图像作图像阈值处理比较，去除小于设定阈值的迭代检测图像，大于设定阈值的迭代检测图像作数据增强后继续训练违禁物检测模型。
(7)、对人体进行太赫兹采集成像，采集形成的实时成像图输入至违禁物检测模型，检测实时成像图存在的违禁物品。
所述违禁物检测神经网络包括依次相连的特征提取网络、RPN网络以及Roi与Classification网络。
所述特征提取网络为Resnet101网络，所述特征提取网络采用的特征提取方法为FPN。
所述步骤5的违禁物检测神经网络训练包括以下步骤：
(1)、特征提取网络对标注成像图进行特征提取，形成特征图像；
(2)、RPN网络对特征图像进行处理，生成候选区域；
(3)、特征图像和候选区域输入至Roi与Classification网络后，Roi与Classification网络生成标注成像图的违禁物检测框。
所述数据增强包括对太赫兹成像图的翻转处理、角度旋转处理、亮度处理和马赛克处理。
所述设定阈值为0.9。
本发明的有益效果是：本发明包括制作形成太赫兹数据集，对太赫兹数据集的太赫兹成像图和标注成像图进行数据增强后，构建违禁物检测神经网络并将其训练为违禁物检测模型，再对违禁物检测模型进行迭代训练后可直接应用于实际场景，将实时太赫兹采集成像的实时成像图输入至违禁物检测模型内，即可快速便捷地检测实时成像图存在的违禁物品，检测精度高，且无需标注大量目标进行模型训练。
附图说明
下面结合附图和实施例对本发明进一步说明。
图1是本发明的方法流程图。
具体实施方式
参照图1，一种基于深度学习的太赫兹违禁物品检测方法，包括以下步骤：
(1)、采集和制作太赫兹数据集，该太赫兹数据集包括人体携带违禁物品的太赫兹成像图；为训练后的模型能够应对复杂多变的应用场景，太赫兹数据集需要覆盖尽量多的场景，可由人体携带实验的刀、枪、火柴、打火机等违禁物品进行太赫兹采集成像，构成太赫兹成像图。
(2)、对太赫兹成像图进行违禁物品标注(标注工具可采用Labelme)，形成标注成像图，由于实际场景中的数据量巨大，进行全部标注费时费力，且存在漏标误标的情况，因此，只需要挑选各种违禁物品的少量数据进行标注，将违禁物检测模型训练成型即可，太赫兹成像图上的违禁品可在步骤6的迭代训练里逐渐被完全检测标注，因此，模型训练无需标注大量的目标。
(3)、数据增强太赫兹数据集的太赫兹成像图和标注成像图；
(4)、基于Faster-rcnn构建违禁物检测神经网络，所述违禁物检测神经网络包括依次相连的特征提取网络、RPN网络以及Roi与Classification网络，所述特征提取网络为Resnet101网络，所述特征提取网络采用的特征提取方法为FPN，能更好的检测标注成像图中的小目标，适应目标多尺度的变化，违禁物检测神经网络与普通的Faster-rcnn网络主要区别在于Faster-rcnn网络的特征提取网络，是一个包含了13个conv层、13个relu层和4个pooling层的Conv layers网络，而违禁物检测神经网络的RPN网络以及Roi与Classification网络均与Faster-rcnn网络相同。
(5)、通过数据增强后的标注成像图将违禁物检测神经网络训练为违禁物检测模型；(6)、通过数据增强后太赫兹成像图对违禁物检测模型进行迭代训练，并对违禁物检测模型输出的迭代检测图像作图像阈值处理比较(对图像进行阈值处理过程是现有常用的技术手段，不再进行详细的说明)，去除小于设定阈值的迭代检测图像，大于设定阈值的迭代检测图像作数据增强后继续训练违禁物检测模型，所述设定阈值为0.9，违禁物检测模型进行持续迭代后，模型将会越来越具泛化能力及特征提取能力，越来越多的数据(迭代检测图像)将会被标注，并加入训练,标注工具可采用Labelme。
(7)、对人体进行太赫兹采集成像，采集形成的实时成像图输入至违禁物检测模型，直接应用于实际场景，检测实时成像图存在的违禁物品。
所述步骤5的违禁物检测神经网络训练包括以下步骤：
(1)、特征提取网络对标注成像图进行特征提取，形成特征图像；
(2)、RPN网络对特征图像进行处理，生成候选区域；
(3)、特征图像和候选区域输入至Roi与Classification网络后，Roi与Classification网络生成标注成像图的违禁物检测框。
所述数据增强包括对太赫兹成像图的翻转处理、角度旋转处理、亮度处理和马赛克处理，增加网络模型的适应能力，以适应实际场景中出现形式各异的违禁品，即使检测难度最高的小目标，训练后的违禁物检测模型也能将其进行精准检测。
以上的实施方式不能限定本发明创造的保护范围，专业技术领域的人员在不脱离本发明创造整体构思的情况下，所做的均等修饰与变化，均仍属于本发明创造涵盖的范围之内。

Claims (6)

1.一种基于深度学习的太赫兹违禁物品检测方法，其特征在于它包括以下步骤：
（1）、采集和制作太赫兹数据集，该太赫兹数据集包括人体携带违禁物品的太赫兹成像图；
（2）、对太赫兹成像图进行违禁物品标注，形成标注成像图；
（3）、数据增强太赫兹数据集的太赫兹成像图和标注成像图；
（4）、基于Faster-rcnn构建违禁物检测神经网络；
（5）、通过数据增强后的标注成像图将违禁物检测神经网络训练为违禁物检测模型；
（6）、通过数据增强后太赫兹成像图对违禁物检测模型进行迭代训练，并对违禁物检测模型输出的迭代检测图像作图像阈值处理比较，去除小于设定阈值的迭代检测图像，大于设定阈值的迭代检测图像作数据增强后继续训练违禁物检测模型；
（7）、对人体进行太赫兹采集成像，采集形成的实时成像图输入至违禁物检测模型，检测实时成像图存在的违禁物品。
2.根据权利要求1所述的基于深度学习的太赫兹违禁物品检测方法，其特征在于所述违禁物检测神经网络包括依次相连的特征提取网络、RPN网络以及Roi与Classification网络。
3.根据权利要求2所述的基于深度学习的太赫兹违禁物品检测方法，其特征在于所述特征提取网络为Resnet101网络，所述特征提取网络采用的特征提取方法为FPN。
4.根据权利要求2或3所述的基于深度学习的太赫兹违禁物品检测方法，其特征在于所述步骤5的违禁物检测神经网络训练包括以下步骤：
（1）、特征提取网络对标注成像图进行特征提取，形成特征图像；
（2）、RPN网络对特征图像进行处理，生成候选区域；
（3）、特征图像和候选区域输入至Roi与Classification网络后，Roi与Classification网络生成标注成像图的违禁物检测框。
5.根据权利要求1所述的基于深度学习的太赫兹违禁物品检测方法，其特征在于所述数据增强包括对太赫兹成像图的翻转处理、角度旋转处理、亮度处理和马赛克处理。
6.根据权利要求1所述的基于深度学习的太赫兹违禁物品检测方法，其特征在于所述设定阈值为0.9。
CN202011395496.9A 2020-12-02 2020-12-02 一种基于深度学习的太赫兹违禁物品检测方法 Pending CN112446335A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011395496.9A CN112446335A (zh) 2020-12-02 2020-12-02 一种基于深度学习的太赫兹违禁物品检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011395496.9A CN112446335A (zh) 2020-12-02 2020-12-02 一种基于深度学习的太赫兹违禁物品检测方法

Publications (1)

Publication Number Publication Date
CN112446335A true CN112446335A (zh) 2021-03-05

Family

ID=74740269

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011395496.9A Pending CN112446335A (zh) 2020-12-02 2020-12-02 一种基于深度学习的太赫兹违禁物品检测方法

Country Status (1)

Country Link
CN (1) CN112446335A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113075159A (zh) * 2021-03-26 2021-07-06 重庆医药高等专科学校 一种基于太赫兹光谱的切片检查细胞成像系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108764281A (zh) * 2018-04-18 2018-11-06 华南理工大学 一种基于半监督自步学习跨任务深度网络的图像分类方法
CN108959252A (zh) * 2018-06-28 2018-12-07 中国人民解放军国防科技大学 基于深度学习的半监督中文命名实体识别方法
US20180364158A1 (en) * 2017-06-20 2018-12-20 Konica Minolta Laboratory U.S.A., Inc. Terahertz spectral imaging system and security surveillance system employing the same
CN109325490A (zh) * 2018-09-30 2019-02-12 西安电子科技大学 基于深度学习和rpca的太赫兹图像目标识别方法
CN110956225A (zh) * 2020-02-25 2020-04-03 浙江啄云智能科技有限公司 一种违禁品检测方法及系统、一种计算设备及存储介质
CN111523536A (zh) * 2020-04-10 2020-08-11 南京智行信息科技有限公司 一种基于Faster RCNN的自适应路面抛洒物智能检测方法
CN111782472A (zh) * 2020-06-30 2020-10-16 平安科技（深圳）有限公司 系统异常检测方法、装置、设备及存储介质
CN111881956A (zh) * 2020-07-15 2020-11-03 北京市商汤科技开发有限公司 网络训练方法及装置、目标检测方法及装置和电子设备

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180364158A1 (en) * 2017-06-20 2018-12-20 Konica Minolta Laboratory U.S.A., Inc. Terahertz spectral imaging system and security surveillance system employing the same
CN108764281A (zh) * 2018-04-18 2018-11-06 华南理工大学 一种基于半监督自步学习跨任务深度网络的图像分类方法
CN108959252A (zh) * 2018-06-28 2018-12-07 中国人民解放军国防科技大学 基于深度学习的半监督中文命名实体识别方法
CN109325490A (zh) * 2018-09-30 2019-02-12 西安电子科技大学 基于深度学习和rpca的太赫兹图像目标识别方法
CN110956225A (zh) * 2020-02-25 2020-04-03 浙江啄云智能科技有限公司 一种违禁品检测方法及系统、一种计算设备及存储介质
CN111523536A (zh) * 2020-04-10 2020-08-11 南京智行信息科技有限公司 一种基于Faster RCNN的自适应路面抛洒物智能检测方法
CN111782472A (zh) * 2020-06-30 2020-10-16 平安科技（深圳）有限公司 系统异常检测方法、装置、设备及存储介质
CN111881956A (zh) * 2020-07-15 2020-11-03 北京市商汤科技开发有限公司 网络训练方法及装置、目标检测方法及装置和电子设备

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
HONG XIAO等: "Identification of Dangerous Goods in Human THZ Images", 《ADVANCES IN INTELLIGENT SYSTEMS RESEARCH》 *
余奕晨: "基于深度学习的太赫兹危险物品检测算法的研究", 《中国优秀硕士学位论文全文数据库 基础科学辑》 *
潘雄: "基于深度学习的毫米波辐射图像目标检测方法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113075159A (zh) * 2021-03-26 2021-07-06 重庆医药高等专科学校 一种基于太赫兹光谱的切片检查细胞成像系统
CN113075159B (zh) * 2021-03-26 2022-10-14 重庆医药高等专科学校 一种基于太赫兹光谱的切片检查细胞成像系统

Similar Documents

Publication Publication Date Title
CN111046880B (zh) 一种红外目标图像分割方法、系统、电子设备及存储介质
CN106707296B (zh) 一种基于双孔径光电成像系统的无人机检测与识别方法
CN108564092A (zh) 基于sift特征提取算法的向日葵病害识别方法
Xia et al. In situ detection of small-size insect pests sampled on traps using multifractal analysis
CN109325490A (zh) 基于深度学习和rpca的太赫兹图像目标识别方法
CN107316024B (zh) 基于深度学习的周界报警算法
CN108288279A (zh) 一种基于x光图像前景目标提取的物品甄别方法
CN113516619B (zh) 一种基于图像处理技术的产品表面瑕疵识别方法
CN111739003B (zh) 一种用于外观检测的机器视觉方法
CN111931620A (zh) 仪表盘定位识别方法、装置、电子设备及存储介质
CN113378716A (zh) 一种基于自监督条件的深度学习sar影像舰船识别方法
CN111161295A (zh) 一种菜品图像背景剥离方法
Li et al. Automatic infrared ship target segmentation based on structure tensor and maximum histogram entropy
CN112446335A (zh) 一种基于深度学习的太赫兹违禁物品检测方法
Koniar et al. Machine vision application in animal trajectory tracking
Junxiong et al. Feature extraction of jujube fruit wrinkle based on the watershed segmentation
Pooja et al. Image segmentation: A survey
Huang et al. Infrared small target detection with directional difference of Gaussian filter
Cao Detection of fruit surface defects based on machine vision
Sun et al. A vision system based on TOF 3D imaging technology applied to robotic citrus harvesting
Jibrin et al. Development of hybrid automatic segmentation technique of a single leaf from overlapping leaves image
Zhang et al. Classification-Detection of Metal Surfaces under Lower Edge Sharpness Using a Deep Learning-Based Approach Combined with an Enhanced LoG Operator.
Li et al. A real-time pineapple matching system based on speeded-up robust features
Wang et al. Identification and extraction of circular markers in 3D reconstruction
MAARIR et al. Building detection from satellite images based on curvature scale space method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination