CN109978892A - 一种基于太赫兹成像的智能安检方法 - Google Patents

一种基于太赫兹成像的智能安检方法 Download PDF

Info

Publication number
CN109978892A
CN109978892A CN201910215985.2A CN201910215985A CN109978892A CN 109978892 A CN109978892 A CN 109978892A CN 201910215985 A CN201910215985 A CN 201910215985A CN 109978892 A CN109978892 A CN 109978892A
Authority
CN
China
Prior art keywords
terahertz
image
inspection method
method based
safety inspection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910215985.2A
Other languages
English (en)
Other versions
CN109978892B (zh
Inventor
温婷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Qiyun Intelligent Technology Co Ltd
Original Assignee
Zhejiang Qiyun Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Qiyun Intelligent Technology Co Ltd filed Critical Zhejiang Qiyun Intelligent Technology Co Ltd
Priority to CN201910215985.2A priority Critical patent/CN109978892B/zh
Publication of CN109978892A publication Critical patent/CN109978892A/zh
Application granted granted Critical
Publication of CN109978892B publication Critical patent/CN109978892B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于太赫兹成像的智能安检方法。该方法包括从太赫兹成像系统中获得被检对象的太赫兹图像，将太赫兹图像进行预处理，获得预处理后的太赫兹图像；将所述预处理后的太赫兹图像输入预设的深度学习模型，提取所述预处理后的太赫兹图像中对应的待检测物的物品信息数据；利用深度学习模型对接收到的物品信息数据进行图像实例分割和检测识别；实例分割结果和目标检测识别结果融合，将判别为可疑违禁物品的信息生成对应的识别结果。本发明实施例提供的技术方案，实现了多变环境下目标对象的实例分割及检测识别，保证了安检过程中对违禁品的识别准确性，且能够获取目标对象的完整信息。

Description

一种基于太赫兹成像的智能安检方法
技术领域
本发明涉及安检领域，具体涉及一种基于太赫兹成像的智能安检方法、装置、系统及其电子设备。
背景技术
随着公众安全意识的增强，各种安检设备被广泛应用于机场、口岸、港口、地铁、法院、重大赛事的场馆等重要公共场所。目前，市场上主流的安检扫描仪为X射线扫描仪，但由于x射线电子能量较高，容易对被检测物质产生电离性伤害，因此并不适用于对人体进行安全扫描。
太赫兹辐射是指频率在0.1-10Thz的电磁波，类似于x-ray，太赫兹辐射能够穿透各种各样的材料，例如塑料，纸张，服装等非金属材料。此外，太赫兹波是一种非电离辐射没有电子能量，这就意味着太赫兹辐射将不会对人体组织产生损害，使得太赫兹成像广泛应用于人体安检。但是，同主流安检仪一样，基于太赫兹成像的安检设备也需要工作人员对显示的图片进行排查，这样安检人员长时间监视屏幕容易造成视觉疲劳，导致误检、错检、漏检等情况发生。因此，如何从太赫兹图像中寻找危险品的特征，实现安检自动化显得越来越重要。
发明内容
针对相关技术中目标识别方案难以适用于多变的环境，特别是目标物体叠放遮挡导致的目标物体太赫兹图像不完整，无法获取目标物体的准确信息，以及人工处理效率低的问题，本发明提出一种基于太赫兹成像的智能安检方法，能够基于深度学习完成太赫兹图片上重叠遮挡物体的信息提取，进而实现多变环境下目标对象的实例分割及识别，获取目标对象的完整信息。
为了实现上述目的，本发明提供了一种基于太赫兹成像的智能安检方法，主要包括以下步骤：
S1：从太赫兹成像系统中获得被检对象的太赫兹图像，将太赫兹图像进行预处理，获得预处理后的太赫兹图像；
S2：将所述预处理后的太赫兹图像输入预设的深度学习模型，提取图像中对应的待检测物的物品信息数据；
S3：利用深度学习模型对接收到的物品信息数据进行图像实例分割和检测识别；
S4：S3中实例分割结果和目标检测识别结果融合，将判别为可疑违禁物品的信息生成对应的识别结果。
所述深度学习模型为基于卷积神经网络的深度学习模型，且通过各种类别标签为违禁品的样本数据训练得到。所述卷积神经网络的网络结构包括特征编码通道、特征解码通道、目标解析网络及输出网络四部分，其中特征编码通道和特征解码通道以U-Net网络结构为基础。
进一步，所述实例分割，其步骤包括：建立三维空间坐标系，将待检测物图像的标签由二维空间投影到三维空间，利用特征融合技术对待检测目标进行三维空间的拆分，完成重叠遮挡目标的实例分割。
进一步，所述检测识别，用于获得包括待检测物位置、物体类别标签和掩膜的信息。
与现有技术相比，本发明至少具有以下有益效果。
使用太赫兹成像技术能够穿透衣服并能发现隐藏在衣服下面诸如小刀，手枪等危险品，还能够有效的识别难以被X-ray detector或者金属探测器检测到的非金属材料的物体(例如陶瓷刀，塑料手枪等)。
本申请通过预设的深度学习模型得到待识别物品的实例分割图像，使得对于常见违禁物品能够准确的识别出来，避免了现有的由肉眼进行识别的误差，节省了人工，降低了安检成本，还提高了安检的安全性。
该方法区别于现有技术，能够将两个共享像素的实例区分开，也就是说通过本申请的方法能够将重叠遮盖物体解析开，获得更全面准确的物体特征信息，这不仅能够提高目标识别的效率，降低人工成本，并且能够适应各种环境的变化，提高检测的准确性。
本公开的其他特征和优点将在随后的说明书中阐述，或者，部分特征和优点可以从说明书推知或毫无疑义地确定，或者通过实施本公开的上述技术即可得知。
为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
图1为本发明实施例提供的基于太赫兹成像的智能安检方法的流程框图。
图2为本发明实施例提供的对待检测目标进行三维空间的拆分的示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
发明人在实现本发明创造的过程中发现：实际的安检检测中待检测物常常叠放在一起，在获得的太赫兹图像数据上呈现同一位置有两个或多个类别标签的状态，这使得深度学习模型无法获得完整的待检测物品信息，其检测结果仍然存在较大检测和识别错误的风险。
有鉴于此，本申请实施例提供了一种基于太赫兹成像的智能安检方法，请参阅图1，示出了该安检方法的流程框图，可以包括以下步骤：
S1：从太赫兹成像系统中获得被检对象的太赫兹图像，将太赫兹图像进行预处理，获得预处理后的太赫兹图像。
一般太赫兹安检成像系统获得的图像总是伴随高噪声且模糊，因此需要对图像进行预处理，常规预处理包括降噪操作。
S2：将所述预处理后的太赫兹图像输入预设的深度学习模型，提取图像中对应的待检测物的物品信息数据。
其中，所述预处理后的太赫兹图像可以为彩色图像，也可以为黑白图像。所述深度学习模型为基于卷积神经网络的深度学习模型，且通过各种类别标签为违禁品的样本数据训练得到。所述卷积神经网络的网络结构包括特征编码通道、特征解码通道、目标解析网络及输出网络四部分，其中特征编码通道和特征解码通道以U-Net网络结构为基础。
U-Net模型是卷积神经网络的一种变形，因其结构形似字母U而得名U-Net。整个神经网络主要有两部分组成：特征编码通道和特征解码通道。特征编码通道主要是用来捕捉图像中的上下文信息，而与之相对称的特征解码通道则是为了对图像中所需要分割出来的部分进行精准定位。发明人在发明过程中发现，使用U-Net网络结构能够通过跳跃连接将底层细节特征和高层语意特征多尺度融合，从而能够更好地分割不同尺度的目标。基于此，本实施例中的特征编码通道和特征解码通道以U-Net网络结构为基础。
需要说明的是，本申请扩展了U-Net模型，使其能够通过两个独立的特征编码通道同时解决目标物体的检测和分割任务。
需要说明的是，本实施例并不限定深度学习模型为U-Net模型，只要能同时提供待测物体的检测和分割任务，能获得重叠遮盖物体的实例分割的模型均可。
S3：利用深度学习模型对接收到的物品信息数据进行图像实例分割和检测识别。
所述实例分割，其步骤包括：建立三维空间坐标系，将待检测物图像的标签由二维空间投影到三维空间，利用特征融合技术对待检测目标进行三维空间的拆分，完成重叠遮挡目标的实例分割。其中，对待检测目标进行三维空间的拆分示意图请参阅图2。
所述检测识别，用于获得包括待检测物位置、物体类别标签和掩膜的信息。
其中，物体检测识别和图像分割是两种不同的计算机视觉基础任务。物体检测识别要求算法把各种物体从图像中识别并定位出来，图像分割要求算法把图像的每一个像素加上类别标注。实例分割既需要对图像的所有对象进行正确的识别与检测，又需要对每个实例进行精确地分割。
S4：S3中实例分割结果和目标检测识别结果融合，将判别为可疑违禁物品的信息生成对应的识别结果。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (6)

1.一种基于太赫兹成像的智能安检方法，其特征在于，主要包括以下步骤：
S1：从太赫兹成像系统中获得被检对象的太赫兹图像，将太赫兹图像进行预处理，获得预处理后的太赫兹图像；
S2：将所述预处理后的太赫兹图像输入预设的深度学习模型，提取图像中对应的待检测物的物品信息数据；
S3：利用深度学习模型对接收到的物品信息数据进行图像实例分割和检测识别；
S4：S3中实例分割结果和目标检测识别结果融合，将判别为可疑违禁物品的信息生成对应的识别结果。
2.根据权利要求1所述一种基于太赫兹成像的智能安检方法，其特征在于，所述深度学习模型为基于卷积神经网络的深度学习模型，且通过各种违禁品的样本数据训练得到。
3.根据权利要求2所述一种基于太赫兹成像的智能安检方法，其特征在于，所述卷积神经网络的网络结构包括特征编码通道、特征解码通道、目标解析网络及输出网络四部分。
4.根据权利要求3所述一种基于太赫兹成像的智能安检方法，其特征在于，特征编码通道和特征解码通道以U-Net网络结构为基础。
5.根据权利要求1所述一种基于太赫兹成像的智能安检方法，其特征在于，所述实例分割，其步骤包括：建立三维空间坐标系，将待检测物图像的标签由二维空间投影到三维空间，利用特征融合技术对待检测目标进行三维空间的拆分，完成重叠遮挡目标的实例分割。
6.根据权利要求1所述一种基于太赫兹成像的智能安检方法，其特征在于，所述检测识别，用于获得包括待检测物位置、物体类别标签和掩膜的信息。
CN201910215985.2A 2019-03-21 2019-03-21 一种基于太赫兹成像的智能安检方法 Active CN109978892B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910215985.2A CN109978892B (zh) 2019-03-21 2019-03-21 一种基于太赫兹成像的智能安检方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910215985.2A CN109978892B (zh) 2019-03-21 2019-03-21 一种基于太赫兹成像的智能安检方法

Publications (2)

Publication Number Publication Date
CN109978892A true CN109978892A (zh) 2019-07-05
CN109978892B CN109978892B (zh) 2021-03-16

Family

ID=67079888

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910215985.2A Active CN109978892B (zh) 2019-03-21 2019-03-21 一种基于太赫兹成像的智能安检方法

Country Status (1)

Country Link
CN (1) CN109978892B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110390329A (zh) * 2019-07-10 2019-10-29 博微太赫兹信息科技有限公司 一种基于深度学习的太赫兹图像识别方法及系统
CN112270326A (zh) * 2020-11-18 2021-01-26 珠海大横琴科技发展有限公司 一种遮挡船只的检测优化方法、装置及电子设备
CN112669041A (zh) * 2021-01-04 2021-04-16 英华达（上海）科技有限公司 身份验证系统、方法、设备及存储介质
CN113313130A (zh) * 2021-07-02 2021-08-27 昆明理工大学 一种基于遮挡的安检图像危险品检测方法及系统
CN113591677A (zh) * 2021-07-28 2021-11-02 厦门熵基科技有限公司 违禁品识别方法、装置、存储介质及计算机设备
US11300504B2 (en) 2020-05-21 2022-04-12 National Tsing Hua University Tomography method, system, and apparatus based on time-domain spectroscopy

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102565794A (zh) * 2011-12-30 2012-07-11 北京华航无线电测量研究所 一种人体隐藏危险物体自动检测微波安检系统
CN105758865A (zh) * 2016-04-26 2016-07-13 河南工业大学 基于太赫兹波检测粮食包装物中异物的方法及检测系统
CN106485642A (zh) * 2016-09-30 2017-03-08 北京交通大学 在三维网格模型中嵌入可见水印的方法
CN108364017A (zh) * 2018-01-24 2018-08-03 华讯方舟科技有限公司 一种图像质量分类方法、系统及终端设备
CN108519625A (zh) * 2018-04-08 2018-09-11 安徽理工大学 基于射线技术与深度学习的可识别违禁物品安检系统
CN108764328A (zh) * 2018-05-24 2018-11-06 广东工业大学 太赫兹图像危险品识别方法、装置、设备及可读存储介质
CN108830225A (zh) * 2018-06-13 2018-11-16 广东工业大学 太赫兹图像中目标物体的检测方法、装置、设备及介质
CN108956526A (zh) * 2018-06-22 2018-12-07 西安天和防务技术股份有限公司 一种被动式太赫兹危险品检测装置、检测方法及其应用

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102565794A (zh) * 2011-12-30 2012-07-11 北京华航无线电测量研究所 一种人体隐藏危险物体自动检测微波安检系统
CN105758865A (zh) * 2016-04-26 2016-07-13 河南工业大学 基于太赫兹波检测粮食包装物中异物的方法及检测系统
CN106485642A (zh) * 2016-09-30 2017-03-08 北京交通大学 在三维网格模型中嵌入可见水印的方法
CN108364017A (zh) * 2018-01-24 2018-08-03 华讯方舟科技有限公司 一种图像质量分类方法、系统及终端设备
CN108519625A (zh) * 2018-04-08 2018-09-11 安徽理工大学 基于射线技术与深度学习的可识别违禁物品安检系统
CN108764328A (zh) * 2018-05-24 2018-11-06 广东工业大学 太赫兹图像危险品识别方法、装置、设备及可读存储介质
CN108830225A (zh) * 2018-06-13 2018-11-16 广东工业大学 太赫兹图像中目标物体的检测方法、装置、设备及介质
CN108956526A (zh) * 2018-06-22 2018-12-07 西安天和防务技术股份有限公司 一种被动式太赫兹危险品检测装置、检测方法及其应用

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
KAIMING HE ET AL: "Mask R-CNN", 《ARXIV》 *
S. M. KAMRUL HASAN ET AL: "U-NetPlus: A Modified Encoder-Decoder U-Net Architecture for Semantic and Instance Segmentation of Surgical Instrument", 《ARXIV》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110390329A (zh) * 2019-07-10 2019-10-29 博微太赫兹信息科技有限公司 一种基于深度学习的太赫兹图像识别方法及系统
US11300504B2 (en) 2020-05-21 2022-04-12 National Tsing Hua University Tomography method, system, and apparatus based on time-domain spectroscopy
CN112270326A (zh) * 2020-11-18 2021-01-26 珠海大横琴科技发展有限公司 一种遮挡船只的检测优化方法、装置及电子设备
CN112669041A (zh) * 2021-01-04 2021-04-16 英华达（上海）科技有限公司 身份验证系统、方法、设备及存储介质
CN113313130A (zh) * 2021-07-02 2021-08-27 昆明理工大学 一种基于遮挡的安检图像危险品检测方法及系统
CN113313130B (zh) * 2021-07-02 2022-02-18 昆明理工大学 一种基于遮挡的安检图像危险品检测方法及系统
CN113591677A (zh) * 2021-07-28 2021-11-02 厦门熵基科技有限公司 违禁品识别方法、装置、存储介质及计算机设备

Also Published As

Publication number Publication date
CN109978892B (zh) 2021-03-16

Similar Documents

Publication Publication Date Title
CN109978892A (zh) 一种基于太赫兹成像的智能安检方法
CN109902643A (zh) 基于深度学习的智能安检方法、装置、系统及其电子设备
US20230162342A1 (en) Image sample generating method and system, and target detection method
EP3349050B1 (en) Inspection devices and methods for detecting a firearm
CA2640884C (en) Methods and systems for use in security screening, with parallel processing capability
US10013615B2 (en) Inspection methods and devices
CN109948565B (zh) 一种用于邮政业的违禁品不开箱检测方法
US8045805B2 (en) Method for determining whether a feature of interest or an anomaly is present in an image
US10674972B1 (en) Object detection in full-height human X-ray images
CN111612020B (zh) 一种异常被检物的定位方法以及安检分析设备、系统
US20080152082A1 (en) Method and apparatus for use in security screening providing incremental display of threat detection information and security system incorporating same
US20060269140A1 (en) System and method for identifying feature of interest in hyperspectral data
CN105069805B (zh) 被动式太赫兹图像分割方法
US20060269135A1 (en) System and method for identifying objects of interest in image data
EP1960942B1 (en) Methods and systems for detecting concealed objects
US20050135695A1 (en) Method for radiological image processing
US10445591B2 (en) Automated target recognition based body scanner using database scans
Sobania et al. Morphological corner detector using paired triangular structuring elements
WO2008019473A1 (en) Method and apparatus for use in security screening providing incremental display of threat detection information and security system incorporating same
Yue et al. The optimal segmentation scale identification using multispectral WorldView-2 images
Gooßen et al. A stitching algorithm for automatic registration of digital radiographs
Bandyopadhyay et al. Identifications of concealed weapon in a Human Body
CN111513823B (zh) 基于多任务神经网络与偏转扫描的穿刺针定位系统
CN113807286B (zh) 一种人脸识别大数据训练方法
CN116369959B (zh) 基于双模态ct的甲状旁腺术前定位方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant