CN110378891A - 一种基于太赫兹图像的危险品检测方法、装置及设备 - Google Patents

一种基于太赫兹图像的危险品检测方法、装置及设备 Download PDF

Info

Publication number
CN110378891A
CN110378891A CN201910671651.6A CN201910671651A CN110378891A CN 110378891 A CN110378891 A CN 110378891A CN 201910671651 A CN201910671651 A CN 201910671651A CN 110378891 A CN110378891 A CN 110378891A
Authority
CN
China
Prior art keywords
image
terahertz
cornernet
hazardous material
material detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910671651.6A
Other languages
English (en)
Inventor
陈灿
陈晓东
黄国恒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong University of Technology
Original Assignee
Guangdong University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong University of Technology filed Critical Guangdong University of Technology
Priority to CN201910671651.6A priority Critical patent/CN110378891A/zh
Publication of CN110378891A publication Critical patent/CN110378891A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/31—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
    • G01N21/35—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light
    • G01N21/3581—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light using far infrared light; using Terahertz radiation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01V—GEOPHYSICS; GRAVITATIONAL MEASUREMENTS; DETECTING MASSES OR OBJECTS; TAGS
    • G01V8/00—Prospecting or detecting by optical means
    • G01V8/10—Detecting, e.g. by using light barriers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Biochemistry (AREA)
  • Biomedical Technology (AREA)
  • Toxicology (AREA)
  • Quality & Reliability (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Geophysics (AREA)
  • General Life Sciences & Earth Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)

Abstract

本申请公开了一种基于太赫兹图像的危险品检测方法、装置、设备及系统，方案包括：获取危险品的太赫兹图像；利用SRCNN对太赫兹图像进行超分辨率重构，得到高分辨率图像；将高分辨率图像输入CornerNet，得到危险品检测结果。可见，该方案利用SRCNN对危险品的太赫兹图像进行了高分辨率的重构，提高了目标检测的成功率，此外由于CornerNet拥有较高的训练的效率，不仅检测速度快，而且准确性较高，在实时的危险品检测中有较大意义。

Description

一种基于太赫兹图像的危险品检测方法、装置及设备
技术领域
本申请涉及图像处理技术领域，特别涉及一种基于太赫兹图像的危险品检测方法、装置、设备及系统。
背景技术
目前，太赫兹成像技术得到广泛的应用，通过太赫兹射线照射物体，然后获取反射的信息，得到太赫兹图像。在安全检查方面，由于太赫兹的穿透性和对金属材料的强反射性，从太赫兹图像可以看到枪支、刀具等违禁品。
但是，如果只依靠工作人员人工对太赫兹图像进行检查，在人流量多的场景下容易忽略危险品。对于通过目标检测算法来识别危险品的方案，由于太赫兹图像信噪比较低，图像比较模糊，因此识别准确性较低，此外，识别过程需要经过图像分割、特征提取等处理，过程繁琐，耗时较长，难以达到实时检测。
可见，传统的目标识别算法的实时性和准确性较差，难以满足当前需求。
发明内容
本申请的目的是提供一种基于太赫兹图像的危险品检测方法、装置、设备及系统，用以解决传统的目标识别算法的实时性和准确性较差的问题。具体方案如下：
第一方面，本申请提供了一种基于太赫兹图像的危险品检测方法，包括：
获取危险品的太赫兹图像；
利用SRCNN对所述太赫兹图像进行超分辨率重构，得到高分辨率图像；
将所述高分辨率图像输入CornerNet，得到危险品检测结果。
优选的，所述利用SRCNN对太赫兹图像进行超分辨率重构，得到高分辨率图像，包括：
对所述太赫兹图像进行划分，得到图像块集合；
确定所述图像块集合中各个图像块对应的初始高维向量，并将所述初始高维向量非线性映射到目标高维向量；
根据所述图像块集合中各个图像块的所述目标高维向量，生成高分辨率图像。
优选的，所述将所述高分辨率图像输入CornerNet，得到危险品检测结果，包括：
利用CornerNet中的沙漏网络对所述高分辨率图像进行特征提取，得到特征图；
将所述特征图分别输入CornerNet中的左上角预测模块和右下角预测模块，得到热图、嵌入向量、偏置量；
根据所述嵌入向量，利用CornerNet中的嵌入层对所述热图和所述偏置量进行处理，得到危险品的矩形检测框。
优选的，所述根据所述嵌入向量，利用CornerNet中的嵌入层对所述热图和所述偏置量进行处理，得到危险品的矩形检测框，包括：
确定所述热图中概率值最大的角点坐标；
根据所述偏置量，对所述角点坐标进行修正，并将修正后的角点坐标映射到所述高分辨率图像；
根据所述嵌入向量，利用CornerNet中的嵌入层对映射后的高分辨率图像进行处理，得到一组目标角点坐标，该组目标角点坐标包括左上角点坐标和右下角点坐标；
根据该组目标角点坐标，确定所述危险品的矩形检测框。
优选的，所述利用CornerNet中的嵌入层对映射后的高分辨率图像进行处理，得到一组目标角点坐标，包括：
利用CornerNet中的嵌入层对映射后的高分辨率图像进行处理，根据目标损失函数确定一组目标角点坐标，所述目标损失函数为：
L＝Ldet+αLpull+βLpush+γLoff
其中，Ldet为所述热图的损失值，Lpull为所述嵌入层的角点组合损失值，Lpush为所述嵌入层的角点分离损失值，Loff为所述偏移量的损失值，α，β，γ均为超参数。
优选的，在所述将所述高分辨率图像输入CornerNet，得到危险品检测结果之后，还包括：
根据所述危险品检测结果，在检测到危险品时生成报警信息。
第二方面，本申请提供了一种基于太赫兹图像的危险品检测装置，包括：
图像获取模块：用于获取危险品的太赫兹图像；
图像重构模块：用于利用SRCNN对所述太赫兹图像进行超分辨率重构，得到高分辨率图像；
危险品检测模块：用于将所述高分辨率图像输入CornerNet，得到危险品检测结果。
优选的，所述图像重构模块包括：
图像划分单元：用于对所述太赫兹图像进行划分，得到图像块集合；
映射单元：用于确定所述图像块集合中各个图像块对应的初始高维向量，并将所述初始高维向量非线性映射到目标高维向量；
生成单元：用于根据所述图像块集合中各个图像块的所述目标高维向量，生成高分辨率图像。
第三方面，本申请提供了一种基于太赫兹图像的危险品检测设备，包括：
存储器：用于存储计算机程序；
处理器：用于执行所述计算机程序，以实现如上所述的一种太赫兹图像的危险品检测方法的步骤。
第四方面，本申请提供了一种基于太赫兹图像的危险品检测系统，包括：太赫兹图像采集设备，还包括如上所述的基于太赫兹图像的危险品检测设备。
本申请所提供的一种基于太赫兹图像的危险品检测方法、装置、设备及系统，方案包括：获取危险品的太赫兹图像；利用SRCNN对太赫兹图像进行超分辨率重构，得到高分辨率图像；将高分辨率图像输入CornerNet，得到危险品检测结果。可见，该方案利用SRCNN对危险品的太赫兹图像进行了高分辨率的重构，提高了目标检测的成功率，此外由于CornerNet拥有较高的训练的效率，不仅检测速度快，而且准确性较高，在实时的危险品检测中有较大意义。
附图说明
为了更清楚的说明本申请实施例或现有技术的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请所提供的一种基于太赫兹图像的危险品检测方法实施例一的实现流程图；
图2为本申请所提供的一种基于太赫兹图像的危险品检测方法实施例二的实现流程图；
图3为本申请所提供的一种基于太赫兹图像的危险品检测方法实施例二中S202的细化流程图；
图4为本申请所提供的一种基于太赫兹图像的危险品检测方法实施例二中CornerNet的结构示意图；
图5为本申请所提供的一种基于太赫兹图像的危险品检测方法实施例二中S203的细化流程图；
图6为本申请所提供的一种基于太赫兹图像的危险品检测方法实施例二中预测模块的结构示意图；
图7为本申请所提供的一种基于太赫兹图像的危险品检测方法实施例二中S503的细化流程图；
图8为本申请所提供的一种基于太赫兹图像的危险品检测装置实施例的功能框图；
图9为本申请所提供的一种基于太赫兹图像的危险品检测设备实施例的结构示意图；
图10为本申请所提供的一种基于太赫兹图像的危险品检测系统实施例的架构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面结合附图和具体实施方式对本申请作进一步的详细说明。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
目前，在公共区域设置危险品检测设备非常关键，然而传统的目标检测算法的检测过程耗时较长，且准确率较低，难以满足当前需求。针对该问题，本申请提供一种基于太赫兹图像的危险品检测方法、装置、设备及系统，实现了基于危险品的太赫兹图像对危险品进行检测，显著提升了检测效率和准确性。
下面对本申请提供的一种基于太赫兹图像的危险品检测方法实施例一进行介绍，参见图1，实施例一包括：
S101、获取危险品的太赫兹图像；
具体的，可以实时从安检设备的太赫兹成像装置获取危险品的太赫兹图像。太赫兹成像技术跟其他波段的成像技术一样，也是利用太赫兹射线照射被测物，通过物品的透射或反射获得样品的信息，进而成像。由于太赫兹的穿透性和对金属材料的强反射性，因此很适合应用于安全检查方面，根据太赫兹图像可以看到枪支、刀具等危险品。本实施例中，危险品主要指不适合出现在公共区域的物体，例如金属物品、易爆物等，本实施例对具体的危险品类别不做限定。
S102、利用SRCNN对所述太赫兹图像进行超分辨率重构，得到高分辨率图像；
超分辨率技术是指根据低分辨率图像重建出相应的高分辨率图像的技术，其目的在于对原始的低分辨率图像进行图像增强，提升图像分辨率，提供更好的图像细节。具体的，对一个低分辨率的太赫兹图像，本实施例首先使用双三次插值将其放大至目标尺寸，此时放大至目标尺寸后的图像依然是所输入的低分辨率图像，用Y来表示，超分辨率重构的目标是学习一个映射F，使Y尽可能接近高分辨率图像X。
SRCNN的结构较简单，主要包括三个卷积层，分别由于实现：提取低分辨率的太赫兹图像的特征，得到一特征矩阵；通过非线性映射，将该特征矩阵转换为另一特征矩阵；根据另一特征矩阵，得到超分辨率的太赫兹图像。
S103、将所述高分辨率图像输入CornerNet，得到危险品检测结果。
上述危险品检测结果具体可以为危险品的矩形检测框，还可以为危险品的类别，甚至可以同时输出危险品的矩形检测框和类别。可以理解的是，CornerNet为预先经过训练的神经网络，具体的训练过程此处不再展开介绍。
具体的，将经过超分辨率重构的高分辨率图像输入CornerNet，首先通过沙漏网络(hourglass网络)得到特征图(feature maps)，然后对特征图进行Corner Pooling和卷积，得出热图(Heatmaps)和偏置量(Offsets)，根据偏置量减少热图的偏差；对热图和偏置量进行使用嵌入层进行处理，根据embedding vector对左上角点和右下角点进行分组，最终获得目标边框，以作为危险品检测结果。
在得到危险品检测结果之后，可以根据危险品检测结果做进一步的提示，例如生成报警信息以提示安检人员存在危险品。
本实施例所提供一种基于太赫兹图像的危险品检测方法，方案包括：获取危险品的太赫兹图像；利用SRCNN对太赫兹图像进行超分辨率重构，得到高分辨率图像；将高分辨率图像输入CornerNet，得到危险品检测结果。可见，该方案利用SRCNN对危险品的太赫兹图像进行了高分辨率的重构，提高了目标检测的成功率，此外由于CornerNet拥有较高的训练的效率，不仅检测速度快，而且准确性较高，在实时的危险品检测中有较大意义。
下面开始详细介绍本申请提供的一种基于太赫兹图像的危险品检测方法实施例二，实施例二基于前述实施例一实现，并在实施例一的基础上进行了一定程度上的拓展。
参见图2，实施例二具体包括：
S201、从安检设备的太赫兹成像装置实时获取危险品的太赫兹图像；
S202、利用SRCNN对所述太赫兹图像进行超分辨率重构，得到高分辨率图像；
S203、将所述高分辨率图像输入CornerNet，得到危险品检测结果；
S204、根据所述危险品检测结果，在检测到危险品时生成报警信息，并将所述危险品从安检设备的传送带移动至目标区域。
如上所述，实施例二在实施例一的基础上，能够在检测到危险品时，自动将危险品与非危险品分离，并将危险品转移至预先设置的区域，实现了自动检测并分离危险品的目的，提高了安检的效率。
如图3所示，上述S202包括以下步骤：
S301、对所述太赫兹图像进行划分，得到图像块集合；
从低分辨率的太赫兹图像Y中提取图像块，并将每个图像块表示为一个高维向量，这些向量由一组feature map组成，feature map的数量等于向量的维度，具体操作为：
F1(Y)＝max(0,W1×Y+B1)
其中，W1和B1分别表示滤波器和偏置，W1对应c1×f1×f1×n1个卷积核，c1为输入图像的通道个数，f1为滤波器的大小，n1为滤波器的个数，B1是一个n1维向量，这一层的输出是一个n1个的feature map。
S302、确定所述图像块集合中各个图像块对应的初始高维向量，并将所述初始高维向量非线性映射到目标高维向量；
将每个高维向量非线性映射到另一个高维向量上，每个被映射的向量都表示一个高分辨率的图像块，这些向量包含另一组特征映射，具体操作为：
F2(Y)＝max(0,W2×F1(Y)+B2)
其中，W2对应n1×1×1×n2卷积核，B2是一个n2维向量。
S303、根据所述图像块集合中各个图像块的所述目标高维向量，生成高分辨率图像。
将上述高分辨率的图像块生成最终的高分辨率图像，此图像预计与高分辨图像X相似，具体操作为：
F(Y)＝W3×F2(Y)+B3
其中，W3对应c个大小为n2×f3×f3的滤波器，B3是一个c维向量。
图4为CornerNet的结构示意图，图5为S203的细化流程图，图6为预测模块的结构示意图。如图4所示，CornerNet主要包括沙漏网络、左上角预测模块、右下角预测模块和嵌入层。
参见图5，S203具体包括以下步骤：
S501、利用CornerNet中的沙漏网络对所述高分辨率图像进行特征提取，得到特征图；
具体的，使用2个堆叠的hourglass network对高分辨率图像进行卷积运算，得到feature map，即上述特征图。
S502、将所述特征图分别输入CornerNet中的左上角预测模块和右下角预测模块，得到热图、嵌入向量、偏置量；
S503、根据所述嵌入向量，利用CornerNet中的嵌入层对所述热图和所述偏置量进行处理，得到危险品的矩形检测框。
如图6所示，从hourglass中获得feature map后，进行3*3卷积，然后将结果进行Corner Pooling，之后将左上角点与右下角点的Corner Pooling结果相加，然后将结果进行3x3的Conv-BN，然后再与经过1x1Conv-BN(增加通道数)的hourglass network输出相加，将相加的结果进行ReLU和3x3Conv-BN-ReLU，之后便可以分别进行Heatmaps、Embeddings和Offsets的生成，即上述热图、嵌入向量、偏置量。下面分别对Corner Pooling、热图生成过程、偏置量生成过程进行介绍：
以左上角点识别为例，Corner Pooling为：对于一个H×W的feature map，对于一个像素点(i,j)，在(i,j)和(i,H)之间做最大池化，计算(i,j)到(i,H)之间的最大值；在(i,j)和(W,j)之间做最大池化，计算(i,j)到(W,j)之间的最大值，具体公式为：
生成热图的过程如下所示：如图6所示，在S502之后，由3x3的Conv-ReLU层和1x1的Conv层生成Heatmap，分别对左上角点和右下角点生成Heatmaps，每一组Heatmap大小为H×W，每一组为C个通道，即C种类别，可以识别C种危险品。在训练神经网络的时候，对于负样本会给与惩罚，所给与的的惩罚会随着与ground-truth的距离增加而增加，具体的惩罚是根据一个非准化的2维高斯分布：
其中σ为半径的1/3。
假设pcij是预测Heatmap中位置(i,j)的c类得分，ycij是通过上述非标准化高斯分布进行扩充的ground-truth的Heatmap。N为图像中目标的数量，α和β为超参数。那么，Loss函数如下：
生成偏置量的过程如下所示：在S502之后，经由3x3的Conv-ReLU层和1x1的Conv层生成Offsets。在原图通过卷积生成feature map后，图像的尺寸会变小，要将Heatmaps中的位置准确映射到输入图像中，就要预测偏移量。具体公式如下：
其中，ok为ground-truth偏移量，为预测的偏移量，xk和yk是角点k的x，y坐标。
如图7所示，上述S503具体包括以下步骤：
S701、确定所述热图中概率值最大的角点坐标；
S702、根据所述偏置量，对所述角点坐标进行修正，并将修正后的角点坐标映射到所述高分辨率图像；
S703、根据所述嵌入向量，利用CornerNet中的嵌入层对映射后的高分辨率图像进行处理，得到一组目标角点坐标，该组目标角点坐标包括左上角点坐标和右下角点坐标；
S704、根据该组目标角点坐标，确定所述危险品的矩形检测框。
上述S503对Heatmaps和Offsets进行使用Embeddings进行处理，获得目标边框，Embeddings由S502中的结果经过3x3的Conv-ReLU层和1x1的Conv层生成。具体操作如下：
根据Heatmaps中的概率，得到最可能为角点的坐标(i,j)，然后使用Offsets进行修正映射到原图中，然后通过Embeddings层中的卷积层(3x3的Conv-ReLU层和1x1的Conv层)可以得到一个低维的角点表示，而这个低维角点可以通过两者的距离得出两者是否相近，从而得到一组配对的角点。通过Embeddings层生成左上角点的embedding生成右下角点的embedding 和的平均值为ek，Δ一般设为1。Embeddings层有两个Loss函数，分别为pull和push，其中pull的loss是为了组合一对角点而训练网络的，而push的loss是对角点进行分离的：
所以，可得最终Loss函数为：
L＝Ldet+αLpull+βLpush+γLoff
其中，Ldet为所述热图的损失值，Lpull为所述嵌入层的角点组合损失值，Lpush为所述嵌入层的角点分离损失值，Loff为所述偏移量的损失值，α，β，γ均为超参数。
下面对本申请实施例提供的一种基于太赫兹图像的危险品检测装置进行介绍，下文描述的一种基于太赫兹图像的危险品检测装置与上文描述的一种基于太赫兹图像的危险品检测方法可相互对应参照。
参见图8，该装置包括：
图像获取模块801：用于获取危险品的太赫兹图像；
图像重构模块802：用于利用SRCNN对所述太赫兹图像进行超分辨率重构，得到高分辨率图像；
危险品检测模块803：用于将所述高分辨率图像输入CornerNet，得到危险品检测结果。
在一些具体的实施例中，所述图像重构模块802包括：
图像划分单元：用于对所述太赫兹图像进行划分，得到图像块集合；
映射单元：用于确定所述图像块集合中各个图像块对应的初始高维向量，并将所述初始高维向量非线性映射到目标高维向量；
生成单元：用于根据所述图像块集合中各个图像块的所述目标高维向量，生成高分辨率图像。
本实施例的一种基于太赫兹图像的危险品检测装置用于实现前述的一种基于太赫兹图像的危险品检测方法，因此该装置中的具体实施方式可见前文中的一种基于太赫兹图像的危险品检测方法的实施例部分，例如，图像获取模块801、图像重构模块802、危险品检测模块803，分别用于实现上述一种基于太赫兹图像的危险品检测方法中步骤S101，S102，S103。所以，其具体实施方式可以参照相应的各个部分实施例的描述，在此不再展开介绍。
另外，由于本实施例的一种基于太赫兹图像的危险品检测装置用于实现前述的一种基于太赫兹图像的危险品检测方法，因此其作用与上述方法的作用相对应，这里不再赘述。
此外，本申请还提供了一种基于太赫兹图像的危险品检测设备，如图9所示，包括：
存储器901：用于存储计算机程序；
处理器902：用于执行所述计算机程序，以实现如上所述的一种太赫兹图像的危险品检测方法的步骤。
最后，本申请还提供了一种基于太赫兹图像的危险品检测系统，如图10所示，包括：太赫兹图像采集设备100，还包括如上所述的基于太赫兹图像的危险品检测设备200。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上对本申请所提供的方案进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种基于太赫兹图像的危险品检测方法，其特征在于，包括：
获取危险品的太赫兹图像；
利用SRCNN对所述太赫兹图像进行超分辨率重构，得到高分辨率图像；
将所述高分辨率图像输入CornerNet，得到危险品检测结果。
2.如权利要求1所述的方法，其特征在于，所述利用SRCNN对太赫兹图像进行超分辨率重构，得到高分辨率图像，包括：
对所述太赫兹图像进行划分，得到图像块集合；
确定所述图像块集合中各个图像块对应的初始高维向量，并将所述初始高维向量非线性映射到目标高维向量；
根据所述图像块集合中各个图像块的所述目标高维向量，生成高分辨率图像。
3.如权利要求1所述的方法，其特征在于，所述将所述高分辨率图像输入CornerNet，得到危险品检测结果，包括：
利用CornerNet中的沙漏网络对所述高分辨率图像进行特征提取，得到特征图；
将所述特征图分别输入CornerNet中的左上角预测模块和右下角预测模块，得到热图、嵌入向量、偏置量；
根据所述嵌入向量，利用CornerNet中的嵌入层对所述热图和所述偏置量进行处理，得到危险品的矩形检测框。
4.如权利要求3所述的方法，其特征在于，所述根据所述嵌入向量，利用CornerNet中的嵌入层对所述热图和所述偏置量进行处理，得到危险品的矩形检测框，包括：
确定所述热图中概率值最大的角点坐标；
根据所述偏置量，对所述角点坐标进行修正，并将修正后的角点坐标映射到所述高分辨率图像；
根据所述嵌入向量，利用CornerNet中的嵌入层对映射后的高分辨率图像进行处理，得到一组目标角点坐标，该组目标角点坐标包括左上角点坐标和右下角点坐标；
根据该组目标角点坐标，确定所述危险品的矩形检测框。
5.如权利要求4所述的方法，其特征在于，所述利用CornerNet中的嵌入层对映射后的高分辨率图像进行处理，得到一组目标角点坐标，包括：
利用CornerNet中的嵌入层对映射后的高分辨率图像进行处理，根据目标损失函数确定一组目标角点坐标，所述目标损失函数为：
L＝Ldet+αLpull+βLpush+γLoff
其中，Ldet为所述热图的损失值，Lpull为所述嵌入层的角点组合损失值，Lpush为所述嵌入层的角点分离损失值，Loff为所述偏移量的损失值，α，β，γ均为超参数。
6.如权利要求1-5任意一项所述的方法，其特征在于，在所述将所述高分辨率图像输入CornerNet，得到危险品检测结果之后，还包括：
根据所述危险品检测结果，在检测到危险品时生成报警信息。
7.一种基于太赫兹图像的危险品检测装置，其特征在于，包括：
图像获取模块：用于获取危险品的太赫兹图像；
图像重构模块：用于利用SRCNN对所述太赫兹图像进行超分辨率重构，得到高分辨率图像；
危险品检测模块：用于将所述高分辨率图像输入CornerNet，得到危险品检测结果。
8.如权利要求7所述的装置，其特征在于，所述图像重构模块包括：
图像划分单元：用于对所述太赫兹图像进行划分，得到图像块集合；
映射单元：用于确定所述图像块集合中各个图像块对应的初始高维向量，并将所述初始高维向量非线性映射到目标高维向量；
生成单元：用于根据所述图像块集合中各个图像块的所述目标高维向量，生成高分辨率图像。
9.一种基于太赫兹图像的危险品检测设备，其特征在于，包括：
存储器：用于存储计算机程序；
处理器：用于执行所述计算机程序，以实现如权利要求1-6任意一项所述的一种太赫兹图像的危险品检测方法的步骤。
10.一种基于太赫兹图像的危险品检测系统，其特征在于，包括：太赫兹图像采集设备，还包括如权利要求9所述的基于太赫兹图像的危险品检测设备。
CN201910671651.6A 2019-07-24 2019-07-24 一种基于太赫兹图像的危险品检测方法、装置及设备 Pending CN110378891A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910671651.6A CN110378891A (zh) 2019-07-24 2019-07-24 一种基于太赫兹图像的危险品检测方法、装置及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910671651.6A CN110378891A (zh) 2019-07-24 2019-07-24 一种基于太赫兹图像的危险品检测方法、装置及设备

Publications (1)

Publication Number Publication Date
CN110378891A true CN110378891A (zh) 2019-10-25

Family

ID=68255497

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910671651.6A Pending CN110378891A (zh) 2019-07-24 2019-07-24 一种基于太赫兹图像的危险品检测方法、装置及设备

Country Status (1)

Country Link
CN (1) CN110378891A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111242088A (zh) * 2020-01-22 2020-06-05 上海商汤临港智能科技有限公司 一种目标检测方法、装置、电子设备及存储介质
CN111931764A (zh) * 2020-06-30 2020-11-13 华为技术有限公司 一种目标检测方法、目标检测框架及相关设备
CN112308212A (zh) * 2020-11-02 2021-02-02 佛山科学技术学院 一种基于神经网络的安防图像高清恢复方法及系统
CN113030937A (zh) * 2021-02-07 2021-06-25 中南大学 一种基于太赫兹高速回波效应的流体流速测量方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106546981A (zh) * 2016-10-24 2017-03-29 复旦大学 运动人体安检成像系统和方法
CN109001833A (zh) * 2018-06-22 2018-12-14 天和防务技术（北京）有限公司 一种基于深度学习的太赫兹危险品检测方法
CN109191376A (zh) * 2018-07-18 2019-01-11 电子科技大学 基于srcnn改进模型的高分辨率太赫兹图像重构方法
CN109447071A (zh) * 2018-11-01 2019-03-08 博微太赫兹信息科技有限公司 一种基于fpga和深度学习的毫米波成像危险物品检测方法
CN109785237A (zh) * 2019-01-25 2019-05-21 广东工业大学 一种太赫兹图像超分辨率重建方法、系统及相关装置
CN110031909A (zh) * 2019-04-18 2019-07-19 西安天和防务技术股份有限公司 安检系统及安检方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106546981A (zh) * 2016-10-24 2017-03-29 复旦大学 运动人体安检成像系统和方法
CN109001833A (zh) * 2018-06-22 2018-12-14 天和防务技术（北京）有限公司 一种基于深度学习的太赫兹危险品检测方法
CN109191376A (zh) * 2018-07-18 2019-01-11 电子科技大学 基于srcnn改进模型的高分辨率太赫兹图像重构方法
CN109447071A (zh) * 2018-11-01 2019-03-08 博微太赫兹信息科技有限公司 一种基于fpga和深度学习的毫米波成像危险物品检测方法
CN109785237A (zh) * 2019-01-25 2019-05-21 广东工业大学 一种太赫兹图像超分辨率重建方法、系统及相关装置
CN110031909A (zh) * 2019-04-18 2019-07-19 西安天和防务技术股份有限公司 安检系统及安检方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
HEI LAW 等: "CornerNet: Detecting Objects as Paired Keypoints", 《ARXIV》 *
李镇: "太赫兹图像识别与处理技术研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111242088A (zh) * 2020-01-22 2020-06-05 上海商汤临港智能科技有限公司 一种目标检测方法、装置、电子设备及存储介质
CN111242088B (zh) * 2020-01-22 2023-11-28 上海商汤临港智能科技有限公司 一种目标检测方法、装置、电子设备及存储介质
CN111931764A (zh) * 2020-06-30 2020-11-13 华为技术有限公司 一种目标检测方法、目标检测框架及相关设备
CN111931764B (zh) * 2020-06-30 2024-04-16 华为云计算技术有限公司 一种目标检测方法、目标检测框架及相关设备
CN112308212A (zh) * 2020-11-02 2021-02-02 佛山科学技术学院 一种基于神经网络的安防图像高清恢复方法及系统
CN113030937A (zh) * 2021-02-07 2021-06-25 中南大学 一种基于太赫兹高速回波效应的流体流速测量方法

Similar Documents

Publication Publication Date Title
Kalfarisi et al. Crack detection and segmentation using deep learning with 3D reality mesh model for quantitative assessment and integrated visualization
CN110378891A (zh) 一种基于太赫兹图像的危险品检测方法、装置及设备
CN111079739B (zh) 一种多尺度注意力特征检测方法
Ding et al. Alexnet feature extraction and multi-kernel learning for objectoriented classification
CN111259878A (zh) 一种检测文本的方法和设备
Sharma et al. Edge detection using Moore neighborhood
Yu et al. SNNFD, spiking neural segmentation network in frequency domain using high spatial resolution images for building extraction
CN107563405A (zh) 基于多分辨率神经网络的车库自动驾驶语义目标识别方法
CN112418165B (zh) 基于改进型级联神经网络的小尺寸目标检测方法与装置
CN113610070A (zh) 一种基于多源数据融合的滑坡灾害识别方法
CN116563726A (zh) 一种基于卷积神经网络的遥感图像舰船目标检测方法
CN110458166A (zh) 一种基于可变形卷积的危险品检测方法、装置及设备
Yamaguchi et al. Detection and localization of manhole and joint covers in radar images by support vector machine and Hough transform
He et al. Quantifying and reducing registration uncertainty of spatial vector labels on earth imagery
CN114898044B (zh) 检测对象成像方法、装置、设备及介质
CN114519819A (zh) 一种基于全局上下文感知的遥感图像目标检测方法
Wang et al. Geometric consistency enhanced deep convolutional encoder-decoder for urban seismic damage assessment by UAV images
Yildirim et al. Ship detection in optical remote sensing images using YOLOv4 and Tiny YOLOv4
Kuznetsov et al. Remote sensing image inpainting with generative adversarial networks
WO2023019682A1 (zh) 水印去除方法、装置、终端设备及可读存储介质
Ai et al. Hybrid active contour–incorporated sign detection algorithm
Boonpook et al. PCL–PTD Net: Parallel cross-learning-based pixel transferred deconvolutional network for building extraction in dense building areas with shadow
CN117789160A (zh) 一种基于聚类优化的多模态融合目标检测方法及系统
CN117237256A (zh) 一种浅海珊瑚礁监测数据采集方法、装置及设备
CN109785318B (zh) 基于面线基元关联约束的遥感图像变化检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20191025

RJ01 Rejection of invention patent application after publication