CN111257957B - 基于被动式太赫兹成像的识别跟踪系统及方法 - Google Patents

Abstract

公开了基于被动式太赫兹成像的识别跟踪系统及方法，识别系统包括被动式太赫兹成像系统、图像处理模块以及识别跟踪模块，其中，被动式太赫兹成像系统配置成接收待成像目标自身辐射的太赫兹波以生成第一分辨率的太赫兹波原始图像，图像处理模块配置成基于所述太赫兹波原始图像重构得到太赫兹波重构图像，图像处理模块将所述太赫兹波原始图像输入训练好的SRGAN网络，通过网络预先学习好的低分辨率到高分辨率的函数关系生成重构太赫兹图片；识别跟踪模块配置成基于太赫兹波重构图像识别预定对象并进行追踪。

Description

基于被动式太赫兹成像的识别跟踪系统及方法

技术领域

本发明涉及监控技术领域，特别是一种基于被动式太赫兹成像的识别跟踪系统及方法。

背景技术

随着危险品材料和种类的增多和大众安全意识的提高，安检成像技术的安全性和高效性愈来愈受到重视。我国目前大多数车站、机场等仍延续着传统的“金属检测门+手持检测仪”的检测模式，这种模式有着显然易见的缺点：（1）金属检测仪只能检测出人体所携带的金属制品，而陶瓷、树脂等材料的危险品难以被检测出，存在着大量的安全隐患；（2）车站、机场等场合人流量大，传统检测模式速度慢，导致大量人员堆积，耗时长、工作效率低；（3）需要大量工作人员，劳动强度高、人力成本高。在柜台式安检设备中，X光扫描成像技术以及X射线CT成像技术得到了广泛应用，X射线CT成像技术具有良好的连续检测能力和分辨能力，能够满足大部分的检测需求，但是X射线具有较高的光子能量，会对人体细胞造成损伤，不适合运用在人体携带危险品检测中。目前运用在安检成像领域的主要包括X射线技术、CT技术、拉曼光谱技术和毫米波成像技术等。X射线技术与CT技术是目前国内发展最为成熟，应用最为广泛的安检成像技术，其中CT技术较X射线技术更为先进，它解决了X射线成像存在的重影问题，能够自动与待测定物体物理特征进行对比，减少了安检人员的劳动强度。但是它的检测速度较慢，存在误报、漏报等缺点，且CT技术存在辐射问题，会对人体健康造成危害，故仍不适用于人体携带危险品检测中。毫米波成像技术本质上是一种雷达技术，它能够检测出人体携带的多种材质的物品，且能够准确显示它们的位置，且对人体不会造成损伤，但是由于毫米波成像设备的高昂成本，限制了其应用。

太赫兹（Terahertz，THz）波是指频率在0.1-10.0THz，波长为0.03-3mm范围内的介于微波和红外之间的电磁波，其在电磁波谱上的位置如图1所示。由于早期对太赫兹波的探测缺乏有效的技术和设备，人们对这一波段的电磁波没有确切的认识，在不同的领域太赫兹波有不同的名称，在光学领域被称为远红外波，在电子学领域被称为亚毫米波、超微波等，直至20 世纪80年代，超快激光技术的蓬勃发展为太赫兹波的产生带来了可能，太赫兹波技术才逐渐走进人们的视野中。随着对太赫兹波研究的深入，研究学者们已达成一个共识即太赫兹波是一种具有很多独特优点的辐射源，太赫兹技术是一个非常重要的交叉前沿技术。太赫兹波主要具有以下特点：1）瞬态性。典型的太赫兹脉宽在皮秒量级，可以方便地对各种材料进行时间分辨瞬时光谱研究，通过太赫兹取样测量技术，能够明显抑制周围环境的噪声干扰。2）低能性。与可见光、红外、微波、X 射线等其他频段的电磁波相比，太赫兹光子能量较低（毫电子伏特），太赫兹辐射不会因为电离而破坏被检测物质，因此太赫兹波可用于材料的无损检测和生物检测。3）宽带性。太赫兹脉冲源只包含几个周期的电磁振荡，单个脉冲的频带范围可以覆盖从GHz 到 THz，有利于在较大的范围内分析材料的光谱性质。4）相干性。太赫兹波的产生机制有两种，一种是在相干电流的驱动下，偶极子发生振荡，进而产生太赫兹波，另一种是由相干的激光脉冲通过非线性光学差频效应产生，因此太赫兹波同时具有强空间相干性和强时间相干性。太赫兹波相干检测技术可以直接测量样本的电场振幅和相位，获得样本介电常数的实部和虚部，实现样本折射率和吸收系数的提取。5）吸收性。大多数的极性分子对太赫兹波有着强烈的吸收，可以通过分析特征谱来研究物质的成分和进行产品质量控制。此外，许多极性大分子的能带间距和转动能级正好位于太赫兹频带范围内，使太赫兹光谱技术在大分子分析和研究领域有着广阔的应用前景。6）穿透性。太赫兹波对于很多非极性物质和电介质材料，如纸箱、陶瓷、布料和塑料等，具有很强的穿透力，可用来检测不透明物体，可用于质检或安检过程中的无损监测与成像。

太赫兹波独特的性质决定了它能够给通信、雷达、电子对抗、电磁武器、医学成像、无损检测、安全检测等领域带来深远的影响，太赫兹波的应用技术仍在不断研究和开发中，具有很大的研究价值和应用潜力。太赫兹波成像分为主动式和被动式两种，由于在较高的太赫兹频段，电子学器件受到截止频率的限制，缺乏成熟的固态电路收发模块，主动式太赫兹成像相对于被动式太赫兹成像实现起来将会更困难，而借助高灵敏探测器，被动式太赫兹成像能实现大于100GHz的太赫兹波探测。

被动式太赫兹成像技术有如下的特点：

多普勒效应好。太赫兹波频率高，有较高的多普勒带宽，多普勒效应明显，适合于运动目标成像。

无源成像技术。无需增设辐射源和光学斩波器等器件，利用人体和物体自辐射的太赫兹波作为辐射源，更加灵活。

高分辨率。理论上，被动式太赫兹波成像技术的成像分辨率要好于其他波段，有利于对图像进行研究。

被动式太赫兹成像技术所获图像边缘特征不明显，部分的太赫兹成像图片边缘模糊，背景噪声较大，图片边缘特征提取较为困难且单一，不能对目标有完整的描述。

在背景技术部分中公开的上述信息仅仅用于增强对本发明背景的理解，因此可能包含不构成本领域普通技术人员公知的现有技术的信息。

发明内容

针对现有技术存在的工作效率低、人力成本高、部分辐射源对人体有危害以及成像分辨率低、对动态目标追踪监测困难等问题，以及太赫兹成像图片边缘模糊等技术的问题，本发明提供了基于被动式太赫兹成像的识别跟踪系统及方法，利用被动式太赫兹成像技术对被测目标进行成像，结合深度学习模型对所成图像进行超分辨恢复和危险品识别检测，系统根据检测结果进行自动报警并对运动状态下的危险品进行跟踪，实现案件过程中的实时检测，得到能够完整反映目标对象详细信息和内部特征的图片，实现对目标对象跟高效的监测和追踪。本发明的目的是通过以下技术方案予以实现。

一种基于被动式太赫兹成像的识别跟踪系统包括被动式太赫兹成像系统、图像处理模块以及识别跟踪模块，其中，

被动式太赫兹成像系统，其配置成接收待成像目标自身辐射的太赫兹波以生成第一分辨率的太赫兹波原始图像，其包括，

聚焦透镜，其接收并聚焦待成像目标自身辐射的太赫兹波至偏光分束镜，

偏光分束镜，聚焦的太赫兹波经由偏光分束镜分成两束，一束直接进入太赫兹波探测装置的信号输入端口，另一束经由机械延时装置和反射镜进入太赫兹波探测装置的信号输入端口，

太赫兹波探测装置，其接收太赫兹波信号和经由机械延时装置的同步信号以传输给信号处理转换装置，

信号处理转换装置，其滤波降噪处理所述太赫兹波信号后生成太赫兹波原始图像；

图像处理模块，其配置成基于所述太赫兹波原始图像重构得到太赫兹波重构图像，图像处理模块将所述太赫兹波原始图像输入训练好的SRGAN网络进行重构，SRGAN网络的训练过程包括，

生成网络G，其基于第一分辨率的原始图像重构生成第二分辨率的第二图像，

判别网络D，其接收所述第二图像并判别是第二图像为属于生成图像还是属于原始图像，当判别网络D判断属于生成图像，则第二图像重新输入所述生成网络G，当判别网络D判断属于原始图像，则第二图像为重构图像；

识别模块，其配置成基于太赫兹波重构图像识别预定对象，识别模块包括，

栅格生成单元，其基于太赫兹波重构图像划分栅格，

卷积层提取特征单元，其基于太赫兹波重构图像进行特征提取，

YOLO检测单元，其基于栅格和特征识别预定对象及其位置。

所述的基于被动式太赫兹成像的识别系统中，所述图像处理模块包括将第一分辨率的原始图像转换成小于第一分辨率的的第三分辨率的第三图像的模糊滤波器，生成网络G基于第三图像重构生成第二分辨率的第二图像。

所述的基于被动式太赫兹成像的识别系统中，生成网络G和判别网络D的博弈公式为：

其中，V表示D网络损失函数，E表示比较函数，LR表示低分辨率，HR表示高分辨率，x^HR为原始高分辨率图像，z^LR为输入低分辨率图片，P_G(z)为输入噪声变量的先验量，P_train(x)为G网络重构图片。

所述的基于被动式太赫兹成像的识别系统中，所述识别模块包括对运动状态下的预定对象运动轨迹实时跟踪的跟踪单元，所述跟踪单元包括，

DeepSort跟踪单元，其在运动状态下计算预定对象运动轨迹，

卡尔曼滤波器，其计算预定对象的马氏距离进行位置匹配以及计算最小余弦距离进行外观匹配，以及加权计算马氏距离和最小余弦距离，

深度卷积神经网络，提取预定对象的特征信息得到预定对象的追踪结果。

所述的基于被动式太赫兹成像的识别系统中，所述位置匹配的匹配公式为

d₁(i,j)=( d_j - y_i)^TS_i ^-1(d_j - y_i)，d_j表示第j个检测框的位置，y_i表示第i个追踪器对预定对象的预测位置，S_i表示检测位置与平均追踪位置之间的协方差矩阵，若某次马氏距离小于指定的阈值t₁，则匹配成功。

所述的基于被动式太赫兹成像的识别跟踪系统，所述外观匹配的匹配公式为d₂(i,j)=min{1-r_j ^Tr_k ⁽ⁱ⁾| r_k ⁽ⁱ⁾ ∈R_i}，若d₂小于预定阈值，则匹配成功。对马氏距离和最小余弦距离进行加权计算：

c_i,j= λd₁(i,j)+(1-λ)d₂(i,j)。

所述的基于被动式太赫兹成像的识别系统中，识别模块包括用于报警的警示单元，所述警示单元包括蜂鸣器和LED灯。

所述的基于被动式太赫兹成像的识别系统中，所述识别系统包括安检设备。

所述的基于被动式太赫兹成像的识别系统中，所述识别系统设置在无人机上。

根据本发明另一方面，一种利用所述基于被动式太赫兹成像的识别系统进行识别的方法，包括以下步骤，

接收待成像目标自身辐射的太赫兹波以生成第一分辨率的太赫兹波原始图像，

基于所述太赫兹波原始图像重构得到太赫兹波重构图像，

基于太赫兹波重构图像识别预定对象。

与现有技术相比，本发明的有益效果是：

本发明提出了一种融合被动式太赫兹成像和可见光成像的装置和方法，相比现有技术，被动式太赫兹成像技术不仅可以检测包括金属非金属材料的危险品，且对人体不造成任何伤害，被检人员体验感好，检测速度快、效率高，降低了人力成本。基于深度学习模型，融合图像超分辨恢复技术和YOLO目标检测算法，相对于单纯对原始太赫兹图片进行目标检测，系统检测危险品的准确率提高，在检测过程中不断更新系统危险品统计数据库，为进一步的学习优化储备数据。利用DeepSort目标跟踪算法对运动状态下的危险品进行实时跟踪，便于安检工作人员能够准确跟踪危险品的行动轨迹，尽快排除安全隐患。系统根据目标检测结果进行自动报警，无需人工实时关注，降低安检工作人员的劳动强度，减少人力成本。

上述说明仅是本发明技术方案的概述，为了能够使得本发明的技术手段更加清楚明白，达到本领域技术人员可依照说明书的内容予以实施的程度，并且为了能够让本发明的上述和其它目的、特征和优点能够更明显易懂，下面以本发明的具体实施方式进行举例说明。

附图说明

通过阅读下文优选的具体实施方式中的详细描述，本发明各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。说明书附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。显而易见地，下面描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。而且在整个附图中，用相同的附图标记表示相同的部件。

在附图中：

图1是本发明的太赫兹波在电磁波谱中的位置示意图；

图2是本发明一个实施例的基于太赫兹和可见光的被动式太赫兹成像系统整体结构示意图；

图3是本发明一个实施例的基于被动式太赫兹成像的识别系统的可见光成像系统的被动式太赫兹成像系统结构示意图；

图4是本发明一个实施例的基于被动式太赫兹成像的识别系统的图像处理模块处理流程示意图；

图5是本发明一个实施例的基于被动式太赫兹成像的识别系统的跟踪工作流程示意图；

图6是本发明一个实施例的基于被动式太赫兹成像的识别系统的YOLO算法示意图；

图7是本发明一个实施例的基于被动式太赫兹成像的识别系统的DeepSort算法跟踪流程图。

以下结合附图和实施例对本发明作进一步的解释。

具体实施方式

下面将参照附图1至图7更详细地描述本发明的具体实施例。虽然附图中显示了本发明的具体实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。

需要说明的是，在说明书及权利要求当中使用了某些词汇来指称特定组件。本领域技术人员应可以理解，技术人员可能会用不同名词来称呼同一个组件。本说明书及权利要求并不以名词的差异来作为区分组件的方式，而是以组件在功能上的差异来作为区分的准则。如在通篇说明书及权利要求当中所提及的“包含”或“包括”为一开放式用语，故应解释成“包含但不限定于”。说明书后续描述为实施本发明的较佳实施方式，然所述描述乃以说明书的一般原则为目的，并非用以限定本发明的范围。本发明的保护范围当视所附权利要求所界定者为准。

为便于对本发明实施例的理解，下面将结合附图以具体实施例为例做进一步的解释说明，且各个附图并不构成对本发明实施例的限定。

为了更好地理解，一种基于被动式太赫兹成像的识别系统包括被动式太赫兹成像系统、图像处理模块以及识别模块，其中，

被动式太赫兹成像系统，其配置成接收待成像目标自身辐射的太赫兹波以生成第一分辨率的太赫兹波原始图像，其包括，

聚焦透镜，其接收并聚焦待成像目标自身辐射的太赫兹波至偏光分束镜，

偏光分束镜，聚焦的太赫兹波经由偏光分束镜分成两束，一束直接进入太赫兹波探测装置的信号输入端口，另一束经由机械延时装置和反射镜进入太赫兹波探测装置的信号输入端口，

太赫兹波探测装置，其接收太赫兹波信号和经由机械延时装置的同步信号以传输给信号处理转换装置，

信号处理转换装置，其滤波降噪处理所述太赫兹波信号后生成太赫兹波原始图像；

图像处理模块，其配置成基于所述太赫兹波原始图像重构得到太赫兹波重构图像，图像处理模块将所述太赫兹波原始图像输入SRGAN网络训练，SRGAN网络包括，

生成网络G，其基于第一分辨率的原始图像重构生成第二分辨率的第二图像，

判别网络D，其接收所述第二图像并判别是第二图像为属于生成图像还是属于原始图像，当判别网络D判断属于生成图像，则第二图像重新输入所述生成网络G，当判别网络D判断属于原始图像，则第二图像为重构得到太赫兹波重构图像；

识别跟踪模块，其配置成基于太赫兹波重构图像识别预定对象并进行跟踪，识别跟踪模块包括：

识别单元，基于YOLO算法对太赫兹波重构图像中目标对象进行识别定位。

跟踪单元，基于DeepSort算法对识别到的预定对象进行追踪。

报警单元，基于识别结果进行判断，若存在预定对象则进行报警。

太赫兹波具有较强的穿透能力和较低的光子能量，能够在对被检测物体成像的同时不对其造成生物损伤，现有技术的大部分的太赫兹成像图片边缘模糊，背景噪声较大，故在太赫兹安检成像技术的运用上仍需进行不断尝试和改进。本发明利用被动式太赫兹成像技术对被检测目标（人体或其他物体）进行成像，无需被检测目标停留过长时间而达到实时检测的目的；基于深度学习模型对所得太赫兹波原始图像进行超分辨恢复，提高图像分辨率；利用YOLO目标检测算法对重构后的图像进行危险品识别检测，若识别出图中含有危险品则系统自动报警；利用DeepSort算法对YOLO目标检测算法识别出的危险品进行跟踪，得到危险品的运行轨迹，便于工作人员排除安全隐患。本发明利用被动式太赫兹成像技术、图像超分辨恢复技术、YOLO目标检测和DeepSort目标跟踪算法，对被检测目标进行成像，完成对运动状态下的危险品的检测识别、报警和跟踪，旨在提高安检成像技术的安全性和高效性，减低运行成本，推动安检技术从被动向主动发展。

所述的基于被动式太赫兹成像的识别系统的优选实施例中，利用SRGAN网络进行太赫兹图片重构分为两个过程：训练和重构，训练过程，利用原始高分辨率图片HR做退化得到低分辨率图片LR，将LR输入已经搭建好的网络模型中，G网络生成重构图片SR，输入D网络将SR与HR进行判断，这个过程中，利用感知损失（内容损失、对抗损失和D网络损失）函数作为二者之间的差异，利用这个差异来不断优化整个训练过程和，当这个函数值达到一个很小的预定值时即完成重构过程，输出最后的重构图片同时得到一个适合LR到HR的映射的函数（训练学习的结果）。此时SRGAN网络完成了训练过程，网络记忆从低分辨率到高分辨率图片的过程和规律（即函数），完成第一步，重构是将得到的原始太赫兹图片输入已经训练好的SRGAN网络中，通过网络已经学习得到的规律完成从LR到HR图片重建。这其中的过程就是SRGAN网络通过之前的“经验”，知道我通过什么样的措施就可以将LR图片变成合适的（即符合预定值）的SR图片（即通过学习到的函数），能够更好更快的得到高分辨率图片。

所述的基于被动式太赫兹成像的识别系统的优选实施例中，所述图像处理模块包括将第一分辨率的原始图像转换成小于第一分辨率的的第三分辨率的第三图像的模糊滤波器，生成网络G基于第三图像重构生成第二分辨率的第二图像。

所述的基于被动式太赫兹成像的识别跟踪系统的优选实施例中，生成网络G和判别网络D的博弈公式为：

其中，V表示D网络损失函数，E表示比较函数，LR表示低分辨率，HR表示高分辨率，x^HR为原始高分辨率图像，z^LR为输入低分辨率图片，P_G(z)为输入噪声变量的先验量，P_train(x)为G网络重构图片。

所述的基于被动式太赫兹成像的识别跟踪系统的优选实施例中，所述识别模块包括对运动状态下的预定对象运动轨迹实时跟踪的跟踪单元，所述跟踪单元包括，

DeepSort跟踪单元，其在运动状态下计算预定对象运动轨迹，

卡尔曼滤波器，其计算预定对象的马氏距离进行位置匹配以及计算最小余弦距离进行外观匹配，以及加权计算马氏距离和最小余弦距离，

深度卷积神经网络，提取预定对象的特征信息得到预定对象的追踪结果。

所述的基于被动式太赫兹成像的识别系统的优选实施例中，所述位置匹配的匹配公式为

d₁(i,j)=( d_j - y_i)^TS_i ^-1(d_j - y_i)，d₁(i,j)表示为第i次卡尔曼预测结果与第j次目标检测之间的马氏距离，d_j表示第j个检测框的位置，y_i表示第i个追踪器对预定对象的预测位置，S_i表示检测位置与平均追踪位置之间的协方差矩阵，T表示向量和矩阵的转置，若某次马氏距离小于指定的阈值t₁，则匹配成功。

所述的基于被动式太赫兹成像的识别跟踪系统的优选实施例中，所述外观匹配的匹配公式为d₂(i,j)=min{1-r_j ^Tr_k ⁽ⁱ⁾| r_k ⁽ⁱ⁾ ∈R_i}，其中d₂(i,j)为第i个追踪器的最近100个成功匹配的目标危险品特征集以及与当前第j个检测结果的特征向量的最小余弦距离，r_j和r_k ⁽ⁱ⁾表示特征向量，R_i为向量集。若d₂(i,j)小于预定阈值，则匹配成功。对马氏距离和最小余弦距离进行加权计算：

c_i,j= λd₁(i,j)+(1-λ)d₂(i,j)，其中c_i,j表示对马氏距离和最小预先距离加权值，λ表示超参数。

所述的基于被动式太赫兹成像的识别跟踪系统的优选实施例中，可识别模块包括用于报警的警示单元，所述警示单元包括蜂鸣器和LED灯。

所述的基于被动式太赫兹成像的识别跟踪系统的优选实施例中，所述识别系统包括安检设备。

所述的基于被动式太赫兹成像的识别跟踪系统的优选实施例中，所述识别系统设置在无人机上。

本发明的被动式太赫兹成像技术接收人体发出的太赫兹波，形成原始太赫兹波图像，如果被检测对象衣物中或者体内携带有其他的物品，就会吸收和阻挡部分或全部太赫兹波，结合深度学习模型，重构高分辨率的太赫兹图像，重构图像中物品所在位置与人体产生强烈对比，通过YOLO目标检测算法判断重构图片中是否含有危险品并自动报警，根据识别结果利用DeepSort目标跟踪算法对运动状态下的危险品进行跟踪，这一过程大大提高了安检识别的准确度和工作效率，降低了安检工作人员的工作强度，节约了安检人力成本。

为了进一步理解本发明，在一个实施例，如图2所示，系统包括被动式太赫兹成像系统、太赫兹图像超分辨恢复模块和危险品识别报警跟踪系统。

在一个实施例，被动式太赫兹成像系统。被动式太赫兹成像系统主要由透镜系统、太赫兹波探测装置和信号处理转换装置构成，如图3所示，以被测目标为人体为例。透镜系统主要包括聚焦透镜、偏光分束镜、反射镜以及机械延时装置等，聚焦透镜将人体辐射的太赫兹波聚焦至偏光分束镜，由偏光分束镜分为两束，一束直接进入太赫兹波探测装置的信号输入端口，另一束经由机械延时装置和反射镜进入太赫兹波探测装置的信号输入端口；太赫兹波探测装置接收太赫兹波信号和经由机械延时装置的同步信号，传输给信号处理转换装置，由于系统接收的是人体辐射的太赫兹波，故不需要增设辐射源和光学斩波器，但对探测器的灵敏度要求较高；信号处理转换装置包括信号放大单元和图像处理单元，对所获取的太赫兹波信号进行滤波降噪处理，获得太赫兹波原始图像。

在一个实施例，如同4所示，如太赫兹图像超分辨恢复模块的图像处理模块作用是提高所成原始太赫兹图像的分辨率，改善原始图像存在的边缘特征模糊和部分轮廓不明显的缺陷，采用SRGAN网络结构对所采集的太赫兹图像进行超分辨恢复，首先利用预先储存的危险品图像数据库对SRGAN网络进行训练，在系统工作过程中，所成太赫兹波原始图像输入训练好的网络进行重构恢复。SRGAN网络由G网络（generative net）和D网络（discriminator net）组成，通过添加高斯白噪声和模糊滤波器，将高分辨率的图像转换为低分辨率图像，G网络通过低分辨率图像不断生成高分辨率图像，D网络判断接收到的图像为生成图像还是原始数据库中的图像，当D网络判断为生成图像，则生成图像重新输入G网络进行生成，若判断为原始数据库的图像，则图像的超分辨恢复成功。G网络和D网络的博弈公式为：

在原始高分辨率图像数据x^HR下，为了使G网络能够从低分辨率图像生成高分辨率图像，首先定义输入噪声变量P_G(z)的先验量，然后G网络和D网络工作的原理就是：D网络最大化判别出图片是来自原始数据库还是由G网络生成，而G网络则是尽可能生成接近于原始高分辨率的图像来蒙蔽D网路，通过二者的不断博弈获得最终高分辨率的图像。

如图5所示，在一个实施例，危险品识别报警跟踪系统。本模块利用YOLO算法检测识别太赫兹重构高分辨率图片中是否含有危险品，若无则跳过此图片继续识别下一张，若识别出危险品则系统自动报警，并且利用DeepSort目标跟踪算法对运动状态下的危险品运动轨迹进行实时跟踪。

如图6所示，采用YOLO算法对太赫兹波重构图像进行危险品识别和定位，YOLO算法主要是利用卷积层提取特征，利用全连接层预测类别概率和坐标，其原理如图6所示。首先将太赫兹波重构图像划分为s×s的栅格，一个栅格可以预测B个bounding boxes（简称bbox，即有危险品存在的目标栅格），bbox有5个预测值：x、y（x和y为预测bbox中心坐标）、w（预测bbox的宽与整个图像的比）、h（预测bbox的长与整个图像的比）和confidence值，若栅格里没有目标危险品，则confidence值为0，若栅格里有目标危险品，则满足公式confidence=Pr(object)*IOU（IOU表示预测bbox与物体实际位置的交并比）计算confidence值。由于危险品种类繁多，在判断预测危险品时还需要判断危险品的条件类别概率Pr(Class_i|Object)，即在栅格中包含目标危险品的条件下，属于某一类危险品（如枪、刀具、易爆物品等）的概率。设危险品总类别为N，通过YOLO算法会得到一个N*(s×s×B)的矩阵，括号里代表的是bbox的数量。在某个类别中，将得分少于阈值（0.2）的设置为0，然后按照得分高低进行排列，用NMS算法去掉重复率较大的bbox，最后在每个bbox的N个得分中取最大得分，若这个得分小于0，则说明这个bbox中没有目标危险品，跳过即可，若得分大于0，那么这个bbox就是这个得分所对应的类别，输出危险品类别并触发报警转置，警示工作人员。YOLO算法的速度非常快，基于太赫兹原始图像的全局信息进行预测，准确率高，泛化能力强，满足在人流量较大的情况下快速识别危险品并进行预警。

利用YOLO算法检测出目标危险品后，如图7所示，采用DeepSort算法对运动状态下的目标危险品进行追踪，使用八个参数：x，y，γ，h，

，

，

，

来进行运动状态的描述，x和y是bbox的中心坐标，γ表示长宽比，h表示高度，其余四个变量为对应的在图像坐标系中的速度信息。对于已获取的目标危险品图像，利用基于常量速度模型和线性观测模型的标准卡尔曼滤波器对其运动状态进行预测，预测结果为（x，y，γ，h）。结合第i次卡尔曼预测结果与第j次目标检测之间的马氏距离表示运动信息的匹配程度，匹配公式为d₁(i,j)=(d_j - y_i)^TS_i ^-1(d_j - y_i)，d_j表示第j个检测框的位置，y_i表示第i个追踪器对目标的预测位置，S_i表示检测位置与平均追踪位置之间的协方差矩阵，若某次马氏距离小于指定的阈值t₁，则运动状态匹配成功。对每一个检测框d_j求一个特征向量r_i，限制条件为||r_i||=1，计算第i个追踪器的最近100个成功匹配的目标危险品特征集以及与当前第j个检测结果的特征向量的最小余弦距离来进行外观匹配，匹配公式为d₂(i,j)=min{1-r_j ^Tr_k ⁽ⁱ⁾| r_k ⁽ⁱ⁾ ∈R_i}，若d₂小于特定阈值，说明匹配成功。对马氏距离和最小余弦距离进行加权计算：c_i,j= λd₁(i,j)+(1-λ)d₂(i,j)，利用深度卷积神经网络作为深度特征描述器去提取目标的特征信息得到最后的目标危险品追踪结果，Deepsort算法结合了深度外观信息的匹配，对太赫兹图像的目标跟踪有着显著优势。

一种利用所述基于被动式太赫兹成像的识别系统进行识别的方法，包括以下步骤，

接收待成像目标自身辐射的太赫兹波以生成第一分辨率的太赫兹波原始图像，

基于所述太赫兹波原始图像重构得到太赫兹波重构图像，

基于太赫兹波重构图像识别预定对象。

目前国内采用的安检成像技术主要有x射线技术、CT技术和毫米波成像技术，其中x射线技术和CT技术发展更为成熟，被广泛应用在柜台式安检设备中，毫米波成像技术器件成本高昂，核心技术欠缺，还处于发展尝试阶段。对于人体进行安检一般是通过“金属检测门+手持检测仪”的方法，这种方法技术要求低，操作简单，但是存在着无法检测出陶瓷和树脂等材料的危险品、工作效率低且人员成本高等问题，愈来愈难应对花样百出的危险品种类。x射线技术和CT技术相较于毫米波成像技术图像质量好，成本低，但是由于辐射源为x射线，会对人体造成健康危害，故不适合运用在人体安检过程中。毫米波成像技术对人体无害，且能够穿透物体成像，对多种材料危险品均可以识别，但是毫米波成像技术存在着空间分辨率低的缺点，虽然能够进行快速成像但是成像质量较差，这对于危险品的识别会产生较大的误差，产生漏报、错报的问题。

同目前最先进的方法——毫米波成像技术相比。毫米波是波长为1-10毫米的电磁波，它位于微波与远红外波相交叠的波长范围，因而兼有两种波谱的特点，毫米波的理论和技术分别是微波向高频的延伸和光波向低频的发展。毫米波具有穿透性好、安全性好等优点，可以有效地对被检测物体进行成像，毫米波成像分为主动式成像和被动式成像，成像机理与太赫兹波成像类似，被动式成像通过接收被检测物体自身辐射的能量，利用不同物质辐射强度的差异来实现成像，不会对环境造成电磁干扰，更为安全；主动式成像通过毫米波源发射一定强度的毫米波信号，通过接收被检测物体反射波，检测被测物体与环境的差异进行反演成像。毫米波成像技术在国家安全、大气遥感、安检等领域得到了广泛的研究，但是毫米波成像主要的缺点是空间分辨率不够高，虽然能够达到快速成像，但是成像质量差，这使得在判断是否有危险品存在时会产生较大的判断误差，影响准确度。

工业实用性

本发明所述的 基于被动式太赫兹成像的识别系统、监测系统及成像方法可以在光学成像领域制造并使用。

以上结合具体实施例描述了本申请的基本原理，但是，需要指出的是，在本申请中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本申请为必须采用上述具体的细节来实现。

为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (9)

1.一种基于被动式太赫兹成像的识别跟踪系统，其包括被动式太赫兹成像系统、图像处理模块以及识别跟踪模块，其中，

被动式太赫兹成像系统，其配置成接收待成像目标自身辐射的太赫兹波以生成第一分辨率的太赫兹波原始图像，其包括，

聚焦透镜，其接收并聚焦待成像目标自身辐射的太赫兹波至偏光分束镜，

偏光分束镜，聚焦的太赫兹波经由偏光分束镜分成两束，一束直接进入太赫兹波探测装置的信号输入端口，另一束经由机械延时装置和反射镜进入太赫兹波探测装置的信号输入端口，

太赫兹波探测装置，其接收太赫兹波信号和经由机械延时装置的同步信号以传输给信号处理转换装置，

信号处理转换装置，其滤波降噪处理所述太赫兹波信号后生成太赫兹波原始图像；

图像处理模块，其配置成基于所述太赫兹波原始图像重构得到太赫兹波重构图像，图像处理模块将所述太赫兹波原始图像输入训练好的SRGAN网络进行重构，SRGAN网络的训练过程包括，

生成网络G，其基于第一分辨率的原始图像重构生成第二分辨率的第二图像，

判别网络D，其接收所述第二图像并判别第二图像为属于生成图像还是属于原始图像，当判别网络D判断属于生成图像，则第二图像重新输入所述生成网络G，当判别网络D判断属于原始图像，则第二图像为重构图像；识别跟踪模块，其配置成基于太赫兹波重构图像识别预定对象并进行跟踪，识别跟踪模块包括：

识别单元，基于YOLO算法对太赫兹波重构图像中目标对象进行识别定位，

跟踪单元，基于DeepSort算法对识别到的预定对象进行追踪，

报警单元，基于识别结果进行判断，若存在预定对象则进行报警。

2.如权利要求1所述的 基于被动式太赫兹成像的识别跟踪系统，其中，所述图像处理模块SRGAN网络训练过程包括将第一分辨率的原始图像转换成小于第一分辨率的第三分辨率的第三图像的模糊滤波器，生成网络G基于第三图像重构生成第二分辨率的第二图像。

3.如权利要求1所述的基于被动式太赫兹成像的识别跟踪系统，其中，所述识别跟踪模块包括对太赫兹波重构图像进行预定对象识别定位的识别单元，所述识别单元包括，

栅格划分单元，其基于太赫兹波重构图像划分栅格，

卷积层提取特征单元，其基于太赫兹波重构图像进行特征提取，

检测单元，其基于栅格划分和特征识别预定对象及其位置。

4.如权利要求1所述的基于被动式太赫兹成像的识别跟踪系统，其中，所述识别跟踪模块包括对运动状态下的预定对象运动轨迹实时跟踪的跟踪单元，所述跟踪单元包括，

DeepSort跟踪单元，其在运动状态下计算预定对象运动轨迹，

卡尔曼滤波器，其计算预定对象的马氏距离进行位置匹配以及计算最小余弦距离进行外观匹配，以及加权计算马氏距离和最小余弦距离，

深度卷积神经网络，提取预定对象的特征信息得到预定对象的追踪结果。

5.如权利要求4所述的基于被动式太赫兹成像的识别跟踪系统，其中，所述位置匹配的匹配公式为d₁(i,j)=( d_j- y_i)^TS_i ^-1(d_j- y_i)，d₁(i,j)表示为第i次卡尔曼预测结果与第j次目标检测之间的马氏距离，d_j表示第j个检测框的位置，y_i表示第i个追踪器对预定对象的预测位置，S_i表示检测位置与平均追踪位置之间的协方差矩阵，T表示向量和矩阵的转置，若某次马氏距离小于指定的阈值t₁，则匹配成功。

6.如权利要求5所述的基于被动式太赫兹成像的识别跟踪系统，其中，所述外观匹配的匹配公式为d₂(i,j)=min{1-r_j ^Tr_k ⁽ⁱ⁾| r_k ⁽ⁱ⁾ ∈R_i}，其中d₂(i,j)为第i个追踪器的最近100个成功匹配的目标危险品特征集以及与当前第j个检测结果的特征向量的最小余弦距离，r_j和r_k ⁽ⁱ⁾表示特征向量，R_i为向量集，若d₂(i,j)小于预定阈值，则匹配成功，对马氏距离和最小余弦距离进行加权计算：

c_i,j= λd₁(i,j)+(1-λ)d₂(i,j)，其中c_i,j表示对马氏距离和最小预先距离加权值，λ表示超参数。

7.如权利要求1所述的 基于被动式太赫兹成像的识别跟踪系统，其中，所述报警单元包括蜂鸣器和LED灯。

8.如权利要求1所述的识别跟踪系统，其中，所述识别跟踪系统包括安检设备；或者，所述识别跟踪系统设置在无人机上。

9.一种利用权利要求1-8中任一项所述基于被动式太赫兹成像的识别跟踪系统进行识别的方法，其包括以下步骤，

接收待成像目标自身辐射的太赫兹波以生成第一分辨率的太赫兹波原始图像，

基于所述太赫兹波原始图像重构得到太赫兹波重构图像，

基于太赫兹波重构图像识别预定对象并进行追踪。

Images