CN110940996A

CN110940996A - 基于太赫兹和可见光的成像装置、监测系统及成像方法

Info

Publication number: CN110940996A
Application number: CN201911270801.9A
Authority: CN
Inventors: 张留洋; 张震; 陈雪峰; 徐亚飞; 翟智; 孙瑜
Original assignee: Xian Jiaotong University
Current assignee: Xian Jiaotong University
Priority date: 2019-12-11
Filing date: 2019-12-11
Publication date: 2020-03-31

Abstract

公开了基于太赫兹和可见光的成像装置、监测系统及成像方法，成像装置中，太赫兹成像系统接收待成像的目标自身辐射的太赫兹波以生成太赫兹波原始图像，太赫兹波收集器多角度地在预定范围收集所述目标辐射的太赫兹波，图像处理模块配置成基于所述太赫兹波原始图像和可见光原始图像融合生成太赫兹波和可见光融合图像，图像融合模块用于提取太赫兹重建图像中的第一低频信息和第一高频信息以及提取可见光灰度图像中的第二低频信息和第二高频信息，融合第一高频信息和第二高频信息生成高频带图像，融合第一低频信息和第二低频信息生成低频带图像，融合所述高频带图像和低频带图像生成太赫兹波和可见光的融合图像。

Description

基于太赫兹和可见光的成像装置、监测系统及成像方法

技术领域

本发明涉及光学成像技术领域，特别是一种基于太赫兹和可见光的成像装置、监测系统及成像方法。

背景技术

目前，面对不同领域的成像需求，常用的光学成像技术有可见光成像技术、红外热成像技术、无源毫米波成像技术、X射线成像技术等。由于不同波段的光波的性质不同，故不同的成像技术所成图像也各有差异，侧重点也各不相同。单一的传统光学成像技术越来越难以满足很多领域对于图像信息全面性的要求。

太赫兹(Terhertz，THZ)波通常是指电磁波谱上位于红外辐射和微波之间的电磁波辐射，波长范围为0.03mm～3mm，频率范围为100GHz～10THz。太赫兹辐射具有一些其他波段电磁波无法比拟的独特性能：1)瞬态性。典型的太赫兹脉宽在皮秒量级，可以方便地对各种材料进行时间分辨瞬时光谱研究，通过太赫兹取样测量技术，能够明显抑制周围环境的噪声干扰。2)低能性。与可见光、红外、微波、X射线等其他频段的电磁波相比，太赫兹光子能量较低(毫电子伏特)，太赫兹辐射不会因为电离而破坏被检测物质，因此太赫兹波可用于材料的无损检测和生物检测。3)宽带性。太赫兹脉冲源只包含几个周期的电磁振荡，单个脉冲的频带范围可以覆盖从GHz到THz，有利于在较大的范围内分析材料的光谱性质。4)相干性。太赫兹波的产生机制有两种，一种是在相干电流的驱动下，偶极子发生振荡，进而产生太赫兹波，另一种是由相干的激光脉冲通过非线性光学差频效应产生，因此太赫兹波同时具有强空间相干性和强时间相干性。太赫兹波相干检测技术可以直接测量样本的电场振幅和相位，获得样本介电常数的实部和虚部，实现样本折射率和吸收系数的提取。5)吸收性。大多数的极性分子对太赫兹波有着强烈的吸收，如氨分子和水分子等，可以通过分析特征谱来研究物质的成分和进行产品质量控制。此外，许多极性大分子的能带间距和转动能级正好位于太赫兹频带范围内，使太赫兹光谱技术在大分子分析和研究领域有着广阔的应用前景。6)穿透性。太赫兹波对于很多非极性物质和电介质材料，如纸箱、陶瓷、布料和塑料等，具有很强的穿透力，可用来对不透明物体和被遮挡物体进行成像，反映物体内部特征，是超声波成像和X射线成像技术的有效补充手段，可用于质检或安检过程中的无损监测与成像。

目前太赫兹成像技术分为主动式和被动式两种，主动式太赫兹成像技术需要提供辐射源，对于动态目标的实时成像较为不便；被动式太赫兹成像技术不使用辐射源，而是通过探测器件接收目标自身辐射的太赫兹波，根据接收到的太赫兹波的强弱生成图像，除了静态物体成像外，更加便于对动态目标实行实时的监测成像。

但被动式太赫兹成像技术所获图像边缘特征不明显，大部分的太赫兹成像图片边缘模糊，背景噪声较大，图片边缘特征提取较为困难且单一的传感器不能对目标有完整的描述。

在背景技术部分中公开的上述信息仅仅用于增强对本发明背景的理解，因此可能包含不构成本领域普通技术人员公知的现有技术的信息。

发明内容

针对单一光谱成像技术不能完整反映目标对象详细信息以及传统光学成像技术对动态目标追踪监测困难的问题，本发明提供了基于太赫兹和可见光的成像装置、监测系统及成像方法，通过对被动式太赫兹成像图片进行超分辨率重建，融合可见光成像图片和被动式太赫兹成像图片，得到能够完整反映目标对象详细信息和内部特征的图片，实现对目标对象跟高效的监测和追踪。本发明的目的是通过以下技术方案予以实现：

一种基于太赫兹和可见光的成像装置包括被动式太赫兹成像系统、可见光成像系统以及图像处理模块，其中，

被动式太赫兹成像系统，其配置成接收待成像的目标自身辐射的太赫兹波以生成太赫兹波原始图像，其包括，

太赫兹波收集器，其多角度地在预定范围收集所述目标辐射的太赫兹波，

聚焦透镜系统，其接收所述太赫兹波以生成太赫兹波及其同步信号，

探测器，其接收所述太赫兹波及其同步信号以传输给信号处理单元，

信号处理单元，其滤波降噪处理所述太赫兹波信号后生成太赫兹波原始图像；

可见光成像系统，其配置成接收所述目标反射的可见光波以生成可见光原始图像；

图像处理模块，其配置成基于所述太赫兹波原始图像和可见光原始图像融合生成太赫兹波和可见光融合图像，其包括，

图像重建模块，其用于将所述太赫兹原始图像重建成分辨率高于所述太赫兹原始图像的太赫兹重建图像，

灰度处理模块，其灰度处理所述可见光原始图像生成灰度图像，

图像融合模块，其用于提取太赫兹重建图像中的第一低频信息和第一高频信息以及提取可见光灰度图像中的第二低频信息和第二高频信息，融合第一高频信息和第二高频信息生成高频带图像，融合第一低频信息和第二低频信息生成低频带图像，融合所述高频带图像和低频带图像生成太赫兹波和可见光的融合图像。

进一步的，所述图像处理模块包括二次融合模块，其融合所述融合图像和可见光原始图像以将见光原始图像的色彩信息融合到所述融合图像。

进一步的，所述被动式太赫兹成像系统和可见光成像系统搭载于无人机云台上。

进一步的，所述目标至少一部分被遮挡。

进一步的，可见光成像系统包括，

光学镜头，其聚焦接收所述目标反射的可见光波，

图像传感器CCD，其基于所述可见光光强产生相应电荷，时序产生控制电路，其生成CCD时序信号以控制图像传感器CCD采样时序，

A/D转换电路，其将所述电信号转换成数字信号，

信号存储单元，其存储所述数字信号及同步信号，生成可见光图像。

进一步的，所述聚焦透镜系统包括，

聚焦透镜，其朝向收集器以聚焦来自收集器的太赫兹波，

偏光分束镜，其接收所述聚集的太赫兹波后将其分束，一束直接进入探测器的信号输入端口，另一束经机械延时装置、第一反射镜和第二反射镜反射后进入探测器信号输入端口。

根据本发明的另一方面，一种监测系统包括，

所述的基于太赫兹和可见光的成像装置，以及

监测模块，其基于所述融合图像生成监测结果。

所述的监测系统中，所述监测系统包括安检设备。

所述的监测系统中，所述监测系统设置在无人机上。

根据本发明的又一方面，一种所述基于太赫兹和可见光的成像装置的成像方法包括以下步骤，

接收待成像的目标自身辐射的太赫兹波以生成太赫兹波原始图像，接收所述目标反射的可见光波以生成可见光原始图像，

将所述太赫兹原始图像重建成分辨率高于所述太赫兹原始图像的太赫兹重建图像，灰度处理所述可见光原始图像生成灰度图像，

提取太赫兹重建图像中的第一低频信息和第一高频信息以及提取可见光灰度图像中的第二低频信息和第二高频信息，融合第一高频信息和第二高频信息生成高频带图像，融合第一低频信息和第二低频信息生成低频带图像，融合所述高频带图像和低频带图像生成太赫兹波和可见光的融合图像。

与现有技术相比，本发明的有益效果是：

本发明提出了一种融合被动式太赫兹成像和可见光成像的装置和方法，相比与传统的单一光学成像技术，通过对被动式太赫兹图像和可见光图像进行高频带和低频带特征提取，进行图像融合，使融合图像分辨率更高，特征信息更加清晰，融合速度更快，便于实时成像。本发明融合了被动式太赫兹成像和可见光成像的优点，既能对被遮挡物和不透明物体进行成像，又能保留目标对象更多的细节信息，使所成图像表征更加完整。将被动式太赫兹成像系统和可见光成像系统搭载在于无人机上，利用无人机的机动性，实现对静态物体多角度大范围的成像和对移动物体的监测跟踪，相较于传统装置，更加灵活，适用范围更加广泛。本发明可应用在安检、细胞水平成像等应用领域。

上述说明仅是本发明技术方案的概述，为了能够使得本发明的技术手段更加清楚明白，达到本领域技术人员可依照说明书的内容予以实施的程度，并且为了能够让本发明的上述和其它目的、特征和优点能够更明显易懂，下面以本发明的具体实施方式进行举例说明。

附图说明

通过阅读下文优选的具体实施方式中的详细描述，本发明各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。说明书附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。显而易见地，下面描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。而且在整个附图中，用相同的附图标记表示相同的部件。

在附图中：

图1是本发明的基于太赫兹和可见光的成像装置整体框架示意图；

图2是本发明基于太赫兹和可见光的被动式太赫兹成像系统整体结构示意图；

图3是本发明基于太赫兹和可见光的成像装置的可见光成像系统整体结构示意图；

图4是基于太赫兹和可见光的成像装置的图像处理模块处理流程示意图；

图5是本发明的DRRN结构示意图；

图6是本发明图像处理模块工作示意图；

图7是本发明图像融合过程图。

以下结合附图和实施例对本发明作进一步的解释。

具体实施方式

下面将参照附图1至图7更详细地描述本发明的具体实施例。虽然附图中显示了本发明的具体实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。

需要说明的是，在说明书及权利要求当中使用了某些词汇来指称特定组件。本领域技术人员应可以理解，技术人员可能会用不同名词来称呼同一个组件。本说明书及权利要求并不以名词的差异来作为区分组件的方式，而是以组件在功能上的差异来作为区分的准则。如在通篇说明书及权利要求当中所提及的“包含”或“包括”为一开放式用语，故应解释成“包含但不限定于”。说明书后续描述为实施本发明的较佳实施方式，然所述描述乃以说明书的一般原则为目的，并非用以限定本发明的范围。本发明的保护范围当视所附权利要求所界定者为准。

为便于对本发明实施例的理解，下面将结合附图以具体实施例为例做进一步的解释说明，且各个附图并不构成对本发明实施例的限定。

为了更好地理解，如图1所示，一种基于太赫兹和可见光的成像装置包括被动式太赫兹成像系统1、可见光成像系统2以及图像处理模块3，其中，

被动式太赫兹成像系统1，其配置成接收待成像的目标自身辐射的太赫兹波以生成太赫兹波原始图像，其包括，

太赫兹波收集器4，其多角度地在预定范围收集所述目标辐射的太赫兹波，

探测器5，其接收所述太赫兹波及其同步信号以传输给信号处理单元6，

信号处理单元6，其滤波降噪处理所述太赫兹波信号后生成太赫兹波原始图像；

可见光成像系统2，其配置成成接收所述目标反射的可见光波以生成可见光原始图像；

图像处理模块3，其配置成基于所述太赫兹波原始图像和可见光原始图像融合生成太赫兹波和可见光的融合图像，其包括，

灰度处理模块，其灰度处理所述可见光原始图像(RGB)生成灰度图像，

本发明克服了单一光学成像技术不能完整表征图像信息的问题，融合被动太赫兹成像技术和可见光成像技术的优点，提高融合图像的分辨率，使融合图像既能表征目标对象的细节信息，又能表达内部结构信息，对静态目标对象进行多角度大范围的监测，对动态目标进行持续性实时成像，最终实现对在不同工况下、不同运动状态的目标对象的有效成像监测。在公共安全、生物医学、材料分析、无损检测、文物保护和通讯等领域具有巨大的应用性。

需要指出的是，图像融合模块可以采用基于卷积神经网络图像融合的技术或者非卷积神经网络图像融合的技术。

例如，在一个实施例中，图像融合模块包括卷积神经网络图像融合模块，其利用不同尺度或同尺度的卷积核提取太赫兹重建图像中的第一低频信息和第一高频信息以及提取可见光灰度图像中的第二低频信息和第二高频信息，融合第一高频信息和第二高频信息生成高频带图像，融合第一低频信息和第二低频信息生成低频带图像，融合所述高频带图像和低频带图像生成太赫兹波和可见光的融合图像。

在另一个实施例中，所述融合高频-高频、低频-低频、高频-低频图像过程中，利用卷积核提取出太赫兹图像和可见光图像的特征信息之后，再利用0RB算法生成特征描述子，然后根据描述子的相似程度对两幅图像之间的特征进行匹配，进一步利用卷积神经网络完成基于区域特征融合规则的图像融合过程；

以及可以在另一个实施例中采取的后续改进：基于前期大量训练集的学习训练保证融合效果，利用目视判读的方法对融合图像进行评价。

在一个实施例中，所述不同尺度卷积核的网络深度根据所需提取的特征数量和精度而定，因此，深度可能相同也可能不同。

在一个实施例中，图像融合模块的卷积神经网络图像融合模块，利用同尺度卷积核下也可以达到同样需求，例如一个特征对应感受野为7，可以使用3个尺寸为3x3的卷积核(此时网络深度为3)进行信息提取，也可利用一个7x7的卷积核代替(此时网络深度不同)。

所述不同尺度卷积核的网络深度根据所需提取的特征数量和精度而定，同尺度卷积核下不同网络深度也可以达到同样需求，例如一个特征对应感受野为7，可以使用3个尺寸为3x3的卷积核(此时网络深度为3)进行信息提取，也可利用一个7x7的卷积核代替。

此外，正如前文所述，所述太赫兹波和可见光融合的方法，除利用卷积神经网络外，还可以利用非卷积神经网络图像融合的技术，例如：基于金字塔算法的图像融合方法、基于统计的图像融合方法、基于RPCA的图像融合方法等：

在一个实施例中，所述基于金字塔算法的图像融合方法是指利用塔形结构来提取太赫兹图像和可见光的多分辨信息，然后在不同的尺度上选择基于区域特征的融合规则来得到融合图像。

在一个实施例中，所述基于统计的图像融合方法是指建立太赫兹图像和可见光图像的统计模型，然后将两者融合的任务转换为一个取最优解的问题，在进行参数估计得到融合后的图像。

在一个实施例中，所述基于RPCA的图像融合方法是指将太赫兹图像和可见光图像经RPCA分解后得到其稀疏矩阵和低秩矩阵，再采用NSCT变换融合图像低秩分量，与稀疏分量进行叠加得到融合图像。

此外，对于本发明而言，重建太赫兹原始图像，其属于图像超分辨率重建，在本发明中，将所述太赫兹原始图像重建成分辨率高于所述太赫兹原始图像的太赫兹重建图像，可以采用基于递归残差卷积神经网络之外，还可以采用深度卷积神经网络，对抗神经网络等方法对原始太赫兹图像进行重建，根据网络结构的不同，神经网络对原始太赫兹图像特征的提取和重建方式不同，但都是基于深度学习原理基础。此外，还可以采用非神经网络的方法，包括：基于插值方法的超分辨算法、基于正则化原理的超分辨算法、基于混合POCS方法的超分辨算法等等：

所述基于插值方法的超分辨算法，是指初始化参与重建的原始太赫兹图像帧数，对图像进行配准，以每一个待求解的像素为中心，选择其周围符合预设条件的像素进行插值运算，判断是否满足相关指标，直到满足要求为止。

所述基于正则化原理的超分辨算法，是指为原始太赫兹图像添加一个先验条件，并将其定义为正则项约束条件，将图像超分辨恢复问题转换为利用数学方法求解最优解的问题。

所述基于混合POCS方法的超分辨算法，是指在空间中定义一个凸约束集合，包含高分辨图像的各种先验知识，把太赫兹原始图像的初始估量投影到这个集合中，得到估量的高分辨图像。

所述对太赫兹原始图像进行超分辨重建以得到高分辨率高于原始图像的重建图像中，图像分辨率是指图像储存的信息量，即单位密度，图像分辨率越高，图像中包含的细节越多，信息量也越大。在本发明中，对于太赫兹图像超分辨重建、恢复，目的是恢复图像中丢失的高频信息，其核心思想是利用时间分辨率换取更高的空间分辨率即图像单位面基的采样点数，这是决定图像质量的关键因素。

此外，所述的基于太赫兹和可见光的成像装置的优选实施例中，所述图像处理模块3进一步包括二次融合模块，其融合所述融合图像和可见光原始图像以将见光原始图像的色彩信息融合到所述融合图像。如此，可以融合更多的信息。

所述的基于太赫兹和可见光的成像装置的优选实施例中，所述被动式太赫兹成像系统1和可见光成像系统2搭载于无人机11云台上。

所述的基于太赫兹和可见光的成像装置的优选实施例中，所述目标至少一部分被遮挡，和/或所述目标为不透明物体的内部，其中：

对一部分被遮挡的目标进行成像，其主要目的是恢复完整的目标轮廓色彩信息，例如对被遮挡的一部分汽车进行成像，对于未遮挡部分所成图像主要反应汽车的色彩信息和轮廓信息，对于被遮挡部分可反映其轮廓信息，综合以上进行判断汽车的整体轮廓和色彩信息；

对于全部被遮挡的目标进行成像，其主要目的是判断目标所处环境及位置信息，利用可见光成像的特点确定环境信息，包括地理形貌和植被分布等，利用太赫兹波所成图像呈现被完全遮挡的目标的位置信息，从而判断目标的具体环境及位置信息，可利用在灾后搜救场合中；

对目标为未被遮挡但不透明物体的内部结构进行成像，其主要目的是检测不透明物体的内部缺陷结构情况，利用可见光成像特点完整反映物体外部信息，利用太赫兹波所成图像判断内部缺陷结构，从而判断出目标物体的内部缺陷的具体位置信息。

所述的基于太赫兹和可见光的成像装置的优选实施例中，可见光成像系统2包括，

光学镜头7，其接收所述目标反射的可见光波，

图像传感器CCD，其基于所述可见光波生成电信号，

时序产生控制电路8，其生成同步信号以控制图像传感器CCD采样时序，

A/D转换电路9，其将所述电信号转换成数字信号，

信号存储单元10，其存储所述数字信号及同步信号，

数字信号处理器17，其基于所述数字信号生成可见光原始图像。

所述的基于太赫兹和可见光的成像装置的优选实施例中，所述聚焦透镜系统包括，

聚焦透镜12，其朝向收集器4以聚焦来自收集器4的太赫兹波，

偏光分束镜13，其接收所述聚集的太赫兹波后将其分束，一束直接进入探测器5的信号输入端口，另一束经机械延时装置14、第一反射镜15和第二反射镜16反射后进入探测器5信号输入端口。

为了进一步理解本发明，在一个实施例中，本发明整个成像过程由三部分组成，分别为被动式太赫兹成像系统1、可见光成像系统2以及图像处理模块3。成像装置搭载于无人机11云台。

在一个实施例中，首先是被动式太赫兹成像系统1。太赫兹波成像技术分为主动式和被动式两种，主动式太赫兹成像需要提供一个辐射源，利用大功率Thz源照射被测物体，被动式太赫兹成像技术不使用辐射源，而是通过探测器5接收目标自身辐射的太赫兹波，根据接收到的太赫兹波的强弱生成图像。本方案优选被动式太赫兹成像系统1(需要说明的是，本发明的发明构思和技术方案并不受限于被动式太赫兹成像系统；本发明的技术方案用于无人机时，只是优选被动式太赫兹成像系统而已)。

被动式太赫兹成像系统1，其主要包括太赫兹波收集器4、聚焦透镜系统、探测器5和信号处理单元6构成，其整体结构原理和工作流程如图2所示。收集器4用来收集目标物体自身辐射的太赫兹波，基于无人机11搭载，无人机11根据预先设定的轨迹进行飞行扫描，收集器4可以多角度大范围的收集目标对象的辐射的太赫兹波；聚焦透镜将收集器4扫描获取的目标对象自身辐射的太赫兹波聚焦至第一反射镜，聚焦太赫兹波由偏光分束镜分为两束，一束直接进入太赫兹探测器5的信号输入端口，另一束经机械延时装置、第一反射镜、第二反射镜进行反射，进入太赫兹探测器5信号输入端口；太赫兹探测器5接受太赫兹波及其同步信号，传输给信号处理单元6；信号处理单元6包括锁相放大器和计算机，对于所获取的太赫兹波信号进行滤波、降低背景噪声等处理，提高信号的信噪比。

在一个实施例中，可见光成像系统2基于无人机11搭载，考虑到稳定性和其他自然因素，采用稳定性更好，成本较低、体积较小的USB工业照相机结构，其整体结构和工作流程如下图3所示。

USB工业照相机整体结构包括了光学镜头7、图像传感器CCD、A/D转换电路9、驱动电路、时序产生控制电路8和信号存储单元10。光学镜头7用来聚焦收集目标对象反射的可见光波；图像传感器CCD是一个可以检测光强度的传感器，当光学镜头7聚焦的可见光到达CCD某个像素时，根据光的强度，CCD传感器产生相应的电荷，将该电荷的大小读取为电信号，即可获得各像素上光的强度；驱动电路用来驱动CCD工作；A/D转换电路9接受图像传感器CCD传递的电信号，对其进行数字化；时序产生控制电路8是整个相机系统的重点和核心，其输出CCD工作所需要的时序；同步信号的产生用来控制CCD采样的时序，从而对CCD输出信号进行精确地采样，减小噪声和误差；信号存储单元10用来存储信号。

在一个实施例中，图像处理模块3主含被动太赫兹波所成图像超分辨(恢复)重建、图像灰度处理、图像融合和图像二次融合三个模块。图像处理模块3结构如图4所示。

递归残差卷积网络(DRRN)重建模块作为一种优选的重建技术(其他重建技术详见前文)，其作用是提高太赫兹原始图像的分辨率，目前的被动式太赫兹成像技术所成太赫兹图像存在边缘特征模糊不明显的缺陷，为提高特征提取和边缘检测的准确率，利用递归残差卷积网络对太赫兹原始图像进行超分辨恢复重建。如图5所示，以单张图片为例，输入图片x，利用如下卷积神经网络结构，每一个残差块的输出为H(x)＝F(x)+x，x为上一个残差块的恒等映射，残差块缓解了在卷积网络层数不断加深的过程中产生的梯度爆炸和消失现象，使卷积网络性能提高，根据不同工作环境下生成的太赫兹图像质量的不同，可以使用不同深度的卷积网络对图片进行重建，卷积网络的深度为d，残差块的数量为u，递归块数量为B，则网络深度d＝(1+2×u)×B+1，则输出y为y＝D(x)＝f(R_B(R_B-1(...(R₁(x)...)))+x，得到重建后的高分辨太赫兹图像。将可见光图像进行灰度处理，原始可见光图像为RGB格式，利用加权平均法将RGB三个通道的分量以不同的权值进行加权平均得到脚为合理的灰度图像，加权平均公式为：Gray(i，j)＝0.299×R(i，j)+0.578×G(i，j)+0.114×B(i，j)。将灰度化的可见光图像与重建后的太赫兹图像进行融合，利用不同尺度的卷积核提取二者图片中的低频信息和高频信息，将太赫兹图像的高频带图像和可见光图像的高频带进行融合，得到图像Q₁(i，j)，将太赫兹图像的低频带和可见光图像的低频带进行融合，得到图像Q₂(i，j)，然后进行高频带和低频带融合图像的重构，即可获得融合图像Q(i，j)，融合过程如下图6所示。将第一次融合后的图像与可见光图像进行二次融合，使最终的融合图像保留原始可见光图片中的色彩信息。示意图如下图7所示。

在一个实施例中，图像融合模块包括提取太赫兹重建图像中的第一低频信息和第一高频信息以及提取可见光灰度图像中的第二低频信息和第二高频信息的提取单元，融合第一高频信息和第二高频信息生成高频带图像以及融合第一低频信息和第二低频信息生成低频带图像的融合单元，以及融合所述高频带图像和低频带图像生成太赫兹波和可见光的融合图像的二次融合单元。

在一个实施例中，提取单元、融合单元和二次融合单元为微处理器。

在一个实施例中，提取单元、融合单元和二次融合单元包括计算器或数字电路。

在一个实施例中，所述目标为动态目标。

监测系统包括，

所述的基于太赫兹和可见光的成像装置，以及

监测模块，其基于所述融合图像生成监测结果。

监测系统利用如无人机11可以实现多角度大范围成像，并且可以实时跟踪运动目标，利用被动太赫兹成像技术和可见光成像技术对目标进行实时成像，对图片进行超分辨恢复重建和融合，得到含有更多细节的目标图像，对安检、医疗、军事等领域的静态、动态目标成像有着重要意义。

所述的监测系统的优选实施例中，所述监测系统包括安检设备。

所述的监测系统的优选实施例中，所述监测系统设置在无人机11上。

在另一个实施例中，一种所述基于太赫兹和可见光的成像装置的成像方法包括以下步骤，

将所述太赫兹原始图像重建成分辨率高于所述太赫兹原始图像的太赫兹重建图像，灰度化所述可见光原始图像生成灰度图像，

提取太赫兹重建图像中的第一低频信息和第一高频信息以及提取灰度图像中的第二低频信息和第二高频信息，融合第一高频信息和第二高频信息生成高频带图像，融合第一低频信息和第二低频信息生成低频带图像，重构所述高频带图像和低频带图像生成太赫兹波和可见光的融合图像。

工业实用性

本发明所述的基于太赫兹和可见光的成像装置、监测系统及成像方法可以在光学成像领域制造并使用。

以上结合具体实施例描述了本申请的基本原理，但是，需要指出的是，在本申请中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本申请为必须采用上述具体的细节来实现。

为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims

1.一种基于太赫兹和可见光的成像装置，其包括被动式太赫兹成像系统、可见光成像系统以及图像处理模块，其中，

2.如权利要求1所述的基于太赫兹和可见光的成像装置，其中，优选的，所述图像处理模块包括二次融合模块，其融合所述融合图像和可见光原始图像以将见光原始图像的色彩信息融合到所述融合图像。

3.如权利要求1所述的基于太赫兹和可见光的成像装置，其中，所述被动式太赫兹成像系统和可见光成像系统搭载于无人机云台上。

4.如权利要求1所述的基于太赫兹和可见光的成像装置，其中，所述目标至少一部分被遮挡。

5.如权利要求1所述的基于太赫兹和可见光的成像装置，其中，可见光成像系统包括，

光学镜头，其聚焦接收所述目标反射的可见光波，

A/D转换电路，其将所述电信号转换成数字信号，

6.如权利要求1所述的基于太赫兹和可见光的成像装置，其中，所述聚焦透镜系统包括，

聚焦透镜，其朝向收集器以聚焦来自收集器的太赫兹波，

7.一种监测系统，其包括，

如权利要求1-6中任一项所述的基于太赫兹和可见光的成像装置，以及

监测模块，其基于所述融合图像生成监测结果。

8.如权利要求7所述的监测系统，其中，所述监测系统包括安检设备。

9.如权利要求7所述的监测系统，其中，所述监测系统设置在无人机上。

10.一种基于太赫兹和可见光的成像装置的成像方法，其包括以下步骤，