CN114894740A

CN114894740A - 一种太赫兹单像素成像方法与系统

Info

Publication number: CN114894740A
Application number: CN202210356149.8A
Authority: CN
Inventors: 鲁远甫; 祝永乐; 佘荣斌
Original assignee: Shenzhen Institute of Advanced Technology of CAS
Current assignee: Shenzhen Institute of Advanced Technology of CAS
Priority date: 2022-04-06
Filing date: 2022-04-06
Publication date: 2022-08-12
Also published as: WO2023193461A1

Abstract

本发明涉及一种太赫兹单像素成像方法和系统，属于光学成像和深度学习领域。包括：S1.选择采样方案，构建图像重建网络模型，并对图像重建网络模型进行训练，得到训练好的图像重建网络模型；S2.根据采样方案，生成相应的掩膜图案；S3.通过掩膜调制太赫兹激光，调制后的太赫兹激光和目标物相互作用，形成的调制信号被探测器接收，并获得欠采样的一维数据；S4.将欠采样的一维数据导入到训练好的图像重建网络模型中，得到重建图像。本发明把端到端卷积深度神经网络结合到太赫兹单像素成像上，同时将网络模型中残差密集连接和深度压缩相结合成为三角密集块，能够减少系统的算法冗余性，并且能够适应目前采用的大多数单像素成像算法。

Description

一种太赫兹单像素成像方法与系统

技术领域

本申请涉及光学成像和深度学习领域，特别涉及一种太赫兹单像素成像方法与系统。

背景技术

太赫兹波具有光子能量低、穿透非极性物质等优点，在太赫兹成像、光谱分析和高速通信等方面有着巨大的潜力。其中，太赫兹成像已经开始应用于国防安全和生物影像等领域。但由于缺乏合适的材料，太赫兹像素化探测器阵列的研发进度缓慢。目前大多数的多像素太赫兹探测器阵列都是窄带的，或者需要工作在低温制冷环境；而传统的太赫兹单点扫描成像无法满足快速成像的要求，大大制约了太赫兹成像技术的实际推广。

另一种解决太赫兹成像的方案是采用太赫兹单像素成像系统，它相比面阵型太赫兹成像系统不仅节约了硬件成本，而且为太赫兹小型化商用化带来新的可能性。目前太赫兹单像素成像系统通过压缩感知、哈达玛基和傅里叶基等方式实现，其中，She等人利用220um硅基石墨烯调制器和傅里叶条纹实现亚波长太赫兹图像重建，利用图像稀疏特点，用采集低频系数和逆傅里叶变换实现10％调制掩膜下图像重建；Rayko等人利用硅全内反射棱镜和哈达玛掩膜实现近乎实时的太赫兹单像素视频，利用哈达玛域稀疏特点采用欠采样技术减少采样时间。

但是，由于太赫兹波波长的特殊性与单像素成像的局限性，太赫兹单像素成像技术有以下问题有待解决：(1)成像速度慢。由于单像素成像通过调制器发送单个探测器接受若干个掩膜图案的光强，而成像速度取决于调制时间、投影的数量、投影的速度和探测器的响应时间等；在图像分辨率增大的情况下，采样数量增多也会使成像速度变慢。(2)成像质量差：太赫兹波在传输过程中极易受相干光干扰，同时由于硬件热噪声带来的探测误差，极大程度影响了成像的质量。此外，虽然欠采样的方式可以大幅度缩短成像时间，但会导致输出图像的高频信息丢失而恶化图像；而从可观测的角度而言，当采样率低于一定比例时，重建图案会出现严重的失真甚至扭曲，因此采样率不适合低于某一个下限。(3)目前采用的传统深度学习算法应用在单像素成像方案无法低于某一个采样率，特别是复杂图案，同时算法相互拼接还会带来算法的冗余性，对成像系统的要求大大增加。

发明内容

本申请实施例提供一种太赫兹单像素成像方法与系统，以解决相关技术中成像速度慢、成像质量差、系统算法具有冗余性的问题。

本发明的一个方面提供了太赫兹单像素成像方法，包括以下步骤：

S1.构建图像重建网络模型，选择采样方案，基于所述采样方案对所述图像重建网络模型进行训练；

S2.根据所述采样方案，生成相应的掩膜图案；

S3.通过所述掩膜图案调制太赫兹激光，调制后的太赫兹激光和目标物相互作用，形成的调制信号被探测器接收，并获得欠采样的一维数据；

S4.将所述欠采样的一维数据导入到训练好的图像重建网络模型中，得到重建图像；

所述图像重建网络模型包括全连接块和三角密集块，其中所述三角密集块包括卷积块、下采样层、上采样层和残差密集连接。

进一步地，所述卷积块包括带有激活层的卷积层、普通卷积层和残差连接。

进一步地，所述采样方案为哈达玛编码、傅里叶编码和小波变换编码。

进一步地，所述步骤S3包括：将所述掩膜图案发送到数字微镜器件，用激光照射所述数字微镜器件，并把所述掩膜图案反射到目标图案区域的调制器上，之后发射太赫兹激光并利用太赫兹调制器调制激光光强，同时通过太赫兹单点探测器进行太赫兹激光接收，获得欠采样和全采样的一维数据。

进一步地，所述步骤S4还包括：将所述全采样的一维数据做逆变换的图像处理，将其与所述重建图像对比，进行图像质量评价。

进一步地，所述步骤S1还包括：

对所述图像重建网络模型进行预训练之前，根据重建图像的场景选择相应的数据集，并且给输入图像数据加入一定程度的随机噪声或额外的图像处理。

进一步地，所述步骤S1包括：

根据所述采样方案生成训练集，所述训练集包括原始图像，以及根据所述采样方案对所述图像进行逆变换转换成的一维信号。

本发明的另一方面提供了一种端到端网络的太赫兹单像素成像系统，包括：

训练单元，构建图像重建网络模型，选择采样方案，基于所述采样方案对所述图像重建网络模型进行训练；

生成单元，根据所述采样方案，生成相应的掩膜图案；

获取单元，通过所述掩膜图案调制太赫兹激光，调制后的太赫兹激光和目标物相互作用，形成的调制信号被探测器接收，并获得欠采样的一维数据；

重建单元，将所述欠采样的一维数据导入到训练好的图像重建网络模型中，得到重建图像；

所述图像重建网络模型包括全连接块和三角密集块组成，其中所述三角密集块包括卷积块、下采样层、上采样层和残差密集连接。

本申请提供的技术方案带来的有益效果包括：

(1)减少了算法冗余。目前主流单像素成像的深度学习策略是通过传统成像算法重建后，放入到训练好的图像增强网络，两个算法是相互独立的。而端到端卷积神经网络能够训练单像素成像重建算法和图像增强算法，不仅节约了额外的信息存储空间，并且直接完成从一维信号到二维图像的算法重建。

(2)提高成像速度。本发明提出了基于三角密集块的深度网络模型SIDL，通过残差密集连接和深度下采样方式，把浅层信息和深层信息相结合从而较大程度把空间分辨率较低的欠采样图案恢复成高质量图像，大大降低了对复杂图案采样率的要求，实现测量率远低于奈奎斯特定理采样率来提高成像速度。

(3)本发明所提出的基于三角密集块的图像重建网络模型，使得整体的网络有记忆性，网络的每一层都有之前输入的全部信息，即使网络再深也不会发生梯度爆炸；同时深度压缩能够挖掘欠采样图像的深度信息，使得每一次下采样训练之后获得都是有效信息，从而提高了图像的质量并且更加接近于真实图像，还可以自适应不同特征通道的变化。

(4)本发明属于自适应性算法。端到端卷积神经网络在输入之前的编码方式是不唯一的，可以选择已有或人为设定的编码方式采集一维测量信号，训练过程中会根据原始图像自适应性训练出重建需要的网络参数；相比只能训练已有的单像素成像方式的传统SIDL，该模型降低了对于系统的要求。

本发明提供了一种太赫兹单像素成像方法与系统，由于把端到端卷积深度神经网络结合到太赫兹单像素成像上，同时将网络模型中残差密集连接和深度压缩相结合成为三角密集块，因此，能够减少系统的算法冗余性，并且能够适应目前采用的大多数单像素成像算法，同时网络训练不容易发生梯度消失，同时更加适合单像素成像。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例中太赫兹单像素成像系统示意图；

图2为本发明实施例中太赫兹单像素成像流程图；

图3为本发明实施例中网络重建网络模型结构示意图；

图4为本发明实施例中卷积块的结构示意图；

图5为本发明实施例中部分手写数字识别原始图，0.8％采样率和2.5％采样率的图像传统算法重建图与SIDL算法的重建图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

首先，搭建太赫兹单像素成像装置，如图1所示。成像装置的主要光路由太赫兹激光器和探测器组成，调制部分是由激光、数字微镜阵列(Digital Mirrors Device，DMD)、投影镜头和本征半导体组成。将激光用DMD掩膜化Ф后经过镜头穿透氧化铟锡(Indium tinoxide，ITO)玻璃投影在调制器上，ITO对可见光可透过，对太赫兹光反射。太赫兹光经过透镜准直穿透调制器和目标物X被透镜聚焦在探测器上，太赫兹光经过掩膜调制，在探测器上输出调制后的强度信号I。

任何一个二维图像都可以看作由一组完备的正交掩膜图案的加权得到的，每个掩膜图案对应该变换域上的一个频率点，目标图案与变换域函数的关系由公式(1)给出。

式中，I(x,y)为物体目标,M,N为物体目标的长与宽，u,v为变换域上频率的点坐标，f为二维矩阵函数，大小由(x,y,u,v)确定，a_uv为权重大小，由(u，v)唯一确定。对全部正交基底图案进行加权，得到的原始图案的过程称为全采样，其中测量个数等于K＝M x N；为了减少测量个数，采集部分变换域上系数进行加权求逆，得到具有信息缺失图案的采样方式，称为欠采样。在一个实施例中，根据欠采样采用哈达玛编码获得的数据，是变换域中的不完备数据；对该数据进行逆变换时，会由于信息缺失导致空间分辨率下降，使得整体的图像质量变得模糊。

本发明实施例提供了一种太赫兹单像素成像方法，其包括以下步骤：

S1.构建图像重建网络模型，选择采样方案，基于所述采样方案对所述图像重建网络模型进行训练，得到训练好的图像重建网络模型；

采样方案可以为哈达玛编码、傅里叶编码和小波变换编码。

本发明提出一种新型深度卷积神经网络SIDL，可以训练各种单像素成像算法乃至太赫兹单像素成像，实现从一维数据直接转换成为二维图像，同时保证图像的高质量重建。其中图像重建网络模型结构示意图如图3所示。

如图3所示，图像重建网络模型SIDL包括全连接块和三角密集块组成。其中，三角密集块包括卷积块、下采样层、上采样层和残差密集连接组成。首先输入数据通过全连接层还原成特征图0，此时特征图0与重建输出尺寸一致。进入第一个卷积块后进入第一个特征通道1，并且获得特征图1，特征通道数为64，依次通过N-1个卷积块获得N-1个特征图；特征图经过下采样层对尺度进行压缩，而特征通道数增加128，获得特征图11，并且依次进入n-1个卷积层获得n-1个特征图，其中n＝N/2，即进入下一个特征通道卷积块个数为上一层个数的一半，特征通道数为上一层的两倍。同理，特征图11通过下采样层获得特征图21。每个特征通道的特征图都会进入融合层获得总特征图，并且通过上采样层进入上一层特征通道。最后通过第一层的融合层把全部特征图进行融合，并通过一个卷积层和残差连接恢复输出图。

该网络模型把残差密集连接和深度压缩(即下采样)相融合，同时每一次压缩都会减少相应层的网络深度，在保证不会出现由于感受野过小导致的梯度消失的情况下提高训练的时间。其优势在于，第一，整体的网络都有记忆性，使得网络的每一层都有之前输入的全部信息，使得网络再深也不会发生梯度爆炸；第二，深度压缩能够挖掘欠采样图像的深度信息，使得每一次下采样训练之后获得都是有效信息，从而提高了图像的质量并且更加接近于真实图像。

卷积块示意图如图4所示，其包括三个带有激活层的卷积层、一个卷积层和残差连接组成，采用卷积块代替卷积层作为网络的基本单元，能够提高网络的层数实现特征的学习；加入残差连接作为短连接，避免由于卷积层的叠加造成的梯度消失，加快收敛速度；同时残差连接上额外的卷积层可以自适应不同特征通道的变化。除了上述提出的卷积块结构，还可以根据网络训练要求自定义卷积块表现结构，如删除多余的卷积层或者在激活层之前均加入批归一化层。本质来说，卷积块就是能够实现更优训练效果的卷积层和激活层。

对网络预训练之前，根据重建图像的场景选择相应的数据集，并且给输入图像数据加入一定程度的随机噪声或额外的图像处理，根据编码方式对处理图像进行逆变换转换成为一维信号作为输入源，与原始图像组成训练集。

S2.根据所述采样方案，生成相应的掩膜图案；

S3.通过掩膜调制太赫兹激光，调制后的太赫兹激光和目标物相互作用，形成的调制信号被探测器接收，并获得欠采样的一维数据；

S4.将所述欠采样的一维数据导入到训练好的图像重建网络模型中，得到重建图像。

本发明实施例的另一方面还提供了一种太赫兹单像素成像系统，包括：

训练单元，选择相应的采样方案，构建图像重建网络模型，并对所述图像重建网络模型进行训练，得到训练好的图像重建网络模型；

生成单元，根据所述采样方案，生成相应的掩膜图案；

获取单元，通过掩膜调制太赫兹波，调制后的太赫兹波和目标物相互作用，形成的调制信号被探测器接收，并获得欠采样的一维数据；

重建单元，将所述欠采样的一维数据导入到训练好的图像重建网络模型中，得到重建图像。

上述各单元的功能参见相应的方法，在此不再赘述。

本发明的成像方法流程图如图2所示，首先，为单像素成像选择一种采样方案，比如哈达玛编码，同时针对该编码方式生成训练集，在仿真中采用手写数字识别数据集MNIST进行模型预训练；训练完毕后，把等于图像欠采样和全采样数量的编码掩膜图案分别发送到数字微镜器件上；把808nm激光照射在数字微镜器件上，使掩膜图案反射到目标图案区域的调制器上；用太赫兹激光发射后，通过太赫兹调制器调制808nm激光光强，同时通过一个太赫兹单点探测器进行太赫兹激光接收，获得一组一维的欠采样光强信号和一组一维全采样光强信号，即变换域数据；最后把欠采样的一维数据传入到图像重建网络模型SIDL中，恢复成32x32像素的图像，并与全采样后作逆变换的图像对比，进行图像质量评价。

本发明中，采用手写数字识别数据集MNIST进行实验仿真，训练集为60000张28x28像素的图像，验证集为10000张28x28像素图像，放大到32x32像素后作为原始图像，与加入高斯噪声并进行哈达玛编码的一维数据作为训练集。设置训练的参数为：训练轮数epoch为25，批次尺寸为batch_size为25，学习率learning_grate为10-5，损失函数Loss为L1函数。模拟实验中，针对图像采样率为0.8％和2.5％进行模型训练，验证集部分效果图如图5所示。

由于信息的大量缺失，在采样率为2.5％的图像经过哈达玛逆变换重建后基本无法辨认出数字内容；而采样率到了0.8％时，基本无法辨认出图像内容为数字；而经过SIDL模型重建后，通过输入信息的预测能够把0.8％的数据还原成较为相似的数字，而2.5％的数据能够极大程度重建成原始图像。图5的图像质量评价指标如表1所示。

表1

表格中，分别对十张不同的图像两种采样率下分别进行哈达玛逆变换重建和SIDL算法重建，在传统算法中，2.5％的采样率下只能得到最高SSIM＝0.33和PSNR＝13的恢复效果，而0.8％下SSIM只在0.03-0.13之间，PSNR不超过13；而通过SIDL重建后，0.8％下SSIM在0.3-0.6之间，PSNR在12-21之间，而2.5％更是获得较好恢复，SSIM在0.75-0.92之间，PSNR在17-32之间。因此，在模型仿真中，我们认为在2.5％采样率下SIDL算法重建的效果最佳。

需要说明的是，在本申请中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅是本申请的具体实施方式，使本领域技术人员能够理解或实现本申请。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。

Claims

1.一种太赫兹单像素成像方法，其特征在于，包括以下步骤：

S2.根据所述采样方案，生成相应的掩膜图案；

2.如权利要求1所述的太赫兹单像素成像方法，其特征在于，所述卷积块包括带有激活层的卷积层、普通卷积层和残差连接。

3.如权利要求1所述的太赫兹单像素成像方法，其特征在于，所述采样方案为哈达玛编码、傅里叶编码和小波变换编码。

4.如权利要求1所述的太赫兹单像素成像方法，其特征在于，所述步骤S3包括：将所述掩膜图案发送到数字微镜器件，用激光照射所述数字微镜器件，并把所述掩膜图案反射到目标图案区域的调制器上，之后发射太赫兹激光并利用太赫兹调制器调制激光光强，同时通过太赫兹单点探测器进行太赫兹激光接收，获得欠采样和全采样的一维数据。

5.如权利要求4所述的太赫兹单像素成像方法，其特征在于，所述步骤S4还包括：将所述全采样的一维数据做逆变换的图像处理，将其与所述重建图像对比，进行图像质量评价。

6.如权利要求1所述的太赫兹单像素成像方法，其特征在于，所述步骤S1还包括：

7.如权利要求1所述的太赫兹单像素成像方法，其特征在于，所述步骤S1包括：

8.一种端到端网络的太赫兹单像素成像系统，其特征在于，包括：

生成单元，根据所述采样方案，生成相应的掩膜图案；

9.如权利要求8所述的太赫兹单像素成像系统，其特征在于，所述卷积块包括带有激活层的卷积层、普通卷积层和残差连接。

10.如权利要求8所述的太赫兹单像素成像系统，其特征在于，所述采样方案为哈达玛编码、傅里叶编码和小波变换编码。