CN115601621A - 基于条件生成对抗网络的强散射介质主动单像素成像方法 - Google Patents

Abstract

本发明公开了基于条件生成对抗网络的强散射介质主动单像素成像方法，包括：设计基于哈达玛变换的单像素光学成像系统，用于获得测试目标在一系列不同散射条件和采样率下的一维探测信号值；采样得到的不同散射条件和采样率下的一维探测信号值，通过数据平均预处理后整形成二维信号图像，作为测试集图像；构建一种基于带压缩‑激励块和残差块的最小二乘损失函数模型的深度卷积条件生成对抗网络AMSPI‑LSCGAN；将最小二乘损失与内容损失和平均结构相似性损失相结合作为AMSPI‑LSCGAN网络的损失函数进行训练，避免训练崩溃以获得较高保真度的重建图像；将测试集图像输入到已经训练好的AMSPI‑LSCGAN网络中，以进行测试目标的重建。

Description

基于条件生成对抗网络的强散射介质主动单像素成像方法

技术领域

本发明涉及一种在低采样率下基于最小二乘条件生成对抗网络的强散射介质主动模式单像素成像方法，属于光学成像分析技术领域。

背景技术

众所周知，当光通过浑浊液体、雾霾、烟雾以及生物组织等散射介质时，由于介质内部折射率分布不均，光经过强散射介质的过程中会发生多次未知散射并被分散到各个方向，从而使包含物体信息的弹道光不能被完全的收集以及利用，最终在观测面上只能接收到散斑图案，难以实现对目标的成像。这也让通过强散射介质成像成为一个巨大的挑战。近年来，随着计算光学成像在散射中的应用以及空间光调制器(SLM)和数字微镜器件(DMD)等高精度波前调制器件的出现，进一步促进了散射成像的相关研究。例如，波前整形、传输矩阵以及散斑自相关等方法，都为透过散射介质成像提供了可能性。然而上述方法都对散射介质的改变有所敏感，成像质量易受环境的影响，所以对目标物体的选取以及系统的稳定性要求非常高。近年来，单像素成像(SPI)作为一种新的测量技术受到广泛关注。它不需要像素化的光电探测器来检测光信号，只需要一个单点探测器来测量物体被照明后的综合强度，从而简化了实验系统的复杂性。这种新的成像机制，为弱光成像以及穿透散射介质成像提供了新的解决方案，但是基于单像素成像下压缩感知算法中的目标重构受限于选定的稀疏基，并且目标重构耗时长且成像质量受散射介质影响。

近年来，深度学习算法(DL)，也称为深度神经网络(DNN)，最近被广泛应用于解决逆问题，通过学习样本数据的内部规律，从而可以通过已知的的映射实例使得神经网络学习并适应这种映射关系，具有强大的计算以及拟合能力。因此，深度学习也被用于解决散射成像问题以提高散射介质条件下物体重建的信噪比，但是对于现有的基于DL的散射介质计算成像重建方案来说，在强散射介质(浊度大于50NTU)下，以及同时在低采样(0≤采样率≤30％)下的目标成像质量仍然不太理想。

发明内容

为了解决现有单像素成像方法在低采样率下和强散射环境中成像质量低的问题，本发明提供一种基于最小二乘条件生成对抗网络的强散射介质主动模式单像素成像方法。

本发明采用的技术方案是：首先设计并实现了基于哈达玛(Hadamard)变换的单像素光学成像系统(HSPI)，包括He-Ne激光器、数字微镜器件(DMD)、数据采集卡、单像素探测器、光束终止器、各类透镜和支撑件等器件组成。其成像原理是：激光发出的光经过准直和扩束后，在预先加载好Hadamard散斑的DMD上被调制。当散斑图中某像素点为1时，DMD的微镜被设置成“开启”状态；当散斑图中某像素点为0时，DMD的微镜被设置成“关闭”状态。然后反射光通过处于标准浊液中的测试目标。随后，单像素探测器同步采集并记录总光强度。此外，DMD投影速率以及数字采集卡的DAQ系统通过触发信号所同步。最后，将得到的光强信号整形成二维图像并输入已经训练好的网络，以便在不同采样率下重建通过不同散射介质后的测试目标图像。

为了达到上述目的，本发明提供的技术方案是：一种基于最小二乘条件生成对抗网络的单像素成像方法，包括如下步骤：

步骤1，设计基于哈达玛变换的单像素光学成像系统，用于获得测试目标在一系列不同散射条件和采样率下的一维探测信号值；

步骤2，采样得到的不同散射条件和采样率下的一维探测信号值，通过数据平均预处理后整形成二维信号图像，作为测试集图像；

步骤3，构建一种基于带压缩-激励块和残差块的最小二乘损失函数模型的深度卷积条件生成对抗网络AMSPI-LSCGAN；

步骤4，将最小二乘损失与内容损失和平均结构相似性损失相结合作为AMSPI-LSCGAN网络的损失函数进行训练，避免训练崩溃以获得较高保真度的重建图像；

步骤5，将测试集图像输入到步骤4中已经训练好的AMSPI-LSCGAN网络中，以进行测试目标的重建。

进一步的，步骤1中的单像素光学成像系统包括He-Ne激光器、数字微镜器件DMD、数据采集卡、单像素探测器、光束终止器、各类透镜和支撑件；其成像原理是：激光器发出的光经过准直和扩束后，在预先加载好Hadamard散斑的DMD上被调制，当散斑图中某像素点为1时，DMD的微镜被设置成“开启”状态；当散斑图中某像素点为0时，DMD的微镜被设置成“关闭”状态；然后反射光通过处于标准浊液中的测试目标，随后，单像素探测器同步采集并记录总光强度。

进一步的，步骤3中，网络训练采用的数据集来自MNIST以及EMNIST手写数据集，首先，调整图像大小，然后，将每个图像与Hadamard测量矩阵相乘并将所有像素归整成一列一维探测值来模拟单像素探测器收集到的测量值；最后，把一维探测值经过预处理整形成的信号图像与真实图像共同构成的图像对来训练网络，以获得不同采样率下的优化网络模型。

进一步的，Hadamard测量矩阵的计算方式如下；

当矩阵是由+1和-1元素构成且满足HH^T＝NZ时，这样的矩阵被称为Hadamard矩阵，H是一个N阶方阵，H^T是H的转置，Z是N阶单位矩阵；对任意一个矩阵行列维度为2^m的Hadamard矩阵作为测量矩阵，可以由以下的公式递推得到：

其中，2^m-1表示矩阵维度，Hadamard矩阵由随机Hadamard变换生成；矩阵H经数字微镜器件DMD来获得照明散斑P(x,y)，(x,y)表示图像坐标，由于矩阵H由+1和-1构成，而DMD只能用于调试0和1相组合的测量矩阵，因此，在互补模式下设计了一个H，可由下式得到：

其中，E表示所有元素均为1的矩阵；H⁺保留了H中为+1的元素，并将H中-1的元素都转化为0；H^-表示将H中原先为1的元素转化为0，-1的元素都替换为+1；通过这种方式，使用均可在DMD器件上调制的H⁺与H^-矩阵来获得矩阵H。

进一步的，步骤3的具体实现方式如下；

AMSPI-LSCGAN包括生成网络G和鉴别网络D，其中生成网络G是一个深度卷积U型网络结构，通过一个由4个下采样卷积模块组成的编码器、一个由4个上采样卷积模块组成的解码器以及在编码器-解码器中间添加的3个残差块来还原原始图像；

编码器阶段为下采样过程，输入是由桶形探测器的实测信号值直接重塑的一定大小图像，使用卷积层提取图像特征，使用最大池化层降低图像的空间维数，对输入图像中的信息进行编码，更好地了解图像的边缘和纹理结构，在每个卷积层之后还添加了一个挤压-激励SE块，SE块包括两个部分：压缩和激励，设置W和H分别表示特征图的宽度和高度，C表示通道数，输入特征图的大小为W×H×C，第一步是压缩操作，通过全局平均池化将输入特征图压缩成1×1×C的向量，这个向量在某种程度上具有全局感受野，输出的维度与输入的特征通道数相匹配；第二步是激励操作，由两个全连接层组成，得到的输出是一个1×1×C的向量，最后将SE块计算出的每个通道的权重值与原始特征图对应的通道的二维矩阵相乘，得到最终的输出结果。

进一步的，残差块的计算公式如下；

式8中，p为残差块的输入，q为残差块的输出，W_i表示第i层的参数，通过训练得到，f(p,W_i)表示残差映射，

以及

分别为p和q的偏导数，对于残差块的网络结构，首先将输入特征通过两个3×3卷积层获得残差映射，然后通过快捷连接将输入添加到输出，完成特征融合。

进一步的，步骤4中具体的损失函数如下；

最小二乘损失函数L_LSGAN如下：

其中，x是真实样本，P_x是真实的样本分布；z是单像素系统获得的信号值，P_z是输入生成网络G(z)定义的生成样本分布，E代表数学期望，D表示判别网络；将b设置为1，代表真实数据；a设置为0，代表伪造数据；c设置为0，代表欺骗判别网络D；采用最小二乘损失函数会使D的梯度不会减小到0，并且在边界处的数据也会获得与距离成比例的惩罚，从而确保网络服从更多的梯度信息，从而提高了训练的稳定性；

为了使重建图像更接近真实值，选择基于平均绝对误差MAE的损失函数，使得真实图像与生成图像的像素级差异最小化，目标函数为：

L_L1＝E[||x-G(z)||₁] (11)

||·||₁表示L1范数；

然后，使用平均结构相似性损失来评估整幅图像的质量，可以表示为：

其中u_x和u_G(z)分别是真实图像和重建图像中总像素的平均值，σ_x ²和σ_G(z) ²是真实图像和重建图像的方差，σ_xG(z)是真实图像和重建图像的协方差；C₁、C₂和C₃是常数，用于避免除以0；u_x、σ_x和σ_xG(z)通过使用圆形对称高斯加权矩阵窗口来计算，然后，用MSSIM来评价整个图像的质量，可以表示为：

其中，U为真实图像块，R为预测图像块，x_v表示第v个窗口的真实图像内容，G_v(z)表示第v个窗口处生成的图像内容，K表示窗口的总数；因此，MSSIM的损失可以表示为：

因此最终的联合损失函数如下：

L_G＝λ₁L_LSGAN+[λ₂L_MSSIM+(1-λ₂)L_L1]λ₃ (15)

其中，λ₁，λ2，λ₃均为常数。

与现有技术相比，本发明的优点和有益效果：

(1)本发明公开的一种基于最小二乘条件生成对抗网络的强散射介质主动模式单像素成像方法，设计并提出了一种基于最小二乘条件生成对抗网络算法(AMSPI-LSCGAN)的主动模式单像素成像(AMSPI)。在该模型中，发生器采用U型结构，并增加了带有注意门的跳跃连接，以增强强散射条件下目标的显著特征。在编码器和解码器结构中，加入压缩-激励(SE)块，更好地去除噪声和冗余特征信息，提高网络的重构效果。在编码器和解码器结构之间添加残差块，既可以重用特征信息，又避免了梯度消失导致网络训练崩溃的问题。同时，为了进一步提高AMSPI在低采样率强散射条件下的图像重建质量，首次提出将最小二乘损失、内容损失和平均结构相似性损失(MSSIM)组合为联合损失函数。添加MSSIM损失，可显著提高图像感知质量，有效消除图像伪影和冗余噪声。此外，该方法对散射介质具有一定的鲁棒性，对散射介质成像的去噪和增强具有实际应用价值。

(2)本发明公开的一种基于最小二乘条件生成对抗网络的强散射介质主动模式单像素成像方法，设计并构建了基于Hadamard图案的主动模式单像素成像系统，实现了低采样率下的强散射介质成像。在水浊度达到144NTU以及采样率为19.14％条件下，传统CGI方法仍能分辨物体轮廓。所以本发明所搭建的成像系统在强散射介质成像方面表现出优异的性能。

(3)本发明公开的一种基于最小二乘条件生成对抗网络的强散射介质主动模式单像素成像方法，在实际应用时，仅需要将物理实验中一组一维桶探测器信号输入已经训练好的网络中，即可重建目标图像，无需增加额外处理以及器件，适用于目前的单像素散射成像系统，具有较强的通用性与实用性。

(4)本发明公开的一种基于最小二乘条件生成对抗网络的强散射介质主动模式单像素成像方法，将深度学习作为有力的工具进一步开发单像素成像的应用场景，即将基于Hadamard图案的主动模式单像素成像系统模型与深度学习的数据模型相结合以大大提高在强散射环境和低采样率下的目标成像质量。

(5)本发明公开的一种基于最小二乘条件生成对抗网络的强散射介质主动模式单像素成像方法，通过实验证明了良好的测量噪声表征可以提高强散射条件下重建图像的峰值信噪比和结构相似性，有效促进了单像素散射介质成像与深度学习方法的结合。

附图说明

图1是基于条件生成对抗网络的主动模式单像素散射成像系统和实验方法详细流程图。其中，图1(a)表示测量光路示意图，图1(b)表示数据预处理，图1(c)表示网络训练，图1(d)表示网络重建。

图2是AMSPI-LSCGAN的网络框架。其中，图2(a)表示生成网络，图2(b)表示鉴别网络。

图3是网络模块结构。(a)压缩和激励块结构。(b)残差块结构。

图4是低散射和强散射条件下不同恢复方法在不同采样率下的重建结果。其中，图4(a)表示在低散射条件下(SNR＝25dB)，数字“0”在采样率分别为19.14％、14.06％、9.77％和3.52％条件下，CGI、CSCGI、Pix2Pix以及AMSPI-LSCGAN方法的重建结果。图4(b)表示强散射条件下(SNR＝10dB)，数字0在采样率分别为19.14％、14.06％、9.77％和3.52％条件下，CGI、CSCGI、Pix2Pix以及AMSPI-LSCGAN方法的重建结果。

图5是强散射以及低采样率条件下不同方法的重建结果。其中，图5(a)和(b)表示在强散射条件(SNR＝13dB和10dB)下，字母“F”在采样率为9.77％和3.52％条件下，CGI、CSCGI、Pix2Pix以及AMSPI-LSCGAN方法的重建结果。图5(c)和(d)表示在强散射条件(SNR＝13dB和10dB)下，字母“H”在采样率为9.77％和3.52％条件下，CGI、CSCGI、Pix2Pix以及AMSPI-LSCGAN方法的重建结果。

图6是在SNR＝20dB和15dB的散射条件下，采样率为14.06％和9.77％的网络泛化仿真测试结果。

图7是实验装置图。

图8是物理实验中，在不同浊度条件(57、86、115和144NTU)下，数字“7”和字母“F”在不同采样率条件下不同方法的重建结果。其中，图8(a)和(c)表示测试目标在采样率为19.14％条件下，CGI、CSCGI、Pix2Pix以及AMSPI-LSCGAN方法的重建结果。图8(b)和(d)表示测试目标在采样率为3.52％条件下，CGI、CSCGI、Pix2Pix以及AMSPI-LSCGAN方法的重建结果。

图9是不同浊度条件(57、86、115和144NTU)下，数字“7”和字母“F”在不同采样率下重建图像的PSNR和SSIM。其中，图9(a)，(c)和(b)，(d)表示数字“2”在采样率分别为19.14％和3.52％下重建图像的PSNR和SSIM。图9(e)，(g)和(f)，(h)表示字母“F”在采样率分别为19.14％和3.52％下重建图像的PSNR和SSIM。

图10是在57NTU、71NTU、86NTU、100NTU的散射条件下，采样率分别为19.14％和3.52％的网络泛化物理实验测试结果。

图11是先前无噪声添加训练和新的有噪声添加训练的重建结果。(a)在57NTU、86NTU、115NTU和144NTU的散射条件下，在19.14％的采样率下两种训练模式下单词“F”的重构结果。(b)PSNR的定量比较结果。(c)SSIM的定量比较结果。

具体实施方式

下面结合附图和实施例对本发明的技术方案作进一步说明。

基于最小二乘条件生成对抗网络的强散射介质主动模式单像素成像方法，包括以下步骤：

步骤1：搭建基于Hadamard图案的主动模式单像素散射成像原理模型；具体实现包括如下子步骤：

步骤1.1：Hadamard测量矩阵：当矩阵是由+1和-1元素构成且满足HH^T＝NZ时，这样的矩阵被称为Hadamard矩阵(H是一个N阶方阵，H^T是H的转置，Z是N阶单位矩阵)。我们之所以选用此矩阵作为测量矩阵，是由于Hadamard矩阵是正交的且所有值都是二进制的，因此具有快速变换的特点。并且在实际测量中采用了差分测量，因此能更好地抵抗外界噪声，更适合于基于DMD调制的SPI。更重要的是，Hadamard测量矩阵由于计算复杂度低，具有更高的重构效率。对任意一个矩阵行列维度为2^m的Hadamard矩阵作为测量矩阵，可以由以下的公式递推得到：

其中，2^m-1表示矩阵维度。Hadamard矩阵由随机Hadamard变换生成。矩阵H经数字微镜器件DMD来获得照明散斑P(x,y)，(x,y)表示图像坐标。由于矩阵H由+1和-1构成，而DMD只能用于调试0和1相组合的测量矩阵。因此，我们在互补模式下设计了一个H，可由下式得到：

其中，E表示所有元素均为1的矩阵；H⁺保留了H中为+1的元素，并将H中-1的元素都转化为0；H^-表示将H中原先为1的元素转化为0，-1的元素都替换为+1。通过这种方式，可以使用均可在DMD器件上调制的H⁺与H^-矩阵来获得矩阵H。

步骤1.2：假设测量矩阵选用H_i ⁺，其中i＝1,2,3,…,M表示第i次测量，M为测量次数。经DMD调制后，通过散射介质到达目标，最后被单像素探测器获取，得到测量值S_i ⁺可以表示为：

式3中：I(x,y)表示目标信息；P_i ^+′(x,y)表示路径中散射介质的影响引起的照明散斑畸变，由测量矩阵H⁺得到。同理，可以得到在选用H_i ^-矩阵作为测量矩阵的照明散斑畸变P_i ^-′(x,y)以及测量值S_i ^-，然后即可计算出强度值S_i：

S_i＝S_i ⁺-S_i ^-＝∑_x,y[P_i ^+′(x,y)-P_i ^-′(x,y)]I(x,y) (4)

经过M次测量后，重构物体信息I*(x,y)可由式(4)得到：

I^*(x,y)＝<S_iP_i′(x,y)>-<S_i><P_i′(x,y)> (5)

式5中，<·>表示M次测量的平均值，P_i′表示差分测量后的照明散斑强度分布然而，通常需要数千次测量才能重建更高质量的图像，这里可以引入压缩感知(CS)算法来减少测量次数。在压缩感知计算重影成像(CSCGI)中，整个散斑图案分布往往用矩阵表示，因此可以将图案转换为行向量，形成测量矩阵P，其中P为M×N矩阵,N是每个散斑图案中的元素数。目标的透射率分布可以转化为列向量矩阵X。因此，测量信号形成的列向量矩阵S可以表示为：

S＝PX (6)

由于X的解不是唯一的，化过程可表示为：

其中X′表示CSCGI方法的目标重建结果，Ψ是稀疏变换算子，l是正则化参数，||·||₂是L2范数。然而，在上述方法中，由于散射介质的存在，目标的重建图像质量会严重下降，因此设计一种新颖的LSRCGAN方法以提高穿透散射介质后的成像质量非常重要。

步骤2：设计并提出了一种基于带压缩-激励块和残差块的最小二乘损失函数模型的深度卷积条件生成对抗网络(AMSPI-LSCGAN)学习框架，该网络可以依靠未标记的数据自动学习特征信息，可以将一维采样数据进行预处理后输入到网络中，使得到的重建图像更加具体；

步骤2.1：生成对抗网络(GAN)模型：是由两个相互竞争的网络所组成，分为生成网络(G)和鉴别网络(D)，G的作用是生成非常接近原图像的伪图像来欺骗D；而D则是尝试区分真实样本以及生成样本。基于GAN网络的特点，我们设计的AMSPI-LSCGAN具体网络框架结构如图2所示。

生成网络(G)是一个深度卷积U型网络结构，通过一个由4个下采样卷积模块组成的编码器、一个由4个上采样卷积模块组成的解码器以及在编码器-解码器中间添加的3个残差块来还原原始图像，如图2(a)所示。其中，编码器阶段为下采样过程，输入是由桶形探测器的实测信号值直接重塑的32pixels×32pixels图像。使用卷积层提取图像特征，使用最大池化层降低图像的空间维数，对输入图像中的信息进行编码，可以更好地了解图像的边缘和纹理结构。在每个卷积层之后还添加了一个挤压-激励(SE)块。该挤压-激励(SE)模块可以减少冗余信息，提高特征图的质量，适用于强散射条件下的图像重建问题。在编码器和解码器之间应用残差块，可以缩短前后层之间的距离，重用目标特征信息。解码器阶段为上采样过程，输出为32pixels×32pixels图像，每个上采样卷积模块将经过2×2双线性插值来恢复空间分辨率，增加输出图像的尺寸。此外，在解码器的卷积模块中还添加了SE块，在传统跳跃连接的基础上增加了注意门(attention gate,AG)，增强了跳跃连接的显著特征，去除了更多冗余信息，避免了在解码过程中丢失大量空间精确的细节信息。因此，我们的方法可以恢复更多的细节，减少强散射介质对图像质量退化的不利影响。鉴别网络(D)的前四部分主要由卷积层、归一化层以及激活函数层交替组成卷积模块以构成卷积神经网络，最后通过全连接层来映射输出，如图2(b)所示。D的设计目的是希望G所生成的图像尽可能的接近原真实值，并且不断使G的相关参数得到更新，生成接近真实值的能力得到加强。此外，由于采用了最小二乘损失，D的最后一层不被sigmoid函数激活。在每一卷积模块中，首先卷积层是实现不同尺度下的特征提取；其次添加归一化层，用来加快网络的特征映射能力并还可以作为正则化器；最后使用带泄露修正线性单元(Leaky ReLU)代替传统的修正线性单元(ReLU)层，可以预防训练中梯度消失的问题。D的输入是真实图像以及G生成的图像，输出为一维特征向量从而实现判别函数。

步骤2.2：G的编码器和解码器都使用了SE块，可以自动获取每个特征通道的重要性，进而改进有用的特征，抑制无用的特征，适用于图像重建问题在散射条件下。具体结构如图3所示。SE块主要包括两个部分：压缩和激励。W和H分别表示特征图的宽度和高度。C表示通道数，输入特征图的大小为W×H×C。第一步是压缩操作，通过全局平均池化将输入特征图压缩成1×1×C的向量。这个向量在某种程度上具有全局感受野，输出的维度与输入的特征通道数相匹配。第二步是激励操作，由两个全连接层组成，得到的输出是一个1×1×C的向量。最后将SE块计算出的每个通道的权重值与原始特征图对应的通道的二维矩阵相乘，得到最终的输出结果。

步骤2.3：生成网络G当中为了从图像中提取更多的细节信息，在编码器与解码器之间加入了残差块来代替传统的卷积层。基础的计算公式如下：

式8中，p为残差块的输入，q为残差块的输出，W_i表示第i层的参数，f(p,W_i)表示残差映射，

以及

分别为p和q的偏导数。对于残差块的网络结构，首先将输入特征通过两个3×3卷积层获得残差映射，然后通过快捷连接将输入添加到输出，完成特征融合。残差块不仅降低了深度网络的训练难度，还避免了由于梯度消失而导致的网络训练崩溃，具体结构如图3所示。

步骤3；为了避免训练崩溃以及获得较高保真度的重建图像，改进了原始损失函数，并将最小二乘损失与内容损失和平均结构相似性损失相结合。传统的GAN网络损失函数是：

其中，x是真实样本，P_x是真实的样本分布；z是单像素系统获得的信号值，P_z是输入生成网络G(z)定义的生成样本分布，E代表数学期望，D表示判别网络。但在这里改进了传统的损失函数，最小二乘损失函数L_LSGAN如下：

其中，将b设置为1，代表真实数据；a设置为0，代表伪造数据；c设置为0，代表欺骗D。采用最小二乘损失函数会使D的梯度不会减小到0，并且在边界处的数据也会获得与距离成比例的惩罚，从而确保网络服从更多的梯度信息，从而提高了训练的稳定性。

为了使重建图像更接近真实值，将选择基于平均绝对误差(MAE)的损失函数，使得真实图像与生成图像的像素级差异最小化，目标函数为：

L_L1＝E[||x-G(z)||₁] (11)

||·||₁表示L1范数。与L2范数相比，L1范数可以减少模糊重建，具有更好的图像重建质量。

结构相似性指数度量(SSIM)是质量评估方法之一。SSIM通过比较亮度、对比度和结构来评估两个图像之间的相似性。可以表示为：

其中u_x和u_G(z)分别是真实图像和重建图像中总像素的平均值。σ_x ²和σ_G(z) ²是真实图像和重建图像的方差。σ_xG(z)是真实图像和重建图像的协方差。C₁、C₂和C₃是小一点的正数，用于避免除以0。值得注意的是，在网络训练中，由于真实图像的一些区域包含大量的目标信息，而一些区域是空白的，所以最好在局部应用SSIM。这里，局部统计量u_x、σ_x和σ_xG(z)可以通过使用标准偏差为1.5的11×11单位的圆形对称高斯加权矩阵窗口来计算。然后，用MSSIM来评价整个图像的质量，可以表示为。

其中，U为真实图像块，R为预测图像块，x_v表示第v个窗口的真实图像内容，G _v(z)表示第v个窗口处生成的图像内容，K表示滑动窗口的总数。因此，MSSIM的损失可以表示为：

因此提出的联合损失函数如下：

L_G＝λ₁L_LSGAN+[λ₂L_MSSIM+(1-λ₂)L_L1]λ₃ (15)

在所提出的网络模型中，λ₁＝1，λ2＝0.84，λ₃＝200。

下面给出本发明方法的仿真实验。

步骤4：利用设计好的网络在不同数据集下进行19.14％、14.06％、9.77％和3.52％采样率的模型训练；

步骤4.1：训练数据集来自MNIST(包括6000张训练集图像和100张测试集图像)以及EMNIST(包括5200张训练集图像和100张测试集图像)手写数据集。将图像大小由28×28像素调整为32×32像素。然后，将每个图像与Hadamard测量矩阵相乘并将所有像素归整成一列一维探测值来模拟单像素探测器收集到的测量值。最后，把一维探测值经过预处理整形成的信号图像与真实图像共同构成的图像对来训练网络，以获得19.14％、14.06％、9.77％和3.52％采样率下的优化网络模型。值得注意的是，重建目标图像的尺寸为32×32，测量所需的Hadamard图案数量与图像尺寸之比定义为采样率“V”。例如，当采样率为1时，需要测量1024个Hadamard模式。因此，上述9.14％、14.06％、9.77％和3.52％的采样率分别需要194、144、100和36个Hadamard模式。

程序基于Python 3.6编写，Pytorch被用于NVIDIA RTX 3080Ti GPU上来实现我们的LSRCGAN模型，学习率均设置为0.0002，使用Adam优化器来优化和更新卷积核参数，训练步骤为600次。

步骤4.2：特别地，在测试数据集准备方面，由于散射介质浓度的差异，Hadamard模式可能会发生变化。散射介质浓度的增加也导致更强的吸收和散射，这进一步降低了信噪比(SNR)。假设我们只考虑了Hadamard模式的强度变化，将5dB、10dB、15dB和20dB的不同高斯白噪声添加到原始的Hadamard模式中。然后，将添加噪声的Hadamard图案与目标图像相乘，并将所有像素相加为一个数据，以模拟桶检测器的测量信号值，得到最终的测试信号图像。这样，我们利用不同的信噪比模拟了不同散射条件下的测量结果，通过将上述模拟的测试信号图像输入到优化的网络中，可以重建目标图像。

步骤5：将仿真测试集数据输入到对应采样率下已经训练好的网络模型中，可以输出得到高质量的重构目标图像。与其他方法比较发现，即使在强散射条件SNR＝5dB条件下，LSRCGAN网络在低采样率为3.52％下却可以重构具有更好保真度以及感知质量的目标图像，如图3和4所示；

步骤6：此外，为了验证AMSPI-LSCGAN方法的泛化性，仅使用MNIST数据集作为训练集，并以14.06％和9.77％的采样率模拟重建了一些不属于训练集的其他模式在SNR＝20dB和15dB的散射条件下。这些模式由双字符模式“02”、英文字母“T”和“b”和特殊符号“三个等距的狭缝”作为测试目标组成，测试结果如图8所示。由此表明，即使训练数据集中不存在这些测试目标，LSRCGAN方法仍然可以很好地学习压缩后的采样数据与原始图像之间的对应关系，甚至可以重建部分目标图像。因此，这些实验证明了我们的方法具有良好的泛化性，未来通过进一步扩展和优化网络数据集可以获得更好的重建结果。

下面给出本发明方法的物理实验。

步骤一：设计并搭建了散射AMSPI系统，包括He-Ne激光器、DMD、数据采集卡、单像素探测器、光束终止器、各类透镜和支撑件等器件组成，如图7所示；

步骤二：选取透射式卡片数字7与字母F作为测试目标，让激光经过准直扩束后照亮由计算机控制并带有预先加载好的Hadamard测量矩阵的DMD，以实现目标的压缩采样和信息调制，并分别测量通过57、86、115和144NTU浊液浓度的光强信号以获得一系列不同采样率下的一维探测信号值；

步骤三：实验数据预处理：将实验系统采样得到的不同散射条件和采样率下的一维探测信号值，通过数据平均预处理后整形成二维信号图像，当作输入网络的测试集图像；

步骤四：网络重建：将测试集图像输入到步骤4中已经训练好的AMSPI-LSCGAN网络中，以进行测试目标的重建。

步骤五：结果分析：除了利用本发明的网络进行测试，还在不同散射条件下利用计算鬼成像(CGI)、压缩感知计算鬼成像(CSCGI)和条件生成对抗网络(Pix2Pix)方法在采样率为19.14％和3.52％下进行测试目标重构。展示了的对比成像结果作为直观评价和分析，进一步，选择结构相似性(SSIM)和峰值信噪比(PSNR)两个评价指标的统计平均作为客观指标来评价重建结果。通过主观成像结果的直观展示和客观定量评价指标，详细地讨论和分析本发明方法的重建能力和模型鲁棒性。

如图8所示，即为该方法的主观成像结果。从图8可以清楚地看到，由于采样率的降低和浊度浓度的增加，四种方法的重建图像质量有所下降。如图8(a)和(c)所示，CGI方法的恢复效果在采样率V＝19.14％时总是存在模糊伪影，在强散射条件下(115NTU和144NTU)甚至难以恢复图像。CSCGI方法也受到强散射介质的影响，成像质量严重下降。但是，Pix2Pix和AMSPI-LSCGAN可以显示出比上述方法更好的恢复效果。如图8(b)和(d)所示，通过不同方法重建的图像之间的差异在较低的采样率V＝3.52％时更为明显。CGI和CSCGI方法在不同浊度条件下，很难从数字“7”和“F”字图像中获取轮廓信息。Pix2Pix方法重建的图像也有伪影，甚至是局部变形。当浊度为144NTU时，数字“7”的下半部分和“F”字的上半部分的重建图像也出现了明显的畸变，严重降低了图像质量。相比之下，我们的AMSPI-LSCGAN方法可以有效地抵抗散射介质的干扰，并在低采样率下去除欠采样图像引起的振铃伪影，从而获得具有更高保真度和感知质量的目标图像。

如图9所示，即为该方法的客观评价指标。随着采样率的减小和浊液浓度的增加，重构图像的PSNR和SSIM都会下降如图9所示。当浊液浓度为57NTU时，AMSPI-LSCGAN方法在采样率为19.14％下重构图像数字7的PSNR和SSIM分别超过16dB和0.59，重构图像字母F的PSNR和SSIM分别超过27dB和0.56如图9(a)，(b)和(e)，(f)所示。当浊液浓度进一步加深时，与其他方法相比，AMSPI-LSCGAN重建图像的PSNR和SSIM仍有很大的改善。当采样率为3.52％时，CGI与CSCGI的SSIM迅速下降，Pix2Pix的PSNR以及SSIM也随着浊液浓度的加深下降严重。但是AMSPI-LSCGAN网络却可以在采样率为3.52％以及144NTU环境中更好的恢复目标图像，如图9(c)，(g)和(d)，(h)所示。例如数字7的重构图像的PSNR以及SSIM分别高于Pix2Pix方法12％和33％；字母F的重构图像的PSNR以及SSIM分别高于Pix2Pix方法8％和41％。。

进行了泛化性的物理实验，仅使用在MNIST数据集上训练的优化模型来重建双字符模式，以展示我们的AMSPI-LSCGAN方法的泛化性，如图10所示。可以看出，当浊度浓度为100NTU时，AMSPI-LSCGAN仍然可以以19.14％的采样率重建目标图像，即使训练集中不存在测试目标。随着散射浓度的加深，当采样率为3.52％时，重建图像出现变形和边缘轮廓丢失。通过新的训练和优化数据集可以获得更高质量的重建图像。

在模拟和物理实验中，我们还发现高采样率下的重建图像质量随着散射介质浓度的加深而迅速下降。众所周知，较高的采样率有助于为单像素成像重建更多的物体细节，但有时通过提高采样率并不能显着提高重建图像的质量。在这里，将先前模拟的不同信噪比作为先验信息引入训练过程，使神经网络可以在强散射条件下以高采样率学习优化重建。首先选择EMNIST数据集作为真实图像，采用步骤4.2的方法得到SNR＝20dB、SNR＝5dB的采样率为19.04％的测试信号图像。然后，添加噪声的信号图像与真实图像配对。最后，将新的配对图像和未添加噪声的原始配对图像组合成15600张图像进行训练。实验重建结果如图11所示。可以发现，用噪声图像训练的结果比之前的训练结果要更好，可以提高强散射条件下的重建质量。在散斑图案中加入不同的高斯白噪声来模拟不同的散射条件作为先验信息，虽然不能充分揭示散射特性，但实验表明，良好的测量噪声表征可以提高AMSPI-LSCGAN在强散射条件下的目标重建质量。

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (7)

1.一种基于最小二乘条件生成对抗网络的单像素成像方法，其特征在于，包括如下步骤：

步骤1，设计基于哈达玛变换的单像素光学成像系统，用于获得测试目标在一系列不同散射条件和采样率下的一维探测信号值；

步骤2，采样得到的不同散射条件和采样率下的一维探测信号值，通过数据平均预处理后整形成二维信号图像，作为测试集图像；

步骤3，构建一种基于带压缩-激励块和残差块的最小二乘损失函数模型的深度卷积条件生成对抗网络AMSPI-LSCGAN；

步骤4，将最小二乘损失与内容损失和平均结构相似性损失相结合作为AMSPI-LSCGAN网络的损失函数进行训练，避免训练崩溃以获得较高保真度的重建图像；

步骤5，将测试集图像输入到步骤4中已经训练好的AMSPI-LSCGAN网络中，以进行测试目标的重建。

2.如权利要求1所述的一种基于最小二乘条件生成对抗网络的单像素成像方法，其特征在于：步骤1中的单像素光学成像系统包括He-Ne激光器、数字微镜器件DMD、数据采集卡、单像素探测器、光束终止器、各类透镜和支撑件；其成像原理是：激光器发出的光经过准直和扩束后，在预先加载好Hadamard散斑的DMD上被调制，当散斑图中某像素点为1时，DMD的微镜被设置成“开启”状态；当散斑图中某像素点为0时，DMD的微镜被设置成“关闭”状态；然后反射光通过处于标准浊液中的测试目标，随后，单像素探测器同步采集并记录总光强度。

3.如权利要求1所述的一种基于最小二乘条件生成对抗网络的单像素成像方法，其特征在于：步骤3中，网络训练采用的数据集来自MNIST以及EMNIST手写数据集，首先，调整图像大小，然后，将每个图像与Hadamard测量矩阵相乘并将所有像素归整成一列一维探测值来模拟单像素探测器收集到的测量值；最后，把一维探测值经过预处理整形成的信号图像与真实图像共同构成的图像对来训练网络，以获得不同采样率下的优化网络模型。

4.如权利要求3所述的一种基于最小二乘条件生成对抗网络的单像素成像方法，其特征在于：Hadamard测量矩阵的计算方式如下；

当矩阵是由+1和-1元素构成且满足HH^T＝NZ时，这样的矩阵被称为Hadamard矩阵，H是一个N阶方阵，H^T是H的转置，Z是N阶单位矩阵；对任意一个矩阵行列维度为2^m的Hadamard矩阵作为测量矩阵，可以由以下的公式递推得到：

其中，2^m-1表示矩阵维度，Hadamard矩阵由随机Hadamard变换生成；矩阵H经数字微镜器件DMD来获得照明散斑P(x,y)，(x,y)表示图像坐标，由于矩阵H由+1和-1构成，而DMD只能用于调试0和1相组合的测量矩阵，因此，在互补模式下设计了一个H，可由下式得到：

其中，E表示所有元素均为1的矩阵；H⁺保留了H中为+1的元素，并将H中-1的元素都转化为0；H^-表示将H中原先为1的元素转化为0，-1的元素都替换为+1；通过这种方式，使用均可在DMD器件上调制的H⁺与H^-矩阵来获得矩阵H。

5.如权利要求1所述的一种基于最小二乘条件生成对抗网络的单像素成像方法，其特征在于：步骤3的具体实现方式如下；

AMSPI-LSCGAN包括生成网络G和鉴别网络D，其中生成网络G是一个深度卷积U型网络结构，通过一个由4个下采样卷积模块组成的编码器、一个由4个上采样卷积模块组成的解码器以及在编码器-解码器中间添加的3个残差块来还原原始图像；

编码器阶段为下采样过程，输入是由桶形探测器的实测信号值直接重塑的一定大小图像，使用卷积层提取图像特征，使用最大池化层降低图像的空间维数，对输入图像中的信息进行编码，更好地了解图像的边缘和纹理结构，在每个卷积层之后还添加了一个挤压-激励SE块，SE块包括两个部分：压缩和激励，设置W和H分别表示特征图的宽度和高度，C表示通道数，输入特征图的大小为W×H×C，第一步是压缩操作，通过全局平均池化将输入特征图压缩成1×1×C的向量，这个向量在某种程度上具有全局感受野，输出的维度与输入的特征通道数相匹配；第二步是激励操作，由两个全连接层组成，得到的输出是一个1×1×C的向量，最后将SE块计算出的每个通道的权重值与原始特征图对应的通道的二维矩阵相乘，得到最终的输出结果。

6.如权利要求5所述的一种基于最小二乘条件生成对抗网络的单像素成像方法，其特征在于：残差块的计算公式如下；

式8中，p为残差块的输入，q为残差块的输出，W_i表示第i层的参数，通过训练得到，f(p,W_i)表示残差映射，

以及

分别为p和q的偏导数，对于残差块的网络结构，首先将输入特征通过两个3×3卷积层获得残差映射，然后通过快捷连接将输入添加到输出，完成特征融合。

7.如权利要求5所述的一种基于最小二乘条件生成对抗网络的单像素成像方法，其特征在于：步骤4中具体的损失函数如下；

最小二乘损失函数L_LSGAN如下：

其中，x是真实样本，P_x是真实的样本分布；z是单像素系统获得的信号值，P_z是输入生成网络G(z)定义的生成样本分布，E代表数学期望，D表示判别网络；将b设置为1，代表真实数据；a设置为0，代表伪造数据；c设置为0，代表欺骗判别网络D；采用最小二乘损失函数会使D的梯度不会减小到0，并且在边界处的数据也会获得与距离成比例的惩罚，从而确保网络服从更多的梯度信息，从而提高了训练的稳定性；

为了使重建图像更接近真实值，选择基于平均绝对误差MAE的损失函数，使得真实图像与生成图像的像素级差异最小化，目标函数为：

L_L1＝E[||x-G(z)||₁] (11)

||·||₁表示L1范数；

然后，使用平均结构相似性损失来评估整幅图像的质量，可以表示为：

其中u_x和u_G(z)分别是真实图像和重建图像中总像素的平均值，σ_x ²和σ_G(z) ²是真实图像和重建图像的方差，σ_xG(z)是真实图像和重建图像的协方差；C₁、C₂和C₃是常数，用于避免除以0；u_x、σ_x和σ_xG(z)通过使用圆形对称高斯加权矩阵窗口来计算，然后，用MSSIM来评价整个图像的质量，可以表示为：

其中，U为真实图像块，R为预测图像块，x_v表示第v个窗口的真实图像内容，G_v(z)表示第v个窗口处生成的图像内容，K表示窗口的总数；因此，MSSIM的损失可以表示为：

因此最终的联合损失函数如下：

L_G＝λ₁L_LSGAN+[λ₂L_MSSIM+(1-λ₂)L_L1]λ₃ (15)

其中，λ₁，λ2，λ₃均为常数。

Images