CN113762460A - 基于数值散斑的多模光纤传输图像迁移重构算法 - Google Patents

Abstract

本发明涉及一种基于数值散斑的多模光纤传输图像迁移重构算法，该方法首先获取到实验散斑图像数据集；然后利用数值仿真方法生成仿真散斑图像数据集；接下来分析出实验散斑与仿真散斑的特性；设计融合了散斑特性的损失函数，增强U_Net网络的迁移学习能力；然后将仿真散斑输入到U_Net网络中，训练成仿真网络模型；便于后续直接利用仿真网络模型从实验散斑图像中重构出原始图像。

Description

基于数值散斑的多模光纤传输图像迁移重构算法

技术领域

本发明涉及基于数值散斑的多模光纤传输图像迁移重构算法，用来利用数值仿真数据集训练网络作为仿真模型，然后利用仿真模型来重构实验散斑图像数据集，涉及计算光学成像与图像处理领域。

背景技术

多模光纤(MMFs)由于能够通过大量的横向光模式传输图像，在生物医学内窥镜和通信领域的应用越来越有吸引力。对于生物医学内窥镜，MMF中的横向模式数代表图像中的像素数。然而，由于光在MMFs中的传播存在模态色散和模态耦合问题，当将图像模式投射到MMF的近端时，光场耦合成具有不同传播常数的不同模式，从而在远端形成类似随机散斑模式。因此，学习散斑图像与光纤输入图像之间的非线性关系成为研究者的重要研究内容。

近年来，已经有各种各样的计算成像(CI)方法被开发出来，以克服MMF固有的模态湍流，并恢复沿MMF传播并形成散斑模式时明显失真的图像。这些传统的CI方法，包括传输矩阵测量、数字相位共轭、光斑扫描成像，在理论上都是基于几何光学、波动光学等正演数学模型，通过MMF描述整个成像过程。因此，通过计算重构方法可以获得无法直接访问的图像信息。这些物理驱动CI方法的性能受到数学正演模型的准确性、反演重建算法的可靠性、真实物理成像过程的不可预测性和高维不适定逆问题求解的复杂性等因素的限制。

深度学习(DL)已被证明可以为许多分类和识别任务提供可靠的广义解决方案。近年来，DL的快速发展为计算光学成像技术在数字全息成像、傅里叶全息显微术、鬼成像、超分辨率显微术、光学相干层析成像、散射介质成像等研究领域打开了一扇新的大门。这些研究使得基于DL的CI成为数据驱动的，从而使得基于深度学习的计算成像方法高度独立于正演数学模型。

众所周知，在获取经过多模光纤后生成的散斑图像过程中，搭建实验所需光路的过程十分困难，并且在实验过程中的环境因素都需要严格控制，如：温度、光照和光纤不同程度的弯曲等因素，都会在不同程度上影响到实验结果。因此，从实验装置中获取实验散斑图像是非常困难的，于是就需要设计基于数值散斑的多模光纤传输图像迁移重构算法。

发明内容

本发明的目的是设计基于数值散斑的多模光纤传输图像迁移重构算法，以解决现如今通过实验获取散斑图像的难点。为此，本发明采用的技术方案，包括下列步骤：

1.在实际的实验装置中生成实验散斑图像数据集；

2.使用数值仿真方法仿真真实的MMF图像传输过程，由此生成数值仿真散斑图像数据集；

3.根据图像的共生矩阵，计算出五个特征作为散斑图像的评价指标；

4.构建一个7层的U_Net网络，并对网络所使用的损失函数进行修改。

5.使用数值仿真散斑数据集作为U_Net网络的输入进行训练，保存模型

6.利用已经训练好的模型从实验散斑图像中恢复出原始图像；

本发明提供一种基于数值散斑的多模光纤传输图像迁移重构算法，其优点在于：

1.由于网络使用的是针对散斑图像的损失函数，且由于深度学习神经网络的优异性能，因此实验结果相对于其他方法会更加清晰。

2.这样使用数值仿真散斑图像数据集训练网络，最终恢复出实验散斑图像的方法，可以在后续的研究中，节约采取实验散斑图像数据集的时间，效率更高。

当然，实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。

附图说明

为了更清楚地说明本发明的技术方案，下面将对本发明中所需要使用的附图作简单地介绍：

图1：本发明提供的基于数值仿真散斑图像的重构算法中的流程示意图；

图2：本发明的实验散斑图像生成装置示意图；

图3：本发明采用的U_Net神经网络的结构示意图；

图4：本发明利用测试集做测试，得到的重构图像；

在图2中：①He-Ne激光器，②扩束镜，③反射镜，④数字显微器件(DigitalMicromirror Device，简称DMD)，⑤分束镜，⑥偏振器，⑦多模光纤(Multimode fibers，简称MMF)，⑧⑨电耦合器件(Charge Couple Device，简称CCD)相机。

具体实施方式

下面结合附图对本发明作进一步的具体说明，对本发明中的技术方案进行清楚、完整地描述。

为了解决散斑图案生成的实验过程中的种种困难，本发明实施例设计出一种基于数值散斑的多模光纤传输图像迁移重构算法，通过分析数值仿真散斑图像数据集和实验散斑图像数据集的图像特性，将其添加进普通U_Net网络的损失函数中，增强网络的迁移学习能力，将其设计为基于数值仿真散斑图像的网络，使用数值仿真散斑图像数据集对网络进行训练，得到仿真散斑U_Net网络模型，然后将实验散斑图像输入到仿真散斑U_Net网络中，重构出原始图像。这种方法，可以在后续的关于实验散斑图像的研究中，节约采取实验散斑图像数据集的时间，效率更高。由于深度学习最主要的特点就是学习样本数据的内在规律和表示层次，具有强大的学习能力，因此在图像重建方面，会比传统的基于传输矩阵的算法或迭代相位共轭方法重建散斑图像更加有优势，图像重建的更加清楚。

下面首先对本发明提供的基于数值散斑的多模光纤传输图像迁移重构算法进行介绍。

本发明的流程如图1所示，本发明提供的基于数值散斑的多模光纤传输图像迁移重构算法可以包括如下步骤：

1.首先获取实验散斑图像数据集。

实验散斑图像数据集是指从光学实验装置中获取到的实际经过MMF传输的散斑图像，将相对应的实验散斑图像图像和原始图像组成“散斑-标签”图像对，即为实验散斑图像数据集。在后续的测试过程中，实验散斑图像数据集用来当做测试集使用。

上述生成实验散斑图像数据集的光学实验装置描述如图2所示，是由许多光学装置组合而成。本实验的实验装置可以但不限制于包括：①He-Ne激光器，②扩束镜，③反射镜，④DMD，⑤分束镜，⑥偏振器，⑦MMF，⑧CCD1，⑨CCD2。其中He-Ne激光器用于产生激光laser，以连续激励方式输出连续激光，用于将图像转换为可识别的光信号；数字显微器件用于对原始图片进行调制；偏振器用于将光学辐射束变成只具有一种偏振态的偏振辐射；多模光纤用于传输光信号；CCD1用于获取光纤输入端的标签图像；CCD2用于获取经过MMF传输的散斑图案。

以He-Ne激光器的激光作为光源，将原始标签图像映射到DMD上，这样后续就可以将调制后的标签图像信息以光信号的形式传播，然后将经过调制的调制光束作成像到MMF输入端，由于MMF中存在多种模式，在将光信号耦合进MMF中时会将不同的像素光信号耦合进不同的模式中，而且在传输过程中，不同模式的传播常数也是不同的，除此之外不同模式之间同样存在模间耦合和模间色散现象，这就使得光场的传播更加随机化。因此光纤输入端的标签图像和经过MMF传输而生成的散斑图像，最终被放置在MMF输入端和输出端的两个CCD捕获，由此得到实验散斑图像数据集。

2.获取仿真散斑数据集。

仿照图像在实际的光学装置中的传输过程，利用数值仿真方法进行数值分析、矩阵计算、科学数据可视化以及非线性动态系统的建模和仿真，设计仿真程序，生成数值仿真散斑数据集。

3.定义评价仿真数据集的评价指标。

灰度共生矩阵是一种通过研究灰度的空间相关特性来描述纹理的常用方法。由于纹理是由灰度分布在空间位置上反复出现而形成的，因而在图像空间中相隔某距离的两像素之间会存在一定的灰度关系，即图像中灰度的空间相关特。纹理特征提取的一种有效方法是以灰度级的空间相关矩阵即共生矩阵为基础的，因为图像中相距(Δx，Δy)的两个灰度像素同时出现的联合频率分布可以用灰度共生矩阵来表示。为了能更直观地以共生矩阵描述纹理状况，从共生矩阵导出一些反映矩阵状况的特征，本文选定了五个特征作为散斑图像的评价指标，分别有：

(1)ASM(angular second moment)

ASM表示每个矩阵元素的平方和，也称能量。可以表示为：

其中G表示灰度共生矩阵。ASM反映了图像灰度分布均匀程度和纹理粗细度。如果灰度共生矩阵中的值集中在某一块(比如对连续灰度值图像，值集中在对角线；对结构化的图像，值集中在偏离对角线的位置)，则ASM有较大值，若G中的值分布较均匀(如噪声严重的图像)，则ASM有较小的值，即ASM值大表明了一种较均一和规则变化的纹理模式。能量的取值范围：[0，1]。

(2)对比度(contrast)

对比度直接反映了某个像素值及其领域像素值的亮度的对比情况。可以表示为：

其中G表示灰度共生矩阵。CON反映了图像的清晰度和纹理沟纹深浅的程度。纹理沟纹越深，其对比度越大，视觉效果越清晰；反之，对比度小，则沟纹浅，效果模糊。灰度差即对比度大的像素对越多，这个值越大。灰度公生矩阵中远离对角线的元素值越大，CON越大。对比度的取值范围：[0，(i-1)²]，其中i为灰度共生矩阵的行数。

(3)逆差矩(inverse different moment)

逆差矩反映图像纹理的同质性，度量图像纹理局部变化的多少。可表示为：

其中G表示灰度共生矩阵。IDM值大说明图像纹理的不同区域间缺少变化，局部非常均匀。因此连续灰度的图像会有较大IDM值。

(4)熵(entropy)

熵是图像所具有的信息量的度量，纹理信息也属于图像的信息，是一个随机性的度量。可表示为：

其中G表示灰度共生矩阵。当共生矩阵中所有元素有最大的随机性、空间共生矩阵中所有值几乎相等时，共生矩阵中元素分散分布时，熵较大。这就表明ENT表示了图像中纹理的非均匀程度或复杂程度。若灰度共生矩阵值分布均匀，即图像近于随机或噪声很大，熵会有较大值。

(5)自相关(correlation)

自相关反应了图像纹理的一致性。可表示为：

其中G表示为灰度共生矩阵，且：

COR度量空间灰度共生矩阵元素在行或列方向上的相似程度，因此，COR大小反映了图像中局部灰度相关性。当矩阵元素值均匀相等时，COR就大；相反，如果矩阵像元值相差很大则COR小。COR取值范围：[-1，1]。

4.构建合适的U_Net网络结构，对网络的损失函数进行修改。

U_Net网络采用的是一个包含下采样和上采样的网络结构。下采样经过不同程度的卷积，学习了深层次的特征，用来逐渐展现图像信息，而上采样的过程是结合下采样各层信息和上采样的输入信息来还原细节信息，并且逐步还原图像精度。

表1 U_Net网络结构细节表

本文设计了一个7层的U_Net网络结构，如图3所示。其中包含了一层起始层，三层池化层和三层上采样层。其中起始层由一个单独的双卷积块组成。这个双卷积块包含了：卷积核为3×3的卷积、正则化、Dropout、ReLU和最后一个卷积核为3×3的卷积。而池化层则是由一个双卷积块和一个池化块组成，上采样块则是由一个上采样块、3×3的卷积以及一个双卷积块组成。具体网络细节如上表1所示。然后将分析出来的散斑特征添加到损失函数的设计中，使得网络的泛化能力增强，即网络的迁移学习能力增强，将整个网络设计为基于数值散斑的网络结构。

5.使用数值仿真散斑图像数据集对网络进行训练，保存较好的网络模型。

众所周知，卷积神经网络进行前向传播阶段，依次调用每层的前向传递函数，得到逐层的输出，最后一层与目标函数比较，根据损失函数计算误差更新值，通过反向传播逐层到达第一层，更新网络每一层的权值。将数值仿真散斑图像数据集作为网络的输入。使用数值仿真散斑图像数据集对网络进行训练，训练过程中观察Loss和Accuracy值的变化，最终保存较好的网络训练模型。

6.实验散斑图像成像恢复。

利用经过训练得到的仿真U_Net网络对实验散斑图像进行重建。由于在设计网络时，已经将实验散斑图像与仿真散斑图案的特性融合进网络的损失函数中，因此，虽然得到的网络模型是根据数值仿真散斑图像数据集训练得到的，但是该模型仍然可以从实验散斑图像中恢复出原始图像。最终得到的恢复图像的效果如图4所示。其中第一行图像为从实验散斑图像中重建的恢复图，第二行为恢复图所对应的标签图像，中间的数字表示恢复图与标签图之间的结构相似度(Structural Similarity，简称SSIM)。

Claims (4)

1.一种基于数值散斑的多模光纤传输图像迁移重构算法，所述方法包括下列步骤：

步骤1：获取实验散斑图像；

步骤2：利用数值仿真方法生成数值仿真散斑图像数据集；

步骤3：定义评价指标；

步骤4：构建合适的U_Net网络结构，对其损失函数进行修改；

步骤5：使用仿真散斑数据集对网络进行训练，保存模型；

步骤6：成像实验散斑图像。

2.根据权利要求1中所述的基于数值散斑的多模光纤传输图像迁移重构算法，其特征在于：在步骤2中，模拟实际图像在MMF中的传输过程，利用数值仿真方法生成数值仿真散斑图像数据集。

3.根据权利要求1中所述的基于数值散斑的多模光纤传输图像迁移重构算法，其特征在于：在步骤3中，选取灰度共生矩阵的五个特征作为数值仿真散斑图像数据集和实验散斑图像数据集的评价指标，分别为：

①能量(Angular Second Moment)：

②对比度(Contrast)：

③逆差矩(Inverse Different Moment)：

④熵(Entropy)：

⑤相关性(Correlation)：

在公式(5)中，u_i、u_j、S_i、S_j分别表示为：

在上述公式(1)、(2)、(3)、(4)、(5)和公式(6)中，)表示G(i，j)图像的灰度共生矩阵。

4.根据权利要求1中所述的基于数值散斑的多模光纤传输图像迁移重构算法，其特征在于：在步骤4中，构建U_Net网络过程中，设计其损失函数为：

citerition(O_i，L_i)＝PSNR+aASM+bCON+cIDM+dENT+eCOR (7)

其中，ASM、CON、IDM、ENT、COR分别为图像共生矩阵的五个特征，而a、b、c、d、e分别表示五个散斑特征的参，PSNR为图像的峰值信噪比，其计算公式为：

MSE表示两张图像之间的均方误差。

Images