CN111739117A - 基于卷积神经网络对经散射介质后的物体进行成像的方法 - Google Patents

基于卷积神经网络对经散射介质后的物体进行成像的方法 Download PDF

Info

Publication number
CN111739117A
CN111739117A CN202010696635.5A CN202010696635A CN111739117A CN 111739117 A CN111739117 A CN 111739117A CN 202010696635 A CN202010696635 A CN 202010696635A CN 111739117 A CN111739117 A CN 111739117A
Authority
CN
China
Prior art keywords
neural network
convolutional neural
pdsnet
imaging
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202010696635.5A
Other languages
English (en)
Inventor
韩静
柏连发
张毅
赵壮
孙岩
郭恩来
朱硕
师瑛杰
顾杰
崔倩莹
戚浩存
左苇
吕嫩晴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Science and Technology
Original Assignee
Nanjing University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Science and Technology filed Critical Nanjing University of Science and Technology
Priority to CN202010696635.5A priority Critical patent/CN111739117A/zh
Publication of CN111739117A publication Critical patent/CN111739117A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/469—Contour-based spatial representations, e.g. vector-coding
    • G06V10/476—Contour-based spatial representations, e.g. vector-coding using statistical shape modelling, e.g. point distribution models

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于卷积神经网络PDSNet来实现对散射介质后的物体进行成像的方法，该方法将传统散斑相关成像算法原理结合起来，指导了网络的设计和优化，以数据驱动的方式消除了光学记忆效应OME对成像视场角FOV的限制。卷积神经网络PDSNet是一种适用于随机尺度和复杂目标的神经网络结构。实验测试了卷积神经网络PDSNet的隐藏对象恢复能力，在平均PSNR保持24dB以上的前提下，实现至少40倍的光学记忆效应范围扩展。同时，在未经训练的尺度下，恢复图像的平均PSNR在22dB以上，成功地重建了人脸等复杂目标。文中给出的实验结果验证了该方法的准确性和有效性。

Description

基于卷积神经网络对经散射介质后的物体进行成像的方法
技术领域
本发明涉及一种基于卷积神经网络对经散射介质后的物体进行成像的方法，属于机器学习与图像重建领域。
背景技术
散射介质普遍存在于生物组织中，是天文成像领域的主要干扰源。人们提出了许多新的成像方法来实现通过严重无序介质的成像。典型的方法包括光学相干层析成像、波前调制、基于传输矩阵和基于点扩散函数的图像重建算法。Katz等人基于光学记忆效应提出了散斑相关成像技术。与上述方法不同的是，该方法可以透过强散射介质成像，可应用于动态散射介质，同时不需要额外的参考源。
由于OME的存在，散射介质可以看作是固定FOV内的线性系统。基于这一原理，出现了两种算法:一种是基于PSF反卷积的算法，需要提前对系统的PSF进行测量，属于侵入式测量方法。第二种是散斑相关成像技术，该算法利用自相关直接将散斑图与原目标联系起来，最后利用相位恢复算法对隐藏在散射介质后的目标进行重构。目前，典型的相位恢复算法有HIO、基于ADMM的算法、prGAMP、BM3D-prGAMP等。成像系统的FOV受OME的严格限制，与散射介质的有效厚度成反比，限制了各种基于OME的算法的抗散射能力。有几种新的算法已经成功地扩展了OME的FOV，但其中大部分是基于先验知识的侵入性方法。Gardner等人通过调制光源，将叠层成像技术引入到非稀疏目标的图像重建中，使其具有扩展FOV的能力。据我们所知，对于OME范围以外的图像，最好的非侵入性方法是Wang等人提出一种双重迭代算法，该算法可以分别恢复两个总大小超过OME范围的目标。该算法可以在不依赖先验信息的情况下，将OME范围至少扩大三倍，但对目标仍然存在一定的约束，如目标必须是规则形状，且在两个独立的OME区域内。由于需要进行两次迭代优化，该算法耗时较长，在MATLAB2018b上重构300*300像素分辨率的图像需要14400s。
从散射图像中求解原始目标分布就是找出两者之间的映射关系。许多学者也将深度学习算法应用于透过散射介质成像中，来求解被测目标分布。Shuai等人提出的"IDiffNet"实现了对散斑图像的重建，并且详细讨论了损失函数、训练集等因素对于最终重建图像质量的影响。Yunzhe Li等人构建了一个具有“一对多”能力的卷积神经网络，可以重建未经训练的磨砂玻璃产生的散斑图像，唯一的条件是未经训练的散射介质具有与制作训练集所用的磨砂玻璃相同的统计特性。Yang等人利用U-net实现了对磨砂玻璃和单模光纤的散射图像的恢复。Sun等建立了一个GAN网络，并采用脂肪乳化液模拟动态散射介质，实验证明，该网络能够实现动态散射图像的恢复。Lyu等人构建了一种混合神经网络(hybridneural network, HNN)模型，证明了该模型也可以重构出大于OME范围的目标，论文中提供的实验均使用单一磨砂玻璃作为散射介质，用一个训练过程来重建不同光学性质介质的能力还没有得到证实。以上工作证明了深度学习可以通过随机散射介质重建OME范围内的物体，打破单个散射介质的OME范围。目前，对于基于学习的重建方法，其重建图像质量和扩展OME范围的能力缺乏定量评价。
为了将基于OME的方法引入活体生物组织等实际应用中，此类方法对FOV的局限性是一个亟待解决的问题。同时，实际目标的结构复杂性非常高，要求重建能力足够强大，能够检索出隐藏对象的图像。在实际应用中，散射介质是复杂的，被测目标的尺度和散射介质的性质都是复杂多变的。此外，重构算法应具有较强的泛化能力，能够适应不同散射介质和不同尺度目标的任务。因此，消除OME对FOV的限制、对复杂目标良好的重建能力和较强的泛化能力是实现透过散射介质成像实用化的基本条件。
发明内容
为了解决上述技术问题，本发明公开了一种基于卷积神经网络对经散射介质后的物体进行成像的方法，具体包括以下步骤：
步骤1、设计编码器-解码器结构，该编码器-解码器结构通过跳层连接，增强局部特征和细节提取能力；
步骤2、设计卷积神经网络PDSNet；
步骤3、结合散斑相关成像算法原理，对卷积神经网络PDSNet进行设计优化，以数据驱动的方式消除光学记忆效应OME对成像视场角FOV的限制。
进一步的，步骤2中融合低层信息与高层信息，检索缺失的特征信息，对像素级信息和语义级特征进行充分挖掘，从u型结构出发，对光学记忆效应范围内散射问题的求解中，采用分解卷积的方式，用n*1和1*n来代替常用的n*n卷积方式形成卷积神经网络PDSNet结构。
进一步的，所述散斑相关成像算法原理通过下列公式（1）求解原始目标分布，
Figure 537509DEST_PATH_IMAGE001
其中，O表示待测目标，M表示光学系统测量得到的输出结果，即散射图像，F表示成像过程的前向模型。
进一步的，所述散斑相关成像算法原理通过下列公式（2）从散射图像中求解原始目标分布，公式表示为:
Figure 959263DEST_PATH_IMAGE002
式中R(O)为正则化项，λ为正则化项系数，由散斑图像出发，求解原始待测目标，就是求解公式（2）所代表的优化问题。
进一步的，光信号加载着目标信息，被散射介质调制的过程由如下公式（3）表示:
Figure 21897DEST_PATH_IMAGE003
其中，n表示目标分布于n个不同光学记忆效应范围内，Oi为第i个待成像目标，Si为其对应的点扩散函数，点扩散函数S的自相关是冲击函数，当目标完全处于光学记忆效应范围时，对散斑图像进行自相关处理由如下公式（4）表示：
Figure 161891DEST_PATH_IMAGE004
（4）
若目标分布于n个光学记忆效应范围内，则散斑图像的自相关分布可表示为如下公式（5）：
Figure 617274DEST_PATH_IMAGE005
（5）
进一步的，按照传统迭代型相位恢复算法原理，第k+1次初始图像迭代的初始图像，是通过上一次迭代的输出图像中逐像素点进行条件约束而生成，HIO算法如下公式（6）表示：
Figure 893535DEST_PATH_IMAGE006
（6）
式中，k>0，
Figure 392649DEST_PATH_IMAGE007
为满足物理约束的点集，
Figure 19940DEST_PATH_IMAGE008
为第k次迭代的输入，
Figure 13435DEST_PATH_IMAGE009
为第k次迭代的输出，
Figure 409781DEST_PATH_IMAGE010
为反馈控制参数。
进一步的，在仿真数据实验过程中，散射介质由双高斯随机矩阵来表征，两次空间自由传输过程由菲涅尔衍射理论来仿真。
进一步的，送入卷积神经网络PDSNet训练的散斑数据以及待测试的散斑数据获取方式为，采用实际光学系统采集含有待还原目标信息的散斑图像。
有益效果
(1) 本发明中的卷积神经网络PDSNet是一种适用于随机尺度和复杂目标的神经网络结构。实验测试了卷积神经网络PDSNet的隐藏对象恢复能力，在平均PSNR保持24dB以上的前提下，实现至少40倍的光学记忆效应范围扩展。同时，在未经训练的尺度下，恢复图像的平均PSNR在22dB以上。该卷积神经网络PDSNet可以成功地重建人脸等复杂目标。
(2) 本发明模型中设计了一种新的编码器-解码器结构。通过跳层连接，该结构的局部特征细节提取能力被进一步增强。
(3) 在对光学记忆效应范围内散射问题的求解中，我们采用分解卷积的方式，用n*1和1*n来代替常用的n*n卷积方式，在保证参数量的前提下，降低运算复杂度，提升网络运算效率。
(4) 采用跳层连接的方法，将低层信息与高层信息结合起来，检索缺失的特征信息，实现了对像素级信息和语义级特征的充分挖掘，形成了一种新的卷积神经网络PDSNet。同时，将高层信息与低层信息相结合，有利于避免陷入局部最优。
(5) 新的Encoder+Decoder可以将高层语义信息与低层局部细节信息融合在一起，弥补了单纯U型结构在局部细节重构中的不足。
附图说明
图1是本发明设计的卷积神经网络PDSNet的结构图；
图2是本发明实施例实验中的光路图；
图3是本发明实施例在包含2个字符、3个字符和4个字符的复杂对象数据集上分别测试卷积神经网络PDSNet的对比结果；
图4是本发明实施例在具有相同特性的多介质数据集A上对卷积神经网络PDSNet进行测试的结果；
图5是本发明实施例中的人脸数据集；
图6是本发明实施例中光学系统的设置线条图；
图7是本发明实施例中有无跳层连接的卷积神经网络PDSNet测试对比结果示意图；
图8是本发明实施例中卷积神经网络PDSNet对未训练目标的重建能力测试结果示意图；
图9是本发明实施例中在不同的介质下测试卷积神经网络PDSNet对目标的重建能力测试结果示意图；
图10是本发明实施例中两个字符复杂对象数据集在不同尺度下的测试结果示意图；
附图标记：1—LED光源，2—中继透镜，3—光阑，4—TIR棱镜，5—DMD，6—散射介质，
7—光阑，8—滤光片，9—CMOS。
具体实施方式
下面结合附图和具体实施例，进一步阐明本发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。
如图1所示，本发明基于卷积神经网络对经散射介质后的物体进行成像的方法，具体包括以下步骤：
步骤1、设计编码器-解码器结构，该编码器-解码器结构通过跳层连接，增强局部特征和细节提取能力；
步骤2、设计卷积神经网络PDSNet，卷积神经网络PDSNet结构如图1所示；
步骤3、结合散斑相关成像算法原理，对卷积神经网络PDSNet进行设计优化，以数据驱动的方式消除光学记忆效应OME对成像视场角FOV的限制。
融合低层信息与高层信息，检索缺失的特征信息，对像素级信息和语义级特征进行充分挖掘，从u型结构出发，对光学记忆效应范围内散射问题的求解中，采用分解卷积的方式，用n*1和1*n来代替常用的n*n卷积方式形成卷积神经网络PDSNet结构。
散斑相关成像算法原理通过下列公式（1）求解原始目标分布，
Figure 814217DEST_PATH_IMAGE011
（1）
其中，O表示待测目标，M表示光学系统测量得到的输出结果，即散射图像，F表示成像过程的前向模型。
散斑相关成像算法原理通过下列公式（2）从散射图像中求解原始目标分布，公式表示为:
Figure 928804DEST_PATH_IMAGE012
（2）
式中
Figure 709678DEST_PATH_IMAGE013
为正则化项，λ为正则化项系数，由散斑图像出发，求解原始待测目标，就是求解公式（2）所代表的优化问题。
加载着目标信息的光信号，被散射介质调制的过程由如下公式（3）表示:
Figure 973913DEST_PATH_IMAGE014
（3）
其中，n表示目标分布于n个不同光学记忆效应范围内，
Figure 814830DEST_PATH_IMAGE015
为第i个待成像目标，
Figure 151133DEST_PATH_IMAGE016
为其对应的点扩散函数，点扩散函数S的自相关是冲击函数，当目标完全处于光学记忆效应范围时，对散斑图像进行自相关处理由如下公式（4）表示：
Figure 735698DEST_PATH_IMAGE017
（4）
若目标分布于n个光学记忆效应范围内，则散斑图像的自相关分布可表示为如下公式（5）：
Figure 857369DEST_PATH_IMAGE018
（5）
在仿真过程中，散射介质由双高斯随机矩阵来表征，两次空间自由传输过程由菲涅尔衍射理论来仿真。
送入卷积神经网络PDSNet训练的散斑数据以及待测试的散斑数据获取方式为，采用实际光学系统采集含有待还原目标信息的散斑图像。
在对光学记忆效应范围内散射问题的求解中，常用的网络构造为U形结构，其典型代表为U-net。该网络结构参数量较小，一方面运算效率较高，另一方面也代表着网络的求解能力有限。尤其是当求解问题的复杂度提升之后，可以明显看出重建效果的下降。同时参数量的提升也会带来运算效率的下降。这里我们采用分解卷积的方式，用n*1和1*n来代替常用的n*n卷积方式，在保证参数量的前提下，降低运算复杂度，提升网络运算效率。
u形网络中Encoder+Decoder的结构，是经典的点对点网络架构，但是最后参与预测的主要是高维的语义信息。因此，完全代表局部细节的低层次信息不能很好地参与最终的预测过程，导致重建结果细节不足。
参考传统迭代型相位恢复算法原理，第k+1次初始图像迭代的初始图像，是对上一次迭代的输出图像中逐像素点进行条件约束，而生成的。以HIO算法为例：
Figure 869188DEST_PATH_IMAGE019
（6）
式中，k>0,
Figure 692787DEST_PATH_IMAGE020
为满足物理约束的点集，
Figure 815464DEST_PATH_IMAGE021
为第k次迭代的输入，
Figure 775330DEST_PATH_IMAGE022
为第k次迭代的输出，
Figure 708782DEST_PATH_IMAGE023
为反馈控制参数，类似机器学习中的学习率。通过多次迭代，尽可能地使图像中每个像素都满足物理约束。迭代投影的计算过程引入了全局约束，其重构过程是一个从局部到全局的过程。
在编码过程中，像素级信息逐渐演化为更高级别的信息，散斑图像的一些特征信息经过降采样和dropout操作后不可避免的被丢弃，然后通过解码过程将全局信息输入到最终的预测过程中。反向传播过程计算了从语义层到像素层的梯度信息，最终在输入层得到结果。就像传统的散斑相关成像技术一样，编码器-解码器结构的重构过程也是从局部到全局的，这被认为是编码器-解码器结构能够从散斑图像恢复目标的原因。
另外，为了使在编码过程中遗漏的信息可以更多的参与到最终的预测过程中，采用跳层连接的方法，将低层信息与高层信息结合起来，检索缺失的特征信息，实现了对像素级信息和语义级特征的充分挖掘，形成了一种新的卷积神经网络PDSNet。同时，将高层信息与低层信息相结合，有利于避免陷入局部最优。如图3和图7所示，这种新的Encoder+Decoder可以将高层语义信息与低层局部细节信息融合在一起，弥补了单纯U型结构在局部细节重构中的不足。
最后，从简单的U型结构出发，通过加入分解卷积和跳层连接的设计，最终形成卷积神经网络PDSNet。卷积神经网络PDSNet的参数量为2062,808个参数(7.87MB)，远远小于U-net的34,525,889个参数(131.71MB)。
在设计卷积神经网络PDSNet的过程中，使用仿真数据来测试和验证网络性能；
光路图如图2所示。在设计卷积神经网络的过程中，首先使用仿真数据来测试和验证网络性能。待测目标的光信号经过空间自由传输过程后，被散射介质调制。散射介质后表面出射的光信号，在经过第二次自由传输过程后，到达相机，由相机获取看似无序的光场强度信息。在仿真过程中，散射介质可以由双高斯随机矩阵来表征。我们使用菲涅尔衍射理论来仿真两次空间自由传输过程。
建立一个散射图像重建网络，以消除在FOV约束下OME的障碍。本文所提到的仿真数据和实验数据都超出了OME所限制的FOV范围，目标是灰度的，而不是二进制的。测试环境为PyTorch 1.2.0, RTX 2080Ti, I7-9700K CPU, ubuntu 16.04。平均绝对误差(MAE)、结构相似度指标(SSIM)和峰值信噪比(PSNR)是评价重建质量的客观指标。需要注意的是，MAE是在灰度值从0到1的归一化图像之间计算的。
为了测试卷积神经网络PDSNet在不同条件下重建目标的能力，通过仿真生成了6个数据集。测试集1-6分别为：两字符复杂目标数据集、三字符复杂目标数据集、四字符复杂目标数据集、同属性多介质数据集A、不同属性多介质数据集B和人脸数据集。基于深度学习的散斑相关成像的主要测试目标是单个手写字符，为了提高前5个数据集中目标的复杂度，MNIST中的手写字符被随机组合。
实验采用原始数据集目标作为卷积神经网络PDSNet的ground truth (GT)，散斑图像作为输入图像。GT图像和散斑图像的大小都是256*256。
为了测试卷积神经网络PDSNet重构复杂目标的能力，在包含2个字符、3个字符和4个字符的复杂对象数据集上分别测试了卷积神经网络PDSNet。如图3(b)和(d)所示，原始的GT与散斑图像的自相关关系不符合等式（4），这说明此时数据集1-3的目标尺寸超出了OME范围。利用这两个数据集来训练卷积神经网络PDSNet和U-net，测试集的重构结果分别如图3(e)和(f)所示。随着目标复杂度的增加，卷积神经网络PDSNet和U-net的客观指标都呈现出下降的趋势，但是即使对于4个字符生成的目标，卷积神经网络PDSNet也可以准确地重构出隐藏在散射介质后的目标。与图3(f)所示U-net恢复的图像相比，卷积神经网络PDSNet生成的图3(e)的细节更好。通过对卷积神经网络PDSNet结构的合理设计，在较少参数的情况下获得了较好的重建效果。进一步证明了该结构的有效性。
为了进一步测试卷积神经网络PDSNet对具有相同统计特性的不同散射介质的重建能力，在具有相同特性的多介质数据集A上对卷积神经网络PDSNet进行了测试。测试集的结果如图4(d)-(g)所示。然后测试了卷积神经网络PDSNet对具有不同统计特性的散射介质的重构能力，并为此构建了具有不同性质的多介质数据集B。试验结果如图4(h)-(k)所示。具有相同属性的多介质数据集A和具有不同属性的多介质数据集B的平均MAE、SSIM和PSNR如表3所示。由客观指标可知，无论介质性质是相同还是不同，不同散射介质下任务的重构复杂度是相似的。多介质重建任务在全局和局部上都取得了很好的细节。
为了进一步提高目标的复杂度，使用了人脸数据集。如图5中（c）和（d）所示，对于像人脸这样细节丰富的目标，原始的卷积神经网络PDSNet由于其参数量的限制，无法对图像进行很好的重构。以Resnet-50作为卷积神经网络PDSNet的骨干网络，扩大形成的PDSNet-L的参数量。参数数量从原来卷积神经网络PDSNet中的2062,808个参数(7.87MB)增加到PDSNet-L中的58,492,455个参数(223.13MB)。使用相同的数据集来测试PDSNet-L。如图5(e)-5(h)所示，PDSNet-L的效果更好。虽然卷积神经网络PDSNet对于手写字符的重建已经足够，但是更大的参数量有利于恢复目标的细节，比如卷积神经网络PDSNet和PDSNet-L的对比实验中显示的人脸。对于细节复杂的任务，可以通过改变主干网络或增加层数来扩大卷积神经网络PDSNet的参数量，增强原卷积神经网络PDSNet在恢复隐藏目标时的重构能力。
在实际系统实验中采集了实际光学系统的数据，并进行了训练和测试。进行模型功能分析和重建能力测试；
采集了实际光学系统的数据，并进行了训练和测试。图2是光学系统的设置。光源为中心波长625nm的LED (Thorlabs, M625L4)。磨砂玻璃(Thorlabs, DG100X100-220)作为散射介质，放置在被测目标和相机平面之间。最后的相机(Balser acA1920-155um)用于采集含有待还原目标信息的散斑图像。目标表面与散射介质的距离为25cm，散射介质与相机的距离为8cm。实验中，被测目标由DMD(分辨率1024*768像素，镜元尺寸13.68um/pixel)生成。
首先，对OME的范围进行测试。为了测试位移不变量的范围，在获取目标表面上点目标水平位移的同时，采集一系列散斑。计算了散斑图与系统的PSF之间的互相关系数。我们选择0.5作为互相关系数的阈值来确定ME的范围，我们将
Figure 285257DEST_PATH_IMAGE024
定义为图像平面的偏移像素数，值为56，如图6所示。系统的ME范围可以计算为
Figure DEST_PATH_IMAGE025
,为系统放大倍数，p为相机像素大小，等于5.86um。可以得出，系统在DMD上的ME范围为150*150像素。
(1)模型功能分析
首先，证明跳层连接的必要性。为了说明在目标尺寸超出OME范围的情况下进行跳层连接的必要性，将MNIST中的手写字符随机成对组合重叠，生成8000幅图像，并将这些图像作为目标显示在DMD上。训练集和测试集分别包含7500对数据和500对数据。从图7可以看出，散斑图像的自相关分布与原始的GT图像有很大的不同，这与等式（4）不一致，即目标超出了OME的范围。
从图7的对比中可以看出，没有跳层连接的卷积神经网络PDSNet重构结果基本恢复了原始的目标分布。然而，与GT相比，目标的细节部分并没有得到更高精度的恢复。可以看出，通过跳层连接，细节部分的重构质量得到了较大幅度的提高。
在Encoder的降采样过程中，没有跳层连接的卷积神经网络PDSNet逐渐聚焦于高层语义信息，对应于目标整体形状分布的局部细节重构能力存在一定缺陷。跳层连接是非常必要的，它会将低级的细节引入到最终的预测过程中。
(2)重建能力测试
为了测试卷积神经网络PDSNet在未经训练的情况下重建目标的能力，需要一个多尺度的数据集。实验结果表明，在DMD上，OME的范围为150*150像素。DMD上显示的目标尺寸有300*300像素，375*375像素，420*420像素，450*450像素，都超出了OME的范围。300*300像素的目标，375*375像素，450*450像素作为训练集，420*420像素的目标作为测试集，不进行训练。虽然数据集中的目标大小不同，但GT图像中的目标保持相同的大小。训练集采用22500对数据，测试集采用7500对数据。未训练目标的测试结果如图8所示，即使测试集中的目标尺度是未经训练的，卷积神经网络PDSNet也会产生令人满意的效果。为了进一步证明卷积神经网络PDSNet的重构能力，我们还测试了未经训练的目标和经过训练的尺度，得到了更好的客观指标，证明了卷积神经网络PDSNet对于多尺度任务的有效性。
为了测试卷积神经网络PDSNet通过几种散射介质重建目标的能力，使用了4个磨砂玻璃作为散射介质，为多散射介质数据集收集散斑图像，这里使用的目标也是通过将MNIST中的两个手写字符与重叠组合来获得的，30000个数据对作为训练集，2000个数据对作为测试集，未训练目标的测试结果如图9所示，通过单次训练，卷积神经网络PDSNet可以恢复通过多种不同散射介质生成的散斑图像，且细节丰富。客观指标表明，多散射介质的重建任务没有多尺度的任务复杂。
为了测试所提出卷积神经网络PDSNet突破OME范围的极限，进行了一些额外的实验，这些实验中使用的目标与具有2个字符的复杂对象数据集相同。每个尺度上的物体和散斑模式分别被训练和测试。如图 10所示，目标的尺度是ME 范围的3.3倍-13倍时，卷积神经网络PDSNet实现了27dB以上的PSNR。当物体的尺寸增加到ME范围的13倍以上时，客观指标出现了下降的趋势。当物体的尺度超过ME范围的20倍时，会有明显的下降。测试数据集的目标尺度为ME范围的40倍时，即使其平均PSNR只有24.7628dB，重构的图像质量仍然可以令人满意。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims (8)

1.基于卷积神经网络对经散射介质后的物体进行成像的方法，其特征在于，具体包括以下步骤：
步骤1、设计编码器-解码器结构，该编码器-解码器结构通过跳层连接，增强局部特征和细节提取能力；
步骤2、设计卷积神经网络PDSNet；
步骤3、结合散斑相关成像算法原理，对卷积神经网络PDSNet进行设计优化，以数据驱动的方式消除光学记忆效应OME对成像视场角FOV的限制。
2.根据权利要求1所述的基于卷积神经网络对经散射介质后的物体进行成像的方法，其特征在于，步骤2中融合低层信息与高层信息，检索缺失的特征信息，对像素级信息和语义级特征进行充分挖掘，从u型结构出发，对光学记忆效应范围内散射问题的求解中，采用分解卷积的方式，用n*1和1*n来代替常用的n*n卷积方式形成卷积神经网络PDSNet结构。
3.根据权利要求1所述的基于卷积神经网络对经散射介质后的物体进行成像的方法，其特征在于，所述散斑相关成像算法原理通过下列公式（1）求解原始目标分布，
Figure 405289DEST_PATH_IMAGE001
其中，O表示待测目标，M表示光学系统测量得到的输出结果，即散射图像，F表示成像过程的前向模型。
4.根据权利要求1所述的基于卷积神经网络对经散射介质后的物体进行成像的方法，其特征在于，所述散斑相关成像算法原理通过下列公式（2）从散射图像中求解原始目标分布，公式表示为:
Figure 485240DEST_PATH_IMAGE002
式中R(O)为正则化项，λ为正则化项系数，由散斑图像出发，求解原始待测目标，就是求解公式（2）所代表的优化问题。
5.根据权利要求1所述的基于卷积神经网络对经散射介质后的物体进行成像的方法，其特征在于，光信号加载着目标信息，被散射介质调制的过程由如下公式（3）表示:
Figure 104441DEST_PATH_IMAGE003
其中，n表示目标分布于n个不同光学记忆效应范围内，Oi为第i个待成像目标，Si为其对应的点扩散函数，点扩散函数S的自相关是冲击函数，当目标完全处于光学记忆效应范围时，对散斑图像进行自相关处理由如下公式（4）表示：
Figure 902632DEST_PATH_IMAGE004
（4）
若目标分布于n个光学记忆效应范围内，则散斑图像的自相关分布可表示为如下公式（5）：
Figure 649003DEST_PATH_IMAGE005
（5）。
6.根据权利要求1所述的基于卷积神经网络对经散射介质后的物体进行成像的方法，其特征在于，按照传统迭代型相位恢复算法原理，第k+1次初始图像迭代的初始图像，是通过上一次迭代的输出图像中逐像素点进行条件约束而生成，HIO算法如下公式（6）表示：
Figure 583461DEST_PATH_IMAGE006
（6）
式中，k>0，
Figure 576824DEST_PATH_IMAGE007
为满足物理约束的点集，
Figure 659050DEST_PATH_IMAGE008
为第k次迭代的输入，
Figure 130482DEST_PATH_IMAGE009
为第k次迭代的输出，
Figure 935759DEST_PATH_IMAGE010
为反馈控制参数。
7.根据权利要求1所述的基于卷积神经网络对经散射介质后的物体进行成像的方法，其特征在于，在仿真数据实验过程中，散射介质由双高斯随机矩阵来表征，两次空间自由传输过程由菲涅尔衍射理论来仿真。
8.根据权利要求1所述的基于卷积神经网络对经散射介质后的物体进行成像的方法，其特征在于，送入卷积神经网络PDSNet训练的散斑数据以及待测试的散斑数据获取方式为，采用实际光学系统采集含有待还原目标信息的散斑图像。
CN202010696635.5A 2020-07-20 2020-07-20 基于卷积神经网络对经散射介质后的物体进行成像的方法 Withdrawn CN111739117A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010696635.5A CN111739117A (zh) 2020-07-20 2020-07-20 基于卷积神经网络对经散射介质后的物体进行成像的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010696635.5A CN111739117A (zh) 2020-07-20 2020-07-20 基于卷积神经网络对经散射介质后的物体进行成像的方法

Publications (1)

Publication Number Publication Date
CN111739117A true CN111739117A (zh) 2020-10-02

Family

ID=72654991

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010696635.5A Withdrawn CN111739117A (zh) 2020-07-20 2020-07-20 基于卷积神经网络对经散射介质后的物体进行成像的方法

Country Status (1)

Country Link
CN (1) CN111739117A (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112150341A (zh) * 2020-11-26 2020-12-29 南京理工大学 基于物理约束和数据驱动的双阶段散射成像方法
CN112287571A (zh) * 2020-12-31 2021-01-29 南京理工大学 基于物理驱动的散射泛化成像方法和实验方法
CN113901963A (zh) * 2021-12-06 2022-01-07 南京理工大学 具有多场景适应性的透过散射介质模块化成像方法
CN113962866A (zh) * 2021-12-22 2022-01-21 南京理工大学 一种基于物理感知学习的散射成像目标重建方法
CN113985566A (zh) * 2021-09-10 2022-01-28 西南科技大学 一种基于空间光调制及神经网络的散射光聚焦方法
CN114332284A (zh) * 2022-03-02 2022-04-12 武汉理工大学 基于增强自编码的电子衍射晶体结构加速重建方法及系统
CN114964524A (zh) * 2022-06-06 2022-08-30 中国科学院光电技术研究所 基于离焦光栅和神经网络扩展目标成像波前相位复原方法
CN115633243A (zh) * 2022-12-01 2023-01-20 南京理工大学 基于传输矩阵理论的透过散射介质泛化成像方法
CN115631253A (zh) * 2022-12-23 2023-01-20 南京理工大学 基于物理驱动深度学习的光纤无透镜泛化成像方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106228201A (zh) * 2016-06-20 2016-12-14 电子科技大学 一种基于阴影特性的合成孔径雷达抗欺骗式干扰方法
CN108814550A (zh) * 2018-04-16 2018-11-16 北京工业大学 一种基于神经网络的近红外光谱断层成像重建方法
CN108872988A (zh) * 2018-07-12 2018-11-23 南京航空航天大学 一种基于卷积神经网络的逆合成孔径雷达成像方法
CN109459852A (zh) * 2019-01-07 2019-03-12 史丽 一种基于神经网络的散射介质光学成像方法
US20200160533A1 (en) * 2018-11-15 2020-05-21 Samsung Electronics Co., Ltd. Foreground-background-aware atrous multiscale network for disparity estimation

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106228201A (zh) * 2016-06-20 2016-12-14 电子科技大学 一种基于阴影特性的合成孔径雷达抗欺骗式干扰方法
CN108814550A (zh) * 2018-04-16 2018-11-16 北京工业大学 一种基于神经网络的近红外光谱断层成像重建方法
CN108872988A (zh) * 2018-07-12 2018-11-23 南京航空航天大学 一种基于卷积神经网络的逆合成孔径雷达成像方法
US20200160533A1 (en) * 2018-11-15 2020-05-21 Samsung Electronics Co., Ltd. Foreground-background-aware atrous multiscale network for disparity estimation
CN109459852A (zh) * 2019-01-07 2019-03-12 史丽 一种基于神经网络的散射介质光学成像方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ENLAI GUO 等: "Learning-based method to reconstruct complex targets through scattering medium beyond the memory effect", 《OPTICS EXPRESS》 *

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112150341B (zh) * 2020-11-26 2021-05-28 南京理工大学 基于物理约束和数据驱动的双阶段散射成像方法
CN112150341A (zh) * 2020-11-26 2020-12-29 南京理工大学 基于物理约束和数据驱动的双阶段散射成像方法
CN112287571A (zh) * 2020-12-31 2021-01-29 南京理工大学 基于物理驱动的散射泛化成像方法和实验方法
CN113985566B (zh) * 2021-09-10 2023-09-12 西南科技大学 一种基于空间光调制及神经网络的散射光聚焦方法
CN113985566A (zh) * 2021-09-10 2022-01-28 西南科技大学 一种基于空间光调制及神经网络的散射光聚焦方法
CN113901963A (zh) * 2021-12-06 2022-01-07 南京理工大学 具有多场景适应性的透过散射介质模块化成像方法
CN113962866A (zh) * 2021-12-22 2022-01-21 南京理工大学 一种基于物理感知学习的散射成像目标重建方法
CN114332284A (zh) * 2022-03-02 2022-04-12 武汉理工大学 基于增强自编码的电子衍射晶体结构加速重建方法及系统
CN114332284B (zh) * 2022-03-02 2022-06-28 武汉理工大学 基于增强自编码的电子衍射晶体结构加速重建方法及系统
CN114964524A (zh) * 2022-06-06 2022-08-30 中国科学院光电技术研究所 基于离焦光栅和神经网络扩展目标成像波前相位复原方法
CN115633243A (zh) * 2022-12-01 2023-01-20 南京理工大学 基于传输矩阵理论的透过散射介质泛化成像方法
CN115633243B (zh) * 2022-12-01 2023-08-04 南京理工大学 基于传输矩阵理论的透过散射介质泛化成像方法
CN115631253A (zh) * 2022-12-23 2023-01-20 南京理工大学 基于物理驱动深度学习的光纤无透镜泛化成像方法

Similar Documents

Publication Publication Date Title
CN111739117A (zh) 基于卷积神经网络对经散射介质后的物体进行成像的方法
CN112287571B (zh) 基于物理驱动的散射泛化成像方法和实验方法
CN112150341B (zh) 基于物理约束和数据驱动的双阶段散射成像方法
Latorre-Carmona et al. Online reconstruction-free single-pixel image classification
CN111563562B (zh) 基于卷积神经网络的单帧散射图像的彩色目标重建方法
CN111340183B (zh) 基于深度学习的散射成像装置和方法
CN110675326A (zh) 基于U-Net网络的计算鬼成像重建恢复的方法
CN110490818B (zh) 基于cgan的计算鬼成像重建恢复方法
Rego et al. Robust lensless image reconstruction via psf estimation
CN110097634B (zh) 一种自适应多尺度的三维鬼成像方法
CN115546060A (zh) 一种可逆的水下图像增强方法
CN115631253A (zh) 基于物理驱动深度学习的光纤无透镜泛化成像方法
CN112053290A (zh) 基于卷积去噪自编码器的无监督事件相机去噪方法及装置
CN115601621A (zh) 基于条件生成对抗网络的强散射介质主动单像素成像方法
Feng et al. High turbidity underwater single-pixel imaging based on Unet++ and attention mechanism at a low sampling
Zhang et al. Single-image defogging algorithm based on improved cycle-consistent adversarial network
Cheng et al. Super-resolution imaging through the diffuser in the near-infrared via physically-based learning
CN113379614B (zh) 基于Resnet网络的计算鬼成像重建恢复方法
CN112950731B (zh) 一种单帧强背景干扰下的透散射介质成像方法
Zhao et al. A fast alternating minimization algorithm for coded aperture snapshot spectral imaging based on sparsity and deep image priors
Zhang et al. Unsupervised learning of depth estimation based on attention model from monocular images
Gao et al. RASWNet: an algorithm that can remove all severe weather features from a degraded image
Zhang et al. Strong and Controllable Blind Image Decomposition
CN115633243B (zh) 基于传输矩阵理论的透过散射介质泛化成像方法
Liu Optical phase space measurements and applications to 3D imaging and light scattering

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20201002