CN112150341A - 基于物理约束和数据驱动的双阶段散射成像方法 - Google Patents

基于物理约束和数据驱动的双阶段散射成像方法 Download PDF

Info

Publication number
CN112150341A
CN112150341A CN202011343947.4A CN202011343947A CN112150341A CN 112150341 A CN112150341 A CN 112150341A CN 202011343947 A CN202011343947 A CN 202011343947A CN 112150341 A CN112150341 A CN 112150341A
Authority
CN
China
Prior art keywords
noise
stage
data
speckle
acr
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011343947.4A
Other languages
English (en)
Other versions
CN112150341B (zh
Inventor
韩静
郭恩来
柏连发
赵壮
张毅
程倩倩
顾杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Science and Technology
Original Assignee
Nanjing University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Science and Technology filed Critical Nanjing University of Science and Technology
Priority to CN202011343947.4A priority Critical patent/CN112150341B/zh
Publication of CN112150341A publication Critical patent/CN112150341A/zh
Application granted granted Critical
Publication of CN112150341B publication Critical patent/CN112150341B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0007—Image acquisition
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/47—Scattering, i.e. diffuse reflection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及基于物理约束和数据驱动的双阶段散射成像方法，包括以下步骤：1.设计算法结构，2.建立卷积神经网络，3.求解目标信息，4.消除干扰信息，5.获得原始目标。本发明中的双阶段成像算法结合物理约束和数据驱动的算法框架，适用于噪声干扰的复杂成像系统，双阶段成像算法的除噪和泛化能力，在不同等级高斯噪声、探测器和光子噪声下，增强阶段的PSNR从20dB提高到38dB；与无物理约束的方法相比，在已知散射介质和噪声的条件下，恢复目标的PSNR提高4dB；在未知散射介质条件下，成功恢复隐藏的目标；基于u型结构和残差网络，构建双阶段卷积神经网络提取特征，恢复目标信息。

Description

基于物理约束和数据驱动的双阶段散射成像方法
技术领域
本发明涉及一种基于物理约束和数据驱动的双阶段散射成像方法，属于图像处理技术领域。
背景技术
透过散射介质成像是一个十分重要且具有挑战性的问题，在很多领域内具有广泛的应用，例如生物医学成像和天文成像等。由于光波在透过介质时产生的强散射，传统光学成像系统无法直接观测隐藏在散射介质之后的目标信息。另一方面，不完美的成像环境往往会引发噪声干扰，因此，恢复目标信息的难度加大。
为了恢复隐藏在无序散斑中的目标信息，人们主要提出了包含基于光学相位共轭原理的波前调制技术和基于光学记忆效应的散斑相关成像技术。其中，基于波前调制的反馈调节聚焦技术通过控制空间光调制器调整入射光波的相位分布，补偿由于散射引起的相位畸变，恢复目标信息；基于光学传输矩阵的方法则是用矩阵变换来近似描述包含散射介质在内的光学输入场和输出场的对应关系，通过求解光学传输矩阵恢复目标信息；基于光学记忆效应的散斑相关技术结合自相关和相位恢复算法可实现非侵入式恢复目标信息。然而传统的相位恢复算法难以摆脱病态逆问题或无法收敛至全局最优解的阴影。由于传统散斑相关技术要求高质量散斑来消除噪声干扰，其成像系统要求采用高分辨率高灵敏度相机，噪声鲁棒性较差。
近些年来，基于深度学习的计算成像研究在解决病态逆问题上提供了很好的解决方法。其中，有人提出的"IDiffNet"实现了对散斑图像的重建，并且首次使用NPCC，即negative Pearson correlation coefficient作为损失函数。有人构建了一个“一对多”卷积神经网络，可以重建隐藏在未经训练的磨砂玻璃后的目标信息，前提是这种未经训练和已训练的磨砂玻璃属于同一类散射介质。有人通过构建一个GAN网络，恢复了隐藏在动态散射介质，如脂肪乳化液中的目标信息。以上工作都有其各自的优势，证明了深度学习可以在一定范围内恢复目标信息。目前，基于深度学习的重建方法一般直接映射散斑和目标的对应关系，这种纯数据驱动的端到端模型适用性有限，尤其无法解决噪声干扰或多种散射介质等复杂问题。
在实际应用中，成像环境往往是不完美的，会在无序散斑中引发噪声，因此在散射成像中提高噪声鲁棒性是一个亟待解决的问题。同时，散射介质的性质较复杂，重构算法应具有较强的噪声鲁棒性和泛化能力，能够适应复杂成像环境下不同散射介质的恢复任务。
发明内容
为了解决上述技术问题，本发明提供一种基于物理约束和数据驱动的双阶段散射成像方法，其具体技术方案如下：
基于物理约束和数据驱动的双阶段散射成像方法，包括以下步骤：
步骤一：设计算法结构：结合散斑相关成像算法原理，设计基于物理约束的双阶段算法结构，通过自相关作为物理先验知识，指导网络学习过程；
步骤二：建立卷积神经网络：基于u型结构和残差网络，结合物理先验知识约束，建立双阶段卷积神经网络ACR-CNN；
步骤三：求解目标信息：采用卷积神经网络ACR-CNN提取特征，在光学记忆效应内求解隐藏在噪声和无序散斑中的目标信息；
步骤四：消除干扰信息：在光学记忆效应内，利用自相关作为物理先验知识设计增强网络ACR-1，由含噪声的低质量散斑自相关出发，获得不含噪的高质量自相关，消除噪声影响，通过公式（1）消除噪声和多种散射介质影响，
Figure 738740DEST_PATH_IMAGE001
(1)
式中，
Figure 362619DEST_PATH_IMAGE002
表示增强后的散斑自相关，
Figure 694243DEST_PATH_IMAGE003
表示散斑，★表示计算自相关的过程，
Figure 994644DEST_PATH_IMAGE004
表示待测目标，
Figure 451033DEST_PATH_IMAGE005
表示光学系统的测量噪声；
步骤五：获得原始目标：设计重建网络ACR-2，从高质量无噪声的散斑自相关中重建目标，恢复隐藏在未知噪声和未知散射介质中的目标，通过公式（2）得：
Figure 816286DEST_PATH_IMAGE006
（2）
式中
Figure 408941DEST_PATH_IMAGE007
为由
Figure 148752DEST_PATH_IMAGE008
函数恢复的目标。
进一步的，所述步骤一中自相关代替散斑作为输入的双阶段成像方法。
进一步的，所述步骤四中ACR-1基于u型网络结构对低质量的散斑自相关数据进行像素级信息挖掘，所述ACR-1基于残差网络提取有效信息、噪声信息特征、像素级约束函数和全局约束损失函数，获得高质量的散斑自相关。
进一步的，所述步骤五中ACR-2采用的u型网络包含跳层连接结构，融合低层信息和高层信息，所述ACR-2基于残差网络对高质量的散斑自相关数据进行像素级和语义级挖掘，根据目标数据是非零即一的特征，选用交叉熵作为损失函数，从高质量的自相关数据中求解出原始目标分布。
进一步的，所述散斑仿真数据获取的散射介质通过双高斯随机矩阵实现，所述散斑仿真数据获取的两次空间自由传输过程通过菲涅尔衍射理论进行仿真，
所述双高斯随机矩阵根据不同的方差模拟不同统计特性的散射介质，并通过在仿真中添加不同方差的高斯噪声模拟不同等级可量化的噪声。
进一步的，所述散斑系统数据通过实际光学系统采集含噪图像，所述含噪图像包括低曝光引起的探测器噪声以及通过在实验中控制环境干扰光添加不同等级的光子噪声。
本发明的有益效果：
(1)本发明中的双阶段成像算法是一种结合物理约束和数据驱动的算法框架，适用于噪声干扰的复杂成像系统，实验测试了双阶段成像算法的除噪和泛化能力，在不同等级高斯噪声、探测器和光子噪声下，增强阶段的PSNR可从20 dB提高到38 dB；与无物理约束的方法相比，在已知散射介质和噪声的条件下，恢复目标的PSNR提高了4dB；在未知散射介质条件下，本发明依然成功恢复了隐藏的目标，而无约束方法已无法恢复目标；
(2)本发明模型中，基于u型结构和残差网络，结合物理先验知识约束和指导网络学习过程，构建了双阶段卷积神经网络ACR-CNN来提取特征，恢复目标信息；
(3)ACR-1采用像素级和全局约束兼顾的损失函数，即使用像素级约束函数和全局约束损失函数，优化网络学习方向，提升网络输出质量；
(4)基于残差网络，采用u型网络包含跳层连接结构，融合低层信息和高层信息，对数据进行像素级和语义级挖掘，求解原始目标分布；
(5)根据目标数据是非零即一的特征，将ACR-2视为分类任务，相应地选用交叉熵作为损失函数，优化网络学习方向。
附图说明
图1是本发明设计的卷积神经网络ACR-CNN的结构图；
图2是本发明实施例实验中的光路图；
图3是本发明实施例中模拟实验中不同等级的高斯噪声效果图；
图4是本发明实施例在系统实验中的探测器噪声和不同等级的光子噪声效果图；
图5是本发明实施例中ACR-1在模拟和系统实验中的增强结果示意图；
图6是本发明实施例中ACR-1在模拟和系统实验中的SSIM结果图；
图7是本发明实施例中ACR-1在模拟和系统实验中的PSNR结果图；
图8是本发明实施例中有无物理约束的ACR-2对模拟和系统数据的重建结果对比示意图。
具体实施方式
现在结合附图对本发明作进一步详细的说明。这些附图均为简化的示意图，仅以示意方式说明本发明。
如图1所示，本发明的基于物理约束和数据驱动的双阶段散射成像方法，包括以下步骤：
步骤一：设计算法结构：结合散斑相关成像算法原理，设计基于物理约束的双阶段算法结构，通过自相关作为物理先验知识，指导网络学习过程；
步骤二：建立卷积神经网络：基于u型结构和残差网络，结合物理先验知识约束，建立双阶段卷积神经网络ACR-CNN，即Autocorrelation Reconstruction Convolutional NeuralNetwork；
步骤三：求解目标信息：采用卷积神经网络ACR-CNN提取特征，在光学记忆效应内求解隐藏在噪声和无序散斑中的目标信息；
步骤四：消除干扰信息：在光学记忆效应内，利用自相关作为物理先验知识设计网络ACR-1，由含噪声的低质量散斑自相关出发，获得不含噪的高质量自相关，消除噪声影响，通过公式（1）消除噪声和多种散射介质影响，
Figure 967803DEST_PATH_IMAGE001
(1)
式中，
Figure 526961DEST_PATH_IMAGE002
表示增强后的散斑自相关，
Figure 442964DEST_PATH_IMAGE003
表示散斑，★表示计算自相关的过程，
Figure 554008DEST_PATH_IMAGE004
表示待测目标，
Figure 984990DEST_PATH_IMAGE005
表示光学系统的测量噪声；
步骤五：获得原始目标：从高质量无噪声的散斑自相关中重建目标，恢复隐藏在未知噪声和未知散射介质中的目标，通过公式（2）得：
Figure 285521DEST_PATH_IMAGE006
（2）
式中
Figure 993714DEST_PATH_IMAGE007
为由
Figure 151026DEST_PATH_IMAGE008
函数恢复的目标。
其中，步骤一中自相关代替散斑作为输入的双阶段成像方法；步骤四中ACR-1基于u型网络结构对低质量的散斑自相关数据进行像素级信息挖掘，ACR-1基于残差网络提取有效信息、噪声信息特征、像素级约束函数和全局约束损失函数，获得高质量的散斑自相关；步骤五中ACR-2采用的u型网络包含跳层连接结构，融合低层信息和高层信息，ACR-2基于残差网络对高质量的散斑自相关数据进行像素级和语义级挖掘，根据目标数据是非零即一的特征，选用交叉熵作为损失函数，从高质量的自相关数据中求解出原始目标分布；散斑仿真数据获取的散射介质通过双高斯随机矩阵实现，所述散斑仿真数据获取的两次空间自由传输过程通过菲涅尔衍射理论进行仿真，根据不同方差的双高斯随机矩阵模拟不同统计特性的散射介质，并通过在仿真中添加不同方差的高斯噪声模拟不同等级可量化的噪声；采用实际光学系统采集含有待还原目标信息的散斑图像时，使用多种散射介质，并通过控制实验环境干扰光添加不同等级的探测器噪声和光子噪声。
基于学习的计算成像方法一般采用端到端的模式直接映射散斑和目标间的对应关系，这种纯数据驱动的方式严重依赖于大数据，具有一定的局限性。尤其当涉及噪声干扰和多种散射介质的问题时，端到端模型对网络的深度和宽度提出了更高的要求。然而网络参数的增多意味着学习映射的可能方向越多，合适的模型越难以训练。另一方面，更深更广的网络需要更大的数据进行驱动，并且极易出现过拟合的问题。为了摆脱这种困境，本发明将目标与散斑图之间的自相关一致性作为物理先验嵌入到网络结构中，搭建了双阶段神经网络ACR-CNN。其中，第一阶段ACR-1为增强网络，消除噪声影响；第二阶段ACR-2为重建网络，恢复隐藏在未知噪声未知散射介质中的目标。低质量的自相关作为输入送入ACR-1，经ACR-1编码器提取特征，由解码器通过上卷积扩展特征层信息，输出高质量自相关。其中，如图1所示，编码器主要由卷积层，池化层和残差块构成。
如图1所示，将ACR-1的输出作为输入送至ACR-2。增强后的自相关经ACR-2的编码器和解码器处理，输出恢复的目标信息。其中ACR-2的编码器和解码器与ACR-1结构相似，但有不同的深度和宽度。为了同时保留全局高级特性和局部细节信息，ACR-2的编码器和解码器之间增加了5个不同分辨率的跳层连接。由于ACR-2的目标是二值图像，因此可将此训练过程视为一个分类任务。相应地，采用交叉熵作为损失函数。
在设计双阶段除噪算法的过程中，基于MNIST和Char74数据集，使用仿真数据和系统数据来测试和验证算法的噪声鲁棒性和泛化能力，其光路图如图2所示，其中u为目标到散射介质的距离，v为散射介质到相机的距离。在设计双阶段除噪算法过程中，首先使用仿真数据来测试和验证算法的噪声鲁棒性和泛化能力。模拟光源波长为600nm，光信号经过空间自由传输过程后，与散射介质发生相互作用，散射光按随机方向自由传输至相机，由相机获取无序散斑图像。在仿真过程中，双高斯随机矩阵可以表征散射介质对入射光的调制作用，即不同方差的双高斯随机矩阵可以表征不同统计特性的散射介质。为了量化噪声等级，在仿真过程中添加了不同方差的高斯噪声，如图3所示。
为了测试双阶段除噪算法在不同噪声和不同散射介质条件下重建目标的能力，通过仿真生成了训练集和测试集。训练集在四种散射介质及四种高斯噪声条件下模拟生成，共包含13204个数字和英文字母。其中，四种散射介质分别由方差为100，150，200和250的双高斯矩阵模拟生成，分别表示为：D_100，D_150，D_200和D_250；四种高斯噪声的均值皆为0，方差
Figure 193937DEST_PATH_IMAGE009
分别为0.01，0.03，0.05和0.07。16组测试集包含了两种散射介质，分别表示为D_110和D_260，和8种高斯噪声，其
Figure 298159DEST_PATH_IMAGE009
分别为0.04，0.08，0.1，0.12，0.14，0.2，0.25和0.3。每组测试集有406个数字和英文字母。在设计双阶段除噪算法过程中，使用实际系统数据来测试和验证算法的噪声鲁棒性和泛化能力。光路图如图2所示，系统的光源为中心波长625nm的LED，即Thorlabs，M625L4。其中，实验过程中，来源于LED的系统环境光会对数据产生噪声干扰。因此，改变环境干扰光的光照条件会产生不同等级的光子噪声。使用三种磨砂玻璃：Thorlabs，DG100X-120、DG100X-220和DG100X-600作为散射介质，放置在分辨率为1024*768，镜元尺寸13.68um/pixel的DMD和型号为Balser acA1920-155um相机之间。
值得说明的是，即使没有环境光的干扰，低曝光也会引起探测器噪声，本实验中称为噪声0。为了引入不同等级的光子噪声，分别在LED、光瞳1和光瞳2三个元件上改变环境光的干扰条件。由于型号为Thorlabs, FL632.8-1的滤光片放置在相机的前面，环境干扰光主要对光强产生影响。在噪声1的光照条件下，在光瞳2处添加环境干扰光，此时经散射介质散射后的光路里，包含了弹道光、散射光和环境干扰光；在噪声2的光照条件下，光瞳1暴露在环境光下，此时光路通过光瞳1后，其光强受到环境干扰光影响；在噪声3的光照条件下，环境干扰光分布在三个元件，即LED，光瞳1和光瞳2中，影响光子传输过程，从而产生噪声3。四种不同等级的噪声效果如图4所示。
在实际系统实验中采集了实际光学系统的数据，并对噪声鲁棒性和泛化能力进行了训练和测试：
(1)噪声鲁棒性：为了测试双阶段除噪算法在不同噪声下重建目标的能力，通过实际系统采集训练集和测试集的系统数据。训练集和测试集在一种散射介质，即DG100X-220和三种光子噪声，即噪声1，2，3条件下采集。其中训练集共包含2700个数字和英文字母，根据三种光子噪声采集三组测试集，每组测试集有100个数字和英文字母。
(2)泛化能力：为了测试双阶段除噪算法在不同散射介质条件下重建目标的能力，通过实际系统采集训练集和测试集的系统数据。训练集使用七片玻璃作为散射介质，七片玻璃同属DG100X-220，每片玻璃采集600张散斑图。在探测器噪声为噪声0条件下，根据两种散射介质Thorlabs, DG100X-120和DG100X-600采集两组测试集。每组测试集有600张数字和英文字母。实验采用原始数据集目标自相关作为卷积神经网络ACR-1的Ground truth，即GT，散斑自相关作为输入图像。ACR-1的输出为增强后的自相关，并作为输入图像送至ACR-2。原始数据集目标作为卷积神经网络ACR-2的Ground truth。ACR-CNN网络所用GT图像和输入图像的大小都是256*256。
基于仿真模拟和实际系统数据，ACR-1的测试结果如图5所示。通过单次训练，卷积神经网络ACR-1可以有效增强通过多种不同散射介质，受不同等级噪声干扰生成的散斑自相关图像，且细节丰富。根据图6和图7可知，仿真数据在八种不同等级的高斯噪声条件下，其PSNR可保持在30dB以上，其SSIM可从0.15提升至0.98；而在受三种光子噪声干扰的系统数据中，其PSNR可从20dB提升至38dB，其SSIM可从0.2提升至1。基于仿真模拟和实际系统数据，ACR-2的测试结果如图8所示。通过单次训练，与不经物理约束的端到端方法，即SP相比，包含物理约束的方法，即AP可以恢复通过多种不同散射介质，受不同等级噪声干扰生成的散斑图像。根据图8可知，对于未经训练的噪声和散射介质，SP无法从仿真数据中恢复目标原始信息，而AP可以从增强的自相关中成功重建出目标。对于未经训练的散射介质，SP仍然无法从系统数据中恢复目标原始信息，而AP可以成功重建出目标；对于已训练的三种光子噪声，SP仅能从系统数据中恢复部分目标原始信息，而AP可以成功重建出目标，且细节丰富。在仿真和系统数据中，AP的PSNR整体比SP提高了4dB。
本发明中的双阶段成像算法是一种结合物理约束和数据驱动的算法框架，适用于噪声干扰的复杂成像系统，实验测试了双阶段成像算法的除噪和泛化能力，在不同等级高斯噪声、探测器和光子噪声下，增强阶段的PSNR可从20 dB提高到38dB；与无物理约束的方法相比，在已知散射介质和噪声的条件下，恢复目标的PSNR提高了4dB；在未知散射介质条件下，本发明依然成功恢复了隐藏的目标，而无约束方法已无法恢复目标；本发明模型中，基于u型结构和残差网络，结合物理先验知识约束和指导网络学习过程，构建了双阶段卷积神经网络ACR-CNN来提取特征，恢复目标信息；ACR-1采用像素级和全局约束兼顾的损失函数，即使用像素级约束函数和全局约束损失函数，优化网络学习方向，提升网络输出质量；基于残差网络，采用u型网络包含跳层连接结构，融合低层信息和高层信息，对数据进行像素级和语义级挖掘，求解原始目标分布；根据目标数据是非零即一的特征，将ACR-2视为分类任务，相应地选用交叉熵作为损失函数，优化网络学习方向。
以上述依据本发明的理想实施例为启示，通过上述的说明内容，相关工作人员完全可以在不偏离本项发明技术思想的范围内，进行多样的变更以及修改。本项发明的技术性范围并不局限于说明书上的内容，必须要根据权利要求范围来确定其技术性范围。

Claims (6)

1.基于物理约束和数据驱动的双阶段散射成像方法，其特征在于，包括以下步骤：
步骤一：设计算法结构：结合散斑相关成像算法原理，设计基于物理约束的双阶段算法结构，通过自相关作为物理先验知识，指导网络学习过程；
步骤二：建立卷积神经网络：基于u型结构和残差网络，结合物理先验知识约束，建立双阶段卷积神经网络ACR-CNN；
步骤三：求解目标信息：采用卷积神经网络ACR-CNN提取特征，在光学记忆效应内求解隐藏在噪声和无序散斑中的目标信息；
步骤四：消除干扰信息：在光学记忆效应内，利用自相关作为物理先验知识设计增强网络ACR-1，由含噪声的低质量散斑自相关出发，获得不含噪的高质量自相关，消除噪声影响，通过公式（1）消除噪声和多种散射介质影响，
Figure 209765DEST_PATH_IMAGE001
(1)
式中，
Figure 695104DEST_PATH_IMAGE002
表示增强后的散斑自相关，
Figure 989819DEST_PATH_IMAGE003
表示散斑，★表示计算自相关的过程，
Figure 417258DEST_PATH_IMAGE004
表示待测目标，
Figure 102317DEST_PATH_IMAGE005
表示光学系统的测量噪声；
步骤五：获得原始目标：设计重建网络ACR-2，从高质量无噪声的散斑自相关中重建目标，恢复隐藏在未知噪声和未知散射介质中的目标，通过公式（2）得：
Figure 515981DEST_PATH_IMAGE006
（2）
式中
Figure 274990DEST_PATH_IMAGE007
为由
Figure 14276DEST_PATH_IMAGE008
函数恢复的目标。
2.根据权利要求1所述的基于物理约束和数据驱动的双阶段散射成像方法，其特征在于：所述步骤一中自相关代替散斑作为输入的双阶段成像方法。
3.根据权利要求1所述的基于物理约束和数据驱动的双阶段散射成像方法，其特征在于：所述步骤四中ACR-1基于u型网络结构对低质量的散斑自相关数据进行像素级信息挖掘，所述ACR-1基于残差网络提取有效信息、噪声信息特征、像素级约束函数和全局约束损失函数，获得高质量的散斑自相关。
4.根据权利要求1所述的基于物理约束和数据驱动的双阶段散射成像方法，其特征在于：所述步骤五中ACR-2采用的u型网络包含跳层连接结构，融合低层信息和高层信息，所述ACR-2基于残差网络对高质量的散斑自相关数据进行像素级和语义级挖掘，根据目标数据是非零即一的特征，选用交叉熵作为损失函数，从高质量的自相关数据中求解出原始目标分布。
5.根据权利要求1所述的基于物理约束和数据驱动的双阶段散射成像方法，其特征在于：所述散斑仿真数据获取的散射介质通过双高斯随机矩阵实现，所述散斑仿真数据获取的两次空间自由传输过程通过菲涅尔衍射理论进行仿真，
所述双高斯随机矩阵根据不同的方差模拟不同统计特性的散射介质，并通过在仿真中添加不同方差的高斯噪声模拟不同等级可量化的噪声。
6.根据权利要求1所述的基于物理约束和数据驱动的双阶段散射成像方法，其特征在于：所述散斑系统数据通过实际光学系统采集含噪图像，所述含噪图像包括低曝光引起的探测器噪声以及通过在实验中控制环境干扰光添加不同等级的光子噪声。
CN202011343947.4A 2020-11-26 2020-11-26 基于物理约束和数据驱动的双阶段散射成像方法 Expired - Fee Related CN112150341B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011343947.4A CN112150341B (zh) 2020-11-26 2020-11-26 基于物理约束和数据驱动的双阶段散射成像方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011343947.4A CN112150341B (zh) 2020-11-26 2020-11-26 基于物理约束和数据驱动的双阶段散射成像方法

Publications (2)

Publication Number Publication Date
CN112150341A true CN112150341A (zh) 2020-12-29
CN112150341B CN112150341B (zh) 2021-05-28

Family

ID=73887385

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011343947.4A Expired - Fee Related CN112150341B (zh) 2020-11-26 2020-11-26 基于物理约束和数据驱动的双阶段散射成像方法

Country Status (1)

Country Link
CN (1) CN112150341B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112287571A (zh) * 2020-12-31 2021-01-29 南京理工大学 基于物理驱动的散射泛化成像方法和实验方法
CN112836816A (zh) * 2021-02-04 2021-05-25 南京大学 一种适用于光电存算一体处理单元串扰的训练方法
CN113901963A (zh) * 2021-12-06 2022-01-07 南京理工大学 具有多场景适应性的透过散射介质模块化成像方法
CN113985566A (zh) * 2021-09-10 2022-01-28 西南科技大学 一种基于空间光调制及神经网络的散射光聚焦方法
CN115201615A (zh) * 2022-09-15 2022-10-18 之江实验室 基于物理约束神经网络的非侵入式负荷监测方法及装置
CN115633243A (zh) * 2022-12-01 2023-01-20 南京理工大学 基于传输矩阵理论的透过散射介质泛化成像方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108510467A (zh) * 2018-03-28 2018-09-07 西安电子科技大学 基于深度可变形卷积神经网络的sar图像目标识别方法
CN109345469A (zh) * 2018-09-07 2019-02-15 苏州大学 一种基于条件生成对抗网络的oct成像中散斑去噪方法
CN109459852A (zh) * 2019-01-07 2019-03-12 史丽 一种基于神经网络的散射介质光学成像方法
CN111563562A (zh) * 2020-07-16 2020-08-21 南京理工大学 基于卷积神经网络的单帧散射图像的彩色目标重建方法
CN111739117A (zh) * 2020-07-20 2020-10-02 南京理工大学 基于卷积神经网络对经散射介质后的物体进行成像的方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108510467A (zh) * 2018-03-28 2018-09-07 西安电子科技大学 基于深度可变形卷积神经网络的sar图像目标识别方法
CN109345469A (zh) * 2018-09-07 2019-02-15 苏州大学 一种基于条件生成对抗网络的oct成像中散斑去噪方法
CN109459852A (zh) * 2019-01-07 2019-03-12 史丽 一种基于神经网络的散射介质光学成像方法
CN111563562A (zh) * 2020-07-16 2020-08-21 南京理工大学 基于卷积神经网络的单帧散射图像的彩色目标重建方法
CN111739117A (zh) * 2020-07-20 2020-10-02 南京理工大学 基于卷积神经网络对经散射介质后的物体进行成像的方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
LINLI XU 等: "An efficient CNN to realize speckle correlation imaging based on cloud-edge for Cyber-Physical-Social-System", 《IEEE ACCESS》 *
MEIHUA LIAO等: "Real-time imaging through moving scattering layers via a two-step deep learning strategy", 《SPIE PHOTONICS EUROPE》 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112287571A (zh) * 2020-12-31 2021-01-29 南京理工大学 基于物理驱动的散射泛化成像方法和实验方法
CN112836816A (zh) * 2021-02-04 2021-05-25 南京大学 一种适用于光电存算一体处理单元串扰的训练方法
CN112836816B (zh) * 2021-02-04 2024-02-09 南京大学 一种适用于光电存算一体处理单元串扰的训练方法
CN113985566A (zh) * 2021-09-10 2022-01-28 西南科技大学 一种基于空间光调制及神经网络的散射光聚焦方法
CN113985566B (zh) * 2021-09-10 2023-09-12 西南科技大学 一种基于空间光调制及神经网络的散射光聚焦方法
CN113901963A (zh) * 2021-12-06 2022-01-07 南京理工大学 具有多场景适应性的透过散射介质模块化成像方法
CN115201615A (zh) * 2022-09-15 2022-10-18 之江实验室 基于物理约束神经网络的非侵入式负荷监测方法及装置
CN115201615B (zh) * 2022-09-15 2022-12-20 之江实验室 基于物理约束神经网络的非侵入式负荷监测方法及装置
CN115633243A (zh) * 2022-12-01 2023-01-20 南京理工大学 基于传输矩阵理论的透过散射介质泛化成像方法
CN115633243B (zh) * 2022-12-01 2023-08-04 南京理工大学 基于传输矩阵理论的透过散射介质泛化成像方法

Also Published As

Publication number Publication date
CN112150341B (zh) 2021-05-28

Similar Documents

Publication Publication Date Title
CN112150341B (zh) 基于物理约束和数据驱动的双阶段散射成像方法
CN111709895A (zh) 基于注意力机制的图像盲去模糊方法及系统
Ubhi et al. Neural style transfer for image within images and conditional GANs for destylization
CN110675326B (zh) 基于U-Net网络的计算鬼成像重建恢复的方法
CN111739117A (zh) 基于卷积神经网络对经散射介质后的物体进行成像的方法
CN111563562B (zh) 基于卷积神经网络的单帧散射图像的彩色目标重建方法
CN110738622A (zh) 基于多尺度卷积的轻量级神经网络单图像去雾方法
CN111696049A (zh) 基于深度学习的水下扭曲图像重建方法
CN116596792B (zh) 一种面向智能船舶的内河雾天场景恢复方法、系统及设备
CN113129232A (zh) 一种基于深度卷积生成对抗网络的弱光散斑成像恢复方法
Qian et al. FAOD‐Net: a fast AOD‐Net for dehazing single image
CN114187191B (zh) 一种基于高频-低频信息融合的图像去模糊方法
CN111429378A (zh) 基于深度神经网络和偏振成像的浑浊水下灰度图像复原方法
CN114894740A (zh) 一种太赫兹单像素成像方法与系统
Zhang et al. Iterative multi‐scale residual network for deblurring
CN117036182A (zh) 一种单幅图像去雾方法及系统
CN116703750A (zh) 基于边缘注意力和多阶微分损失的图像去雾方法及系统
Wan et al. Progressive convolutional transformer for image restoration
Li et al. Lightweight neural network for enhancing imaging performance of under-display camera
CN114119428A (zh) 一种图像去模糊方法和装置
Wang et al. Real-World Atmospheric Turbulence Correction via Domain Adaptation
CN109596069A (zh) 基于扭曲光栅和编码孔径的物体相位恢复方法
CN111861907B (zh) 一种高动态范围激光焦斑图像的去噪方法
Lin et al. Simulating motion blur and exposure time and evaluating its effect on image quality
CN116228572A (zh) 一种基于Transformer和CNN的散射成像装置系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20210528

Termination date: 20211126