CN116228572A - 一种基于Transformer和CNN的散射成像装置系统 - Google Patents

一种基于Transformer和CNN的散射成像装置系统 Download PDF

Info

Publication number
CN116228572A
CN116228572A CN202310086904.XA CN202310086904A CN116228572A CN 116228572 A CN116228572 A CN 116228572A CN 202310086904 A CN202310086904 A CN 202310086904A CN 116228572 A CN116228572 A CN 116228572A
Authority
CN
China
Prior art keywords
image
speckle
cnn
transducer
speckle image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310086904.XA
Other languages
English (en)
Inventor
沈丽华
戚伯特
米仕轩
王国臣
陈瑞品
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Sci Tech University ZSTU
Original Assignee
Zhejiang Sci Tech University ZSTU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Sci Tech University ZSTU filed Critical Zhejiang Sci Tech University ZSTU
Priority to CN202310086904.XA priority Critical patent/CN116228572A/zh
Publication of CN116228572A publication Critical patent/CN116228572A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0012—Optical design, e.g. procedures, algorithms, optimisation routines
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/48—Laser speckle optics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00—Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Optics & Photonics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于Transformer和CNN的散射成像装置系统，包括散斑图像采集装置、深度学习图像复原方法和散斑图像复原方法，所述散斑图像采集装置包括激光器、透镜A、透镜B、空间光调制器、目标图像、物镜、散射介质、物镜、物镜、CMOS相机和电脑，所述空间光调制器和CMOS相机的输出端通过导线连接电脑并通过Matlab程序同时控制连续拍照收集的散斑图像，所述散斑图复原系统包括基于PyTorch框架的基于Transformer和CNN的散斑图复原网络。以往通过深度学习进行散射成像的方法中，主要依靠卷积神经网络进行散斑图像重建，卷积神经网络性能卓越，特征提取能力十分出众。

Description

一种基于Transformer和CNN的散射成像装置系统
技术领域
本发明涉及计算光学成像领域和散射成像技术领域，特别涉及一种基于Transformer和CNN的散射成像装置系统。
背景技术
当光透过不均匀散射介质时，由于散射介质的影响，无法清晰成像，例如在浑浊水下、雨天、雾天无法看清目标物，因此透过散射介质实现清晰成像是个需要解决的问题传统的实现散射图像复原技术主要基于物理方法实现，包括波前整形技术、光学相位共轭、光学传输矩阵等技术，但是这些技术存在计算量大，移值性差且恢复性差等缺点，为了克服这些缺点，深度学习方法被引入来解决散斑图像复原问题，光透过散射介质的散射过程是一个确定的过程，经过多次散射得到的输出光场仍然保留了入射光场的信息，神经网络依靠强大的数据挖掘能力可以学习出输入光场和输出光场之间的复杂关系并实现散斑图案的重建。
现有的基于深度学习的散射成像装置系统存在以下缺点：以往通过深度学习进行散射成像的方法中，主要依靠卷积神经网络进行散斑图像重建，卷积神经网络性能卓越，特征提取能力十分出众，但也存在一些局限性，如在提取非局部特征方面能力不足。为此，我们提出一种基于Transformer和CNN的散射成像装置系统。
发明内容
本发明的主要目的在于提供一种基于Transformer和CNN的散射成像装置系统，可以有效解决背景技术中的问题。
为实现上述目的，本发明采取的技术方案为：
一种基于Transformer和CNN的散射成像装置系统，包括散斑图像采集装置、深度学习图像复原方法和散斑图像复原方法，所述散斑图像采集装置包括激光器、透镜A、透镜B、空间光调制器、目标图像、物镜、散射介质、物镜、物镜、CMOS相机和电脑，所述空间光调制器和CMOS相机的输出端通过导线连接电脑并通过Matlab程序同时控制连续拍照收集的散斑图像，所述散斑图复原系统包括基于PyTorch框架的基于Transformer和CNN的散斑图复原网络。
进一步的；在PyTorch基础上搭建基于Transformer和CNN的散斑图复原网络，包括以下步骤：
步骤1、图像输入到网络后，分别进入到CNN编码路径和Transformer编码路径中，输入大小为x∈RH×W×C，其中H,W表示图片长和宽，C表示图片通道数；
步骤2、在CNN编码路径中，包含4个子模块，每个子模块包含2个3×3卷积、Relu激活函数和2×2的最大池化层进行下采样；
步骤3、在Transformer编码路径中，将输入大小为x∈RH×W×C的散斑图像分成维度为P×P的N个patch，即
Figure BDA0004069071140000021
为了保持位置信息，将这些patch投影到一个K维的嵌入空间中，并添加了一个用于patch嵌入的位置嵌入Wpos以保留每个patch的空间信息，patch嵌入的公式为:
Figure BDA0004069071140000022
其中
Figure BDA0004069071140000023
表示patch的投影嵌入，然后，使用包含多头自注意(MSA)和多层感知器的Transformer模块来学习全局上下文表示，MSA层由M个平行的自注意头部组成，以缩放嵌入的Patch,MLP模块则学习长距离上下文依赖性，其中MSA和MLP的公式表示为：ti ′＝MSA(Norm(ti-1))+ti-1，ti＝MLP(Norm(ti ′)+ti ′，其中Norm()表示层归一化[25]，ti ′和ti为Transformer编码第i层的MSA和MLP的输出表示；
步骤4、在两个编码路径后，CNN的编码信息与来自Transformer编码后的信息通过加法路径相加融合进入解码器中，解码器由4个子模块组成，每个子模块包含2×2反卷积、2个3×3卷积和Relu激活函数从而进行特征上采样，将特征解码为高分辨率图像；
步骤5、损失函数设置为负皮尔逊相关系数(NPCC)，其公式为：
Figure BDA0004069071140000024
式中，M(i,j)表示网络复原的图像，N(i,j)表示原始目标，
Figure BDA0004069071140000025
和
Figure BDA0004069071140000026
表示网络复原的图像和原始目标的均值。
进一步的；Transformer和CNN的散射成像装置系统，包括以下步骤：
步骤1、采集散斑图像，将MNIST手写数字图用于采集散斑图像作为目标图像，上采样到1024×1024后显示在空间光调制器上，携带了物体信息的SLM出射光通过散射介质并由CMOS相机采集散斑图像；
步骤2、建立数据集，首先将采集到的散斑图像进行处理，截取中心方形区域以保留有用的散斑信息，并更改大小到256×256作为网络模型的输入图像，将MNIST手写数字图上采样到256×256作为数据集的标签图，将得到的图像按0.8：0.1：0.1的比例分为训练集，验证集，测试集；
步骤3、将散斑图像作为输入图，目标图像作为标签图输入网络中训练，得到图像复原网络的权重文件，再将散斑图像输入到训练好的权重文件中进行测试，重建出目标图像。
与现有技术相比，本发明具有如下有益效果：
1.本发明能够对散斑图像进行有效复原，且复原图像质量较高，对图像细节部分恢复得较好，为了评估网络对光散斑图像的复原效果，使用峰值信噪比和结构相似性衡量网络复原效果。
2.以往通过深度学习进行散射成像的方法中，主要依靠卷积神经网络进行散斑图像重建，卷积神经网络性能卓越，特征提取能力十分出众，基于Transformer和CNN的散射成像装置系统，方便操作，精度高，实用性强，效果显著，适合广泛推广使用。
附图说明
图1为本发明一种基于Transformer和CNN的散射成像装置系统的整体流程图。
图2为本发明一种基于Transformer和CNN的散射成像装置系统的光学装置示意图。
图3为本发明一种基于Transformer和CNN的散射成像装置系统的散斑图像复原网络示意图。
图4为本发明一种基于Transformer和CNN的散射成像装置系统的效果图。
图中：1、激光器；2、透镜A；3、透镜B；4、空间光调制器；5、目标图像；6、物镜；7、电脑；8、散射介质；9、物镜；10、CMOS相机；11、散斑图像。
具体实施方式
为使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体实施方式，进一步阐述本发明。
如图1-4所示；一种基于Transformer和CNN的散射成像装置系统，包括散斑图像采集装置、深度学习图像复原方法和散斑图像复原方法，所述散斑图像采集装置包括激光器1、透镜A2、透镜B3、空间光调制器4、目标图像5、物镜6、散射介质8、物镜6、物镜9、CMOS相机10和电脑7，所述空间光调制器4和CMOS相机10的输出端通过导线连接电脑7并通过Matlab程序同时控制连续拍照收集的散斑图像11，所述散斑图复原系统包括基于PyTorch框架的基于Transformer和CNN的散斑图复原网络。
其中；在PyTorch基础上搭建基于Transformer和CNN的散斑图复原网络，包括以下步骤：
步骤1、图像输入到网络后，分别进入到CNN编码路径和Transformer编码路径中，输入大小为x∈RH×W×C，其中H,W表示图片长和宽，C表示图片通道数；
步骤2、在CNN编码路径中，包含4个子模块，每个子模块包含2个3×3卷积、Relu激活函数和2×2的最大池化层进行下采样；
步骤3、在Transformer编码路径中，将输入大小为x∈RH×W×C的散斑图像11分成维度为P×P的N个patch，即
Figure BDA0004069071140000041
为了保持位置信息，将这些patch投影到一个K维的嵌入空间中，并添加了一个用于patch嵌入的位置嵌入Wpos以保留每个patch的空间信息，patch嵌入的公式为:
Figure BDA0004069071140000042
其中
Figure BDA0004069071140000043
表示patch的投影嵌入，然后，使用包含多头自注意(MSA)和多层感知器MLP的Transformer模块来学习全局上下文表示，MSA层由M个平行的自注意头部组成，以缩放嵌入的Patch,MLP模块则学习长距离上下文依赖性，其中MSA和MLP的公式表示为：ti ′＝MSA(Norm(ti-1))+ti-1，ti＝MLP(Norm(ti ′)+ti ′，其中Norm()表示层归一化[25]，ti ′和ti为Transformer编码第i层的MSA和MLP的输出表示；
步骤4、在两个编码路径后，CNN的编码信息与来自Transformer编码后的信息通过加法路径相加融合进入解码器中，解码器由4个子模块组成，每个子模块包含2×2反卷积、2个3×3卷积和Relu激活函数从而进行特征上采样，将特征解码为高分辨率图像；
步骤5、损失函数设置为负皮尔逊相关系数(NPCC)，其公式为：
Figure BDA0004069071140000044
式1中，M(i,j)表示网络复原的图像，N(i,j)表示原始目标，
Figure BDA0004069071140000045
和
Figure BDA0004069071140000046
表示网络复原的图像和原始目标的均值。
其中；Transformer和CNN的散射成像装置系统，包括以下步骤：
步骤1、采集散斑图像11，将MNIST手写数字图用于采集散斑图像11作为目标图像5，上采样到1024×1024后显示在空间光调制器4上，携带了物体信息的SLM出射光通过散射介质8并由CMOS相机10采集散斑图像11；
步骤2、建立数据集，首先将采集到的散斑图像11进行处理，截取中心方形区域以保留有用的散斑信息，并更改大小到256×256作为网络模型的输入图像，将MNIST手写数字图上采样到256×256作为数据集的标签图，将得到的图像按0.8：0.1：0.1的比例分为训练集，验证集，测试集；
步骤3、将散斑图像11作为输入图，目标图像5作为标签图输入网络中训练，得到图像复原网络的权重文件，再将散斑图像11输入到训练好的权重文件中进行测试，重建出目标图像。
需要说明的是，本发明为一种基于Transformer和CNN的散射成像装置系统，工作时，在Transformer编码路径中，将输入大小为x∈RH×W×C的散斑图像11分成维度为P×P的N个patch，即
Figure BDA0004069071140000051
为了保持位置信息，将这些patch投影到一个K维的嵌入空间中，并添加了一个用于patch嵌入的位置嵌入Wpos以保留每个patch的空间信息，patch嵌入的公式为:
Figure BDA0004069071140000052
其中
Figure BDA0004069071140000053
表示patch的投影嵌入，然后，使用包含多头自注意(MSA)和多层感知器MLP的Transformer模块来学习全局上下文表示，MSA层由M个平行的自注意头部组成，以缩放嵌入的Patch,MLP模块则学习长距离上下文依赖性，其中MSA和MLP的公式表示为：ti ′＝MSA(Norm(ti-1))+ti-1，ti＝MLP(Norm(ti ′)+ti ′，其中Norm()表示层归一化[25]，ti ′和ti为Transformer编码第i层的MSA和MLP的输出表示，在两个编码路径后，CNN的编码信息与来自Transformer编码后的信息通过加法路径相加融合进入解码器中，解码器由4个子模块组成，每个子模块包含2×2反卷积、2个3×3卷积和Relu激活函数从而进行特征上采样，将特征解码为高分辨率图像，以往通过深度学习进行散射成像的方法中，主要依靠卷积神经网络进行散斑图像重建，卷积神经网络性能卓越，特征提取能力十分出众，基于Transformer和CNN的散射成像装置系统，方便操作，精度高，实用性强，效果显著，适合广泛推广使用。
以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (3)

1.一种基于Transformer和CNN的散射成像装置系统，包括散斑图像采集装置、深度学习图像复原方法和散斑图像复原方法，其特征在于：所述散斑图像采集装置包括激光器(1)、透镜A(2)、透镜B(3)、空间光调制器(4)、目标图像(5)、物镜(6)、散射介质(8)、物镜(6)、物镜(9)、CMOS相机(10)和电脑(7)，所述空间光调制器(4)和CMOS相机(10)的输出端通过导线连接电脑(7)并通过Matlab程序同时控制连续拍照收集的散斑图像(11)，所述散斑图复原系统包括基于PyTorch框架的基于Transformer和CNN的散斑图复原网络。
2.根据权利要求1所述的一种基于Transformer和CNN的散射成像装置系统的深度学习图像复原方法，其特征在于：在PyTorch基础上搭建基于Transformer和CNN的散斑图复原网络，包括以下步骤：
步骤1、图像输入到网络后，分别进入到CNN编码路径和Transformer编码路径中，输入大小为x∈RH×W×C，其中H,W表示图片长和宽，C表示图片通道数；
步骤2、在CNN编码路径中，包含4个子模块，每个子模块包含2个3×3卷积、Relu激活函数和2×2的最大池化层进行下采样；
步骤3、在Transformer编码路径中，将输入大小为x∈RH×W×C的散斑图像(11)分成维度为P×P的N个patch，即
Figure FDA0004069071130000015
为了保持位置信息，将这些patch投影到一个K维的嵌入空间中，并添加了一个用于patch嵌入的位置嵌入Wpos以保留每个patch的空间信息，patch嵌入的公式为:
Figure FDA0004069071130000011
其中
Figure FDA0004069071130000016
表示patch的投影嵌入，然后，使用包含多头自注意(MSA)和多层感知器(MLP)的Transformer模块来学习全局上下文表示，MSA层由M个平行的自注意头部组成，以缩放嵌入的Patch,MLP模块则学习长距离上下文依赖性，其中MSA和MLP的公式表示为：ti ′＝MSA(Norm(ti-1))+ti-1，ti＝MLP(Norm(ti ′)+ti ′，其中Norm()表示层归一化[25]，ti ′和ti为Transformer编码第i层的MSA和MLP的输出表示；
步骤4、在两个编码路径后，CNN的编码信息与来自Transformer编码后的信息通过加法路径相加融合进入解码器中，解码器由4个子模块组成，每个子模块包含2×2反卷积、2个3×3卷积和Relu激活函数从而进行特征上采样，将特征解码为高分辨率图像；
步骤5、损失函数设置为负皮尔逊相关系数(NPCC)，其公式为：
Figure FDA0004069071130000012
式(1)中，M(i,j)表示网络复原的图像，N(i,j)表示原始目标，
Figure FDA0004069071130000013
和
Figure FDA0004069071130000014
表示网络复原的图像和原始目标的均值。
3.根据权利要求1所述的一种基于Transformer和CNN的散射成像装置系统的散斑图像复原方法，其特征在于：Transformer和CNN的散射成像装置系统，包括以下步骤：
步骤1、采集散斑图像(11)，将MNIST手写数字图用于采集散斑图像(11)作为目标图像(5)，上采样到1024×1024后显示在空间光调制器(4)上，携带了物体信息的SLM出射光通过散射介质(8)并由CMOS相机(10)采集散斑图像(11)；
步骤2、建立数据集，首先将采集到的散斑图像(11)进行处理，截取中心方形区域以保留有用的散斑信息，并更改大小到256×256作为网络模型的输入图像，将MNIST手写数字图上采样到256×256作为数据集的标签图，将得到的图像按0.8：0.1：0.1的比例分为训练集，验证集，测试集；
步骤3、将散斑图像(11)作为输入图，目标图像(5)作为标签图输入网络中训练，得到图像复原网络的权重文件，再将散斑图像(11)输入到训练好的权重文件中进行测试，重建出目标图像。
CN202310086904.XA 2023-02-09 2023-02-09 一种基于Transformer和CNN的散射成像装置系统 Pending CN116228572A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310086904.XA CN116228572A (zh) 2023-02-09 2023-02-09 一种基于Transformer和CNN的散射成像装置系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310086904.XA CN116228572A (zh) 2023-02-09 2023-02-09 一种基于Transformer和CNN的散射成像装置系统

Publications (1)

Publication Number Publication Date
CN116228572A true CN116228572A (zh) 2023-06-06

Family

ID=86579990

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310086904.XA Pending CN116228572A (zh) 2023-02-09 2023-02-09 一种基于Transformer和CNN的散射成像装置系统

Country Status (1)

Country Link
CN (1) CN116228572A (zh)

Similar Documents

Publication Publication Date Title
Zamir et al. Learning enriched features for fast image restoration and enhancement
Wu et al. Dense deep unfolding network with 3D-CNN prior for snapshot compressive imaging
CN111709895A (zh) 基于注意力机制的图像盲去模糊方法及系统
Ye et al. CSformer: Bridging convolution and transformer for compressive sensing
CN116071243B (zh) 一种基于边缘增强的红外图像超分辨率重建方法
CN110675326A (zh) 基于U-Net网络的计算鬼成像重建恢复的方法
CN113762460B (zh) 基于数值散斑的多模光纤传输图像迁移重构算法
CN110650340B (zh) 一种时空复用的压缩视频成像方法
CN110225260B (zh) 一种基于生成对抗网络的立体高动态范围成像方法
CN112150341B (zh) 基于物理约束和数据驱动的双阶段散射成像方法
WO2023193461A1 (zh) 一种太赫兹单像素成像方法与系统
WO2023138629A1 (zh) 加密图像信息获取装置及方法
WO2023109719A1 (zh) 一种太赫兹单像素超分辨成像方法和系统
CN111415303B (zh) 基于深度学习的波带片编码孔径成像方法及装置
CN116385283A (zh) 一种基于事件相机的图像去模糊方法及系统
Zheng et al. Double-branch dehazing network based on self-calibrated attentional convolution
CN117408924A (zh) 一种基于多重语义特征融合网络的低光照图像增强方法
Ancuti et al. NTIRE 2023 HR nonhomogeneous dehazing challenge report
Shi et al. Rapid all-in-focus imaging via physical neural network optical encoding
Peng et al. Raune-Net: a residual and attention-driven underwater image enhancement method
Li et al. Image de-occlusion via event-enhanced multi-modal fusion hybrid network
CN114202473A (zh) 一种基于多尺度特征和注意力机制的图像复原方法及装置
Bae et al. Lensless imaging with an end-to-end deep neural network
Sun et al. Double‐flow convolutional neural network for rapid large field of view Fourier ptychographic reconstruction
Xu et al. Swin transformer and ResNet based deep networks for low-light image enhancement

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination