CN113379614A - 基于Resnet网络的计算鬼成像重建恢复方法 - Google Patents

基于Resnet网络的计算鬼成像重建恢复方法 Download PDF

Info

Publication number
CN113379614A
CN113379614A CN202110346568.9A CN202110346568A CN113379614A CN 113379614 A CN113379614 A CN 113379614A CN 202110346568 A CN202110346568 A CN 202110346568A CN 113379614 A CN113379614 A CN 113379614A
Authority
CN
China
Prior art keywords
network
ghost imaging
recovery method
resnet
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110346568.9A
Other languages
English (en)
Inventor
隋连升
李思齐
张力文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian University of Technology
Original Assignee
Xian University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian University of Technology filed Critical Xian University of Technology
Priority to CN202110346568.9A priority Critical patent/CN113379614A/zh
Publication of CN113379614A publication Critical patent/CN113379614A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于Resnet网络进行鬼成像恢复的方法，首先基于MNSIT数据集，通过用Hadamard矩阵做为改进随机相位掩模来得到计算鬼成像，其次对Resnet网络的结构进行了调整，在原有的基础上添加了instance layer和增加了网络的深度、特征层的深度，并运用大量的计算鬼成像图像和它们的原始图像对网络进行训练，最后在测试集中得到了实验的泛化效果。该方法可以有效的提高计算鬼成像的重建效果，并提高重建速度。

Description

基于Resnet网络的计算鬼成像重建恢复方法
技术领域
本发明属于量子成像和人工智能领域，尤其涉及基于Resnet网 络的计算鬼成像重建恢复方法。
背景技术
近年来鬼成像的重建恢复得到广泛的关注。计算鬼成像是一种经 典的光场鬼成像，它利用计算全息技术产生已知的关联光场，省去了 探测光场分布的空闲光路，使得光学系统结构更为简单，抵抗外界的 干扰能力更强，像的重建更高效。计算鬼成像不仅继承了鬼成像在成 像原理方面的重要特性，而且相比双光子对鬼成像和赝热源鬼成像， 对其研究具有更为重要的实际应用价值。鬼成像技术目前正从实验研 究逐步走向实际应用，在诸多领域体现出重要的应用价值，如高分辨 光刻、密码技术、隐身技术、雷达成像等。
鬼成像的恢复传统方法是通过压缩感知进行恢复的。压缩感知采 用了低维的观测方法，利用信号的稀疏特性(即信号的少量线性投影 包含了重构的足够信息)，其信号的重构过程就是将观测向量Y在 对应的测量矩阵中获得稀疏分解的过程，所要解的信号X就是该分 解的系数向量。压缩鬼成像技术可以在测量数据较小的前提下更好的 重构出目标图像，它允许一个包含N2个像素点的图像的测量次数小 于N2次，如果将随机散斑强度函数Ii(x,y)转换为行向量，表示为Iri， 将目标图像的分布函数为w(x,y)转换为列向量Tc，那么由桶探测器接 收的光照强度Bi可以表示为：
Bi＝Ici×Tc(1)
为了从测量值中重构出原始图像信息，求解稀疏解的最优化问题 必须解决，换句话说，如果列向量Tc是稀疏的，那么采用重构算法将 可以从行向量Iri以及光照强度Bi中恢复出Tc。目前，很多有效的方法 被提出来解决这个问题，如匹配追踪(MP)、正交匹配追踪(OMP)、 SL0算法等。
自2012年起,卷积神经网络(convolutional neural networks, CNN)在图像处理领域发展迅猛,突破了很多传统方法无法解决的瓶 颈,在很多行业得到了成功应用。Long等(2014)将CNN结构改造 成全卷积神经网络,通过卷积和反卷积过程完成对每个像素的分类,提 出全卷积神经网络(fully convolutional networks,FCN)的图像语义分 割算法,使图像分割效果取得了突破性进展。但FCN由于多次下采 样导致对图像中的细节不够敏感,且没有充分考虑像素与像素之间的 关系,缺乏空间一致性。U-Net是Ronneberger等(2015)在参加ISBI 竞赛时提出的一种分割网络，该网络结构在上采样过程中采用了融合多尺度特征的方式,能够较好地保留图像的细节特征,同时其网络结构 小，不但可以适应很小的训练集,而且网络训练和预测的速度都比较 快。常规的深度学习网络在很深的时候会出现梯度消失现象，网络训 练效果变差，但是浅层网络识别效果无法明显提高。
发明内容
本发明提供了基于Resnet网络的计算鬼成像重建恢复方法，能 够有效的提高计算鬼成像的重建效果，并提高重建速度。
本发明的技术方案是，基于Resnet网络的计算鬼成像重建恢复 方法，首先基于MNSIT数据集，通过用Hadamard矩阵做为改进随 机相位掩模来得到计算鬼成像，其次对残差网络的结构进行了调整， 通在原有的基础上添加了instance layer和增加了网络的深度、特征层 的深度，并运用计算鬼成像图像和它们的原始图像对网络进行训练， 最后在测试集中得到了实验的泛化效果。
具体步骤如下：
步骤1，获取MNSIT数据集，按照全连接的结构得到MNSIT数 据集的鬼成像图像数据集；
步骤2，通过步骤一将MNSIT数据集做成我们需要的数据集， 在这些数据集上我们分别训练Resnet网络；
步骤3，通过基于像素的空间注意力机制进行多尺度特征融合；
步骤4，在测试集上测试数据，并对比结果，我们可以将随机相 位掩模的个数减少到5％。
步骤1中：鬼成像O(x,y)结果通过以下公式表示：
O(x,y)＝<δSδIr(x,y)> (2)，
公式(2)中<·>为系综平均，
Figure BDA0003001001960000031
Figure BDA0003001001960000032
公式(3)中Br可以通过桶探测器得出，
Figure BDA0003001001960000041
公式(5)中z表示光的传播距离，λ是激光的波长，Er是SLM的复 振幅。
Figure BDA0003001001960000042
公式(6)中
Figure BDA0003001001960000043
是随机相位掩模。这里我们的随机相位掩模由 随机Hadamard矩阵生成。
Figure BDA0003001001960000044
最后鬼成像O(x,y)的结果由公式(7)表示。
步骤2中：在步骤一的到的数据集上训练Resnet网络,基于 Resnet网络的计算鬼成像重建恢复方法其过程是：
将输入的x进行卷积处理，Conv模块为卷积模块，此模块中包 含了一个卷积层，一个normalization层和一个激活函数，先对输入 进行卷积操作，再进行一个正则化，最后使用激活函数，循环该上述 操作就是该模块过程。
激活函数都为relu函数。
步骤2中：其中正则化normalization的公式为
Figure BDA0003001001960000045
其中γ和β都是超参数。
步骤2中：由于非常深的网络很难训练，存在梯度消失和梯度爆 炸问题，学习skipconnection它可以从某一层获得激活，然后迅速反 馈给另外一层甚至更深层，使用skipconnection来构建残差网络Resnet来训练更深的网络；skip connection是通过concat方式连接 的相邻的网络层。
步骤3中：首先通过全局池化将物体的原始特征映射到低维上并 对每个特征进行特征表示，通过低维特征的自适应选择来选取感兴趣 的特征层，将得到的感兴趣的特征层和原始特征的低维抽象的物体遮 面相结合，得到自适应选择的感兴趣的物体遮面，其次，选取通过注 意力机制选取感兴趣的像素级遮罩，通过这两部分，可以对不同特征 的每一个像素进行定位和选取，最后对原始特征进行空间像素级聚焦。
本发明基于Resnet网络的计算鬼成像重建恢复方法，基于Resnet 网络的计算鬼成像重建恢复方法，首先基于MNSIT数据集，通过用 Hadamard矩阵做为改进随机相位掩模来得到计算鬼成像，其次对残 差网络的结构进行了调整，通在原有的基础上添加了instance layer 和增加了网络的深度、特征层的深度，并运用计算鬼成像图像和它们 的原始图像对网络进行训练，最后在测试集中得到了实验的泛化效果。 该方法可以有效的提高计算鬼成像的重建效果，并提高重建速度。
附图说明
图1是本发明基于Resnet网络的计算鬼成像重建恢复方法采用 的全连接的结构图；
图2是是本发明基于Resnet网络的计算鬼成像重建恢复方法采 用的计算鬼成像的基本装置；
图3是是本发明基于Resnet网络的计算鬼成像重建恢复方法采 用的基于Resnet网络的计算鬼成像重建恢复流程图；
图4是是本发明基于Resnet网络的计算鬼成像重建恢复方法采 用的Resnet网络结构图；
图5是是本发明基于Resnet网络的计算鬼成像重建恢复方法采 用的卷积模块的结构图；
图6是是本发明基于Resnet网络的计算鬼成像重建恢复方法采 用的基于像素的空间注意力机制的结构；
图7是是本发明基于Resnet网络的计算鬼成像重建恢复方法采 用的不同方法得到的鬼成像的图像，其中N为随机相位掩模的个数；
图8是是本发明基于Resnet网络的计算鬼成像重建恢复方法实 施例测试集中选取的通过5％随机相位掩模得到的鬼成像结果得到的 重建图像结果，最左边为网络的输入，中间的为真值，右边的为重建 结果。
具体实施方式
下面结合附图和具体实施方式对本发明进行详细说明。
步骤1，按照如图1所示的装置得到鬼成像图像。
鬼成像O(x,y)结果通过以下公式表示： O(x,y)＝<δSδIr(x,y)> (2)，公式(2)中<·>为系综平均，
Figure BDA0003001001960000061
Figure BDA0003001001960000062
公式(3)中Br可以通过桶探测器得出，
Figure BDA0003001001960000063
公式(5) 中z表示光的传播距离，λ是激光的波长，Er是SLM的复振幅。
Figure BDA0003001001960000064
公式(6)中
Figure BDA0003001001960000065
是随机相位掩模。这里我 们的随机相位掩模由随机Hadamard矩阵生成。
Figure BDA0003001001960000066
Figure BDA0003001001960000071
最后鬼成像的结果 由公式(7)表示。
步骤2，通过步骤1将MNSIT数据集做成我们需要的数据集， 在这些数据集上我们分别训练Resnet网络,Resnet的网络结构如图4 所示。
图中每个Conv模块包含了一个卷积层，一个normalization层 和一个激活函数，这里的激活函数都为relu函数。其中正则化 normalization的公式为
Figure BDA0003001001960000072
其中γ和 β都是超参数。图中的skipconnection是通过concat方式连接的，保 证了我们在进行深层卷积操作的时候丢失太多信息。
步骤3，通过基于像素的空间注意力机制进行多尺度特征融合， 如图6所示，首先通过全局池化将物体的原始特征映射到低维上并对 每个特征进行特征表示，这一阶段通过低维特征的自适应选择来选取 感兴趣的特征层，将得到的感兴趣的特征层和原始特征的低维抽象的 物体遮面相结合，得到自适应选择的感兴趣的物体遮面，再此基础上， 选取通过注意力机制选取感兴趣的像素级遮罩，通过这两部分，可以 对不同特征的每一个像素进行定位和选取，最后对原始特征进行空间 像素级聚焦。
步骤4，在测试集上测试数据，并对比结果。
通过运用上述方法，我们可以将随机相位掩模的个数减少到5％ 并得到很好的结果。
实施例
首先通过Hadamard矩阵作为改进的随机相位掩膜，通过改变随 机相位掩膜的个数获得不同组网络的训练数据，之后我们将每组训练 集分为两类，首先训练集是60000张，测试集10000张，然后我们运 用每组网络的训练数据中的训练集进行网络的训练，验证集对超参数 进行训练，最后在测试集中验证网络的泛化效果。
具体包括以下步骤：
步骤1，按照如图1所示的装置得到鬼成像图像。
鬼成像O(x,y)结果通过以下公式表示： O(x,y)＝<δSδIr(x,y)> (2)，公式(2)中<·>为系综平均，
Figure BDA0003001001960000081
Figure BDA0003001001960000082
公式(3)中Br可以通过桶探测器得出，
Figure BDA0003001001960000083
公式(5) 中z表示光的传播距离，λ是激光的波长，Er是SLM的复振幅。
Figure BDA0003001001960000084
公式(6)中
Figure BDA0003001001960000085
是随机相位掩模。这里我 们的随机相位掩模由随机Hadamard矩阵生成。
Figure BDA0003001001960000086
Figure BDA0003001001960000087
最后鬼成像的结果 由公式(7)表示。得到的结果在图5中展示，可以看到但采样率相同 的时候基于随机哈达玛矩阵的鬼成像的结果要明显优于基于随机相 位掩模的结果，当采样数为430的基于随机哈达玛矩阵矩阵的结果和 基于随机矩阵采样率为784的结果相似。
步骤2，在MNSIT数据集(http://yann.lecun.com/exdb/mnist/)的基 础上通过步骤1得到本网络的数据集，在这个数据集上训练Resnet 网络,基于Resnet网络的计算鬼成像重建恢复流程图如图2所示。
具体过程如下所述：
步骤2.1：将按公式(1)得到的数据集分为训练集60000张，测试 集10000张。
将训练集的60000张数据和测试集的10000张数据生成5％采样 率的鬼成像重建结果。
将训练集的60000张数据和测试集的10000张数据进行低通滤波 处理，具体的处理方法是对原始图像进行高斯低通滤波。
将训练集的60000张数据和测试集的10000张数据进行边缘滤检 测，具体的处理方法是对原始图像运用canny边缘检测算法进行边缘 检测。
步骤2.2：搭建如图3一样的Resnet网络结构，并初始网络中的 所有参数。用Resnet50网络中的前49层为特征提取网络。
将Resnet50分为五个模块并分别保存，将我们的第一个模块进 行卷积操作，其中卷积核大小为7*7，步长为1，再通过最大池化层 进行下采样。
将第一个模块得到的结果保存在layer中。
步骤2.3首先将要输入的图片输入到网络中。
(2.3.1)第一个模块，首先将输入x备份一份叫做short_skip。
对输入x进行卷积模块的操作，其中卷积核的大小为1*1,步长为 1，特征个数为32，再进行一个BN，一个relu。
再对上一步的结果进行卷积模块的操作，其中卷积核的大小为 3*3,步长为1，特征个数为32，再进行一个BN，一个relu。
最后对上一步输出的结果行卷积模块的操作，其中卷积核的大小 为1*1,步长为1，特征个数为64，再进行一个BN，一个relu。
将之前备份的short_skip进行一个卷积模块的操作，其中卷积核 的大小为1*1，步长为1，特征个数为64，再进行一个BN。
将得到的结果和之前三个卷积得到的结果相加，最后进行一个 relu，并将得到结果备份为block_1。
(2.3.2)第二个模块，首先将输入x备份一份叫做short_skip。
对输入x进行卷积模块的操作，其中卷积核的大小为1*1,步长为 1，特征个数为64，再进行一个BN，一个relu。
再对上一步的结果进行卷积模块的操作，其中卷积核的大小为 3*3,步长为1，特征个数为64，再进行一个BN，一个relu。
最后对上一步输出的结果行卷积模块的操作，其中卷积核的大小 为1*1,步长为1，特征个数为128，再进行一个BN，一个relu。
将之前备份的short_skip进行一个卷积模块的操作，其中卷积核 的大小为1*1，步长为1，特征个数为128，再进行一个BN。
将得到的结果和之前三个卷积得到的结果相加，最后进行一个 relu，并将得到结果备份为block_2。
(2.3.3)第三个模块，首先将输入x备份一份叫做short_skip。
对输入x进行卷积模块的操作，其中卷积核的大小为1*1,步长为 1，特征个数为64，再进行一个BN，一个relu。
再对上一步的结果进行卷积模块的操作，其中卷积核的大小为 3*3,步长为1，特征个数为64，再进行一个BN，一个relu。
最后对上一步输出的结果行卷积模块的操作，其中卷积核的大小 为1*1,步长为1，特征个数为128，再进行一个BN，一个relu。
将之前备份的short_skip进行一个卷积模块的操作，其中卷积核 的大小为1*1，步长为1，特征个数为128，再进行一个BN。
将得到的结果和之前三个卷积得到的结果相加，最后进行一个 relu，并将得到结果备份为block_3。
(2.3.4)第四个模块，首先将输入x备份一份叫做short_skip。
对输入x进行卷积模块的操作，其中卷积核的大小为1*1,步长为 1，特征个数为256，再进行一个BN，一个relu。
再对上一步的结果进行卷积模块的操作，其中卷积核的大小为 3*3,步长为1，特征个数为256，再进行一个BN，一个relu。
最后对上一步输出的结果行卷积模块的操作，其中卷积核的大小 为1*1,步长为1，特征个数为512，再进行一个BN，一个relu。
将之前备份的short_skip进行一个卷积模块的操作，其中卷积核 的大小为1*1，步长为1，特征个数为512，再进行一个BN。
将得到的结果和之前三个卷积得到的结果相加，最后进行一个 relu，并将得到结果备份为block_4。
(2.3.5)将结果layer,block_1,block_2,block_3,block_4输入到 Pixel-levelSpatial Attention模块中。
步骤2.4：将前面所得特征进行多尺度特征融合。
步骤2.5：将得到的特征进行低频信息重建和边缘信息重建操作， 这一阶段的两个网络框架模型相同，但是分别训练。将通过低频信息
步骤2.6：将上一步得到的5％鬼成像的低频信息和高频信息进行 特征融合，将融合后的结果作为图像重建网络的输入，最后将网络生 成的图像gene和原始图像object的l2损失作为生成网络的loss。
步骤2.7：计算网络总体的损失函数为loss＝10*l2(gene,object)+ L2(gene_Iow_fre,Iow_fre)+L2(gene_high_fre,high_fre)。
在步骤2.3的网络中，描述的卷积模块的操作，如图4所示，具 体描述如下：将输入通过给定参数的卷积层，在进行一个BN正则化 层(normalization layer)，经过BN后，在同一特征层下每个batch的输 出的均值为0方差为1，可以有效的避免梯度消失，并且加快训练的 过程。最后通过一个激活函数层。对于激活函数层，除了最后卷积模 块，其他卷积模块的激活函数层为relu激活函数，最后一个卷积模块 的激活函数层为sigmoid激活函数。
实例正则化的公式为：
Figure BDA0003001001960000121
其 中γ和β都是超参数。
在步骤2.2中运用最大池化对图像进行下采样，我们使用和 max_pooling和步长为2的卷积进行池化，选取pooling_size区域最大 的值，根据步长进行下采样，使用步长为2的卷积是为了避免 max_pooling方法中对信息的丢失。
在Resnet网络的全连接模块，要实现网络的全连接操作将一维数组中 所有的参数进行关联。全连接的公式为a＝WX+b，说明书附图中的图1 为全连接的结构图：
步骤3，通过基于像素的空间注意力机制进行多尺度特征融合， 首先通过全局池化将物体的原始特征映射到低维上并对每个特征进 行特征表示，这一阶段通过低维特征的自适应选择来选取感兴趣的特 征层，将得到的感兴趣的特征层和原始特征的低维抽象的物体遮面相 结合，得到自适应选择的感兴趣的物体遮面，再此基础上，选取通过 注意力机制选取感兴趣的像素级遮罩，通过这两部分，可以对不同特 征的每一个像素进行定位和选取，最后对原始特征进行空间像素级聚 焦。
步骤4，在测试集上测试数据，并对比结果。
通过运用上述方法，我们可以将随机相位掩模的个数减少到5％ 并得到很好的结果。
图7是不同方法得到的鬼成像的图像，其中N为随机相位掩模 的个数，5％相位掩模个数的测试集中重建结果如图8所示，其中第 一张为图像的真值，第二张为基于Hadamard矩阵生成的采样率为5％ 的鬼成像图像，第三张为原始图像的边缘信息，第四张为通过神经网 络训练得到的5％鬼成像重建边缘信息，第五张为原始图像的低频信 息，第六张为通过神经网络训练得到的5％鬼成像重建低频信息。

Claims (8)

1.基于Resnet网络的计算鬼成像重建恢复方法，其特征在于，首先基于MNSIT数据集，通过用Hadamard矩阵做为改进随机相位掩模来得到计算鬼成像，其次对残差网络的结构进行了调整，通在原有的基础上添加了instance layer和增加了网络的深度、特征层的深度，并运用计算鬼成像图像和它们的原始图像对网络进行训练，最后在测试集中得到了实验的泛化效果。
2.根据权利要求1所述的基于Resnet网络的计算鬼成像重建恢复方法，其特征在于，具体步骤如下：
步骤1，获取MNSIT数据集，按照全连接的结构得到MNSIT数据集的鬼成像图像数据集；
步骤2，通过步骤一将MNSIT数据集做成我们需要的数据集，在这些数据集上我们分别训练Resnet网络；
步骤3，通过基于像素的空间注意力机制进行多尺度特征融合；
步骤4，在测试集上测试数据，并对比结果，我们可以将随机相位掩模的个数减少到5％。
3.根据权利要求2所述的基于Resnet网络的计算鬼成像重建恢复方法，其特征在于，所述步骤1中：鬼成像O(x,y)结果通过以下公式表示：
O(x,y)＝<δSδIr(x,y)>(2)，
公式(2)中<·>为系综平均，
Figure FDA0003001001950000011
Figure FDA0003001001950000021
公式(3)中Br可以通过桶探测器得出，
Figure FDA0003001001950000022
公式(5)中z表示光的传播距离，λ是激光的波长，Er是SLM的复振幅。
Figure FDA0003001001950000023
公式(6)中
Figure FDA0003001001950000024
是随机相位掩模。这里我们的随机相位掩模由随机Hadamard矩阵生成。
Figure FDA0003001001950000025
最后鬼成像O(x,y)的结果由公式(7)表示。
4.根据权利要求2所述的基于Resnet网络的计算鬼成像重建恢复方法，其特征在于，所述步骤2中：在步骤一的到的数据集上训练Resnet网络,基于Resnet网络的计算鬼成像重建恢复方法其过程是：
将输入的x进行卷积处理，Conv模块为卷积模块，此模块中包含了一个卷积层，一个normalization层和一个激活函数，先对输入进行卷积操作，再进行一个正则化，最后使用激活函数，循环该上述操作就是该模块过程。
5.根据权利要求4所述的基于Resnet网络的计算鬼成像重建恢复方法，其特征在于，所述激活函数都为relu函数。
6.根据权利要求2所述的基于Resnet网络的计算鬼成像重建恢复方法，其特征在于，所述步骤2中：其中正则化normalization的公式为
Figure FDA0003001001950000031
其中γ和β都是超参数。
7.根据权利要求2所述的基于Resnet网络的计算鬼成像重建恢复方法，其特征在于，所述步骤2中：由于非常深的网络很难训练，存在梯度消失和梯度爆炸问题，学习skipconnection它可以从某一层获得激活，然后迅速反馈给另外一层甚至更深层，使用skipconnection来构建残差网络Resnet来训练更深的网络；skip connection是通过concat方式连接的相邻的网络层。
8.根据权利要求2所述的基于Resnet网络的计算鬼成像重建恢复方法，其特征在于，所述步骤3中：首先通过全局池化将物体的原始特征映射到低维上并对每个特征进行特征表示，通过低维特征的自适应选择来选取感兴趣的特征层，将得到的感兴趣的特征层和原始特征的低维抽象的物体遮面相结合，得到自适应选择的感兴趣的物体遮面，其次，选取通过注意力机制选取感兴趣的像素级遮罩，通过这两部分，可以对不同特征的每一个像素进行定位和选取，最后对原始特征进行空间像素级聚焦。
CN202110346568.9A 2021-03-31 2021-03-31 基于Resnet网络的计算鬼成像重建恢复方法 Pending CN113379614A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110346568.9A CN113379614A (zh) 2021-03-31 2021-03-31 基于Resnet网络的计算鬼成像重建恢复方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110346568.9A CN113379614A (zh) 2021-03-31 2021-03-31 基于Resnet网络的计算鬼成像重建恢复方法

Publications (1)

Publication Number Publication Date
CN113379614A true CN113379614A (zh) 2021-09-10

Family

ID=77570691

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110346568.9A Pending CN113379614A (zh) 2021-03-31 2021-03-31 基于Resnet网络的计算鬼成像重建恢复方法

Country Status (1)

Country Link
CN (1) CN113379614A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115294381A (zh) * 2022-05-06 2022-11-04 兰州理工大学 基于特征迁移和正交先验的小样本图像分类方法及装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115294381A (zh) * 2022-05-06 2022-11-04 兰州理工大学 基于特征迁移和正交先验的小样本图像分类方法及装置
CN115294381B (zh) * 2022-05-06 2023-06-30 兰州理工大学 基于特征迁移和正交先验的小样本图像分类方法及装置

Similar Documents

Publication Publication Date Title
Li et al. Blind image deblurring via deep discriminative priors
Barbastathis et al. On the use of deep learning for computational imaging
CN110675326B (zh) 基于U-Net网络的计算鬼成像重建恢复的方法
Gu et al. Blind image quality assessment via learnable attention-based pooling
Leroux et al. Training binary neural networks with knowledge transfer
Fan et al. Multi-scale depth information fusion network for image dehazing
Ding et al. Kd-mvs: Knowledge distillation based self-supervised learning for multi-view stereo
Zheng et al. Constrained predictive filters for single image bokeh rendering
Pires et al. Image denoising using attention-residual convolutional neural networks
Tan et al. High dynamic range imaging for dynamic scenes with large-scale motions and severe saturation
Yan et al. Smae: Few-shot learning for hdr deghosting with saturation-aware masked autoencoders
Wang et al. Learning to hallucinate face in the dark
CN112270650B (zh) 基于稀疏自编码器的图像处理方法、系统、介质、设备
Wang et al. Tuning-free plug-and-play hyperspectral image deconvolution with deep priors
CN113379614A (zh) 基于Resnet网络的计算鬼成像重建恢复方法
Zhang et al. Dual attention per-pixel filter network for spatially varying image deblurring
Chacon-Murguia et al. Moving object detection in video sequences based on a two-frame temporal information CNN
Liu et al. Dual UNet low-light image enhancement network based on attention mechanism
Guo et al. MDSFE: Multiscale deep stacking fusion enhancer network for visual data enhancement
Hao et al. MLRN: A multi-view local reconstruction network for single image restoration
Chen et al. Optimization and regularization of complex task decomposition for blind removal of multi-factor degradation
Kim et al. Facial image deblurring network for robust illuminance adaptation and key structure restoration
Ji et al. A Motion Deblurring Disentangled Representation Network
Peng et al. RAUNE-Net: A Residual and Attention-Driven Underwater Image Enhancement Method
Li et al. Multi-scale recursive codec network with authority parameters (MRCN-AP) for RFID multi-label deblurring

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination