CN110490818B - 基于cgan的计算鬼成像重建恢复方法 - Google Patents

基于cgan的计算鬼成像重建恢复方法 Download PDF

Info

Publication number
CN110490818B
CN110490818B CN201910671596.0A CN201910671596A CN110490818B CN 110490818 B CN110490818 B CN 110490818B CN 201910671596 A CN201910671596 A CN 201910671596A CN 110490818 B CN110490818 B CN 110490818B
Authority
CN
China
Prior art keywords
image
result
generator
ghost imaging
cgan
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910671596.0A
Other languages
English (en)
Other versions
CN110490818A (zh
Inventor
隋连升
张力文
王战敏
张志强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian University of Technology
Original Assignee
Xian University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian University of Technology filed Critical Xian University of Technology
Priority to CN201910671596.0A priority Critical patent/CN110490818B/zh
Publication of CN110490818A publication Critical patent/CN110490818A/zh
Application granted granted Critical
Publication of CN110490818B publication Critical patent/CN110490818B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开的基于CGAN的计算鬼成像重建恢复方法，首先，获取计算鬼成像得到的MNSIT数据集相对应的基于Hadamard矩阵的鬼成像数据集；然后，搭建CGAN网络模型，将得到的数据集分成测试集和训练集，通训练集数据训练CGAN网络模型；最后，通过验证集验证训练好的CGAN网络模型的输出结果，实现计算鬼成像重建。本发明公开的方法对低采样率的鬼成像结果有更好的重建效果。

Description

基于CGAN的计算鬼成像重建恢复方法
技术领域
本发明属于量子成像和人工智能领域，尤其涉及一种基于ConditionalGenerative Adversarial Networks(CGAN)的计算鬼成像重建恢复方法。
背景技术
近年来鬼成像的重建恢复得到广泛的关注。计算鬼成像是一种经典的光场鬼成像，它利用计算全息技术产生已知的关联光场，省去了探测光场分布的空闲光路，使得光学系统结构更为简单，抵抗外界的干扰能力更强，像的重建更高效。计算鬼成像不仅继承了鬼成像在成像原理方面的重要特性，而且相比双光子对鬼成像和赝热源鬼成像，对其研究具有更为重要的实际应用价值。鬼成像技术目前正从实验研究逐步走向实际应用，在诸多领域体现出重要的应用价值，如高分辨光刻、密码技术、隐身技术、雷达成像等。
鬼成像的恢复传统方法是通过压缩感知进行恢复的。压缩感知采用了低维的观测方法，利用信号的稀疏特性(即信号的少量线性投影包含了重构的足够信息)，其信号的重构过程就是将观测向量Y在对应的测量矩阵中获得稀疏分解的过程，所要解的信号X就是该分解的系数向量。压缩鬼成像技术可以在测量数据较小的前提下更好的重构出目标图像，它允许一个包含N2个像素点的图像的测量次数小于N2次，如果将随机散斑强度函数Ii(x,y)转换为行向量，表示为Iri，将目标图像的分布函数为w(x,y)转换为列向量Tc，那么由桶探测器接收的光照强度Bi如式(1)所示：
Bi＝Ici×Tc (1)
为了从测量值中重构出原始图像信息，求解稀疏解的最优化问题必须解决，换句话说，如果列向量Tc是稀疏的，那么采用重构算法将可以从行向量Iri以及光照强度Bi中恢复出Tc。目前，很多有效的方法被提出来解决这个问题，如匹配追踪(MP)、正交匹配追踪(OMP)、SL0算法等。
自2014年Ian Goodfellow提出生成对抗网络(GAN)的概念后，生成对抗网络变成为了学术界的一个火热的研究热点，Yann LeCun更是称之为”过去十年间机器学习领域最让人激动的点子”。基于深度学习的生成对抗网络在图像生成领域取得了巨大成功，但目前GAN的训练过程极其不稳定，网络对超参数十分敏感，很难达到纳什均衡；GAN经常出现模型崩溃，导致模型只模拟真实分布的一部分，而不是目标分布的所有分布；GAN不能捕捉图像中某些类别中的结构和几何形状。
发明内容
本发明的目的是提供一种基于CGAN的计算鬼成像重建恢复方法，有效的提高计算鬼成像的重建效果，并提高重建速度。
本发明所采用的技术方案是，基于CGAN的计算鬼成像重建恢复方法，具体包括如下步骤：
步骤1，获取计算鬼成像得到的MNSIT数据集相对应的基于Hadamard矩阵的鬼成像数据集；
步骤2，搭建CGAN网络模型，将步骤1的数据集分成测试集和训练集，通训练集数据训练CGAN网络模型；
步骤3，通过测试集验证训练好的CGAN网络模型并输出结果，实现计算鬼成像重建。
本发明的其他特点还在于，
步骤1的具体过程如下：
通过现有生成鬼成像图像的仪器得到鬼成像图像记为O(x,y)，如式(2)所示：
O(x,y)＝<δSδIr(x,y)> (2)
其中，<·>为系综平均；
Figure BDA0002141914360000031
其中，Br通过桶探测器得出；
Figure BDA0002141914360000032
其中，
Figure BDA0002141914360000033
是Rr的共轭函数；
Figure BDA0002141914360000034
其中，z表示光的传播距离，λ是激光的波长，Er是SLM的复振幅；
Figure BDA0002141914360000035
其中，E(in)是射入SLM的复振幅，
Figure BDA0002141914360000036
是随机相位掩模，由随机Hadamard矩阵生成；
最后鬼成像的结果由公式(7)表示：
Figure BDA0002141914360000037
优选的，步骤2的具体过程如下：
步骤2.1，搭建CGAN网络模型的生成器和判别器，并初始化整个网络的参数，将步骤1中的训练集输入通过给定参数的卷积层，再进行实例正则化层，最后通过激活函数层输出；
步骤2.2，将步骤1中训练集数据输入到生成器得到一个输出结果和输入到生成器的图像所对应的真值图像均输入到判别器中，判别器输出两个结果；
步骤2.3，定义辨别器的损失函数，通过判别器得到的两个结果计算损失函数，保持生成器参数不变，训练判别器；
步骤2.4，定义生成网络的损失函数，通过生成器的损失函数，保持辨别器参数不变，训练生成器；
步骤2.5，当辨别器损失函数和生成器损失函数全都收敛，则CGAN网络模型训练完成，否则重复步骤2.2至步骤2.4。
优选的，生成器中的最后一个卷积模块，其他卷积模块的激活函数层为leaky_relu激活函数，生成器中的最后一个卷积模块的激活函数层为sigmoid激活函数。
优选的，实例正则化的公式如式(8)所示：
Figure BDA0002141914360000041
其中，γ和β都是超参数；μ(x)为图像x的均值；σ(x)为图像x的方差。
优选的，步骤2.1中构建生成器的过程如下：
步骤2.1.1，输入需要重建的鬼成像图像，对其进行5个卷积模块的操作，其中卷积核的大小为9*9，步长为1，特征层为64，并将经过最后一个卷积模块的值保存；
步骤2.1.2，对步骤2.1.1的输出结果，运用为2*2的卷积操作替代池化操作；
步骤2.1.3，并将输出结果再次进行5个卷积模块的操作，其中卷积核的大小为7*7，步长为1，特征层为128，并将经过最后一个卷积模块的值保存下来。
步骤2.1.4，重复步骤2.1.2，对其输出结果进行5个卷积模块的操作，其中卷积核的大小为5*5，步长为1，特征层为256，并将输出结果运用反卷积操作进行上采样，将步骤2.1.2的输出结果和上采样结果运用concat拼接起来，再重复执行步骤2.1.3，得到输出结果；
步骤2.1.5，将输出结果再次进行上采样，并将步骤2.1.1的输出结果和再次上采样的结果运用concat拼接起来，执行步骤2.1.1的操作后，输出结果；
步骤2.1.6，将输出结果进行1个卷积模块的操作，其中卷积核的大小为1*1，步长为1，特征层为1，得到生成器的输出结果。
优选的，步骤2.1中构建判别器的过程如下：
Step1，将步骤2.1.6的输出结果输入，进行1个卷积模块的操作，卷积核为2*2，步长为2*2，特征层为64；
Step2，对Step1的输出进行1个卷积模块的操作，核为2*2，步长为2*2，特征层为128；
Step3，对上一步的输出进行1个卷积模块的操作，核为2*2步长为2*2特征层为256；
Step4，对上一步的输出进行1个卷积模块的操作，核为2*2步长为2*2特征层为512；
Step4，对上一步的输出全连接操作，最后得到判别器的输出；
优选的，生成网络的损失函数如式(9)所示：
Figure BDA0002141914360000051
其中，n为图像的大小；i为图像对应的像素位置；G(yi)为通过生成器得到的图像中i位置的像素值；y′i真值图像中i位置的像素值；D(G(y))代表的是将输入的图像先输入到生成器中，得到的结果在输入到辨别器中得到的结果；λ为超参数，设置为100；
辨别网络的损失函数如式(10)所示：
DLOSS(y,y′)＝log(D(G(y)))+[log(1-D(y′))] (10)
其中，y表示要训练的图像；y’表示y对应的真值图像；D(G(y))代表的是将输入的图像先输入到生成器中，得到的结果在输入到辨别器中得到的结果；D(y′)表示将y所对应的真值作为辨别器的输入得到的结果。
优选的，步骤3包括如下过程：
将需要处理的图像输入到生成器中，通过生成器输出的结果和测试集原始图像计算损失函数，进行反向传播，训练生成器，直至损失函数收敛时，输出的结果即为鬼成像图像的重建。
本发明的有益效果是，基于CGAN的计算鬼成像重建恢复方法，有效的提高计算鬼成像的重建效果，并提高重建速度。通过Hadamard矩阵作为改进的随机相位掩膜，通过改变随机相位掩膜的个数获得不同组网络的训练数据，之后我们将每组训练集分为两类，训练集和测试集，然后运用每组网络的训练数据中的训练集进行网络的训练，最后在测试集中验证网络的泛化效果，本发明公开的方法对低采样率的鬼成像结果有着更好的重建效果。
附图说明
图1是本发明的基于CGAN的计算鬼成像重建恢复方法计算鬼成像的装置结构示意图；
图2是本发明的基于CGAN的计算鬼成像重建恢复方法中使用的CGAN网络流程示意图；
图3是本发明的基于CGAN的计算鬼成像重建恢复方法中使用的CGAN中卷积模块的结构示意图；
图4是本发明的基于CGAN的计算鬼成像重建恢复方法中使用的CGAN中生成器的结构示意图；
图5是本发明的基于CGAN的计算鬼成像重建恢复方法中使用的CGAN中判别器的结构示意图；
图6是通过不同方法得到的鬼成像的图像，N为随机相位掩模的个数；其中，图(a)是MNSIT训练集中的原始图像，图(b)为随机相位掩模为随机矩阵且数量为784得出的鬼成像的结果，图(c)为随机相位掩模为随机Hadamard矩阵且数量为784得出的鬼成像的结果，图(d)为随机相位掩模为随机Hadamard矩阵且数量为430得出的鬼成像的结果；
图7是本发明的实施例中5％相位掩模个数的测试集中重建结果；其中，(a)列为基于Hadamard矩阵生成的采样率为5％的鬼成像图像，(b)列为图像的真值，(c)列为最终生成器得到的结果。当网络训练好时将(a)列的图像输入到生成器中，就能生成(c)列的结果。
具体实施方式
下面结合附图和具体实施方式对本发明进行详细说明。
本发明的基于CGAN的计算鬼成像重建恢复方法，具体包括如下步骤：
步骤1，获取计算鬼成像得到的MNSIT数据集相对应的基于Hadamard矩阵的鬼成像数据集；
步骤2，搭建CGAN网络模型，将步骤1的数据集分成测试集和训练集，通训练集数据训练CGAN网络模型；
步骤3，通过测试集验证训练好的CGAN网络模型的输出结果，实现计算鬼成像重建。
步骤1的具体过程如下：
如图1所示，通过现有生成鬼成像图像的仪器得到鬼成像图像记为O(x,y)，如式(2)所示：
O(x,y)＝<δSδIr(x,y)> (2)
其中，<·>为系综平均；
Figure BDA0002141914360000081
其中，Br通过桶探测器得出；
Figure BDA0002141914360000082
其中，
Figure BDA0002141914360000083
是Rr的共轭函数；
Figure BDA0002141914360000084
其中，z表示光的传播距离，λ是激光的波长，Er是SLM的复振幅；
Figure BDA0002141914360000085
其中，E(in)是射入SLM的复振幅，
Figure BDA0002141914360000086
是随机相位掩模，由随机Hadamard矩阵生成；
最后鬼成像的结果由公式(7)表示：
Figure BDA0002141914360000087
如图2所示，步骤2的具体过程如下：
步骤2.1，搭建CGAN网络模型的生成器和判别器，并初始化整个网络的参数，如图3所示，将步骤1中的训练集输入通过给定参数的卷积层，再进行实例正则化层，最后通过激活函数层输出；
生成器中的最后一个卷积模块，其他卷积模块的激活函数层为leaky_relu激活函数，生成器中的最后一个卷积模块的激活函数层为sigmoid激活函数。
实例正则化的公式如式(8)所示：
Figure BDA0002141914360000091
其中，γ和β都是超参数；μ(x)为图像x的均值；σ(x)为图像x的方差。
如图4所示，步骤2.1中构建生成器的过程如下：
步骤2.1.1，输入需要重建的鬼成像图像，对其进行5个卷积模块的操作，其中卷积核的大小为9*9，步长为1，特征层为64，并将经过最后一个卷积模块的值保存；
步骤2.1.2，对步骤2.1.1的输出结果，运用为2*2的卷积操作替代池化操作；
步骤2.1.3，并将输出结果再次进行5个卷积模块的操作，其中卷积核的大小为7*7，步长为1，特征层为128，并将经过最后一个卷积模块的值保存下来。
步骤2.1.4，重复步骤2.1.2，对其输出结果进行5个卷积模块的操作，其中卷积核的大小为5*5，步长为1，特征层为256，并将输出结果运用反卷积操作进行上采样，将步骤2.1.2的输出结果和上采样结果运用concat拼接起来，再重复执行步骤2.1.3，得到输出结果；
步骤2.1.5，将输出结果再次进行上采样，并将步骤2.1.1的输出结果和再次上采样的结果运用concat拼接起来，执行步骤2.1.1的操作后，输出结果；
步骤2.1.6，将输出结果进行1个卷积模块的操作，其中卷积核的大小为1*1，步长为1，特征层为1，得到生成器的输出结果。
如图5所示，步骤2.1中构建判别器的过程如下：
Step1，将步骤2.1.6的输出结果输入，进行1个卷积模块的操作，卷积核为2*2，步长为2*2，特征层为64；
Step2，对Step1的输出进行1个卷积模块的操作，核为2*2，步长为2*2，特征层为128；
Step3，对上一步的输出进行1个卷积模块的操作，核为2*2步长为2*2特征层为256；
Step4，对上一步的输出进行1个卷积模块的操作，核为2*2步长为2*2特征层为512；
Step4，对上一步的输出全连接操作，最后得到判别器的输出；
步骤2.2，将步骤1中训练集数据输入到生成器得到一个输出结果和输入到生成器的图像所对应的真值图像均输入到判别器中，判别器输出两个结果；
步骤2.3，定义辨别器的损失函数，通过判别器得到的两个结果计算损失函数，保持生成器参数不变，训练判别器；
步骤2.4，定义生成网络的损失函数，通过生成器的损失函数，保持辨别器参数不变，训练生成器；
步骤2.5，当辨别器损失函数和生成器损失函数全都收敛，则CGAN网络模型训练完成，否则重复步骤2.2至步骤2.4。
生成网络的损失函数如式(9)所示：
Figure BDA0002141914360000101
其中，n为图像的大小；i为图像对应的像素位置；G(yi)为通过生成器得到的图像中i位置的像素值；y′i真值图像中i位置的像素值；D(G(y))代表的是将输入的图像先输入到生成器中，得到的结果在输入到辨别器中得到的结果；λ为超参数，设置为100；
辨别网络的损失函数如式(10)所示：
DLOSS(y,y′)＝log(D(G(y)))+[log(1-D(y′))] (10)
其中，y表示要训练的图像；y’表示y对应的真值图像；D(G(y))代表的是将输入的图像先输入到生成器中，得到的结果在输入到辨别器中得到的结果；D(y′)表示将y所对应的真值作为辨别器的输入得到的结果。
步骤3包括如下过程：
将需要处理的图像输入到生成器中，通过生成器输出的结果和测试集原始图像计算损失函数，进行反向传播，训练生成器，直至损失函数收敛时，输出的结果即为鬼成像图像的重建。
通过将采集的数据图像分为训练集60000张，测试集10000张，进行上述操作后，将随机相位掩模的个数减少到5％，并得到很好的结果。
图6是不同方法得到的鬼成像的图像，其中N为随机相位掩模的个数。图中(a)是MNSIT训练集中的原始图像，(b)为随机相位掩模为随机矩阵，且数量为784得出的鬼成像的结果，(c)为随机相位掩模为随机Hadamard矩阵，且数量为784得出的鬼成像的结果，(d)为随机相位掩模为随机Hadamard矩阵，且数量为430得出的鬼成像的结果；鬼成像得到的结果在图6中展示，可以看到但采样率相同的时候基于随机哈达玛矩阵的鬼成像的结果要明显优于基于随机相位掩模的结果，当采样数为430的基于随机哈达玛矩阵的结果和基于随机矩阵采样率为784的结果相似。
如图7所示，其中，(a)列为基于Hadamard矩阵生成的采样率为5％的鬼成像图像，(b)列为图像的真值，(c)列为最终生成器得到的结果。当网络训练好时将(a)列的图像输入到生成器中，就能生成(c)列的结果。

Claims (8)

1.基于CGAN的计算鬼成像重建恢复方法，其特征在于，具体包括如下步骤：
步骤1，获取计算鬼成像得到的MNSIT数据集相对应的基于Hadamard矩阵的鬼成像数据集；
通过现有生成鬼成像图像的仪器得到鬼成像图像记为O(x,y)，如式(2)所示：
O(x,y)＝<δSδIr(x,y)> (2)
其中，<·>为系综平均；
Figure FDA0003293005740000011
其中，Br通过桶探测器得出；
Figure FDA0003293005740000012
其中，
Figure FDA0003293005740000013
是Rr的共轭函数；
Figure FDA0003293005740000014
其中，z表示光的传播距离，λ是激光的波长，Er是SLM的复振幅；
Figure FDA0003293005740000015
其中，E(in)是射入SLM的复振幅，
Figure FDA0003293005740000016
是随机相位掩模，由随机Hadamard矩阵生成；
最后鬼成像的结果由公式(7)表示：
Figure FDA0003293005740000017
步骤2，搭建CGAN网络模型，将步骤1的数据集分成测试集和训练集，通训练集数据训练CGAN网络模型；
步骤3，通过测试集验证训练好的CGAN网络模型并输出结果，实现计算鬼成像重建。
2.如权利要求1所述的基于CGAN的计算鬼成像重建恢复方法，其特征在于，所述步骤2的具体过程如下：
步骤2.1，搭建CGAN网络模型的生成器和判别器，并初始化整个网络的参数，将步骤1中的训练集输入通过给定参数的卷积层，再进行实例正则化层，最后通过激活函数层输出；
步骤2.2，将步骤1中训练集数据输入到生成器得到一个输出结果和输入到生成器的图像所对应的真值图像均输入到判别器中，判别器输出两个结果；
步骤2.3，定义辨别器的损失函数，通过判别器得到的两个结果计算损失函数，保持生成器参数不变，训练判别器；
步骤2.4，定义生成网络的损失函数，通过生成器的损失函数，保持辨别器参数不变，训练生成器；
步骤2.5，当辨别器损失函数和生成器损失函数全都收敛，则CGAN网络模型训练完成，否则重复步骤2.2至步骤2.4。
3.如权利要求2所述的基于CGAN的计算鬼成像重建恢复方法，其特征在于，生成器中的最后一个卷积模块，其他卷积模块的激活函数层为leaky_relu激活函数，生成器中的最后一个卷积模块的激活函数层为sigmoid激活函数。
4.如权利要求2所述的基于CGAN的计算鬼成像重建恢复方法，其特征在于，所述实例正则化的公式如式(8)所示：
Figure FDA0003293005740000031
其中，γ和β都是超参数；μ(x)为图像x的均值；σ(x)为图像x的方差。
5.如权利要求2所述的基于CGAN的计算鬼成像重建恢复方法，其特征在于，所述步骤2.1中构建生成器的过程如下：
步骤2.1.1，输入需要重建的鬼成像图像，对其进行5个卷积模块的操作，其中卷积核的大小为9*9，步长为1，特征层为64，并将经过最后一个卷积模块的值保存；
步骤2.1.2，对步骤2.1.1的输出结果，运用为2*2的卷积操作替代池化操作；
步骤2.1.3，并将输出结果再次进行5个卷积模块的操作，其中卷积核的大小为7*7，步长为1，特征层为128，并将经过最后一个卷积模块的值保存下来；
步骤2.1.4，重复步骤2.1.2，对其输出结果进行5个卷积模块的操作，其中卷积核的大小为5*5，步长为1，特征层为256，并将输出结果运用反卷积操作进行上采样，将步骤2.1.2的输出结果和上采样结果运用concat拼接起来，再重复执行步骤2.1.3，得到输出结果；
步骤2.1.5，将输出结果再次进行上采样，并将步骤2.1.1的输出结果和再次上采样的结果运用concat拼接起来，执行步骤2.1.1的操作后，输出结果；
步骤2.1.6，将输出结果进行1个卷积模块的操作，其中卷积核的大小为1*1，步长为1，特征层为1，得到生成器的输出结果。
6.如权利要求5所述的基于CGAN的计算鬼成像重建恢复方法，其特征在于，所述步骤2.1中构建判别器的过程如下：
Step1，将步骤2.1.6的输出结果输入，进行1个卷积模块的操作，卷积核为2*2，步长为2*2，特征层为64；
Step2，对Step1的输出进行1个卷积模块的操作，核为2*2，步长为2*2，特征层为128；
Step3，对上一步的输出进行1个卷积模块的操作，核为2*2步长为2*2特征层为256；
Step4，对上一步的输出进行1个卷积模块的操作，核为2*2步长为2*2特征层为512；
Step4，对上一步的输出全连接操作，最后得到判别器的输出。
7.如权利要求2所述的基于CGAN的计算鬼成像重建恢复方法，其特征在于，所述生成网络的损失函数如式(9)所示：
Figure FDA0003293005740000041
其中，n为图像的大小；i为图像对应的像素位置；G(yi)为通过生成器得到的图像中i位置的像素值；y′i真值图像中i位置的像素值；D(G(y))代表的是将输入的图像先输入到生成器中，得到的结果在输入到辨别器中得到的结果；λ为超参数，设置为100；
辨别网络的损失函数如式(10)所示：
DLOSS(y，y′)＝log(D(G(y)))+[log(1-D(y′))] (10)
其中，y表示要训练的图像；y’表示y对应的真值图像；D(G(y))代表的是将输入的图像先输入到生成器中，得到的结果在输入到辨别器中得到的结果；D(y′)表示将y所对应的真值作为辨别器的输入得到的结果。
8.如权利要求2所述的基于CGAN的计算鬼成像重建恢复方法，其特征在于，所述步骤3包括如下过程：
将需要处理的图像输入到生成器中，通过生成器输出的结果和测试集原始图像计算损失函数，进行反向传播，训练生成器，直至损失函数收敛时，输出的结果即为鬼成像图像的重建。
CN201910671596.0A 2019-07-24 2019-07-24 基于cgan的计算鬼成像重建恢复方法 Active CN110490818B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910671596.0A CN110490818B (zh) 2019-07-24 2019-07-24 基于cgan的计算鬼成像重建恢复方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910671596.0A CN110490818B (zh) 2019-07-24 2019-07-24 基于cgan的计算鬼成像重建恢复方法

Publications (2)

Publication Number Publication Date
CN110490818A CN110490818A (zh) 2019-11-22
CN110490818B true CN110490818B (zh) 2022-03-25

Family

ID=68548134

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910671596.0A Active CN110490818B (zh) 2019-07-24 2019-07-24 基于cgan的计算鬼成像重建恢复方法

Country Status (1)

Country Link
CN (1) CN110490818B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112435189A (zh) * 2020-11-23 2021-03-02 湖北工业大学 一种基于自编码网络的计算鬼成像方法及系统
CN112802145A (zh) * 2021-01-27 2021-05-14 四川大学 一种基于深度学习的彩色计算鬼成像方法
CN112950507B (zh) * 2021-03-08 2023-02-10 四川大学 基于深度学习提高散射环境下单像素彩色成像性能的方法
CN113129225A (zh) * 2021-03-09 2021-07-16 西安理工大学 基于Dense Net网络的计算鬼成像重建恢复方法
CN113129226B (zh) * 2021-03-24 2023-06-23 西安理工大学 基于convGRU-U-Net的计算鬼成像重建算法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103575396A (zh) * 2013-11-19 2014-02-12 中国科学院空间科学与应用研究中心 基于压缩感知和Hadamard变换的成像光谱系统及方法
CN108932688A (zh) * 2018-05-31 2018-12-04 西安理工大学 一种基于计算鬼成像的双层框架光学水印方法
CN109410239A (zh) * 2018-11-07 2019-03-01 南京大学 一种基于条件生成对抗网络的文本图像超分辨率重建方法
CN109978762A (zh) * 2019-02-27 2019-07-05 南京信息工程大学 一种基于条件生成对抗网络的超分辨率重建方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8520083B2 (en) * 2009-03-27 2013-08-27 Canon Kabushiki Kaisha Method of removing an artefact from an image

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103575396A (zh) * 2013-11-19 2014-02-12 中国科学院空间科学与应用研究中心 基于压缩感知和Hadamard变换的成像光谱系统及方法
CN108932688A (zh) * 2018-05-31 2018-12-04 西安理工大学 一种基于计算鬼成像的双层框架光学水印方法
CN109410239A (zh) * 2018-11-07 2019-03-01 南京大学 一种基于条件生成对抗网络的文本图像超分辨率重建方法
CN109978762A (zh) * 2019-02-27 2019-07-05 南京信息工程大学 一种基于条件生成对抗网络的超分辨率重建方法

Also Published As

Publication number Publication date
CN110490818A (zh) 2019-11-22

Similar Documents

Publication Publication Date Title
CN110490818B (zh) 基于cgan的计算鬼成像重建恢复方法
CN110675326B (zh) 基于U-Net网络的计算鬼成像重建恢复的方法
Lan et al. MADNet: A fast and lightweight network for single-image super resolution
Xie et al. Generative pointnet: Deep energy-based learning on unordered point sets for 3d generation, reconstruction and classification
CN111870245B (zh) 一种跨对比度引导的超快速核磁共振成像深度学习方法
CN112085678B (zh) 一种适用于电力设备机巡图像去雨滴的方法及系统
Liu et al. Sgd-net: Efficient model-based deep learning with theoretical guarantees
Zhang et al. Physics-based iterative projection complex neural network for phase retrieval in lensless microscopy imaging
Li et al. Generative adversarial network for superresolution imaging through a fiber
Tesfaldet et al. Attention-based neural cellular automata
Tong et al. Quantitative pure-phase object reconstruction under single-shot Fourier measurement via deep learning
Khattak et al. High energy physics calorimeter detector simulation using generative adversarial networks with domain related constraints
Hazineh et al. D-flat: A differentiable flat-optics framework for end-to-end metasurface visual sensor design
Markley et al. Physics-based learned diffuser for single-shot 3d imaging
CN115760670B (zh) 基于网络隐式先验的无监督高光谱融合方法及装置
Zhuge et al. Single image denoising with a feature-enhanced network
Zhang et al. Distributed compressive sensing via LSTM-Aided sparse Bayesian learning
CN113379614A (zh) 基于Resnet网络的计算鬼成像重建恢复方法
Aslan et al. Distributed optimization with tunable learned priors for robust ptycho-tomography
Antonova et al. Benchmarking unsupervised representation learning for continuous control
Fan et al. Improved polarization scattering imaging using local-global context polarization feature learning framework
CN113129225A (zh) 基于Dense Net网络的计算鬼成像重建恢复方法
Du et al. Degradation aware unfolding network for spectral super-resolution
Norouzi et al. CNN to mitigate atmospheric turbulence effect on Shack-Hartmann Wavefront Sensing: A case study on the Magdalena Ridge Observatory Interferometer.
Ji et al. A Motion Deblurring Disentangled Representation Network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant