CN115200702A - 基于复数神经网络的计算成像方法及装置 - Google Patents
基于复数神经网络的计算成像方法及装置 Download PDFInfo
- Publication number
- CN115200702A CN115200702A CN202210690208.5A CN202210690208A CN115200702A CN 115200702 A CN115200702 A CN 115200702A CN 202210690208 A CN202210690208 A CN 202210690208A CN 115200702 A CN115200702 A CN 115200702A
- Authority
- CN
- China
- Prior art keywords
- complex
- neural network
- neural networks
- target
- imaging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 95
- 238000003384 imaging method Methods 0.000 title claims abstract description 77
- 238000000034 method Methods 0.000 claims abstract description 34
- 238000012549 training Methods 0.000 claims abstract description 23
- 230000006870 function Effects 0.000 claims description 30
- 230000008569 process Effects 0.000 claims description 18
- 238000007781 pre-processing Methods 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 11
- 230000004913 activation Effects 0.000 claims description 10
- 238000005259 measurement Methods 0.000 claims description 9
- 230000001902 propagating effect Effects 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 238000012634 optical imaging Methods 0.000 description 3
- 238000011176 pooling Methods 0.000 description 3
- 230000004075 alteration Effects 0.000 description 2
- 238000001093 holography Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000013178 mathematical model Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000013075 data extraction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000001493 electron microscopy Methods 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000004217 heart function Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
- 238000004611 spectroscopical analysis Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J1/00—Photometry, e.g. photographic exposure meter
- G01J1/38—Photometry, e.g. photographic exposure meter using wholly visual means
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J1/00—Photometry, e.g. photographic exposure meter
- G01J1/42—Photometry, e.g. photographic exposure meter using electric radiation detectors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本发明提出一种基于复数神经网络的计算成像方法及装置，其中方法包括，在成像平面采集包含目标复数信息的强度图；将强度图进行预重建，获得目标波前初始估计值；构造并训练复数神经网络，复数神经网络的输入是复数所述目标波前初始估计值，输出是重建后的复数目标，获得训练完成的复数神经网络；将待成像目标波前初始估计值输入训练完成的复数神经网络，获得高精度的目标振幅和相位图像。本发明将复数神经网络引入计算成像中，实现了从复数输入到复数输出，能够在网络内部实现对复数域信号的实部、虚部间的信息相关性进行表征，从而实现对物平面复数波前的非线性建模，实现高精度的计算成像。
Description
技术领域
本发明属于计算摄像学领域。
背景技术
传统光学成像技术难以捕获复数域波前信息，这是因为光波的频率达到了1013～1015Hz，现有传感器的响应速度无法达到该量级，只能记录波前的强度信息。但与强度相比，光波的相位包含了更多的图像特征和结构信息，对于观测透明样本具有重要意义。相位信息的丢失导致了传统成像维度缺失，空间带宽积低。
计算成像是近年来兴起的一种运用了光学、电子学和信息处理等多个学科领域知识的新的成像技术。相较于传统光学成像，计算成像技术具有明显的优势：光路结构简单，且对CCD等感光元件的要求低；将计算融入光学成像中，对成像模型进行描述或改进，使成像不再单纯依赖于光学硬件，具有更高的自由度和灵活性。计算成像技术已被广泛应用于全息成像、天文成像和电子显微领域，通过计算全息、相位恢复等方法能够实现完整复数域波前的重建，解决传统成像中相位信息丢失的问题。
在计算全息领域，传统相位恢复技术大多基于数值迭代算法，存在计算量大，实时性差的弊端。近年来人工智能、深度学习技术在成像领域表现出巨大的潜力，其强大的特征数据提取能力，使计算成像实现了从传统的模型驱动到数据驱动的转变。深度学习方法仅通过一幅强度测量图重建对象的相位和幅度图像，需要更少测量值的同时，节约了大量的计算时间。但现有的深度学习通常使用实数网络处理成像过程，需要将初始估计波前的振幅和相位拆分并分别训练对应幅度和相位的两个网络，或者将振幅、相位作为图像的两个通道并训练一个输入输出为二通道的神经网络，这两种方法存在缺乏实部与虚部间信息交互，对复数信号表征能力差的问题。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。
为此，本发明的第一个目的在于提出一种基于复数神经网络的计算成像方法，用于从强度图像中重建出高精度的复数原始目标。
本发明的第二个目的在于提出一种基于复数神经网络的计算成像装置。
本发明的第三个目的在于提出一种计算机设备。
本发明的第四个目的在于提出一种计算机可读存储介质。
为达上述目的，本发明第一方面实施例提出了一种基于复数神经网络的计算成像方法，包括：
在成像平面采集包含目标复数信息的强度图；
将所述强度图进行预重建，获得目标波前初始估计值；
构造并训练复数神经网络，所述复数神经网络的输入是复数所述目标波前初始估计值，输出是重建后的复数目标，获得训练完成的复数神经网络；
将待成像目标波前初始估计值输入所述训练完成的复数神经网络，获得高精度的目标振幅和相位图像。
另外，根据本发明上述实施例的基于复数神经网络的计算成像方法还可以具有以下附加的技术特征：
进一步地，在本发明的一个实施例中，所述在成像平面采集包含目标复数信息的强度图，包括：
通过图像传感器采集强度测量图，其中，采集强度图过程可建模为：
I(x,y)＝|A{U(x,y)}|2+ω(x,y)，
其中，(x,y)为成像平面的二维空间坐标，A为空间传播函数，表示波前从物平面传播到成像平面的过程，包括夫琅禾费衍射和菲涅尔衍射两种过程，
为物光,u(x,y)、φ0(x,y)分别表示物光的振幅和相位分布，ω(x,y)为噪声分布，I(x,y)为成像平面采集到的强度图。
进一步地，在本发明的一个实施例中，所述将所述强度图进行预重建，包括：
将所述强度图通过反向传播或者交替投影方法进行预处理，得到包含振幅和相位信息的复数波前初始估计值，用于输入所述复数神经网络。
进一步地，在本发明的一个实施例中，所述构造并训练复数神经网络，包括：
基于复数值数学运算对所述复数神经网络各层进行构造，以实部和虚部为运算单元，对卷积算子、激活函数进行复数域上的定义。
进一步地，在本发明的一个实施例中，所述构造并训练复数神经网络，还包括：
选择损失函数，根据所述损失函数对所述复数神经网络进行优化。
为达上述目的，本发明第二方面实施例提出了一种基于复数神经网络的计算成像装置，包括以下模块：
采集模块，用于在成像平面采集包含目标复数信息的强度图；
预处理模块，用于将所述强度图进行预重建，获得目标波前初始估计值；
训练模块，用于构造并训练复数神经网络，所述复数神经网络的输入是复数所述目标波前初始估计值，输出是重建后的复数目标，获得训练完成的复数神经网络；
成像模块，用于将待成像目标波前初始估计值输入所述训练完成的复数神经网络，获得高精度的目标振幅和相位图像。
进一步地，在本发明的一个实施例中，所述预处理模块，还用于：
将所述强度图通过反向传播或者交替投影方法进行预处理，得到包含振幅和相位信息的复数波前初始估计值，用于输入所述复数神经网络。
进一步地，在本发明的一个实施例中，所述训练模块，还用于：
基于复数值数学运算对所述复数神经网络各层进行构造，以实部和虚部为运算单元，对卷积算子、激活函数进行复数域上的定义；
选择损失函数，根据所述损失函数对所述复数神经网络进行优化。
为达上述目的，本发明第三方面实施例提出了一种计算机设备，其特征在于，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现如上所述的基于复数神经网络的计算成像方法。
为达上述目的，本发明第四方面实施例提出了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如上所述的基于复数神经网络的计算成像方法。
本发明实施例提出的基于复数神经网络的计算成像方法及装置，将复数神经网络引入计算成像中，实现了从复数输入到复数输出，能够在网络内部实现对复数域信号的实部、虚部间的信息相关性进行表征，从而实现对物平面复数波前的非线性建模，实现高精度的计算成像。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为本发明实施例所提供的一种基于复数神经网络的计算成像方法的流程示意图。
图2为本发明实施例所提供的强度测量过程原理示意图。
图3为本发明实施例所提供的基于深度复数神经网络的计算全息方法流程图。
图4为本发明实施例所提供的复数U-Net结构框图。
图5为本发明实施例所提供的一种基于复数神经网络的计算成像装置的流程示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
下面参考附图描述本发明实施例的基于复数神经网络的计算成像方法和装置。
实施例1
图1为本发明实施例所提供的一种基于复数神经网络的计算成像方法的流程示意图。
如图1所示，该基于复数神经网络的计算成像方法包括以下步骤：
S101：在成像平面采集包含目标复数信息的强度图；
具体地，在成像平面采集包含目标复数信息的强度图。用光敏电子成像器件(如CCD、CMOS)作为成像平面进行记录，强度测量图在成像平面上被传感器接收。由于光波的频率较高，受低响应速度的限制，传感器只能记录强度，记录的图像会损失相位信息。此外，成像过程中的像差和噪声干扰进一步导致成像质量下降。
进一步地，在本发明的一个实施例中，在成像平面采集包含目标复数信息的强度图，包括：
通过图像传感器采集强度测量图，其中，采集强度图过程可建模为：
I(x,y)＝|A{U(x,y)}|2+ω(x,y)，
其中，(x,y)为成像平面的二维空间坐标，A为空间传播函数，表示波前从物平面传播到成像平面的过程，包括夫琅禾费衍射和菲涅尔衍射两种过程，
为物光,u(x,y)、φ0(x,y)分别表示物光的振幅和相位分布，ω(x,y)为噪声分布，I(x,y)为成像平面采集到的强度图。
S102：将强度图进行预重建，获得目标波前初始估计值；
进一步地，在本发明的一个实施例中，将强度图进行预重建，包括：
将强度图通过反向传播或者交替投影方法进行预处理，得到包含振幅和相位信息的复数波前初始估计值，用于输入复数神经网络。
S103：构造并训练复数神经网络，复数神经网络的输入是复数目标波前初始估计值，输出是重建后的复数目标，获得训练完成的复数神经网络；
具体地，复数神经网络以实部和虚部为运算单元，对卷积算子、激活函数等进行了复数域上的定义。
激活函数定义为：
其中，p＝a+ib为复数数据，复数卷积运算的形式为：
W*p＝(C+iT)*(a+ib)＝(C*a-T*b)+i(T*a+C*b)，
其中，W＝C+iT为卷积核，从而构造卷积层。利用构造的各个层组成复数神经网络，该网络的输入是复数目标波前初始估计值，输出是重建后的复数目标。选择合适的训练策略以及损失函数进行优化。神经网络通过迭代地训练学习到复数波前实部、虚部的相关性以及特征映射过程，建立了初始估计的复数波前和重建的高保真复数目标之间的非线性映射关系。
进一步地，在本发明的一个实施例中，构造并训练复数神经网络，包括：
基于复数值数学运算对所述复数神经网络各层进行构造，以实部和虚部为运算单元，对卷积算子、激活函数进行复数域上的定义。
进一步地，在本发明的一个实施例中，构造并训练复数神经网络，还包括：
选择损失函数，根据损失函数对复数神经网络进行优化。
S104：将待成像目标波前初始估计值输入训练完成的复数神经网络，获得高精度的目标振幅和相位图像。
具体地，将目标波前初始估计值输入网络，获得高精度的目标振幅和相位图像。将波前初始估计值输入到训练收敛的复数神经网络，即可通过计算机进行数值重建实现从强度测量值中再现高精度原始目标，最终实现鲁棒的计算成像。
实施例2
下面结合附图和实例对本发明作进一步说明。
如图2所示，为强度测量图采集过程示意图。光波从物体平面传播到成像平面，传播距离为d，k＝2π/λ为传播介质中的波前，λ为波长，z为传播方向，该过程可建模为
I(x,y)＝|A{U(x,y)}|2+ω(x,y)，
U(x0,y0)是要重建的目标。对于空间传播过程，考虑远场衍射和近场衍射两种情况。在远场衍射即夫琅禾费衍射情况下，测量的强度与物体平面上的光波的傅里叶变换的大小成比例：
I(x,y)＝|F{U(x,y)}|2+ω(x,y)，
其中，F表示傅里叶变换。利用传统的交替投影方法对采集到的强度图I(x,y)进行处理，受先验条件的约束，在物平面和成像平面之间反复迭代运算，将计算收敛的物平面复数波前作为初始估计值输入网络。
在近场衍射即菲涅尔衍射情况下，可以使用角谱法模拟光波的传输：
其中，F-1为傅里叶反变换，I(x,y,d)为波前从初始物平面U(x,y,0)传播距离d后采集到的测量值，角谱函数为：
其中，fx、fy分别是传播平面上两个坐标方向的空间频率。图3所示为计算全息的流程图，对于近场衍射的预重建过程，通常使用计算机数值重建，将采集的单幅强度图像进行反向传播，用计算机模拟光的衍射过程，即进行角谱模型的反变换：
得到复数的初始估计波前
将该初始估计波前作为复数神经网络的输入。
针对复数波前，建立复数运算数学模型。使用实部和虚部作为复数操作的基本运算单元。对于常用的卷积操作，设复数卷积核W＝C+iT，其中C和T均为传统的实数卷积核，网络各层传递的复数数据p＝a+ib，利用卷积的分配性，可以将复数卷积分解为四个独立的实数卷积：
W*p＝(C+iT)*(a+ib)＝(C*a-T*b)+i(T*a+C*b)，
复数反卷积数学模型与复数卷积模型同理。与对应的传统卷积相比，复数卷积将两个卷积核进行关联，使得两个核的参数相互影响。
激活函数作为防止梯度消失的手段，也被应用到了复数神经网络当中，现有的ReLU复数激活函数，包括modReLU、
zReLU以及cardioid函数。
函数是在复数输入的实部和虚部上分别应用ReLU函数，其解析式为：
池化层有两种方案，一种是实部虚部分别池化，另一种是对幅度进行最大值池化并记录每一区域池化时最大值所在的位置，相位池化则是根据每一区域的记录直接保留该区域内标记位置的值。为了避免梯度爆炸，往往会选择合适的参数权重初始化，对于复数网络的权重，初始化时需要对幅度和相位分别初始化。
以U-Net为例，设计复数U-Net模型结构如图4所示，将输入的复数图像拆分为包含实部虚部两个通道的图像，与传统的U-Net类似，将图像通过多级的3×3复数卷积层进行特征提取，每一级之间采用跨步卷积或池化层进行下采样，每次下采样后数据缩放到新的尺度，包括原图一共五个尺度，上采样部分则使用复数反卷积，每次上采样后，将对应的相同尺度的特征图在通道维度进行拼接。与传统网络只有一个通道数的输入输出不同的是，这里的输入输出都是一幅包含了实部虚部两个通道的复数图像，以便进行计算。
输入二通道的实数网络也能够实现上述过程，并且仅需训练一个网络。但复数网络与之相比，对复数域信号的实部虚部间信息进行了融合以及表征，提取和学习了实部虚部存在的内在关系，而非单纯的某一卷积核独立地提取图像特征，复数网络的这一设计在处理强度图的重建上会有更明显的效果。
选择合适的策略对网络进行训练，优化网络参数，最后将预处理后的复数波前输入到上述的训练收敛的网络当中，得到重建的高精度的包含振幅和相位两幅图像的复数结果。
本发明实施例提出的基于复数神经网络的计算成像方法，将复数神经网络引入计算成像中，实现了从复数输入到复数输出，能够在网络内部实现对复数域信号的实部、虚部间的信息相关性进行表征，从而实现对物平面复数波前的非线性建模，实现高精度的计算成像。
为了实现上述实施例，本发明还提出一种基于复数神经网络的计算成像装置。
图5为本发明实施例提供的一种基于复数神经网络的计算成像装置的结构示意图。
如图5所示，该基于复数神经网络的计算成像装置包括：采集模块100，预处理模块200，训练模块300，成像模块400，其中，
采集模块，用于在成像平面采集包含目标复数信息的强度图；
预处理模块，用于将强度图进行预重建，获得目标波前初始估计值；
训练模块，用于构造并训练复数神经网络，复数神经网络的输入是复数目标波前初始估计值，输出是重建后的复数目标，获得训练完成的复数神经网络；
成像模块，用于将待成像目标波前初始估计值输入训练完成的复数神经网络，获得高精度的目标振幅和相位图像。
进一步地，在本发明的一个实施例中，预处理模块，还用于：
将强度图通过反向传播或者交替投影方法进行预处理，得到包含振幅和相位信息的复数波前初始估计值，用于输入复数神经网络。
进一步地，在本发明的一个实施例中，训练模块，还用于：
基于复数值数学运算对复数神经网络各层进行构造，以实部和虚部为运算单元，对卷积算子、激活函数进行复数域上的定义；
选择损失函数，根据损失函数对所述复数神经网络进行优化。
为达上述目的，本发明第三方面实施例提出了一种计算机设备，其特征在于，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现如上所述的基于复数神经网络的计算成像方法。
为达上述目的，本发明第四方面实施例提出了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如上所述的基于复数神经网络的计算成像方法。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
尽管上面已经示出和描述了本发明的实施例，可以理解的是,上述实施例是示例性的,不能理解为对本发明的限制,本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (10)
1.一种基于复数神经网络的计算成像方法，其特征在于，包括以下步骤：
在成像平面采集包含目标复数信息的强度图；
将所述强度图进行预重建，获得目标波前初始估计值；
构造并训练复数神经网络，所述复数神经网络的输入是复数所述目标波前初始估计值，输出是重建后的复数目标，获得训练完成的复数神经网络；
将待成像目标波前初始估计值输入所述训练完成的复数神经网络，获得高精度的目标振幅和相位图像。
2.根据权利要求1所述的方法，其特征在于，所述在成像平面采集包含目标复数信息的强度图，包括：
通过图像传感器采集强度测量图，其中，采集强度图过程可建模为：
I(x,y)＝|A{U(x,y)}|2+ω(x,y)，
其中，(x,y)为成像平面的二维空间坐标，A为空间传播函数，表示波前从物平面传播到成像平面的过程，包括夫琅禾费衍射和菲涅尔衍射两种过程，
为物光,u(x,y)、φ0(x,y)分别表示物光的振幅和相位分布，ω(x,y)为噪声分布，I(x,y)为成像平面采集到的强度图。
3.根据权利要求1所述的方法，其特征在于，所述将所述强度图进行预重建，包括：
将所述强度图通过反向传播或者交替投影方法进行预处理，得到包含振幅和相位信息的复数波前初始估计值，用于输入所述复数神经网络。
4.根据权利要求1所述的方法，其特征在于，所述构造并训练复数神经网络，包括：
基于复数值数学运算对所述复数神经网络各层进行构造，以实部和虚部为运算单元，对卷积算子、激活函数进行复数域上的定义。
5.根据权利要求1或4所述的方法，其特征在于，所述构造并训练复数神经网络，还包括：
选择损失函数，根据所述损失函数对所述复数神经网络进行优化。
6.一种基于复数神经网络的计算成像装置，其特征在于，包括以下模块：
采集模块，用于在成像平面采集包含目标复数信息的强度图；
预处理模块，用于将所述强度图进行预重建，获得目标波前初始估计值；
训练模块，用于构造并训练复数神经网络，所述复数神经网络的输入是复数所述目标波前初始估计值，输出是重建后的复数目标，获得训练完成的复数神经网络；
成像模块，用于将待成像目标波前初始估计值输入所述训练完成的复数神经网络，获得高精度的目标振幅和相位图像。
7.根据权利要求6所述的装置，其特征在于，所述预处理模块，还用于：
将所述强度图通过反向传播或者交替投影方法进行预处理，得到包含振幅和相位信息的复数波前初始估计值，用于输入所述复数神经网络。
8.根据权利要求6所述的装置，其特征在于，所述训练模块，还用于：
基于复数值数学运算对所述复数神经网络各层进行构造，以实部和虚部为运算单元，对卷积算子、激活函数进行复数域上的定义；
选择损失函数，根据所述损失函数对所述复数神经网络进行优化。
9.一种计算机设备，其特征在于，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现如权利要求1-5中任一所述的基于复数神经网络的计算成像方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-5任意一项所述的基于复数神经网络的计算成像方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210690208.5A CN115200702A (zh) | 2022-06-17 | 2022-06-17 | 基于复数神经网络的计算成像方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210690208.5A CN115200702A (zh) | 2022-06-17 | 2022-06-17 | 基于复数神经网络的计算成像方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115200702A true CN115200702A (zh) | 2022-10-18 |
Family
ID=83576425
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210690208.5A Pending CN115200702A (zh) | 2022-06-17 | 2022-06-17 | 基于复数神经网络的计算成像方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115200702A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115914630A (zh) * | 2023-01-06 | 2023-04-04 | 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) | 一种图像压缩方法、装置、设备及存储介质 |
| CN116559794A (zh) * | 2023-07-12 | 2023-08-08 | 西安电子科技大学 | 一种双多域复数神经网络的雷达抗干扰智能决策方法 |
| CN116704070A (zh) * | 2023-08-07 | 2023-09-05 | 北京理工大学 | 联合优化的图像重建方法和系统 |
-
2022
- 2022-06-17 CN CN202210690208.5A patent/CN115200702A/zh active Pending
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115914630A (zh) * | 2023-01-06 | 2023-04-04 | 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) | 一种图像压缩方法、装置、设备及存储介质 |
| CN116559794A (zh) * | 2023-07-12 | 2023-08-08 | 西安电子科技大学 | 一种双多域复数神经网络的雷达抗干扰智能决策方法 |
| CN116559794B (zh) * | 2023-07-12 | 2023-09-29 | 西安电子科技大学 | 一种双多域复数神经网络的雷达抗干扰智能决策方法 |
| CN116704070A (zh) * | 2023-08-07 | 2023-09-05 | 北京理工大学 | 联合优化的图像重建方法和系统 |
| CN116704070B (zh) * | 2023-08-07 | 2023-11-14 | 北京理工大学 | 联合优化的图像重建方法和系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN115200702A (zh) | 基于复数神经网络的计算成像方法及装置 | |
| Lluis et al. | Sound field reconstruction in rooms: Inpainting meets super-resolution | |
| Moon et al. | Automated three-dimensional identification and tracking of micro/nanobiological organisms by computational holographic microscopy | |
| Montresor et al. | Computational de-noising based on deep learning for phase data in digital holographic interferometry | |
| Henrot et al. | Fast positive deconvolution of hyperspectral images | |
| EP1230576B1 (en) | System and method for recovering phase information of a wave front | |
| CN115099389A (zh) | 基于复数神经网络的非训练相位重建方法及装置 | |
| Katkovnik et al. | Sparse superresolution phase retrieval from phase-coded noisy intensity patterns | |
| CN110352387B (zh) | 用于通过多深度稀疏相位恢复重建全息无透镜图像的系统和方法 | |
| CN109581849B (zh) | 一种同轴全息重建方法及系统 | |
| Vithin et al. | Deep learning based single shot multiple phase derivative retrieval method in multi-wave digital holographic interferometry | |
| AU2014259516A1 (en) | Nonlinear processing for off-axis frequency reduction in demodulation of two dimensional fringe patterns | |
| CN115524018A (zh) | 一种相位差波前检测的求解方法及系统 | |
| CN115220211B (zh) | 基于深度学习和光场成像的显微成像系统及方法 | |
| CN114384780B (zh) | 透过散射介质成像的方法、装置、计算机设备和存储介质 | |
| CN115690252A (zh) | 一种基于卷积神经网络的全息图重建方法及系统 | |
| de Almeida et al. | Twin-image suppression in digital in-line holography based on wave-front filtering | |
| Liebling et al. | Nonlinear Fresnelet approximation for interference term suppression in digital holography | |
| CN112465703A (zh) | 一种含频谱偏移量估计的傅里叶叠层成像深度学习图像重构方法 | |
| CN113554555A (zh) | 相位畸变补偿方法、装置、计算机设备和存储介质 | |
| Norazman et al. | Digital holography-assisted 3-d bright-field image reconstruction and refocusing | |
| CN116704070B (zh) | 联合优化的图像重建方法和系统 | |
| Henrot et al. | Fast deconvolution of large fluorescence hyperspectral images | |
| Chu | Efficient digital holographic 3d human image reconstruction and improvement on mobile devices | |
| CN114518654B (zh) | 一种高分辨大景深成像方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |