CN112597433B - 基于即插即用神经网络的傅里叶相位恢复方法及系统 - Google Patents
基于即插即用神经网络的傅里叶相位恢复方法及系统 Download PDFInfo
- Publication number
- CN112597433B CN112597433B CN202110032537.6A CN202110032537A CN112597433B CN 112597433 B CN112597433 B CN 112597433B CN 202110032537 A CN202110032537 A CN 202110032537A CN 112597433 B CN112597433 B CN 112597433B
- Authority
- CN
- China
- Prior art keywords
- neural network
- algorithm
- phase recovery
- denoising
- fourier
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 94
- 238000000034 method Methods 0.000 title claims abstract description 86
- 238000011084 recovery Methods 0.000 title claims abstract description 50
- 238000005457 optimization Methods 0.000 claims abstract description 30
- 238000005259 measurement Methods 0.000 claims abstract description 17
- 230000008569 process Effects 0.000 claims abstract description 16
- 238000013178 mathematical model Methods 0.000 claims abstract description 11
- 230000006870 function Effects 0.000 claims description 23
- 239000011159 matrix material Substances 0.000 claims description 16
- 230000009977 dual effect Effects 0.000 claims description 15
- 238000012549 training Methods 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 8
- 230000003190 augmentative effect Effects 0.000 claims description 7
- 238000003860 storage Methods 0.000 claims description 6
- 230000003247 decreasing effect Effects 0.000 claims description 4
- 230000001351 cycling effect Effects 0.000 claims description 3
- 230000001537 neural effect Effects 0.000 claims description 2
- 230000007547 defect Effects 0.000 abstract description 3
- 230000035945 sensitivity Effects 0.000 abstract description 2
- 238000003384 imaging method Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 8
- 230000008901 benefit Effects 0.000 description 3
- 238000007796 conventional method Methods 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 2
- 230000001427 coherent effect Effects 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 230000001575 pathological effect Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000000844 transformation Methods 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 239000013078 crystal Substances 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000005672 electromagnetic field Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000001028 reflection method Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/14—Fourier, Walsh or analogous domain transformations, e.g. Laplace, Hilbert, Karhunen-Loeve, transforms
- G06F17/141—Discrete Fourier transforms
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Pure & Applied Mathematics (AREA)
- Computational Mathematics (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Discrete Mathematics (AREA)
- Algebra (AREA)
- Databases & Information Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于即插即用神经网络的傅里叶相位恢复方法及系统，本发明基于即插即用神经网络的傅里叶相位恢复方法包括：将相位恢复问题构建傅里叶相位恢复问题的数学模型；将所述数学模型转换为可求解的非凸优化问题；通过交替方向下降乘子算法求解非凸优化问题，且在求解过程中加入提前训练好的去噪神经网络作为交替方向下降乘子算法的子模块，通过该去噪神经网络对交替方向下降乘子算法的迭代值起到正则化约束的作用，最终得到恢复图像。本发明能够克服现有经典算法对于初始值敏感、鲁棒性较差等缺点，其能够从低信噪比的无相位测量中恢复得到高质量的图像。
Description
技术领域
本发明属于计算成像领域，具体涉及一种基于即插即用神经网络的傅里叶相位恢复方法及系统。
背景技术
在电磁场中，由于物体所携带的相位信息具有太赫兹频率。这使得相位信息很难被CCD、CMOS等仪器所直接测量。相比于强度，相位包含了物体更为丰富的信息。因此、如何能够设计高效算法恢复相位，对于解决X光晶体成像、相干衍射成像、傅里叶叠层成像等应用中的关键技术问题起到了决定性作用。
在数学上，傅里叶相位恢复问题是一个病态的逆问题。假设所要恢复的一维离散信号已知x经过测量ai后的信号强度为：
上式中，为ai的共轭转置，则相位恢复问题的数学表达式如下：
Findx
上式是一个非线性优化问题，其求解复杂度非常大。即使为实数，由于符号带来的不确定性，它的计算复杂度可以达到/>这实际上是一个NP难问题。
相位恢复问题解也不具有唯一性。真实解的平凡变换即时域平移、共轭翻转以及全局相位都会产生满足约束条件的解；除此之外，理论上已经证明了对于1-D信号，在全局相位意义下至少存在2n-2个不能通过对真实信号进行平凡变换所能得到的解；结构复杂的解空间使得求解该问题在没有加入额外约束条件的情况下变得异常困难。
在经典的傅里叶相位恢复问题(1.1)中，常常假设已知真实信号的支撑集(即非零元素组成的集合)。
其中，为傅里叶矩阵，/>为无相位衍射图样。
在该假设条件下，理论证明了在m≥2n-1的情况下，二维图像的傅里叶相位恢复问题的解通常只包含真实解及其共轭翻转。经典的傅里叶相位恢复算法主要包括Gerchberg-Saxton迭代算法(Gerchberg-Saxton method，GS)，混合输入输出算法(Hybrid input andoutput algorithm，HIO)，混合投影反射算法(Hybrid Projection and Reflectionmethod，HPR)，松弛平均交替反射算法(Relax Average Alternating Reflector，RAAR)，过采样光滑算法(0versampling Smoothing method，OSS)，以及交替方向下降乘子算法(Alternating Direction Minimization Multiplier，ADMM)。这些经典算法求解(1.1)的困难主要存在于如下三个方面。(1)由于为非凸集合，经典算法往往极易陷入局部最优解，且算法对于初始值假设的依赖性太强；(2)由于共轭翻转解的影响，经典算法的数值结果经常会出现“孪生像问题”，所恢复图像的质量往往较差；(3)另外，经典算法的鲁棒性较差，不能从具有较低信噪比的测量中恢复图像。因此，对于傅里叶相位恢复问题，亟需一种对初始值估计不敏感，且鲁棒性较高，能恢复高质量图像的傅里叶相位恢复算法。
发明内容
本发明要解决的技术问题：针对经典傅里叶相位恢复算法所存在的上述缺陷，提供一种基于即插即用神经网络的傅里叶相位恢复方法及系统，本发明能够克服现有经典算法对于初始值敏感、鲁棒性较差等缺点，其能够从低信噪比的无相位测量中恢复得到高质量的图像。
为了解决上述技术问题，本发明采用的技术方案为：
一种基于即插即用神经网络的傅里叶相位恢复方法，包括：
1)将相位恢复问题构建傅里叶相位恢复问题的数学模型；
2)将所述数学模型转换为可求解的非凸优化问题；
3)通过交替方向下降乘子算法求解非凸优化问题，且在求解过程中加入提前训练好的去噪神经网络作为交替方向下降乘子算法的子模块，通过该去噪神经网络对交替方向下降乘子算法的迭代值起到正则化约束的作用，最终得到恢复图像。
可选地，步骤1)中的相位恢复问题是指通过利用探测器在远场收集样本的无相位衍射图样得到恢复图像的问题。
可选地，步骤1)中构建傅里叶相位恢复问题的数学模型的函数表达式为：
上式中，x为优化变量，为傅里叶矩阵，/>为无相位衍射图样，/>为m×n维复矩阵空间，/>为m维实数空间，m为测量数，n为信号长度。
可选地，步骤2)中转换为可求解的非凸优化问题的函数表达式为：
上式中，x为优化变量，为m维实数空间，m为测量数，R(·)为正则化算子，PT(·)为截断算子，且有/>其中x(i)为向量的分量；
其中，为傅里叶矩阵，/>为无相位衍射图样。
可选地，步骤3)包括：
3.1)引入松弛变量y和对偶变量ω，将非凸优化问题转换为下式所示的多变量的增广拉格朗日函数；
上式中，λ为罚函数；x优化变量，R(·)为正则化算子，PT(·)为截断算子，
3.2)通过交替方向下降乘子算法循环迭代求解式(3)所示的多变量的增广拉格朗日函数，所述交替方向下降乘子算法的在每一步中有如下三个子步骤：
上式中，xk+1，yk+1，ωk+1为第k+1步的估计值，xk，yk，ωk为第k步的估计值，Fm×m为傅里叶矩阵，β为对偶参数，PT(·)为截断算子，Dσ(·)为提前训练好的去噪神经网络。
可选地，步骤3.2)之前还包括推导交替方向下降乘子算法的在每一步三个子步骤的过程：
3.2.1)确定推导交替方向下降乘子算法的在每一步三个子步骤：
上式中，x，y，ω为优化变量，xk+1，yk+1，ωk+1为第k+1步的估计值，xk+1，yk+1，ωk+1为第k步的估计值，l(·)为损失函数；式(5)中第二个式子具有封闭解：
上式中，为投影算子，x为变量，Fm×m为傅里叶矩阵，/>m为测量数，⊙为Hadamard积，/>为按元素除法，/>为无相位衍射图样；
3.2.2)将变量x分解为x1＝PT(x)和其正交补将交替方向下降乘子算法的在每一步中有如下三个子步骤对应的式(5)中第一个式子改写为：
上式中，PT(·)为截断算子，yk，ωk为第k步的估计值x1为优化变量，λ为正则化参数，R(·)为正则化算子，/>为邻近化算子；将式(7)看作高斯去噪过程，将/>用去噪神经网络Dσ(·)替代，从而交替方向下降乘子算法的在每一步中有如下三个子步骤对应的式(6)中第一个式子改写为：
上式中，xk+1为第k+1步估计值，yk，ωk为第k步的估计值，为去噪投影算子，Dσ(·)为去噪神经网络，0为零向量。
3.2.3)根据式(5)和(8)，得到交替方向下降乘子算法的在每一步中最终的三个子步骤如式(4)所示。
可选地，所述去噪神经网络为高斯去噪神经网络。
可选地，步骤3.2)之前提前训练去噪神经网络的步骤：以残差神经网络R(·)作为去噪神经网络的网络框架，以高斯噪声图片-原始图片数据对作为训练集，去噪神经网络的输入为含有噪声的图片y，去噪神经网络的输出为R(y)，通过度量y-R(y)与无噪图片x之间的差距从而不断从数据中学习去噪神经网络的权重，最终完成对去噪神经网络的训练。
此外，本发明还提供一种基于即插即用神经网络的傅里叶相位恢复系统，包括相互连接的处理器和存储器，所述处理器被编程或配置以执行所述基于即插即用神经网络的傅里叶相位恢复方法的步骤。
此外，本发明还提供一种计算机可读存储介质，该计算机可读存储介质中存储有被编程或配置以执行所述基于即插即用神经网络的傅里叶相位恢复方法的计算机程序。
和现有技术相比，本发明具有下述优点：
1、本发明方法成像质量好。本发明方法使用传统优化方法从无相位测量中恢复物体的过程中，加入训练好的神经网络约束迭代值。较传统的正则化算子，比如全变差算子(Total Variation，TV)，小波算子等，神经网络对于迭代值的正则化约束是从大量数据中学习得来的，它能够更好地符合数据的规律，使得方法能够具有较好的成像效果。
2、本发明方法对于初始值不敏感。本发明方法较一般的相位恢复方法对于初始值不太敏感，特别是方法能够在一定程度上克服“孪生像”。产生这一优势的原因要归结于在迭代过程中引入了神经网络对迭代解进行约束，约束了迭代解的搜索空间，使得方法求解傅里叶相位恢复这一非凸优化问题也具有较高的稳定性。
3、本发明方法可扩展性强。本发明方法可以通过算子分裂以及惩罚函数变型拓展得到一系列新的方法。
附图说明
图1为本发明实施例方法的基本流程图。
图2为本发明实施例的相干衍射成像光路图。
图3为本发明实施例中残差神经网络的结构图。
图4为本发明实施例方法与现有方法的仿真实验结果图。
图5为本发明实施例方法与现有方法的光学实验结果图。
具体实施方式
下面结合附图和实施例，对本发明技术方案作进一步说明。
如图1所示，本实施例基于即插即用神经网络的傅里叶相位恢复方法包括：
1)将相位恢复问题构建傅里叶相位恢复问题的数学模型；
2)将所述数学模型转换为可求解的非凸优化问题；
3)通过交替方向下降乘子算法求解非凸优化问题，且在求解过程中加入提前训练好的去噪神经网络作为交替方向下降乘子算法的子模块，通过该去噪神经网络对交替方向下降乘子算法的迭代值起到正则化约束的作用，最终得到恢复图像。
本实施例中，步骤1)中的相位恢复问题是指通过利用探测器在远场收集样本的无相位衍射图样得到恢复图像的问题。
参见图2，物理上，一束相关光照射样品，利用探测器(CCD或CMOS)在远场收集样本的无相位衍射图样，试图通过测到的衍射图样恢复样品，该问题被称为相位恢复问题。图2中，标号1表示光源，标号2表示成像物体，标号3表示傅里叶透镜，标号4表示CCD相机，标号5表示图像恢复系统。远场衍射可以通过夫朗和费衍射进行近似，而在数学上，夫朗和费衍射公式的积分表达式恰好为傅里叶变换。因此，本实施例步骤1)中构建傅里叶相位恢复问题的数学模型的函数表达式为：
上式中，x为优化变量，为傅里叶矩阵，/>为无相位衍射图样，/>为m×n维复矩阵空间，/>为m维实数空间，m为测量数，n为信号长度。求解式(1)非常困难。首先，该问题的解并不唯一，除了x的平凡解(如平移、翻转、以及乘以一个相位)可以满足(1.1)中的约束，理论证明，还有2n-1个非平凡解同样满足约束条件。这些平凡解还会影响算法的求解效率，由于翻转解的存在，使得现有算法在求解过程中会出现孪生像现象。其次，该问题是一个NP难问题，穷举/>的符号将其转为线性方程组求解的算法复杂度至少为指数复杂度/>因此将式(1)转化为可求解的优化问题至关重要。
考虑到傅里叶相位恢复问题的困难性，需要加入惩罚项R(x)抑制问题的病态程度。不同于以往的方法，本发明所加入的惩罚项没有显示的表达式。它的是作用通过算法中的神经网络所体现的；另外，在实验中，往往需要过采样m≥2n-1来约束解空间。因此，本实施例步骤2)中转换为可求解的非凸优化问题的函数表达式为：
上式中，x为优化变量，为m维实数空间，m为测量数，R(·)为正则化算子，PT(·)为截断算子，且有/>其中x(i)为向量的分量；
其中，为傅里叶矩阵，/>为无相位衍射图样。
式(2)是一个非凸可行集问题，一般算法极易陷入不动点，因此，需要精心设计算法进行求解(2)。为了求解(2)，本实施例中步骤3)包括：
3.1)引入松弛变量y和对偶变量ω，将非凸优化问题转换为下式所示的多变量的增广拉格朗日函数；
上式中，λ为罚函数；x优化变量，R(·)为正则化算子，PT(·)为截断算子，
3.2)通过交替方向下降乘子算法循环迭代求解式(3)所示的多变量的增广拉格朗日函数，所述交替方向下降乘子算法的在每一步中有如下三个子步骤：
上式中，xk+1，yk+1，ωk+1为第k+1步的估计值，xk，yk，ωk为第k步的估计值，Fm×m为傅里叶矩阵，β为对偶参数，PT(1)为截断算子，Dσ(·)为提前训练好的去噪神经网络。
步骤3.2)通过交替方向下降乘子算法循环迭代求解式(3)所示的多变量的增广拉格朗日函数时，的初始值估计y0＝0以及ω0＝0，迭代步数根据实际情况调节。
本实施例中，步骤3.2)之前还包括推导交替方向下降乘子算法的在每一步三个子步骤的过程：
3.2.1)确定推导交替方向下降乘子算法的在每一步三个子步骤：
上式中，x，y，ω为优化变量，xk+1，yk+1，ωk+1为第k+1步的估计值，xk+1，yk+1，ωk+1为第k步的估计值，β为对偶参数，l(·)为损失函数；式(5)中第二个式子具有封闭解：
上式中，为投影算子，x为变量，Fm×m为傅里叶矩阵，/>m为测量数，⊙为Hadamard积，/>为按元素除法，/>为无相位衍射图样；
3.2.2)将变量x分解为x1＝PT(x)和其正交补将交替方向下降乘子算法的在每一步中有如下三个子步骤对应的式(5)中第一个式子改写为：
上式PT(·)为截断算子，yk，ωk为第k步的估计值，x1为优化变量，λ为正则化参数，R(·)为正则化算子，/>为邻近化算子；将式(7)看作高斯去噪过程，将/>用去噪神经网络Dσ(·)替代，从而交替方向下降乘子算法的在每一步中有如下三个子步骤对应的式(6)中第一个式子改写为：
上式中，xk+1为第k+1步估计值，yk，ωk为第k步的估计值，为去噪投影算子，Dσ(·)为去噪神经网络，0为零向量。
3.2.3)根据式(5)和(8)，得到交替方向下降乘子算法的在每一步中最终的三个子步骤如式(4)所示。
本实施例中，去噪神经网络为高斯去噪神经网络。
本实施例中，步骤3.2)之前提前训练去噪神经网络的步骤：以残差神经网络R(·)作为去噪神经网络的网络框架，以高斯噪声图片-原始图片数据对作为训练集，去噪神经网络的输入为含有噪声的图片y，去噪神经网络的输出为R(y)，通过度量y-R(y)与无噪图片x之间的差距从而不断从数据中学习去噪神经网络的权重(增强网络的去噪能力)，最终完成对去噪神经网络的训练。该去噪神经网络训练好后，在步骤3.2)中就可以反复使用(即插即用)，无需再次训练。本实施例中，残差神经网络R(·)的框架如图3所示，Dconv表示卷积层，Relu表示Relu函数(整流线性单位函数)，BN表示BN函数(批归一化)，经过一系列卷积层处理后最终输出残差图。残差神经网络R(·)的部分参数具体如下：网络层数20，学习率初始设为0.1，每隔50个周期学习率开始下降，下降系数为10-4，学习率小于10-4停止，网络的数据批次为128，神经网络训练完成后就可以固化，在应用时即可即插即用。
图4为本实施例方法与现有方法的仿真实验结果图，图5为本发明实施例方法与现有方法的光学实验结果图。图4中，第一列为原始图像，第二列为HIO方法恢复图像，第三列为OSS算法恢复图像，第四列为ADMM恢复图像，第五列为prDeep恢复图像，第六列为DFPR-PnP-HIO算法所恢复图像，第七列为DFPR-RED算法所恢复图像。图5中，子图(a)为真实图像，子图(b)为测量频谱，子图(c)为HIO方法的恢复图像局部，子图(d)为本实施例方法的恢复图像局部。参见图4和图5可知，本实施例方法能够从低信噪比的无相位测量中恢复得到高质量的图像。因此，本实施例基于即插即用神经网络的傅里叶相位恢复方法对成像过程进行数学建模，并将其转化为非凸优化问题，并用优化算法对其进行求解，且在优化算法中，加入预训练的神经网络对迭代值进行约束，从而能够从无相位测量中恢复高质量的图像，特别对低信噪的测量，该方法较现有方法有更为明显的优势。
此外，需要说明的是，本实施例方法可以通过算子分裂以及惩罚函数变型拓展得到一系列新的算法。例如，按照算子分裂的思想，该算法可以依照不同的投影方式构造不同的迭代格式，从而可以产生不同的融入神经网络的投影算法。以基于神经网络的混合输入输出算法(DFPR-PnP-HIO)为例。具体地，联立式(5)、(6)、(7)，我们可以得到：
上式中，xk+1为第k+1步的估计值，xk为第k步的估计值，yk为第k的估计值，ωk是第k步对偶变量的估计值，ωk-1是第k-1步对偶变量的估计值，β为对偶变量，为投影算子，/> 为去噪投影算子，Dσ(·)为去噪神经网络，α为尺度因子。
式(10)是基于如下假设条件得到的：
Dσ(α1x)＝α1Dσ(x)
上式中，Dσ(·)为去噪神经网络，α1，α2，α3为尺度因子，为投影算子，上面的假设条件是合理的，因为理想的去噪神经网络能够保持图像的尺度，并且具有相同傅里叶相位的图像保持类似的图像结构，通过去噪神经网络Dσ(·)作用以后能够保持图像相差一个尺度因子。
联立式(9)和式(10)，并且令ωk≡0，α＝1，可以推导出下列递推等式：
上式中，xk+1为第k+1步的估计值，xk为第k步的估计值，β为对偶变量，为投影算子，/> 为去噪投影算子，Dσ(·)为去噪神经网络， 为单位算子。式(11)恰好为HIO算法的递推公式，因此基于神经网络的混合输入输出算法(DFPR-PnP-HIO)可以写成下面的形式：
上式中，xk+1为第k+1步的估计值，为第k+1步和第k步的中间值，xk为第k步的估计值，β为对偶变量，/>为投影算子，/>PT(·)为截断算子，/>为PT(·)的余集截断算子，Dσ(·)为去噪神经网络，/> 为单位算子。
按照不同的正则化算子R(·)也会产生不同的算法格式。以基于神经网络的RED方法(DFPR-RED)为例，当R(·)为RED算子的时候，即：
上式中x为变量，λ为正则化参数，Dσ(·)为去噪神经网络。
式(7)则等价于求解下列优化问题：
上式中，PT(·)为截断算子，yk，ωk为第k步的估计值，x1为优化变量，λ为正则化参数，Dσ(·)为去噪神经网络。
利用一阶最优性条件，式(14)的解需要满足如下等式：
上式中，PT(·)为截断算子，yk，ωk为第k步的估计值，x1为优化变量，λ为正则化参数，Dσ(·)为去噪神经网络。
可以利用迭代方法求解式(15)，令迭代初始值为上式中，PT(·)为截断算子。则可以有：
上式中，zi为第i步的迭代值，zi-1为第i-1步的迭代值，z0为迭代初始值，λ为正则化参数，Dσ(·)为去噪神经网络，M为总的迭代次数。注意到，如果λ足够大，令PT(xk+1)＝z1≈Dσ(z0)，上式中PT(·)为截断算子，xk+1为第k+1步的估计值，z1为第1步的迭代值值，Dσ(·)为去噪神经网络。因此，可以看出DFPR-RED为等价于本实施例方法，并且DFPR-RED为本实施例方法的一种加权形式。
综上，DFPR-RED的算法格式可以表示如下：
上式中，xk+1为第k+1步的估计值，xk为第k步的估计值，yk+1为第k+1的估计值，yk为第k的估计值，ωk+1是第k+1步对偶变量的估计值，ωk是第k步对偶变量的估计值，β为对偶变量，为投影算子，/> 为去噪投影算子，Dσ(·)为去噪神经网络，zi为第i步的迭代值，zi-1为第i-1步的迭代值，z0为迭代初始值，λ为正则化参数，Dσ(·)为去噪神经网络，M为总的迭代次数。总之，面对不同的应用背景，可以灵活使用不同的拓展算法，它们也均具有较好的恢复效果。
此外，本实施例还提供一种基于即插即用神经网络的傅里叶相位恢复系统，包括相互连接的处理器和存储器，处理器被编程或配置以执行前述基于即插即用神经网络的傅里叶相位恢复方法的步骤。
此外，本实施例还提供一种计算机可读存储介质，该计算机可读存储介质中存储有被编程或配置以执行前述基于即插即用神经网络的傅里叶相位恢复方法的计算机程序。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可读存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (7)
1.一种基于即插即用神经网络的傅里叶相位恢复方法，其特征在于，包括：
1）将相位恢复问题构建傅里叶相位恢复问题的数学模型，所述相位恢复问题是指通过利用探测器在远场收集样本的无相位衍射图样得到恢复图像的问题；
2）将所述数学模型转换为可求解的非凸优化问题；
3）通过交替方向下降乘子算法求解非凸优化问题，且在求解过程中加入提前训练好的去噪神经网络作为交替方向下降乘子算法的子模块，通过该去噪神经网络对交替方向下降乘子算法的迭代值起到正则化约束的作用，最终得到恢复图像；
步骤3）包括：
3.1）引入松弛变量和对偶变量/>，将非凸优化问题转换为下式所示的多变量的增广拉格朗日函数；
（3）
上式中，为罚函数；/>优化变量，/>为正则化算子，/>为截断算子，
；
3.2）通过交替方向下降乘子算法循环迭代求解式（3）所示的多变量的增广拉格朗日函数，所述交替方向下降乘子算法的在每一步中有如下三个子步骤：
（4）
上式中，为第k+1步的估计值，/>为第k步的估计值，/>为傅里叶矩阵，/>为对偶参数，/>为截断算子，/>为提前训练好的去噪神经网络；
步骤3.2）之前还包括推导交替方向下降乘子算法的在每一步三个子步骤的过程：
3.2.1）确定推导交替方向下降乘子算法的在每一步三个子步骤：
，（5）
上式中，为优化变量，/>为第k+1步的估计值，/>为第k步的估计值， />为损失函数；式（5）中第二个式子具有封闭解：
（6）
上式中，为投影算子，/>为变量，/>为傅里叶矩阵，/>，m为测量数，/>为Hadamard积, />为按元素除法，/>为无相位衍射图样；
3.2.2）将变量分解为/>和其正交补/>，将交替方向下降乘子算法的在每一步中有如下三个子步骤对应的式（5）中第一个式子改写为：
（7）
上式中，，/>为截断算子，/>为第k步的估计值，为优化变量，/>为正则化参数，/>为正则化算子，/>为邻近化算子；将式（7）看作高斯去噪过程，将/>用去噪神经网络/>替代，从而交替方向下降乘子算法的在每一步中有如下三个子步骤对应的式（6）中第一个式子改写为：
（8）
上式中，为第/>步估计值，/>为第k步的估计值，/>为去噪投影算子，/>为去噪神经网络，/>为零向量；
3.2.3）根据式（5）和（8），得到交替方向下降乘子算法的在每一步中最终的三个子步骤如式（4）所示。
2. 根据权利要求1所述的基于即插即用神经网络的傅里叶相位恢复方法，其特征在于，步骤1）中构建傅里叶相位恢复问题的数学模型的函数表达式为：
（1）
上式中，为优化变量，/>为傅里叶矩阵，/>为无相位衍射图样，为m×n维复矩阵空间，/>为m维实数空间，m为测量数，n为信号长度。
3. 根据权利要求1所述的基于即插即用神经网络的傅里叶相位恢复方法，其特征在于，步骤2）中转换为可求解的非凸优化问题的函数表达式为：
（2）
上式中，为优化变量，/>为m维实数空间，m为测量数，/>为正则化算子，/>为截断算子，且有/>，其中/>为向量的分量；
其中，为傅里叶矩阵，/>为无相位衍射图样。
4.根据权利要求1所述的基于即插即用神经网络的傅里叶相位恢复方法，其特征在于，所述去噪神经网络为高斯去噪神经网络。
5.根据权利要求4所述的基于即插即用神经网络的傅里叶相位恢复方法，其特征在于，步骤3.2）之前提前训练去噪神经网络的步骤：以残差神经网络作为去噪神经网络的网络框架，以高斯噪声图片-原始图片数据对作为训练集，去噪神经网络的输入为含有噪声的图片/>，去噪神经网络的输出为/>，通过度量/>与无噪图片/>之间的差距从而不断从数据中学习去噪神经网络的权重，最终完成对去噪神经网络的训练。
6.一种基于即插即用神经网络的傅里叶相位恢复系统,包括相互连接的处理器和存储器，其特征在于，所述处理器被编程或配置以执行权利要求1～5中任意一项所述基于即插即用神经网络的傅里叶相位恢复方法的步骤。
7.一种计算机可读存储介质，其特征在于，该计算机可读存储介质中存储有被编程或配置以执行权利要求1～5中任意一项所述基于即插即用神经网络的傅里叶相位恢复方法的计算机程序。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110032537.6A CN112597433B (zh) | 2021-01-11 | 2021-01-11 | 基于即插即用神经网络的傅里叶相位恢复方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110032537.6A CN112597433B (zh) | 2021-01-11 | 2021-01-11 | 基于即插即用神经网络的傅里叶相位恢复方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112597433A CN112597433A (zh) | 2021-04-02 |
| CN112597433B true CN112597433B (zh) | 2024-01-02 |
Family
ID=75207120
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110032537.6A Active CN112597433B (zh) | 2021-01-11 | 2021-01-11 | 基于即插即用神经网络的傅里叶相位恢复方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112597433B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114282348A (zh) * | 2021-11-17 | 2022-04-05 | 南京邮电大学 | 基于隐式正则与算法bdca的相位恢复方法 |
| CN114693828B (zh) * | 2022-04-07 | 2023-01-31 | 中国科学院西安光学精密机械研究所 | 基于交替方向乘子法的傅里叶叠层成像重建方法 |
| CN114897724A (zh) * | 2022-05-09 | 2022-08-12 | 南京邮电大学 | 一种基于twf的软阈值加权相位恢复方法、装置及存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106920220A (zh) * | 2017-02-24 | 2017-07-04 | 西北工业大学 | 基于暗原色和交替方向乘子法优化的湍流图像盲复原方法 |
| CN108416753A (zh) * | 2018-03-14 | 2018-08-17 | 大连理工大学 | 一种基于非参数化交替方向乘子法的图像去噪算法 |
| CN110705762A (zh) * | 2019-09-20 | 2020-01-17 | 天津大学 | 基于矩阵填充的泛在电力物联网感知数据缺失修复方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11205103B2 (en) * | 2016-12-09 | 2021-12-21 | The Research Foundation for the State University | Semisupervised autoencoder for sentiment analysis |
| US11137719B2 (en) * | 2018-12-11 | 2021-10-05 | University Of North Carolina At Chapel Hill | Methods, systems, and computer readable media for improved digital holography and display incorporating same |
-
2021
- 2021-01-11 CN CN202110032537.6A patent/CN112597433B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106920220A (zh) * | 2017-02-24 | 2017-07-04 | 西北工业大学 | 基于暗原色和交替方向乘子法优化的湍流图像盲复原方法 |
| CN108416753A (zh) * | 2018-03-14 | 2018-08-17 | 大连理工大学 | 一种基于非参数化交替方向乘子法的图像去噪算法 |
| CN110705762A (zh) * | 2019-09-20 | 2020-01-17 | 天津大学 | 基于矩阵填充的泛在电力物联网感知数据缺失修复方法 |
Non-Patent Citations (3)
| Title |
|---|
| Phase Retrieval with background information;Ziyang Yuan等;《Inverse Problemns》;第35卷(第05期);正文第1-5节，第1-14页 * |
| prDeep: Robust Phase Retrieval with a Flexible Deep Network;Christopher A. Metzler等;《Proceedings of the 35 th International Conference on Machine Learning》;第80卷;正文第1-5节，第3501-3510页 * |
| 空间目标图像的非凸稀疏正则化波后复原;郭从洲等;《光学精密工程》;第24卷(第04期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112597433A (zh) | 2021-04-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112597433B (zh) | 基于即插即用神经网络的傅里叶相位恢复方法及系统 | |
| CN106846268B (zh) | 一种高斯-脉冲混合图像噪声去除方法 | |
| Ng et al. | Solving constrained total-variation image restoration and reconstruction problems via alternating direction methods | |
| CN110675347B (zh) | 一种基于组稀疏表示的图像盲复原方法 | |
| Jiang et al. | Dictionary learning with low-rank coding coefficients for tensor completion | |
| Moore et al. | Panoramic robust pca for foreground–background separation on noisy, free-motion camera video | |
| Zha et al. | Compressed sensing image reconstruction via adaptive sparse nonlocal regularization | |
| KR100907120B1 (ko) | 열화 정보 복원 방법, 복원 장치 및 프로그램이 기록된 기록 매체 | |
| KR20220065773A (ko) | 정상 데이터로의 데이터 샘플 변환 | |
| Liu et al. | Remote-sensing image denoising with multi-sourced information | |
| CN115240022A (zh) | 一种使用长曝光补偿的低光照图像增强方法 | |
| Repetti et al. | A nonconvex regularized approach for phase retrieval | |
| US8849029B2 (en) | Image processing method, image processing device and program | |
| CN107133921B (zh) | 基于多层次邻域嵌入的图像超分辨率重建方法及系统 | |
| Yağan et al. | A spectral graph wiener filter in graph fourier domain for improved image denoising | |
| Genser et al. | Spectral constrained frequency selective extrapolation for rapid image error concealment | |
| Baccarelli et al. | Twinned Residual Auto-Encoder (TRAE)—A new DL architecture for denoising super-resolution and task-aware feature learning from COVID-19 CT images | |
| Zhu et al. | Image Restoration by Second‐Order Total Generalized Variation and Wavelet Frame Regularization | |
| CN112163186A (zh) | 即插即用的大规模高效鲁棒相位恢复方法与系统 | |
| GB2325581A (en) | Local relaxation method for estimating optical flow | |
| Hao et al. | A fast linearized alternating minimization algorithm for constrained high-order total variation regularized compressive sensing | |
| CN111397733A (zh) | 一种单/多帧快照式光谱成像方法、系统及介质 | |
| Lakshman et al. | Image recovery using sparse reconstruction based texture refinement | |
| Braun et al. | Optical flow for compressive sensing video reconstruction | |
| Eslahi et al. | Improved sparse signal recovery via adaptive correlated noise model |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |