CN112597433A - 基于即插即用神经网络的傅里叶相位恢复方法及系统 - Google Patents

基于即插即用神经网络的傅里叶相位恢复方法及系统 Download PDF

Info

Publication number
CN112597433A
CN112597433A CN202110032537.6A CN202110032537A CN112597433A CN 112597433 A CN112597433 A CN 112597433A CN 202110032537 A CN202110032537 A CN 202110032537A CN 112597433 A CN112597433 A CN 112597433A
Authority
CN
China
Prior art keywords
neural network
phase recovery
plug
play
operator
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110032537.6A
Other languages
English (en)
Other versions
CN112597433B (zh
Inventor
袁梓洋
王红霞
杨皓星
冷宁益
张术昌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National University of Defense Technology
Original Assignee
National University of Defense Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National University of Defense Technology filed Critical National University of Defense Technology
Priority to CN202110032537.6A priority Critical patent/CN112597433B/zh
Publication of CN112597433A publication Critical patent/CN112597433A/zh
Application granted granted Critical
Publication of CN112597433B publication Critical patent/CN112597433B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/14—Fourier, Walsh or analogous domain transformations, e.g. Laplace, Hilbert, Karhunen-Loeve, transforms
    • G06F17/141—Discrete Fourier transforms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Mathematical Optimization (AREA)
  • Artificial Intelligence (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computing Systems (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Algebra (AREA)
  • Discrete Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于即插即用神经网络的傅里叶相位恢复方法及系统，本发明基于即插即用神经网络的傅里叶相位恢复方法包括：将相位恢复问题构建傅里叶相位恢复问题的数学模型；将所述数学模型转换为可求解的非凸优化问题；通过交替方向下降乘子算法求解非凸优化问题，且在求解过程中加入提前训练好的去噪神经网络作为交替方向下降乘子算法的子模块，通过该去噪神经网络对交替方向下降乘子算法的迭代值起到正则化约束的作用，最终得到恢复图像。本发明能够克服现有经典算法对于初始值敏感、鲁棒性较差等缺点，其能够从低信噪比的无相位测量中恢复得到高质量的图像。

Description

基于即插即用神经网络的傅里叶相位恢复方法及系统
技术领域
本发明属于计算成像领域，具体涉及一种基于即插即用神经网络的傅里叶相位恢复方法及系统。
背景技术
在电磁场中，由于物体所携带的相位信息具有太赫兹频率。这使得相位信息很难被CCD、CMOS等仪器所直接测量。相比于强度，相位包含了物体更为丰富的信息。因此、如何能够设计高效算法恢复相位，对于解决X光晶体成像、相干衍射成像、傅里叶叠层成像等应用中的关键技术问题起到了决定性作用。
在数学上，傅里叶相位恢复问题是一个病态的逆问题。假设所要恢复的一维离散信号
Figure BDA0002892010000000011
已知x经过测量ai后的信号强度为：
Figure BDA0002892010000000012
上式中，
Figure BDA0002892010000000013
为ai的共轭转置，则相位恢复问题的数学表达式如下：
Findx
Figure BDA0002892010000000014
上式是一个非线性优化问题，其求解复杂度非常大。即使
Figure BDA0002892010000000015
为实数，由于符号带来的不确定性，它的计算复杂度可以达到
Figure BDA0002892010000000016
这实际上是一个NP难问题。
相位恢复问题解也不具有唯一性。真实解的平凡变换即时域平移、共轭翻转以及全局相位都会产生满足约束条件的解；除此之外，理论上已经证明了对于1-D信号，在全局相位意义下至少存在2n-2个不能通过对真实信号进行平凡变换所能得到的解；结构复杂的解空间使得求解该问题在没有加入额外约束条件的情况下变得异常困难。
在经典的傅里叶相位恢复问题(1.1)中，常常假设已知真实信号
Figure BDA0002892010000000017
的支撑集(即非零元素组成的集合)。
Figure BDA0002892010000000018
Figure BDA0002892010000000019
Figure BDA0002892010000000021
其中，
Figure BDA0002892010000000022
为傅里叶矩阵，
Figure BDA0002892010000000023
为无相位衍射图样。
在该假设条件下，理论证明了在m≥2n-1的情况下，二维图像的傅里叶相位恢复问题的解通常只包含真实解及其共轭翻转。经典的傅里叶相位恢复算法主要包括Gerchberg-Saxton迭代算法(Gerchberg-Saxton method，GS)，混合输入输出算法(Hybrid input andoutput algorithm，HIO)，混合投影反射算法(Hybrid Projection and Reflectionmethod，HPR)，松弛平均交替反射算法(Relax Average Alternating Reflector，RAAR)，过采样光滑算法(0versampling Smoothing method，OSS)，以及交替方向下降乘子算法(Alternating Direction Minimization Multiplier，ADMM)。这些经典算法求解(1.1)的困难主要存在于如下三个方面。(1)由于
Figure BDA0002892010000000024
为非凸集合，经典算法往往极易陷入局部最优解，且算法对于初始值假设的依赖性太强；(2)由于共轭翻转解的影响，经典算法的数值结果经常会出现“孪生像问题”，所恢复图像的质量往往较差；(3)另外，经典算法的鲁棒性较差，不能从具有较低信噪比的测量中恢复图像。因此，对于傅里叶相位恢复问题，亟需一种对初始值估计不敏感，且鲁棒性较高，能恢复高质量图像的傅里叶相位恢复算法。
发明内容
本发明要解决的技术问题：针对经典傅里叶相位恢复算法所存在的上述缺陷，提供一种基于即插即用神经网络的傅里叶相位恢复方法及系统，本发明能够克服现有经典算法对于初始值敏感、鲁棒性较差等缺点，其能够从低信噪比的无相位测量中恢复得到高质量的图像。
为了解决上述技术问题，本发明采用的技术方案为：
一种基于即插即用神经网络的傅里叶相位恢复方法，包括：
1)将相位恢复问题构建傅里叶相位恢复问题的数学模型；
2)将所述数学模型转换为可求解的非凸优化问题；
3)通过交替方向下降乘子算法求解非凸优化问题，且在求解过程中加入提前训练好的去噪神经网络作为交替方向下降乘子算法的子模块，通过该去噪神经网络对交替方向下降乘子算法的迭代值起到正则化约束的作用，最终得到恢复图像。
可选地，步骤1)中的相位恢复问题是指通过利用探测器在远场收集样本的无相位衍射图样得到恢复图像的问题。
可选地，步骤1)中构建傅里叶相位恢复问题的数学模型的函数表达式为：
Figure BDA0002892010000000025
上式中，x为优化变量，
Figure BDA0002892010000000031
为傅里叶矩阵，
Figure BDA0002892010000000032
为无相位衍射图样，
Figure BDA0002892010000000033
为m×n维复矩阵空间，
Figure BDA0002892010000000034
为m维实数空间，m为测量数，n为信号长度。
可选地，步骤2)中转换为可求解的非凸优化问题的函数表达式为：
Figure BDA0002892010000000035
上式中，x为优化变量，
Figure BDA0002892010000000036
为m维实数空间，m为测量数，R(·)为正则化算子，PT(·)为截断算子，且有
Figure BDA0002892010000000037
其中x(i)为向量的分量；
Figure BDA0002892010000000038
Figure BDA0002892010000000039
其中，
Figure BDA00028920100000000310
为傅里叶矩阵，
Figure BDA00028920100000000311
为无相位衍射图样。
可选地，步骤3)包括：
3.1)引入松弛变量y和对偶变量ω，将非凸优化问题转换为下式所示的多变量的增广拉格朗日函数；
Figure BDA00028920100000000312
上式中，λ为罚函数；x优化变量，R(·)为正则化算子，PT(·)为截断算子，
Figure BDA00028920100000000313
3.2)通过交替方向下降乘子算法循环迭代求解式(3)所示的多变量的增广拉格朗日函数，所述交替方向下降乘子算法的在每一步中有如下三个子步骤：
Figure BDA00028920100000000314
上式中，xk+1，yk+1，ωk+1为第k+1步的估计值，xk，yk，ωk为第k步的估计值，Fm×m为傅里叶矩阵，β为对偶参数，PT(·)为截断算子，Dσ(·)为提前训练好的去噪神经网络。
可选地，步骤3.2)之前还包括推导交替方向下降乘子算法的在每一步三个子步骤的过程：
3.2.1)确定推导交替方向下降乘子算法的在每一步三个子步骤：
Figure BDA0002892010000000041
上式中，x，y，ω为优化变量，xk+1，yk+1，ωk+1为第k+1步的估计值，xk+1，yk+1，ωk+1为第k步的估计值，l(·)为损失函数；式(5)中第二个式子具有封闭解：
Figure BDA0002892010000000042
上式中，
Figure BDA0002892010000000043
为投影算子，x为变量，Fm×m为傅里叶矩阵，
Figure BDA0002892010000000044
m为测量数，⊙为Hadamard积，
Figure BDA0002892010000000045
为按元素除法，
Figure BDA0002892010000000046
为无相位衍射图样；
3.2.2)将变量x分解为x1＝PT(x)和其正交补
Figure BDA0002892010000000047
将交替方向下降乘子算法的在每一步中有如下三个子步骤对应的式(5)中第一个式子改写为：
Figure BDA0002892010000000048
上式中，
Figure BDA0002892010000000049
PT(·)为截断算子，yk，ωk为第k步的估计值x1为优化变量，λ为正则化参数，R(·)为正则化算子，
Figure BDA00028920100000000410
为邻近化算子；将式(7)看作高斯去噪过程，将
Figure BDA00028920100000000411
用去噪神经网络Dσ(·)替代，从而交替方向下降乘子算法的在每一步中有如下三个子步骤对应的式(6)中第一个式子改写为：
Figure BDA00028920100000000412
上式中，xk+1为第k+1步估计值，yk，ωk为第k步的估计值，
Figure BDA00028920100000000413
为去噪投影算子，Dσ(·)为去噪神经网络，0为零向量。
3.2.3)根据式(5)和(8)，得到交替方向下降乘子算法的在每一步中最终的三个子步骤如式(4)所示。
可选地，所述去噪神经网络为高斯去噪神经网络。
可选地，步骤3.2)之前提前训练去噪神经网络的步骤：以残差神经网络R(·)作为去噪神经网络的网络框架，以高斯噪声图片-原始图片数据对作为训练集，去噪神经网络的输入为含有噪声的图片y，去噪神经网络的输出为R(y)，通过度量y-R(y)与无噪图片x之间的差距从而不断从数据中学习去噪神经网络的权重，最终完成对去噪神经网络的训练。
此外，本发明还提供一种基于即插即用神经网络的傅里叶相位恢复系统，包括相互连接的处理器和存储器，所述处理器被编程或配置以执行所述基于即插即用神经网络的傅里叶相位恢复方法的步骤。
此外，本发明还提供一种计算机可读存储介质，该计算机可读存储介质中存储有被编程或配置以执行所述基于即插即用神经网络的傅里叶相位恢复方法的计算机程序。
和现有技术相比，本发明具有下述优点：
1、本发明方法成像质量好。本发明方法使用传统优化方法从无相位测量中恢复物体的过程中，加入训练好的神经网络约束迭代值。较传统的正则化算子，比如全变差算子(Total Variation，TV)，小波算子等，神经网络对于迭代值的正则化约束是从大量数据中学习得来的，它能够更好地符合数据的规律，使得方法能够具有较好的成像效果。
2、本发明方法对于初始值不敏感。本发明方法较一般的相位恢复方法对于初始值不太敏感，特别是方法能够在一定程度上克服“孪生像”。产生这一优势的原因要归结于在迭代过程中引入了神经网络对迭代解进行约束，约束了迭代解的搜索空间，使得方法求解傅里叶相位恢复这一非凸优化问题也具有较高的稳定性。
3、本发明方法可扩展性强。本发明方法可以通过算子分裂以及惩罚函数变型拓展得到一系列新的方法。
附图说明
图1为本发明实施例方法的基本流程图。
图2为本发明实施例的相干衍射成像光路图。
图3为本发明实施例中残差神经网络的结构图。
图4为本发明实施例方法与现有方法的仿真实验结果图。
图5为本发明实施例方法与现有方法的光学实验结果图。
具体实施方式
下面结合附图和实施例，对本发明技术方案作进一步说明。
如图1所示，本实施例基于即插即用神经网络的傅里叶相位恢复方法包括：
1)将相位恢复问题构建傅里叶相位恢复问题的数学模型；
2)将所述数学模型转换为可求解的非凸优化问题；
3)通过交替方向下降乘子算法求解非凸优化问题，且在求解过程中加入提前训练好的去噪神经网络作为交替方向下降乘子算法的子模块，通过该去噪神经网络对交替方向下降乘子算法的迭代值起到正则化约束的作用，最终得到恢复图像。
本实施例中，步骤1)中的相位恢复问题是指通过利用探测器在远场收集样本的无相位衍射图样得到恢复图像的问题。
参见图2，物理上，一束相关光照射样品，利用探测器(CCD或CMOS)在远场收集样本的无相位衍射图样，试图通过测到的衍射图样恢复样品，该问题被称为相位恢复问题。图2中，标号1表示光源，标号2表示成像物体，标号3表示傅里叶透镜，标号4表示CCD相机，标号5表示图像恢复系统。远场衍射可以通过夫朗和费衍射进行近似，而在数学上，夫朗和费衍射公式的积分表达式恰好为傅里叶变换。因此，本实施例步骤1)中构建傅里叶相位恢复问题的数学模型的函数表达式为：
Figure BDA0002892010000000061
上式中，x为优化变量，
Figure BDA0002892010000000062
为傅里叶矩阵，
Figure BDA0002892010000000063
为无相位衍射图样，
Figure BDA0002892010000000064
为m×n维复矩阵空间，
Figure BDA0002892010000000065
为m维实数空间，m为测量数，n为信号长度。求解式(1)非常困难。首先，该问题的解并不唯一，除了x的平凡解(如平移、翻转、以及乘以一个相位)可以满足(1.1)中的约束，理论证明，还有2n-1个非平凡解同样满足约束条件。这些平凡解还会影响算法的求解效率，由于翻转解的存在，使得现有算法在求解过程中会出现孪生像现象。其次，该问题是一个NP难问题，穷举
Figure BDA0002892010000000066
的符号将其转为线性方程组求解的算法复杂度至少为指数复杂度
Figure BDA0002892010000000067
因此将式(1)转化为可求解的优化问题至关重要。
考虑到傅里叶相位恢复问题的困难性，需要加入惩罚项R(x)抑制问题的病态程度。不同于以往的方法，本发明所加入的惩罚项没有显示的表达式。它的是作用通过算法中的神经网络所体现的；另外，在实验中，往往需要过采样m≥2n-1来约束解空间。因此，本实施例步骤2)中转换为可求解的非凸优化问题的函数表达式为：
Figure BDA0002892010000000068
上式中，x为优化变量，
Figure BDA0002892010000000069
为m维实数空间，m为测量数，R(·)为正则化算子，PT(·)为截断算子，且有
Figure BDA00028920100000000610
其中x(i)为向量的分量；
Figure BDA00028920100000000611
Figure BDA00028920100000000612
其中，
Figure BDA00028920100000000613
为傅里叶矩阵，
Figure BDA00028920100000000614
为无相位衍射图样。
式(2)是一个非凸可行集问题，一般算法极易陷入不动点，因此，需要精心设计算法进行求解(2)。为了求解(2)，本实施例中步骤3)包括：
3.1)引入松弛变量y和对偶变量ω，将非凸优化问题转换为下式所示的多变量的增广拉格朗日函数；
Figure BDA0002892010000000071
上式中，λ为罚函数；x优化变量，R(·)为正则化算子，PT(·)为截断算子，
Figure BDA0002892010000000072
3.2)通过交替方向下降乘子算法循环迭代求解式(3)所示的多变量的增广拉格朗日函数，所述交替方向下降乘子算法的在每一步中有如下三个子步骤：
Figure BDA0002892010000000073
上式中，xk+1，yk+1，ωk+1为第k+1步的估计值，xk，yk，ωk为第k步的估计值，Fm×m为傅里叶矩阵，β为对偶参数，PT(1)为截断算子，Dσ(·)为提前训练好的去噪神经网络。
步骤3.2)通过交替方向下降乘子算法循环迭代求解式(3)所示的多变量的增广拉格朗日函数时，的初始值估计y0＝0以及ω0＝0，迭代步数根据实际情况调节。
本实施例中，步骤3.2)之前还包括推导交替方向下降乘子算法的在每一步三个子步骤的过程：
3.2.1)确定推导交替方向下降乘子算法的在每一步三个子步骤：
Figure BDA0002892010000000074
上式中，x，y，ω为优化变量，xk+1，yk+1，ωk+1为第k+1步的估计值，xk+1，yk+1，ωk+1为第k步的估计值，β为对偶参数，l(·)为损失函数；式(5)中第二个式子具有封闭解：
Figure BDA0002892010000000075
上式中，
Figure BDA00028920100000000811
为投影算子，x为变量，Fm×m为傅里叶矩阵，
Figure BDA0002892010000000081
m为测量数，⊙为Hadamard积，
Figure BDA0002892010000000082
为按元素除法，
Figure BDA0002892010000000083
为无相位衍射图样；
3.2.2)将变量x分解为x1＝PT(x)和其正交补
Figure BDA0002892010000000084
将交替方向下降乘子算法的在每一步中有如下三个子步骤对应的式(5)中第一个式子改写为：
Figure BDA0002892010000000085
上式
Figure BDA0002892010000000086
PT(·)为截断算子，yk，ωk为第k步的估计值，x1为优化变量，λ为正则化参数，R(·)为正则化算子，
Figure BDA0002892010000000087
为邻近化算子；将式(7)看作高斯去噪过程，将
Figure BDA0002892010000000088
用去噪神经网络Dσ(·)替代，从而交替方向下降乘子算法的在每一步中有如下三个子步骤对应的式(6)中第一个式子改写为：
Figure BDA0002892010000000089
上式中，xk+1为第k+1步估计值，yk，ωk为第k步的估计值，
Figure BDA00028920100000000810
为去噪投影算子，Dσ(·)为去噪神经网络，0为零向量。
3.2.3)根据式(5)和(8)，得到交替方向下降乘子算法的在每一步中最终的三个子步骤如式(4)所示。
本实施例中，去噪神经网络为高斯去噪神经网络。
本实施例中，步骤3.2)之前提前训练去噪神经网络的步骤：以残差神经网络R(·)作为去噪神经网络的网络框架，以高斯噪声图片-原始图片数据对作为训练集，去噪神经网络的输入为含有噪声的图片y，去噪神经网络的输出为R(y)，通过度量y-R(y)与无噪图片x之间的差距从而不断从数据中学习去噪神经网络的权重(增强网络的去噪能力)，最终完成对去噪神经网络的训练。该去噪神经网络训练好后，在步骤3.2)中就可以反复使用(即插即用)，无需再次训练。本实施例中，残差神经网络R(·)的框架如图3所示，Dconv表示卷积层，Relu表示Relu函数(整流线性单位函数)，BN表示BN函数(批归一化)，经过一系列卷积层处理后最终输出残差图。残差神经网络R(·)的部分参数具体如下：网络层数20，学习率初始设为0.1，每隔50个周期学习率开始下降，下降系数为10-4，学习率小于10-4停止，网络的数据批次为128，神经网络训练完成后就可以固化，在应用时即可即插即用。
图4为本实施例方法与现有方法的仿真实验结果图，图5为本发明实施例方法与现有方法的光学实验结果图。图4中，第一列为原始图像，第二列为HIO方法恢复图像，第三列为OSS算法恢复图像，第四列为ADMM恢复图像，第五列为prDeep恢复图像，第六列为DFPR-PnP-HIO算法所恢复图像，第七列为DFPR-RED算法所恢复图像。图5中，子图(a)为真实图像，子图(b)为测量频谱，子图(c)为HIO方法的恢复图像局部，子图(d)为本实施例方法的恢复图像局部。参见图4和图5可知，本实施例方法能够从低信噪比的无相位测量中恢复得到高质量的图像。因此，本实施例基于即插即用神经网络的傅里叶相位恢复方法对成像过程进行数学建模，并将其转化为非凸优化问题，并用优化算法对其进行求解，且在优化算法中，加入预训练的神经网络对迭代值进行约束，从而能够从无相位测量中恢复高质量的图像，特别对低信噪的测量，该方法较现有方法有更为明显的优势。
此外，需要说明的是，本实施例方法可以通过算子分裂以及惩罚函数变型拓展得到一系列新的算法。例如，按照算子分裂的思想，该算法可以依照不同的投影方式构造不同的迭代格式，从而可以产生不同的融入神经网络的投影算法。以基于神经网络的混合输入输出算法(DFPR-PnP-HIO)为例。具体地，联立式(5)、(6)、(7)，我们可以得到：
Figure BDA00028920100000000912
Figure BDA0002892010000000091
上式中，xk+1为第k+1步的估计值，xk为第k步的估计值，yk为第k的估计值，ωk是第k步对偶变量的估计值，ωk-1是第k-1步对偶变量的估计值，β为对偶变量，
Figure BDA0002892010000000092
为投影算子，
Figure BDA0002892010000000093
Figure BDA0002892010000000094
为去噪投影算子，Dσ(·)为去噪神经网络，
Figure BDA0002892010000000095
α为尺度因子。
式(10)是基于如下假设条件得到的：
Dσ(α1x)＝α1Dσ(x)
Figure BDA0002892010000000096
Figure BDA0002892010000000097
上式中，Dσ(·)为去噪神经网络，α1，α2，α3为尺度因子，
Figure BDA0002892010000000098
为投影算子，
Figure BDA0002892010000000099
上面的假设条件是合理的，因为理想的去噪神经网络能够保持图像的尺度，并且具有相同傅里叶相位的图像保持类似的图像结构，通过去噪神经网络Dσ(·)作用以后能够保持图像相差一个尺度因子。
联立式(9)和式(10)，并且令ωk≡0，α＝1，可以推导出下列递推等式：
Figure BDA00028920100000000910
上式中，xk+1为第k+1步的估计值，xk为第k步的估计值，β为对偶变量，
Figure BDA00028920100000000911
为投影算子，
Figure BDA0002892010000000101
Figure BDA0002892010000000102
为去噪投影算子，Dσ(·)为去噪神经网络，
Figure BDA0002892010000000103
Figure BDA0002892010000000104
为单位算子。式(11)恰好为HIO算法的递推公式，因此基于神经网络的混合输入输出算法(DFPR-PnP-HIO)可以写成下面的形式：
Figure BDA0002892010000000105
上式中，xk+1为第k+1步的估计值，
Figure BDA0002892010000000106
为第k+1步和第k步的中间值，xk为第k步的估计值，β为对偶变量，
Figure BDA0002892010000000107
为投影算子，
Figure BDA0002892010000000108
PT(·)为截断算子，
Figure BDA0002892010000000109
为PT(·)的余集截断算子，Dσ(·)为去噪神经网络，
Figure BDA00028920100000001010
Figure BDA00028920100000001011
为单位算子。
按照不同的正则化算子R(·)也会产生不同的算法格式。以基于神经网络的RED方法(DFPR-RED)为例，当R(·)为RED算子的时候，即：
Figure BDA00028920100000001012
上式中x为变量，λ为正则化参数，Dσ(·)为去噪神经网络。
式(7)则等价于求解下列优化问题：
Figure BDA00028920100000001013
上式中，
Figure BDA00028920100000001014
PT(·)为截断算子，yk，ωk为第k步的估计值，x1为优化变量，λ为正则化参数，Dσ(·)为去噪神经网络。
利用一阶最优性条件，式(14)的解需要满足如下等式：
Figure BDA00028920100000001015
上式中，
Figure BDA00028920100000001016
PT(·)为截断算子，yk，ωk为第k步的估计值，x1为优化变量，λ为正则化参数，Dσ(·)为去噪神经网络。
可以利用迭代方法求解式(15)，令迭代初始值为
Figure BDA00028920100000001017
上式中，
Figure BDA00028920100000001018
PT(·)为截断算子。则可以有：
Figure BDA00028920100000001019
上式中，zi为第i步的迭代值，zi-1为第i-1步的迭代值，z0为迭代初始值，λ为正则化参数，Dσ(·)为去噪神经网络，M为总的迭代次数。注意到，如果λ足够大，令PT(xk+1)＝z1≈Dσ(z0)，上式中PT(·)为截断算子，xk+1为第k+1步的估计值，z1为第1步的迭代值值，Dσ(·)为去噪神经网络。因此，可以看出DFPR-RED为等价于本实施例方法，并且DFPR-RED为本实施例方法的一种加权形式。
综上，DFPR-RED的算法格式可以表示如下：
Figure BDA0002892010000000111
上式中，xk+1为第k+1步的估计值，xk为第k步的估计值，yk+1为第k+1的估计值，yk为第k的估计值，ωk+1是第k+1步对偶变量的估计值，ωk是第k步对偶变量的估计值，β为对偶变量，
Figure BDA0002892010000000112
为投影算子，
Figure BDA0002892010000000113
Figure BDA0002892010000000114
为去噪投影算子，Dσ(·)为去噪神经网络，zi为第i步的迭代值，zi-1为第i-1步的迭代值，z0为迭代初始值，λ为正则化参数，Dσ(·)为去噪神经网络，M为总的迭代次数。总之，面对不同的应用背景，可以灵活使用不同的拓展算法，它们也均具有较好的恢复效果。
此外，本实施例还提供一种基于即插即用神经网络的傅里叶相位恢复系统，包括相互连接的处理器和存储器，处理器被编程或配置以执行前述基于即插即用神经网络的傅里叶相位恢复方法的步骤。
此外，本实施例还提供一种计算机可读存储介质，该计算机可读存储介质中存储有被编程或配置以执行前述基于即插即用神经网络的傅里叶相位恢复方法的计算机程序。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可读存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种基于即插即用神经网络的傅里叶相位恢复方法，其特征在于，包括：
1)将相位恢复问题构建傅里叶相位恢复问题的数学模型；
2)将所述数学模型转换为可求解的非凸优化问题；
3)通过交替方向下降乘子算法求解非凸优化问题，且在求解过程中加入提前训练好的去噪神经网络作为交替方向下降乘子算法的子模块，通过该去噪神经网络对交替方向下降乘子算法的迭代值起到正则化约束的作用，最终得到恢复图像。
2.根据权利要求1所述的基于即插即用神经网络的傅里叶相位恢复方法，其特征在于，步骤1)中的相位恢复问题是指通过利用探测器在远场收集样本的无相位衍射图样得到恢复图像的问题。
3.根据权利要求2所述的基于即插即用神经网络的傅里叶相位恢复方法，其特征在于，步骤1)中构建傅里叶相位恢复问题的数学模型的函数表达式为：
Figure FDA0002892009990000011
上式中，x为优化变量，
Figure FDA0002892009990000012
为傅里叶矩阵，
Figure FDA0002892009990000013
为无相位衍射图样，
Figure FDA0002892009990000014
为m×n维复矩阵空间，
Figure FDA0002892009990000015
为m维实数空间，m为测量数，n为信号长度。
4.根据权利要求1所述的基于即插即用神经网络的傅里叶相位恢复方法，其特征在于，步骤2)中转换为可求解的非凸优化问题的函数表达式为：
Figure FDA0002892009990000016
上式中，x为优化变量，
Figure FDA0002892009990000017
为m维实数空间，m为测量数，R(·)为正则化算子，PT(·)为截断算子，且有
Figure FDA0002892009990000018
其中x(i)为向量的分量；
Figure FDA0002892009990000019
Figure FDA00028920099900000110
其中，
Figure FDA00028920099900000111
为傅里叶矩阵，
Figure FDA00028920099900000112
为无相位衍射图样。
5.根据权利要求1所述的基于即插即用神经网络的傅里叶相位恢复方法，其特征在于，步骤3)包括：
3.1)引入松弛变量y和对偶变量ω，将非凸优化问题转换为下式所示的多变量的增广拉格朗日函数；
Figure FDA0002892009990000021
上式中，λ为罚函数；x优化变量，R(·)为正则化算子，PT(·)为截断算子，
Figure FDA0002892009990000022
3.2)通过交替方向下降乘子算法循环迭代求解式(3)所示的多变量的增广拉格朗日函数，所述交替方向下降乘子算法的在每一步中有如下三个子步骤：
Figure FDA0002892009990000023
上式中，xk+1，yk+1，ωk+1为第k+1步的估计值，xk，yk，ωk为第k步的估计值，Fm×m为傅里叶矩阵，β为对偶参数，PT(·)为截断算子，Dσ(·)为提前训练好的去噪神经网络。
6.根据权利要求5所述的基于即插即用神经网络的傅里叶相位恢复方法，其特征在于，步骤3.2)之前还包括推导交替方向下降乘子算法的在每一步三个子步骤的过程：
3.2.1)确定推导交替方向下降乘子算法的在每一步三个子步骤：
Figure FDA0002892009990000024
上式中，x，y，ω为优化变量，xk+1，yk+1，ωk+1为第k+1步的估计值，xk+1，yk+1，ωk+1为第k步的估计值，l(·)为损失函数；式(5)中第二个式子具有封闭解：
Figure FDA0002892009990000025
上式中，
Figure FDA00028920099900000210
为投影算子，x为变量，Fm×m为傅里叶矩阵，
Figure FDA0002892009990000026
m为测量数，⊙为Hadamard积，
Figure FDA0002892009990000027
为按元素除法，
Figure FDA0002892009990000028
为无相位衍射图样；
3.2.2)将变量x分解为x1＝PT(x)和其正交补
Figure FDA0002892009990000029
将交替方向下降乘子算法的在每一步中有如下三个子步骤对应的式(5)中第一个式子改写为：
Figure FDA0002892009990000031
上式中，
Figure FDA0002892009990000032
PT(·)为截断算子，yk，ωk为第k步的估计值x1为优化变量，λ为正则化参数，R(·)为正则化算子，
Figure FDA0002892009990000033
为邻近化算子；将式(7)看作高斯去噪过程，将
Figure FDA0002892009990000034
用去噪神经网络Dσ(·)替代，从而交替方向下降乘子算法的在每一步中有如下三个子步骤对应的式(6)中第一个式子改写为：
Figure FDA0002892009990000035
上式中，xk+1为第k+1步估计值，yk，ωk为第k步的估计值，
Figure FDA0002892009990000036
为去噪投影算子，Dσ(·)为去噪神经网络，0为零向量。
3.2.3)根据式(5)和(8)，得到交替方向下降乘子算法的在每一步中最终的三个子步骤如式(4)所示。
7.根据权利要求6所述的基于即插即用神经网络的傅里叶相位恢复方法，其特征在于，所述去噪神经网络为高斯去噪神经网络。
8.根据权利要求7所述的基于即插即用神经网络的傅里叶相位恢复方法，其特征在于，步骤3.2)之前提前训练去噪神经网络的步骤：以残差神经网络R(·)作为去噪神经网络的网络框架，以高斯噪声图片-原始图片数据对作为训练集，去噪神经网络的输入为含有噪声的图片y，去噪神经网络的输出为R(y)，通过度量y-R(y)与无噪图片x之间的差距从而不断从数据中学习去噪神经网络的权重，最终完成对去噪神经网络的训练。
9.一种基于即插即用神经网络的傅里叶相位恢复系统，包括相互连接的处理器和存储器，其特征在于，所述处理器被编程或配置以执行权利要求1～8中任意一项所述基于即插即用神经网络的傅里叶相位恢复方法的步骤。
10.一种计算机可读存储介质，其特征在于，该计算机可读存储介质中存储有被编程或配置以执行权利要求1～8中任意一项所述基于即插即用神经网络的傅里叶相位恢复方法的计算机程序。
CN202110032537.6A 2021-01-11 2021-01-11 基于即插即用神经网络的傅里叶相位恢复方法及系统 Active CN112597433B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110032537.6A CN112597433B (zh) 2021-01-11 2021-01-11 基于即插即用神经网络的傅里叶相位恢复方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110032537.6A CN112597433B (zh) 2021-01-11 2021-01-11 基于即插即用神经网络的傅里叶相位恢复方法及系统

Publications (2)

Publication Number Publication Date
CN112597433A true CN112597433A (zh) 2021-04-02
CN112597433B CN112597433B (zh) 2024-01-02

Family

ID=75207120

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110032537.6A Active CN112597433B (zh) 2021-01-11 2021-01-11 基于即插即用神经网络的傅里叶相位恢复方法及系统

Country Status (1)

Country Link
CN (1) CN112597433B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114693828A (zh) * 2022-04-07 2022-07-01 中国科学院西安光学精密机械研究所 基于交替方向乘子法的傅里叶叠层成像重建方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106920220A (zh) * 2017-02-24 2017-07-04 西北工业大学 基于暗原色和交替方向乘子法优化的湍流图像盲复原方法
US20180165554A1 (en) * 2016-12-09 2018-06-14 The Research Foundation For The State University Of New York Semisupervised autoencoder for sentiment analysis
CN108416753A (zh) * 2018-03-14 2018-08-17 大连理工大学 一种基于非参数化交替方向乘子法的图像去噪算法
CN110705762A (zh) * 2019-09-20 2020-01-17 天津大学 基于矩阵填充的泛在电力物联网感知数据缺失修复方法
US20200192287A1 (en) * 2018-12-11 2020-06-18 The University Of North Carolina At Chapel Hill Methods, systems, and computer readable media for improved digital holography and display incorporating same

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180165554A1 (en) * 2016-12-09 2018-06-14 The Research Foundation For The State University Of New York Semisupervised autoencoder for sentiment analysis
CN106920220A (zh) * 2017-02-24 2017-07-04 西北工业大学 基于暗原色和交替方向乘子法优化的湍流图像盲复原方法
CN108416753A (zh) * 2018-03-14 2018-08-17 大连理工大学 一种基于非参数化交替方向乘子法的图像去噪算法
US20200192287A1 (en) * 2018-12-11 2020-06-18 The University Of North Carolina At Chapel Hill Methods, systems, and computer readable media for improved digital holography and display incorporating same
CN110705762A (zh) * 2019-09-20 2020-01-17 天津大学 基于矩阵填充的泛在电力物联网感知数据缺失修复方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
CHRISTOPHER A. METZLER等: "prDeep: Robust Phase Retrieval with a Flexible Deep Network", 《PROCEEDINGS OF THE 35 TH INTERNATIONAL CONFERENCE ON MACHINE LEARNING》, vol. 80, pages 1 - 5 *
ZIYANG YUAN等: "Phase Retrieval with background information", 《INVERSE PROBLEMNS》, vol. 35, no. 05, pages 1 - 5 *
郭从洲等: "空间目标图像的非凸稀疏正则化波后复原", 《光学精密工程》, vol. 24, no. 04 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114693828A (zh) * 2022-04-07 2022-07-01 中国科学院西安光学精密机械研究所 基于交替方向乘子法的傅里叶叠层成像重建方法
CN114693828B (zh) * 2022-04-07 2023-01-31 中国科学院西安光学精密机械研究所 基于交替方向乘子法的傅里叶叠层成像重建方法

Also Published As

Publication number Publication date
CN112597433B (zh) 2024-01-02

Similar Documents

Publication Publication Date Title
Ding et al. Low-rank tensor completion using matrix factorization based on tensor train rank and total variation
Ng et al. Solving constrained total-variation image restoration and reconstruction problems via alternating direction methods
Zhang et al. Exemplar-based denoising: A unified low-rank recovery framework
Nair et al. Fast high-dimensional bilateral and nonlocal means filtering
Gao et al. Image fusion with cosparse analysis operator
Elad et al. Image denoising: The deep learning revolution and beyond—a survey paper
Nguyen et al. Hyperspectral image denoising using SURE-based unsupervised convolutional neural networks
Liu et al. Adaptive sparse coding on PCA dictionary for image denoising
Yağan et al. Spectral graph based vertex-frequency Wiener filtering for image and graph signal denoising
Repetti et al. A nonconvex regularized approach for phase retrieval
Kazerouni et al. Bayesian denoising: From MAP to MMSE using consistent cycle spinning
Zhou et al. Nonlocal means filtering based speckle removal utilizing the maximum a posteriori estimation and the total variation image prior
Luo et al. Efficient InSAR phase noise reduction via total variation regularization
Gong Mean curvature is a good regularization for image processing
Li et al. Fractional-order diffusion coupled with integer-order diffusion for multiplicative noise removal
CN112597433A (zh) 基于即插即用神经网络的傅里叶相位恢复方法及系统
Krishnan et al. An efficient operator splitting method for noise removal in images
Yağan et al. A spectral graph wiener filter in graph fourier domain for improved image denoising
Ma et al. Low-rank tensor decomposition with smooth and sparse regularization for hyperspectral and multispectral data fusion
Zhang et al. Rapid blind denoising method for grating fringe images based on noise level estimation
Wei et al. Fusion of multispectral and hyperspectral images based on sparse representation
Zhu et al. Image Restoration by Second‐Order Total Generalized Variation and Wavelet Frame Regularization
Gao et al. Combined analysis-L1 and total variation ADMM with applications to MEG brain imaging and signal reconstruction
Wali et al. Fast and adaptive boosting techniques for variational based image restoration
CN112163186B (zh) 即插即用的大规模高效鲁棒相位恢复方法与系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant