CN112132760A - 基于可学习可微分矩阵逆及矩阵分解的图像恢复方法 - Google Patents

Abstract

本发明公布了一种基于可学习可微分矩阵逆及矩阵分解的图像恢复方法，通过设计可学习的可微分矩阵逆模块LD‑Minv、可学习的可微分奇异值分解模块D‑SVD和基于学习的近邻算子，对输入的待恢复图像进行图像恢复，输出清晰图像。采用本发明的技术方案，能够以更小的计算消耗实现更卓越的图像恢复性能，并且模型具有可解释性以及更好的泛化性能。

Description

基于可学习可微分矩阵逆及矩阵分解的图像恢复方法

技术领域

本发明属于模式识别、机器学习、人工智能技术领域，涉及图像分类恢复方法，尤其涉及一种基于可学习的可微分矩阵逆及矩阵分解框架的图像恢复方法。

背景技术

矩阵逆(包括矩阵伪逆)和奇异值分解(SVD)是最基本的线性代数矩阵运算，其广泛应用于机器学习、统计学、信号处理等领域。一般来说，解决科学计算或优化问题(Solvea optimization problem)通常需要执行这两种运算，例如最小二乘回归算法需要矩阵(伪)逆，数据降维算法需要奇异值分解(SVD)，基于低秩的图像恢复算法以及基于图的聚类算法都需要矩阵逆以及SVD。

尽管在传统机器学习领域，矩阵逆以及SVD深受欢迎。然而，在深度学习主导的现代机器学习中，他们被使用的频率却越来越低。这其中主要有两个原因。

第一个是效率原因。一般的矩阵逆以及SVD算法的计算效率很低。对于大规模问题，计算SVD和矩阵逆非常耗时。然而，在当前大数据和深度学习时代，高效率是算法应用与实际问题的一个重要前提

第二个原因是矩阵逆和SVD的不可微性。目前，主流的深度神经网络(DNN)的训练算法大多数基于反向传播，即是基于一阶梯度的。然而，矩阵逆和SVD是矩阵秩不连续函数。因此，除了一些特殊的常数秩矩阵，普通的矩阵逆和SVD的一阶梯度并不总是存在。虽然有的时候特殊的实现策略能使得矩阵逆以及SVD变得可反向传播，但这种策略极其不稳定。总的来说，矩阵逆以及大部分矩阵分解操作本质上不是连续可微的，因此，当反向传播时，梯度在经过这些算子的时候会出现不可预测的问题。

经典的图像恢复最后都归结为解决一个欠定的逆问题。具体来说，图像恢复可以表示为式(1)：

其中，

是需要恢复的图像，即不带噪声和缺失的原图像，

是给定的线性变换算子(如卷积变换，傅里叶变换等)，

分别是观测到的图像以及随机的噪声(y可以是带噪声的模糊图像或有缺失区域的图像)。图像恢复任务是试图从y中恢复出x。一般情况下，在给定先验信息的情况下，式(1)中的图像恢复可以通过解决如下优化问题来解决：

其中，f(·)度量当前x对方程(1)拟合的拟合程度，g(·)是基于先验信息添加的正则项。从传统机器学习的角度，解决式(2)表示的优化问题，一般会引入辅助变量之后采用交替更新的优化算法，例如线性交替方向乘子法(Linearized ADMM)。然而，在深度学习主导的现代机器学习中，算法的可学习性被视作一个重要的特性。通过引入可学习参数，相较于传统的算法，可学习算法能基于给定数据，在服从某个特定分布的数据上，以十分之一甚至百分之一的计算消耗得到性能近似的解。

因此，一方面，现有经典的图像恢复算法大多包含矩阵的逆或者矩阵分解的步骤。现有的技术无法同时解决矩阵分解在大规模数据上低分解效率，以及不可微分性的问题。另一方面，现有经典的基于优化的图像恢复算法不包含可学习的参数。因此，经典的算法无法依据给定的数据，自适应的调整优化的策略与参数，即不具备可学习性。除了基于优化的图像恢复算法，还有一部分是基于一般深度神经网络的图像恢复算法，该类方法大部分情况下是去直接拟合不带噪声目标图像。因此，该类方法的可解释性较差，并且对噪声不鲁棒。更重要的是，对训练数据要求很大并且泛化性能一般。

发明内容

为了克服上述现有技术的不足，本发明提供了一种基于可学习的可微分矩阵逆及矩阵分解的图像恢复方法，称作“可学习可微分图像恢复神经网络模型”，能够以更小的计算消耗实现更卓越的图像恢复性能，并且该模型具有可解释性以及更好的泛化性能。可学习可微分图像恢复神经网络模型解决了矩阵分解不可微分的问题，使得基于学习的分解算法成为可能；同时本发明还提高了矩阵分解的效率。其次，模型中引入的可学参数，使得本发明可以根据给定数据自适应的调整图像恢复的参数与策略。此外，本发明提出的可学习可微分图像恢复神经网络模型结构由传统的优化算法展开拓展而来，更具有解释性和鲁棒性，因此对训练数据的要求量较少。最后，同一般的有监督训练的图像恢复神经网络模型不同的是，本发明提出的模型是基于无监督的训练学习网络参数，即不需要预先取得无噪声无缺失的原图像，训练成本较低。

本发明的核心包括：设计可学习的可微分矩阵逆(LD-Minv)，设计可学习的可微分奇异值分解(D-SVD)，以及基于学习的近邻算子(Learning-based Proximal Operator)。利用本发明提供的可学习可微分的模块，即可实现基于学习的可微分矩阵逆及矩阵分解的图像恢复方法---可学习可微分的图像恢复神经网络模型。本方法中，输入是观测到的带噪声的图像数据，包括模糊图像，带噪声图像，带缺失图像等，输出为恢复出的清晰图像。由于本发明方法的可学习性，输入的图像可以是单张的也可以是批量的。具体实施表明，在基准数据集上，本发明设计的方法相对于现有传统的基于优化的图像恢复方法，以更小的计算消耗实现了更卓越的性能。

本发明提供的技术方案是：

一种基于可学习的可微分矩阵逆及矩阵分解的图像恢复方法，通过设计可学习的可微分矩阵逆(LD-Minv)、可学习的可微分奇异值分解(D-SVD)和基于学习的近邻算子，对输入的待恢复图像进行图像恢复，输出清晰图像；包括：

1、构建“可学习可微分图像恢复神经网络模型”，解决式(2)表示的优化问题。具体包括：引入可学习的可微分矩阵逆(LD-Minv)模块，用来解决优化过程中可能遇到的矩阵逆操作不可微的问题；引入可学习的可微分奇异值分解(D-SVD)模块，用来解决优化过程中可能遇到的奇异值分解操作不可微的问题；以及采用基于学习的近邻算子模块用来加强模型的可学习性能。三个模块均在保持其原来操作功能的基础上提高模型的可学习性以及提高模型的运算效率。

2、训练可学习可微分图像恢复神经网络模型，得到训练好的可学习可微分图像恢复神经网络模型

3、将观测图像/待恢复图像输入到训练好的可学习可微分图像恢复神经网络模型中，输出恢复好的图像。

以下描述具体过程：

1、构建“可学习可微分图像恢复神经网络模型”包括如下步骤，即步骤1)-步骤10)：

1)输入是观测图像，

即待恢复的图像，为了方便说明，这里将单张图像向量化成一个d维向量。依据等式(1)，我们这里有

其中

是最终可能恢复出的图像，

是给定的线性变换算子，

是随机的噪声。这里，期望从观测的图像y中恢复出x。

2)引入辅助变量

并将式(2)表示的优化改写成如下形式：

其中，

是依据上下文指定的线性或者非线性变换算子。

3)初始化x＝x₀，z＝z₀，其中令x₀＝y

并引入拉格朗日乘子项

初始化为全0向量。

4)选取增广项系数β＞0，可在集合{0.01,0.1,1.0,10,100}中依据图像恢复效果手工调节，分别用于步骤5)，步骤6)以及步骤9)中的参数更新。

5)选取关于函数f(·)的近端算子prox_αf(·)中的惩罚系数α＞0，可在集合{0.01,0.1,1.0,10,100}中依据图像恢复效果手工调节，该系数还用于步骤5＝a)与5b)的计算。指定一个可学习可微分的算子

将其初始化为恒等映射

记关于函数f(·)的近端算子prox_αf(·)输入为a，输出为b；将下述步骤5a)到5b)称为“基于学习的近邻算子”。利用基于学习的近邻算子更新辅助变量z，具体执行如下操作：

5a)计算关于f(·)的近端算子输入

5b)计算关于f(·)的近端算子输出b＝prox_αf(a)，其中：

对于任意函数

的结果是使得函数

取得最小值的自变量的集合。

5c)利用z＝b更新辅助变量z。

6)选取关于函数g(·)的近端算子prox_γg(·)中的惩罚系数γ＞0,可在集合{0.01,0.1,1.0,10,100}中依据图像恢复效果手工调节，该系数还用于步骤6a)和步骤6b)中计算。指定另一个可学习可微分的算子

将其初始化为

的伴随映射

其中

由式(3)给出。记关于函数g(·)的近端算子prox_βg(·)输入为

输出为

注意，下述步骤6a)到6b)仍然为“基于学习的近邻算子”，只是参数有不同。利用基于学习的近邻算子更新变量x；具体执行如下操作：

6a)计算关于g(·)的近端算子输入

其中，

是另一个可学习可微分的算子，其初始化为

的伴随映射

6b)计算关于g(·)的近端算子输出

其中：

对于任意函数

的结果是使得函数

取得最小值的自变量的集合。

6c)利用

更新变量x。

7)若步骤5b)、步骤6b)中的近端算子prox_γg(·)、prox_αf(·)实际计算过程中需要进行传统矩阵逆的运算，则将5b)和6b)实际计算过程中的传统矩阵逆运算替换成如下LD-Minv模块。上述5b)和6b)中的prox是算子，依据式(2)(

中f或g，prox算子有不同的表式。如果prox算子的实际计算过程中有矩阵逆，即替换这些矩阵逆，没有则不替换。LD-Minv模块是一个K层神经网络，每一层为一个L阶矩阵多项式，表示为式(6)，这里神经网络层数K可取10-20之间正整数，阶数L可取4-15之间正整数：

其中，A是需要执行矩阵逆操作的矩阵，下标0≤k≤K表示神经网络的当前层数，

是可学习的参数。由迭代式(6)定义的K层神经网络共包含K×L个可学参数，这里L指的是神经网络每一层的矩阵多项式的阶数。这里对X_k进行初始化，即

指的是矩阵A的最大奇异值。

8)若步骤5b)、6b)中的近端算子prox_γg(·)、prox_αf(·)实际计算过程中需要进行传统SVD的运算，则将步骤5b)和6b)实际计算过程中的传统SVD运算替换成下述步骤8a)至步骤8j)中定义的K_svd层神经网络，这里神经网络的层数K_svd可以取10-20之间的正整数。初始化奇异值向量矩阵U＝U₀，V＝V₀，其中U₀，V₀为任意满足条件

的矩阵，I是合适维度的恒等矩阵。K_svd层神经网络的每一层均执行如下步骤：

8a)假定需要进行奇异值分解的矩阵为A，计算

G_U＝τ(AVV^TA^TU-AVdiag(V^TA^TU))-AV， (7)其中，G_U为模型训练中定义的训练损失函数相对于U的梯度矩阵；τ＞0是平衡系数；A^T表示矩阵A的转置diag(·)表示的是输入矩阵对角元组成的对角矩阵，U，V为迭代中的左右奇异值向量矩阵。

8b)计算矩阵

P_U为梯度矩阵G_U在施蒂费尔流形(Stiefelmanifold)上U处切空间(Tangent Space)中的投影。对于任意正整数k,k维施蒂费尔流形是指通过坐标空间的原点的所有k维平面的集合。

8c)计算步长

其中，||·||是矩阵谱范数，||·||_F是矩阵Frobenius范数，<·，·>表示的是矩阵内积。这里

是D-SVD模块的当前层针对于变量U的可学习参数，每一层的

可取不同的值；对于任意的

min{c,d}表示

8d)实例化一个步骤7)中定义的LD-Minv模块，记为LD-Minv_U(·)，用来计算矩阵

的近似逆，即

这里C_U是当前LD-Minv_U(·)模块的可学参数；H_U是利用LD-Minv_U(·)模块计算出的矩阵

的近似逆。

8e)利用如下等式更新U：

8f)计算梯度矩阵：

G_V＝τ(A^TUU^TAV-A^TUdiag(U^TAV))-A^TU， (11)

其中，G为式(16)中定义的训练损失函数相对于V梯度矩阵；τ＞0是平衡系数；A^T表示矩阵A的转置，diag(·)表示的是输入矩阵对角元组成的对角矩阵，U，V为迭代中的左右奇异值向量矩阵。

8g)计算矩阵

P_V为梯度矩阵G_V在施蒂费尔流形上V处切空间中的投影。

8h)计算步长

其中，||·||是矩阵谱范数，||·||_F是矩阵Frobenius范数，<·，·>表示的是矩阵内积。这里

是D-SVD模块当前层的针对于变量V可学习参数，每一层的

可取不同的值。对于任意的

min表示

8i)实例化一个步骤7)中定义的LD-Minv模块LD-Minv_V(·)，用来计算矩阵

的近似逆，即

这里C_V是当前LD-Minv_V(·)模块的可学参数。H_V是利用LD-Minv_V(·)模块计算出的矩阵

的近似逆。

8j)利用如下等式更新V：

9)更新

这里的β由步骤4)得到。

10)重复步骤4)-9)N次，N的大小可依据实验效果和计算效率综合考虑以后选取，可在10-20的正整数中选取，构建一个包含：多个LD-Minv模块，多个D-SVD模块以及2N个可学习近端算子组成的N层神经网络，得到可学习可微分的图像恢复神经网络模型。N为神经网络的层数，也等于迭代执行步骤4)-7)的次数；

2、训练可学习可微分图像恢复神经网络模型，具体是对可学习可微分的图像恢复神经网络模型中可学习的模块的训练，包括LD-Minv模块、D-SVD模块以及基于学习的近邻算子，具体的训练可学习可微分图像恢复神经网络模型步骤如下，即步骤a)-步骤f)：

a)训练某一LD-Minv模块：固定其余所有可学模块(D-SVD模块、其余LD-Minv模块以及基于学习的近邻算子)中可学的参数，收集该LD-Minv实例对应的所有输入，组成训练数据，即将需要进行矩阵逆转换的所有矩阵记为训练数据，设训练数据的数量为n_Minv。基于训练数据，用任意一阶无约束梯度算法(例如，梯度下降，随机梯度下降，ADAM算法等)训练LD-Minv模块，其最小化目标(训练损失函数)定义如下：

其中C是LD-Minv实例中所有的可学参数(见公式(6))，A_i表示的是第i个训练数据，X_{k，i}指的是LD-Minv实例在第i个训练数据上第k层的输出(参见公式(6))。

b)重复训练a)步骤直到所有LD-Minv模块均得到一次参数更新。

c)训练某一D-SVD模块：固定其余所有可学模块(LD-Minv模块、其余D-SVD模块以及基于学习的近邻算子)中可学的参数，收集该D-SVD实例的对应的所有输入，组成训练数据，即需要进行奇异值分解的所有矩阵，将其记为训练数据，设其数量为n_svd。基于训练数据，用任意一阶无约束梯度算法训练D-SVD模块，其最小化目标(训练损失函数)定义如下：

其中t是该实例中所有的可学参数(见公式(8)和公式(12))，A_i表示的是第i个训练数据，U_k，i，V_k，i指的是D-SVD模块实例在第i个训练数据上第k层的输出(参见公式(10)和公式(14))。

d)重复训练步骤c)直到所有D-SVD模块均得到一次参数更新。

e)训练基于学习的近邻算子：固定其余所有可学模块(LD-Minv以及D-SVD)中可学的参数，收集步骤1中所有输入，组成训练数据，即需要进行图像恢复的所有图像数据，将其记为训练数据，设其数量为n。基于训练数据，用任意一阶无约束梯度算法训练基于学习的近邻算子模块，其最小化目标(训练损失函数)定义如下：

其中

是2N个基于学习的近邻算子中所有的可学参数(见步骤5和步骤6)，y_i表示的是第i个待恢复图像,即可学习可微分图像恢复神经网络模型的第i个输入数据，x_k，i指的是可学习可微分图像恢复神经网络模型在第i个训练数据上第k层的输出(见步骤6c)。

f)重复训练步骤a)-e)T＞0次以完成训练，得到训练好的可学习可微分的图像恢复神经网络模型；这里T可选100-3000之间的正整数，可依据图像恢复最终效果选取。如果训练数据较多，T可选取较大的值。

3、在得到训练好的可学习可微分的图像恢复神经网络模型后，将观测图像输入训练好的可学习可微分的图像恢复神经网络模型，网络模型的输出层即输出恢复好的图像。这里模型的输入是待恢复图像的图像数据，包括模糊图像，带噪声图像，带缺失图像等，输出为恢复出的清晰图像。

与现有技术相比，本发明的有益效果是：

本发明将经典的优化算法和数值迭代算法展开，与此同时，引入可学习参数，最终得到一个可学习的深层神经网络。通过对数据的训练，本发明方法的每一层运算的成本与原始算法一次迭代相似，但是本发明提供的方法可以在更少的迭代次数下获得更好的性能。与原算法相比，本发明提供的方法，在训练结束以后可以在少于一个甚至两个数量级的运算复杂度下提供与经典的基于优化的图像恢复几乎同样好的结果。

总的来说，本发明中的策略是将经典的优化或迭代算法与现代机器学习联系了起来。对于图像恢复任务，能够实现算法的自动设计。具体来说，本发明能够依据图像恢复任务的具体情况，实现自动设计网络结构，并且能够避免一般深度神经网络的黑盒效应，每一层的运算的功能都与经典算法相同，但是可学习性又让本发明中的方法能基于数据找到更适合的运算参数。因此本发明设计既避免了手工调参，又提高了运算效率。最后，本发明中的方法具有可微性，这意味着我们可以联合训练整个机器学习框架，而不是单独调整每个模块。

附图说明

图1是是本发明具体实施基于可学习可微分矩阵逆及矩阵分解的图像恢复方法的流程框图。

图2是在100×100的随机生成的矩阵上训练不同参数的LD-Minv模块实例得到的测试误差和网络参数的关系图；纵坐标是对数测试误差，K指的是LD-Minv(神经网络)模块的深度，L是指的每一层网络中多项式的阶数(见式(6))。可以看到，LD-Minv越深(K越大)，每一层的多项式的阶数越高(L越大)，效果越好，但是增加深度K带来的益处更明显。

具体实施方式

下面结合实施例进一步描述本发明，但不以任何方式限制本发明的范围。

本发明提供一种可学习的图像恢复方法，这里对于式(2)表示的优化，我们以非盲反卷积为例来为本发明提供一个实例，非盲反卷积是经典图像恢复任务之一。这里选取

其中B是给定卷积变换b的矩阵形式，W，W^T分别为小波变换和小波逆变换。我们让

令g(x)＝||Mt(x)||*，其中Mt(·)表示的是将向量化的图像数据转换为矩阵的形式，||·||*表示的是矩阵核范数，||·||₂表示的是向量的l₂范数。对于这里的非盲反卷积的图像恢复任务，构建本专利的可学习可微分图像恢复神经网络模型的包括如下步骤：

1)输入观测图像

为了方便说明，这里将单张图像向量化成一个d维向量。依据等式(1)，我们这里有y＝BW^Tx+n。其中

是最终可能恢复出的图像，

是随机的噪声。这里，期望从观测的图像y中恢复出x

2)引入辅助变量

并将式(2)表示的优化改写成如下形式：

其中

是小波变换的矩阵形式。

3)初始化x＝x₀，z＝z₀，其中令x₀＝y，z₀＝W^Tx₀。并引入拉格朗日乘子项

初始化为全0向量。

4)选取增广项系数β＞0，可在集合{0.01,0.1,1.0,10,100}中依据图像恢复效果手工调节，分别用于步骤5)，步骤6)以及步骤7)中的参数更新。

5)选取近端算子中函数f(·)的惩罚系数α＞0，可在集合{0.01,0.1,1.0,10,100}中依据图像恢复效果手工调节，用于步骤5a)和5c)的计算，并指定一个可学习可微分的算子

将其初始化为恒等映射

利用基于学习的近邻算子更新变量z；具体执行如下操作：

a)计算关于f(·)的近端算子输入：

b)实例化一个发明内容的步骤7中的LD-Minv模块，并利用这个可微可学习的矩阵逆模块实例计算矩阵(2αB^TB+I)的近似逆T_B＝LD-Minv(2αB^TB+I)。

c)计算关于f(·)的近端算子输出：b＝prox_αf(a)＝T_B(a+2αB^Ty)。

d)利用z＝b更新辅助变量z。

6)选取近端算子中函数g(·)的惩罚系数γ＞0，可在集合{0.01，0.1，1.0，10，100}中依据图像恢复效果手工调节。该系数用于步骤6-a)和步骤6-c)中的计算。指定另一个可学习可微分的矩阵

将其初始化为逆小波变换的矩阵形式W^T。利用基于学习的近邻算子更新变量x；具体执行如下操作：

a)计算关于g(·)的近端算子输入

b)实例化一个发明内容的步骤8中的D-SVD模块，并利用这个可微可学习的奇异值分解模块实例计算[U，A，V]＝D-SVD(Mt(a))。

c)计算关于g(·)的近端算子输出b＝prox_γg(a)＝Usign(Λ)⊙(|A|-_γI)V^T，其中|·|表示的是对矩阵按矩阵元进行取绝对值操作，sign(·)表示的是对矩阵按矩阵元进行取符号操作，⊙表示的矩阵按矩阵元相乘操作。

d)利用x＝b更新变量x。

7)更新λ＝λ+β(z-W^Tx)，这里的β由步骤4和5给出。

8)重复步骤4-715次，构建一个包含：多个LD-Minv模块，多个D-SVD模块以及30个可学习近端算子组成的15层神经网络，以实现可学习可微分的图像恢复神经网络模型。

9)输入的是批量的训练数据，利用发明内容的训练步骤a)-d)训练可学习可微分图像恢复神经网络模型，得到训练好的可学习可微分图像恢复神经网络模型。

10)在得到训练好的可学习可微分的图像恢复神经网络模型后，将观测图像输入训练好的可学习可微分的图像恢复神经网络模型，网络模型的输出层即输出恢复好的图像。。

本发明中的所有可学习模块均使用Adam算法训练。整个训练过程迭代300轮，批处理大小为100，即每次输入的待恢复图像为100张。学习速率初始值为1e-4，每30轮衰减为原来的1/2。

为进一步说明本专利所设计的方法的高效性，现对其中LD-Minv的模块的运算效率进行测试，针对于不同尺度大小的矩阵输入，表1对比了本发明中使用的LD-Minv模块进行矩阵逆所消耗的时间和目前主流的深度学习框架PyTorch进行矩阵逆所消耗的时间。

表1本发明方法与现有采用深度学习框架PyTorch进行矩阵逆消耗时间对比

	10×10	50×50	100×100	200×200	500×500	1000×1000
							L＝4,K＝4	0.0029	0.0068	0.01	0.026	0.39	1.2
L＝4,K＝8	0.0055	0.0087	0.013	0.045	0.54	2.19
							L＝4,K＝12	0.0081	0.0133	0.018	0.054	0.62	3.03
L＝4,K＝5	0.0034	0.0049	0.01	0.023	0.36	1.36
							L＝8,K＝5	0.0057	0.0073	0.013	0.049	0.52	2.38
L＝12,K＝5	0.0081	0.0107	0.018	0.059	0.66	3.51
							PyTorch	0.46	0.57	1.19	2.55	11.22	38.48

表1中展示了LD-Minv选取不同参数(K和L)所进行矩阵逆运算所需要的时间。可以看到，随着输入矩阵尺度的增大，LD-Minv相较于PyTorch实现的精准矩阵逆的优势越来越明显。另外，在参数K和L都选取很大的值时，本发明中所设计的模块的计算消耗仍远小于对比的方法。可以看到本发明设计在效率方面的优势。

需要注意的是，公布实施例的目的在于帮助进一步理解本发明，但是本领域的技术人员可以理解：在不脱离本发明及所附权利要求的精神和范围内，各种替换和修改都是可能的。因此，本发明不应局限于实施例所公开的内容，本发明要求保护的范围以权利要求书界定的范围为准。

Claims (9)

1.一种基于可学习的可微分矩阵逆及矩阵分解的图像恢复方法，通过设计可学习的可微分矩阵逆模块LD-Minv、可学习的可微分奇异值分解模块D-SVD和基于学习的近邻算子，对输入的待恢复图像进行图像恢复，输出清晰图像；包括：

S1)通过设计可学习的可微分矩阵逆模块LD-Minv、可学习的可微分奇异值分解模块D-SVD和基于学习的近邻算子，构建可学习可微分图像恢复神经网络模型；包括步骤1)-步骤10)：

1)将单张图像向量化成一个d维向量，图像恢复过程表示为：

其中

是最终可能恢复出的图像；

为输入观测图像，即待恢复的图像；

是给定的线性变换算子；

是随机噪声；

将

图像恢复过程转化为对

进行优化，其中，f(·)表示当前x的拟合程度；g(·)是基于先验信息添加的正则项；

2)引入辅助变量

并将对

进行优化转换成式(3)：

其中，

是依据上下文指定的线性或者非线性变换算子；

3)初始化x＝x₀，z＝z₀，令x₀＝y，

并引入拉格朗日乘子项

初始化为全0向量；

4)选取增广项系数β＞0；

5)选取关于函数f(·)的近端算子prox_αf(·)中的惩罚系数α＞0；设定可学习可微分的算子

将其初始化为恒等映射

记近端算子输入为a，近端算子输出为b；利用基于学习的近邻算子方法更新辅助变量z，具体执行如下操作：

5a)计算关于f(·)的近端算子输入

5b)计算关于f(·)的近端算子输出b＝prox_αf(a)，其中：

5c)通过z＝b更新辅助变量z；

6)选取关于函数g(·)的近端算子prox_γg(·)中的惩罚系数γ＞0，利用基于学习的近邻算子更新变量x；具体执行如下操作：

6a)计算关于g(·)的近端算子输入

其中，

是另一个可学习可微分的算子，初始化为

的伴随映射

6b)计算关于g(·)的近端算子输出

其中：

6c)通过

更新变量x；

7)若步骤5b)、6b)中的近端算子prox_γg(·)、prox_αf(·)输出计算中需要进行矩阵逆运算，则给定正整数K和L，使用式(6)表示的LD-Minv模块：

LD-Minv模块是一个K层神经网络，每一层为一个L阶矩阵多项式，共包含K×L个可学参数；其中，L指的是神经网络每一层的矩阵多项式的阶数；A是需要执行矩阵逆操作的矩阵，下标0≤k≤K表示神经网络的当前层数，

是可学习的参数；对X_k进行初始化，即

指的是矩阵A的最大奇异值；

8)若步骤5b)、6b)中的近端算子prox_γg(·)、prox_αf(·)输出计算中需要进行SVD运算，则使用步骤8a)至步骤8j)中定义的K_svd层神经网络；初始化奇异值向量矩阵U＝U₀，V＝V₀，其中U₀，V₀为任意满足条件

的矩阵，I是合适维度的恒等矩阵；

K_svd层神经网络的每一层均执行如下步骤：

8a)假定需要进行奇异值分解的矩阵为A，计算得到训练损失函数相对于U的梯度矩阵G_U；

8b)计算梯度矩阵G_U在施蒂费尔Stiefel流形上的投影P_U；

8c)计算步长

8d)实例化步骤7)中定义的LD-Minv模块，记为LD-Minv_U(·)，计算矩阵

的近似逆H_U；

8e)根据H_U更新U；

8f)计算得到训练损失函数相对于V梯度矩阵G；

8g)计算得到梯度矩阵G_V在Stiefel流形上的投影矩阵P_V；

8h)计算步长

8i)实例化LD-Minv模块LD-Minv_V(·)，计算得到矩阵

的近似逆H_V；

8j)根据H_V更新V：

9)更新

β为步骤4)选取的增广项系数；

10)重复步骤4)-7)N次，构建得到N层神经网络，包含：多个LD-Minv模块，多个D-SVD模块及2N个可学习近端算子，即得到可学习可微分的图像恢复神经网络模型；

S2)对可学习可微分的图像恢复神经网络模型中可学习的模块进行训练，包括LD-Minv模块、D-SVD模块以及可学习近端算子；包括步骤a)-d)：

a)训练LD-Minv模块：

固定可学模块D-SVD及可学习近端算子中可学的参数，收集LD-Minv实例的所有输入组成训练数据，即将需要进行矩阵逆转换的所有矩阵记为训练数据，设训练数据的数量为n_Minv；基于训练数据，用任意一阶无约束梯度算法训练LD-Minv模块，其最小化目标即训练损失函数定义如下：

其中，C是LD-Minv实例中所有的可学参数，A_i表示的是第i个训练数据，X_{k，i}指的是LD-Minv实例在第i个训练数据上第k层的输出；

b)训练D-SVD模块：

固定可学模块LD-Minv和可学习的近端算子中可学的参数，收集D-SVD实例的所有输入组成训练数据，将需要进行奇异值分解的所有矩阵记为训练数据，设训练数据数量为n_svd；基于训练数据，用任意一阶无约束梯度算法训练D-SVD模块，最小化目标即训练损失函数定义如下：

其中，t是该实例中所有的可学参数，A_i表示的是第i个训练数据，U_k，i，V_k，i指的是D-SVD实例在第i个训练数据上第k层的输出；

c)训练可学习的近端算子：

固定可学模块LD-Minv及D-SVD中可学的参数，收集步骤1)中所有输入组成训练数据，将需要进行图像恢复的所有图像数据记为训练数据，设数量为n；用任意一阶无约束梯度算法训练可学近端算子模块，最小化目标即训练损失函数定义如下：

其中，

是2N个可学习近端算子实例中所有的可学参数，y_i表示的是第i个待恢复图像，x_k，i指的是可学习近端算子实例在第i个训练数据上第k层的输出；

d)重复训练步骤a)-c)T次，T＞0，得到训练好的可学习可微分的图像恢复神经网络模型；

S3)将观测图像输入训练好的可学习可微分的图像恢复神经网络模型，网络模型的输出层即输出恢复好的清晰图像；

通过上述步骤，实现基于可学习的可微分矩阵逆及矩阵分解的图像恢复方法。

2.如权利要求1所述基于可学习的可微分矩阵逆及矩阵分解的图像恢复方法，其特征是，输入待恢复图像的图像数据包括模糊图像，带噪声图像，带缺失图像。

3.如权利要求1所述基于可学习的可微分矩阵逆及矩阵分解的图像恢复方法，其特征是，步骤4)中，增广项系数β可在集合{0.01，0.1，1.0，10，100}中依据图像恢复效果选取并调节。

4.如权利要求1所述基于可学习的可微分矩阵逆及矩阵分解的图像恢复方法，其特征是，步骤5)中，近端算子中函数f(·)的惩罚系数α可在集合{0.01，0.1，1.0，10，100}中依据图像恢复效果选取并调节。

5.如权利要求1所述基于可学习的可微分矩阵逆及矩阵分解的图像恢复方法，其特征是，步骤6)中，近端算子中函数g(·)的惩罚系数γ可在集合{0.01，0.1，1.0，10，100}中依据图像恢复效果选取。

6.如权利要求1所述基于可学习的可微分矩阵逆及矩阵分解的图像恢复方法，其特征是，步骤8)中，神经网络的层数K_svd的取值为10-20之间的正整数。

7.如权利要求1所述基于可学习的可微分矩阵逆及矩阵分解的图像恢复方法，其特征是，步骤8a)具体通过式(7)计算得到训练损失函数相对于U的梯度矩阵：

其中，G_U为式(16)中定义的训练损失函数相对于U的梯度矩阵；τ＞0是平衡系数；

表示矩阵A的转置diag(·)表示的是输入矩阵对角元组成的对角矩阵，U，V为迭代中的左右奇异值向量矩阵；

步骤8b)具体利用

计算得到梯度矩阵G_U在Stiefel流形上的投影；

步骤8c)通过式(8)计算得到步长

其中，||·||是矩阵谱范数，||·||_F是矩阵Frobenius范数，<·，·>表示的是矩阵内积；

是D-SVD模块的当前层针对于变量U的可学习参数；

步骤8d)通过式(9)计算得到矩阵

的近似逆：

其中，C_U是当前LD-Minv_U(·)模块的可学参数；H_U是利用LD-Minv_U(·)模块计算出的矩阵

的近似逆；

步骤8e)具体利用式(10)更新U：

步骤8f)具体利用式(11)计算得到梯度矩阵：

其中，G为训练损失函数相对于V梯度矩阵；τ＞0是平衡系数；

表示矩阵A的转置，diag(·)表示的是输入矩阵对角元组成的对角矩阵，U，V为迭代中的左右奇异值向量矩阵；

步骤8g)具体通过

计算得到梯度矩阵G_V在Stiefel流形上的投影P_V；

步骤8h)具体通过式(12)计算得到步长

其中，||·||是矩阵谱范数，||·||_F是矩阵Frobenius范数，<·，·>表示的是矩阵内积；

是D-SVD模块当前层的针对于变量V可学习参数；

步骤8i)具体通过式(13)计算矩阵

的近似逆：

其中，C_V是当前LD-Minv_V(·)模块的可学参数；H_V是利用LD-Minv_V(·)模块计算出的矩阵

的近似逆；

步骤8j)具体等式更新V：

8.如权利要求1所述基于可学习的可微分矩阵逆及矩阵分解的图像恢复方法，其特征是，步骤10)中，N为神经网络的层数，等于迭代次数，取值为10-20的正整数。

9.如权利要求1所述基于可学习的可微分矩阵逆及矩阵分解的图像恢复方法，其特征是，步骤d)中，T取值为100-3000之间的正整数。

Images