CN112258410A - 一种可微分的低秩学习网络图像修复方法 - Google Patents

Abstract

本发明涉及一种可微分的低秩学习网络图像修复方法。将一个含有噪声的不完整的图像矩阵作为神经网络的输入，并输出重构后的图像。通过将近端梯度映射方法转换为带约束的优化问题，本发明方法提出了一种可以进行低秩矩阵重构的神经网络，该神经网络由多个可微分且可复用的模块堆叠组成，每一个模块都可以解决一个关于低秩优化的子问题。本发明方法的每一个模块输出一个优化得到的子矩阵，并对这些子矩阵连乘以得到重构后的图像矩阵。本发明成功利用了神经网络来解决图像低秩修复问题，并避免了传统方法在迭代过程中进行的奇异值分解过程，从而节省大量的计算时间，同时本发明依然能够在图像修复上有良好的性能，具有一定的实用价值。

Description

一种可微分的低秩学习网络图像修复方法

技术领域

本发明涉及深度学习，低秩优化和图像修复领域，特别是一种可微分的低秩学习网络图像修复方法。

背景技术

低秩矩阵优化是机器学习中的一项关键技术，在许多领域都有所研究，包括推荐系统、计算机视觉和特征表示等。因为低秩优化问题属于NP困难问题，所以许多算法使用一些非凸的替代函数来进行优化求解。例如，现有研究经常使用核范数来替代原始的秩函数，通过累加矩阵的奇异值来近似计算矩阵的秩。然而在一些实际应用中，基于核范数的优化算法往往只能得到次优解。为了解决这一问题，研究人员提出了许多针对低秩优化的非凸松弛函数，例如l_p范数，mini-max concave plus(MCP)和smoothly clipped absolutedeviation(SCAD)等函数。许多研究也进一步提出了基于截断核范数或加权核范数的优化方法。此外，Schatten-p范数作为对多种范数函数的统一表达式，其被应用在许多低秩优化问题上。例如，Zhang等人提出了一种Schatten-p范数最小化的算法来学习低秩表示。Huang等人提出了多通道加权Schatten-p范数最小化算法来对RGB图像进行去噪。Zhang等人为了解决图像修复和推荐系统问题，进一步改进了Schatten-p范数来解决仿射矩阵秩最小化问题。然而，大部分基于Schatten-p范数的方法在算法优化的每一步迭代中都需要进行奇异值分解，这导致算法需要花费大量的时间成本。这类算法在矩阵维度较高时，大多表现不佳。因此本发明提出了一种端对端的神经网络结构来解决图像修复中的矩阵补全问题。相比于大部分的传统方法在每次迭代中都需要进行奇异值分解，本发明将传统机器学习算法转换为可微分可复用的网络结构，从而避免了复杂度较高的奇异值分解，大大提高了算法运算速度。

可微分编程是一种新型的编程方式，该方法构建可微分的参数化模型，并使用基于梯度的优化方法来学习这些参数，以最小化模型的损失函数。深度学习是可微分编程的一个重要研究领域，而可微分编程是对包括深度学习在内的一系列基于梯度计算的优化算法的高度统一。可微分编程比传统机器学习算法更加高效，且能够以数据驱动的方式来自适应学习原本传统机器学习模型中的超参数，也可以用于解决现有深度学习算法难以处理的带约束的优化问题。近年来，可微分编程的思想被应用于各个机器学习领域。例如，Zhang等人提出了可学习的迭代收缩阈值算法，以类似于循环神经网络的结构对传统的稀疏编码优化问题进行求解。Sun等人提出了基于可微分编程思想的交替方向乘子网络，并应用于医学图像处理领域。Simonyan等人将行为理解问题和可微分编程思想进行结合，从而对现有算法进行改进。总而言之，可微分编程是一个新颖但热门的话题，在近几年重要的国际期刊和会议中成为重要研究对象。

图像修复是视觉领域中的一个经典的问题，并被广泛应用于多种实际应用场景中。在现实应用中，经常会遇到图像受到损坏的情况，而图像修复的目标就是通过算法来替换图像中丢失或损坏的像素点，从而恢复出原始的干净的图像。传统的图像修复方法大多是基于数学或物理的研究方法。近年来，随着深度学习的高速发展，又有大量的基于深度学习方法被应用于图像修复问题。例如Pathak等人利用卷积神经网络来学习图像中的高层次特征，并利用这些特征来对图像缺失部分进行修复。然而，和传统的数学方法相比，大多数的深度学习算法忽略了网络的可解释性，而传统的机器学习算法在效率和性能上仍需提升。故而，还需要开发更多的基于神经网络的图像修复方法，并同时兼顾神经网络的效率和可解释性。

发明内容

本发明的目的在于提供一种可微分的低秩学习网络图像修复方法，能够有效的修复被损坏的图像，针对图像像素丢失以及图像含有噪声的情形都能取得比较好的修复效果，具有一定的实用价值。

为实现上述目的，本发明的技术方案是：一种可微分的低秩学习网络图像修复方法，包括如下步骤：

步骤S1、输入一个带噪声的图像矩阵M，将整个图像矩阵的低秩优化问题转换为多个子矩阵的优化子问题，并初始化各个优化子问题的相关参数和初始值；

步骤S2、利用拉格朗日乘子法对每一个优化子问题进行求解，并将其中的拉格朗日乘子转换为可学习的神经网络参数，将相应的神经网络计算过程构建为一个神经网络模块；

步骤S3、将步骤S2中构建的神经网络模块堆叠成一个完整的神经网络，每一个模块输出各自求解得到的最优解，并通过矩阵连乘得到低秩优化后的重构图像矩阵；

步骤S4、根据步骤S3得到的重构图像矩阵，计算神经网络的损失函数，并根据该损失函数使用反向传播和梯度下降算法更新每个模块的参数W_i以及η，若损失函数未收敛到稳定值则返回步骤S3；

步骤S5、输出优化得到的重构图像矩阵。

在本发明一实施例中，所述步骤S1通过Schatten-p范数替代算法将整个图像矩阵的低秩优化问题转换为多个子矩阵的优化子问题，并初始化各个优化子问题的相关参数和初始值，具体实现如下：

Schatten-p范数替代算法的优化目标为：

其中

为分解得到的I个子矩阵，M为原始已观测到部分像素值的图像矩阵，P_Ω为基于元素的投影操作，使得优化目标的前半部分仅计算未被噪声污染部分(或已观测到)的图像矩阵的误差。正则项

计算多个子矩阵的Schatten-p范数和，p_i为每个子矩阵对应的范数的超参数。根据该优化目标，该算法随机初始化每个子矩阵

同时初始化每个子矩阵所对应的Schatten-p范数的参数集合

且每一个p_i应满足0＜p_i≤2。

在本发明一实施例中，所述步骤S2具体实现如下：

根据拉格朗日乘子法和近端梯度下降算法的变形，将拉格朗日乘子法中的拉格朗日乘子转换为神经网络中可学习的权重参数W，构建可微分且可复用的神经网络模块，对于第i个神经网络模块的第k次迭代，其神经网络计算过程如下公式所示：

其中{W_i，η}为可学习的神经网络参数，L_i为利普希茨常数，∈为给定的一个极小的常量，ReLU(·)为ReLU激活函数，H为01指示矩阵，标注出已观测到的像素值，⊙表示矩阵的哈达马积，

计算优化目标中重构误差在X_i处的梯度。

在本发明一实施例中，所述步骤S3具体实现如下：

步骤S31、在每一个神经网络模块中根据步骤S2计算得到最优的

步骤S32、根据步骤S31得到的

计算当前的重构图像矩阵

为第i个神经网络模块输出的优化后的子矩阵。

在本发明一实施例中，所述步骤S4具体实现如下：

步骤S41、根据公式

计算当前神经网络的损失函数，其中

和P_Ω(M)分别表示在计算损失时仅考虑重构矩阵和原矩阵在已观测到的像素值上的重构误差；

步骤S42、根据步骤S41中计算得到的损失函数，利用梯度下降和反向传播算法，更新神经网络中的可学习参数{W₁，...，W_I，η}；

步骤S43、若神经网络的损失函数收敛到稳定值，则进入步骤S5，否则返回继续执行步骤S3。

相较于现有技术，本发明具有以下有益效果：

本发明将近端梯度映射方法转换为带约束的优化问题，并针对这一问题提出了一种可微分且可复用的神经网络模块，该神经网络由多个这样的网络模块堆叠组成，每一个模块都可以解决一个关于低秩优化的子问题。所提出的方法有效地利用可微分的神经网络解决了非凸且不连续的低秩优化问题，并避免了在迭代过程中进行奇异值分解从而加快了计算速度，这使得低秩优化问题也可以使用梯度下降和反向传播算法来更新算法的参数。实验结果表明所提出的方法成功地解决了低秩矩阵补全问题，并且将其成功应用于图像修复任务中。且该发明仅需消耗较小的计算资源和时间就能在图像修复应用中取得优异的性能，具有一定的实用价值。

附图说明

图1为本发明实施例的流程图。

图2为本发明的神经网络架构。

图3为本发明在几个实例上的表现。

具体实施方式

下面结合附图，对本发明的技术方案进行具体说明。

应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

本发明提供了一种可微分的低秩学习网络图像修复方法，包括如下步骤：

步骤S1、输入一个带噪声的图像矩阵M，将整个图像矩阵的低秩优化问题转换为多个子矩阵的优化子问题，并初始化各个优化子问题的相关参数和初始值；

步骤S2、利用拉格朗日乘子法对每一个优化子问题进行求解，并将其中的拉格朗日乘子转换为可学习的神经网络参数，将相应的神经网络计算过程构建为一个神经网络模块；

步骤S3、将步骤S2中构建的神经网络模块堆叠成一个完整的神经网络，每一个模块输出各自求解得到的最优解，并通过矩阵连乘得到低秩优化后的重构图像矩阵；

步骤S4、根据步骤S3得到的重构图像矩阵，计算神经网络的损失函数，并根据该损失函数使用反向传播和梯度下降算法更新每个模块的参数W_i以及η，若损失函数未收敛到稳定值则返回步骤S3；

步骤S5、输出优化得到的重构图像矩阵。

以下为本发明的具体实现过程。

如图1、2、3所示，本实施例提供了一种可微分的低秩学习网络图像修复方法，包括以下步骤：

步骤S1：输入一个带噪声的图像矩阵M，将整个图像矩阵的低秩优化问题转换为多个子矩阵的优化子问题，并初始化各个子问题的相关参数和初始值；

步骤S2：利用拉格朗日乘子法对每一个优化子问题进行求解，并将其中的拉格朗日乘子转换为可学习的神经网络参数，将相应的神经网络计算过程构建为一个神经网络模块；

步骤S3：将步骤S2中构建的神经网络模块堆叠成一个完整的神经网络，每一个模块输出各自求解得到的最优解，并通过矩阵连乘得到低秩优化后的重构图像矩阵；

步骤S4：根据步骤S3得到的重构矩阵，计算神经网络的损失函数，并根据该损失函数使用反向传播和梯度下降算法更新每个模块的参数W_i以及η，若损失函数未收敛到稳定值则返回步骤S3；

步骤S5：输出优化得到的重构图像矩阵。

在本实施例中，所述步骤S1通过Schatten-p范数替代算法将整个图像矩阵的低秩优化问题转换为多个子矩阵的优化子问题，并初始化各个优化子问题的相关参数和初始值，具体实现如下：

Schatten-p范数替代算法的优化目标为：

其中

为分解得到的I个子矩阵，M为原始已观测到部分像素值的图像矩阵，P_Ω为基于元素的投影操作，使得优化目标的前半部分仅计算未被噪声污染部分(或已观测到)的图像矩阵的误差。正则项

计算多个子矩阵的Schatten-p范数和，p_i为每个子矩阵对应的范数的超参数。根据该优化目标，该算法随机初始化每个子矩阵

同时初始化每个子矩阵所对应的Schatten-p范数的参数集合

且每一个p_i应满足0＜p_i≤2。

在本实施例中，所述步骤S2具体实现如下：

根据拉格朗日乘子法和近端梯度下降算法的变形，将拉格朗日乘子法中的拉格朗日乘子转换为神经网络中可学习的权重参数W，构建可微分且可复用的神经网络模块，对于第i个神经网络模块的第k次迭代，其神经网络计算过程如下公式所示：

其中{W_i，η}为可学习的神经网络参数，L_i为利普希茨常数，∈为给定的一个极小的常量，ReLU(·)为ReLU激活函数，H为01指示矩阵，标注出已观测到的像素值，⊙表示矩阵的哈达马积，

计算优化目标中重构误差在X_i处的梯度。

在本实施例中，所述步骤S3具体实现如下：

步骤S31、在每一个神经网络模块中根据步骤S2计算得到最优的

步骤S32、根据步骤S31得到的

计算当前的重构图像矩阵

为第i个神经网络模块输出的优化后的子矩阵。

在本实施例中，所述步骤S4具体实现如下：

步骤S41、根据公式

计算当前神经网络的损失函数，其中

和P_Ω(M)分别表示在计算损失时仅考虑重构矩阵和原矩阵在已观测到的像素值上的重构误差；

步骤S42、根据步骤S41中计算得到的损失函数，利用梯度下降和反向传播算法，更新神经网络中的可学习参数{W₁，...，W_I，η}；

步骤S43、若神经网络的损失函数收敛到稳定值，则进入步骤S5，否则返回继续执行步骤S3。

在本实施例中，所述步骤S5输出得到最优的重构图像矩阵

本实施例从实际应用出发，首先，将整个图像矩阵的低秩优化问题转换为对多个子矩阵的优化子问题，并初始化各个子问题的相关参数和初始值；然后，利用拉格朗日乘子法对每一个优化子问题进行求解，并将其中的拉格朗日乘子转换为可学习的神经网络参数，将相应的神经网络的计算过程构建为一个神经网络模块；接着，将先前构建的神经网络模块堆叠成一个完整的神经网络，每一个模块输出各自求解得到的最优解，再通过矩阵连乘得到低秩优化后的重构图像矩阵；此后，根据当前得到的重构矩阵，计算神经网络的损失函数，并根据该损失函数使用反向传播和梯度下降算法更新每个模块的可学习参数，直到损失函数收敛；最后，输出优化得到的重构图像矩阵。本实施例基于可微分的低秩学习网络，可以有效地对被损坏的图像进行修复，具有一定的应用价值。

以上是本发明的较佳实施例，凡依本发明技术方案所作的改变，所产生的功能作用未超出本发明技术方案的范围时，均属于本发明的保护范围。

Claims (5)

1.一种可微分的低秩学习网络图像修复方法，其特征在于，包括如下步骤：

步骤S1、输入一个带噪声的图像矩阵M，将整个图像矩阵的低秩优化问题转换为多个子矩阵的优化子问题，并初始化各个优化子问题的相关参数和初始值；

步骤S2、利用拉格朗日乘子法对每一个优化子问题进行求解，并将其中的拉格朗日乘子转换为可学习的神经网络参数，将相应的神经网络计算过程构建为一个神经网络模块；

步骤S3、将步骤S2中构建的神经网络模块堆叠成一个完整的神经网络，每一个模块输出各自求解得到的最优解，并通过矩阵连乘得到低秩优化后的重构图像矩阵；

步骤S4、根据步骤S3得到的重构图像矩阵，计算神经网络的损失函数，并根据该损失函数使用反向传播和梯度下降算法更新每个模块的参数W_i以及η，若损失函数未收敛到稳定值则返回步骤S3；

步骤S5、输出优化得到的重构图像矩阵。

2.根据权利要求1所述的一种可微分的低秩学习网络图像修复方法，其特征在于，所述步骤S1通过Schatten-p范数替代算法将整个图像矩阵的低秩优化问题转换为多个子矩阵的优化子问题，并初始化各个优化子问题的相关参数和初始值，具体实现如下：

Schatten-p范数替代算法的优化目标为：

其中

为分解得到的I个子矩阵，M为原始已观测到部分像素值的图像矩阵，P_Ω为基于元素的投影操作，使得优化目标的前半部分仅计算未被噪声污染部分或已观测到的图像矩阵的误差；正则项

计算多个子矩阵的Schatten-p范数和，p_i为每个子矩阵对应的范数的超参数；根据优化目标，该算法随机初始化每个子矩阵

同时初始化每个子矩阵所对应的Schatten-p范数的参数集合

且每一个p_i应满足0＜p_i≤2。

3.根据权利要求2所述的一种可微分的低秩学习网络图像修复方法，其特征在于，所述步骤S2具体实现如下：

根据拉格朗日乘子法和近端梯度下降算法的变形，将拉格朗日乘子法中的拉格朗日乘子转换为神经网络中可学习的权重参数W，构建可微分且可复用的神经网络模块，对于第i个神经网络模块的第k次迭代，其神经网络计算过程如下公式所示：

其中{W_i，η}为可学习的神经网络参数，L_i为利普希茨常数，∈为给定的一个极小的常量，ReLU(·)为ReLU激活函数，H为01指示矩阵，标注出已观测到的像素值，⊙表示矩阵的哈达马积，

计算优化目标中重构误差在x_i处的梯度。

4.根据权利要求3所述的一种可微分的低秩学习网络图像修复方法，其特征在于，所述步骤S3具体实现如下：

步骤S31、在每一个神经网络模块中根据步骤S2计算得到最优的

步骤S32、根据步骤S31得到的

计算当前的重构图像矩阵

为第i个神经网络模块输出的优化后的子矩阵。

5.根据权利要求4所述的一种可微分的低秩学习网络图像修复方法，其特征在于，所述步骤S4具体实现如下：

步骤S41、根据公式

计算当前神经网络的损失函数，其中

和P_Ω(M)分别表示在计算损失时仅考虑重构矩阵和原矩阵在已观测到的像素值上的重构误差；

步骤S42、根据步骤S41中计算得到的损失函数，利用梯度下降和反向传播算法，更新神经网络中的可学习参数{W₁，...，W_I，η}；

步骤S43、若神经网络的损失函数收敛到稳定值，则进入步骤S5，否则返回继续执行步骤S3。

Images