CN109241491A - 基于联合低秩和稀疏表示的张量结构性缺失填充方法 - Google Patents

Abstract

本发明涉及计算机视觉领域，为提出张量结构性缺失填充方法，实现对结构性缺失张量的准确填充，本发明，基于联合低秩和稀疏表示的张量结构性缺失填充方法,基于TT低秩张量填充理论引入TT低秩先验对潜在张量进行约束；同时，考虑到张量沿着各个维度的纤维信号能够由字典来进行稀疏表示，并且前一维度的缺失纤维能够通过在下一个维度上对纤维信号进行稀疏约束来进行恢复，因此对每个维度的纤维信号都引入稀疏约束；基于上述联合TT低秩与各个维度的稀疏先验，将带有结构性缺失的张量填充问题具体地表述为求解约束优化问题，从而实现带有结构性缺失的张量填充。本发明主要应用于视频图像修复、推荐系统、数据挖掘和多分类学习场合。

Description

基于联合低秩和稀疏表示的张量结构性缺失填充方法

技术领域

本发明属于计算机视觉领域，特别涉及基于低秩张量填充和稀疏表示理论的张量结构性缺失填充方法。

背景技术

张量填充是根据张量的一部分已知元素来恢复未知的缺失元素，该问题在近年来引起了广泛的研究和关注。在计算机视觉和机器学习的诸多领域中由于数据的不完整性会经常遇到这类数据填充问题，例如视频图像修复、推荐系统、数据挖掘和多分类学习等。

近些年来，关于解决张量填充问题的方法已经有很多研究成果。由于张量填充问题的病态性，目前的张量填充方法普遍假设待恢复张量是低秩的或者是近似低秩的，然后通过低秩张量填充来获得缺失元素值。如基于TT低秩的简单张量填充(SiLRTC-TT)、快速低秩张量填充(FaLRTC)、高精度低秩张量填充(HaLRTC)等。但是目前已有的这些张量填充算法都是基于先前假设的张量低秩特性来设计的，这在张量的缺失元素是随机分布的并且该张量各维度的每条纤维信号上均有观测元素值的情况下是有效的，但当张量中存在着整条纤维元素均缺失甚至整张切片元素(我们称之为结构性缺失)均缺失时，已有的这些基于张量低秩的填充算法就无法有效地解决这类张量结构性缺失的填充问题，因为整行整列甚至整张切片元素缺失的张量填充问题在只基于低秩特性进行约束的条件下是无法求解的。而在实际应用中，如数据的获取和传输、地震数据获取等过程中数据张量很可能会出现某些纤维甚至整帧结构性缺失的退化情况。此外，随着互联网大数据时代的到来，高维张量数据在获取传输存储中都有可能遭遇结构性缺失的数据污染，所以，设计一种能够高效地填充张量结构性缺失元素的填充算法是十分必要的。

目前针对上述结构性缺失的情况，学术界只在二维矩阵上考虑了这种结构性缺失，在高维张量数据上仍然普遍仅考虑了随机缺失的状况，并且大部分只利用了张量的塔克尔低秩特性来进行约束求解，无法有效地恢复带有结构性缺失的张量数据。为此，本发明在模型中同时引入张量的TT低秩约束和纤维稀疏先验，从而实现了对带有整条纤维缺失或整帧切片缺失的张量进行准确填充。

发明内容

为克服现有技术的不足，本发明旨在提出张量结构性缺失填充方法，实现对结构性缺失张量的准确填充。为此，本发明采取的技术方案是，基于联合低秩和稀疏表示的张量结构性缺失填充方法,步骤如下，基于TT低秩张量填充理论引入TT低秩先验对潜在张量进行约束；同时，考虑到张量沿着各个维度的纤维信号能够由字典来进行稀疏表示，并且前一维度的缺失纤维能够通过在下一个维度上对纤维信号进行稀疏约束来进行恢复，因此对每个维度的纤维信号都引入稀疏约束；基于上述联合TT低秩与各个维度的稀疏先验，将带有结构性缺失的张量填充问题具体地表述为求解约束优化问题，从而实现带有结构性缺失的张量填充。

将高维数据表示成张量，则待恢复的张量用X表示，观测到的不完整张量用T表示，则该张量填充问题具体地表述为求解如下约束优化方程：

其中||X_[k]||_*代表张量X沿着第k维度进行TT展开后得到的矩阵X_[k]的核范数，所以ω_k||X_[k]||_*代表模型的低秩先验项，α_k代表张量X沿着第k维进行Tucker展开后得到的矩阵X_(k)的稀疏系数矩阵，||·||₁表示矩阵的一范数，Ω是观测空间，表示已观测到元素的位置，ω_k代表沿各个维度的TT展开矩阵的权重，γ表示稀疏项的正则化系数，Φ_k表示训练好的用于第k维稀疏表示的字典，通过引入一组辅助变量M₁，M₂...M_k对展开矩阵进行解耦合，从而上述模型重写为：

s.t.X_(k)＝Φ_kα_k，k＝1，...，N

X_[k]＝M_k，k＝1，...，N-1

X_Ω＝T_Ω

采用增广拉格朗日乘子法ALM将约束优化问题(2)转化为无约束优化问题来进行求解，增广拉格朗日方程如下：

其中P_k，Q_k表示拉格朗日乘子矩阵，μ₁、μ₂是惩罚因子，表示两个矩阵的内积，||·||_F表示矩阵的弗罗贝尼乌斯Frobenius范数。

采用增广拉格朗日乘子法ALM将约束优化问题(2)转化为无约束优化问题来进行求解，具体求解过程为：

先对每个维度在同类型高质量数据集上使用在线字典学习算法训练出字典Φ_k；

初始化权重系数ω_k，权重系数ω_k在迭代中不进行更新，是一个固定的权重向量，它给展开矩阵中结构更加平衡的矩阵赋予更大的权重系数，给结构不平衡的矩阵赋予更小的权重系数；

交替更新矩阵M_k，稀疏系数矩阵α_k，潜在张量X，拉格朗日乘子矩阵P_k和Q_k，惩罚因子μ₁，μ₂，直到算法收敛；

这时迭代的结果X就是恢复的最终解。

具体地，采用交替方向法ADM将方程(3)转换成如下序列进行迭代求解：

上式中的和分别表示使目标函数取最小值时的变量M_k和α_k的值，ρ₁、ρ₂为倍数因子，l是迭代次数。然后按照如下步骤进行迭代求解：

1)求解使用奇异值阈值法(Singular Value Thresholding)SVT求解去掉式子(4)中求解的目标函数里与无关的项，然后通过配方得到：

其中：

对公式(6)使用奇异值阈值法解得：

其中 分别是的左奇异矩阵和右奇异矩阵；

2)求解使用加速近邻梯度算法求得

去掉式子(4)中求解的目标函数里与无关的项，得到如下方程：

使用泰勒展开的方法，构造出一个二阶函数来逼近上式，然后针对这个二阶的函数来求解原方程，令再引入变量Z_k，最终解得：

其中，为收缩算子， 代表函数f对的梯度，L_f是一个常数，值为||Φ_k||²，变量的更新规则如下：

其中，t^j是一组常数序列，j是变量迭代次数；

3)求解张量X^l+1：将X^l+1分为两部分求解，在观测空间Ω内，张量的值不进行更新，直接用观测值填充，在观测空间Ω以外，即互补空间内，使用前两步更新得到的和先重组成张量再进行平均得到更新后的元素值，将两部分合起来即为X^l+1的最终解：

4)更新拉格朗日乘子矩阵P_k和Q_k以及惩罚因子μ₁，μ₂：

5)重复上述步骤1)-4)直到算法收敛，这时迭代的结果X^l+1就是原问题的最终解X。

本发明的特点及有益效果是：

本发明方法针对结构性缺失的张量填充问题，通过联合低秩特性和稀疏约束，实现了对带有结构性缺失的张量填充问题的求解。本发明具有以下特点：

1、运用了增广拉格朗日乘子法(ALM)、交替方向法(ADM)、加速近邻梯度算法(APG)、奇异值阈值法(SVT)等算法求解子问题，整合了已有算法的优点。

2、使用了行列等纤维信号字典对张量的各个维度的纤维信号进行稀疏表示，与传统的块字典相比更加高效。

3、将低秩张量重建理论和稀疏表示理论相结合，在传统的低秩张量填充模型中引入字典学习，提出了联合张量低秩信息与张量纤维稀疏性先验，使得可以对带有整条纤维甚至整帧切片缺失的张量进行准确填充。

4、通过对带有随机缺失和结构性缺失的受损张量进行TT低秩和稀疏的联合约束，提高了填充性能，既可以填充结构性缺失，也可以更加准确地填充随机缺失。

附图说明：

本发明通过附图和对具体实施例的描述使其更加明显和容易理解，其中：

图1是算法流程图。

图2是从原始的没有缺失的真值张量中抽取的几帧切片图像。

图3是从引入随机缺失和结构性缺失的受损张量中抽取的相对应的切片图像，既有整帧缺失的切片图像，也有一般的带有随机缺失和结构性纤维缺失的切片图像。黑点表示随机缺失像素，黑色横线和黑色竖线代表结构性缺失纤维，完全黑色帧代表整帧结构性缺失，整个张量的缺失率为50％，其中60％为结构性缺失，40％为随机缺失。

图4是用本发明方法对该缺失张量进行填充得到的恢复张量中抽取出来的相应帧，将该50％缺失率下恢复出来的张量按帧展开成二维矩阵，则整体恢复的效果为：PSNR＝45.42dB。

具体实施方式

本发明意在弥补现有技术的不足，即实现对结构性缺失张量的准确填充。本发明采取的技术方案是，基于TT低秩张量填充和纤维信号稀疏表示的带有结构性缺失的张量填充方法，步骤是，基于TT低秩张量填充理论引入TT低秩先验对潜在张量进行约束；同时，考虑到张量沿着各个维度的纤维信号可以由字典来进行稀疏表示，并且前一维度的缺失纤维可以通过在下一个维度上对纤维信号进行稀疏约束来进行恢复，因此对每个维度的纤维信号都引入稀疏约束；基于上述联合TT低秩与各个维度的稀疏先验，将带有结构性缺失的张量填充问题具体地表述为求解约束优化问题，从而实现带有结构性缺失的张量填充。

本发明将结构性缺失的张量填充问题具体地表述为求解约束优化问题且具体步骤细化为：

将高维数据表示成张量，则待恢复的张量用X表示，观测到的不完整张量用T表示，则该张量填充问题可具体地表述为求解如下约束优化方程：

其中||X_[k]||_*代表张量X沿着第k维度进行TT展开后得到的矩阵X_[k]的核范数，所以ω_k||X_[k]||_*代表模型的低秩先验项，α_k代表张量X沿着第k维进行Tucker展开后得到的矩阵X_(k)的稀疏系数矩阵，||·||₁表示矩阵的一范数，Ω是观测空间，表示已观测到元素的位置，ω_k代表沿各个维度的TT展开矩阵的权重，γ表示稀疏项的正则化系数，Φ_k表示训练好的用于第k维稀疏表示的字典。为了更好地进行优化求解，我们通过引入一组辅助变量M₁，M₂...M_k对展开矩阵进行解耦合，从而上述模型可重写为：

s.t.X_(k)＝Φ_kα_k，k＝1，...，N

X_[k]＝M_k，k＝1，...，N-1

X_Ω＝T_Ω

采用增广拉格朗日乘子法(ALM)将约束优化问题(2)转化为无约束优化问题来进行求解，增广拉格朗日方程如下：

其中P_k，Q_k表示拉格朗日乘子矩阵，μ₁、μ₂是惩罚因子，表示两个矩阵的内积，||·||_F表示矩阵的弗罗贝尼乌斯(Frobenius)范数。

求解过程为：

先对每个维度在同类型高质量数据集上使用在线字典学习算法训练出字典Φ_k。

初始化权重系数ω_k，权重系数ω_k在迭代中不进行更新，是一个固定的权重向量，它给展开矩阵中结构更加平衡的矩阵赋予更大的权重系数，给结构不平衡的矩阵赋予更小的权重系数。

交替更新矩阵M_k，稀疏系数矩阵α_k，潜在张量X，拉格朗日乘子矩阵P_k和Q_k，惩罚因子μ₁，μ₂，直到算法收敛。

这时迭代的结果X就是恢复的最终解。

具体地，采用交替方向法ADM将方程(3)转换成如下序列进行迭代求解：

上式中的和分别表示使目标函数取最小值时的变量M_k和α_k的值，ρ₁、ρ₂为倍数因子，l是迭代次数。然后按照如下步骤进行迭代求解：

1)求解使用奇异值阈值法(Singular Value Thresholding)SVT求解

去掉式子(4)中求解的目标函数里与无关的项，然后通过配方得到：

其中：

对公式(6)使用奇异值阈值法解得：

其中 分别是的左奇异矩阵和右奇异矩阵。

2)求解使用加速近邻梯度算法求得

去掉式子(4)中求解的目标函数里与无关的项，得到如下方程：

使用泰勒展开的方法，构造出一个二阶函数来逼近上式，然后针对这个二阶的函数来求解原方程，令再引入变量Z_k，最终可以解得：

其中，为收缩算子， 代表函数f对的梯度，L_f是一个常数，值为||Φ_k||²，变量的更新规则如下：

其中，t^j是一组常数序列，j是变量迭代次数。

3)求解张量X^l+1：将X^l+1分为两部分求解，在观测空间Ω内，张量的值不进行更新，直接用观测值填充，在观测空间Ω以外，即互补空间内，使用前两步更新得到的和先重组成张量再进行平均得到更新后的元素值，将两部分合起来即为X^l+1的最终解：

4)更新拉格朗日乘子矩阵P_k和Q_k以及惩罚因子μ₁，μ₂：

5)重复上述步骤1)4)直到算法收敛，这时迭代的结果X^l+1就是原问题的最终解X。

本发明是在低秩张量填充模型的基础之上，引入稀疏约束模型，使得本模型能够填充带有结构性缺失的低秩张量，即基于联合TT低秩和纤维稀疏约束的张量结构性缺失填充方法，从而解决已有技术无法填充结构性缺失的问题。下面结合实施例和附图对本发明进行详细说明。

本发明将低秩张量填充与稀疏表示相结合，在传统的低秩张量填充模型的基础上引入字典学习模型，通过对缺失张量采用联合TT低秩与纤维稀疏先验条件的约束，从而解决已有算法无法实现带有结构性缺失的张量填充问题。

1)考虑到自然张量数据本身的低秩特性，基于低秩张量填充理论引入低秩先验对潜在张量进行低秩约束，由于张量秩的定义有多种，在本发明中采用张量的TT秩来进行低秩约束，因为张量的TT秩能更好的捕捉到低秩张量的全局信息。此外，考虑到带有结构性缺失的张量的每一维度的纤维信号可以由后一个维度的纤维字典来进行稀疏约束，最后一个维度的缺失纤维可以由第一维度的纤维字典来有效地稀疏约束，故基于稀疏表示理论引入张量的纤维稀疏先验信息，从而基于联合张量TT低秩与可分离的多维纤维稀疏先验，将带有结构性缺失的张量填充问题具体地表述为求解如下约束优化方程：

其中X_[k]和X_(k)分别代表目标优化张量X沿着第k个维度TT展开和Tucker展开得到的展开矩阵。||X_[k]||_*代表矩阵X_[k]的核范数，ω_k||X_[k]||_*表示低秩先验项；||·||₁表示矩阵的一范数，代表本模型的纤维稀疏先验项；Ω是观测空间，表示带有结构性缺失的张量中已观测到的元素位置，ω_k表示加权低秩项的权重矩阵，γ表示纤维稀疏项的正则化系数，Φ_k表示沿各个维度训练好的纤维信号字典，对应的系数矩阵由α_k表示，T代表观测到的张量。

11)本发明通过引入一组辅助变量M₁，M₂...M_k对展开矩阵进行解耦合使原问题更好地进行优化求解，引入辅助变量后模型可重写为：

s.t.X_(k)＝Φ_kα_k，k＝1，...，N

X_[k]＝M_k，k＝1，...，N-1

X_Ω＝T_Ω

12)采用增广拉格朗日乘子法(ALM)将约束优化问题(2)转化为无约束优化问题来进行求解，得到的增广拉格朗日方程如下所示：

其中P_k，Q_k表示拉格朗日乘子矩阵，μ₁、μ₂是惩罚因子，表示两个矩阵的内积，||·||_F表示矩阵的弗罗贝尼乌斯(Frobenius)范数。

2)使用Online Learning字典学习算法来训练出字典Φ_k。

21)构造不同维度的纤维字典Φ_k使得矩阵X_(k)能够由字典Φ_k稀疏表示，即满足：X_(k)＝Φ_kα_k，其中α_k是系数矩阵且是稀疏的；本发明使用Online Learning算法在Kodak图像集上训练出的Φ适用于大部分图像相关的自然张量数据。

22)训练字典的相关参数设定为：待重建矩阵X_(k)的行数与字典Φ_k中元素的维数m相等，即X_(k)的行数与Φ_k的行数均为m。训练好的字典Φ_k都是过完备的字典，即字典中原子的个数必须大于原子的维度。

3)初始化低秩项的权重矩阵ω_k。

设δ_k表示优化张量X沿着第k维度TT展开所得到矩阵X_[k]的较小维度的长度。则权重矩阵ω_k由下式确定：

4)采用交替方向法ADM将方程(3)转换成如下序列进行迭代求解：

上式中的和分别表示使目标函数取最小值时的变量M_k和α_k的值，ρ₁、ρ₂为倍数因子，l是迭代次数。设定好各参数初值，然后按照步骤5)、6)、7)、8)的方法进行迭代求解最终结果。

5)求解使用奇异值阈值法(Singular Value Thresholding)求解

去掉式子(5)中求解的目标函数里与无关的项得到：

然后通过配方可将上式改写成：

其中：

对公式(7)使用奇异值阈值法解得：

其中 分别是的左奇异矩阵和右奇异矩阵。

6)求解使用加速近邻梯度算法求得

61)去掉式子(5)中求解的目标函数里与无关的项，得到如下方程：

使用泰勒展开的方法，构造出一个二阶函数来逼近上式，然后针对这个二阶的函数来求解原方程。

令以及令

再引入变量Z_k，定义如下函数：

其中，代表函数f对Z_k的梯度，L_f是一个常数，值为||Φ_k||²，用于保证对所有的Z_k，都有F(Z_k)≤G(α_k，Z_k)。

62)通过配方转化公式(5)转化成了求解G(α_k，Z_k)的最小值：

其中变量的更新规则为：

其中t^j是一组序列，j是变量迭代次数。使用收缩算子可以求解得到

其中，为收缩算子。

7)求解张量X^l+1：将X^l+1分为两部分求解，在观测空间Ω内，张量的值不进行更新，直接用观测值填充，在观测空间Ω以外，即互补空间内，使用前两步更新得到的和先重组成张量再进行平均得到更新后的元素值，将两部分合起来即为X^l+1的最终解。

71)在观测空间Ω内，直接用观测到的元素进行填充：

72)在观测空间Ω外，使用前两步更新得到的和先重组成张量再进行平均得到更新后的元素值：

8)更新拉格朗日乘子矩阵P_k和Q_k以及惩罚因子μ₁，μ₂：

9)重复上述步骤5)、6)、7)、8)直到算法收敛，这时迭代的结果X^l+1就是原问题的最终解X。

本发明将低秩张量填充理论和信号的稀疏表示理论相结合，在传统的低秩张量填充模型的基础上引入字典学习稀疏表示模型，通过对带有结构性缺失的数据张量采用联合张量TT低秩与纤维稀疏先验条件的约束，从而解决已有技术无法处理的问题，即实现对结构性缺失的数据张量进行填充(实验流程图如图1所示)。下面结合附图和实施例进行详细说明：

1)实验中使用一个由高光谱图像组成的3维自然数据张量(随机抽取出来的帧如图2所示)作为原始张量，大小为256×256×256，在其上构造了5种缺失率分别为50％、60％、70％、80％和90％的受损张量进行测试(50％缺失率下的相应帧如图3所示)，其中包含40％的随机缺失和60％的结构性缺失。本发明采用大小固定为100×400的过完备字典，先将待填充张量T沿着当前维度k按照Tucker展开方式展开成X_(k)，然后从上到下以滑窗的形式分成若干个子矩阵，然后再将这若干个子矩阵依次填充好，最终再组合起来即可得到原始尺寸的填充矩阵。我们统一用X_[k]和X_(k)表示沿当前维度k展开的要填充的矩阵，那么填充当前带有结构性缺失的矩阵问题可具体地表述为求解如下约束优化方程：

其中||X_[k]||_*代表矩阵X_[k]的核范数，ω_k||X_[k]||_*表示低秩先验项；||·||₁表示矩阵的一范数，代表对纤维信号在对应字典上的稀疏系数进行稀疏约束；Ω是观测空间，表示带有结构性缺失的张量中已观测到的元素位置，ω_k表示加权低秩项的权重矩阵，γ表示纤维稀疏项的正则化系数，Φ_k表示沿各个维度训练好的纤维信号字典，对应的系数矩阵由α_k表示，T代表观测到的张量。

11)在求解上述方程之前，本发明通过引入一组辅助变量M₁，M₂...M_k对展开矩阵进行解耦合，使该优化问题更好地进行求解，引入辅助变量后模型可重写为：

s.t.X(_k)＝Φ_kα_k，k＝1，...，N

X_[k]＝M_k，k＝1，...，N-1

X_Ω＝T_Ω

12)公式(2)采用增广拉格朗日乘子法(ALM)可以转化为无约束优化问题来进行求解，从而得到的增广拉格朗日方程如下所示：

其中P_k，Q_k表示拉格朗日乘子矩阵，μ₁、μ₂是惩罚因子，<·，·>表示两个矩阵的内积，||·||_F表示矩阵的弗罗贝尼乌斯(Frobenius)范数。

2)使用Online Dictionary Learning的方法训练得到各个维度k对应的字典Φ_k。

21)构造不同维度的纤维信号字典Φ_k使得矩阵X_(k)能够由字典Φ_k稀疏表示，即满足：X_(k)＝Φ_kα_k，其中α_k是系数矩阵且是稀疏的；在本实施例中由于张量是3维的，所以需要训练3个字典Φ₁、Φ₂和Φ₃。用于训练字典的训练数据应该和要处理的数据张量类型一致，但由于自然图像类数据具有类似的结构，尤其是图像数据类张量展开成二维矩阵后，列信号即为原数据张量的纤维信号，和自然图像的行和列具有非常类似的结构特征，故在本实施例中可以直接统一采用一个由自然图像集训练出来的字典。本发明使用OnlineDictionary Learning算法在Kodak图像集上训练出来的字典Φ适用于大部分图像相关的自然张量数据。在Kodak图像集中的所有图像上一共随机选取出230000个大小为100×1的像素列来作为训练字典的训练数据集。

22)训练字典的相关参数设定为：待重建矩阵X_(k)的行数与字典Φ_k中原子的维数m相等，即X_(k)的行数与Φ_k的行数均为m，实验中m取值为100，然后字典中原子的个数设置为原子维度的4倍，即400个原子组成过完备字典，所以字典的规格为100×400。

3)初始化低秩项的权重矩阵ω_k以及稀疏项的正则化系数。

设δ_k表示所优化张量X沿着第k维度TT展开得到矩阵X_[k]的较小维度的长度。则权重矩阵ω_k由下式确定：

稀疏项的正则化系数γ根据经验设置在0.01～0.1之间，本实验中设置γ＝0.01。

4)采用交替方向法ADM将方程(3)转换成如下序列进行迭代求解：

上式中的和分别表示使目标函数取最小值时的变量M_k和α_k的值，ρ₁、ρ₂为倍数因子，l是迭代次数。设定好各参数初始值，然后按照步骤5)、6)、7)、8)的方法进行迭代求解最终结果。实验中设定初值为：l＝0；ρ₁＝ρ₂＝1.1；

5)首先使用奇异值阈值法(SVT)求解

51)去掉公式(5)中求解的目标函数里与无关的项后可以得到以下方程：

通过配方法将上式改写成：

其中：

对公式(7)使用奇异值阈值法解得：

其中 分别是的左奇异矩阵和右奇异矩阵。

6)使用加速近邻梯度算法求得

61)将Tucker展开矩阵X_(k)以滑窗的形式从上到下分成若干个子矩阵，使得每个子矩阵的列向量维度等于字典原子的维度，在本实验中即以100个元素为步长，以10个元素为重叠率将原展开矩阵分成若干个子矩阵，然后对每个子矩阵依次求解稀疏系数。

61)去掉公式(5)中求解的目标函数里与无关的项，得到如下方程：

通过泰勒展开的方法构造出一个二阶函数来逼近公式(10)，然后通过这个二阶的函数来求解原方程。令

以及再引入变量Z_k，定义如下函数：

其中，代表函数f对Z_k的梯度，L_f是一个常数，值为||Φ_k||²，用于保证对所有的Z_k，都有F(Z_k)≤G(α_k，Z_k)。

62)通过上步转化后再对公式(11)进行配方得到公式(12)，从而将原问题转换成了求解G(α_k，Z_k)的最小值：

其中变量的更新规则为：

其中t^j是一组序列，j是变量迭代次数。使用收缩算子可以求解得到

其中，soft(·，·)为收缩算子。

64)在求得所有子矩阵的稀疏系数矩阵之后，将这些系数矩阵组合成原始展开矩阵的尺寸大小，组合方式和原来的滑窗分解方式相对应，在有元素重合的位置采用平均的方法来得到该位置的系数，从而可以得到原始展开矩阵所对应的系数矩阵

7)更新张量X^l+1：将X^l+1分为两部分求解，在观测空间Ω内的元素直接用观测张量中的元素值进行填充更新，在观测空间Ω以外，即观测空间的互补空间内的元素值，使用步骤(5)(6)更新得到的和来进行求解，先分别将矩阵和重新组合成张量的形式，然后再在对应的元素位置上进行平均得到更新后的元素值。将观测空间Ω和互补空间两部分合起来即为X^l+1的最终解。

71)在观测空间Ω内，直接用观测张量中的观测元素值进行填充，即：

72)在互补空间内，使用步骤(5)(6)求解得到的和来进行更新：

8)更新拉格朗日乘子矩阵P_k和Q_k以及惩罚因子μ₁，μ₂：

9)重复上述步骤5)、6)、7)、8)直到算法收敛，这时迭代的结果X^l+1就是原问题的最终解X。

实验结果：本发明采用PSNR(峰值信噪比)作为该图像类数据张量填充结果的度量测度，即先对原始真值张量和填充张量按帧的顺序展开成二维矩阵，再对该二维矩阵进行计算PSNR，单位为dB：

其中G为原始真值张量，由于该张量数据范围远远小于1，所以在计算PSNR时，将峰值设置为原始真值张量G中的最大值减去最小值得到的差值。M为填充后展开的矩阵，M₀为没有缺失的真值张量G展开的矩阵，w为展开矩阵的宽度，h为展开矩阵的高度，(x，y)表示展开矩阵的第x行第y列的元素位置，∑表示求和运算，|·|为求绝对值运算。本实验最终得到的填充结果如图4所示。

Claims (3)

1.一种基于联合低秩和稀疏表示的张量结构性缺失填充方法，其特征是，步骤如下，基于TT低秩张量填充理论引入TT低秩先验对潜在张量进行约束；同时，考虑到张量沿着各个维度的纤维信号能够由字典来进行稀疏表示，并且前一维度的缺失纤维能够通过在下一个维度上对纤维信号进行稀疏约束来进行恢复，因此对每个维度的纤维信号都引入稀疏约束；基于上述联合TT低秩与各个维度的稀疏先验，将带有结构性缺失的张量填充问题具体地表述为求解约束优化问题，从而实现带有结构性缺失的张量填充。

2.如权利要求1所述的基于联合低秩和稀疏表示的张量结构性缺失填充方法，其特征是，将高维数据表示成张量，则待恢复的张量用X表示，观测到的不完整张量用T表示，则该张量填充问题具体地表述为求解如下约束优化方程：

其中||X_[k]||_*代表张量X沿着第k维度进行TT展开后得到的矩阵X_[k]的核范数，所以ω_k||X_[k]||_*代表模型的低秩先验项，α_k代表张量X沿着第k维进行Tucker展开后得到的矩阵X_(k)的稀疏系数矩阵，||·||₁表示矩阵的一范数，Ω是观测空间，表示已观测到元素的位置，ω_k代表沿各个维度的TT展开矩阵的权重，γ表示稀疏项的正则化系数，Φ_k表示训练好的用于第k维稀疏表示的字典，通过引入一组辅助变量M₁，M₂...M_k对展开矩阵进行解耦合，从而上述模型重写为：

s.t.X_(k)＝Φ_kα_k，k＝1，...，N

X_[k]＝M_k，k＝1，...，N-1

X_Ω＝T_Ω

采用增广拉格朗日乘子法ALM将约束优化问题(2)转化为无约束优化问题来进行求解，增广拉格朗日方程如下：

其中P_k，Q_k表示拉格朗日乘子矩阵，μ₁、μ₂是惩罚因子，<·，·>表示两个矩阵的内积，||·||_F表示矩阵的弗罗贝尼乌斯Frobenius范数。

3.如权利要求2所述的基于联合低秩和稀疏表示的张量结构性缺失填充方法，其特征是，采用增广拉格朗日乘子法ALM将约束优化问题(2)转化为无约束优化问题来进行求解，具体求解过程为：

先对每个维度在同类型高质量数据集上使用在线字典学习算法训练出字典Φ_k；

初始化权重系数ω_k，权重系数ω_k在迭代中不进行更新，是一个固定的权重向量，它给展开矩阵中结构更加平衡的矩阵赋予更大的权重系数，给结构不平衡的矩阵赋予更小的权重系数；

交替更新矩阵M_k，稀疏系数矩阵α_k，潜在张量X，拉格朗日乘子矩阵P_k和Q_k，惩罚因子μ₁，μ₂，直到算法收敛；

这时迭代的结果X就是恢复的最终解。

具体地，采用交替方向法ADM将方程(3)转换成如下序列进行迭代求解：

上式中的和分别表示使目标函数取最小值时的变量M_k和α_k的值，ρ₁、ρ₂为倍数因子，l是迭代次数。然后按照如下步骤进行迭代求解：

1)求解使用奇异值阈值法(Singular Value Thresholding)SVT求解去掉式子(4)中求解的目标函数里与无关的项，然后通过配方得到：

其中：

对公式(6)使用奇异值阈值法解得：

其中分别是的左奇异矩阵和右奇异矩阵；

2)求解使用加速近邻梯度算法求得

去掉式子(4)中求解的目标函数里与无关的项，得到如下方程：

使用泰勒展开的方法，构造出一个二阶函数来逼近上式，然后针对这个二阶的函数来求解原方程，令再引入变量Z_k，最终解得：

其中，soft(·，·)为收缩算子， 代表函数f对的梯度，L_f是一个常数，值为||Φ_k||²，变量的更新规则如下：

其中，t^j是一组常数序列，j是变量迭代次数；

3)求解张量X^l+1：将X^l+1分为两部分求解，在观测空间Ω内，张量的值不进行更新，直接用观测值填充，在观测空间Ω以外，即互补空间内，使用前两步更新得到的和先重组成张量再进行平均得到更新后的元素值，将两部分合起来即为X^l+1的最终解：

4)更新拉格朗日乘子矩阵P_k和Q_k以及惩罚因子μ₁，μ₂：

5)重复上述步骤1)-4)直到算法收敛，这时迭代的结果X^l+1就是原问题的最终解X。