CN104063852A - 一种基于指数化核范数与混合奇异值截断的张量恢复方法 - Google Patents

Abstract

本发明公开了一种基于指数化核范数与混合奇异值截断的张量恢复方法，主要包含以下步骤：首先提出一种新的张量秩定义，张量不同模态下展开矩阵秩的最大值，采用核范数指数和的对数来逼近该张量秩定义，将其转化为凸函数；其次为了消除张量不同模态下展开的矩阵的相关性，引入一系列辅助变量来代替展开矩阵，并将约束条件利用拉格朗日乘子法转化为增广拉格朗日函数；最后采用交替方向法对增广拉格朗日函数中各类变量进行迭代优化，直到收敛。其中，对于核范数的指数和中的优化变量，本发明是一种通用的方法，相对于其它的经典张量恢复方法，该方法能够更好的描述高维数据的内在结构，从而获得更好的恢复结。

Description

一种基于指数化核范数与混合奇异值截断的张量恢复方法

技术领域

本发明涉及计算机模式识别技术领域，具体涉及一种基于指数化核范数与混合奇异值截断的张量恢复方法。

背景技术

张量恢复(tensor completion)，即高维矩阵的恢复问题，对于一个部分元素缺失的高维矩阵，通过观察其已有位置的元素，从而恢复出缺失部分元素的一般性问题，是计算机模式识别领域中的研究热点之一，被广泛应用于图像去噪、图像恢复、信息推荐系统等众多领域。总的来说，大多数现有的张量恢复方法是基于低秩结构假设，即要求恢复的缺失元素使得整个张量的秩尽可能的小。目前有两种传统的定义张量秩的方法：基于张量的CP(CANDECOMP/PARAFAC)分解方法(CP秩)和Tucker分解方法(Tucker秩)。具体来说，CP秩可以定义为：用秩一张量(rank-one tensor)之和来表示给定张量需要的秩一张量的最小个数。Tucker秩可以定义为：不同模态下展开矩阵的秩的线性加权。无论是CP秩还是Tucker秩，最小化该张量秩的优化问题被证明是一个NP难问题。

为了解决上述问题，Gandy等人采用不同模态下展开矩阵秩的和来表示张量的秩，在计算过程中，将展开矩阵的秩用矩阵的核范数来近似代替。Signoretto等人提出一种Shatten-p范数来代替展开矩阵的核范数，并由此定义了张量的秩，最后讨论了该方法与核范数之间的关系。随后，Liu等人采用不同模态下展开矩阵核范数的线性加权来近似代替Tucker秩，并将该方法应用于图像恢复和医学图像去噪。最后，Tomioka等人对张量恢复方法进行了总结，认为有两种方式可以实现张量恢复：(1)将张量按某一个模态展开成二阶矩阵，可以将张量恢复问题转化为了二阶矩阵的恢复问题；(2)采用不同模态下展开矩阵核范数的线性加权来近似代替Tucker秩。

可以看出，上述方法的目的都是寻找张量Tucker秩的近似。然而Tucker秩定义的几何意义不清晰，并且张量不同模态下的权重难以选择，如果某个模态下展开矩阵的秩很大，而其对应的权重很小，那么上述定义将无法正确地描述张量的秩结构，从而导致张量低秩恢复效果不够理想。张量的CP秩是对矩阵秩的一个推广，它的几何意义比Tucker秩更为明确，然而直接优化CP秩是一个非常困难的问题，甚至连局部最优都难以获得。

发明内容

针对现有技术存在的不足，本发明的目的在于提供一种基于指数化核范数与混合奇异值截断的张量恢复方法，基于CP秩的思想，提出一种新的张量秩定义方式，该张量秩是CP秩的下界，并且能够有效地逼近CP秩，使得张量恢复过程对噪声更为鲁棒。此外，该定义没有任何权重参数需要设置，可以有效的消除参数影响。为了优化问题的可解性，我们用张量不同模态下展开矩阵核范数的指数和的对数来近似张量秩，并提出了一种混合奇异值截断算法来获得优化问题的解析解，从而实现快速有效的张量恢复。

为实现上述目的，本发明提供了如下技术方案：一种基于指数化核范数与混合奇异值截断的张量恢复方法，其特征在于：包括以下三个步骤:

(1)提出一种新的张量秩定义：张量不同模态下展开矩阵秩的最大值；该定义是张量CP秩的下界，能够有效的逼近CP秩，并消除了权重参数的影响，采用核范数指数和的对数来逼近该张量秩定义，将其转化为凸函数；

(2)为了消除张量不同模态下展开的矩阵的相关性，引入一系列辅助变量来代替展开矩阵，并将约束条件利用拉格朗日乘子法转化为增广拉格朗日函数；

(3)采用交替方向法对增广拉格朗日函数中各类变量进行迭代优化，直到收敛；其中，对于核范数的指数和中的优化变量，采用混合奇异值截断算法来获得解析解。

本发明进一步设置，所述的步骤(1)具体包括以下子步骤：

首先，根据张量CP秩和Tucker秩的优缺点，提出一种新的张量秩定义：张量展开矩阵秩的最大值；

其次，将展开矩阵的秩松弛为展开矩阵的核范数，并且利用核范数的指数和的对数来逼近最大值函数，从而将上述张量的秩定义转化为凸函数。

本发明还进一步设置，所述的步骤(2)具体包括以下子步骤：

首先，由于张量在不同模态下的展开矩阵具有相关性，引入一系列辅助矩阵变量来替换不同模态下的展开矩阵，并增加对应的约束条件；

其次，采用拉格朗日乘子法将所有约束条件加入到目标函数中，获得增广拉格朗日函数。

本发明还进一步设置，所述的步骤(3)具体包括以下子步骤：

首先，为了对增广拉格朗日函数中的不同变量进行分别优化，采用交替方向法对增广拉格朗日函数中的各类变量进行迭代优化；

其次，对于核范数指数中的优化变量，采用混合奇异值截断算法来获得解析解。

本发明的优点是：1、本发明所提出一种全新的并且通用的张量秩的定义方法，对任意张量数据都适用。并且，该定义是张量CP秩的下界，能够有效地逼近CP秩，并消除了Tucker秩中权重参数的影响。

2、本发明提出一种有效的方法对张量秩定义进行松弛：将展开矩阵的秩松弛为展开矩阵的核范数，并且利用展开矩阵核范数的指数和的对数来逼近最大值函数，从而将张量恢复中的目标函数转化为凸函数。

3、本发明采用辅助变量来消除张量不同模态下展开的矩阵的相关性，并采用拉格朗日乘子法将所有的约束条件转化为增广拉格朗日函数，从而减小了优化问题的复杂度。

4、本发明采用了一种交替方向法来实现对增广拉格朗日函数的分解迭代优化。对于核范数的指数和中的优化变量，本发明提出了一种混合奇异值截断算法来获得解析解，从而实现快速有效的张量恢复。

下面结合说明书附图和具体实施例对本发明作进一步说明。

附图说明

图1为本发明实施例的整体流程图。

具体实施方式

参见图1，本发明提供一种基于指数化核范数与混合奇异值截断的张量恢复方法，包括以下三个步骤:

(1)提出一种新的张量秩定义：张量不同模态下展开矩阵秩的最大值；该定义是张量CP秩的下界，能够有效的逼近CP秩，并消除了权重参数的影响，采用核范数指数和的对数来逼近该张量秩定义，将其转化为凸函数；

(2)为了消除张量不同模态下展开的矩阵的相关性，引入一系列辅助变量来代替展开矩阵，并将约束条件利用拉格朗日乘子法转化为增广拉格朗日函数；

(3)采用交替方向法对增广拉格朗日函数中各类变量进行迭代优化，直到收敛；其中，对于核范数的指数和中的优化变量，采用混合奇异值截断算法来获得解析解。

作为优选的，本实施例所述的步骤(1)具体包括以下子步骤：

首先，根据张量CP秩和Tucker秩的优缺点，提出一种新的张量秩定义:张量展开矩阵秩的最大值；

其次，将展开矩阵的秩松弛为展开矩阵的核范数，并且利用核范数的指数和的对数来逼近最大值函数，从而将上述张量的秩定义转化为凸函数。

作为优选的，本实施例所述的步骤(2)具体包括以下子步骤：

首先，由于张量在不同模态下的展开矩阵具有相关性，引入一系列辅助矩阵变量来替换不同模态下的展开矩阵，并增加对应的约束条件；

其次，采用拉格朗日乘子法将所有约束条件加入到目标函数中，获得增广拉格朗日函数。

作为优选的，本实施例所述的步骤(3)具体包括以下子步骤：

首先，为了对增广拉格朗日函数中的不同变量进行分别优化，采用交替方向法对增广拉格朗日函数中的各类变量进行迭代优化；

其次，对于核范数指数中的优化变量，采用混合奇异值截断算法来获得解析解。

本发明的方法具体运行的硬件和编程语言并不限制，用任何语言编写都可以完成，为此其它工作模式不再赘述。

本发明的实施例采用一台具有Intel Core-i3中央处理器和4G字节内存的计算机并用Matlab语言编制了基于指数化核范数与混合奇异值截断的张量恢复的工作程序，实现了本发明的方法。

本发明的基于指数化核范数与混合奇异值截断的张量恢复方法主要包括以下三个步骤：张量秩的定义以及该定义的凸松弛设计、辅助变量的引入及转化、交替方向优化策略等模块，具体步骤如下所述：

(1)提出一种有效的张量秩定义，并通过多种松弛策略将其转化为凸函数。其主要包含：

a)对于给定的张量χ，我们给出一种新的张量秩的定义，具体形式如下，

$\mathrm{rank}\left(\mathrm{\χ}\right)\underset{i}{\max }\mathrm{rank}\left(X_{\left(i\right)}\right)$

其中X_(i)是张量χ在第i模态下的张开矩阵。

b)根据上述定义，张量恢复问题可以描述如下，

$\underset{\mathrm{\χ}}{\min }\underset{i}{\max }\mathrm{rank}\left(X_{\left(i\right)}\right)$

s.t.ρ_Ω(χ)＝χ_Ω

其中ρ_Ω(·)表示提取张量下标为Ω的元素，这些元素是可以观测到的。

c)由于秩函数rank(·)是非凸的，采用秩函数的凸包络核范数||·||_*来对其进行近似表示，则优化函数可转化为

d)根据不等式 $\underset{i}{\max }{\left|\right|X_{\left(i\right)}\left|\right|}_{*}\≤\log \left(\underset{i=1}{\overset{m}{\mathrm{\Σ}}}{e}^{{\left|\right|X_{\left(i\right)}\left|\right|}_{*}}\right)\≤\underset{i}{\max }{\left|\right|X_{\left(i\right)}\left|\right|}_{*}+\log m$ ，可以进一步将上述优化问题近似为

$\underset{\mathrm{\χ}}{\min }\log \left(\underset{i=1}{\overset{m}{\mathrm{\Σ}}}{e}^{{\left|\right|X_{\left(i\right)}\left|\right|}_{*}}\right)$

s.t.ρ_Ω(χ)＝χ_Ω

(2)通过引入一系列辅助矩阵变量消除张量不同模态下展开的矩阵的相关性，并采用拉格朗日乘子法将所有的约束条件转化为增广拉格朗日函数。

a)由于X_(i)之间存在严重的相关性，使得对各变量的优化无法独立进行。为此，本发明引入一系列辅助矩阵变量

{M_i,i＝1,2,…，m}来替换X_(i)，并增加相应的约束条件。因此，优化问题转化如下，

$\underset{\mathrm{\χ},M_i}{\min }\log \left(\underset{i=1}{\overset{m}{\mathrm{\Σ}}}{e}^{{\left|\right|M_i\left|\right|}_{*}}\right)$

$s.t.{\mathrm{\ρ}}_{\mathrm{\Ω}}\left(\mathrm{\χ}\right)={\mathrm{\χ}}_{\mathrm{\Ω}},X_{\left(i\right)}=M_i,\∀i$

b)为了将上述约束优化问题转化为非约束优化问题，采用拉格朗日乘子法将所有的约束条件转化为增广拉格朗日函数

$f_{\mathrm{\&mu;}}(M_i,X_{\left(i\right)},Q_i)=\underset{i=1}{\overset{m}{\mathrm{\&Sigma;}}}(e^{{\left|\right|M_i\left|\right|}_{*}}+<Q_i,X_{\left(i\right)}-M_i>+\frac{{\mathrm{\&mu;}}_i}{2}{\left|\right|X_i-M_i\left|\right|}_F^2)$

其中Q_i表示拉格朗日矩阵乘子，＜·,·＞表示矩阵的内积，μ_i是损失参数。约束条件ρ_Ω(χ)＝χ_Ω可以在求解过程中被直接处理，因此不需要加入到增广拉格朗日函数中。

(3)采用了一种交替方向法来实现对增广拉格朗日函数的分解迭代优化，其主要包含：

a)对于上述增广拉格朗日函数，采用交替方向法来对其中的变量{M_i,X_(i),Q_i}进行迭代优化；

b)对于由于{M_i,i＝1,2,…,m}各自独立，因此对各个变量进行单独求解即可，求解过程如下，

$\begin{array}{c}\arg \underset{M_i}{\min }{e}^{{\left|\right|M_i\left|\right|}_{*}}+<Q_i^k,X_{\left(i\right)}^k-M_i>+\frac{{\mathrm{\&mu;}}_i}{2}{\left|\right|X_{\left(i\right)}^k-M_i\left|\right|}_F^2\\ =\arg \underset{M_i}{\min }\frac{1}{{\mathrm{\&mu;}}_i}{e}^{{\left|\right|M_i\left|\right|}_{*}}+\frac{1}{2}{\left|\right|X_{\left(i\right)}^k+\frac{1}{{\mathrm{\&mu;}}_i}{Q}_i^k-M_i\left|\right|}_F^2\end{array}$

对上述问题，本发明提出一种混合奇异值截断算法来获得解析解，即

$M_{\left(i\right)}^{k+1}=H_{1/{\mathrm{\&mu;}}_i}\left(Y\right),$

其中 $Y=X_{\left(i\right)}^k+\frac{1}{{\mathrm{\&mu;}}_i}{Q}_i^k,$ 截断函数 $H_{\mathrm{\&tau;}}\left(Y\right)={\mathrm{UD}}_{t_{j^{*}}}\left(\mathrm{\&Sigma;}\right)V^{*},$ UΣV*是矩阵Y的奇异值分解，t_j*通过二分方法求解以下方程获得

$\ln \left({t_j}^{*}\right)+{{\mathrm{jt}}_j}^{*}=\ln \left(\mathrm{\&tau;}\right)+\underset{i=1}{\overset{j}{\mathrm{\&Sigma;}}}{\mathrm{\&sigma;}}_Y^i$

$s.t.{\mathrm{\&sigma;}}_Y^{j+1}\&le;{t_j}^{*}<{\mathrm{\&sigma;}}_Y^j$

其中，是矩阵Y的奇异值。

c)对于求解过程如下，

$\begin{array}{c}\arg \underset{\mathrm{\&chi;}}{\min }\underset{i=1}{\overset{m}{\mathrm{\&Sigma;}}}(<Q_i^k,X_{\left(i\right)}-M_i^{k+1}>+\frac{{\mathrm{\&mu;}}_i}{2}{\left|\right|X_{\left(i\right)}-M_i^{k+1}\left|\right|}_F^2)\\ =\arg \underset{\mathrm{\&chi;}}{\min }{\underset{i=1}{\overset{m}{\mathrm{\&Sigma;}}}\frac{{\mathrm{\&mu;}}_i}{2}\left|\right|X_{\left(i\right)}+\frac{1}{{\mathrm{\&mu;}}_i}{Q}_i^k-M_i^{k+1}\left|\right|}_F^2\end{array}$

这是一个简单的最小二乘问题，结合约束ρ_Ω(χ)＝χ_Ω可以获得如下解，

${\mathrm{\&chi;}}_{\stackrel{\&OverBar;}{\mathrm{\&Omega;}}}=\frac{{\mathrm{\&Sigma;}}_i{\mathrm{\&mu;}}_i{\left({\mathrm{fold}}_i(M_i^{k+1}-\frac{1}{{\mathrm{\&mu;}}_i}{Q}_i^k)\right)}_{\stackrel{\&OverBar;}{\mathrm{\&Omega;}}}}{{\mathrm{\&Sigma;}}_i{\mathrm{\&mu;}}_i}$

其中fold_i(·)是将矩阵转化成张量的操作，是待恢复的张量元素。

d)对于求解过程如下，

$Q_i^{k+1}=Q_i^k+{\mathrm{\&mu;}}_i(X_{\left(i\right)}^{k+1}-M_i^{k+1}),\&ForAll;i$

e)步骤b)-d)不断迭代，直到收敛为止。

本发明的有益效果是：

1、本发明所提出一种全新的并且通用的张量秩的定义方法，对任意张量数据都适用。并且，该定义是张量CP秩的下界，能够有效地逼近CP秩，并消除了Tucker秩中权重参数的影响。

2、本发明提出一种有效的方法对张量秩定义进行松弛：将展开矩阵的秩松弛为展开矩阵的核范数，并且利用展开矩阵核范数的指数和的对数来逼近最大值函数，从而将张量恢复中的目标函数转化为凸函数。

3、本发明采用辅助变量来消除张量不同模态下展开的矩阵的相关性，并采用拉格朗日乘子法将所有的约束条件转化为增广拉格朗日函数，从而减小了优化问题的复杂度。

4、本发明采用了一种交替方向法来实现对增广拉格朗日函数的分解迭代优化。对于核范数的指数和中的优化变量，本发明提出了一种混合奇异值截断算法来获得解析解，从而实现快速有效的张量恢复。

上述实施例对本发明的具体描述，只用于对本发明进行进一步说明，不能理解为对本发明保护范围的限定，本领域的技术工程师根据上述发明的内容对本发明作出一些非本质的改进和调整均落入本发明的保护范围之内。

Claims (4)

1.一种基于指数化核范数与混合奇异值截断的张量恢复方法，其特征在于：包括以下三个步骤:

(1)提出一种新的张量秩定义：张量不同模态下展开矩阵秩的最大值；该定义是张量CP秩的下界，能够有效的逼近CP秩，并消除了权重参数的影响，采用核范数指数和的对数来逼近该张量秩定义，将其转化为凸函数；

(2)为了消除张量不同模态下展开的矩阵的相关性，引入一系列辅助变量来代替展开矩阵，并将约束条件利用拉格朗日乘子法转化为增广拉格朗日函数；

(3)采用交替方向法对增广拉格朗日函数中各类变量进行迭代优化，直到收敛；其中，对于核范数的指数和中的优化变量，采用混合奇异值截断算法来获得解析解。

2.根据权利要求1所述的一种基于指数化核范数与混合奇异值截断的张量恢复方法，其特征在于：所述的步骤(1)具体包括以下子步骤:

首先，根据张量CP秩和Tucker秩的优缺点，提出一种新的张量秩定义：张量展开矩阵秩的最大值；

其次，将展开矩阵的秩松弛为展开矩阵的核范数，并且利用核范数的指数和的对数来逼近最大值函数，从而将上述张量的秩定义转化为凸函数。

3.根据权利要求1所述的一种基于指数化核范数与混合奇异值截断的张量恢复方法，其特征在于：所述的步骤(2)具体包括以下子步骤:

首先，由于张量在不同模态下的展开矩阵具有相关性，引入一系列辅助矩阵变量来替换不同模态下的展开矩阵，并增加对应的约束条件；

其次，采用拉格朗日乘子法将所有约束条件加入到目标函数中，获得增广拉格朗日函数。

4.根据权利要求1所述的一种基于指数化核范数与混合奇异值截断的张量恢复方法，其特征在于：所述的步骤(3)具体包括以下子步骤:

首先，为了对增广拉格朗日函数中的不同变量进行分别优化，采用交替方向法对增广拉格朗日函数中的各类变量进行迭代优化；

其次，对于核范数指数中的优化变量，采用混合奇异值截断算法来获得解析解。