CN108510013A

CN108510013A - 基于低秩核心矩阵的改进稳健张量主成分分析方法

Info

Publication number: CN108510013A
Application number: CN201810706769.3A
Authority: CN
Inventors: 刘翼鹏; 冯兰兰; 陈龙喜; 曾思行; 朱策
Original assignee: University of Electronic Science and Technology of China
Current assignee: University of Electronic Science and Technology of China
Priority date: 2018-07-02
Filing date: 2018-07-02
Publication date: 2018-09-07
Anticipated expiration: 2038-07-02
Also published as: CN108510013B

Abstract

本发明公开了一种基于低秩核心矩阵的改进稳健张量主成分分析方法，属于数据处理技术领域。本发利用低秩核心矩阵近似来改进现有的稳健主成分分析技术，首先对待处理的张量进行张量奇异值分解，然后利用分解得到的f‑对角张量的低秩结构，本发明定义了一个改进的张量核范数，与已有的张量核范数相比，其增加了一项由f‑对角张量构造的核心矩阵的核范数。即本发明中的张量核范数项可以在第一和第二模式中提取低秩张量成分，而另一项则使用核心矩阵的核范数来处理第三模式下的低秩张量成分。本发明可用于图像处理，为图像处理提供了一种高效的稳健张量主成分分析方法。

Description

基于低秩核心矩阵的改进稳健张量主成分分析方法

技术领域

本发明涉及数据处理领域，尤其涉及一种改进的张量低秩分解方法。

背景技术

张量是多维数据，它是向量和矩阵数据的高阶泛化。基于张量数据的信号处理在广泛的应用中发挥了重要作用，如推荐系统，数据挖掘，图像/视频去噪和修复等。然而，许多数据处理方法仅仅针对二维数据开发。将这些有效的方法扩展到张量领域已变得越来越重要。

稳健主成分分析(RPCA)是经典主成分分析(PCA)的衍生，其已经被广泛应用于许多数据处理问题。在RPCA方法中，通过将一个矩阵X分解成一个低秩成分L和一个稀疏成分E，L和E可以很高概率地通过解决以下凸问题恢复出来：

min_L,E‖L‖_*+λ‖E‖₁,s.t.X＝L+E (1)

其中‖L‖_*表示矩阵核范数，定义为矩阵L的奇异值之和；‖E‖₁表示矩阵E的l₁范数，定义为矩阵E的所有元素的绝对值之和。

RPCA已被应用于图像处理领域，包括背景建模、批处理图像对齐方式、人脸去阴影等。它仅仅能处理矩阵数据，而一些现实世界的图像数据是以多维形式存在的，如RGB彩色图像、视频、高光谱图像和磁共振图像等。张量数据的矩阵化并不是充分利用多维数据的结构信息。为解决这一问题，稳健张量主成分分析(RTPCA)方法被提出。

给定一个张量其中表示实数域，上标为维度信息，即N₁,N₂,N₃分别表示张量的第一，第二和第三维度，张量可以被分解为低秩成分和稀疏成分，可以表示如下：

其中表示低秩成分，ε₀表示稀疏成分。

张量秩是RTPCA的重要特征之一，张量分解的不同框架有不同的张量秩的定义。例如，典范因子分解(CPD)将一个张量分解成若干个秩为1的张量因子的总和，而因子的最小数量被称为CP秩。CPD具有不适定性，并且存在计算问题。在Tucker分解中，一个张量被分解成一个核心张量在每个模式下乘以一个因子矩阵。Tucker秩由因子矩阵的秩组成。一个张量的管秩被定义为在张量奇异值分解(t-SVD)中，其f-对角张量(张量的每个正面切片都是一个对角矩阵)的非零奇异的管纤维的数目。

t-SVD框架不同于传统的张量分解的代数框架，它以循环代数和傅里叶变换(FT)为基础。这个分解的结构类似于矩阵数据中的奇异值分解(SVD)。图1展示了t-SVD分解示意图，给定一个张量其t-SVD分解为：首先对待分解的张量沿着第三个维度([],3)做快速傅里叶变换，再分别对得到的张量的各个正面切片进行矩阵的SVD分解，每个正面切片的SVD分解都将得到两个酉矩阵和一个对角矩阵，基于所有正面切片的分解结果，得到傅里叶域的张量奇异值分解结果和其中为傅里叶域的酉矩阵，为傅里叶域的对角矩阵(f-对角张量)；最后，分别对和进行反傅里叶变换，得到张量的张量奇异值分解结果即其中和分别为大小N₁×N₁×N₃和N₂×N₂×N₃的正交张量，是一个大小为N₁×N₂×N₃的f-对角张量，称为核心张量。

基于t-SVD，RTPCA可以被转化为有不同的稀疏模式的不同的凸优化模型，比如SNN(Sum of Nuclear Norms)和RTPCA模型等，这些模型主要是根据不同的应用使用不同的稀疏约束。然而，基于t-SVD的低秩张量模型并不能充分利用数据的低秩结构。因此，有必要对传统的基于t-SVD的RTPCA方法进行改进。

发明内容

本发明的发明目的在于：针对上述存在的问题，提供一种基于低秩核心矩阵的改进稳健张量主成分分析方法。本发明基于核心张量的正面切片的对角元素构造核心矩阵的低秩近似，通过增加核心矩阵的另一个核范数来进一步提取第三模式的主成分，从而改进了传统的张量核范数，以更加充分的利用多维数据结构信息。

本发明的基于低秩核心矩阵的改进稳健张量主成分分析方法，包括下列步骤

步骤S1：初始化低秩成分稀疏成分ε、对偶变量拉格朗日惩罚算子ρ、收敛阈值∈，参数λ、λ₁和更新率α₁、α₂；其中参数λ、λ₁的初始值分别为：

步骤S2：对待主成分分析的张量其中表示实数域，上标为维度信息；

对张量进行张量奇异值分解，得到正交张量和以及核心张量其中和

构造核心矩阵其中算子表示基于核心张量的正面切片的对角元素构造核心矩阵，核心矩阵的列数为N，行数为N₃；

步骤S3：对低秩成分稀疏成分ε进行迭代更新处理：

基于S2中分解得到的正交张量和根据计算中间张量其中算子为算子的逆操作，表示核心矩阵的奇异值阈值算子；

更新低秩成分为：其中，表示张量的张量奇异值阈值算子；

更新稀疏成分ε为：其中表示张量的软阈值算子；

步骤S4：判断是否满足迭代更新收敛条件，若是，则输出迭代更新后的低秩成分和稀疏成分ε；

否则，更新对偶变量参数λ₁和拉格朗日惩罚算子ρ后，返回步骤S2；

其中对偶变量参数λ₁和拉格朗日惩罚算子ρ的更新方式为：

λ₁＝α₁×λ₁，ρ＝α₂×ρ；

所述迭代更新收敛条件为其中表示迭代更新后的低秩成分，表示迭代更新前的低秩成分。

综上所述，由于采用了上述技术方案，本发明的有益效果是：与现有的主成分分析方法相比，其处理效率和准确性更好。

附图说明

图1是张量奇异值分解(t-SVD)的分解示意图；

图2是核心张量与核核心矩阵的转换示意图；

图3是实施例中，采用本发明的IRTPCA和现有的PRCA方法对室内视频的背景建模处理结果对比图，其中第(a)列为原始图，第(b)、(c)列为现有的PRCA方法获得的低秩背景成分和稀疏前景成分的分解示意图；第(d)、(e)列为本发明的IRTPCA方法获得的低秩背景成分和稀疏前景成分的分解示意图；

图4是实施例中，采用本发明的IRTPCA和现有的PRCA方法对室外视频的背景建模理结果对比图，其中第(a)列为原始图，第(b)列为现有的PRCA方法获得的背景图；第(c)列为本发明的IRTPCA方法获得背景图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面结合实施方式和附图，对本发明作进一步地详细描述。

为了更好地提取多维数据中的低秩张量成分，本发明对现有的张量核范数(TNN)进行了改进，通过增加矩阵核范数来强化核心矩阵中的低秩结构，充分挖掘了三个模式的低秩结构；通过稀疏约束，本发明提出了改进的稳健张量主成分分析(IRTPCA)方法，以更加充分利用多维数据结构信息，在精度和计算复杂度方面优于现有的基于t-SVD的张量主成分分析(RTPCA)方法。

本发明在利用低秩核心矩阵近似来改进现有的RTPCA方法时，首先对待处理的张量进行t-SVD分解，得到其中和分别为大小N₁×N₁×N₃和N₂×N₂×N₃的正交张量，是一个大小为N₁×N₂×N₃的核心张量，为了利用核心张量的低秩结构，本发明定义了一个改进的张量核范数(ITNN)：

其中γ是一个平衡两项的预定义的参数，与传统的张量核范数(TNN)相比，新定义的ITNN除了张量核范数项，还增加了一项由核心张量构造的核心矩阵的核范数。对于ITNN，张量核范数项可以在第一和第二模式中提取低秩张量成分，而另一项则使用核心矩阵的核范数来处理第三模式下的低秩张量成分。ITNN的优化试图充分利用张量数据的结构特征。在此基础上，本发明开发了一种高效的IRTPCA方法。

定义算子和分别表示核心张量和核心矩阵之间的转化，其中N＝min(N₁,N₂)，即基于核心张量的正面切片的对角元素构造核心矩阵如图2所示，用算子和表示为：

同时算子也能够被矩阵乘法定义，用矩阵S₍₁₎表示核心张量展开的矩阵，即S₍₁₎＝[S(:,:,1),S(:,:,2),...,S(:,:,N₃)]，其中S(:,:,n₃),n₃＝1,...,N₃是大小为N×N₃的正面切片；

对于第n₃(n₃＝1,...,N₃)行是1，其余元素为0的N₃个矩阵且则核心矩阵能表示为

基于本发明的ITNN的IRTPCA优化模型可以表示为：

其中是输入张量(待处理张量)，和分别表示低秩成分和稀疏成分。λ是低秩成分与稀疏成分的权重因子

上式所示的优化模型可以通过交替方向乘子法(ADMM)解决：

其中ρ＞0是拉格朗日惩罚算子，是对偶变量，k表示迭代次数，ε_k分别表示第k次迭代时的对偶变量、稀疏成分，ε_k+1分别表示第k+1次迭代时的对偶变量、低秩成分、稀疏成分。

对于式(5)，本发明分为以下两个子问题：一个问题是最小化核心矩阵的核范数，另一个问题是最小化TNN,前者的优化模型如下：

其中λ₁是正则化参数，由进行t-SVD分解得到，为中间变量(对应稀疏成分的中间变量)。从而基于低秩核心矩阵得到一个张量

最小化TNN的问题如下所示：

本发明用sth_τ(X)和来分别表示矩阵X和张量的软阈值算子，对于矩阵或张量的任意元素x满足：

sth_τ(x)＝sign(x)·max(|x|-τ) (11)

其中，符号函数sign(·)用于返回参数的正负号。

用svt_τ(X)表示矩阵X的奇异值阈值算子，即svt_τ(X)＝Usth_τ(Σ)V^T，其中Σ,U和V通过X＝UΣV^T获得。

对应的，用表示张量的傅里叶域的奇异值阈值算子，也可简称为张量的奇异值阈值算子，即其中分别表示张量进行t-SVD分解得到的两个正交张量，其中和表示张量进行t-SVD分解时得到的傅里叶域的f-对角张量，ifft(·)表示反傅里叶变换。

对给定的待分析张量本发明的IRTPCA方法的具体实现过程如下：

步骤S1：初始化低秩成分稀疏成分ε、对偶变量拉格朗日惩罚算子ρ、收敛阈值∈(优选取值范围为5×10^-3≤∈≤6×10^-3)，参数λ、λ₁和更新率α₁、α₂(优选取值范围分别为1≤α₁≤2，0.5≤α₂≤1)；其中参数λ、λ₁的初始值分别为： N_max＝max(min(N₁,N₂),N₃)；

本具体实施方式中，ε、ρ、∈的优选取值分别为：ρ＝0.05，∈＝5×10^-5，α₁＝1.2，α₂＝0.6；

步骤S2：对张量进行张量奇异值分解，得到正交张量和以及核心张量其中和

并基于核心张量的正面切片的对角元素构造核心矩阵其中N＝min(N₁,N₂)，即核心矩阵的列数为N，行数为N₃；

即将分解为再根据得到核心矩阵

步骤S3：对低秩成分稀疏成分ε进行迭代更新处理：

根据公式得到中间张量其中

即首先对核心矩阵进行矩阵奇异值分解，得到再根据得到中间矩阵进而得到张量从而基于步骤S2中分解得到的正交张量和得到张量

更新低秩成分为：其中表示张量的张量奇异值阈值算子；

该过程中将参数τ设置为

更新稀疏成分ε为：

步骤S4：判断是否满足迭代更新收敛条件，若是，则输出当前迭代更新后的低秩成分和稀疏成分ε；

否则，更新对偶变量参数λ₁和拉格朗日惩罚算子ρ后，继续执行步骤S2～S4；

其中对偶变量参数λ₁和拉格朗日惩罚算子ρ的更新方式为：

λ₁＝α₁×λ₁，ρ＝α₂×ρ；

实施例

由于视频图像帧与帧之间具有很大的相关性，所以低秩建模可以应用于视频。一般来说，视频的背景可以被建模为低秩成分，因为它只会随着时间的推移而改变它的亮度。在视频中占据一小部分像素的前景目标可以被看作是稀疏成分。本实施例中，采用两组实验，其分别来自公共数据集的室内和室外真实视频。

在第一组实验中，本发明从大厅的监控录像中剪下了一百帧图像序列。在视频中，有一些行走的人被摄像机记录下来。构造的张量是采用本发明的IRTPCA方法将张量分解为一个低秩成分和一个稀疏成分。为了验证本发明的性能，将传统的RPCA算法也应用到这组实验中进行低秩成分和稀疏成分的分解。

视频序列和处理结果如图3所示。图3(a)展示了大厅视频中的四帧图像，其中一个人总是在现场；图3(b)和图3(c)是现有的RPCA方法提取出的低秩背景成分和稀疏前景成分。图3(d)和图3(e)是本发明的IRTPCA方法的结果。尽管对于这个视频序列没有一种简单的方法来估计背景图像的质量，但是RPCA的低秩背景成分中的箭头所指向的地方有人的重影，稀疏前景成分中白色方框显示了稀疏成分的结果的主要差异，从图可知，现有的RPCA对视频图像中的小对象的提取不够准确；但是本发明的IRTPCA方法为这些小对象提供了更多的细节。通过这些可视化比较，可以发现本发明提出的IRTPCA方法性能更好。

此外，RPCA和IRTPCA的CPU时间分别为171.6s和23.6s，因而，本发明所提出的方法处理速度更快。

为了进一步验证IRTPCA方法的有效性，本实施例中，还进行了户外监视视频的背景建模实验。户外视频的场景比室内的场景要复杂得多，因为室外的场景包括亮度的变化以及物体和相机之间的距离。在视频中，移动的汽车是稀疏的，背景是低秩的。本发明选择了从室外视频序列中选择了64帧大小为504×336的图片，构造张量是

图4(a)显示原始的4帧包含移动车辆的图片，图4(b)和(c)分别是RPCA和IRTPCA方法提取的低秩成分。从图片中所加的箭头和方框标注的区域可以看出，本发明的IRTPCA方法的处理结果提供了更好的结果。RPCA方法没有完全删除背景图像中的阴影。

另外，RPCA方法和IRTPCA方法处理这个视频的CPU时间分别是的186s和86.1s,因而基于本发明的IRTPCA方法的处理速度更快。

由上述不难看出，本发明在此引入了一种更为精准的张量分解方法，能够更好的恢复出监控视频的背景成分，对图像处理领域有一定意义。

以上所述，仅为本发明的具体实施方式，本说明书中所公开的任一特征，除非特别叙述，均可被其他等效或具有类似目的的替代特征加以替换；所公开的所有特征、或所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以任何方式组合。

Claims

1.基于低秩核心矩阵的改进稳健张量主成分分析方法，其特征在于，包括下列步骤：

步骤S1：初始化低秩成分稀疏成分对偶变量拉格朗日惩罚算子ρ、收敛阈值∈，参数λ、λ₁和更新率α₁、α₂；其中参数λ、λ₁的初始值分别为：

步骤S3：对低秩成分稀疏成分进行迭代更新处理：

更新低秩成分为：其中，表示张量的张量奇异值阈值算子；

更新稀疏成分为：其中表示张量的软阈值算子；

步骤S4：判断是否满足迭代更新收敛条件，若是，则输出迭代更新后的低秩成分和稀疏成分；

其中对偶变量参数λ₁和拉格朗日惩罚算子ρ的更新方式为：

λ₁＝α₁×λ₁，ρ＝α₂×ρ；

2.如权利要求1所述的方法，其特征在于，收敛阈值∈的优选取值范围为5×10^-3≤∈≤6×10^-3。

3.如权利要求1所述的方法，其特征在于，更新率α₁、α₂的优选取值范围分别为：1≤α₁≤2，0.5≤α₂≤1。

4.如权利要求3所述的方法，其特征在于，更新率α₁的优选取值为1.2。

5.如权利要求3所述的方法，其特征在于，更新率α₂的优选取值为0.6。

6.如权利要求1所述的方法，其特征在于，拉格朗日惩罚算子ρ的初始值为0.05。

7.如权利要求1所述的方法，其特征在于，低秩成分稀疏成分和对偶变量的优选初始值均为0。