CN113870130B - 基于三维全变分和Tucker分解的低秩张量补全方法 - Google Patents

Abstract

基于三维全变分和Tucker分解的低秩张量补全方法，包括以下步骤：将破损视频读入MATLAB软件中，将其转化为三维张量，张量大小为，X×Y×Z，利用增广拉格朗日公式对求解的目标泛函进行优化处理，将混合目标泛函分解几个优化子问题，引入3个辅助变量，将其分解为独立的三部分，将三维加权差分算子引入到三维全变分约束中，保留三维张量的多因子结构，描述张量数据三维空间域的分段平滑结构；不断迭代更新引入的三个辅助变量以及需要修复的张量y，当达到最大迭代次数或者连续两次补全的张量y相对误差小于给定的参数值ε，则张量补全完成；可有效地处理多通道数据，描述张量的低秩性，高效求解所提出的凸泛函，完成高丢失率破损视频的修复。

Description

基于三维全变分和Tucker分解的低秩张量补全方法

技术领域

本发明属于数字图像处理技术领域，具体涉及基于三维全变分和Tucker分解的低秩张量补全方法，针对破损视频。

背景技术

随着数据采集技术的快速发展，多维视觉数据大量涌现，如经常使用的彩色图像、视频、高光谱(HS)或多光谱(MS)图像、磁共振成像(MRI)数据和电子商业数据等。实际上，可以把这些从应用场景中获得的多维视觉数据看作一个张量，每个通道、视图或波段都被统一称为一个分量。例如，一幅彩色图像(灰度视频序列)由于其高度、宽度和颜色(时间)通道，可以被看作是一个三维(3D)张量。其中，视频数据集的规模与数量与日俱增，特别在日常生活中，数字视频占据着相当重要的位置。然而，在大量的实际应用中，由于在获取视频数据过程中视觉数据经常出现部分信息丢失或破损的情况，当丢失率较高时严重影响其观看效果或是降低后续处理操作的精度，如何修复这些多通道的视频数据成为了亟需解决的问题，尤其是如何在高丢失率的情况下来修复这些视频数据。

考虑到低秩性是视觉数据的基本属性，低秩张量补全(Low-Rank TensorCompletion，LRTC)在多维视觉数据修复中引起了更多的关注，其目的是通过使用部分观察到的残余数据来恢复缺失的数据。在修复缺失的信息时，假设修复的张量是低秩的，通过设计合适的泛函模型并试图使张量的秩最小化来达到修复张量数据的目的。在已有的方法中，确定张量的秩主要有两种方式：一是矩阵化技术，建立沿每个模式的展开矩阵秩的凸性组合；二是将张量分解技术被引入LRTC，如CANDECOMP/PARAFAC(CP)、Tucker分解和多模式核张量因子化等，同时试图使分解后的因子低秩。

全变分(Total Variation,TV)范数，因其可以保留图像中的分段平滑特性而成功地应用于许多图像处理领域。近些年来，TV约束已经被应用到矩阵补全及张量补全问题中，以局部分段光滑特性为先验条件用作低秩约束的补充性约束。为简单起见，将这类方法称为LRTV(Low-Rank Tensor Completion with Total Variation)。

近些年的研究中出现了对三维全变分(3DTV)方法的研究，可以有效地保留多维视觉数据在3个维度上的结构信息以及视觉数据的局部分段平滑结构，同时三维全变分可以有效地利用各个分量间的相似性增强多通道视觉数据的空间性。

在已有LRTV的研究中，通常采用二维TV在张量的展开矩阵上进行约束，然而大量的研究表明将高维数据直接按模展开为二维矩阵，将不可避免地失去高维数据的空间结构。

发明内容

为克服上述现有技术的不足，本发明的目的在于提供基于三维全变分和Tucker分解的低秩张量补全方法，结合了三维TV正则化约束和Tucker分解，利用张量补全的方式来达到修复破损视频的目的，具有可有效地处理多通道数据，描述张量的低秩性，高效求解所提出的凸泛函，完成高丢失率破损视频的修复的特点。

为实现上述目的，本发明采用的技术方案是：

基于三维全变分和Tucker分解的低秩张量补全方法，包括以下步骤：

步骤1，利用MATLAB软件将高丢失率的破损视频文件读入，将其处理为三维张量张量/>大小为X×Y×M；

步骤2，张量补全的目标泛函中的核张量与因子矩阵/>由张量/>分解而来，因此不利于目标泛函的求解，需要引入3个辅助变量，即矩阵/>以及张量/>和张量/>这时目标泛函转变为公式(3)，

公式(3)中，调整参数λ₁和λ₂，平衡3DTV与低秩约束之间的权重，这里λ₁>0，λ₂>0，D_w为加权三维差分算子；

步骤3，利用增广拉格朗日公式对公式(3)进行优化，同时引入四个拉格朗日乘子Λ，φ，ψ和以及增加收敛速度的调整参数/>此时，目标泛函变为公式(4)，同时初始化必要参数，迭代最大次数K，λ₁，λ₂，/>ε，四个拉格朗日乘子以及上述三个辅助变量，

步骤4，计算加权三维差分算子D_w(·)，同时为了更新张量需要求解公式(4)中涉及张量/>的部分，根据公式(5)可以求解张量/>

公式(5)中，S算子为对张量中每个元素进行收缩运算：

公式(6)中，.*为按元素相乘，使ζ＝λ₁/ρ₁，|·|对张量/>中的每个元素求其绝对值，sign(·)为符号函数；

步骤5，同样利用公式(4)、公式(7)与公式(8)计算更新张量公式7为关于张量优化问题的线性方法，其中/>为D_w的伴随算子，由于/>拥有块状循环结构，它被三维的傅里叶变换矩阵所对角化，

公式(7)和公式(8)中，张量为单位张量，即张量/>每一个正切片均为单位矩阵，fftn与ifftn代表了三维快速傅里叶变换与其逆变换，|·|²为按元素平方，这里的除法同样也为按元素相除，D₁，D₂和D₃为加权三维差分算子D_w沿着张量三个不同维度的一阶微分算子；

步骤6，利用公式(4)与公式(9)计算更新矩阵这里D_α(A)＝Udiag{max((σ_i-α)，0)}V^T是奇异值阈值算子，矩阵A的奇异值分解为Udiag{(σ_i)_{0≤i≤rank(A)}}V^T，其中，diag{(σ_i)_{0≤i≤rank(A)}}为对矩阵A的奇异值组成的对角矩阵，矩阵U和矩阵V为对矩阵A进行奇异值分解后的特征向量组成的矩阵，矩阵V^T为矩阵V的转置矩阵，

公式(9)中，令

步骤7，利用公式(4)中涉及矩阵的部分，同时根据公式(10)计算更新矩阵/>其中Ψ_n，Y_n和G_n为拉格朗日乘子Ψ，张量/>和张量/>分别沿着模式-n展开的二维矩阵，

公式(10)中， 为kronecker积，矩阵I为单位矩阵，矩阵G_n ^T和矩阵/>为矩阵G_n和矩阵X^(-n)的转置；

步骤8，利用公式(4)中涉及张量的部分，以及公式(11)计算更新需要补全的张量/>

步骤9，利用公式(4)和公式(12)计算更新核张量这里/>为核张量/>的矢量化操作，在计算出核张量/>的矢量化形式后，重建核张量/>

步骤10，利用公式(13)和公式(14)计算更新拉格朗日乘子Λ和ρ₁，同理可以更新φ，Ψ，ρ₂，ρ₃和ρ₄，同时更新已经迭代计算的次数，

(ρ₁)^k+1＝μ(ρ₁)^k (14)

步骤11，重复上述步骤4至步骤10，直到k＝K，即达到最大迭代次数或者连续两次补全张量的相对误差小于给定的值ε，则表示张量补全任务已经完成，最后输出补全的张量/>

基于三维全变分和Tucker分解的低秩张量补全方法，包括以下步骤：

首先，将破损视频读入MATLAB软件中，将其转化为三维张量，张量大小为，X×Y×Z，目标泛函如公式(1)所示：

公式(1)中，为对张量/>施加三维全变分约束，/>为对张量/>进行Tucker分解后产生的核张量/>施加Frobenius范数约束，/>则为对张量/>进行Tucker分解后产生的因子矩阵/>施加核范数约束，以保证张量/>的低秩性，这里N＝3，调整参数λ₁和λ₂，平衡3DTV与低秩约束之间的权重，这里λ₁>0，λ₂>0，/>为原始张量数据，Ω为破损张量的剩余数据在/>中的索引集合，/>为需要修复的张量定义目标泛函中的三维全变分为：

其中，Ξ为张量的图像域，/>为对张量/>进行微分操作，/> 定义了加权三维差分算子，D₁，D₂和D₃为张量/>沿着三个不同方向的一阶微分算子，/>和/>为一阶微分算子D₁，D₂和D₃的权重系数；

其次，由于目标泛函中的核张量与因子矩阵/>是由张量/>分解而来，因而目标泛函中的这三项并不互相独立，不利于问题的求解，因此，利用增广拉格朗日公式对求解的目标泛函进行优化处理，将混合目标泛函分解几个优化子问题，引入3个辅助变量矩阵张量/>和张量/>其中，令/> 将目标泛函分解为独立的三部分，将三维加权差分算子引入到三维全变分约束中，不仅可以保留三维张量的多因子结构，而且描述了张量数据三维空间域的分段平滑结构；

最后，经过不断迭代更新各个子问题中的引入的三个辅助变量以及需要修复的张量在张量/>补全过程中，当达到最大迭代次数或者连续两次补全的张量/>相对误差小于给定的参数值ε，则张量补全完成。

本发明的有益效果是：

与现有技术相比，本发明基于三维全变分和Tucker分解的低秩张量补全方法，其创新点在于：1)、考虑到三维视觉数据的内部几何结构特性，采用三维全变分(3DTV)来构建张量数据的三维空间内部结构和描述三维空间域的局部分段平滑结构；此外，由于引入了三维差分，所提出的模型可以更有效地处理多通道数据。2)、通过Tucker公式将张量分解为一个核张量和多个因子矩阵以描述张量的全局相关性，对因子矩阵施加低秩正则化以描述张量的低秩性。3)、采用了增强拉格朗日公式来优化求解所提出的混合目标泛函问题，同时推导出关于三维全变分空间正则化子问题的求解方案，从而能够高效求解所提出的凸泛函。最后，通过不断迭代求解所提混合模型的目标泛函来完成高丢失率破损视频的修复工作。

附图说明

图1是本发明的流程图。

图2是本发明的求解目标泛函具体流程图。

图3(a)是本发明实施例中采用的原始“suzie”视频的第1帧图像。

图3(b)是本发明实施例中数据丢失率为95％的“suzie”视频第1帧图像。

图3(c)是本发明实施例中数据丢失率为95％的“suzie”视频第1帧图像的修复结果图。

图4(a)是本发明实施例中采用的原始“hall”视频的第50帧图像。

图4(b)是本发明实施例中数据丢失率为95％的“hall”视频第50帧图像。

图4(c)是本发明实施例中数据丢失率为95％的“hall”视频第50帧图像的修复结果图。

具体实施方式

下面结合具体实施例和附图对本发明作进一步详细说明。

基于3DTV和Tucker分解的低秩张量补全方法，包括以下步骤：

步骤1，利用MATLAB软件将高丢失率的破损视频文件读入，将其处理为三维张量张量/>大小为X×Y×M；

步骤2，张量补全的目标泛函中的核张量与因子矩阵/>由张量/>分解而来，因此不利于目标泛函的求解，需要引入3个辅助变量，即矩阵/>以及张量/>和张量/>这时目标泛函转变为公式(3)，

公式(3)中，调整参数λ₁和λ₂，平衡3DTV与低秩约束之间的权重，这里λ₁>0，λ₂>0，D_w为加权三维差分算子；

步骤3，利用增广拉格朗日公式对公式(3)进行优化，同时引入四个拉格朗日乘子Λ，φ，ψ和以及增加收敛速度的调整参数/>此时，目标泛函变为公式(4)，同时初始化必要参数，迭代最大次数K，λ₁，λ₂，/>ε，四个拉格朗日乘子以及上述三个辅助变量，

步骤4，计算加权三维差分算子D_w(·)，同时为了更新张量需要求解公式(4)中涉及张量/>的部分，根据公式(5)可以求解张量/>

公式(5)中，S算子为对张量中每个元素进行收缩运算：

公式(6)中，.*为按元素相乘，使ζ＝λ₁/ρ₁，|·|对张量/>中的每个元素求其绝对值，sign(·)为符号函数；

步骤5，同样利用公式(4)、公式(7)与公式(8)计算更新张量公式7为关于张量优化问题的线性方法，其中/>为D_w的伴随算子，由于/>拥有块状循环结构，它被三维的傅里叶变换矩阵所对角化，

公式(7)和公式(8)中，张量为单位张量，即张量/>每一个正切片均为单位矩阵，fftn与ifftn代表了三维快速傅里叶变换与其逆变换，|·|²为按元素平方，这里的除法同样也为按元素相除，D₁，D₂和D₃为加权三维差分算子D_w沿着张量三个不同维度的一阶微分算子；

步骤6，利用公式(4)与公式(9)计算更新矩阵这里D_α(A)＝Udiag(max(σ_i-α),0)}V^T是奇异值阈值算子，矩阵A的奇异值分解为Udiag{(σ_i)_{0≤i≤rank(A)}}V^T，其中，diag{(σ_i)_{0≤i≤rank(A)}}为对矩阵A的奇异值组成的对角矩阵，矩阵U和矩阵V为对矩阵A进行奇异值分解后的特征向量组成的矩阵，矩阵V^T为矩阵V的转置矩阵，

公式(9)中，令

步骤7，利用公式(4)中涉及矩阵的部分，同时根据公式(10)计算更新矩阵/>其中Ψ_n，Y_n和G_n为拉格朗日乘子Ψ，张量/>和张量/>分别沿着模式-n展开的二维矩阵，

公式(10)中， 为kronecker积，矩阵I为单位矩阵，矩阵G_n ^T和矩阵/>为矩阵G_n和矩阵X^(-n)的转置；

步骤8，利用公式(4)中涉及张量的部分，以及公式(11)计算更新需要补全的张量/>

步骤9，利用公式(4)和公式(12)计算更新核张量这里/>为核张量/>的矢量化操作，在计算出核张量/>的矢量化形式后，重建核张量/>

步骤10，利用公式(13)和公式(14)计算更新拉格朗日乘子Λ和ρ₁，同理可以更新φ，ψ，ρ₂，ρ₃和ρ₄，同时更新已经迭代计算的次数，

(ρ₁)^k+1＝μ(ρ₁)^k (14)

步骤11，重复上述步骤4至步骤10，直到k＝K，即达到最大迭代次数或者连续两次补全张量的相对误差小于给定的值ε，则表示张量补全任务已经完成，最后输出补全的张量/>

基于三维全变分和Tucker分解的低秩张量补全方法的实例

下面将利用YUV视频数据来说明本发明针对破损视频的三维全变分约束的低秩张量补全方法来进一步说明其效果：

本次实验数据来源于YUV视频序列，视频数据分别为“suzie”和“hall”。将实验视频数据读入MAYLAB中，采用了一些常用的4:2:0YUV格式的视频测试序列，并选择前150帧作为实验数据，因此数据大小为176×144×150，它们可以被视为一个三维张量。通过在实验视频数据的所有通道内随机屏蔽掉一部分原始张量数据，利用剩余的像素点构成破损的三维张量并补全张量/>其中实验视频的数据丢失率为90％和95％。

如图3(a)所示，为“suzie”视频第1帧的原始数据图像，图3(b)是丢失率为95％“suzie”视频的第1帧图像。针对丢失率为95％的“suzie”视频设置必要的参数，例如K＝2000，μ＝1.1，ε＝10^-8等，同时初始化四个拉格朗日乘子Λ，φ，ψ和以及ρ₁，ρ₂，ρ₃和ρ₄，令k＝k+1，当张量补全次数达到2000次，或者连续两次张量补全的结果的相对误差时，则张量补全结束，输出已经修复的张量/>破损视频第1帧修复结果如图3(c)所示。根据破损视频第1帧修复结果与第1帧原始数据图像对比，以及第1帧破损图像与第1帧的原始数据图像对比可知，“suzie”破损视频修复前，第1帧图像的峰值信噪比为7.3578dB，结构相似性为0.0097，而“suzie”破损视频修复后，第1帧图像的峰值信噪比为28.8921dB，结构相似性为0.8423，同时从视觉效果方面评价，本发明方法修复了图像的主要信息以及纹理细节，通过对比修复前后的图像可知本发明方法的有效性。

对数据丢失率为95％的“hall”破损视频进行修复，图4(a)为“hall”视频的第50帧的原始数据图像，第50帧破损图像如图4(b)所示，经过上述方法进行补全后，第50帧破损图像修复结果如图4(c)所示。根据第50帧破损图像修复结果与第50帧的原始数据图像对比，以及第50帧破损图像与第50帧的原始数据图像对比可知，“hall”破损视频修复前，第50帧图像的峰值信噪比为5.4278dB，结构相似性为0.0083，而“hall”破损视频修复后，第50帧图像的峰值信噪比为27.0768dB，结构相似性为0.8912。综上所述，本发明可在高丢失率的破损图像上有较好的修复效果。

Claims (1)

1.基于三维全变分和Tucker分解的低秩张量补全方法，其特征在于，包括以下步骤：

步骤1，利用MATLAB软件将高丢失率的破损视频文件读入，将其处理为三维张量张量大小为X×Y×M；具体是：将实验视频数据读入MATLAB中，采用了一些常用的4:2:0YUV格式的视频测试序列，并选择前150帧作为实验数据，因此数据大小为176×144×150，它们可以被视为一个三维张量，通过在实验视频数据的所有通道内随机屏蔽掉一部分原始张量数据，利用剩余的像素点构成破损的三维张量/>并补全张量/>

步骤2，张量补全的目标泛函中的核张量与因子矩阵/>由张量/>分解而来，因此不利于目标泛函的求解，需要引入3个辅助变量，即矩阵/>以及张量/>和张量/>这时目标泛函转变为公式(3)，

公式(3)中，调整参数λ₁和λ₂，平衡3DTV与低秩约束之间的权重，这里λ₁>0，λ₂>0，D_w为加权三维差分算子；

步骤3，利用增广拉格朗日公式对公式(3)进行优化，同时引入四个拉格朗日乘子Λ，φ，ψ和以及增加收敛速度的调整参数/>此时，目标泛函变为公式(4)，同时初始化必要参数，迭代最大次数K，λ₁，λ₂，/>ε，四个拉格朗日乘子以及上述三个辅助变量，

步骤4，计算加权三维差分算子D_w(·)，同时为了更新张量需要求解公式(4)中涉及张量/>的部分，根据公式(5)可以求解张量/>

公式(5)中，S算子为对张量中每个元素进行收缩运算：

其中，.*为按元素相乘，ζ＝λ₁/ρ₁，|·|对张量/>中的每个元素求其绝对值，sign(·)为符号函数；

步骤5，同样利用公式(4)、公式(7)与公式(8)计算更新张量公式7为关于张量/>优化问题的线性方法，其中/>为D_w的伴随算子，由于/>拥有块状循环结构，它被三维的傅里叶变换矩阵所对角化，

公式(7)和公式(8)中，张量为单位张量，即张量/>每一个正切片均为单位矩阵，fftn与ifftn代表了三维快速傅里叶变换与其逆变换，|·|²为按元素平方，这里的除法同样也为按元素相除，D₁，D₂和D₃为加权三维差分算子D_w沿着张量三个不同维度的一阶微分算子；

步骤6，利用公式(4)与公式(9)计算更新矩阵这里D_α(A)＝Udiag{max((σ_i-α),0)}V^T是奇异值阈值算子，矩阵A的奇异值分解为Udiag{(σ_i)_{0≤i≤rank(A)}}V^T，其中，diag{(σ_i)_{0≤i≤rank(A)}}为对矩阵A的奇异值组成的对角矩阵，矩阵U和矩阵V为对矩阵A进行奇异值分解后的特征向量组成的矩阵，矩阵V^T为矩阵V的转置矩阵，

公式(9)中，令

步骤7，利用公式(4)中涉及矩阵的部分，同时根据公式(10)计算更新矩阵其中Ψ_n，Y_n和G_n为拉格朗日乘子Ψ，张量/>和张量/>分别沿着模式-n展开的二维矩阵，

公式(10)中， 为kronecker积，矩阵I为单位矩阵，矩阵G_n ^T和矩阵/>为矩阵G_n和矩阵X^(-n)的转置；

步骤8，利用公式(4)中涉及张量的部分，以及公式(11)计算更新需要补全的张量/>

步骤9，利用公式(4)和公式(12)计算更新核张量这里/>为核张量/>的矢量化操作，在计算出核张量/>的矢量化形式后，重建核张量/>

步骤10，利用公式(13)和公式(14)计算更新拉格朗日乘子Λ和ρ₁，同理可以更新φ，ψ，ρ₂，ρ₃和ρ₄，同时更新已经迭代计算的次数，

(ρ₁)^k+1＝μ(ρ₁)^k (14)

步骤11，重复上述步骤4至步骤10，直到k＝K，即达到最大迭代次数或者连续两次补全张量的相对误差小于给定的值ε，则表示张量补全任务已经完成，最后输出补全的张量/>