CN109886884A - 一种基于限定核范数的低秩张量估计的视觉数据补全方法 - Google Patents

Abstract

本发明属于图像或视频的数据计算方法技术领域，尤其涉及一种基于限定核范数的低秩张量估计的视觉数据补全方法。该方法包括如下步骤：A1、将预先准备的原始待补全张量初始化得到目标张量χ，所述原始待补全张量包括彩色图像和视频序列；A2、利用目标张量χ，构建用于张量补全的限定核范数模型，得到张量补全的目标函数；A3、对目标函数进行优化建模，得到能求解目标函数最优解的替代函数；A4、求解替代函数，得到目标张量χ将目标张量χ转换为数据源对应格式，得到彩色图像和视频序列的最终补全结果。该方法将改进的限制核范数模型扩展到张量数据补全上以逼近原始张量数据的秩，从而完成张量数据的补全。

Description

一种基于限定核范数的低秩张量估计的视觉数据补全方法

技术领域

本发明属于图像或视频的数据计算方法技术领域，尤其涉及一种基于限定核范数的低秩张量估计的视觉数据补全方法。

背景技术

在计算机视觉研究中，很多视觉数据如彩色图像，视频序列等往往具有很复杂的高阶数据结构，而传统的数据表示形式如向量和矩阵等不能很好的反映这些多维数据的内在结构。

张量作为向量(一阶)和矩阵(二阶)表示的更高阶(大于等于3的阶数)的推广，能更好的表达诸如图像、视频等多维数据的本质结构。在实际获取数据的过程中，由于传输、编码和数据转换等可能会造成数据中某些元素的丢失。利用数据中已知元素预测和恢复未知元素的技术称为张量补全。低秩张量补全是基于低秩张量方法研究的一个重要方面。

目前，低秩张量补全通常是基于两种不同的张量分解技术：CP分解和Tucker分解。CP分解一个张量为多个秩一张量的和，但基于CP分解的模型通常有计算量高和求解方式复杂等问题。Tucker分解则沿某一维度将一个N阶的张量分解为一个核心张量和N个矩阵的模式基，但Tucker分解通常需要预先估计展开矩阵的秩，在实际应用中通常并不能得到正确的估计结果，从而导致补全效果不佳。还有一种处理方式是：运用矩阵补全的技术，采用凸优化方法，直接最小化张量展开后所有矩阵的迹范数和。这种张量补全方式通常可以取得较好的效果，但需要应用奇异值分解(SVD)在所有展开的矩阵数据上，故算法效率较低。

Zhou等人提出的方法(Zhou P,Lu C,Lin Z,et al.Tensor Factorization forLow-Rank Tensor Completion.[J].IEEE Trans Image Process,2017,PP(99):1-1.)中结合矩阵分解的思想，在优化过程中把大的张量数据分解成两个小的张量数据，迭代的求取原目标函数的解以逼近最优解。该方法速度很快，恢复效果较优，且算法被证明可以收敛到一个KKT点。但该方法没有考虑到高阶张量自身重要的结构信息，采用矩阵分解的方法破坏了张量数据的内在空间结构和低秩结构。而且，在原本张量数据丢失严重和待补全张量数据量大的情况下，该方法对数据中的结构信息和数据的低秩特性并不能很好的利用。因而，在对张量数据的补全上效果欠佳。

专利CN201710102313.1“一种基于局部低秩张量估计的视觉数据补全方法”提供了一种基于局部低秩张量估计的张量补全方法。该专利较好的保留了张量数据的局部结构特性，规避了利用张量全局结构信息进行补全而造成局部结构信息丢失的缺陷；对原始图像和视频映射为典型的3阶张量数据结构，并将原张量有重叠的分解为多个子张量，以最小化子张量的迹范数加权进行迭代的求解；较好的保留了每个数据元素与周围元素的高相关性，对张量数据补全的效果较优。该专利的技术方案通过将原始数据张量直接分成有重叠的数据规模较小的张量进行补全，分解结果的好坏直接影响最终补全效果。如有重叠的张量在实际应用中并不能正确的估计，最终的补全结果，如彩色图像的补全，会造成图像边缘细节的模糊等问题。此外，该专利补全方法的模型为所有分解后的小张量的迹范数的和，此模型本身并不能很好的逼近原始张量的秩，这也会导致最终的补全效果变差。

发明内容

(一)要解决的技术问题

针对现有存在的技术问题，本发明提供一种基于限定核范数的低秩张量估计的视觉数据补全方法，该方法将改进的限制核范数模型扩展到张量数据补全上以逼近原始张量数据的秩，从而完成张量数据的补全，得到的补全图像或视频序列不仅图像清晰、整体的视觉效果好，而且局部的边缘细节信息，也能得到更好的恢复。

(二)技术方案

本发明提供一种基于限定核范数的低秩张量估计的视觉数据补全方法，包括如下步骤：

A1、将预先准备的原始待补全张量初始化得到目标张量所述原始待补全张量包括彩色图像和视频序列；

A2、利用目标张量构建用于张量补全的限定核范数模型得到张量补全的目标函数；

A3、对目标函数进行优化建模，得到能求解目标函数最优解的替代函数；

A4、求解替代函数，得到目标张量将目标张量转换为数据源对应格式，得到彩色图像和视频序列的最终补全结果。

进一步地，所述步骤A1中，原始待补全张量和目标张量满足公式(1)的映射关系：

其中，Ω为指标集，为线性投影算子，即将缺失元素位置的值置0，已知元素的值保持不变，为的互补操作。

进一步地，所述步骤A2中，限定核范数模型的构建如公式(2)所示：

其中，p＝min(n₁,n₂)，θ是给定的截断阈值，是广义上的张量奇异值；

根据公式(3)得到张量补全的目标函数：

将目标函数松弛为如公式(4)所示的非约束问题：

其中，λ>0是一个给定的惩罚参数。

进一步地，所述步骤A3中，采用Majorization-Minimization优化框架对目标函数进行优化建模。

进一步地，所述步骤A3包括如下步骤：

A31、令则原目标函数可如公式(5)所示：

A32、假设第k轮输入的待优化值为则的替换函数可写为如公式(6)所示：

这里的注意到：

A33、对于假设第k轮输出的值有r个张量奇异值大于截断阈值θ，则如公式(8)所示：

其中,为限定核范数的一阶近似导数；

找到的替代函数：

这里，在给定输入变量时，是一个常数。

A34、根据步骤A31～A33，将原目标函数写为：

显然，当且仅当时，

进一步地，步骤A4中，构建满足求解替代函数要求的截断奇异值收缩算子，设目标张量的奇异值分解为给定每迭代轮得到阈值r(0<r<p)和预先固定的截断参数τ＞0，构建的截断奇异值收缩算子为：

其中，中的对角元素满足

其中，t₊＝max(0,t)，ifft为傅里叶反变换；

令对作截断奇异值运算，到当输入第k轮的解时，得第k+1轮的解为：

(三)有益效果

1、本发明通过应用改进的限制核范数模型扩展到张量数据补全上以逼近原始张量数据的秩，能更好地估计原始数据的缺失值从而完成张量数据的补全。

2、本发明通过使用张量奇异值(t-SVD)分解技术，对于三阶张量许多张量补全技术需要在张量矩阵化后全部n₃个矩阵上应用奇异值分解，算法执行效率低下，而本发明只需对前(n₃+1)/2个矩阵应用奇异值收缩算子，当n₃很大时，算法可以节省大量时间开销，极大的提高了补全效率。

3、本发明利用给定的张量数据作为整体进行处理，补全过程中不需要对张量进行多次分解，因而在补全合成结果中能够很好的保全张量的空间结构信息，从而能够产生高质量的补全结果。

附图说明

图1为本发明实施例1中张量数据转换演示图；

图2a、2b分别为本发明实施例1中原始彩色图像、原始灰度视频序列的样本例；

图3a、3b分别为本发明实施例1中待补全彩色图像、待补全灰度视频序列的样本例；

图4a、4b分别为本发明实施例1中样本例补全后的彩色图像、样本例补全后灰度视频序列。

具体实施方式

为了更好的解释本发明，以便于理解，下面结合附图，通过具体实施方式，对本发明作详细描述。

实施例1

本实施例提供一种基于限定核范数的低秩张量估计的视觉数据补全方法，该方法具体包括如下步骤：

A1、获取张量数据。如图1所示，获取原始待补全的张量数据(如彩色图像、视频序列，并将其存储为有缺失值的张量数据形式根据原始待补全张量初始化目标张量使其映射满足公式(1)：

其中，Ω为指标集，为线性投影算子，即将缺失元素位置的值置0，已知元素的值保持不变，为的互补操作。

A2、利用目标张量构建用于张量补全的限定核范数模型，得到张量补全的目标函数。对于目标张量构建如公式(2)所示的用于限定核范数模型

其中，p＝min(n₁,n₂)，θ是给定的截断阈值，是广义上的张量奇异值。

从上述限定核范数模型可以得出：若张量的奇异值都大于阈值θ，那么会完全逼近张量的秩，阈值θ越小，模型越能准确逼近张量的秩。

基于上述给出的张量情形下的限定核范数模型，根据公式(3)得到张量补全的目标函数：

将目标函数松弛为如公式(4)所示的非约束问题：

其中，λ>0是一个给定的惩罚参数。

A3、利用MM优化框架，对目标函数进行优化建模，得到能求解目标函数最优解的替代函数。

首先，令则原目标函数可如公式(5)所示：

设算法第k轮输入的待优化值为则的替换函数可写为如公式(6)所示：

这里的注意到：

对于假设第k轮输出的值有r个张量奇异值大于截断阈值θ，我们可推出：

其中,为限定核范数的一阶近似导数。至此，我们可以找到的替代函数：

这里，在给定输入变量时，是一个常数。综上，原目标函数可写为：

显然，当且仅当时，此时替代函数满足MM框架的限制条件，从而保证了我们在迭代过程中优化替代函数时也在不停的优化

注意到MM优化框架只能确保解的非递增，并没有收敛保证。为了解决此问题，我们进一步在替换函数中增加一个近似项以保证算法的收敛性，最终化简后，我们可以考虑以下问题的最优解：

其中，μ＞0为给定的近似参数，p＝min(n₁,n₂)，从上式可以看出该模型与加权的奇异值收缩算子紧密相关。

A4、求解替代函数，得到目标张量将目标张量转换为数据源对应格式，得到最终的补全结果。

构建满足求解要求的截断奇异值收缩算子(加权核范数算子的特例)，设目标张量的奇异值分解(t-SVD)为给定每迭代轮得到阈值r(0<r<p)和预先设定的截断参数τ＞0，构建的截断奇异值收缩算子为：

其中，中的对角元素满足

其中，t₊＝max(0,t)，ifft为傅里叶反变换，也即我们所有的截断操作是在傅里叶域中进行的。

令对作截断奇异值运算，到当输入第k轮的解时，我们可以得第k+1轮的解为：

不同于常用的交替方向乘子法(ADMM)，上述迭代过程中，我们每一步都能得到优化结果的闭式解，最后当结果变化小于给定的阈值则停止迭代，所得到对目标张量即为补全的最终结果，最后将目标张量转换为数据源对应格式，则得到最终的补全结果。

根据上述方法对给定张量数据(如图2a、2b所示的彩色图像、视频序列)随机抽取如图3a、3b所示的一定比例数据元素，进行补全任务，补全结果如图4a、4b所示。与现有技术相比，在彩色图像和视频序列上应用本发明的方法，获得的补全结果中不仅整体的视觉效果更好，且局部的边缘细节信息，也能得到更好的恢复。

以上结合具体实施例描述了本发明的技术原理，这些描述只是为了解释本发明的原理，不能以任何方式解释为对本发明保护范围的限制。基于此处解释，本领域的技术人员不需要付出创造性的劳动即可联想到本发明的其它具体实施方式，这些方式都将落入本发明的保护范围之内。

Claims (6)

1.一种基于限定核范数的低秩张量估计的视觉数据补全方法，其特征在于，包括如下步骤：

A1、将预先准备的原始待补全张量映射得到初始化后的目标张量所述原始待补全张量包括彩色图像和视频序列；

A2、利用待求解的目标张量构建用于张量补全的限定核范数模型得到张量补全的目标函数；

A3、对目标函数进行优化建模，得到能求解目标函数最优解的替代函数；

A4、求解替代函数，得到目标张量将目标张量转换为数据源对应格式，得到彩色图像和视频序列的最终补全结果。

2.根据权利要求1所述的低秩张量估计的视觉数据补全方法，其特征在于，所述步骤A1中，原始待补全张量和目标张量满足公式(1)的映射关系：

其中，Ω为指标集，为线性投影算子，即将缺失元素位置的值置0，已知元素的值保持不变，为的互补操作。

3.根据权利要求1所述的低秩张量估计的视觉数据补全方法，其特征在于，所述步骤A2中，限定核范数模型的构建为公式(2)所示的函数：

其中，p＝min(n₁,n₂)，θ是给定的截断阈值，是广义上的张量奇异值；

根据公式(3)得到张量补全的目标函数：

将目标函数松弛为公式(4)所示的非约束问题：

其中，λ>0是一个给定的惩罚参数。

4.根据权利要求1所述的低秩张量估计的视觉数据补全方法，其特征在于，所述步骤A3中，采用Majorization-Minimization优化框架对目标函数进行优化建模。

5.根据权利要求1所述的低秩张量估计的视觉数据补全方法，其特征在于，所述步骤A3包括如下步骤：

A31、令则原目标函数为公式(5)所示：

A32、假设第k轮输入的待优化值为则的替换函数写为公式(6)所示的函数：

这里的注意到：

A33、对于假设第k轮输出的值有r个奇异值大于截断阈值θ，则为公式(8)所示：

其中,为限定核范数的一阶近似导数；

找到的替代函数：

这里，在给定输入变量时，是一个常数；

A34、根据步骤A31～A33，将原目标函数写为：

显然，当且仅当时，

6.根据权利要求1所述的低秩张量估计的视觉数据补全方法，其特征在于，步骤A4中，构建满足求解替代函数要求的截断奇异值收缩算子，设目标张量的奇异值分解为给定每迭代轮得到阈值r(0<r<p)和预先固定的截断参数τ＞0，构建的截断奇异值收缩算子为：

其中，中的对角元素满足

其中，t₊＝max(0,t)，ifft为傅里叶反变换；

令对作截断奇异值运算，到当输入第k轮的解时，得第k+1轮的解为：