CN112767261B - 一种基于广义非凸张量鲁棒主成分分析模型的针对彩色图像和视频的非局部去噪框架 - Google Patents

Abstract

本发明公开了一种广义非凸的张量鲁棒主成分析模型的彩色图像视频局部去噪框架，包括以下步骤：提出广义非凸张量鲁棒主成分分析模型；广义非凸张量鲁棒主成分分析模型能够同时对被高斯噪声、脉冲噪声以及两者混合噪声污染的彩色图像及视频进行有效恢复；提出广义张量奇异值阈值算法，以用于求解步骤(1)中所给的广义非凸张量鲁棒主成分分析模型的一个关键子问题；(3)结合非局部去噪策略和步骤(1)中所给的广义非凸张量鲁棒主成分分析模型，给出一个统一的彩色图像视频去噪框架。上述技术方案，该彩色图像视频局部去噪框架有效的利用了RGB通道间的相关性和视频相邻帧之间的相关性，较好的去噪效果，对噪声具有较强的鲁棒性。

Description

一种基于广义非凸张量鲁棒主成分分析模型的针对彩色图像 和视频的非局部去噪框架

技术领域

本发明涉及图像处理技术领域，具体涉及一种基于广义非凸张量鲁棒主成分分析模型的针对彩色图像和视频的非局部去噪框架。

背景技术

随着互联网技术和数字多媒体的飞速发展，图像和视频已成为日常生活中的重要角色。因此，作为计算机视觉和图像处理领域的一项基本而重要的任务，图像去噪的工作引起了很多人的研究兴趣，在过去几年中出现了许多相关的解决方法。

现有的图像去噪方法可以大致分为两种：局部去噪方法和非局部去噪方法。局部去噪通常使用某些滤波器(如中值滤波器、均值滤波器等)对整个图像进行卷积运算，并通过像素之间的空间关系消除噪声。目前常见的局部去噪方法有均值滤波法，中值滤波法和高斯滤波法。然而，这些方法忽略了图像的整体结构信息，并使去噪图像丢失细节。针对这个问题，研究者们提出了一种非局部均值算法。非局部均值算法首次利用图像具有自相似性的特点，将非局部去噪策略应用于图像去噪问题。该算法使用一组含噪声的相似像素的加权平均值对潜在的干净像素值进行估计，从而达到去噪的目的。基于以上思想，学者们提出了大量有效的非局部图像去噪算法，如Wen等人提出的一种基于稀疏分解和聚类相结合的自适应图像去噪方法；Liang等人提出的基于非局部正则化稀疏表示的图像去噪算法等。

虽然传统非局部去噪算法在去除高斯噪声的情况下效果较好，由于块匹配算法对脉冲噪声较为敏感，使得传统的非局部算法在图片收到脉冲噪声污染的时候往往无法得到理想的去噪效果。而在实际场景中的图像往往同时包含了脉冲噪声和零均值高斯噪声。为解决这个问题，Cai等人提出了一种改进的两阶段方法来恢复被高斯-脉冲混合混合噪声(同时包含脉冲噪声和零均值高斯噪声两种噪声)所污染的图像，即利用中值滤波估计脉冲位置将去除脉冲噪声问题转化为矩阵填充问题进行解决；Ji等人提出了一种基于鲁棒主成分分析的去噪方式，将去除混合噪声的问题转化为低秩矩阵恢复问题，该方法在块匹配过程利用l₁范数度量不同图像块之间的相似度，进而解决块匹配算法对脉冲噪声异常敏感的问题。

同时，现实生活中的大部分视觉数据都是具有张量形式的，如彩色图像和视频。一种常用的图像处理策略是将具有张量形式的数据转换成矩阵进行处理(即对数据所对应的张量的每个切片矩阵进行分别处理)。而这种处理策略往往会容易丢失彩色图像RGB三个通道(或是视频相邻帧)之间的相关性。为了有效的利用彩色图像中RGB三个通道之间的相关性信息以提升彩色图像的去噪效果，Hosoro等人提出了一种基于加权张量核范数最小化的非局部彩色图像去噪方法。该方法通过把在被噪声污染的彩色图像上搜索到的相似块堆叠到张量中，并利用加权张量核范数最小化操作，进而对图像进行去噪处理。然而，该方法在图像处理前往往需要将原来的RGB空间转换为YC_bC_r空间，再在YC_bC_r空间中进行如上的图像去噪处理过程。这使得该方法虽然能够有效的利用不同通道之间的相关性信息并取得了较好的去噪效果，却容易导致图像细节信息的丢失。另外，与矩阵情形不同，这种基于张量各阶展开矩阵的核范数的加权和并不是张量经过各阶展开得到的矩阵的秩函数的加权和的最优凸逼近。为了解决该问题，Lu等人给出了一种基于t-积的低秩张量恢复方法。而传统的基于t-积的张量鲁棒主成分分析只有在满足张量形式的非相干性条件的前提下才能保证该模型的精确恢复性。

在上述的图像去噪方法中，发明人发现具有以下缺点：一、缺乏一个统一的框架同时处理彩色图像和视频去除高斯-脉冲混合噪声问题。二、传统的彩色图像去噪算法往往需要在图像处理前将原来的RGB空间转换为YC_bC_r空间，再在YC_bC_r空间中进行图像去噪处理。这使得此类方法尽管能够有效的利用不同通道之间的相关性信息，却也容易导致图像细节信息的丢失。三、传统基于t-积的张量鲁棒主成分分析的精确恢复性往往需要张量形式的非相干性条件被满足的前提下才能够被保证。而这一严苛条件在实际应用中往往是难以被满足的。

发明内容

针对现有技术存在的不足，本发明的目的在于提供一种广义非凸的张量鲁棒主成分析模型的彩色图像视频局部去噪框架，该彩色图像视频局部去噪框架有效的利用了RGB通道间的相关性和视频相邻帧之间的相关性，能够在处理受到高斯噪声或者高斯-脉冲混合噪声污染的数据中得到较好的去噪效果；有效的利用了非凸约束策略，使其对噪声具有较强的鲁棒性。

为实现上述目的，本发明提供了如下技术方案：一种广义非凸的张量鲁棒主成分析模型的彩色图像视频局部去噪框架，包括以下步骤：

(1)提出一个非凸的基于t-积的低秩张量恢复模型：广义非凸张量鲁棒主成分分析模型；广义非凸张量鲁棒主成分分析模型能够同时对被高斯噪声、脉冲噪声以及两者混合噪声污染的彩色图像及视频进行有效恢复；

(2)提出广义张量奇异值阈值算法，以用于求解步骤(1)中所给的广义非凸张量鲁棒主成分分析模型的一个关键子问题：

(3)结合非局部去噪策略和步骤(1)中所给的广义非凸张量鲁棒主成分分析模型，给出一个统一的彩色图像视频去噪框架；

该框架首先对被污染的彩色图像或视频进行划分，将其划分成若干个图像块；

并利用块匹配算法找到每个图像块的若干个相似块；

将所得到的图像块堆叠起来得到一个三阶张量，利用步骤(1)中提到的广义非凸张量鲁棒主成分分析模型对由块匹配算法所得到的三阶张量进行低秩张量恢复，得到若干个较为干净的图像块；

最后对这些相对干净的图像块进行重构得到完整数据；

不断重复以上过程，直至算法收敛。

作为优选的，步骤(1)具体包括：

分析传统基于t-积的张量鲁棒主成分分析模型的缺点，提出广义非凸张量鲁棒主成分分析模型：

s.t.||P-L-S||_F≤δ

在式子P＝L+S+Z中，L代表低秩张量，S代表脉冲噪声，||Z||_F≤δ代表零均值高斯噪声，其中g：R⁺→R⁺是连续的，非减的凸函数。

作为优选的，步骤(2)具体包括：广义张量奇异值阈值算法将步骤(1)中所给的广义非凸张量鲁棒主成分分析模型的关键子问题简化为进行求解。

作为优选的，步骤(3)具体包括：将噪声数据划分成张量形式的一组图像块，然后使用块匹配算法在数据中搜索给定图像块的若干个非局部相似块。

作为优选的，还包括一种预处理策略：自适应中心加权中值滤波器，用于检测包含随机脉冲噪声的像素点位置；然后将块匹配得到的若干个图像块堆叠在一起，以获得满足的三阶张量/>其中，/>和/>分别是潜在真实的低秩张量块、脉冲噪声和高斯噪声；然后通过下面的优化问题可以获得/>和/>的估计值：

其中，t代表迭代的次数；同时在模型中引入一个由参数ω和1-ω，其0＜ω＜1所构成的权重张量其中，ω和1-ω分别对应于张量块中的由ACWMF检测到的脉冲噪声位置和非脉冲噪声位置；

最后将去噪后得到的相对干净的图像块进行重构得到完整数据；

不断重复以上过程直至算法收敛。

本发明的优点是：与现有技术相比，具有如下有益效果：

1、本发明提出了一种新颖的广义非凸张量鲁棒主成分分析模型。使用该模型可以处理实际场景中出现的具有张量形式的彩色图像和视频数据，并克服了传统的基于t-积的张量鲁棒主成分分析模型在真实环境中需要满足非相干条件的问题；

2、本发明给出了一个广义张量奇异值阈值算法用于广义非凸张量鲁棒主成分分析模型的求解。该算法能够被用于一类广泛的非凸优化问题的求解。

3、真实环境中的数据(如彩色图像和视频)在传输的过程中可能会受到高斯均值噪声和脉冲噪声的污染，本发明提出的彩色图像视频非局部去噪框架(基于广义非凸张量鲁棒主成分分析模型的针对彩色图像和视频的非局部去噪框架)可以有效的恢复被上述噪声污染的数据。

本发明该彩色图像视频局部去噪框架有效的利用了RGB通道间的相关性和视频相邻帧之间的相关性，能够在处理受到高斯噪声或者高斯-脉冲混合噪声污染的数据中得到较好的去噪效果；有效的利用了非凸约束策略，使其对噪声具有较强的鲁棒性。

下面结合说明书附图和具体实施例对本发明作进一步说明。

附图说明

图1为本发明实施例的函数示意图；

图2为本发明实施例的广义张量奇异值阈值算法示意图；

图3为本发明实施例的流程示意图。

具体实施方式

参见图1、图2和图3，本发明公开的一种广义非凸的张量鲁棒主成分析模型的彩色图像视频局部去噪框架，包括以下步骤：

(1)提出一个非凸的基于t-积的低秩张量恢复模型：广义非凸张量鲁棒主成分分析模型；广义非凸张量鲁棒主成分分析模型能够同时对被高斯噪声、脉冲噪声以及两者混合噪声污染的彩色图像及视频进行有效恢复；

广义非凸张量鲁棒主成分分析模型，与传统的基于t-积的张量鲁棒主成分分析相比，该方法需要相对较弱的非相关条件，而能获得更加精确的低秩张量恢复效果。同时提出了广义张量奇异值阈值算法用于该模型的求解；

(2)提出广义张量奇异值阈值算法，以用于求解步骤(1)中所给的广义非凸张量鲁棒主成分分析模型的一个关键子问题：

(3)结合非局部去噪策略和步骤(1)中所给的广义非凸张量鲁棒主成分分析模型，给出一个统一的彩色图像视频去噪框架；

该框架首先对被污染的彩色图像或视频进行划分，将其划分成若干个图像块；

并利用块匹配算法找到每个图像块的若干个相似块；

将所得到的图像块堆叠起来得到一个三阶张量，利用步骤(1)中提到的广义非凸张量鲁棒主成分分析模型对由块匹配算法所得到的三阶张量进行低秩张量恢复，得到若干个较为干净的图像块；

最后对这些相对干净的图像块进行重构得到完整数据；

不断重复以上过程，直至算法收敛。

具体为：由于该框架可以在RGB空间同时处理图像信道和多个相邻帧，因此，可以有效地利用多个通道帧之间的相关信息，并能较好的保留彩色图像与视频的一些细节纹理信息。

其中，所述步骤(1)具体包括：

通过分析张量鲁棒主成分分析的优缺点，提出了广义非凸张量鲁棒主成分分析模型，模型如下：

s.t.P＝L+S

其中，为观测数据，L和S分别为低秩张量和稀疏张量，g：R⁺→R⁺是连续的，非减的凸函数(如图1所示)。

广义非凸张量鲁棒主成分分析模型可以解决传统基于张量鲁棒主成分分析模型需要满足非相干性条件的问题。最后使用块坐标下降法对广义非凸张量鲁棒主成分分析模型中的各个变量进行迭代优化，直到收敛。

基于广义非凸张量鲁棒主成分分析模型的针对彩色图像和视频的非局部去噪框架，目的是去除图像视频数据中存在的零均值的高斯白噪声和脉冲噪声。该框架包含3个步骤：块匹配、低秩张量恢复和重构。

作为优选的，步骤(1)具体包括：

分析传统基于t-积的张量鲁棒主成分分析模型的缺点，提出广义非凸张量鲁棒主成分分析模型：

s.t.||P-L-S||_F≤δ

在式子P＝L+S+Z中，L代表低秩张量，s代表脉冲噪声，||Z||_F≤δ代表零均值高斯噪声，其中g：R⁺→R⁺是连续的，非减的凸函数。

作为优选的，步骤(2)具体包括：广义张量奇异值阈值算法将步骤(1)中所给的广义非凸张量鲁棒主成分分析模型的关键子问题简化为进行求解。

作为优选的，步骤(3)具体包括：将噪声数据划分成张量形式的一组图像块，然后使用块匹配算法在数据中搜索给定图像块的若干个非局部相似块。

作为优选的，还包括一种预处理策略：自适应中心加权中值滤波器，用于检测包含随机脉冲噪声的像素点位置；然后将块匹配得到的若干个图像块堆叠在一起，以获得满足的三阶张量/>其中，/>和/>分别是潜在真实的低秩张量块、脉冲噪声和高斯噪声；然后通过下面的优化问题可以获得/>和/>的估计值：

其中，t代表迭代的次数；同时在模型中引入一个由参数ω和1-ω，其0＜ω＜1所构成的权重张量其中，ω和1-ω分别对应于张量块中的由ACWMF检测到的脉冲噪声位置和非脉冲噪声位置；

最后将去噪后得到的相对干净的图像块进行重构得到完整数据；

不断重复以上过程直至算法收敛。

彩色图像和视频去噪的目的是从具有噪声的观测数据P＝L+N+E中重建原始数据其中N和E分别代表脉冲噪声和零均值高斯噪声。整个算法主要包含三个步骤：块匹配、低秩张量恢复和图像重构。下面具体说明框架中的这三个步骤：

1、块匹配算法：将噪声数据划分成一组图像块，然后使用块匹配在整个数据中搜索目标块的若干个非局部相似块。(特别地，对于视频数据，则需要在目标图像块的前后相邻的r-帧中搜索相应的相似块)。值得注意的是，脉冲噪声会严重影响块匹配的结果，所以我们使用了一种预处理策略：自适应中心加权中值滤波器(ACWMF)，用于在利用块匹配之前检测包含随机值的脉冲噪声。并引入一个由参数ω和1-ω(其中0＜ω＜1)所构成的权重张量其中ω和1-ω分别对应于张量块中的由ACWMF检测到的脉冲噪声位置和非脉冲噪声位置，以进一步提升算法的去噪效果。

2、低秩张量恢复：接下来，将这些相似的图像堆叠在一起以获得满足的三阶张量/>其中，/>和/>分别为/>的块张量、脉冲噪声和高斯噪声。

为了更有效的去除混合噪声，改进了传统的基于t-积的张量鲁棒主成分分析模型，其中原有模型为：

s.t.||P-S-L||_F≤δ

其中，为观测张量，L和S分别为低秩张量和稀疏张量。由于该模型需要满足较强的非相干条件。这一条件在真实环境中往往难以满足。为了解决该问题，本发明对上述模型进行了改进，提出了一个广义非凸的张量鲁棒主成分分析模型以权衡模型的有效性和可解性。具体模型如下：

此处的

在式子P＝L+S+Z中，L是低秩张量，S代表脉冲噪声，||Z||_F≤δ代表零均值高斯噪声。

接下来对上面提出的基于广义非凸的张量鲁棒主成分析模型进行优化求解，

(1)式可以写成下面形式：

其中，α＞0，β＞0是权衡系数，是为了简化等式求解。引入权重张量W，得到其中.表示哈达马积。(2)式可以通过块坐标下降算法进行求解，求解过程如下：

首先，给定一个L^(s)，通过下式更新S：

第二步，给定S^(s+1)，通过下式更新L：

因此，求解(2)式的一个最关键步骤是求解下面的子问题：

利用广义张量奇异值阈值算法可以将公式(5)简化为如下形式：算法见图2。

于是，可以利用块坐标下降算法和广义张量奇异值阈值算法可以获得和/>的估计值：

其中，t代表迭代的次数。

3、重构：将所有去噪后的图像块进行重构得到的数据

实施本发明实施例，具有如下有益效果：

1、本发明提出了一种新颖的广义非凸张量鲁棒主成分分析模型。使用广义非凸张量鲁棒主成分分析模型可以处理实际场景中出现的具有张量形式的彩色图像和视频数据，并克服了传统的基于t-积的张量鲁棒主成分分析模型在真实环境中需要满足非相干条件的问题；

2、本发明给出了一个广义张量奇异值阈值算法用于广义非凸张量鲁棒主成分分析模型的求解。该算法能够被用于一类广泛的非凸优化问题的求解。

3、真实环境中的数据(如彩色图像和视频)在传输的过程中可能会受到高斯均值噪声和脉冲噪声的污染，本发明提出的彩色图像视频非局部去噪框架(基于广义非凸张量鲁棒主成分分析模型的针对彩色图像和视频的非局部去噪框架)可以有效的恢复被上述噪声污染的数据。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，所述的程序可以存储于计算机可读取存储介质中，所述的存储介质，如ROM/RAM、磁盘、光盘等。

上述实施例对本发明的具体描述，只用于对本发明进行进一步说明，不能理解为对本发明保护范围的限定，本领域的技术工程师根据上述发明的内容对本发明作出一些非本质的改进和调整均落入本发明的保护范围之内。

Claims (3)

1.一种广义非凸的张量鲁棒主成分析模型的彩色图像视频局部去噪框架，其特征在于：包括以下步骤：

(1)提出一个非凸的基于t-积的低秩张量恢复模型：广义非凸张量鲁棒主成分分析模型；广义非凸张量鲁棒主成分分析模型能够同时对被高斯噪声、脉冲噪声以及两者混合噪声污染的彩色图像及视频进行有效恢复；

分析传统基于t-积的张量鲁棒主成分分析模型的缺点，提出广义非凸张量鲁棒主成分分析模型：

s.t.||P-L-S||_F≤δ

在式子P＝L+S+Z中，L代表低秩张量，S代表脉冲噪声，||Z||_F≤δ代表零均值高斯噪声，其中g:R⁺→R⁺是连续的，非减的凸函数；

(2)提出广义张量奇异值阈值算法，以用于求解步骤(1)中所给的广义非凸张量鲁棒主成分分析模型的一个关键子问题：

广义张量奇异值阈值算法将步骤(1)中所给的广义非凸张量鲁棒主成分分析模型的关键子问题：

简化为/>进行求解；

(3)结合非局部去噪策略和步骤(1)中所给的广义非凸张量鲁棒主成分分析模型，给出一个统一的彩色图像视频去噪框架；

该框架首先对被污染的彩色图像或视频进行划分，将其划分成若干个图像块；

并利用块匹配算法找到每个图像块的若干个相似块；

将所得到的图像块堆叠起来得到一个三阶张量，利用步骤(1)中提到的广义非凸张量鲁棒主成分分析模型对由块匹配算法所得到的三阶张量进行低秩张量恢复，得到若干个较为干净的图像块；

最后对这些相对干净的图像块进行重构得到完整数据；

不断重复以上过程，直至算法收敛。

2.根据权利要求1所述的一种广义非凸的张量鲁棒主成分析模型的彩色图像视频局部去噪框架，其特征在于：步骤(3)具体包括：

将噪声数据划分成张量形式的一组图像块，然后使用块匹配算法在数据中搜索给定图像块的若干个非局部相似块。

3.根据权利要求2所述的一种广义非凸的张量鲁棒主成分析模型的彩色图像视频局部去噪框架，其特征在于：还包括一种预处理策略：自适应中心加权中值滤波器，用于检测包含随机脉冲噪声的像素点位置；然后将块匹配得到的若干个图像块堆叠在一起，以获得满足的三阶张量/>其中，/>和/>分别是潜在真实的低秩张量块、脉冲噪声和高斯噪声；然后通过下面的优化问题可以获得/>和/>的估计值：

其中，t代表迭代的次数；同时在模型中引入一个由参数ω和1-ω，其0＜ω＜1所构成的权重张量其中，ω和1-ω分别对应于张量块中的由ACWMF检测到的脉冲噪声位置和非脉冲噪声位置；

最后将去噪后得到的相对干净的图像块进行重构得到完整数据；

不断重复以上过程直至算法收敛。