CN110675344B - 一种基于真实彩色图像自相似性的低秩去噪方法及设备 - Google Patents

Abstract

本发明涉及一种基于真实彩色图像自相似性的低秩去噪方法及设备，首先对图像进行分块，然后对图像块进行聚类，将聚类后的相似块组进行平均马氏距离的计算；根据平均马氏距离将图像分为平滑区域、简单纹理区域和复杂纹理区域；最后分别让平滑区域、简单纹理区域和复杂纹理区域的块进行不同次数的去噪迭代，得到去噪后的图像。本发明能够使图像去噪的整体效果得到提升。

Description

一种基于真实彩色图像自相似性的低秩去噪方法及设备

技术领域

本发明涉及图像处理技术领域，特别是一种基于真实彩色图像自相似性的低秩去噪方法及设备。

背景技术

非局部平均去噪算法利用了图像普遍存在冗余信息这一特性，在全局寻找相似块并取平均来去噪声，这一方法可以有效地去除高斯噪声并且这一方法开启了通过寻找相似块去噪的新纪元。ShuhangGu,LeiZhang等人后来提出了WNNM方法，通过把图像分为小图像块，然后在图像块的邻域中寻找相似块组成相似块组，利用纯净图像相似块组的低秩性，对相似块组进行奇异值分解，然后去除奇异值矩阵中的小奇异值从而达到去噪的效果。但是在自然图像中，相似块的相似程度不一，所以去噪的效果往往是平滑区域的噪声没有完全去除，纹理区域已经开始丢失信息了，这一直是低秩去噪存在的难题。

发明内容

有鉴于此，本发明的目的是提出一种基于真实彩色图像自相似性的低秩去噪方法及设备，能够使图像去噪的整体效果得到提升。

本发明采用以下方案实现：一种基于真实彩色图像自相似性的低秩去噪方法，利用图像整体的自相似性，将相似块组根据不同的相似程度赋予不同的去噪迭代次数。

进一步地，具体包括以下步骤：

对图像进行分块，然后对图像块进行聚类，将聚类后的相似块组进行平均马氏距离SIM的计算；

根据平均马氏距离SIM将图像分为平滑区域、简单纹理区域和复杂纹理区域；

分别让平滑区域、简单纹理区域和复杂纹理区域的块进行不同次数的去噪迭代，得到去噪后的图像。

进一步地，所述对图像进行分块具体为：对图像Y进行步长为1的重叠分块后得到Rx＝[R₁x,R₂x,...,R_nx]，其中Y为N×M的噪声图像，图像块的大小为win×win，图像块的数量为n＝(N-win)×(M-win)。

进一步地，所述对图像块进行聚类具体为：对图像块进行GMM混合高斯模型聚类。

进一步地，聚类的过程具体为：

设图像块的结构生成K个低秩子空间，并把每个低秩子空间用一个高斯分布表示，这样图像块的结构由K个高斯分布组成的混合高斯分布表示：

式中，令Θ＝(w₁,...,w_K,θ₁,...,θ_K)代表混合高斯模型参数的集合，w_i代表第i个高斯分布的权重，其中

θ_i代表第i个高斯分布的参数集合，其中包括第i个高斯分布的均值μ_i和协方差∑_i；

其中

的意义是x_i到中心的马氏距离，把高斯分布的均值看作中心，c是一个归一化常数；

计算每个块对应每个高斯分布的对数概率密度函数logp，然后把每个图像块归到计算结果最大的高斯分布；对于相似块数量多的区域，进行二次分类，本发明采用Kmeans分类法得到K个分好类的相似块组。

进一步地，本发明将一张自然图像分为平滑区域、简单纹理区域和复杂纹理区域，自然图像普遍存在的规律是平滑区域面积最大、简单纹理区域次之、复杂纹理区域面积最小。所述本发明将聚类后的相似块组进行平均马氏距离SIM的计算具体为：将聚类后的相似块组重新计算一个均值和方差，然后计算相似块组的平均马氏距离：

Z＝[z₁,z₂,...,z_n]；

式中，μ表示新的均值，∑表示新的方差，Z表示相似块组。SIM就是本发明用来衡量相似块组相似程度的指标。根据SIM分别为高中低，所对应的就是复杂纹理区域、简单纹理区域和平滑区域。

进一步地，所述根据平均马氏距离SIM将图像分为平滑区域、简单纹理区域和复杂纹理区域具体为：设第一阈值σ₁以及第二阈值σ₂，当SIM＞σ₁时，判定对应的相似块组属于复杂纹理区域，当σ₁≥SIM＞σ₂时，判定对应的相似块组属于简单纹理区域，当σ₂≥SIM时，判定对应的相似块组属于平滑区域。

进一步地，所述第一阈值σ₁的取值为100，第二阈值σ₂的取值为50。

每次迭代分类后，由含噪相似块组估计纯净相似块组可以看做

其中Y是输入的噪声相似块组，X为估计的纯净相似块组。其中

则

其中

U和V是左奇异矩阵和右奇异矩阵。根据先验知识可得，相似块组的相似程度越高其低秩性越强，反之则越弱，所以本发明给出的策略是给出迭代矩阵T＝[t₁,t₂,t₃]，其中分别代表平滑块、简单纹理块和复杂纹理块所对应的迭代次数。

迭代矩阵的训练过程是用一组噪声-真值图像对数据集作为训练数据集，每次输入一对图像并给定初始迭代矩阵T＝[1,1,1]，先聚类找到所有相似块组，然后对于分类后结果分为平滑块、简单纹理块和复杂纹理块，每次迭代完记录当前PSNR值并和上一次迭代PSNR值比较，如果大于上次结果，则增加对应迭代次数，对3种相似程度的区域做这种迭代从而找到最佳迭代次数，然后对于整个数据集来说取一个最优迭代矩阵使得平均PSNR最高即可。本发明采用T＝[3,2,1]。即，所述分别让平滑区域、简单纹理区域和复杂纹理区域的块进行不同次数的去噪迭代，得到去噪后的图像具体为：令平滑区域的块的迭代次数为3，令简单纹理快区域的块的迭代次数为2，令复杂纹理区域的块的迭代次数为1。

在噪声图像中分块，对每一个块计算K个高斯分布的概率

s.t.P＝(p₁,p₂,…,p_k),X＝(x₁,x₂,…,x_n)，其中K表示共有K个高斯分布，对应K个子空间类型，n代表图像块的总数量。然后把块归到概率最高的类。当某个类数量过大时在利用Kmeans2次分类控制相似块组的长度。第一次分类时计算每个相似块组的SIM值，并根据SIM值由算法一训练得到的迭代矩阵T确定迭代次数，然后对每个类建立低秩去噪模型：

Z_k＝U(∑-τdiag(α))₊V^T；

式中，α_j＝1/(σ_j(Z_k)+ε)、(x)₊＝max{x,0}，U∑V^T是Rx的奇异值分解的结果；

Rx＝U∑V^T；

∑_Z＝(∑-τ·diag(α))₊；

Z＝U∑_ZV^T；

式中，Z_k表示第k个类的相似块组去噪后的结果，σ_j表示奇异值矩阵的第j个奇异值，

表示F范数，τ表示收缩比例常数，α表示收缩矩阵，ε表示一个非常小的数，防止分母为0，这个数取2.2204×10^-16，R_kx^-表示第k类相似块组，U为左奇异矩阵，V为右奇异矩阵，∑为奇异值矩阵，∑_Z为去噪后的奇异值矩阵，Z表示去噪后的相似块组，()₊表示括号内只保留大于0的部分，小于0的部分置0，||Z||_*代表核范数，即奇异值之和。

通过上述方法，本发明可以根据图像本身自相似性调节去噪的次数，从而使得去噪效果更好。

本发明还提供了一种基于真实彩色图像自相似性的低秩去噪设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如上文所述方法的步骤。

与现有技术相比，本发明有以下有益效果：

1、本发明提出了通过计算相似块组相似程度确定其迭代次数，不同于常见低秩去噪算法的统一迭代次数会遇到的那些去噪不平均、细小纹理易丢失的问题在本发明的方法中都可以很好的得到解决。

2、本发明通过使复杂纹理区域迭代次数少，简单纹理区域迭代次数较多，平滑区域迭代次数最多的区别处理可以使纹理区几乎不丢失细节的同时平滑区域还可以继续去噪，从而达到很好的效果。

3、本发明每次迭代后会有部分相似块组先停止去噪，也就是说每次迭代的速度都在加快，从而使本低秩去噪算法速度很快，这对于图像处理的实时性来说很有意义。

附图说明

图1为本发明实施例的方法流程示意图。

图2为本实施例例图在平滑区域和纹理区域在不同迭代次数去噪后的表现。其中(a)为噪声图像，(b)为对应的纯净图像，(c)为(a)中平滑区域与纹理区域在不同迭代次数下的表现，其中(c)中的上行为平滑区域的表现，下行为纹理区域的表现。

图3为实验所用15张真实图像。

图4为图3中的(c)用不同方法去噪后的效果对比图。

具体实施方式

下面结合附图及实施例对本发明做进一步说明。

应该指出，以下详细说明都是示例性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

如图1所示，本实施例提供了一种基于真实彩色图像自相似性的低秩去噪方法，利用图像整体的自相似性，将相似块组根据不同的相似程度赋予不同的去噪迭代次数。

在本实施例中，具体包括以下步骤：

对图像进行分块，然后对图像块进行聚类，将聚类后的相似块组进行平均马氏距离SIM的计算；

根据平均马氏距离SIM将图像分为平滑区域、简单纹理区域和复杂纹理区域；

分别让平滑区域、简单纹理区域和复杂纹理区域的块进行不同次数的去噪迭代，得到去噪后的图像。

在本实施例中，所述对图像进行分块具体为：对图像Y进行步长为1的重叠分块后得到Rx＝[R₁x,R₂x,...,R_nx]，其中Y为N×M的噪声图像，图像块的大小为win×win，图像块的数量为n＝(N-win)×(M-win)。

在本实施例中，所述对图像块进行聚类具体为：对图像块进行GMM混合高斯模型聚类。

在本实施例中，聚类的过程具体为：

设图像块的结构生成K个低秩子空间，并把每个低秩子空间用一个高斯分布表示，这样图像块的结构由K个高斯分布组成的混合高斯分布表示：

式中，令Θ＝(w₁,...,w_K,θ₁,...,θ_K)代表混合高斯模型参数的集合，w_i代表第i个高斯分布的权重，其中

θ_i代表第i个高斯分布的参数集合，包括第i个高斯分布的均值μ_i和协方差∑_i；

其中

的意义是x_i到中心的马氏距离，把高斯分布的均值看作中心，c是一个归一化常数；

计算每个块对应每个高斯分布的对数概率密度函数logp，然后把每个图像块归到计算结果最大的高斯分布；对于相似块数量多的区域，进行二次分类，本发明采用Kmeans分类法得到K个分好类的相似块组。

在本实施例中，本实施例将一张自然图像分为平滑区域、简单纹理区域和复杂纹理区域，自然图像普遍存在的规律是平滑区域面积最大、简单纹理区域次之、复杂纹理区域面积最小。所述本发明将聚类后的相似块组进行平均马氏距离SIM的计算具体为：将聚类后的相似块组重新计算一个均值和方差，然后计算相似块组的平均马氏距离：

Z＝[z₁,z₂,...,z_n]；

式中，μ表示新的均值，∑表示新的方差，Z表示相似块组。SIM就是本发明用来衡量相似块组相似程度的指标。根据SIM分别为高中低，所对应的就是复杂纹理区域、简单纹理区域和平滑区域。

在本实施例中，所述根据平均马氏距离SIM将图像分为平滑区域、简单纹理区域和复杂纹理区域具体为：设第一阈值σ₁以及第二阈值σ₂，当SIM＞σ₁时，判定对应的相似块组属于复杂纹理区域，当σ₁≥SIM＞σ₂时，判定对应的相似块组属于简单纹理区域，当σ₂≥SIM时，判定对应的相似块组属于平滑区域。

在本实施例中，所述第一阈值σ₁的取值为100，第二阈值σ₂的取值为50。

较佳的，每次迭代分类后，由含噪相似块组估计纯净相似块组可以看做

其中Y是输入的噪声相似块组，X为估计的纯净相似块组。其中

则

其中

U和V是左奇异矩阵和右奇异矩阵。根据先验知识可得，相似块组的相似程度越高其低秩性越强，反之则越弱，所以本发明给出的策略是给出迭代矩阵T＝[t₁,t₂,t₃]，其中分别代表平滑块、简单纹理块和复杂纹理块所对应的迭代次数。其中，图2给出了平滑区域和纹理区域在不同迭代次数去噪后的表现。

迭代矩阵的训练过程是用一组噪声-真值图像对数据集作为训练数据集，每次输入一对图像并给定初始迭代矩阵T＝[1,1,1]，先聚类找到所有相似块组，然后对于分类后结果分为平滑块、简单纹理块和复杂纹理块，每次迭代完记录当前PSNR值并和上一次迭代PSNR值比较，如果大于上次结果，则增加对应迭代次数，对3种相似程度的区域做这种迭代从而找到最佳迭代次数，然后对于整个数据集来说取一个最优迭代矩阵使得平均PSNR最高即可。本发明采用T＝[3,2,1]。即，所述分别让平滑区域、简单纹理区域和复杂纹理区域的块进行不同次数的去噪迭代，得到去噪后的图像具体为：令平滑区域的块的迭代次数为3，令简单纹理快区域的块的迭代次数为2，令复杂纹理区域的块的迭代次数为1。

在噪声图像中分块，对每一个块计算K个高斯分布的概率

s.t.P＝(p₁,p₂,…,p_k),X＝(x₁,x₂,…,x_n)，其中K表示共有K个高斯分布，对应K个子空间类型，n代表图像块的总数量。然后把块归到概率最高的类。当某个类数量过大时在利用Kmeans2次分类控制相似块组的长度。第一次分类时计算每个相似块组的SIM值，并根据SIM值由算法一训练得到的迭代矩阵T确定迭代次数，然后对每个类建立低秩去噪模型：

Z_k＝U(∑-τdiag(α))₊V^T；

式中，α_j＝1/(σ_j(Z_k)+ε)、(x)₊＝max{x,0}，U∑V^T是Rx的奇异值分解的结果；

Rx＝U∑V^T；

∑_Z＝(∑-τ·diag(α))₊；

Z＝U∑_ZV^T；

式中，Z_k表示第k个类的相似块组去噪后的结果，σ_j表示奇异值矩阵的第j个奇异值，

表示F范数，τ表示收缩比例常数，α表示收缩矩阵，ε表示一个非常小的数，防止分母为0，这个数取2.2204×10^-16，R_kx^-表示第k类相似块组，U为左奇异矩阵，V为右奇异矩阵，∑为奇异值矩阵，∑_Z为去噪后的奇异值矩阵，Z表示去噪后的相似块组，()₊表示括号内只保留大于0的部分，小于0的部分置0，||Z||_*代表核范数，即奇异值之和。

通过上述方法，本发明可以根据图像本身自相似性调节去噪的次数，从而使得去噪效果更好。

本实施例还提供了一种基于真实彩色图像自相似性的低秩去噪设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如上文所述方法的步骤。

特别的，为了验证本实施例方法的有效性，本实施例将和MCWNNM、CBM3D和PCLR等近些年比较先进的算法进行比较，实验数据集将使用15张真实噪声图像，噪声方差基本都小于10，属于较小噪声，这样的细小噪声更容易体现本实施例方法对图像细节的保护。实验结果如下表所示。实验图像所用的15张真实图像来自S.Nam等人在A Holistic Approachto Cross-Channel Image Noise Modeling and Its Application to Image Denoising一文中所采用的测试数据，如图3所示。

Image#	CBM3D	MC-WNNM	PCLR	本发明
					1	37.16	38.20	35.76	39.81
2	34.15	35.93	33.21	36.91
					3	34.15	33.43	31.59	36.44
4	33.40	33.28	31.17	35.20
					5	33.87	35.15	34.61	36.98
6	35.08	39.00	40.70	39.53
					7	35.61	37.45	33.88	37.24
8	35.96	40.04	38.24	39.34
					9	35.04	38.24	35.39	37.57
10	33.43	38.54	38.04	37.36
					11	32.97	36.66	34.84	35.29
12	33.07	39.14	33.45	37.00
					13	29.75	33.42	33.52	32.86
14	30.07	31.73	31.00	32.49
					15	29.96	33.29	31.14	32.69
Average	33.58	36.30	34.44	36.45

由上表可以看出，本实施例方法的平均PSNR是超过了其他3种算法，证明了本实施例防范在真实彩色噪声图像的去噪效果是非凡的，如图4所示为图3中的(c)采用不同方法去噪效果对比图。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述，仅是本发明的较佳实施例而已，并非是对本发明作其它形式的限制，任何熟悉本专业的技术人员可能利用上述揭示的技术内容加以变更或改型为等同变化的等效实施例。但是凡是未脱离本发明技术方案内容,依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与改型，仍属于本发明技术方案的保护范围。

Claims (5)

1.一种基于真实彩色图像自相似性的低秩去噪方法，其特征在于，利用图像整体的自相似性，将相似块组根据不同的相似程度赋予不同的去噪迭代次数；

具体包括以下步骤：

对图像进行分块，然后对图像块进行聚类，将聚类后的相似块组进行平均马氏距离SIM的计算；

根据平均马氏距离SIM将图像分为平滑区域、简单纹理区域和复杂纹理区域；

分别让平滑区域、简单纹理区域和复杂纹理区域的块进行不同次数的去噪迭代，得到去噪后的图像；

所述根据平均马氏距离SIM将图像分为平滑区域、简单纹理区域和复杂纹理区域具体为：设第一阈值σ₁以及第二阈值σ₂，当SIM＞σ₁时，判定对应的相似块组属于复杂纹理区域，当σ₁≥SIM＞σ₂时，判定对应的相似块组属于简单纹理区域，当σ₂≥SIM时，判定对应的相似块组属于平滑区域；

所述分别让平滑区域、简单纹理区域和复杂纹理区域的块进行不同次数的去噪迭代，得到去噪后的图像具体为：令平滑区域的块的迭代次数为3，令简单纹理区域的块的迭代次数为2，令复杂纹理区域的块的迭代次数为1；

每次迭代分类后，由含噪相似块组估计纯净相似块组可以看做

其中Y是输入的噪声相似块组，X为估计的纯净相似块组；其中

则

其中r＜n,σ₁＞σ₂＞…＞σ_r,

U和V是左奇异矩阵和右奇异矩阵；

迭代矩阵的训练过程是用一组噪声-真值图像对数据集作为训练数据集，每次输入一对图像并给定初始迭代矩阵T＝[1,1,1]，先聚类找到所有相似块组，然后对于分类后结果分为平滑块、简单纹理块和复杂纹理块，每次迭代完记录当前PSNR值并和上一次迭代PSNR值比较，如果大于上次结果，则增加对应迭代次数，对3种相似程度的区域做这种迭代从而找到最佳迭代次数，然后对于整个数据集来说取一个最优迭代矩阵使得平均PSNR最高；

在噪声图像中分块，聚类的过程具体为：

设图像块的结构生成K个低秩子空间，并把每个低秩子空间用一个高斯分布表示，这样图像块的结构由K个高斯分布组成的混合高斯分布表示：

式中，令Θ＝{w₁,...,w_K,θ₁,...,θ_K}代表混合高斯模型参数的集合，w_i代表第i个高斯分布的权重，其中

θ_i代表第i个高斯分布的参数集合，其中的参数包括第i个高斯分布的均值μ_i和协方差∑_i；

其中

的意义是x_i到中心的马氏距离，把高斯分布的均值看作中心，c是一个归一化常数；

对每一个块计算K个高斯分布的概率

定义P＝(p₁,p₂,…,p_K)，其中K表示共有K个高斯分布，对应K个子空间类型；然后把块归到概率最高的类；当某个类数量过大时在利用Kmeans二次分类控制相似块组的长度；第一次分类时计算每个相似块组的SIM值，并根据SIM值由训练得到的迭代矩阵T确定迭代次数，然后对每个类建立低秩去噪模型：

Z_k＝U(∑-τdiag(α))₊V^T；

式中，α_j＝1/(σ_j(Z_k)+ε)、(x)₊＝max{x,0}，U∑V^T是Rx的奇异值分解的结果；

Rx＝U∑V^T；

∑_Z＝(∑-τ·diag(α))₊；

Z＝U∑_ZV^T；

式中，Z_k表示第k个类的相似块组去噪后的结果，σ_j表示奇异值矩阵的第j个奇异值，

表示F范数，τ表示收缩比例常数，α表示收缩矩阵，ε表示一个非常小的数，防止分母为0，这个数取2.2204×10^-16，

表示第k类相似块组，U为左奇异矩阵，V为右奇异矩阵，∑为奇异值矩阵，∑_Z为去噪后的奇异值矩阵，Z表示去噪后的相似块组，()₊表示括号内只保留大于0的部分，小于0的部分置0，||Z||_*代表核范数，即奇异值之和。

2.根据权利要求1所述的一种基于真实彩色图像自相似性的低秩去噪方法，其特征在于，所述对图像块进行聚类具体为：对图像块进行GMM混合高斯模型聚类。

3.根据权利要求1所述的一种基于真实彩色图像自相似性的低秩去噪方法，其特征在于，所述将聚类后的相似块组进行平均马氏距离SIM的计算具体为：将聚类后的相似块组重新计算一个均值和方差，然后计算相似块组的平均马氏距离：

Q＝[x₁,x₂,...,x_n]；

式中，μ表示新的均值，∑表示新的方差，Q表示相似块组。

4.根据权利要求1所述的一种基于真实彩色图像自相似性的低秩去噪方法，其特征在于，所述第一阈值σ₁的取值为100，第二阈值σ₂的取值为50。

5.一种基于真实彩色图像自相似性的低秩去噪设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-4任一项所述方法的步骤。

Images