CN112686814B - 一种基于仿射低秩的图像去噪方法 - Google Patents

Abstract

本发明的一种基于仿射低秩的图像去噪方法，由于采用基于图像块仿射的像素相似性计算，利用原噪声图和迭代过程的图计算图像块的双噪声相似性；对相似图像块向量矩阵进行低秩近似；利用低秩成分确定最后的去噪结果，能够有效的降低成像器所捕获图像的噪声水平，增强图像细节显示，提高图像的信噪比，具有方法简单，科学合理，适用性强，效果佳等优点。

Description

一种基于仿射低秩的图像去噪方法

技术领域

本发明属于图像去噪领域，涉及一种基于仿射低秩的图像去噪方法。

背景技术

图像去噪是图像处理领域的基础问题，长期以来也都是研究热点问题。在成像过程中，传感器内部的热噪声、电噪声及外界环境干扰等因素会导致在输出的图像的中经常会含有噪声。由于应用场合、应用环境的不同，对成像器的重量、体积的要求也不尽相同，应用需求也会增加噪声的复杂性。这些噪声既影响图像整体的视觉效果，也会对后续的目标检测、目标跟踪等问题带来干扰，因此，去除图像中的噪声在实际应用中仍然是十分有必要、有意义的。

传统早期的图像去噪算法有基于滤波的方法、基于变换域的方法(傅里叶变换、小波变换)、基于变分的方法等。基于滤波的方法是通过图像局部区域的像素进行线性操作或非线性操作，将操作结果替换为原像素的值，如均值滤波、高斯滤波、中值滤波、自适应加权滤波等。基于变换域的方法是通过某种频域变换将图像变换到频域，将噪声成分集中在某一频率成分，在频域中通过某种滤波方法(或算子)滤除噪声成分，再反变回空间域，得到干净的图像。基于空间域滤波的方法和变换域滤波的方法，通常对噪声的分布类型做一定的假设，如高斯噪声、泊松噪声、椒盐噪声，这类方法对图像噪声的普适性不强。基于变分模型的常用方法有Tikhonov正则化方法、总变分方法、非局部变分方法。基于变分的方法有时在数值求解过程中会产生误差，出现“阶梯效应”现象，引起图像失真。研究人员也探索自然图像的先验知识，来规范指导待恢复的图像，如非局部相似性、分段光滑、稀疏性质、Markov随机场性质。三维块匹配(BM3D)算法是将图像中相似的图像块堆叠在一起形成一个三维矩阵，采用联合滤波的方法对此三维图像块进行处理，再反变回空间域，得到去噪结果图像。BM3D算法整体去噪效果较好，但复杂度较高，有时边缘区域去噪效果不理想。近些年来，基于稀疏表达和低秩近似原理的去噪方法得到了较好的发展与应用。稀疏表达模型通常假设图像中的每一个块可以被一个稀疏向量表示，向量中元素绝大部分为0。它通常是利用数据集或图像自身训练出字典，如K奇异值分解方法，将图像块利用字典中的几个元素稀疏表示，形成最后的去噪结果。相继地，人们提出了组稀疏表达模型、非局部中心稀疏表达模型，也提升了的去噪效果。在实际应用中，人们通常使用凸正则化方法，但凸正则化方法不能获得精确的稀疏解。

图像的低秩近似是将图像中非局部相似块进行拉伸或堆叠后，将拉伸后的矩阵的秩最小化做为约束，也获得了比较大的成功。由于矩阵的秩是NP难问题，研究人员提出了多种算子或范数来近似图像块的秩以及优化计算，如图像块向量的核范数(NNM)、Schatenp-范数、截断核范数(TNNR)、加权核范数(WNNM)、加权Schaten p-范数(WSNM))等模型。这些方法在寻找相似的图像块时通常是直接比较两个窗口的l₂范数，在弯曲边缘时，其边缘上的像素点是相似的，用直接窗口比较法能够找到的相似的像素比较少。

最近几年，随着深度神经网络的快速发展，人们也提出了不少深度网络模型来去除图像中的噪声。深度神经网络是通过训练数据集自适应地提取图像特征，研究人员提出了不同的网络结构来进行去噪，如全卷积网络、生成对抗网络、残差学习的网络。人们改进网络结构、结合不同的先验，提出了许多模型，如DnCNN模型、FFDNet模型、CBDNet模型、VDN模型等。基于深度学习的方法通常需要大量的样本对进行训练，然而不同场合的真实噪声图像的去噪结果是不容易获取的。

发明内容

本发明的目的是，为了克服现有技术的不足，降低成像器所捕获图像的噪声水平，提高图像的信噪比，提出一种科学合理，适用性强，效果佳，能够增强图像细节显示的基于仿射低秩的图像去噪方法。

实现本发明目的采用的技术实现方案是，一种基于仿射低秩的图像去噪方法，其特征是，它包括的内容有：基于图像块仿射的像素相似性计算；对相似图像块向量矩阵进行低秩近似；利用低秩成分确定最后的去噪结果；

1)基于图像块仿射的像素相似性计算

为减少计算量，将图像划分为一个个重叠的图像块，以步长为s选取像素点，每个像素点一个半径为r窗口，记录下每个像素的窗口内像素坐标，对于每个图像块的中心像素点，计算其结构张量和椭圆近邻，对于图像像素点P₀＝[x₀ y₀]^T，它的结构张量为

记点P₀的仿射协方差半径为r的区域，则r邻域内的像素点P＝[xy]，满足

<T_u(P)(P-P₀),(P-P₀)>≤r² (1)仿射r邻域的边界为

B(P₀)＝{P:<T_u(P)(P-P₀),(P-P₀)>＝r²} (2)

将式(2)对x求导，得：

当

时，计算出椭圆r邻域的两个顶点坐标：

记椭圆r邻域的y的最小值y_min，y的最大值为y_max，则对于r邻域的任意行，点当y∈[y_min y_max]，可计算出x的边界为

其中，λ₁＝T₁₂/T₁₁，λ₂＝λ₁ ²-T₂₂/T₁₁，λ₃＝r²/T₁₁，根据(4)-(6)式能够计算出各图像块中心点的仿射r邻域的坐标点；

记两个图像块中心点x,y的张量表示为T_u(x)和T_v(y)，能够找到一个映射C(x,y)，使得张量T_u(x)变换为T_v(y)，经计算得到映射C(x,y)表示为

R是一个正交阵，

式(7)表明点x的张量T_u(x)经过

规范化后得到一个规范邻域

点y的张量T_v(y)经过

变换后也得到一个规范邻域

变换后的规范邻域只相差一个正交变换R(x,y)，统计两个规范邻域的主方向，再将邻域内的像素进行旋转将主方向对齐，采用计算梯度直方图的方法计算规范邻域的主方向，

①设定梯度直方图的高斯权重；

②计算规范邻域内的梯度直方图，每20度为一个区间段，共18段，统计每段内梯度像素点的个数；

③取梯度直方图中最大值点为方向，当直方图存在两个最大值比较接近时，随机选取一个作为主方向，计算出两个规范化邻域的主方向后，得以主方向的差，θ＝θ₁-θ₂，将规范邻域

通过旋转矩阵

进行旋转，将两个规范邻域的主方向对齐；

④比较规范邻域的相似性，两个规范邻域的主方向对齐后，分别得到

和

由于

和

坐标输出结果是小数，取与其最相邻的整数点作为中心点，将半径为r的窗口内的像素点进行比较，

Δt表示一个半径为r的圆形区域，g_t(h)是一个高斯权重函数，表示为

由于在去噪迭代过程中，噪声逐渐减少，利用初始噪声图像计算的图像块相似的可靠性逐渐下降，为解决图像块相似的可靠性逐渐下降的问题，利用双噪声相似性来度量两个像素点之间的相似性,记为S_D(t,x,y)，表示为：

其中，D(t,x,y)为初始噪声图像的像素点x和y之间的相似性，

为去噪过程中第k次迭代时像素点x和y之间的相似性，表示为

2)对相似图像块向量矩阵进行低秩近似

对于任意图像块中的中心像素点x₀，可以找到k个与其相似的像素点x₁,x₂,…x_k，将这k个相似像素点的正则区域R₀,R₁,R₂,…,R_k，拉伸成向量组成矩阵Y＝[vec(R₀)vec(R₁)Lvec(R_k)]，vec(X)是将二维图像块矩阵X按列进行拉伸，因为

是由相似的图像块组成的矩阵，它的秩应该是比较小的，因此，根据低秩近似原理，采用加权核核范数作为约束，构建基于仿射相似性的低秩去噪模型，如下式：

模型(11)中X是待估计的低秩近似结果，模型中包含两项，第一项中

是X的Frobenius范数，

第一项是数据约束项，意义是使得去噪后的结果X与去噪前的图像Y在数值上比较接近，不要偏差过大，第二项是加权核范数||X||_ω,*，是正则项，用来约束估计结果X，定义为

其中，σ_i(X)是X的奇异值，ω_i＞0是σ_i(X)的非负的权重，λ＞0是正则项系数，权衡正则项的比重，

对模型(11)式进行求解，X存在闭合解

Y＝UΣV^T为Y的奇异值分解，S_0.5w(Σ)是软域值算子，定义为

S_0.5w(Σ)＝max(∑_ii-0.5ω_i,0) (14)

∑_ii为矩阵∑的对角元的第ii个元素；

3)利用低秩成分确定最后的去噪结果

由于一个像素点可能在多个图像块内，每个图像块都计算出低秩近似结果后，将每个图像块的结果加权相加，即得到最后去噪结果，

本发明的一种基于仿射低秩的图像去噪方法，由于采用基于图像块仿射的像素相似性计算，利用原噪声图和迭代过程的图计算图像块的双噪声相似性；对相似图像块向量矩阵进行低秩近似；利用低秩成分确定最后的去噪结果，能够有效的降低成像器所捕获图像的噪声水平，增强图像细节显示，提高图像的信噪比，具有方法简单，科学合理，适用性强，效果佳等优点。

附图说明

图1为本发明的一种基于仿射低秩的图像去噪方法流程框图。

具体实施方式

下面利用附图和具体实施方式对本发明作进一步说明。

参照图1，本发明的一种基于仿射低秩的图像去噪方法，其特征是，它包括的内容有：基于图像块仿射的像素相似性计算；对相似图像块向量矩阵进行低秩近似；利用低秩成分确定最后的去噪结果；

1)基于图像块仿射的像素相似性计算

为减少计算量，将图像划分为一个个重叠的图像块，以步长为s选取像素点，每个像素点一个半径为r窗口，记录下每个像素的窗口内像素坐标，对于每个图像块的中心像素点，计算其结构张量和椭圆近邻，对于图像像素点P₀＝[x₀ y₀]^T，它的结构张量为

记点P₀的仿射协方差半径为r的区域，则r邻域内的像素点P＝[xy]，满足

<T_u(P)(P-P₀),(P-P₀)>≤r² (1)

仿射r邻域的边界为

B(P₀)＝{P:<T_u(P)(P-P₀),(P-P₀)>＝r²} (2)

将式(2)对x求导，得：

当

时，计算出椭圆r邻域的两个顶点坐标：

记椭圆r邻域的y的最小值y_min，y的最大值为y_max，则对于r邻域的任意行，点当y∈[y_min y_max]，可计算出x的边界为

其中，λ₁＝T₁₂/T₁₁，λ₂＝λ₁ ²-T₂₂/T₁₁，λ₃＝r²/T₁₁，根据(4)-(6)式能够计算出各图像块中心点的仿射r邻域的坐标点；

记两个图像块中心点x,y的张量表示为T_u(x)和T_v(y)，能够找到一个映射C(x,y)，使得张量T_u(x)变换为T_v(y)，经计算得到映射C(x,y)表示为

R是一个正交阵，

式(7)表明点x的张量T_u(x)经过

规范化后得到一个规范邻域

点y的张量T_v(y)经过

变换后也得到一个规范邻域

变换后的规范邻域只相差一个正交变换R(x,y)，统计两个规范邻域的主方向，再将邻域内的像素进行旋转将主方向对齐，采用计算梯度直方图的方法计算规范邻域的主方向，

②设定梯度直方图的高斯权重；

②计算规范邻域内的梯度直方图，每20度为一个区间段，共18段，统计每段内梯度像素点的个数；

③取梯度直方图中最大值点为方向，当直方图存在两个最大值比较接近时，随机选取一个作为主方向，计算出两个规范化邻域的主方向后，得以主方向的差，θ＝θ₁-θ₂，将规范邻域

通过旋转矩阵

进行旋转，将两个规范邻域的主方向对齐；

④比较规范邻域的相似性，两个规范邻域的主方向对齐后，分别得到

和

由于

和

坐标输出结果是小数，取与其最相邻的整数点作为中心点，将半径为r的窗口内的像素点进行比较，

Δt表示一个半径为r的圆形区域，g_t(h)是一个高斯权重函数，表示为

由于在去噪迭代过程中，噪声逐渐减少，利用初始噪声图像计算的图像块相似的可靠性逐渐下降，为解决图像块相似的可靠性逐渐下降的问题，利用双噪声相似性来度量两个像素点之间的相似性,记为S_D(t,x,y)，表示为：

其中，D(t,x,y)为初始噪声图像的像素点x和y之间的相似性，

为去噪过程中第k次迭代时像素点x和y之间的相似性，表示为

2)对相似图像块向量矩阵进行低秩近似

对于任意图像块中的中心像素点x₀，可以找到k个与其相似的像素点x₁,x₂,…x_k，将这k个相似像素点的正则区域R₀,R₁,R₂,…,R_k，拉伸成向量组成矩阵Y＝pvec(R₀)vec(R₁)Lvec(R_k)[，vec(X)是将二维图像块矩阵X按列进行拉伸，因为

是由相似的图像块组成的矩阵，它的秩应该是比较小的，因此，根据低秩近似原理，采用加权核核范数作为约束，构建基于仿射相似性的低秩去噪模型，如下式：

模型(11)中X是待估计的低秩近似结果，模型中包含两项，第一项中

是X的Frobenius范数，

第一项是数据约束项，意义是使得去噪后的结果X与去噪前的图像Y在数值上比较接近，不要偏差过大，第二项是加权核范数||X||_ω,*，是正则项，用来约束估计结果X，定义为

||X||_w,*＝∑_iω_iσ_i(X) (12)

其中，σ_i(X)是X的奇异值，ω_i＞0是σ_i(X)的非负的权重，λ＞0是正则项系数，权衡正则项的比重，

对模型(11)式进行求解，X存在闭合解

Y＝UΣV^T为Y的奇异值分解，S_0.5w(Σ)是软域值算子，定义为

S_0.5w(Σ)＝max(∑_ii-0.5ω_i,0) (14)

∑_ii为矩阵∑的对角元的第ii个元素；

3)利用低秩成分确定最后的去噪结果

由于一个像素点可能在多个图像块内，每个图像块都计算出低秩近似结果后，将每个图像块的结果加权相加，即得到最后去噪结果，

本发明的软件程序依据自动化、网络和计算机处理技术编制，是本领域技术人员所熟悉的技术。

本发明实施例仅用于对本发明作进一步的说明，并非穷举，并不构成对权利要求保护范围的限定，本领域技术人员根据本发明实施例获得的启示，不经过创造性劳动就能够想到其它实质上等同的替代，均在本发明保护范围内。

Claims (1)

1.一种基于仿射低秩的图像去噪方法，其特征是，它包括的内容有：基于图像块仿射的像素相似性计算；对相似图像块向量矩阵进行低秩近似；利用低秩成分确定最后的去噪结果；

1)基于图像块仿射的像素相似性计算

为减少计算量，将图像划分为一个个重叠的图像块，以步长为s选取像素点，每个像素点一个半径为r窗口，记录下每个像素的窗口内像素坐标，对于每个图像块的中心像素点，计算其结构张量和椭圆近邻，对于图像像素点P₀＝[x₀ y₀]^T，它的结构张量为

记点P₀的仿射协方差半径为r的区域，则r邻域内的像素点P＝[xy]，满足

<T_u(P)(P-P₀),(P-P₀)>≤r² (1)

仿射r邻域的边界为

B(P₀)＝{P:<T_u(P)(P-P₀),(P-P₀)>＝r²} (2)

将式(2)对x求导，得：

当

时，计算出椭圆r邻域的两个顶点坐标：

记椭圆r邻域的y的最小值y_min，y的最大值为y_max，则对于r邻域的任意行，点当y∈[y_miny_max]，可计算出x的边界为

其中，λ₁＝T₁₂/T₁₁，λ₂＝λ₁ ²-T₂₂/T₁₁，λ₃＝r²/T₁₁，根据(4)-(6)式能够计算出各图像块中心点的仿射r邻域的坐标点；

记两个图像块中心点x,y的张量表示为T_u(x)和T_v(y)，能够找到一个映射C(x,y)，使得张量T_u(x)变换为T_v(y)，经计算得到映射C(x,y)表示为

R是一个正交阵，

式(7)表明点x的张量T_u(x)经过

规范化后得到一个规范邻域

点y的张量T_v(y)经过

变换后也得到一个规范邻域

变换后的规范邻域只相差一个正交变换R(x,y)，统计两个规范邻域的主方向，再将邻域内的像素进行旋转将主方向对齐，采用计算梯度直方图的方法计算规范邻域的主方向，

①设定梯度直方图的高斯权重；

②计算规范邻域内的梯度直方图，每20度为一个区间段，共18段，统计每段内梯度像素点的个数；

③取梯度直方图中最大值点为方向，当直方图存在两个最大值比较接近时，随机选取一个作为主方向，计算出两个规范化邻域的主方向后，得以主方向的差，θ＝θ₁-θ₂，将规范邻域

通过旋转矩阵

进行旋转，将两个规范邻域的主方向对齐；

④比较规范邻域的相似性，两个规范邻域的主方向对齐后，分别得到

和

由于

和

坐标输出结果是小数，取与其最相邻的整数点作为中心点，将半径为r的窗口内的像素点进行比较，

Δt表示一个半径为r的圆形区域，g_t(h)是一个高斯权重函数，表示为

由于在去噪迭代过程中，噪声逐渐减少，利用初始噪声图像计算的图像块相似的可靠性逐渐下降，为解决图像块相似的可靠性逐渐下降的问题，利用双噪声相似性来度量两个像素点之间的相似性,记为S_D(t,x,y)，表示为：

其中，D(t,x,y)为初始噪声图像的像素点x和y之间的相似性，

为去噪过程中第k次迭代时像素点x和y之间的相似性，表示为

2)对相似图像块向量矩阵进行低秩近似

对于任意图像块中的中心像素点x₀，可以找到k个与其相似的像素点x₁,x₂,…x_k，将这k个相似像素点的正则区域R₀,R₁,R₂,…,R_k，拉伸成向量组成矩阵Y＝[vec(R₀) vec(R₁) Lvec(R_k)]，vec(X)是将二维图像块矩阵X按列进行拉伸，因为

是由相似的图像块组成的矩阵，它的秩应该是比较小的，因此，根据低秩近似原理，采用加权核核范数作为约束，构建基于仿射相似性的低秩去噪模型，如下式：

模型(11)中X是待估计的低秩近似结果，模型中包含两项，第一项中

是X的Frobenius范数，

第一项是数据约束项，意义是使得去噪后的结果X与去噪前的图像Y在数值上比较接近，不要偏差过大，第二项是加权核范数||X||_ω,*，是正则项，用来约束估计结果X，定义为

||X||_w,*＝∑_iω_iσ_i(X) (12)

其中，σ_i(X)是X的奇异值，ω_i＞0是σ_i(X)的非负的权重，λ＞0是正则项系数，权衡正则项的比重，

对模型(11)式进行求解，X存在闭合解

Y＝UΣV^T为Y的奇异值分解，S_0.5w(Σ)是软域值算子，定义为

S_0.5w(Σ)＝max(∑_ii-0.5ω_i,0) (14)

∑_ii为矩阵∑的对角元的第ii个元素；

3)利用低秩成分确定最后的去噪结果

由于一个像素点可能在多个图像块内，每个图像块都计算出低秩近似结果后，将每个图像块的结果加权相加，即得到最后去噪结果，

Images