CN104159003B - 一种基于3d协同滤波与低秩矩阵重建的视频去噪方法及系统 - Google Patents
一种基于3d协同滤波与低秩矩阵重建的视频去噪方法及系统 Download PDFInfo
- Publication number
- CN104159003B CN104159003B CN201410414416.8A CN201410414416A CN104159003B CN 104159003 B CN104159003 B CN 104159003B CN 201410414416 A CN201410414416 A CN 201410414416A CN 104159003 B CN104159003 B CN 104159003B
- Authority
- CN
- China
- Prior art keywords
- matrix
- block
- mrow
- low
- msub
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Image Processing (AREA)
Abstract
本发明提出了一种基于3D协同滤波与低秩矩阵重建的视频去噪系统及方法，本发明首先对含噪视频进行3D协同滤波预处理，得到基础估计然后对基础估计再进行低秩矩阵重建来进行进一步的去噪，来得到最终估计；本发明主要应用于视频去噪中，特别是应用于基于3D协同滤波与低秩矩阵重建的视频去噪；同时本发明所提出去噪方法也适用于图像的去噪，对于较大分辨率的图像、视频源也具有良好的去噪效果；此外，本发明不仅对单纯的高斯噪声具有良好的去噪效果，同时对含有高斯噪声和脉冲噪声的混合噪声也具有较好的去噪效果，并且在效率上也有一定的提高，在视频图像降噪领域具有积极意义。
Description
技术领域
本发明涉及视频去噪领域，具体的为一种基于3D协同滤波与低秩矩阵重建的视频去噪方法及系统。
背景技术
视频序列在传送和存储的过程中不可避免的会受到噪声的影响，使得视频的清晰度和实际效果大大降低。对视频序列进行去噪不仅可以提高感知质量，增进压缩编码的有效性，而且还可以减少传输带宽和提高后续功能的效果。因此对视频序列进行去噪处理是非常必要的。按照视频图像去噪的处理区域，可以将视频图像降噪方法分为两类：像素域视频图像去噪方法和变换域视频图像去噪方法。像素域视频图像降噪方法直接在视频图像内容构成的空时三维空间中抑制噪声，即直接对图像像素进行去噪，该类方法出现较早，如经典的非局部均值滤波NLM、各向异性滤波和双边滤波等。像素域去噪方法由于在视频图像的像素域进行处理，没有将噪声和图像信号区分开，因此会造成图像细节、边缘的模糊。变换域滤波是一种将图像通过一定的变换进行预先处理的降噪方法，在空间域转换到变换域，然后在变换域里对图像进行处理，处理后再反变换到空间域。常用的变换方法有傅里叶变换和小波变换，如空时双变量高斯混合模型(Spatiotemporal Gaussian scale mixture,ST-GSM)算法、基于Stein’s无偏风险估计和阈值函数线性扩展(Stein’s unbiased riskestimator-linear expansion of thresholds,SURE-LET)的去噪方法等。视频降噪方法也可以分为局部和非局部型。局部型是充分利用每个像素与其领域内的其他像素之间的相关性来求取像素值真实值。目前较为创造性也发展迅速的是非局部型的去噪方法，如典型的Anon-local algorithm for image denoising、一种基于块匹配和三维滤波的视频去噪方法，该算法不能很好的处理脉冲噪声在内的混合噪声、联合稀疏与低秩矩阵逼近的视频去噪方法，该算法对含噪视频建立模型，通过加速近端梯度法(The Accelerated ProximalGradient,APG)完成矩阵低秩逼近收敛过程，也充分利用了时域和空域上的相关性，在高斯白噪声和其他混合噪声的去除上都取得了较优秀的去噪性能。但是该方法通过加速近端梯度法完成收敛的过程需要多次迭代，不能很好的控制迭代步长，方法的效率很低。
发明内容
本发明要解决的技术问题是：本发明主要是解决VBM3D在去除包含脉冲噪声在内的混合噪声时效果不佳，及利用APG进行低秩矩阵逼近去噪算法收敛慢、效率低的缺点；提出了一种基于3D协同滤波与低秩矩阵重建的视频去噪方法及系统；
本发明的技术方案是：一种基于3D协同滤波与低秩矩阵重建的视频去噪方法，包括如下步骤：
步骤1：对含噪视频进行3D协同滤波预处理，得到基础估计图像；
步骤1.1：对输入视频的每一帧进行分块，对每个图像块分别进行帧内和帧间的相似块匹配，得到每个参考块xR的相似块分组；
步骤1.2：对每个参考块xR的相似块分组进行3D协同滤波，得到每个参考块xR的估计值
步骤1.3：对估计值进行聚集，得到基础估计图像；
步骤2：对得到的基础估计图像再进行低秩矩阵重建进一步去噪，得到最终去噪后的图像；
步骤2.1：对步骤1得到的基础估计图像的每个图像块分别进行帧内和帧间的相似块匹配，得到每个图像块的相似块分组；将分组中的每一个相似块排列成向量，组成一个相似性块矩阵Y；
Y＝(y1,y2,…ym)
其中m为参考块对应相似块组的个数，y1,y2,…ym分别为大小为N1×N1的匹配块矩阵；
步骤2.2：将矩阵Y分解为两个矩阵A和E之和，对相似性块矩阵Y进行低秩循环最小化逼近，得到降噪之后的低秩矩阵A；
Y＝A+E
其中矩阵A和E均未知，A为低秩的无噪数据矩阵，E为噪声稀疏矩阵；
步骤3.根据步骤2输出的降噪之后的低秩矩阵A，采用均值法对重叠的像素进行聚集，最终输出视频。
所述的步骤1.2包括如下步骤：
步骤1.2.1：对相似块分组的每个块进行离散余弦变换；
步骤1.2.2：对离散余弦变换的结果进行沃尔什哈达玛变换得到3D变换系数；
步骤1.2.3：对3D变换系数进行硬阈值收缩，硬阈值定为2.7；
步骤1.2.4：将硬阈值收缩后的系数依次进行沃尔什哈达玛逆变换，DCT逆变换得到分组中每个图像块的估计值
所述的步骤1.3包括如下步骤：
步骤1.3.1：计算加权系数w(x,xR)；
w(x,xR)＝w1(x(xR))·w2(xR)
其中，w1(x(xR))为选凯瑟窗系数，x(xR)为像素x在参考块xR中的坐标；w2(xR)为参考块的相似块分组的3D变换系数进行硬阈值收缩之后统计的非零元素个数，w2(xR)计算公式如下：
σ为噪声水平标准差，N(xR)为参考块xR对应的相似块分组的3D变换系数进行硬阈值收缩后非零元素的个数；
步骤1.3.2：根据加权系数对估计值进行聚集，得到基础估计图像；聚集公式如下所示：
其中，是像素x的基础估计结果，S(x)代表包含像素x的参考块集合，xm为参考块集合S(x)之一，为xm的估计值。
所述的2.2中所述的对相似性块矩阵Y进行低秩循环最小化逼近采用非精确拉格朗日乘子法IALM低秩逼近，得到降噪后的低秩矩阵A，包括如下步骤进行：
步骤2.2.1：更新噪声稀疏矩阵E；
其中，n为参考块大小N1×N1×3，σ为噪声水平标准差，m为参考块对应的相似块组的个数，D为相似块矩阵Y的初始值，表示在空间{X∈Rm×n|-λ/μ≤X≤λ/μ}上的欧几里得投影，λ＝100/(100-σ)，Rm×n表示实数矩阵，k代表当前的迭代循环次数，为初始值为0的自然数，Ak,Yk分别表示第k次循环中低秩矩阵A和相似性块矩阵Y的值，Ak,Yk的初始值为0，Ek+1为新更新的噪声稀疏矩阵。
步骤2.2.2：更新低秩矩阵A，求得更新后低秩矩阵Ak+1，公式如下：
其中Uk+1，Σ，通过对矩阵进行奇异值分解SVD求得，其中，Uk+1为左奇异矩阵，Σ为奇异值对角矩阵，为右奇异矩阵，Vk+1 T表示矩阵Vk+1的转置，Sτ(Σ)表示对奇异值对角矩阵Σ进行软阈值收缩；
阈值计算公式为：
τ＝0.5m·n/sum(D)
其中，sum(D)为矩阵D中所有元素的和，矩阵D为相似性块矩阵Y的初始值；
步骤2.2.3：根据更新后低秩矩阵Ak+1，求得更新的矩阵Yk+1，同时令k＝k+1进行下一次迭代；
Yk+1＝Yk+μ(D-Ak+1-Ek+1)
其中Ak+1,Ek+1分别为步骤2.2.1和2.2.2中更新的低秩矩阵A和噪声稀疏矩阵E的值，Yk为第k次循环中相似性块矩阵的Y值；
步骤2.2.4判断迭代次数k是否达到最大迭代次数，本发明中最大迭代次数取为5，若达到最大迭代次数，则终止迭代，输出去噪低秩矩阵A；否则重复步骤2.2.1到步骤2.2.3，进行下一次迭代。
所述的步骤1.1和2.1中对每个图像块分别进行帧内和帧间的相似块匹配的方法为：以参考块为中心，nHW为半径搜索相似块，采用绝对差值和SAD来确定图像块之间的距离，若小于给定阈值则判定两图像块相似。
所述的阈值设定为2000像素值，nHW为8。
一种基于3D协同滤波与低秩矩阵重建的视频去噪系统，包括如下模块：
基础估计模块：用于对含噪视频进行3D协同滤波预处理，得到基础估计图像；
包括用于对输入视频的每一帧进行分块，对每个图像块分别进行帧内和帧间的相似块匹配，得到每个参考块xR的相似块分组；
包括用于对每个参考块xR的相似块分组进行3D协同滤波，得到每个参考块xR的估计值
包括用于对估计值进行聚集，得到基础估计图像；
低秩矩阵重建模块：用于对得到的基础估计图像再进行低秩矩阵重建进一步去噪，得到最终去噪后的图像；
包括用于对基础估计模块得到的基础估计图像的每个图像块分别进行帧内和帧间的相似块匹配，得到每个图像块的相似块分组；将分组中的每一个相似块排列成向量，组成一个相似性块矩阵Y；
Y＝(y1,y2,…ym)
其中m为参考块对应相似块组的个数，y1,y2,…ym分别为大小为N1×N1的匹配块矩阵；
包括用于将矩阵Y分解为两个矩阵A和E之和，对相似性块矩阵Y进行低秩循环最小化逼近，得到降噪之后的低秩矩阵A；
Y＝A+E
其中矩阵A和E均未知，A为低秩的无噪数据矩阵，E为噪声稀疏矩阵；
输出模块：用于对低秩矩阵重建模块：输出的降噪之后的低秩矩阵A，采用均值法重叠的像素进行聚集，最终输出视频。
本发明的有益效果是：一种基于3D协同滤波与低秩矩阵重建的视频去噪方法及系统不仅对单纯的高斯噪声具有良好的去噪效果，同时对含有高斯噪声和脉冲噪声的混合噪声也具有较好的去噪效果，并且在效率上也有一定的提高，在视频图像降噪领域具有积极意义。
附图说明
图1是本发明的方法流程示意图；
图2是本发明中块匹配流程示意图；
图3是本发明中基础估计流程的示意图；
图4是本发明的系统结构图。
具体实施方式
下面通过实施例，并结合附图，对本发明的技术方案作进一步具体的说明。
一种基于3D协同滤波与低秩矩阵重建的视频去噪系统及方法，包括以下步骤：
步骤1，如流程图3所示，对含噪视频进行3D(三维)协同滤波预处理，得到基础估计图像；
步骤1.1，对输入视频的每一帧进行分块，对每个图像块分别进行帧内和帧间的相似块匹配，得到每个参考块xR的相似块分组；进行块匹配；对输入视频的每一帧进行块匹配搜索，得到相似块的分组聚集。对视频帧进行分块，步长为stepsize，即每帧图像可以得到(height×width)/(stepsize×stepsize)个图像块，其中height、width分别为每帧图像的长和宽。本发明实施例步长stepsize取5。对每个图像块(参考块xR)分别进行帧内和帧间的块匹配。帧内块匹配方面，以参考块为中心，nHW为搜索半径，规定nHW为8个像素，在该搜索范围里来寻找相似块。采用绝对差值和SAD(Sum of Absolute Difference)来确定图像块之间的距离，然后跟给定的阈值(本发明中设定为2000像素值)作比较，若小于给定的阈值则判定两图像块相似。这样就可以找到帧内的相似块(匹配块)。帧间块匹配采用预测性块匹配，匹配准则跟帧内块匹配相同，也采用相同的阈值判断准则，这样就可以得到参考块的相似块分组，分组中含有参考块在帧内和帧外所有的相似块，如图2所示；
步骤1.2，对每个参考块xR的相似块分组进行3D协同滤波，得到每个参考块xR的估计值经步骤1.1可以得到每个参考块的相似块分组，对其进行3D协同滤波。
步骤1.2.1：先对相似块分组的每个块进行离散余弦变换；
步骤1.2.2：然后对相似块分组的离散余弦变换的结果进行沃尔什哈达玛变换(Walsh Hadamard Transform)得到3D变换系数；
步骤1.2.3：然后对3D变换系数进行硬阈值收缩，有效地减弱噪声。这里的硬阈值定为2.7。
步骤1.2.4：最后将硬阈值收缩后的系数依次进行沃尔什哈达玛逆变换，DCT逆变换得到分组中每个参考块图像块的估计值
步骤1.3，对参考块的估计值进行聚集。聚集的方法是加权平均，加权系数分为两个部分。第一部分，由于参考块的选取是过完备的，即有重叠的，故块与块之间重叠部分的像素会有多个估计值，本发明中选取凯瑟窗系数来处理重叠部分的估计值。即凯瑟窗系数w1(x(xR))作为加权系数的第一部分，这里x(xR)为像素x在参考块xR中的坐标。第二部分，参考块的相似块分组的3D变换系数进行硬阈值收缩之后，我们统计其非零元素个数，来计算该参考块加权系数的第二部分w2(xR)，加权系数的两个部分的乘积就是最终聚集时所用的加权系数。
步骤1.3.1：计算加权系数w(x,xR)；
w(x,xR)＝w1(x(xR))·w2(xR)
其中，w1(x(xR))为选凯瑟窗系数，x(xR)为像素x在参考块xR中的坐标；w2(xR)为参考块的相似块分组的3D变换系数进行硬阈值收缩之后统计的非零元素个数，w2(xR)计算公式如下：
其中，σ为噪声水平标准差，N(xR)为参考块xR对应的相似块分组的3D变换系数进行硬阈值收缩后非零元素的个数。其中加权系数的第一部分和像素点在参考块中的位置x(xR)有关，加权系数的第二部分和参考块xR有关
步骤1.3.2：根据加权系数对估计值进行聚集，得到基础估计图像；
加权系数乘以对应参考块的估计值作累加后，再除以加权系数的累加和可以求出该像素点的基础估计，聚集公式如下所示：
其中，是像素x的基础估计结果，S(x)代表包含像素x的参考块集合，xm为参考块xR的集合之一，为xm的估计值。
步骤2，对进行步骤1之后的基础估计图像再进行低秩矩阵重建来进行进一步的去噪，来得到最终估计，即最终去噪后的图像；
步骤2.1，对步骤1所得到的基础估计进行块匹配分组。方法步骤跟步骤1.1完全相同。对得到的基础估计图像进行块匹配搜索，先进行分块，步长为stepsize，即每帧图像可以得到(height×width)/(stepsize×stepsize)个图像块，其中height、width分别为每帧图像的长和宽。本发明里我们规定stepsize等于5。对每个图像块(参考块xR)分别进行帧内和帧间的块匹配。帧内块匹配方面，以参考块为中心，nHW为搜索半径，规定nHW为8，在该搜索范围里来寻找相似块。采用绝对差值和SAD(Sum of Absolute Difference)来确定图像块之间的距离，然后跟给定的阈值(本发明中设定为2000)作比较，若小于给定的阈值则判定两图像块相似。这样就可以找到帧内的相似块。帧间块匹配采用预测性块匹配，匹配准则跟帧内块匹配相同，也采用相同的阈值判断准则，这样就可以得到参考块的相似块分组，如图2所示。找到每个参考块对应的相似块分组，将分组中的每一个相似块排列成向量，组成一个相似性块矩阵Y(Y中含有参考块在帧内和帧外中所有的相似块)。
Y＝(y1,y2,…ym)
其中m为参考块对应相似块组的个数(本发明中取8个相似块)，y1,y2,…ym分别为大小为N1×N1的匹配块矩阵，本发明中块为8*8，即N1为8，另外图像均为3通道，故矩阵Y的行数为192(8*8*3)，列数为8。
步骤2.2，将矩阵Y分解为两个矩阵A和E之和，对相似性块矩阵Y进行低秩循环最小化逼近，得到降噪之后的低秩矩阵A；进行低秩逼近，对于自身具有重复结构特性的图像,其数据矩阵Y具有低秩或近似低秩的性质。但由于噪声污染等原因,该矩阵原有的低秩特性可能被破坏。为了恢复矩阵Y的低秩结构，可将矩阵Y分解为两个矩阵之和，即：
Y＝A+E
其中矩阵A和E均未知，A代表无噪数据矩阵，为低秩的，E为噪声稀疏矩阵。
为恢复出最终降噪后的低秩矩阵A，对相似性块矩阵Y进行基于奇异值分解的低秩循环最小化逼近：
其中||Y||*为相似性矩阵块组矩阵Y的核范数，||E||1为噪声稀疏矩阵E的1范数，为矩阵Y与A、E差值矩阵Y-A-E的Frobenius二范数。λ为正则化参数，计算公式为
λ＝100/(100-σ)
上式中参数μ计算公式如下：
n为参考块大小N1×N1×3(三通道)，本专利中块大小为8*8，即N1＝8，σ为噪声水平标准差，m为参考块对应相似块组的个数(本发明中取8个相似块)。
对每一个参考块的相似性块矩阵Y进行基于奇异值分解的低秩循环逼近，基于奇异值分解的低秩循环逼近法也有很多方法可以实现，非精确拉格朗日乘子法(IALM)是低秩循环逼近法也有很多实现方法之一，本发明采用非精确拉格朗日乘子法(IALM)进行低秩逼近，恢复原始无噪矩阵。得到降噪之后的低秩矩阵A。
所述的对相似性块矩阵Y进行非精确拉格朗日乘子法(IALM)低秩逼近，即通过迭代循环过程实现降噪后的低秩矩阵A，步骤2.2.1到2.2.4的循环过程是求解公式(1)的具体过程，按如下步骤进行：
步骤2.2.1：更新噪声稀疏矩阵E；
其中，n为参考块大小N1×N1×3，σ为噪声水平标准差，m为参考块对应的相似块组的个数，D为相似块矩阵Y的初始值，表示在空间{X∈Rm×n|-λ/μ≤X≤λ/μ}上的欧几里得投影，λ＝100/(100-σ)，Rm×n表示实数矩阵，k代表当前的迭代循环次数，为初始值为0的自然数，Ak,Yk分别表示第k次循环中低秩矩阵A和相似性块矩阵Y的值，Ak,Yk的初始值为0，Ek+1为新更新的噪声稀疏矩阵。
步骤2.2.2：更新低秩矩阵A，求得更新后低秩矩阵Ak+1，公式如下：
其中Uk+1，Σ，通过对矩阵进行奇异值分解SVD求得，其中，Uk+1为左奇异矩阵，Σ为奇异值对角矩阵，为右奇异矩阵，Vk+1 T表示矩阵Vk+1的转置，Sτ(Σ)表示对奇异值对角矩阵Σ进行软阈值收缩；
阈值计算公式为：
τ＝0.5m·n/sum(D)
其中，sum(D)为矩阵D中所有元素的和，矩阵D为相似性块矩阵Y的初始值；n为参考块大小N1×N1×3(三通道)，本发明中块大小为8*8，即N1＝8，m为参考块对应相似块组的个数(本发明中取8个相似块)。
步骤2.2.3：根据更新后低秩矩阵Ak+1，求得更新的矩阵Yk+1，同时令k＝k+1进行下一次迭代；
Yk+1＝Yk+μ(D-Ak+1-Ek+1)
其中Ak+1,Ek+1分别为步骤2.2.1和2.2.2中更新的低秩矩阵A和噪声稀疏矩阵E的值，Yk为第k次循环中相似性块矩阵的Y值；
步骤2.2.4判断迭代次数k是否达到最大迭代次数，本发明中最大迭代次数取为5，若达到最大迭代次数，则终止迭代，输出去噪低秩矩阵A；否则重复步骤2.2.1到步骤2.2.3，进行下一次迭代。
步骤3，根据步骤2输出的降噪之后的低秩矩阵A，采用均值法对重叠的像素进行聚集，最终输出视频。
采用均值法进行聚集。对每一个参考块，进行非精确拉格朗日乘子法(IALM)低秩循环实现后可以得到该参考块的一个估计A，由于参考块的选取是过完备性的，即有重叠，故块与块间重叠部分的像素会有多个估计值，先对所有相同位置重叠部分的估计值进行累加，作为分子，并对重叠像素处所有重叠次数进行累加，作为分母，两累加值进行相除，就可以求出该像素处的最终估计，即最后去噪后的像素值。
通过以上的步骤，我们就可以实现基于3D协同滤波与低秩矩阵重建的视频去噪方法，整个专利实现算法流程如图1所示。
上述步骤中，需要特殊说明的是：
1：步骤1中，改变参考块步长可以改变算法的效果跟效率，同时调整搜索步长可使块匹配快速进行，改变变换域的收缩阈值可以改变去噪效果。块匹配中SAD阈值的选取是通过大量的实验获取的，本发明中设定为2000,变换域收缩阈值定位2.7；
2：步骤2中，在进行奇异值分解(SVD)得到的奇异值矩阵之后要对其进行软阈值收缩，改变阈值大小τ对去噪效果会有一定的影响。
表1.本方法与其他方法对不同噪声水平的高斯噪声处理对比表
表2.本方法与其他方法对含有高斯噪声和脉冲噪声的混合噪声处理对比表
以上测试序列为标准序列，测试时采用相同的计算机配置。本方法在单纯加入高斯噪声的情况下平均PSNRMean相对VBM3D下降2.36dB，相对APG上升了4.25dB，在加入混合噪声的情况下，平均PSNRMean相对VBM3D下降0.001dB，相对APG上升了5.23dB。因此本方法在迭代次数较少的情况下，取得了比APG较为优秀的去噪效果，在混合噪声背景下，本文方法相较VBM3D方法也表现出了优秀的去噪效果。
如图4，一种基于3D协同滤波与低秩矩阵重建的视频去噪系统，其特征在于，包括如下模块：
基础估计模块：用于对含噪视频进行3D协同滤波预处理，得到基础估计图像；
包括用于对输入视频的每一帧进行分块，对每个图像块分别进行帧内和帧间的相似块匹配，得到每个参考块xR的相似块分组；
包括用于对每个参考块xR的相似块分组进行3D协同滤波，得到每个参考块xR的估计值
包括用于对估计值进行聚集，得到基础估计图像。
低秩矩阵重建模块：用于对得到的基础估计图像再进行低秩矩阵重建进一步去噪，得到最终去噪后的图像；
包括用于对基础估计模块得到的基础估计图像的每个图像块分别进行帧内和帧间的相似块匹配，得到每个图像块的相似块分组；将分组中的每一个相似块排列成向量，组成一个相似性块矩阵Y；
Y＝(y1,y2,…ym)
其中m为参考块对应相似块组的个数，y1,y2,…ym分别为大小为N1×N1的匹配块矩阵；
包括用于将矩阵Y分解为两个矩阵A和E之和，对相似性块矩阵Y进行低秩循环最小化逼近，得到降噪之后的低秩矩阵A；
Y＝A+E
其中矩阵A和E均未知，A为低秩的无噪数据矩阵，E为噪声稀疏矩阵。
输出模块：用于对低秩矩阵重建模块：输出的降噪之后的低秩矩阵A，采用均值法对重叠的像素进行聚集，最终输出视频。
本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。
Claims (6)
1.一种基于3D协同滤波与低秩矩阵重建的视频去噪方法，其特征在于，包括如下步骤：
步骤1：对含噪视频进行3D协同滤波预处理，得到基础估计图像；所述的步骤1包括如下步骤；
步骤1.1：对输入视频的每一帧进行分块，对每个图像块分别进行帧内和帧间的相似块匹配，得到每个参考块xR的相似块分组；
步骤1.2：对每个参考块xR的相似块分组进行3D协同滤波，得到每个参考块xR的估计值
步骤1.3：对估计值进行聚集，得到基础估计图像；
步骤2：对得到的基础估计图像再进行低秩矩阵重建进一步去噪，得到最终去噪后的图像；所述的步骤2包括如下步骤；
步骤2.1：对步骤1得到的基础估计图像的每个图像块分别进行帧内和帧间的相似块匹配，得到每个图像块的相似块分组；将分组中的每一个相似块排列成向量，组成一个相似性块矩阵Y；
Y＝(y1,y2,…ym)
其中m为参考块对应相似块组的个数，y1,y2,…ym分别为大小为N1×N1的匹配块矩阵；
步骤2.2：将矩阵Y分解为两个矩阵A和E之和，对相似性块矩阵Y进行低秩循环最小化逼近，得到降噪之后的低秩矩阵A；
Y＝A+E
其中矩阵A和E均未知，A为低秩的无噪数据矩阵，E为噪声稀疏矩阵；
所述的2.2中所述的对相似性块矩阵Y进行低秩循环最小化逼近采用非精确拉格朗日乘子法IALM低秩逼近，得到降噪后的低秩矩阵A，包括如下步骤进行：
步骤2.2.1：更新噪声稀疏矩阵E；
<mrow>
<msub>
<mi>E</mi>
<mrow>
<mi>k</mi>
<mo>+</mo>
<mn>1</mn>
</mrow>
</msub>
<mo>=</mo>
<mi>D</mi>
<mo>-</mo>
<msub>
<mi>A</mi>
<mi>k</mi>
</msub>
<mo>+</mo>
<mfrac>
<msub>
<mi>Y</mi>
<mi>k</mi>
</msub>
<mi>&mu;</mi>
</mfrac>
<mo>-</mo>
<msub>
<mi>P</mi>
<msubsup>
<mi>&Omega;</mi>
<mi>&infin;</mi>
<mrow>
<mi>&lambda;</mi>
<mo>/</mo>
<msub>
<mi>&mu;</mi>
<mi>k</mi>
</msub>
</mrow>
</msubsup>
</msub>
<mrow>
<mo>(</mo>
<mi>D</mi>
<mo>-</mo>
<msub>
<mi>A</mi>
<mi>k</mi>
</msub>
<mo>+</mo>
<mfrac>
<msub>
<mi>Y</mi>
<mi>k</mi>
</msub>
<mi>&mu;</mi>
</mfrac>
<mo>)</mo>
</mrow>
</mrow>
其中，n为参考块大小N1×N1×3，σ为噪声水平标准差，m为参考块对应的相似块组的个数，D为相似块矩阵Y的初始值，表示在空间上}的欧几里得投影，λ＝100/(100-σ)，Rm×n表示实数矩阵，k代表当前的迭代循环次数，k为初始值为0的自然数，Ak,Yk分别表示第k次循环中低秩矩阵A和相似性块矩阵Y的值，Ak,Yk的初始值为0，Ek+1为新更新的噪声稀疏矩阵；
步骤2.2.2：更新低秩矩阵A，求得更新后低秩矩阵Ak+1，公式如下：
<mrow>
<msub>
<mi>A</mi>
<mrow>
<mi>k</mi>
<mo>+</mo>
<mn>1</mn>
</mrow>
</msub>
<mo>=</mo>
<msub>
<mi>U</mi>
<mrow>
<mi>k</mi>
<mo>+</mo>
<mn>1</mn>
</mrow>
</msub>
<msub>
<mi>S</mi>
<mi>&tau;</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>&Sigma;</mi>
<mo>)</mo>
</mrow>
<msubsup>
<mi>V</mi>
<mrow>
<mi>k</mi>
<mo>+</mo>
<mn>1</mn>
</mrow>
<mi>T</mi>
</msubsup>
</mrow>
其中Uk+1，∑，通过对矩阵进行奇异值分解SVD求得，其中，Uk+1为左奇异矩阵，∑为奇异值对角矩阵，为右奇异矩阵，Vk+1 T表示矩阵Vk+1的转置，Sτ(∑)表示对奇异值对角矩阵∑进行软阈值收缩；
阈值计算公式为：
τ＝0.5m·n/sum(D)
其中，sum(D)为矩阵D中所有元素的和，矩阵D为相似性块矩阵Y的初始值；
步骤2.2.3：根据更新后低秩矩阵Ak+1，求得更新的矩阵Yk+1，同时令k＝k+1进行下一次迭代；
Yk+1＝Yk+μ(D-Ak+1-Ek+1)
其中Ak+1,Ek+1分别为步骤2.2.1和2.2.2中更新的低秩矩阵A和噪声稀疏矩阵E的值，Yk为第k次循环中相似性块矩阵的Y值；
步骤2.2.4判断迭代次数k是否达到最大迭代次数，若达到最大迭代次数，则终止迭代，输出去噪低秩矩阵A；否则重复步骤2.2.1到步骤2.2.3，进行下一次迭代。
步骤3.根据步骤2输出的降噪之后的低秩矩阵A，采用均值法对重叠的像素进行聚集，最终输出视频。
2.根据权利要求1所述的一种基于3D协同滤波与低秩矩阵重建的视频去噪方法，其特征在于，所述的步骤1.2包括如下步骤：
步骤1.2.1：对相似块分组的每个块进行离散余弦变换；
步骤1.2.2：对离散余弦变换的结果进行沃尔什哈达玛变换得到3D变换系数；
步骤1.2.3：对3D变换系数进行硬阈值收缩，硬阈值定为2.7；
步骤1.2.4：将硬阈值收缩后的系数依次进行沃尔什哈达玛逆变换，DCT逆变换得到分组中每个图像块的估计值
3.根据权利要求1所述的一种基于3D协同滤波与低秩矩阵重建的视频去噪方法，其特征在于，所述的步骤1.3包括如下步骤：
步骤1.3.1：计算加权系数w(x,xR)：
w(x,xR)＝w1(x(xR))·w2(xR)
其中，w1(x(xR))为选凯瑟窗系数，x(xR)为像素x在参考块xR中的坐标；w2(xR)为参考块的相似块分组的3D变换系数进行硬阈值收缩之后统计的非零元素个数，w2(xR)计算公式如下：
σ为噪声水平标准差，N(xR)为参考块xR对应的相似块分组的3D变换系数进行硬阈值收缩后非零元素的个数；
步骤1.3.2：根据加权系数对估计值进行聚集，得到基础估计图像；聚集公式如下所示：
<mrow>
<msup>
<mover>
<mi>y</mi>
<mo>^</mo>
</mover>
<mrow>
<mi>b</mi>
<mi>a</mi>
<mi>s</mi>
<mi>i</mi>
<mi>c</mi>
</mrow>
</msup>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfrac>
<mrow>
<munder>
<mo>&Sigma;</mo>
<mrow>
<msub>
<mi>x</mi>
<mi>m</mi>
</msub>
<mo>&Element;</mo>
<mi>S</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>)</mo>
</mrow>
</mrow>
</munder>
<mi>w</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<msub>
<mi>x</mi>
<mi>m</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>&CenterDot;</mo>
<msub>
<mover>
<mi>x</mi>
<mo>^</mo>
</mover>
<mi>m</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<munder>
<mo>&Sigma;</mo>
<mrow>
<msub>
<mi>x</mi>
<mi>m</mi>
</msub>
<mo>&Element;</mo>
<mi>S</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>)</mo>
</mrow>
</mrow>
</munder>
<mi>w</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<msub>
<mi>x</mi>
<mi>m</mi>
</msub>
<mo>)</mo>
</mrow>
</mrow>
</mfrac>
</mrow>
其中，是像素x的基础估计结果，S(x)代表包含像素x的参考块集合，xm为参考块集合S(x)之一，为xm的估计值。
4.根据权利要求1所述的一种基于3D协同滤波与低秩矩阵重建的视频去噪方法，其特征在于，所述的步骤1.1和2.1中对每个图像块分别进行帧内和帧间的相似块匹配的方法为：以参考块为中心，nHW为半径搜索相似块，采用绝对差值和SAD来确定图像块之间的距离，若小于给定阈值则判定两图像块相似。
5.根据权利要求4所述的一种基于3D协同滤波与低秩矩阵重建的视频去噪方法，其特征在于，阈值设定为2000像素值，nHW为8。
6.一种使用如权利要求1所述的基于3D协同滤波与低秩矩阵重建的视频去噪方法的系统，其特征在于，包括如下模块：
基础估计模块：用于对含噪视频进行3D协同滤波预处理，得到基础估计图像；
包括用于对输入视频的每一帧进行分块，对每个图像块分别进行帧内和帧间的相似块匹配，得到每个参考块xR的相似块分组；
包括用于对每个参考块xR的相似块分组进行3D协同滤波，得到每个参考块xR的估计值
包括用于对估计值进行聚集，得到基础估计图像；
低秩矩阵重建模块：用于对得到的基础估计图像再进行低秩矩阵重建进一步去噪，得到最终去噪后的图像；
包括用于对基础估计模块得到的基础估计图像的每个图像块分别进行帧内和帧间的相似块匹配，得到每个图像块的相似块分组；将分组中的每一个相似块排列成向量，组成一个相似性块矩阵Y；
Y＝(y1,y2,…ym)
其中m为参考块对应相似块组的个数，y1,y2,…ym分别为大小为N1×N1的匹配块矩阵；
包括用于将矩阵Y分解为两个矩阵A和E之和，对相似性块矩阵Y进行低秩循环最小化逼近，得到降噪之后的低秩矩阵A；
Y＝A+E
其中矩阵A和E均未知，A为低秩的无噪数据矩阵，E为噪声稀疏矩阵；
输出模块：用于对低秩矩阵重建模块：输出的降噪之后的低秩矩阵A，采用均值法对重叠的像素进行聚集，最终输出视频。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410414416.8A CN104159003B (zh) | 2014-08-21 | 2014-08-21 | 一种基于3d协同滤波与低秩矩阵重建的视频去噪方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410414416.8A CN104159003B (zh) | 2014-08-21 | 2014-08-21 | 一种基于3d协同滤波与低秩矩阵重建的视频去噪方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104159003A CN104159003A (zh) | 2014-11-19 |
| CN104159003B true CN104159003B (zh) | 2017-08-25 |
Family
ID=51884403
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410414416.8A Expired - Fee Related CN104159003B (zh) | 2014-08-21 | 2014-08-21 | 一种基于3d协同滤波与低秩矩阵重建的视频去噪方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104159003B (zh) |
Families Citing this family (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105137373B (zh) * | 2015-07-23 | 2017-12-08 | 厦门大学 | 一种指数信号的去噪方法 |
| CN105607125B (zh) * | 2016-01-15 | 2018-04-13 | 吉林大学 | 基于块匹配算法和奇异值分解的地震资料噪声压制方法 |
| CN105631830A (zh) * | 2016-03-08 | 2016-06-01 | 哈尔滨工业大学（威海） | 光声图像去噪方法及装置 |
| CN105844589B (zh) * | 2016-03-21 | 2018-12-21 | 深圳市未来媒体技术研究院 | 一种基于混合成像系统的实现光场图像超分辨的方法 |
| CN105872315B (zh) * | 2016-04-01 | 2019-03-08 | 广西大学 | 一种针对混合噪声的视频去噪方法 |
| CN105894519A (zh) * | 2016-04-25 | 2016-08-24 | 武汉工程大学 | 一种基于低秩恢复的鲁棒性图像分割算法 |
| CN106157259A (zh) * | 2016-06-24 | 2016-11-23 | 西安电子科技大学昆山创新研究院 | 基于尺度混合模型和低秩逼近的视频去噪方法 |
| CN111031313B (zh) * | 2017-03-02 | 2021-09-24 | 北方工业大学 | 基于次级参考块和次级估计组的滤波方法和装置 |
| CN106934775A (zh) * | 2017-03-08 | 2017-07-07 | 中国海洋大学 | 一种基于低秩恢复的非局部图像去噪方法 |
| CN107301629A (zh) * | 2017-06-28 | 2017-10-27 | 重庆大学 | 一种基于变换域联合稀疏表示的图像重构方法 |
| CN107295353B (zh) * | 2017-08-15 | 2019-12-31 | 电子科技大学 | 视频编码参考块滤波方法 |
| CN107993207A (zh) * | 2017-11-29 | 2018-05-04 | 绍兴文理学院 | 基于图像子块低秩分解的asl图像去噪方法及系统 |
| CN108257098A (zh) * | 2018-01-05 | 2018-07-06 | 同济大学 | 基于最大后验概率译码和三维块匹配滤波的视频去噪方法 |
| CN109003247B (zh) * | 2018-07-26 | 2021-06-15 | 吉林大学 | 彩色图像混合噪声的去除方法 |
| CN109815849A (zh) * | 2019-01-02 | 2019-05-28 | 东莞理工学院 | 基于奇异值分解的混沌信号去噪算法 |
| CN111754411B (zh) * | 2019-03-27 | 2024-01-05 | Tcl科技集团股份有限公司 | 图像降噪方法、图像降噪装置及终端设备 |
| CN113132738A (zh) * | 2019-12-31 | 2021-07-16 | 四川大学 | 一种结合空时域噪声建模的hevc环路滤波优化方法 |
| CN112330981B (zh) * | 2020-10-16 | 2023-04-18 | 青岛博瑞斯自动化技术有限公司 | 一种基于物联网的船岸通管理系统及方法 |
| CN112837242B (zh) * | 2021-02-19 | 2023-07-14 | 成都国科微电子有限公司 | 一种图像降噪处理方法、装置、设备及介质 |
| CN113139914B (zh) * | 2021-03-16 | 2023-02-17 | 哈尔滨工业大学（深圳） | 图像去噪方法、装置、电子设备及存储介质 |
| CN113009560B (zh) * | 2021-03-23 | 2022-03-29 | 中国地质大学（武汉） | 一种地震数据重建方法、装置、设备及存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1809839A (zh) * | 2003-06-23 | 2006-07-26 | 维切普公司 | 自适应的多维信号序列编码/解码方法和装置 |
| US7545988B2 (en) * | 2004-08-09 | 2009-06-09 | George William Meeker | Image blocking artifact reduction via transform pair |
| CN102905125A (zh) * | 2011-07-28 | 2013-01-30 | 富士通株式会社 | 运动图像编码设备和运动图像编码方法 |
| CN103049892A (zh) * | 2013-01-27 | 2013-04-17 | 西安电子科技大学 | 基于相似块矩阵秩最小化的非局部图像去噪方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5974181A (en) * | 1997-03-20 | 1999-10-26 | Motorola, Inc. | Data compression system, method, and apparatus |
| US8885706B2 (en) * | 2011-09-16 | 2014-11-11 | Google Inc. | Apparatus and methodology for a video codec system with noise reduction capability |
-
2014
- 2014-08-21 CN CN201410414416.8A patent/CN104159003B/zh not_active Expired - Fee Related
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1809839A (zh) * | 2003-06-23 | 2006-07-26 | 维切普公司 | 自适应的多维信号序列编码/解码方法和装置 |
| US7545988B2 (en) * | 2004-08-09 | 2009-06-09 | George William Meeker | Image blocking artifact reduction via transform pair |
| CN102905125A (zh) * | 2011-07-28 | 2013-01-30 | 富士通株式会社 | 运动图像编码设备和运动图像编码方法 |
| CN103049892A (zh) * | 2013-01-27 | 2013-04-17 | 西安电子科技大学 | 基于相似块矩阵秩最小化的非局部图像去噪方法 |
Non-Patent Citations (4)
| Title |
|---|
| Adaptive video denoising using block matching 3-D filtering;Guangyi Chen，Tien D.Bui,et al.,;《Electrical & Computer Engineering (CCECE), 2012 25th IEEE Canadian Conference on》;20121022;全文 * |
| Decomposition Approach for Low-Rank Matrix Completion and Its Applications;Rick Ma, Nafise barzigar,et al.,;《IEEE Transactions on Signal Processing》;20140117;第62卷(第7期);全文 * |
| Robust video denoising using low rank matrix completion;Hui Ji, Chaoqiang Liu, et al.;《CVPR 2010》;20100805;正文第1791-1794页 * |
| Video denoising by sparse 3D transform-domain collaborative filtering;Kostadin Dabov, Alessandro Foi, and Karen Egiazarian.;《EUSIPCO 2007》;20070907;正文第145-147页、图1 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN104159003A (zh) | 2014-11-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104159003B (zh) | 一种基于3d协同滤波与低秩矩阵重建的视频去噪方法及系统 | |
| CN109741256B (zh) | 基于稀疏表示和深度学习的图像超分辨率重建方法 | |
| CN110119780B (zh) | 基于生成对抗网络的高光谱图像超分辨重建方法 | |
| Zhang et al. | Group-based sparse representation for image restoration | |
| CN110796625B (zh) | 一种基于组稀疏表示和加权全变分的图像压缩感知重构方法 | |
| Wen et al. | When sparsity meets low-rankness: Transform learning with non-local low-rank constraint for image restoration | |
| CN105243670B (zh) | 一种稀疏和低秩联合表达的视频前景对象精准提取方法 | |
| CN106709875A (zh) | 一种基于联合深度网络的压缩低分辨率图像复原方法 | |
| CN103854262B (zh) | 基于结构聚类与稀疏字典学习的医学图像降噪方法 | |
| CN105844590A (zh) | 基于稀疏表示的图像超分辨率重建方法及系统 | |
| CN105279740A (zh) | 一种基于稀疏正则化的图像去噪方法 | |
| Nejati et al. | Denoising by low-rank and sparse representations | |
| CN105046664A (zh) | 一种基于自适应epll算法的图像去噪方法 | |
| Peyré et al. | Learning the morphological diversity | |
| CN106447632B (zh) | 一种基于稀疏表示的raw图像去噪方法 | |
| CN111915518B (zh) | 基于三重低秩模型的高光谱图像去噪方法 | |
| CN105957029A (zh) | 基于张量字典学习的磁共振图像重建方法 | |
| Cao et al. | CS-MRI reconstruction based on analysis dictionary learning and manifold structure regularization | |
| CN104200439B (zh) | 基于自适应滤波和正则约束的图像超分辨方法 | |
| CN106600533A (zh) | 单图像超分辨率重建方法 | |
| CN106157259A (zh) | 基于尺度混合模型和低秩逼近的视频去噪方法 | |
| CN109741258B (zh) | 基于重建的图像超分辨率方法 | |
| Wen et al. | The power of complementary regularizers: Image recovery via transform learning and low-rank modeling | |
| CN106296583A (zh) | 基于图像块组稀疏编码与成对映射的含噪高光谱图像超分辨率重构方法 | |
| CN106375773B (zh) | 基于动态阈值的帧复制粘贴篡改检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20170825 Termination date: 20200821 |