CN103136732B - 一种基于矩阵填充的图像去噪方法 - Google Patents

Abstract

一种针对数字图像与视频的去噪方法，包括如下步骤：抽取静态图像帧、块匹配与矩阵建模、矩阵填充、同步视频；本发明基于矩阵填充技术，采用块匹配的方式，可对多种噪声组成的混合噪声进行有效去噪。发明将矩阵填充(Matrix Completion)理论运用到视频去噪中，通过非精确增广拉格朗日乘子（Inexact Augmented LagrangeMultiplier，简称IALM）算法进行去噪。本发明比原有的视频去噪算法具有更高的精确度与匹配速度，可直接应用于视频监控、视频搜索等机器视觉领域。

Description

一种基于矩阵填充的图像去噪方法

技术领域

本发明涉及一种数字图像的去噪方法，属于数字图像处理技术领域。

背景技术

本发明是一种针对数字图像与视频的去噪方法。当前主流的图像与视频去噪技术主要针对高斯噪声、泊松颗粒噪声、脉冲噪声和椒盐噪声。当前主流的去噪算法有BM3D、基于PCA的去噪方法等。但这些算法都主要针对一种或者两种噪声进行有效去噪。

发明内容

本发明基于矩阵填充技术，采用块匹配的方式，可对多种噪声组成的混合噪声进行有效去噪。

本发明采用如下技术方案：

一种基于矩阵填充的图像去噪方法，包括如下步骤：抽取静态图像帧、块匹配与矩阵建模、矩阵填充、同步视频；

S1：抽取静态图像帧；将待去噪视频片段，分解成l帧静态图像,其中l≥0；每幅图像大小为N₁×N₂，其中N₁，N₂分别对应图像长度方向的像素数和宽度方向的像素数；将每幅彩色图像分成R红色、G绿色、B蓝色三个通道的灰度图像，生成含有R红色、G绿色、B蓝色三个三维数组的(N₁×N₂×l)分别存储在Ω_r、Ω_g、Ω_b中，Ω_r、Ω_g、Ω_b分别表示存储红色、绿色、蓝色的静态图像序列。

S2：矩阵建模；分别将含有元素(N₁×N₂×l)的三维数组Ω_r、Ω_g、Ω_b转成D_r、D_g、D_b，其中D_r、D_g、D_b中存储有二维数组(N×l)其中N=N₁×N₂，N为采样元素个数，即将原始图像矩阵的行列按照光栅的顺序从左至右，从上至下串联为列，三个二维数组D_r、D_g、D_b统称为：静态二维图像序列D，作为步骤S3的输入观测矩阵；D_r、D_g、D_b分别表示存储红色、绿色、蓝色的图像的数组序列。

S3：矩阵填充；

在矩阵填充（Matrix Completion）中将缺少部分元素的矩阵填充完整。在数学上，当矩阵的秩满足某个条件，可以利用矩阵填充技术将原始矩阵分离为理想低秩矩阵与稀疏矩阵之和。从压缩感知与数字图像处理领域，可利用矩阵填充技术将原始数组分离为理想高质量图像与噪声图像之和。进行矩阵填充的具体步骤如下：

S3.1：在进行矩阵填充前，首先确认矩阵填充的可行性，即要满足如下两个条件：

1）矩阵D的秩r要满足：

$r\≤C\frac{m}{\log m}$

其中C为存在的某一个常数，即|C|<∞。m为矩阵D的采样元素数目。只要存在C满足上述不等式，即满足第一个条件。

2）采样的元素数目m要满足：

m≥Cn^5/4rlogn

其中C为存在的某一个常数，即|C|<∞。n为矩阵D的维数，r为矩阵D的秩。如满足上述两个条件，则矩阵填充的最优解正好为D的概率p满足：

p≥1-Cn^-3

S3.2：满足步骤S3.1的可行性后，采用矩阵填充中的非精确增广拉格朗日乘子（Inexact Augmented Lagrange Multiplier，简称IALM）算法进行去噪；矩阵恢复问题的增广拉格朗日函数为：

$L(A,E,Y,\mathrm{\&mu;})={\left|\right|A\left|\right|}_{*}+\mathrm{\&lambda;}{\left|\right|E\left|\right|}_1+<Y,D-A-E>+\frac{\mathrm{\&mu;}}{2}{\left|\right|D-A-E\left|\right|}_F^2$

其中，D为输入的观测矩阵；A为输出的低秩矩阵，即最优解；E为输出的噪声矩阵；λ为噪声矩阵E（稀疏矩阵）在低秩矩阵A中的比重，初始值设为μ为一个正数，初始值μ₀设为1.25/||D||₂；Y为拉格朗日乘子；<Y,D-A-E>为矩阵Y^T·(D-A-E)的迹，记为tr[Y^T·(D-A-E)]，令Z=Y^T·(D-A-E)，即二维矩阵，则 为矩阵A的核范数（nuclear norm），σ_k(A)表示矩阵A的第K大的奇异值；||E||₁表示矩阵E的1范数；||D-A-E||_F表示矩阵(D-A-E)的Frobenious范数。

根据拉格朗日函数，求解A与E；其中其中：A为低秩矩阵，E为噪声矩阵。

S4:同步视频

根据S1-3步骤获得的低秩矩阵A和噪声矩阵E，同步原始视频，具体方法为：

根据步骤S3的IALM算法，矩阵D_r、D_g、D_b分别计算输出低秩矩阵A和声矩阵E，对应为：A_r、A_g、A_b和E_r、E_g、E_b；然后分别将大小均为：N×l的二维数组：A_r、A_g、A_b转为三维数组（N₁×N₂×l）：ξ_r、ξ_g、ξ_b分别代表红、绿、蓝三个通道的图像序列；最后将三个通道的视频序列合并为彩色视频，记为：Ф输出。Ф(:,:,:,1)=ξ_r,Ф(:,:,:,2)=ξ_g,Ф(:,:,:,3)=ξ_b

本发明可以获得如下有益效果：

发明将矩阵填充(Matrix Completion)理论运用到视频去噪中，通过非精确增广拉格朗日乘子（Inexact Augmented Lagrange Multiplier，简称IALM）算法进行去噪。本发明比原有的视频去噪算法具有更高的精确度与匹配速度，可直接应用于视频监控、视频搜索等机器视觉领域。

附图说明

图1视频去噪总流程图；

图2IALM算法流程图；

图3原始视频转换RGB三通道示意图；

图4Xiph.org视频测试库运用本方法去噪实例Ⅰ；

图5Xiph.org视频测试库运用本方法去噪实例Ⅱ；

具体实施方式

为了更好地理解本发明，下面结合附图和具体实施方式对本发明作详细说明。本发明提出了一种新的基于矩阵填充技术的视频去噪方法及装置。下面对主要步骤进行具体说明。如图1所示为视频去噪总流程图，具体视频去噪过程如下所示：

S1抽取静态图像帧。

设有原始视频片断：”foreman.avi”，分辨率为720×576，视频片断共计300帧，因此N₁=720,N₂=576,l=300；视频记为：Ω，则R、G、B三个通道的灰度视频记为：Ω_r、Ω_g、Ω_b。

其中Ω_r=Ω(:,:,1);Ω_g=Ω(:,:,2);Ω_b=Ω(:,:,3)；如图3所示为原始视频转换RGB三通道示意图。从左至右依次为

(a)原始视频Ω   (b)红色通道Ω_r   (c)绿色通道Ω_g   (d)蓝色通道Ω_b

S2矩阵建模。

分别将三维数组(N₁×N₂×l)Ω_r、Ω_g、Ω_b转成二维数组(N×l)D_r、D_g、D_b，其中N=N₁×N₂。具体方法为将数组的前两个维度合并为一个维度，例如：

数组 ${\mathrm{\&Omega;}}_{\mathrm{rl}}=\left[\begin{array}{ccc}1& 2& 3\\ 4& 5& 6\\ 7& 8& 9\end{array}\right]$ （N₁=3,N₂=3），转换后，数组 $D_{\mathrm{rl}}=\left[\begin{array}{c}1\\ 2\\ 3\\ 4\\ 5\\ 6\\ 7\\ 8\\ 9\end{array}\right],$ 这里的N=N₁×N₂=3×3=9。以D_rl作为数组D_r的每一列，以此类推。若视频共有300帧，则得到的二维数组D_r、D_g、D_b的大小为：N×l=9×300。数组统称为：D，作为第3步骤的输入观测矩阵。

S3矩阵填充（Matrix Completion）。

首先检测矩阵填充的可行性。

（1）矩阵D的秩r要满足：

$r\&le;C\frac{m}{\log m}$

其中C为存在的某一个常数，m为矩阵的采样元素数目。

以原始视频片断：”foreman.avi”为例，矩阵D_r的大小为：(720×576)×300=414720×300，矩阵的秩r=87，采样数目m=10000，则必然存在一个常数C满足以上不等式。

（2）采样的元素数目m要满足：

m≥Cn^5/4rlogn

n为矩阵的维数，r为矩阵的秩。由于m=10000，且n=min(N₁×N₂)=300，因此必然存在C满足以上不等式。故可求出的最优解正好为D的概率p满足：

p≥1-Cn^-3

满足可行性后，本发明采用矩阵填充中的非精确增广拉格朗日乘子（Inexact Augmented Lagrange Multiplier，简称IALM）算法进行去噪。求解低秩矩阵A和噪声矩阵E的具体流程如图2所示：

其中为矩阵D中的第i行、第j列的元素的值，||D||₂=σ₁(D)即矩阵D的第1个最大奇异值；Y₀为增广拉格朗日乘子的初始值；E₀为噪声矩阵的初始值；iteration为算法的迭代次数，初始值设为零；maxIter为可进行的最大迭代次数，设置为1000；StopCriterion为算法的误差值；Tolerant_value为误差容忍度；StopCriterion<Tolerant_value为跳出循环输出A与E的判定条件，如果判定式为真，则跳出循环输出A与E，如果为假，则继续执行下一轮循环；(U,S,V)=svd(·)表示进行奇异值分解，分别返回U、S、V，U和V分别为正交矩阵，S为对角线矩阵；A_k+1为第k次循环输出的低秩矩阵A；E_k+1为第k次循环输出的噪声矩阵E；Y_k+1为第k次循环输出的增广拉格朗日乘子Y；μ_k+1为第k次循环输出的调节系数μ；ρ为灵敏度系数，可调节，初始值设置为1.5；μ_β为系数μ的上限，可调节，初始值设置为μ的10⁷倍。最终输出A_k+1与E_k+1，即低秩矩阵A与噪声矩阵E。

矩阵恢复问题的增广拉格朗日函数为：

$L(A,E,Y,\mathrm{\&mu;})={\left|\right|A\left|\right|}_{*}+\mathrm{\&lambda;}{\left|\right|E\left|\right|}_1+<Y,D-A-E>+\frac{\mathrm{\&mu;}}{2}{\left|\right|D-A-E\left|\right|}_F^2$

其中，D为输入的观测矩阵；A为输出的低秩矩阵，即最优解；E为输出的噪声矩阵；λ为噪声矩阵E（稀疏矩阵）在低秩矩阵A中的比重，初始为估计值；μ为一个正数；Y为拉格朗日乘子；<Y,D-A-E>为矩阵Y^T·(D-A-E)的迹，记为tr[Y^T·(D-A-E)]，令Z=Y^T·(D-A-E)，则 为矩阵A的核范数（nuclear norm），σ_k(A)表示矩阵A的第K大的奇异值；||E||₁表示矩阵E的1范数；||D-A-E||_F表示矩阵(D-A-E)的Frobenious范数。

为了更加直观，举例说明：

假设输入的观测矩阵D的大小为8×8，秩为4：

$\begin{array}{ccccccccc}D=& & & & & & & & \\ & 0.5159& -2.2252& -0.9890& -0.8303& 1.0456& -2.0096& 1.4769& 0.6375\\ & 0.3315& -0.9355& -0.9110& -3.2364& -0.7463& -1.9892& 2.7244& 2.7517\\ & -1.3458& 5.7497& 0.8762& -0.7977& -1.7430& 2.5040& 0.3150& -3.0500\\ & -0.8676& 2.4144& -0.1942& 0.9494& 0.3220& 0.5956& 0.2046& -0.1586\\ & -1.8288& 5.6434& -3.3980& -6.9173& -0.5234& -4.0099& 9.4414& 3.2182\\ & 0.7618& -2.3809& 0.2569& -0.0548& -0.0712& -0.3346& -0.7930& 0.5588\\ & 0.5028& -2.2691& 0.3458& 1.8252& 0.4205& 0.1757& -1.9871& 1.8265\\ & -2.1728& 4.6995& -0.3363& 4.9598& 1.1111& 1.8459& -1.6217& 4.3583\end{array}$

经过IALM算法输出的低秩矩阵A为：

$\begin{array}{ccccccccc}A=& & & & & & & & \\ & 0.0715& 0.9035& -0.6934& -0.8240& -0.3330& 0.2902& 0.7280& -0.7207\\ & 0.5765& -1.7306& 0.4450& 2.0372& -2.1319& 0.8157& 0.2052& 0.3677\\ & 0.9805& -1.5639& 0.1463& 1.7900& -1.6890& 0.3905& 0.0925& 0.1523\\ & -1.1935& -0.6521& 1.2683& 0.9975& -1.4163& 1.0696& 0.5981& 0.4277\\ & -2.4539& 0.9864& 1.2796& -0.5135& -1.2564& 1.5359& 1.6440& -0.2482\\ & -1.9105& 0.8907& 0.8428& -0.3588& -1.8112& 1.6748& 1.8728& -0.5255\\ & -2.0075& 1.7899& 0.5964& -1.7192& 0.8109& 0.3344& 0.8199& -0.3484\\ & 1.8319& -0.7290& -1.0193& 0.4341& 0.5901& -0.9299& -1.0349& 0.1042\end{array}$

矩阵的秩为3；噪声矩阵E为：

$\begin{array}{ccccccccc}E=& & & & & & & & \\ & 1.6447& 0.3326& -1.6503& -0.0388& -1.9056& 0& 0& -1.1433\\ & 0& -1.3619& 0& 0.6357& -6.9109& 0.0198& 0& 4.2796\\ & 1.7079& -2.5860& 0.4784& 1.7951& -4.4196& -0.2061& 3.3492& -1.9625\\ & -0.7514& 0& 0.0077& 0& 0& 0.9879& -1.4318& 0\\ & 0& 0& 0.0000& -0.4828& -5.4571& 0& 1.7795& 2.7724\\ & -0.3694& 0& 0& 0& -2.7306& 1.0210& 0.1485& 0\\ & -0.0000& 0& 0.4019& -0.6860& 2.1054& 0& 1.8649& 0\\ & 1.5860& -0.1550& -2.0865& -0.8068& 0& 0& 0& 1.5406\end{array}$

S4同步视频

根据第3步骤的IALM算法，矩阵D_r、D_g、D_b分别生成A_r、A_g、A_b，大小为：N×l，现执行步骤2的逆过程，分别将二维数组：A_r、A_g、A_b转为三维数组（N₁×N₂×l）：ξ_r、ξ_g、ξ_b；然后将三维数组合并为去噪视频，记为：Ф输出。

本发明装置以Xiph.org Video Test Media视频测试序列（http://http://media.xiph.org/video/derf/）为例进行实验。选择库中的carphone和mobile视频片断，去噪后的视频截图显示如图4和图5均为Xiph.org视频测试库运用本方法去噪实例，从上至下分别为清晰的视频、带有噪声的视频、去噪后的视频。其中图4为carphone图像的实验结果；图5为mobile图像的实验结果。

Claims (1)

1.一种基于矩阵填充的图像去噪方法，其特征在于：其包括如下步骤：抽取静态图像帧、块匹配与矩阵建模、矩阵填充、同步视频；

S1：抽取静态图像帧；将待去噪视频片段，分解成l帧静态图像,其中l≥0；每幅图像大小为N₁×N₂，其中N₁，N₂分别对应图像长度方向的像素数和宽度方向的像素数；将每幅彩色图像分成R红色、G绿色、B蓝色三个通道的灰度图像，生成含有R红色、G绿色、B蓝色三个三维数组的(N₁×N₂×l)分别存储在Ω_r、Ω_g、Ω_b中，Ω_r、Ω_g、Ω_b分别表示存储红色、绿色、蓝色的静态图像序列；

S2：块匹配与矩阵建模；分别将含有元素(N₁×N₂×l)的三维数组Ω_r、Ω_g、Ω_b转成D_r、D_g、D_b，其中D_r、D_g、D_b中存储有二维数组(N×l)其中N＝N₁×N₂，N为采样元素个数，即将原始图像矩阵的行列按照光栅的顺序从左至右，从上至下串联为列，三个二维数组D_r、D_g、D_b统称为：静态二维图像序列D，作为步骤S3的输入观测矩阵；D_r、D_g、D_b分别表示存储红色、绿色、蓝色的图像的数组序列；

S3：矩阵填充；

在矩阵填充中将缺少部分元素的矩阵填充完整；在数学上，当矩阵的秩满足某个条件，利用矩阵填充技术将原始矩阵分离为理想低秩矩阵与稀疏矩阵之和；从压缩感知与数字图像处理领域，利用矩阵填充技术将原始数组分离为理想高质量图像与噪声图像之和；进行矩阵填充的具体步骤如下：

S3.1：在进行矩阵填充前，首先确认矩阵填充的可行性，即要满足如下两个条件：

1)矩阵D的秩r要满足：

$r\&le;C\frac{m}{\log m}$

其中C为存在的某一个常数，即|C|＜∞；m为矩阵D的采样元素数目；只要存在C满足上述不等式，即满足第一个条件；

2)采样的元素数目m要满足：

m≥Cn^5/4rlogn

其中C为存在的某一个常数，即|C|＜∞；n为矩阵D的维数，r为矩阵D的秩；如满足上述两个条件，则矩阵填充的最优解正好为D的概率p满足：

p≥1-Cn^-3

S3.2：满足步骤S3.1的可行性后，采用矩阵填充中的非精确增广拉格朗日乘子IALM算法进行去噪；矩阵恢复问题的增广拉格朗日函数为：

$L(A,E,Y,\mathrm{\&mu;})={\left|\right|A\left|\right|}_{*}+\mathrm{\&lambda;}{\left|\right|E\left|\right|}_1+<Y,D-A-E>+\frac{\mathrm{\&mu;}}{2}{\left|\right|D-A-E\left|\right|}_F^2$

其中，D为输入的观测矩阵；A为输出的低秩矩阵，即最优解；E为输出的噪声矩阵；λ为噪声矩阵E在低秩矩阵A中的比重，初始值设为μ为一个正数，初始值μ₀设为1.25/||D||₂；Y为拉格朗日乘子；<Y,D-A-E>为矩阵Y^T·(D-A-E)的迹，记为tr[Y^T·(D-A-E)]，令Z＝Y^T·(D-A-E)，即二维矩阵，则

为矩阵A的核范数，σ_k(A)表示矩阵A的第K大的奇异值；||E||₁表示矩阵E的1范数；||D-A-E||_F表示矩阵(D-A-E)的Frobenious范数；

根据拉格朗日函数，求解A与E；其中：A为低秩矩阵，E为噪声矩阵；

S4:同步视频；

根据S1-3步骤获得的低秩矩阵A和噪声矩阵E，同步原始视频，具体方法为：

根据步骤S3的IALM算法，矩阵D_r、D_g、D_b分别计算输出低秩矩阵A和躁声矩阵E，对应为：A_r、A_g、A_b和E_r、E_g、E_b；然后分别将大小均为：N×l的二维数组：A_r、A_g、A_b转为三维数组(N₁×N₂×l)：ξ_r、ξ_g、ξ_b分别代表红、绿、蓝三个通道的图像序列；最后将三个通道的视频序列合并为彩色视频，记为：Φ输出；Φ(:,:,:,1)＝ξ_r,Φ(:,:,:,2)＝ξ_g,Φ(:,:,:,3)＝ξ_b。