CN110111264A - 基于车载视频图传图像的去噪方法 - Google Patents

Abstract

本发明公开了一种基于车载视频图传图像的去噪方法，包括如下步骤：步骤一、建立混合噪声模型；步骤二、对脉冲噪声点进行检测；步骤三、建立稀疏先验和非局部相似先验结合去噪模型；步骤四、对去噪模型求解。与现有技术相比，本发明的积极效果是：本发明依据去噪模型提出了一种适用性更高的脉冲噪声检测算法；本发明有效地将非局部相似和稀疏表示嵌入去噪模型，并结合新的脉冲噪声检测算法对去噪模型进行优化。

Description

基于车载视频图传图像的去噪方法

技术领域

本发明涉及一种基于车载视频图传图像的去噪方法。

背景技术

针对车载视频传输，由于传输视频的摄像机将会长时间暴露于户外的环境，户外环境经常都是炎热、寒冷、风雨交加等导致相关传感器受到会偶然出现故障；对于视频传输信道通常也是多信道的(光纤、无线等)，其接线的复杂性和外界情况的干扰，信道传输上也会出现各种影响，基于上述影响实际车载视频传输中，图像都是夹杂了脉冲噪声(impulsenoise，IN)、高斯噪声(additive white Gaussian noise，AWGN)等几种噪声的混合噪声，因此混合噪声的去噪改进对于车载视频图传十分关键。目前图像去噪的研究中，也获得了很多突破性成果，很多经典的去噪算法都可以获得去噪效果。但是，大多数算法都是根据单一的噪声特点，研究出专门的实用算法，比如空间自适应滤波、偏微分方程法与小波变换等。对于实际车载情况下视频图传的混合噪声，单一噪声的去噪算法都去噪效果不佳。

发明内容

为了克服现有技术的缺点，本发明提供了一种基于车载视频图传图像的去噪方法。

本发明所采用的技术方案是：一种基于车载视频图传图像的去噪方法，包括如下步骤：

步骤一、建立混合噪声模型；

步骤二、对脉冲噪声点进行检测；

步骤三、建立稀疏先验和非局部相似先验结合去噪模型；

步骤四、对去噪模型求解。

与现有技术相比，本发明的积极效果是：

1、本发明依据去噪模型提出了一种适用性更高的脉冲噪声检测算法；

2、针对本发明提出的混合噪声模型，有效地将非局部相似和稀疏表示嵌入去噪模型，并结合新的脉冲噪声检测算法对去噪模型进行优化。

附图说明

本发明将通过例子并参照附图的方式说明，其中：

图1是脉冲噪声点检测算法模型的窗口方向表示图；

图2为Field图像的不同算法去噪图像；

图3为Lab图像的不同算法去噪图像。

具体实施方式

本发明模拟实际车载传输中可能出现由AWGN和IN(SPIN+RVIN)的混合噪声，分析混合噪声的特性，为了获得图像更真实的信息，基于加权编码模型将图像稀疏表示和非局部相似信息融入到混合噪声去除的算法模型中，其中脉冲噪声的检测的准确性对于该混合去噪模型的影响因素很大，提出了针对脉冲噪声更为有效的检测算法，依据噪声情况先提出一个噪声点均值算法获得更真实的噪声点的像素值，然后设定一个双阈值判决公式，通过两步的处理完成对脉冲噪声的检测。

1混合噪声模型与脉冲噪声检测

1.1混合噪声模型

对于一幅干净图像x，可用x_i,j表示位于坐标(i,j)处的像素点的值，用y_i,j表示受到噪声污染后的图像。本文由AWGN，SPIN，RVIN所组成的混合噪声模型可以表示为：

式(1)中，噪声图像的灰度值为[d_min,,d_max]，这里表示为[0,255]。v_i,j为方差是σ的高斯噪声值。s(0≤s≤1)是图像椒盐噪声的噪声比率，因为只可能是d_min或d_max，它们的概率为s/2。r(0≤r≤1)是图像随机冲击噪声比，在值为d_i,j(d_min≤d_i,j≤d_max)噪声点，其y_i,j＝d_i,j的概率为r(1-s)。对于只受高斯噪声污染的像素点值为y_i,j＝x_i,j+v_i,j，其概率为(1-r)(1-s)。

1.2脉冲噪声点检测算法模型

d₁＝{|y_i-1,j+y_i+1,j-2y_i,j|} (2)

d₂＝{|y_i,j-1+y_i,j+1-2y_i,j|} (3)

d₃＝{|y_i-1,j-1+y_i+1,j+1-2y_i,j|} (4)

d₄＝{|y_i-1,j+1+y_i+1,j-1-2y_i,j|} (5)

d＝min{|d_k:1≤k≤4|} (6)

如图1所示，对于图像中的某个待测像素A，脉冲噪声像素的检测是通过一个3×3的窗口，图中L1，L2，L3，L4分别表示窗口的四个方向。公式(2)-(5)是基于上述四个方向得到的像素平均值。公式(6)代表四个平均值的最小值。

根据上述获得的d与阀值T的大小关系来判断其是否为脉冲噪声点。这里阀值的定义为公式(7)，其结合噪声的特点，分别是设定了两个不同阀值T1，T2，用以检测脉冲噪声。

判定方法：

如果d>T，则判断其为脉冲噪声点。T1，T2分别是根据噪声特点，根据y_i,j的值分别选取的阀值T1，T2，通过实验选取T1为2.5，T2为1.2σ。

2稀疏表示和非局部相似结合去噪

2.1去噪模型

受到抗差理论和基于稀疏编码的图像修复技术的启发，提出了一种新的加权编码模式来消除混合噪声。同时将自然图像的稀疏性和非局部自相似性先验也被集合到了该模型，使其具有强大的去噪功能。

一幅图像用x来表示，x∈R^N。x_i＝R_ix∈Rⁿ为一大小为的图像邻域块，通过R_i为这个矩阵向量，从中取出图像x中的某一图像块x_i。用超完备字典Φ＝[Φ₁；Φ₂；...Φ_n]对x_i进行稀疏编码，其为x_i＝Φα_i，α_i为一有少数非零项的稀疏编码矢量。最小二乘x可以表示为：

x＝Φα (8)

a表示所有编码向量a_i的集合。

对于图像y，其受高斯噪声污染。为了获取期望的编码模型可以表示为：

式(9)中R(α)限定解空间的正则项，让解有良好的特性，于是获得稳定解。在本算法中，字典Φ是通过事先学习好的，通过一个局部的PCA字典来进行稀疏表示。

对于混合噪声，噪声的分布与高斯噪声相比差别很大。混合噪声的数据拟合残差y-Φα相对于高斯噪声更不规则，同时还会出现重尾。因此，对于混合噪声的去除，公式(9)中使用l₂范数表示的数据拟合残差并不适用。但假如对数据保真项稍微做一些变动，让其残差的分布与高斯噪声下残差的分布更为相似的话，则l₂范数对混合噪声下的编码残差就依旧适用，让混合噪声变得更易处理。这里对数据的保真项进行加权处理，让其分布更加规则。

e＝[e₁；e₂；...e_N]＝y-Φα (10)

其中，e_i＝(y-Φα)(i)，使当时，通过函数f让残差总体的分布与高斯噪声下的残差的分布更加接近。f满足：1)f(e)≥0且f(0)＝0；2)f(e_i)≥f(e_j),|e_i|＞|e_j|；3)f(e)＝f(-e)。通过对每一项残差设计权重，达到减弱重尾的效果，则：

在受AWGN和IN混合噪声污染图像的恢复中，残差被分为两类。(1)受高斯噪声污染的噪声点，残差基本符合高斯分布，应不变即权重近似于1。(2)在受脉冲噪声污染的噪声点上，其残差设置较小权重，减弱重尾的分布。通过其他学者实验的结果表明，让f(e_i)设为因此，新的混合噪声去噪模型为：

其中w是对角加权矩阵，其中w_ii＝w_i。在权重的设置时，对没受到脉冲噪声污染的像素设置为1，受到脉冲污染的像素设置小权重，减少其影响。由于字典是对未受污染的自然图像预先学习的，于是受脉冲噪声污染的像素点将会有很大的编码残差。通过编码残差e_i来对权重w_ii进行设定，w_ii与e_i之间应为反比例关系。其中w_iiε[0.1]，将w_ii设定为：

a是一可控w_ii衰减速度的正常数。

为了让加权编码噪声模型(13)能更有效的用于混合噪声图像的恢复，R(α)的设计中将图像的先验知识应用于其中。同时将局部稀疏性和非局部自相似性，融入到变分模型的正则项中，让稀疏表示的系数更为准确。

对于图像x中图像块x_i，若图像块与x_i之间的欧氏距离不超过设定的阈值，就认为相似的。选出最相似的L个图像块，对其加权平均得用对x_i进行估计。权重与x_i到之间的距离成反比关系：h为一预置标量，ω为归一化因数。若Φ对图像块以及它的非局部相似块进行编码则x_i＝Φα_i，非局部相似块编码系数α_i和μ_i也是相似的。因此，我们可以用作为正则项代入公式(12)中。

其中l_p代表的是使用l₁范数还是l₂范数。

通过其它学者Jielin Jiang等人的实验证明l_p＝1可以取得更为合适。因此公式(14)可表示为：

在上文所提的模型中，通过数据保真项加权，进而正则项将稀疏先验和非局部相似先验结合了起来。使去噪模型融入了更多先验知识，求解的去噪图像更近于本真图像。

2.2变分模型求解

w确定后，算法模型公式(15)就变成l₁范数的稀疏编码问题，本文算法中，求解模型是通过迭代重新加权获得。设V是对角线矩阵，初始化为单位矩阵，通过k+1次迭代时，V中的元素被更新为：

上式ε是标量，更新后的a为：

通过公式(17)，(18)可获得所希望的稀疏表示系数a。加权矩阵W的更新由编码残差e确定，我们将e初始化为：

e⁽⁰⁾＝y-u_y·1 (18)

其中u_y是y中的所有像素的平均值，1为列向量，其元素都是1。使用y的平均值来初始化的X.进而通过公式(14)获得W。

最终，t＝||Φα^(k+1)-Φα^(k)||₂/||Φα^(k)||₂＜τ作为迭代终止的条件。

图2，图3分别为模拟添加了混合噪声的噪声图(“Field”、“Lab”)经过本发明算法和其他去噪算法去噪后的效果图。

为客观评价算法的性能，选取了PSNR和FSIM两个指标来衡量图像质量，对上述图像的原图添加了AWGN+SPIN+RVIN所组成的不同噪声比率情况下的混合噪声，得到的数据如表1，表2所示。

表1 AWGN+SPIN+RVIN下恢复结果的PSNR

表2 AWGN+SPIN+RVIN下恢复结果的FSIM

通过图2、图3、表1、表2可以看出，在AWGN+SPIN+RVIN所组成的不同噪声比的噪声图像中，无论从实际图像效果还是从客观去噪指标中，本发明方法获得的去噪效果都优于现有的几种常用去噪算法，所以对于实际的车载视频图传的图像去噪本发明的改进算法有着明显的优势。

Claims (6)

1.一种基于车载视频图传图像的去噪方法，其特征在于：包括如下步骤：

步骤一、建立混合噪声模型；

步骤二、对脉冲噪声点进行检测；

步骤三、建立稀疏先验和非局部相似先验结合去噪模型；

步骤四、对去噪模型求解。

2.根据权利要求1所述的基于车载视频图传图像的去噪方法，其特征在于：步骤一所述建立混合噪声模型的方法为：按如下公式建立由AWGN，SPIN，RVIN所组成的混合噪声模型：

式(1)中，x表示一幅干净图像，x_i,j表示位于坐标(i,j)处的像素点的值，y_i,j表示受到噪声污染后的图像，d_min、d_max分别表示噪声图像灰度值的最小值和最大值，v_i,j为方差是σ的高斯噪声值，s表示图像椒盐噪声的噪声比率，r表示图像随机冲击噪声比，d_i,j表示位于d_min和d_max之间的噪声点值。

3.根据权利要求2所述的基于车载视频图传图像的去噪方法，其特征在于：步骤二所述对脉冲噪声点进行检测的方法包括如下步骤：

1)按如下公式分别计算待测像素A所在3×3窗口的四个方向的像素平均值：

d₁＝{|y_i-1,j+y_i+1,j-2y_i,j|} (2)

d₂＝{|y_i,j-1+y_i,j+1-2y_i,j|} (3)

d₃＝{|y_i-1,j-1+y_i+1,j+1-2y_i,j|} (4)

d₄＝{|y_i-1,j+1+y_i+1,j-1-2y_i,j|} (5)

2)按如下公式计算代表四个平均值的最小值：

d＝min{d_k:1≤k≤4} (6)

3)按如下公式计算用以检测脉冲噪声的阀值：

4)判断是否满足d>T，若是则判断待测像素A为脉冲噪声点。

4.根据权利要求3所述的基于车载视频图传图像的去噪方法，其特征在于：所述T1、T2通过实验选取，其中：T1为2.5，T2为1.2σ。

5.根据权利要求3所述的基于车载视频图传图像的去噪方法，其特征在于：步骤三所述建立稀疏先验和非局部相似先验结合去噪模型的方法包括如下步骤：

第一步、用超完备字典Φ＝[Φ₁；Φ₂；...Φ_n]对x_i进行稀疏编码，得到如下最小二乘x：

x＝Φα (8)

式(8)中，x∈R^N，x_i＝R_ix∈Rⁿ表示从图像x中取出的大小为的图像邻域块，R_i为矩阵向量，用超完备字典Φ＝[Φ₁；Φ₂；...Φ_n]对x_i进行稀疏编码，得到x_i＝Φα_i，其中：α_i为一有少数非零项的稀疏编码矢量，a表示所有编码向量α_i的集合；

第二步、建立受高斯噪声污染图像y的编码模型：

式(9)中，R(α)为限定解空间的正则项；

第三步、对数据的保真项进行加权处理：

e＝[e₁；e₂；...e_N]＝y-Φα (10)

式(10)中，e_i＝(y-Φα)(i)，使f满足：1)f(e)≥0且f(0)＝0；2)f(e_i)≥f(e_j),|e_i|＞|e_j|；3)f(e)＝f(-e)；

对每一项残差设计权重：

令建立如下新的混合噪声去噪模型：

式(12)中，w是对角加权矩阵，其中w_ii＝w_i，w_ii∈[0.1]，将w_ii设定为：

式(13)中，a是一可控w_ii衰减速度的正常数；

第四步、选出图像x中与图像块x_i最相似的L个图像块对其加权平均得到用对x_i进行估计，其中：h为一预置标量，ω为归一化因数；用Φ对图像块以及它的非局部相似块进行编码得到，x_i＝Φα_i和非局部相似块编码系数α_i和μ_i是相似的，将作为正则项代入公式(12)中，得到：

其中l_p代表的是使用l₁范数还是l₂范数；

令l_p＝1，得到如下公式：

6.根据权利要求5所述的基于车载视频图传图像的去噪方法，其特征在于：步骤四所述对去噪模型求解的方法为：

1)设V是对角线矩阵，初始化为单位矩阵，通过k+1次迭代时，V中的元素被更新为：

其中：ε是标量，更新后的a为：

2)将e初始化为：

e⁽⁰⁾＝y-u_y·1 (18)

其中，u_y是y中的所有像素的平均值，1为列向量，其元素均为1；通过公式(17)，(18)计算稀疏表示系数a；

3)通过公式(14)获得加权矩阵W，将t＝||Φα^(k+1)-Φα^(k)||₂/||Φα^(k)||₂＜τ作为迭代终止的条件。