CN103886557A - 一种深度图像的去噪方法 - Google Patents

Abstract

本发明公开一种深度图像的去噪方法，其简单高效，对非高斯噪声具有鲁棒性。包括步骤：（1）获取中值滤波图像Y；（2）获取残差图像ΔY；（3）获取奇异点检测模板W；（4）获取混合深度图像（5）获取重叠的混合深度图像块（6）获取字典与稀疏系数；（7）获得重构的深度图像

Description

一种深度图像的去噪方法

技术领域

本发明属于图像处理的技术领域，具体地涉及一种深度图像的去噪方法。

背景技术

深度图像刻画的是物体的相对空间位置信息，在深度图像中，每一点的“像素”值表示的是物体上某点在空间中的相对距离信息（即，物体上该点相对于某个投影平面的距离）。由于深度图像能够有效的刻画现实世界中物体的几何位置结构信息，这些是普通的光学平面图像所不能代替的，因此深度图像在计算机视觉研究与应用领域中都具有重要的地位。近年来随着深度图像获取的不断普及，关于深度图像的应用逐渐成为了一个研究热点，如在多角度视觉合成技术以及人体目标跟踪等中的应用。

然而初始获取的深度图像，无论是通过视差模型估算的深度数据还是直接由TOF或者结构光深度采集仪等设备获取的深度数据都不能直接用于应用。因为这些初始获取的深度图像经常包含大量的噪声。而且这些噪声除了常规的平稳高斯白噪声外，更多的是一些不确定性干扰的非高斯噪声，如椒盐噪声，遮挡块，边缘处奇点等。由于深度图像特有的非高斯噪声特点使得常规的图像去噪方法无法凑效，因此构造有效的去噪方法以提升深度图像质量，对于深度图像的应用具有重要意义。

目前针对深度图像的去噪与修复主要有如下两种策略：

1）基于对某一类深度图像噪声的统计特性假定。例如T.Edeler等人假定TOF获取的深度数据的噪音方差与感应器像素所获取的光亮幅度成反比。该方法不具有一般性，只适用于TOF深度采集仪，而且对于物体边缘处的噪音，该假设并不成立，这些噪音更多的表现出椒盐噪声的随机特性。

2）对常用的图像去噪方法的直接使用或者改进使用。例如J.Kopf等人采用改进的双线性滤波框架对深度图像进行去噪，而B.Huhle和O.Schall等人则采用改进的鲁棒性非局部均值法来提升深度图像质量。双线性滤波和线性滤波一样也是基于图像局部平滑的思想，对于奇异点等非高斯噪声缺乏鲁棒性。非局部均值法是近年来比较流行的图像去噪方法，该方法充分挖掘了图像中非局部间的相似性信息，即图像中某些部位虽然在空间位置上是不相邻的，但却具有高度的相似性，如物体的边缘结构等。通过利用图像中的非局部相似性信息，非局部均值法在去掉噪音的同时能够有效的保留图像中一些细节结构信息，因此具有较好的图像修复效果。然而在非局部均值法中非局部图像块间相似性的计算对非高斯噪声缺乏鲁棒性。因此可以首先通过非局部均值法对深度图像中的奇异点进行检测并预处理然后再进行去噪。由于非局部均值法本身对奇异点噪声缺乏鲁棒性，因此难以有效检查深度图像中的奇异点；同时由于非局部均值法算法复杂度高因此这个额外增加的奇异点检查过程时间负责度太高。鉴于基于稀疏表示的字典学习方法在图像去噪领域取得了重大成功，M.Mahmoudi和Tosic等人近年来将稀疏表示模型引用于深度图像的修复与质量提升，并取得了相对较好的效果。稀疏字典学习方法借助于稀疏模型并通过字典自动更新学习策略能够有效的挖掘图像块在高层次的相互关联关系从而排除噪音信息保留图像结构信息。然而该模型也是以高斯噪声为假设前提的。图像中的非高斯噪声“坏点”（被不确定因素干扰的像素点）会严重干扰字典的学习过程导致字典获取一些非正常结构(irregular structure)而且影响稀疏编码的求解，因此稀疏字典学习方法对深度图像的修复也缺乏鲁棒性。中值滤波是一种简单高效的针对椒盐噪声的图像去噪方法，对图像中的奇异点有较强的鲁棒性。但该方法缺乏对图像结构信息深层次的挖掘，滤波后的图像过于平滑，丢失了大量的细节信息，尤其是带有线条型的边缘结构信息。而边缘结构信息是深度图像中最重要的信息，因此中值滤波方法并不适合直接用于深度图像的修复。

发明内容

本发明的技术解决问题是：克服现有技术的不足，提供一种深度图像的去噪方法，其简单高效，对非高斯噪声具有鲁棒性。

本发明的技术解决方案是：这种深度图像的去噪方法，包括以下步骤：

（1）获取中值滤波图像

（2）获取残差图像ΔY；

（3）获取奇异点检测模板W；

（4）获取混合深度图像

（5）获取重叠的混合深度图像块

（6）获取字典与稀疏系数；

（7）获得重构的深度图像

中值滤波算法对奇异点等非高斯噪声具有较强的鲁棒性，而且该算法的计算复杂度低，简单高效，因此可以使用中值滤波对深度图像中的坏点（被非高斯噪声严重干扰的像素点）进行快速的检测和初始修复。而稀疏表示字典学习模型充分挖掘了深度图像信号的稀疏本质，并通过字典学习的方法可以自适应的挖掘图像深层次的结构信息，因此该方法能较好的保留去噪后图像的结构信息。而且稀疏表示模型对轻微的非高斯噪声也有一定的修正能力。所以本发明将中值滤波和稀疏表示模型有效地结合并建立了新的深度图像去噪模型，从而本发明的方法简单高效，对非高斯噪声具有鲁棒性。

附图说明

图1示出了根据本发明的深度图像去噪模型；

图2示出了中值滤波的一个例子；

图3是根据本发明的流程图；

图4示出了在轻微高斯噪声（噪声方差σ=2）和不同程度的非高斯噪声污染下，本发明同当前流行算法的性能对比；

图5示出了在轻微高斯噪声（噪声方差σ=5）和不同程度的非高斯噪声污染下，本发明同当前流行算法的性能对比。

具体实施方式

如图3所示，这种深度图像的去噪方法，包括以下步骤：

（1）获取中值滤波图像

（2）获取残差图像ΔY；

（3）获取奇异点检测模板W；

（4）获取混合深度图像

（5）获取重叠的混合深度图像块

（6）获取字典与稀疏系数；

（7）获得重构的深度图像

中值滤波算法对奇异点等非高斯噪声具有较强的鲁棒性，而且该算法的计算复杂度低，简单高效，因此可以使用中值滤波对深度图像中的坏点（被非高斯噪声严重干扰的像素点）进行快速的检测和初始修复。而稀疏表示字典学习模型充分挖掘了深度图像信号的稀疏本质，并通过字典学习的方法可以自适应的挖掘图像深层次的结构信息，因此该方法能较好的保留去噪后图像的结构信息。而且稀疏表示模型对轻微的非高斯噪声也有一定的修正能力。所以本发明将中值滤波和稀疏表示模型有效地结合并建立了新的深度图像去噪模型，从而本发明的方法简单高效，对非高斯噪声具有鲁棒性。

优选地，步骤（1）中确定滤波模板的大小[L×L]，复制图像边缘像素进行

宽度的加边处理后得到大小为的深度图像，然后按照公式（2）从像素点开始依次遍历图像中像素点进行滤波处理，最后去掉所加的边得到滤波深度图像

其中，Y为原始输入的深度图像，P_L×L,ij表示在原始深度图像中以像素点p_ij（深度图像中位于[i,j]处的像素值）为中心的[L×L]领域内的像素集合，M(·)表示对像素集合求中值，

即为像素集合P_L×L,ij的中值。注意，式（2）中i(k)，j(f)分别表示像素点在深度图像Y中的横纵坐标位置。

以[3×3]为例，如图2中所示以像素点150为中心的[3×3]邻域内像素按从小到到排序为：115，118,120,125,132,134,145,150,159.因此中值为132,则按公式（2）的中值滤波方法滤波后像素点值由150被替换为132。

由公式（2）所给中值滤波模式我们对输入的深度图像Y上每个像素点依次进行滤波，即可得到滤波后图像

为了尽可能保留深度图像的结构信息尤其是边缘信息不被过渡平滑化，我们采用尽可能小的滤波模板。小的滤波模板会导致部分奇异噪声无去除，但这些残存的少部分噪声可以被接下来的稀疏字典学习方法进一步清除掉。

优选地，步骤（2）中通过公式（8）获取残差深度图像ΔY，

$\mathrm{\ΔY}=|Y-\stackrel{\‾}{Y}|---\left(8\right)$

其中Y为原始输入的深度图像，Y为对Y采用（2）式滤波所得深度图像。

优选地，步骤（3）中由公式（3）得到阈值T，然后通过公式（4）得到检测模板W

T=Otsu(ΔY)    （3）

其中Otsu(·)表示采用Otsu自动阈值技术对残差深度图像进行阈值求解

W=ΔY>T    （4）

其中>表示逻辑运算，W为由0和1元素组成的模板矩阵，1表示深度图像中对应的点检测为坏点，0则表示对应的点为有用信息点。由于中值滤波可以对深度图像进行一定程度的修复，尤其是对大噪声点的修复，因此所得残差图像ΔY可以作为对噪声信号的粗略估计。由于深度图像具有强烈干扰性的“坏点”都是严重偏离真实值的点，为了有效的从残差图像ΔY中分离出非高斯的坏点，我们可以采用阈值分割技术。在本发明中我们将采用Otsu自动阈值分割技术进行坏点的检测。

由于被滤波后的深度图像Y丢失了大量细节信息，因此无法将该深度图像继续进行字典学习。为了有效抑制深度图像中非高斯噪声坏点对字典学习的影响，同时保持深度图像中包含的有用结构信息，优选地，步骤（4）中通过公式（5）构造混合深度图像，

$\tilde{Y}=W\⊗\stackrel{\‾}{Y}+\stackrel{\‾}{W}\⊗Y---\left(5\right)$

其中

为补模板，满足

I为元素全为1的矩阵，

为混合深度图像。在公式（5）中，我们通过补模板

保留原始深度图像中有用结构信息，通过检测模板W将“坏点”替换为滤波后的值从而有效抑制其后期对字典学习的干扰作用。

优选地，步骤（5）中采用完全重叠分割方式对混合深度图像进行分割，按照

为分块的左上边角点从混合深度图像中依次分割出大小为

的深度图像块

优选地，步骤（6）中按公式（6）建立稀疏表示模型，

$\left\{\widehat{D,}\widehat{{\mathrm{\α}}_{\mathrm{ij}}}\right\}=\underset{D,{\mathrm{\α}}_{\mathrm{ij}}}{\min }\mathrm{\λ}\underset{\mathrm{ij}}{\mathrm{\Σ}}{\left|\right|{\mathrm{\α}}_{\mathrm{ij}}\left|\right|}_0+\underset{\mathrm{ij}}{\mathrm{\Σ}}{\left|\right|D{\mathrm{\α}}_{\mathrm{ij}}-\widetilde{y_{\mathrm{ij}}}\left|\right|}_2^2---\left(6\right)$

其中，D表示待训练的字典，α_ij表示稀疏系数，

表示从混合深度图像

中获取的图像块，λ是一个常系数。

采用K-svd算法训练字典获得学习字典

用omp算法进行稀疏编码来获取稀疏表示系数

(i,j=1,2,LN-n+1)。

优选地，步骤（7）中通过训练后的字典

和稀疏表示系数得到相对应的重构深度图像块

将这些重构深度图像块进行拼接获得重构的深度图像

该重构的深度图像为去噪后所得深度图像。

为了验证本发明所构造的联合去噪模型的有效性，我们将分别从量化标准（峰值信噪比）和视觉效果上将本发明所提算法和当前流行的非局部均值法（Non-Local Means）和基于稀疏表示（Sparse Representation）的字典学习去噪方法进行实验对比。为了叙述方便，我们将非局部均值法（Non-Local Means）简称为NL-Means，将基于稀疏表示（SparseRepresentation）的字典学习去噪方法简称为SR。

1.峰值信噪比

峰值信噪比（Peak Signal to Noise Ratio，PSNR）是客观评价去噪算法性能最常采用的度量，单位为分贝（dB）。其计算公式如下：

PSNR=20*log₁₀(peak/d)    （7）

其中peak为图像表示中最大像素值，在本实验中我们将所有的深度图像都归一化到[0,1]，因此peak=1，而d表示的是去噪修复后深度图像

与真实深度图像X偏差值的方差，即

为了进行量化的对比测试，我们从USF库获取高精度的深度图像作为原始真实的深度图像X，然后向真实的深度图像添加轻微的高斯噪声（噪声方差σ较小）并对部分像素进行非高斯噪声污染获取噪声深度图像Y，最后采用不同的去噪算法对输入图像Y进行去噪。通过多次重复试验，从实验结果可知，本发明能有效地处理深度图像中的非高斯噪声，较好的修复带噪声的深度图像，在PSNR性能指标上极大地优于当前流行的NL-Means和SR算法；而且当非高斯噪声比例加大时NL-Means和SR算法性能急剧下降，而本发明算法依然有较好的修复效果。高斯噪声的方差σ=2时，同时添加不同程度非高斯噪声下本发明同NL-Means和SR算法的去噪效果对比见图4；图5是高斯噪声方差σ=5时对不同程度非高斯噪声污染的深度图像的去噪效果对比图。

2.实际深度图像（视差图像）视觉效果对比

以上通过深度图像噪声特点模拟的带噪声深度图像从量化角度（PSNR）进行实验对比，为了测试本发明在实际噪声的深度图像上进行去噪的主观质量。我们从Middlebury Stereo2003数据库获取视差图像（和深度图像等价）作为真实的带噪声的深度图像进行去噪。本发明同NL-Means和SR算法去噪效果对比，从实验结果可知，本发明能有效地修复带噪声的深度图像，修复后图像有较高的视觉主观质量。

以上所述，仅是本发明的较佳实施例，并非对本发明作任何形式上的限制，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属本发明技术方案的保护范围。

Claims (8)

1.一种深度图像的去噪方法，其特征在于：包括以下步骤：

（1）获取中值滤波图像

（2）获取残差图像ΔY；

（3）获取奇异点检测模板W；

（4）获取混合深度图像

（5）获取重叠的混合深度图像块

（6）获取字典与稀疏系数；

（7）获得重构的深度图像

2.根据权利要求1所述的方法，其特征在于：步骤（1）中确定滤波模板的大小[L×L]，复制图像边缘像素进行

宽度的加边处理后得到大小为

的深度图像，然后按照公式（2）从

像素点开始依次遍历图像中像素点进行滤波处理，最后去掉所加的边得到滤波深度图像

其中，Y为原始输入的深度图像，P_L×L,ij表示在原始深度图像中以像素点p_ij（深度图像中位于[i,j]处的像素值）为中心的[L×L]领域内的像素集合，M(·)表示对像素集合求中值，

即为像素集合P_L×L,ij的中值。注意，式（2）中i(k)，j(f)分别表示像素点在深度图像Y中的横纵坐标位置。

3.根据权利要求2所述的方法，其特征在于：步骤（2）中通过公式（8）获取残差深度图像ΔY，

$\mathrm{\ΔY}=|Y-\stackrel{\‾}{Y}|---\left(8\right)$

其中Y为原始输入的深度图像，

为对Y采用（2）式滤波所得深度图像。

4.根据权利要求3所述的方法，其特征在于：步骤（3）中由公式（3）得到阈值T，然后通过公式（4）得到检测模板W

T=Otsu(ΔY)    （3）

其中Otsu(·)表示采用Otsu自动阈值技术对残差深度图像进行阈值求解

W=ΔY>T    （4）

其中>表示逻辑运算，W为由0和1元素组成的模板矩阵，1表示深度图像中对应的点检测为坏点，0则表示对应的点为有用信息点。

5.根据权利要求4所述的方法，其特征在于：步骤（4）中通过公式（5）构造混合深度图像，

$\tilde{Y}=W\⊗\stackrel{\‾}{Y}+\stackrel{\‾}{W}\⊗Y---\left(5\right)$

其中

为补模板，满足I为元素全为1的矩阵，

为混合深度图像。

6.根据权利要求5所述的方法，其特征在于：步骤（5）中采用完全重叠分割方式对混合深度图像进行分割，按照

为分块的左上边角点从混合深度图像中依次分割出大小为

的深度图像块

7.根据权利要求6所述的方法，其特征在于：步骤（6）中按公式（6）建立稀疏表示模型，

$\left\{\widehat{D,}\widehat{{\mathrm{\α}}_{\mathrm{ij}}}\right\}=\underset{D,{\mathrm{\α}}_{\mathrm{ij}}}{\min }\mathrm{\λ}\underset{\mathrm{ij}}{\mathrm{\Σ}}{\left|\right|{\mathrm{\α}}_{\mathrm{ij}}\left|\right|}_0+\underset{\mathrm{ij}}{\mathrm{\Σ}}{\left|\right|D{\mathrm{\α}}_{\mathrm{ij}}-\widetilde{y_{\mathrm{ij}}}\left|\right|}_2^2---\left(6\right)$

其中，D表示待训练的字典，α_ij表示稀疏系数，

表示从混合深度图像

中获取的图像块，λ是一个常系数。

采用K-svd算法训练字典获得学习字典

用omp算法进行稀疏编码来获取稀疏表示系数

8.根据权利要求7所述的方法，其特征在于：步骤（7）中通过训练后的字典

和稀疏表示系数

得到相对应的重构深度图像块

将这些重构深度图像块进行拼接获得重构的深度图像

该重构的深度图像为去噪后所得深度图像。

Images