CN104732492A - 一种深度图像的去噪方法 - Google Patents

Abstract

本发明公开了一种深度图像的去噪方法，其能够减少图像的边缘模糊、适用于非零均值的高斯噪声去噪、大大提升深度图像质量。这种深度图像的去噪方法，包括步骤：(1)对深度图像进行联合双边滤波，对双边滤波器的作用域进行约束，从而获得滤波图像；(2)用K-SVD方法训练字典，用基于该字典的稀疏表示来对步骤(1)的滤波图像进行去噪，从而获得重构图像。

Description

一种深度图像的去噪方法

技术领域

本发明属于图像处理的技术领域，具体地涉及一种深度图像的去噪方法，特别适用于通过Kinect和飞行时间摄像机(ToF camera)采集的人体深度图像的去噪。

背景技术

与传统的灰度图像、彩色图像相比，深度图像具有物体的三维特征信息，因而越来越多的应用于计算机视觉、计算机图形学等领域。2010年11月，微软公司生产的Kinect，因其实时、低价等特性，已成为人们普遍应用的深度图像获取设备之一。然而，由于环境光线条件、遮挡等因素，Kinect采集的深度数据通常分辨率较低，并包含许多噪声以及奇异像素。

对于图像噪声去除，在过去的二三十年中研究人员提出了大量有效的图像降噪算法。经典的平滑滤波器，如高斯滤波器，在去噪的同时也模糊了图像。频域滤波方法，如维纳滤波也易造成图像高频细节丢失。自适应领域的滤波器，如经典的双边滤波器(bilateral filter)，它能根据像素点之间的相似度和空间距离自适应地进行滤波，能良好地保持图像局部结构。由于运算简单同时具有良好的效果，双边滤波器被广泛地用于图像光滑滤波。

对于深度图像的去噪，又具有它的自身特点，深度图像同时还要满足和彩色图像一致，保留相同的细节和结构。通常的图像去噪算法，不可避免的带来边缘的平滑性模糊问题，为深度图像的进一步应用带来困难。

发明内容

本发明的技术解决问题是：克服现有技术的不足，提供一种深度图像的去噪方法，其能够减少图像的边缘模糊、适用于非零均值的高斯噪声去噪、大大提升深度图像质量。

本发明的技术解决方案是：这种深度图像的去噪方法，包括以下步骤：

(1)对深度图像进行联合双边滤波，对双边滤波器的作用域进行约束，从而获得滤波图像；

(2)用K-SVD方法训练字典，用基于该字典的稀疏表示来对步骤(1)的滤波图像进行去噪，从而获得重构图像。

本发明通过联合双边滤波和字典稀疏表示的联合去噪方法，能够减少图像的边缘模糊、适用于非零均值的高斯噪声去噪、大大提升深度图像质量。

附图说明

图1是根据本发明的深度图像的去噪方法的一个优选实施例的流程图。

图2是步骤(2)中鲁棒正交分解的一个实例流程图。

图3是步骤(2)的一个实例流程图。

具体实施方式

这种深度图像的去噪方法，包括以下步骤：

(1)对深度图像进行联合双边滤波，对双边滤波器的作用域进行约束，从而获得滤波图像；

(2)用K-SVD方法训练字典，用基于该字典的稀疏表示来对步骤(1)的滤波图像进行去噪，从而获得重构图像。

本发明通过联合双边滤波和字典稀疏表示的联合去噪方法，能够减少图像的边缘模糊、适用于非零均值的高斯噪声去噪、大大提升深度图像质量。

优选地，所述步骤(1)的深度图像包括两种噪声：第一种噪声是因为光线的反射和遮挡造成的深度值缺失；第二种噪声是由于光线折射造成的图像边缘轮廓突出从而与彩色图像形状不一致；

对于第一种噪声根据公式(1)滤波：

$\begin{array}{c}{J}_p=\frac{1}{k_p}\underset{q\∈{\widehat{\mathrm{\Ω}}}_p}{\mathrm{\Σ}}{D}_{q}f(p,q)g\left({\left|\right|I_p-I_q\left|\right|}_2\right),\mathrm{if}\left|{\widehat{\mathrm{\Ω}}}_p\right|\≥{\∈}_1\\ {\widehat{\mathrm{\Ω}}}_p=\{q\∈{\mathrm{\Ω}}_p:{\mathrm{his}}_{{\mathrm{\Ω}}_p}\left(D_q\right)\≥{\mathrm{his}}_{{\mathrm{\Ω}}_p}\left(D_p\right)+{\∈}_2,{\left|\right|I_p-I_q\left|\right|}_2\≤{\mathrm{\ϵ}}_3\}\end{array}---\left(1\right)$

其中J_p表示是最终计算出的目标位置p处的深度值，I_q，D_q分别代表位置q处的彩色图像和深度图像的值，I_p表示目标位置p出的彩色图像亮度值，f是一个计算p的邻域中相对于p的距离的二元高斯核函数，g是一个计算邻域中q处与目标位置p处的彩色图像亮度的相关性的一元高斯核函数，k_p是归一化因子，是对一个传统的矩形邻域Ω_p进行了彩色和深度分别约束后得到的滤波邻域，同时滤波邻域中的像素个数必须大于一个固定阈值ε₁；邻域的约束条件是：邻域中的像素与目标点，在彩色图像上相近，深度值在此区域内处于一个较大的位置(数值上大于此区域内不为奇异点的所有深度值的中位数一定数值)，hist表示对数据进按照直方图统计的方式排序，得到大于区域内比中位数大ε₂，ε₃则表示对彩色亮度值与目标像素的差值大小；对于第二种噪声根据公式(2)滤波：

$\begin{array}{c}{J}_p=\frac{1}{k_p}\underset{q\∈{\widehat{\mathrm{\Ω}}}_p}{\mathrm{\Σ}}{D}_{q}f(p,q)g\left({\left|\right|I_p-I_q\left|\right|}_2\right),\mathrm{if}\left|{\widehat{\mathrm{\Ω}}}_p\right|\≥{\∈}_4\\ {\widehat{\mathrm{\Ω}}}_p=\{q\∈{\mathrm{\Ω}}_p:D_q\≥D_p+{\mathrm{\ϵ}}_5,{\left|\right|I_p-I_q\left|\right|}_2\≤{\mathrm{\ϵ}}_6\}\end{array}---\left(2\right)$

其中J_p表示是最终计算出的目标位置p处的深度值I_q，D_q分别代表位置q处的彩色图像和深度图像的值，I_p,D_p表示目标位置p出的彩色图像和深度图像的值，f是一个计算p的邻域中相对于p的距离的二元高斯核函数，g是一个计算邻域中q处与目标位置p处的彩色图像亮度的相关性的一元高斯核函数，k_p是归一化因子，是对一个传统的矩形邻域Ω_p进行了彩色和深度分别约束后得到的滤波邻域，同时滤波邻域中的像素个数必须大于一个固定阈值ε₄；邻域的约束条件是：邻域中的像素与目标点，在彩色图像上相近(亮度差的二范数的平方小于ε₆)，深度值在此区域内处于一个较大的位置(数值上大于比目标像素的深度值大一定数值ε₅)。

所述步骤(2)中：

对于含噪图像模型，Y＝X+v，其中X表示理想的无噪图像，Y是含噪图像，v是图像噪声；无噪图像由一组过完备冗余基生成并且表示系数中只有少量非零，含噪图像表示为Y＝Dα+v，D为K-SVD算法训练字典D，根据公式(3)获得一个贪婪追踪算法计算系数α

$\underset{{\mathrm{\α}}_{\text{ij}}}{\min }{\left|\right|{\mathrm{\α}}_{\mathrm{ij}}\left|\right|}_0\mathrm{subject\; to}{\mathrm{D\α}}_{\mathrm{ij}}\≈Y_{\mathrm{ij}}\∀(i,j)---\left(3\right)$

基于贪婪算法计算系数，正交匹配追踪是基于。

在鲁棒正交匹配追踪中，对每一次选择与残差最匹配的原子后对求出的残差进行分析，当残差向量中存在部分数据较大且这样的数据个数较少且是离散分布时，假设其可能是噪声分量在残差中的反映，对残差中这些可能是噪声的数据进行调整，将这些数据置为0，并反映到该次次匹配前的残差中去，从残差中减去因这些数据调整而产生的增量，调整残差后对新的残差重新选择最佳匹配的原子并进行正交化分解。

以下对本发明进行更详细的说明。

本发明的深度去噪分两部分。第一部分为双边滤波过程，第二部分为字典学习过程。

一、双边滤波过程

对于深度图像，主要存在两种噪声：一种是因为光线的反射和遮挡造成的深度值缺失；另一种是由于光线折射造成的图像边缘轮廓突出从而与彩色图像形状不一致。

对于这两种噪声，我们采用的主要方法是联合双边滤波，为了避免传统双边滤波中会出现边缘平滑性模糊的现象，我们对双边滤波器的作用域进行了约束。对于第一种噪声我们采用如下方法滤波：

$\begin{array}{c}{J}_p=\frac{1}{k_p}\underset{q\∈{\widehat{\mathrm{\Ω}}}_p}{\mathrm{\Σ}}{D}_{q}f(p,q)g\left({\left|\right|I_p-I_q\left|\right|}_2\right),\mathrm{if}\left|{\widehat{\mathrm{\Ω}}}_p\right|\≥{\∈}_1\\ {\widehat{\mathrm{\Ω}}}_p=\{q\∈{\mathrm{\Ω}}_p:{\mathrm{his}}_{{\mathrm{\Ω}}_p}\left(D_q\right)\≥{\mathrm{his}}_{{\mathrm{\Ω}}_p}\left(D_p\right)+{\∈}_2,{\left|\right|I_p-I_q\left|\right|}_2\≤{\mathrm{\ϵ}}_3\}\end{array}---\left(1\right)$

其中I_q，D_q分别代表位置q处的彩色图像和深度图像的值，k_p是归一化因子，是我们对一个传统的矩形邻域Ω_p进行了彩色和深度分别约束后得到的滤波邻域，同时滤波邻域中的像素个数必须大于一个固定阈值ε₁。邻域的约束条件是：邻域中的像素与目标点，在彩色图像上相近，深度值在此区域内处于一个较大的位置。

对于第二种噪声，我们采用方法如下：

$\begin{array}{c}{J}_p=\frac{1}{k_p}\underset{q\∈{\widehat{\mathrm{\Ω}}}_p}{\mathrm{\Σ}}{D}_{q}f(p,q)g\left({\left|\right|I_p-I_q\left|\right|}_2\right),\mathrm{if}\left|{\widehat{\mathrm{\Ω}}}_p\right|\≥{\∈}_4\\ {\widehat{\mathrm{\Ω}}}_p=\{q\∈{\mathrm{\Ω}}_p:D_q\≥D_p+{\mathrm{\ϵ}}_5,{\left|\right|I_p-I_q\left|\right|}_2\≤{\mathrm{\ϵ}}_6\}\end{array}---\left(2\right)$

公式(2)同公式(1)，与第一种噪声的主要区别在于，目标深度值已知，对于邻域的选择只需要深度大于目标点固定的数值即可。同时需要根据邻域中的像素个数判断目标点是否为噪声点。公式中当像素个数大于阈值ε₄时即根据公示(2)进行去噪。

二、字典学习过程

基于以上方法去噪，考虑到彩色图像的分辨误差，在邻域中满足要求的像素点个数较少，致使有些噪声依然存在，此时我们考虑采用基于字典的稀疏表示去噪，使用K-SVD方法训练字典。K-SVD方法的基本思想依据误差最小原则，对误差项进行SVD分解，选择使误差最小的分解项作为更新的字典原子和对应的原子系数，经过不断的迭代从而得到优化的解。依据误差最小原则，对误差项进行SVD分解，选择使误差最小的分解项作为更新的字典原子和对应的原子系数，经过不断的迭代从而得到优化的解。其中的核心算法为正交匹配追踪(orthogonal matching pursuit,OMP)算法，其思想是从字典矩阵D(即一组过完备基)，选择一个与信号y最匹配的原子(过完备基当中的向量)，构建一个稀疏逼近，并求出信号残差，然后继续选择与信号残差最匹配的原子，并对所选择的全部原子进行正交化处理，反复迭代，信号y可以由这些原子来线性和，再加上最后的残差值来表示。

K-SVD方法主要用于对0均值的高斯噪声去噪，为了更好的对于非均值高斯噪声的深度图像去噪，我们对正交匹配追踪算法进行了改进。

对于含噪图像模型，假设

Y＝X+v

其中X表示理想的无噪图像，Y是含噪图像，v是图像噪声。根据稀疏表示理论，无噪图像可由一组过完备冗余基生成并且表示系数中只有少量非零。因此含噪图像可以表示为：

Y＝Dα+v

这里使用K-SVD算法训练字典D。则只需要使用一个贪婪追踪算法计算系数α。

$\underset{{\mathrm{\α}}_{\text{ij}}}{\min }{\left|\right|{\mathrm{\α}}_{\mathrm{ij}}\left|\right|}_0\mathrm{subject\; to}{\mathrm{D\α}}_{\mathrm{ij}}\≈Y_{\mathrm{ij}}\∀(i,j)---\left(3\right)$

本发明对分解过程进行了改进，提出一种鲁棒正交匹配追踪算法(noise-aware orthogonal matching pursuit，NAOMP)。在鲁棒正交匹配追踪中对反复迭代选择与残差最匹配的原子后并最终用这些原子信号标识的过程中，对每次迭代后得到的残差直到进行分析，当残差向量中存在部分数据较大且这样的数据个数较少且是离散分布时，假设其可能是噪声分量在残差中的反映，对残差中这些可能是噪声的数据进行调整(将这些数据置位0)并反映到本次迭代前的残差中去(从本次迭代前的残差中减去因这些数据调整而产生的增量)，本次迭代重新执行，然后进入下一次迭代过程，直到结束。这样重新得到的稀疏分解结果含有更少的噪声分量，重构后得到图像更加清晰，噪声影响更小。

正交匹配算法的残差调整策略，是影响去噪结果的重要因素。根据整体平均值，以及整体加权平均值和调整到当前步重构后位置，最后确定采用调整到当前步重构后位置策略为最佳调整策略。

表1是不同图像对于加入不同比例噪声后采用OMP和NAOMP两种方法重构后得到图像的PSNR对比，很明显，NAOMP获得了明显的PSNR提升，且随着噪声的增加，处理效果比较稳定，噪声影响较小。同时，主管质量也有明显提升，尤其在手指的边缘部分，NAOMP的重构效果明显好于OMP算法，边缘十分清晰。

表1

以上所述，仅是本发明的较佳实施例，并非对本发明作任何形式上的限制，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属本发明技术方案的保护范围。

Claims (3)

1.一种深度图像的去噪方法，其特征在于：包括以下步骤：

(1)对深度图像进行联合双边滤波，对双边滤波器的作用域进行约束，从而获得滤波图像；

(2)用K-SVD方法训练字典，用基于该字典的稀疏表示来对步骤(1)的滤波图像进行去噪，从而获得重构图像。

2.根据权利要求1所述的深度图像的去噪方法，其特征在于：所述步骤(1)的深度图像包括两种噪声：第一种噪声是因为光线的反射和遮挡造成的深度值缺失；第二种噪声是由于光线折射造成的图像边缘轮廓突出从而与彩色图像形状不一致；

对于第一种噪声根据公式(1)滤波：

$\begin{array}{c}{J}_p=\frac{1}{k_p}\underset{{q\∈\widehat{\mathrm{\Ω}}}_p}{\mathrm{\Σ}}{D}_{q}f(p,q)g\left({\left|\right|I_p-I_q\left|\right|}_2\right),\mathrm{if}\left|{\widehat{\mathrm{\Ω}}}_p\right|\≥{\∈}_1\\ {\widehat{\mathrm{\Ω}}}_p=\{q\∈{\mathrm{\Ω}}_p:{\mathrm{hist}}_{{\mathrm{\Ω}}_p}\left(D_q\right)\≥{\mathrm{hist}}_{{\mathrm{\Ω}}_p}\left(D_p\right)+{\∈}_2,{\left|\right|I_p-I_q\left|\right|}_2\≤{\∈}_3\}\end{array}---\left(1\right)$

其中J_p表示是最终计算出的目标位置p处的深度值，I_q，D_q分别代表位置q处的彩色图像和深度图像的值，I_p表示目标位置p出的彩色图像亮度值，f是一个计算p的邻域中相对于p的距离的二元高斯核函数，g是一个计算邻域中q处与目标位置p处的彩色图像亮度的相关性的一元高斯核函数，k_p是归一化因子，是对一个传统的矩形邻域Ω_p进行了彩色和深度分别约束后得到的滤波邻域，同时滤波邻域中的像素个数必须大于一个固定阈值ε₁；邻域的约束条件是：邻域中的像素与目标点，在彩色图像上相近，深度值在此区域内处于一个较大的位置，数值上大于此区域内不为奇异点的所有深度值的中位数一定数值，hist表示对数据进按照直方图统计的方式排序，得到大于区域内比中位数大ε₂，ε₃则表示对彩色亮度值与目标像素的差值大小；对于第二种噪声根据公式(2)滤波：

$\begin{array}{c}{J}_p=\frac{1}{k_p}\underset{{q\∈\widehat{\mathrm{\Ω}}}_p}{\mathrm{\Σ}}{D}_{q}f(p,q)g\left({\left|\right|I_p-I_q\left|\right|}_2\right),\mathrm{if}\left|{\widehat{\mathrm{\Ω}}}_p\right|\≥{\∈}_4\\ {\widehat{\mathrm{\Ω}}}_p=\{q\∈{\mathrm{\Ω}}_p:D_q\≥D_p+{\∈}_5,{\left|\right|I_p-I_q\left|\right|}_2\≤{\∈}_6\}\end{array}---\left(2\right)$

其中J_p表示是最终计算出的目标位置p处的深度值I_q，D_q分别代表位置q处的彩色图像和深度图像的值，I_p,D_p表示目标位置p出的彩色图像和深度图像的值，f是一个计算p的邻域中相对于p的距离的二元高斯核函数，g是一个计算邻域中q处与目标位置p处的彩色图像亮度的相关性的一元高斯核函数，k_p是归一化因子，是对一个传统的矩形邻域Ω_p进行了彩色和深度分别约束后得到的滤波邻域，同时滤波邻域中的像素个数必须大于一个固定阈值ε₄；邻域的约束条件是：邻域中的像素与目标点，在彩色图像上相近，亮度差的二范数的平方小于ε₆，深度值在此区域内处于一个较大的位置，数值上大于比目标像素的深度值大一定数值ε₅。

3.根据权利要求3所述的深度图像的去噪方法，其特征在于：所述步骤(2)中：

对于含噪图像模型，Y＝X+v，其中X表示理想的无噪图像，Y是含噪图像，V是图像噪声；无噪图像由一组过完备冗余基生成并且表示系数中只有少量非零，含噪图像表示为Y＝Dα+v，D为K-SVD算法训练字典D，根据公式(3)获得一个贪婪追踪算法计算系数α

$\begin{array}{ccc}\underset{{\mathrm{\α}}_{\mathrm{ij}}}{\min }{\left|\right|{\mathrm{\α}}_{\mathrm{ij}}\left|\right|}_0& \mathrm{subject\; to}& {\mathrm{D\α}}_{\mathrm{ij}}\≈Y_{\mathrm{ij}},\∀(i,j)---\left(3\right)\end{array}$

贪婪算法的基本原则是：从字典矩阵D，选择一个与信号y最匹配的原子，构建一个稀疏逼近，并求出信号残差，然后继续选择与信号残差最匹配的原子，反复迭代，信号y由这些原子来线性和，再加上最后的残差值来表示；

在鲁棒正交匹配追踪中对每一次选择与残差最匹配的原子后对求出的残差进行分析，当残差向量中存在部分数据较大且这样的数据个数较少且是离散分布时，将这些数据置为0，并反映到该次匹配前的残差中去，从残差中减去因这些数据调整而产生的增量，然后对调整后的残差重新选择最佳匹配的原子并进行正交化分解。