CN104809698A - 一种基于改进三边滤波的Kinect深度图像修复方法 - Google Patents

Abstract

本发明属于深度图像修复技术领域，具体涉及对kinect深度图像的基于改进三边滤波的Kinect深度图像修复方法。本发明包括：利用Kinect同步获取深度图与彩色图；对彩色图和深度图进行对齐；提取深度图边缘信息；提取彩色图边缘信息；去除彩色图中的非边界纹理信息；用区域生长方法，在深度图中找出深度值错误的像素点并去除该点的错误深度值；用基于色差与结构相似度系数的改进三边滤波方法对深度图空洞区域进行填充修复。该方法针对kinect深度图像具有良好的空洞填充效果，能够较好地保持深度图边缘信息。

Description

一种基于改进三边滤波的Kinect深度图像修复方法

技术领域

本发明属于深度图像修复技术领域，具体涉及对kinect深度图像的基于改进三边滤波的Kinect深度图像修复方法。

背景技术

深度图像是一种全新的图像模式，在计算机视觉、自动导航等领域中有着广泛的应用前景.

Kinect作为一台相对廉价的深度图像与彩色图像获取设备，通过特殊的结构光技术获取深度图像，且获取深度图像分辨率较高，受到了科学研发工作者以及工业界的普遍重视。但是由于Kinect的结构特性和测距原理所限，所获取的深度图像存在一些缺陷：如由于无法准确测得深度值所产生的空洞区域，以及深度图与彩色图边缘不匹配等。这些问题限制了kinect深度图应用，因此对kinect获取的深度图像进行修复具有重要意义。

目前，对Kinect深度图像修复主要有两种方法:一种方法是直接针对深度图像进行修复，不借助纹理图像，其修复效果较差；另一种是结合纹理图像进行修复的方法，由于借助了纹理图像的信息，该类方法对深度图边缘保持具有较好的效果。

发明内容

本发明的目的在于提出一种基于改进三边滤波的Kinect深度图像修复方法。

本发明包括如下步骤：

(1)利用Kinect同步获取深度图与彩色图；

(2)对彩色图和深度图进行对齐；

(3)提取深度图边缘信息；

(4)提取彩色图边缘信息；

(5)去除彩色图中的非边界纹理信息；

(6)用区域生长方法，在深度图中找出深度值错误的像素点并去除该点的错误深度值；

(7)用基于色差与结构相似度系数的改进三边滤波方法对深度图空洞区域进行填充修复。

所述的步骤(3)包括：采用Canny算子对深度图进行边缘检测，得到深度图边缘Depth_edge(i,j)。

所述的步骤(4)包括：采用Canny算子对灰度化的彩色图进行边缘检测，得到包含内部纹理信息的彩色图边缘Color1_edge(i,j)。

步骤(5)中采用距离变换方法去除彩色图轮廓边缘内部纹理信息，,包括以下步骤：

(5.1)对深度图边缘进行欧氏距离变换，将深度图边缘中的所有边缘点作为一个点集，并计算深度图中每一个像素点到该点集的最小欧氏距离，将其作为距离变换图中相应点的像素值，即每一点的像素值代表该点到深度图边缘的最近距离，距离变换图中的某一点像素值越大，则该点距离物体的边界越远；像素值越小，则该点距离物体的边界越近；

(5.2)根据下面的公式去除彩色图轮廓边缘内部纹理信息：

$\mathrm{Color}2\_\mathrm{edge}(i,j)=\left\{\begin{array}{ccc}\mathrm{Color}1\_\mathrm{edge}(i,j)& \mathrm{if}& \mathrm{Depth}\_\mathrm{dist}(i,j)<\mathrm{th}\\ 0& & \mathrm{else}\end{array}\right.$

式中：利用得到的Depth Dist Map进行判断：遍历彩色图边缘中的边缘点，若该点坐标对应的Depth Dist Map像素值小于阈值th，则认为该边缘像素是与深度图像边缘相对应的边缘点，保留该点，反之，当阈值大于th，则认为是物体内部的纹理，深度图像边缘中不存在相对应的边缘，去除该点。

在所述步骤(6)利用区域生长方法去除错误深度值具体包括：对彩色图边缘Colo2r_edg(ei,j)进行欧氏距离变换得到一幅彩色图的距离变换图Color Dist Map，得到的彩色图的边缘点Color2_edge(i,j)和深度图的边缘点Depth_edge(i,j)作为种子(seed)，利用彩色图距离变换图Color Dist Map和深度图距离变换图Depth Dist Map作为生长方向引导，通过区域生长方式分别从一个边缘点向另一个边缘点进行遍历寻找深度值错误的点，并去除该点的深度值。

在所述步骤(7)中改进双边滤波器的步骤如下：

(7.1)基于色差的改进空域滤波器：通过邻域像素与中心像素之间的色差来判断邻域像素对中心像素的贡献，

$\mathrm{Gauss}\left(p\right)=\underset{q\&Element;\mathrm{\&omega;}}{\mathrm{\&Sigma;}}F\left(\right||I_p-I_q|\left|\right)I_q$

其中， $F\left(\right||I_p-I_q|\left|\right)=\left\{\begin{array}{ccc}\mathrm{Gauss}& \mathrm{if}& \mathrm{\&Delta;E}<\mathrm{th}\\ 0& & \mathrm{else}\end{array}\right.$

其中，I_q为邻域像素值，F(||I_p-I_q||为改进的高斯卷积核，ΔE为两个像素之间的色差，th是色差阈值，当色差ΔE小于阈值th时，表示像素相似度较高，认为该点对中心点有贡献；当色差ΔE大于阈值th，表示像素相似度较低，则该点与中心点不在同一个区域，认为没有贡献，在滤波过程中不作为邻域点处理；

(7.2)引入结构相似度系数：

x，y为两幅输入图像，亮度比较函数l(x,y)由图像均值u_x，u_y表示，对比度比较函数c(x,y)由图像标准差σ_x,σ_y来表示，结构比较函数s(x,y)由两幅图像协方差σ_xy来表示：

$L(x,y)=\frac{2u_x{u}_y+a}{{u_x}^2+{u_y}^2+a};$

$C(x,y)=\frac{2{\mathrm{\&sigma;}}_x{\mathrm{\&sigma;}}_y+b}{{{\mathrm{\&sigma;}}_x}^2+{{\mathrm{\&sigma;}}_y}^2+b};$

$S(x,y)=\frac{{\mathrm{\&sigma;}}_{\mathrm{xy}}+c}{{\mathrm{\&sigma;}}_x{\mathrm{\&sigma;}}_y+c};$

获得两幅图片的结构相似度系数:

SSIM(x,y)＝[L(x,y)]^α[C(x,y)]^β[S(x,y)]^γ；

其中，α,β,γ分别为三个部分权重的参数，满足a＝(K₁L)²,b＝(K₂L)²,c＝(K₃L)²,其中K₁,K₂,K₃＜＜1,L为像素值的动态范围，若为8位灰度图像，则L＝255，设α＝β＝γ＝1,c＝0.5b，简化得出机构相似度表达式为：

$\mathrm{SSIM}(x,y)=\frac{1}{3}\frac{(2u_x{u}_y+a)(2{\mathrm{\&sigma;}}_x{\mathrm{\&sigma;}}_y+b)}{({u_x}^2+{u_y}^2+a)({{\mathrm{\&sigma;}}_x}^2+{{\mathrm{\&sigma;}}_y}^2+b)}$

为了减少与中心点差异较大的邻域点在空洞填充过程中带来的影响，本文对结构相似度系数设置了阈值，其中S_p,S_q为以p,q为中心的图像块：

$\mathrm{SSIM}(S_p,S_q)=\left\{\begin{array}{ccc}\mathrm{SSIM}(S_p,S_q)& \mathrm{if}& \mathrm{SSIM}(S_p,S_q)>\mathrm{th}\\ 0& & \mathrm{else}\end{array}\right.$

$H\left(p\right)=k^{-1}\left(p\right)\underset{q\&Element;\mathrm{\&omega;}}{\mathrm{\&Sigma;}}{I}_{q}F\left(\right||I_p-I_q|\left|\right)g\left(\right||I_p-I_q|\left|\right)\mathrm{SSIM}(S_p,S_q)$

其中： $k\left(p\right)=\underset{q\&Element;\mathrm{\&omega;}}{\mathrm{\&Sigma;}}F\left(\right||I_p-I_q|\left|\right)g\left(\right||I_p-I_q|\left|\right)\mathrm{SSIM}(S_p,S_q)$

$g\left(\right||p-q|\left|\right)=\exp (-\sqrt{{(R_p-R_q)}^2+{(G_p-G_q)}^2+{(B_p-B_q)}^2}/2{{\mathrm{\&sigma;}}_g}^2).$

本发明的有益效果在于：该方法针对kinect深度图像具有良好的空洞填充效果，能够较好地保持深度图边缘信息。

附图说明

图1为本发明的流程图；

图2为修复效果图。

具体实施方式

下面结合附图对本发明做进一步描述。

该方法利用结合了色差与结构相似性系数的改进三边滤波方法对深度图进行修复，在填充深度图空洞的同时，有效保留深度边缘信息。

基于改进三边滤波的深度图修复方法包括以下步骤。

S1利用kinect深度传感器同步获取深度图像和彩色图像；

S2对彩色图和深度图进行对齐；

S3提取深度图边缘信息Depth_edge(i,j)；

S4提取彩色图边缘信息Color1_edge(i,j)；

S5去除彩色图轮廓边缘Color1_edge(i,j)中非边界纹理信息。首先对深度图边缘进行欧氏距离变换，将深度图边缘中的所有边缘点作为一个点集，并计算每一个像素点到该点集的最小欧氏距离作为该点的像素值，即每一点的像素值代表该点到深度图像边缘的最近距离，得到一幅深度图的距离变换DepthDistMap。然后根据下面的公式去除彩色图非边界纹理信息：

$\mathrm{Color}2\_\mathrm{edge}(i,j)=\left\{\begin{array}{ccc}\mathrm{Color}1\_\mathrm{edge}(i,j)& \mathrm{if}& \mathrm{Depth}\_\mathrm{dist}(i,j)<\mathrm{th}\\ 0& & \mathrm{else}\end{array}\right.---\left(1\right)$

th检测边界的门限值；

S6对彩色图边缘Color2_edge(i,j)进行欧氏距离变换得到彩色图的距离变换ColorDistMap。得到的彩色图边缘点Color2_edge(i,j)和深度图边缘点Depth_edge(i,j)作为种子(seed)，利用彩色图距离变换ColorDistMap和深度图距离变换DepthDistMap作为生长方向引导，通过区域生长方式分别从一个边缘点向另一个边缘点进行遍历寻找深度值错误的点，并去除该点的深度值；

S7对预处理后的深度图像，采用一种基于色差和结构相似性系数的改进三边滤波修复方法对深度图空洞区域进行填充修复。

本发明提出一种改进的Kinect深度图修复方法，该方法利用基于色差与结构相似性系数的改进双边滤波器对深度图进行修复，填充深度图空洞效果良好，有效保留边缘信息。

图1为本发明方法的流程图，结合图1进一步说明本方法的具体实施步骤，如下：

S1利用kinect深度传感器同步获取深度图和彩色图；

S2对彩色图和深度图进行对齐；

S3采用Canny算子对深度图进行边缘检测，深度图边缘Depth_edge(i,j)；

S4采用Canny算子对灰度化的彩色图和进行边缘检测，得到包含内部纹理信息的彩色图边缘Color1_edge(i,j)；

S5去除彩色图轮廓边缘非边界纹理信息。对深度图边缘进行欧氏距离变换，将深度图像边缘中的所有边缘点作为一个点集，并计算每一个像素点到该点集的最小欧氏距离作为该点的像素值，即每一点的像素值代表该点到深度图边缘的最近距离，得到一幅深度图的距离变换Depth Dist Map；

$\mathrm{Color}2\_\mathrm{edge}(i,j)=\left\{\begin{array}{ccc}\mathrm{Color}1\_\mathrm{edge}(i,j)& \mathrm{if}& \mathrm{Depth}\_\mathrm{dist}(i,j)<\mathrm{th}\\ 0& & \mathrm{else}\end{array}\right.---\left(1\right)$

th检测边界的门限值。式中：利用得到的Depth Dist Map按公式(1)进行判断：遍历彩色图像边缘中的边缘点，若该点坐标对应的Depth Dist Map像素值小于阈值th，则认为该边缘像素是与深度图，边缘相对应的边缘点，保留该点。反之，当阈值大于th时，则认为是物体内部的纹理，深度图边缘中不存在相对应的边缘，去除该点，得到彩色图边缘Color2_edge(i,j)；

S6对彩色图边缘进行欧氏距离变换，将深度图边缘中的所有边缘点作为一个点集，并计算每一个像素点到该点集的最小欧氏距离作为该点的像素值，即每一点的像素值代表该点到彩色图边缘的最近距离，得到一幅彩色图的距离变换Color Dist Map。得到的深度图边缘点Depth_edge(i,j)和彩色图边缘点Color2_edge(i,j)作为种子(seed)，利用彩色图距离变换Color Dist Map和深度图距离变换Depth Dist Map作为生长方向引导，通过区域生长的方式分别从一个边缘点向另一个边缘点进行遍历寻找深度值错误的点，并把这些错误的深度值去除；

S7利用改进三边滤波器对深度图像空洞区域进行填充修复，对双边滤波器改进如下：

基于色差的改进空域滤波器。为了减少滤波过程在边缘处的模糊，本发明对空域滤波器进行改进，通过邻域像素与中心像素之间的色差来判断邻域对中心像素的贡献。改进后的算法如公式(2)所示：

$\mathrm{Gauss}\left(p\right)=\underset{q\&Element;\mathrm{\&omega;}}{\mathrm{\&Sigma;}}F\left(\right||I_p-I_q|\left|\right)I_q---\left(2\right)$

$F\left(\right||I_p-I_q|\left|\right)=\left\{\begin{array}{ccc}\mathrm{Gauss}& \mathrm{if}& \mathrm{\&Delta;E}<\mathrm{th}\\ 0& & \mathrm{else}\end{array}\right.---\left(3\right)$

其中，I_q为邻域像素值，F(||I_p-I_q||)为改进的高斯卷积核，ΔE为两个像素之间的色差,th是色差阈值。当色差ΔE小于阈值th时，表示像素相似度较高，认为该点对中心点有贡献；当色差ΔE大于阈值th，表示像素相似度较低，则该点与中心点不在同一个区域，认为没有贡献，在滤波过程中不作为邻域点处理。

结构相似度系数。传统双边滤波的值域滤波只是利用邻域中像素值作为依据，并不能很好体现两点之间的像素相似程度。本发明引入了结构相似度系数，可以更准确地判断两点之间的相似程度。

设x，y为两幅输入图像，亮度比较函数l(x,y)由图像均值u_x，u_y表示，对比度比较函数c(x,y)由图像标准差σ_x,σ_y来表示，结构比较函数s(x,y)由两幅图像协方差σ_xy来表示。公式 表示如下：

$L(x,y)=\frac{2u_x{u}_y+a}{{u_x}^2+{u_y}^2+a}---\left(4\right)$

$C(x,y)=\frac{2{\mathrm{\&sigma;}}_x{\mathrm{\&sigma;}}_y+b}{{{\mathrm{\&sigma;}}_x}^2+{{\mathrm{\&sigma;}}_y}^2+b}---\left(5\right)$

$S(x,y)=\frac{{\mathrm{\&sigma;}}_{\mathrm{xy}}+c}{{\mathrm{\&sigma;}}_x{\mathrm{\&sigma;}}_y+c}---\left(6\right)$

结合以上三个比较函数获得两幅图片的结构相似度系数:

SSIM(x,y)＝[L(x,y)]^α[C(x,y)]^β[S(x,y)]^γ          (7) 

其中，α,β,γ分别为三个部分权重的参数，a,b,c是为了避免出现分母为零而设置的小整数，满足a＝(K₁L)²,b＝(K₂L)²,c＝(K₃L)²,其中K₁,K₂,K₃＜＜1,L为像素值的动态范围(若为8位灰度图像，则L＝255)，为了减小计算的复杂度，文中设α＝β＝γ＝1,c＝0.5b。最终简化得出机构相似度表达式为：

$\mathrm{SSIM}(x,y)=\frac{1}{3}\frac{(2u_x{u}_y+a)(2{\mathrm{\&sigma;}}_x{\mathrm{\&sigma;}}_y+b)}{({u_x}^2+{u_y}^2+a)({{\mathrm{\&sigma;}}_x}^2+{{\mathrm{\&sigma;}}_y}^2+b)}---\left(8\right)$

为了减少与中心点差异较大的邻域点在空洞填充过程中带来的影响，本文对结构相似度系数设置了阈值，其中S_p,S_q为以p,q为中心的图像块，公式如下：

$\mathrm{SSIM}(S_p,S_q)=\left\{\begin{array}{ccc}\mathrm{SSIM}(S_p,S_q)& \mathrm{if}& \mathrm{SSIM}(S_p,S_q)>\mathrm{th}\\ 0& & \mathrm{else}\end{array}\right.---\left(9\right)$

结合以上改进，本发明提出改进三边滤波算法公式如(10)所示，

$H\left(p\right)=k^{-1}\left(p\right)\underset{q\&Element;\mathrm{\&omega;}}{\mathrm{\&Sigma;}}{I}_{q}F\left(\right||I_p-I_q|\left|\right)g\left(\right||I_p-I_q|\left|\right)\mathrm{SSIM}(S_p,S_q)---\left(10\right)$

其中： $k\left(p\right)=\underset{q\&Element;\mathrm{\&omega;}}{\mathrm{\&Sigma;}}F\left(\right||I_p-I_q|\left|\right)g\left(\right||I_p-I_q|\left|\right)\mathrm{SSIM}(S_p,S_q)---\left(11\right)$

$g\left(\right||p-q|\left|\right)=\exp (-\sqrt{{(R_p-R_q)}^2+{(G_p-G_q)}^2+{(B_p-B_q)}^2}/2{{\mathrm{\&sigma;}}_g}^2)---\left(12\right)$

Claims (6)

1.一种基于改进三边滤波的Kinect深度图像修复方法，其特征在于，包括如下步骤：

(1)利用Kinect同步获取深度图与彩色图；

(2)对彩色图和深度图进行对齐；

(3)提取深度图边缘信息；

(4)提取彩色图边缘信息；

(5)去除彩色图中的非边界纹理信息；

(6)用区域生长方法，在深度图中找出深度值错误的像素点并去除该点的错误深度值；

(7)用基于色差与结构相似度系数的改进三边滤波方法对深度图空洞区域进行填充修复。

2.根据权利要求1所述的一种基于改进三边滤波的Kinect深度图像修复方法，其特征在于，所述的步骤(3)包括：采用Canny算子对深度图进行边缘检测，得到深度图边缘Depth_edge(i,j)。

3.根据权利要求1所述的一种基于改进三边滤波的Kinect深度图像修复方法，其特征在于，所述的步骤(4)包括：采用Canny算子对灰度化的彩色图进行边缘检测，得到包含内部纹理信息的彩色图边缘Color1_edge(i,j)。

4.根据权利要求1所述的一种基于改进三边滤波的Kinect深度图像修复方法，其特征在于，所述的步骤(5)中采用距离变换方法去除彩色图轮廓边缘内部纹理信息，,包括以下步骤：

(5.1)对深度图边缘进行欧氏距离变换，将深度图边缘中的所有边缘点作为一个点集，并计算深度图中每一个像素点到该点集的最小欧氏距离，将其作为距离变换图中相应点的像素值，即每一点的像素值代表该点到深度图边缘的最近距离，距离变换图中的某一点像素值越大，则该点距离物体的边界越远；像素值越小，则该点距离物体的边界越近；

(5.2)根据下面的公式去除彩色图轮廓边缘内部纹理信息：

式中：利用得到的Depth Dist Map进行判断：遍历彩色图边缘中的边缘点，若该点坐标对应的Depth Dist Map像素值小于阈值th，则认为该边缘像素是与深度图像边缘相对应的边缘点，保留该点，反之，当阈值大于th，则认为是物体内部的纹理，深度图像边缘中不存在相对应的边缘，去除该点。

5.根据权利要求1所述的一种基于改进三边滤波的Kinect深度图像修复方法，其特征 在于，在所述步骤(6)利用区域生长方法去除错误深度值具体包括：对彩色图边缘Color2_edge(i,j)进行欧氏距离变换得到一幅彩色图的距离变换图Color Dist Map，得到的彩色图的边缘点Color2_edge(i,j)和深度图的边缘点Depth_edge(i,j)作为种子(seed)，利用彩色图距离变换图Color Dist Map和深度图距离变换图Depth Dist Map作为生长方向引导，通过区域生长方式分别从一个边缘点向另一个边缘点进行遍历寻找深度值错误的点，并去除该点的深度值。

6.根据权利要求1所述的一种基于改进三边滤波的Kinect深度图像修复方法，其特征在于，在所述步骤(7)中改进双边滤波器的步骤如下：

(7.1)基于色差的改进空域滤波器：通过邻域像素与中心像素之间的色差来判断邻域像素对中心像素的贡献，

其中，

其中，I_q为邻域像素值，F(||I_p-I_q||为改进的高斯卷积核，ΔE为两个像素之间的色差，th是色差阈值，当色差ΔE小于阈值th时，表示像素相似度较高，认为该点对中心点有贡献；当色差ΔE大于阈值th，表示像素相似度较低，则该点与中心点不在同一个区域，认为没有贡献，在滤波过程中不作为邻域点处理；

(7.2)引入结构相似度系数：

x，y为两幅输入图像，亮度比较函数l(x,y)由图像均值u_x，u_y表示，对比度比较函数c(x,y)由图像标准差σ_x,σ_y来表示，结构比较函数s(x,y)由两幅图像协方差σ_xy来表示：

获得两幅图片的结构相似度系数:

SSIM(x,y)＝[L(x,y)]^α[C(x,y)]^β[S(x,y)]^γ；

其中，α,β,γ分别为三个部分权重的参数，满足a＝(K₁L)²,b＝(K₂L)²,c＝(K₃L)²,其中K₁,K₂,K₃＜＜1,L为像素值的动态范围，若为8位灰度图像，则L＝255，设α＝β＝γ＝1,c＝0.5b，简化得出机构相似度表达式为：

为了减少与中心点差异较大的邻域点在空洞填充过程中带来的影响，本文对结构相似度系数设置了阈值，其中S_p,S_q为以p,q为中心的图像块：

其中：