CN108399610A - 一种融合rgb图像信息的深度图像增强方法 - Google Patents

Abstract

本发明公开了一种融合RGB图像信息的深度图像增强方法，包括S1：获取深度图和RGB图的坐标之间的映射关系；S2：对深度图和RGB图分别做预处理；提取深度图中的无效区域并标记出无效区域的像素位置；对RGB图进行边缘检测，提取出边缘信息，并与预处理之后的深度图进行比对以确定用于修复深度图的有效支撑边缘；S3：无效区域深度信息估计；沿着深度图中无效区域的边界，利用有效支撑边缘的信息从外向里逐层进行深度计算；S4：对深度图中未能提取出有效支撑边缘的微小孤立区域做滤波去噪优化以提高深度图的精度。该种融合RGB图像信息的深度图增强方法，能够在保证边缘清晰的前提下实现对深度图中无效区域的修复，并能提高对各个深度缺失区域边缘的锐化程度。

Description

一种融合RGB图像信息的深度图像增强方法

技术领域

本发明属于图像处理领域，尤其涉及一种融合RGB图像信息的深度图增 强方法。

背景技术

近些年来，移动机器人的应用场景愈加广泛，已经渗透到了如工农业、 家庭服务、医疗护理、航天航空等多个领域。同时定位与地图构建 (Simultaneous Localization andMapping，SLAM)，是指在机器人等一些 可移动平台上携带特定的传感器，在没有环境先验信息的前提下，凭借其在 运动过程中采集到各个时刻的传感器信息，估计自身的运动轨迹，并且建立 符合应用场景的环境地图。SLAM技术提供准确的定位与地图从而使得机器人可以在房间中自主运动。其不仅运用于机器人领域，同样也是虚拟现实和增 强现实等相关领域的核心技术。SLAM按传感器形式不同主要分为激光SLAM 和视觉SLAM。一个完整的视觉SLAM系统分为视觉里程计、后端优化、地图 构建、回环检测。

视觉里程计根据相邻的图像信息，定量地估计相机运动。其中最为有效 的方案是依据Kinect2深度传感器采集到的深度数据，在已知特征点匹配的 情况下，建立3D-3D的位姿估计问题，利用ICP(Iterative Closest Point) 求解两个点云之间的变换矩阵。但是，由于Kinect2的深度图存在空洞和噪 声，容易造成数据丢失的情况，使得不得不丢弃没有深度的特征点。特征点 数量的减少和测量数据的不准确导致了ICP估计的不准确，更严重地会引起 无法进行运动估计的情况。在后期对图像进行三维重建得到地图的过程中， 同样需要准确的深度信息，才能保证地图的精度。由此可见，研究一种深度 图增强方法具有十分重要的意义。

Kinect2是微软研发的一款基于飞行时间法原理测量像素距离的深度传 感器，由于其价格低廉，实时性较高在科研工作中广泛应用。但由于其测量 距离受限，以及受测量物体自身吸光材质和区域遮挡等因素影响，Kinect2 生成的深度图存在很多测量值为0的无效区域，并且伴随着严重的噪声项。

目前，对于Kinect2深度图增强问题，在不同的领域提出了不同的深度 图增强方法。主要包括以下方法：(1)利用高斯滤波器来填充深度图的空洞 即无效区域，处理速度较快。然而，该方法仅在空域上考虑空洞周围的信息， 忽略了颜色信息，填充效果不佳。(2)利用双边滤波器综合考虑空间邻近度 和颜色距离得到良好的深度图像增强效果，具有保持边缘特性的优点。在此 基础上又改进使用联合双边滤波，采用了不同于原图像的另一张引导图像作 为像素值差异度权重的计算依据。然而，这两种方法在面对颜色相近但深度 不同以及深度相同但颜色不同的物体时，会出现边缘扩散现象，修复效果不 佳。(3)利用帧差法通过视频序列进行前景建模并对背景深度进行更新检测。 增强后的深度图像平滑度高、边缘清晰。然而，该方法要求的数据量较大且 无法处理单张图像。(4)利用深度学习的方法，训练深度图像周围的纹理信 息用来估计待处理的深度缺失区域的深度值，达到了很好的修补效果。然而， 该方法主要受限于其运算的速度，算法的实时性不高。

发明内容

本发明要解决的技术问题是提供一种融合RGB图像信息的深度图增强方 法，其能够在保证边缘清晰的前提下实现对深度图像中无效区域的修复，并 且能够提高对各个深度缺失区域边缘的锐化程度。

为解决上述问题，本发明的技术方案为：

一种融合RGB图像信息的深度图像增强方法，包括以下步骤：

S1：获取深度图像和RGB图像的坐标之间的映射关系；

S2：对所述深度图像和RGB图像分别做预处理；提取所述深度图像中的 无效区域并标记出所述无效区域的像素位置；

对所述RGB图像进行边缘检测，提取出边缘信息，并与预处理之后的所 述深度图像进行比对以确定用于修复所述深度图像的有效支撑边缘；

S3：无效区域深度信息估计；

沿着所述深度图像中无效区域的边界，利用所述有效支撑边缘的信息从 外向里逐层进行深度计算；

S4：对所述深度图像中未能提取出有效支撑边缘的微小孤立区域做滤波 去噪优化以提高所述深度图像的精度。

根据本发明一实施例，所述步骤S1包括：

S11：使用Kinect2深度传感器中的深度摄像头和彩色摄像头分别获取深 度图像和RGB图像；

S12：分别对所述深度摄像头和彩色摄像头进行标定，分别求出所述深度 摄像头和彩色摄像头的内参数和外参数；在假设刚体变换的前提下，对所述 深度图像和RGB图像中的像素点进行对齐推导，得到所述深度图像和RGB图 像的坐标之间的映射关系；

所述深度图像和RGB图像坐标之间的映射关系表示为：

其中，

K_c和K_d分别为所述深度摄像头和彩色摄像头的内参数，p_c表示所述RGB 图像的像素坐标，p_d表示所述深度图像的像素坐标；Z_c表示所述RGB图像三 维点Z方向坐标值，Z_d表示所述深度图像三维点Z方向坐标值；R_cd表示从所 述深度图像变换到所述RGB图像的旋转矩阵，t_cd表示从所述深度图像变换到 所述RGB图像的平移向量。

根据本发明一实施例，所述步骤S2包括：

S21：对所述深度图像进行二值化处理，设定阈值为0，当所述深度图像 中某位置像素的灰度值大于0时，将该位置像素的灰度值设置为255；若灰 度值等于0，则记录该像素坐标，所有灰度值等于0的像素坐标的集合为所 述无效区域；

S22：使用高斯滤波器平滑所述RGB图像，再用一阶偏导的有限差分来计 算所述RGB图像梯度的幅值和方向，然后对梯度幅值进行非极大值抑制，最 后用双阈值算法检测和连接边缘以提取出所述RGB图像的边缘信息；

S23：根据所述RGB图像的边缘信息，利用区域连通性标记出经过二值化 处理之后的深度图像中无效区域所连通的RGB图像边缘，并将相关联的边缘 区域作为所述深度图像修复的有效支撑边缘。

根据本发明一实施例，所述步骤S3中所述无效区域内的像素点p的深度 值D_p的计算公式为：

E为所述有效支撑边缘，q为所述有效支撑边缘中的像素点，ω_q是深度 值D_p的群权重，ω_s是空域高斯权重，ω_c是RGB颜色高斯权重，ω_b是边缘锐化 权重；

其中，

ω_b由像素点p所在边缘α的模糊检测概率P(α)和像素点q所在边缘β的 模糊检测概率P(β)表示：

其中，σ_b表示边缘锐化权重的标准差，模糊检测概率P(α)和P(β)由以下 公式进行计算：

其中，P(e)表示边缘e的边缘模糊检测概率，ω(e)表示e的边缘测量宽度， ω_JNB(e)表示e的最小可觉察宽度(Just Noticeable Blur,JNB)，ψ＝3.6。

根据本发明一实施例，在利用有效支撑边缘从外向里对深度缺失区域估 计深度值的同时，不断迭代更新有效支撑边缘；并且将已经进行过深度估计 的像素组成的边缘作为新的有效支撑边缘。

根据本发明一实施例，所述步骤S4中的滤波方法为改进的加权引导滤波 去噪；

将RGB图像作为引导图像I，将经过深度估计后的深度图像作为待滤波 图像S；假设以像素i为中心在半径为k的邻域W_k内，图像满足以下线性模型：

其中，h为输出图像，a_k和b_k为线性函数系数，通过线性回归得到a_k和b_k的值；

其中，μ_k和σ_k为RGB图像I在窗口W_k中的均值和标准差，为待滤波图 像在窗口W_k中的均值，|ω|为窗口W_k中像素个数，P(e)表示边缘e的边缘模糊 检测概率，ε是规整化因子。

本发明由于采用以上技术方案，使其与现有技术相比具有以下的优点和 积极效果：

1)通过利用坐标对齐推导，保证了对相同时刻采集到的彩色图像和深度 图像进行配准操作的准确性，从而可以提高深度图像修复数据的精确程度。

2)在对彩色图像和深度图像做预处理的基础上，提取出了有效支撑边缘， 通过结合空域、颜色以及边缘锐化属性估计深度图像中的无效区域，能够得 到高质量的深度图像。

3)通过结合最小可觉察模糊和边缘模糊检测概率，对初步得到的待滤波 深度图像做去噪优化；通过对规整化因子的权重调整，在保护图像边缘信息 的同时增强了优化算法的鲁棒性和实时性。

附图说明

图1为本发明的一种融合RGB图像信息的深度图增强方法的流程图；

图2为本发明一实施例中需要进行增强的深度图像；

图3为使用本发明的一种融合RGB图像信息的深度图像增强方法对图2 进行增强之后的图像。

具体实施方式

以下结合附图和具体实施例对本发明提出的一种融合RGB图像信息的深 度图增强方法作进一步详细说明。根据下面说明和权利要求书，本发明的优 点和特征将更清楚。需说明的是，附图均采用非常简化的形式且均使用非精 准的比率，仅用以方便、明晰地辅助说明本发明实施例的目的。

参看图1，一种融合RGB图像信息的深度图像增强方法，包括以下步骤：

S1：获取深度图像和RGB图像的坐标之间的映射关系；

S2：对深度图像和RGB图像分别做预处理；提取深度图像中的无效区域 并标记出无效区域的像素位置；

对RGB图像进行边缘检测，提取出边缘信息，并与预处理之后的深度图 像进行比对以确定用于修复深度图像的有效支撑边缘；

S3：无效区域深度信息估计；

沿着深度图像中无效区域的边界，利用有效支撑边缘的信息从外向里逐 层进行深度计算；

S4：对深度图像中未能提取出有效支撑边缘的微小孤立区域做滤波去噪 优化以提高深度图像的精度。

可以理解，上述融合RGB图像信息的深度图像增强方法通过获取深度图 像和RGB图像的坐标之间的映射关系，能够保证在相同时刻采集到的彩色图 像和深度图像进行配准操作的准确性，从而可以提高深度图像修复数据的精 确程度。在对彩色图像和深度图像做预处理的基础上，提取出了有效支撑边 缘，通过结合空域、颜色以及边缘锐化属性估计深度图像中的无效区域，能 够得到高质量的深度图像。

进一步的，步骤S1包括：

S11：使用Kinect2深度传感器中的深度摄像头和彩色摄像头分别获取深 度图像和RGB图像；

S12：分别对深度摄像头和彩色摄像头进行标定，分别求出深度摄像头和 彩色摄像头的内参数和外参数；具体可选用张正友标定法对Kinect2相机进 行标定，工具选用常用的Camera Calibration Toolbox for Matlab，求出 彩色相机和深度相机内参分别为K_c和K_d，外参分别为R_c和t_c以及R_d和t_d。

在假设刚体变换的前提下，对深度图像和RGB图像中的像素点进行对齐 推导，得到深度图像和RGB图像的坐标之间的映射关系；具体的，对于各自 相机坐标系的三维点到各自图片上的像素坐标的映射关系为：

Z_c*p_c＝K_c*P_c

Z_d*p_d＝K_d*P_d

其中，三维点P_c表示彩色相机坐标系下的三维点，P_d表示深度相机坐标 系下的三维点。p_c表示彩色图像的像素坐标，p_d表示深度图像的像素坐标。 Z_c表示彩色图像三维点Z方向坐标值，Z_d表示深度图像三维点Z方向坐标值。

从深度相机到彩色相机的刚体变换关系为：

t_cd＝t_c-R_cd*t_d

其中，R_cd表示从深度图像变换到彩色图像的旋转矩阵，t_cd表示从深度图 像变换到彩色图像的平移向量。

三维点在相机坐标系下的变换公式为：

P_c＝R_cd*P_d+t_cd

最后将以上关系联立，从而得到深度图像和彩色图像坐标之间的映射关 系，深度图像和RGB图像坐标之间的映射关系表示为：

进一步的，步骤S2包括：

S21：对深度图像进行二值化处理，设定阈值为0，当深度图像中某位置 像素的灰度值大于0时，将该位置像素的灰度值设置为255；若灰度值等于0， 则记录该像素坐标，所有灰度值等于0的像素坐标的集合为无效区域；

S22：使用高斯滤波器平滑RGB图像，再用一阶偏导的有限差分来计算 RGB图像梯度的幅值和方向，然后对梯度幅值进行非极大值抑制，最后用双 阈值算法检测和连接边缘以提取出RGB图像的边缘信息；

S23：根据RGB图像的边缘信息，利用区域连通性标记出经过二值化处理 之后的深度图像中无效区域所连通的RGB图像边缘，并将相关联的边缘区域 作为深度图像修复的有效支撑边缘。

进一步的，步骤S3中，对于选定的像素坐标位置，沿着无效区域的深度 区域边缘，利用有效支撑边缘区域E中像素点q的多尺度信息对无效区域内 的像素点p的深度值D_p进行深度计算。D_p的计算公式为：

其中，ω_q是深度值D_p的群权重，ω_s是空域高斯权重，ω_c是RGB颜色高斯 权重，ω_b是边缘锐化权重。

ω_s由像素点p的坐标(u_p,v_p)和像素点q的坐标(u_q,v_q)表示：

其中，σ_s表示空域高斯函数的标准差，由实际情况选定。

ω_c由像素点p颜色的RGB三通道值(R_p,G_p,B_p)和像素点q颜色的RGB三通 道值(R_q,G_q,B_q)表示：

其中，σ_c表示RGB颜色高斯函数的标准差，由实际情况选定。

ω_b由像素点p所在边缘α的模糊检测概率P(α)和像素点q所在边缘β的 模糊检测概率P(β)表示：

其中，σ_b表示边缘锐化权重的标准差，由实际情况选定。模糊检测概率 P(α)和P(β)可由以下公式进行计算：

其中，P(e)表示边缘e的边缘模糊检测概率。ω(e)表示e的边缘测量宽度。 ω_JNB(e)表示e的最小可觉察宽度(Just Noticeable Blur,JNB)，ψ＝3.6，根 据大量实验数据获得。

ω(e)的计算方法是先假定边缘梯度方向为正方向，通过对边缘像素正方 向上具有增加的灰度值的像素的数量进行计数，同时对在反方向上具有减小 的灰度值的像素的数量进行计数，然后将这两者求和作为边缘测量宽度。

ω_JNB(e)由边缘像素的局部对比度C即亮度差值表示。ω_JNB与C的关系可由 以下公式表示：

进一步的，步骤S4中的滤波方法为改进的加权引导滤波去噪；

具体为，将RGB图像作为引导图像I，将经过深度估计后的深度图像作 为待滤波图像S；假设以像素i为中心在半径为k的邻域W_k内，图像满足以下 线性模型：

其中，h为输出图像，a_k和b_k为线性函数系数。

对函数进行线性回归来求解滤波结果，即采取最小二乘方法求解。ε是 规整化因子。考虑到像素i中心邻域内各个像素的差异性，更好地保护边缘的 锐化程度，对于边缘区域因采用较小的ε进行调节。反之对于平滑区域，需 要采用较大的ε进行调节。将模糊检测概率P(e_i)作为边缘权重因子。公式表 示为：

得到结果表示为：

其中，μ_k和σ_k为RGB图像I在窗口W_k中的均值和标准差，为待滤波图 像在窗口W_k中的均值，|ω|为窗口W_k中像素个数。

通过结合最小可觉察模糊和边缘模糊检测概率，对初步得到的待滤波深 度图像做去噪优化；通过对规整化因子的权重调整，在保护图像边缘信息的 同时增强了优化算法的鲁棒性和实时性。

在本发明另一具体实施例中，在利用有效支撑边缘从外向里对深度缺失 区域估计深度值的同时，不断迭代更新有效支撑边缘；并且将已经进行过深 度估计的像素组成的边缘作为新的有效支撑边缘。将已经进行过深度估计的 像素组成的边缘作为新的有效支撑边缘，保证深度估计的渐进性和实时性。 其余部分与上述实施例相同，在此不再赘述。

图2为本发明需要进行增强的深度图像，图3为使用本发明的一种融合 RGB图像信息的深度图像增强方法进行增强之后的图像，可以看到，图2中 黑色区域为深度图像的无效区域，经本算法增强后，从图3中可以看出，无 效区域已经被很好的修复。

上面结合附图对本发明的实施方式作了详细说明，但是本发明并不限于 上述实施方式。即使对本发明作出各种变化，倘若这些变化属于本发明权利 要求及其等同技术的范围之内，则仍落入在本发明的保护范围之中。

Claims (6)

1.一种融合RGB图像信息的深度图像增强方法，其特征在于，包括以下步骤：

S1：获取深度图像和RGB图像的坐标之间的映射关系；

S2：对所述深度图像和RGB图像分别做预处理；提取所述深度图像中的无效区域并标记出所述无效区域的像素位置；

对所述RGB图像进行边缘检测，提取出边缘信息，并与预处理之后的所述深度图像进行比对以确定用于修复所述深度图像的有效支撑边缘；

S3：无效区域深度信息估计；

沿着所述深度图像中无效区域的边界，利用所述有效支撑边缘的信息从外向里逐层进行深度计算；

S4：对所述深度图像中未能提取出有效支撑边缘的微小孤立区域做滤波去噪优化以提高所述深度图像的精度。

2.如权利要求1所述融合RGB图像信息的深度图像增强方法，其特征在于，所述步骤S1包括：

S11：使用Kinect2深度传感器中的深度摄像头和彩色摄像头分别获取深度图像和RGB图像；

S12：分别对所述深度摄像头和彩色摄像头进行标定，分别求出所述深度摄像头和彩色摄像头的内参数和外参数；在假设刚体变换的前提下，对所述深度图像和RGB图像中的像素点进行对齐推导，得到所述深度图像和RGB图像的坐标之间的映射关系；

所述深度图像和RGB图像坐标之间的映射关系表示为：

其中，

K_c和K_d分别为所述深度摄像头和彩色摄像头的内参数，p_c表示所述RGB图像的像素坐标，p_d表示所述深度图像的像素坐标；Z_c表示所述RGB图像三维点Z方向坐标值，Z_d表示所述深度图像三维点Z方向坐标值；R_cd表示从所述深度图像变换到所述RGB图像的旋转矩阵，t_cd表示从所述深度图像变换到所述RGB图像的平移向量。

3.如权利要求1所述融合RGB图像信息的深度图像增强方法，其特征在于，所述步骤S2包括：

S21：对所述深度图像进行二值化处理，设定阈值为0，当所述深度图像中某位置像素的灰度值大于0时，将该位置像素的灰度值设置为255；若灰度值等于0，则记录该像素坐标，所有灰度值等于0的像素坐标的集合为所述无效区域；

S22：使用高斯滤波器平滑所述RGB图像，再用一阶偏导的有限差分来计算所述RGB图像梯度的幅值和方向，然后对梯度幅值进行非极大值抑制，最后用双阈值算法检测和连接边缘以提取出所述RGB图像的边缘信息；

S23：根据所述RGB图像的边缘信息，利用区域连通性标记出经过二值化处理之后的深度图像中无效区域所连通的RGB图像边缘，并将相关联的边缘区域作为所述深度图像修复的有效支撑边缘。

4.如权利要求1所述融合RGB图像信息的深度图像增强方法，其特征在于，所述步骤S3中所述无效区域内的像素点p的深度值D_p的计算公式为：

E为所述有效支撑边缘，q为所述有效支撑边缘中的像素点，ω_q是深度值D_p的群权重，ω_s是空域高斯权重，ω_c是RGB颜色高斯权重，ω_b是边缘锐化权重；

其中，

ω_b由像素点p所在边缘α的模糊检测概率P(α)和像素点q所在边缘β的模糊检测概率P(β)表示：

其中，σ_b表示边缘锐化权重的标准差，模糊检测概率P(α)和P(β)由以下公式进行计算：

其中，P(e)表示边缘e的边缘模糊检测概率，ω(e)表示e的边缘测量宽度，ω_JNB(e)表示e的最小可觉察宽度(Just Noticeable Blur,JNB)，ψ＝3.6。

5.如权利要求4所述融合RGB图像信息的深度图像增强方法，其特征在于，在利用有效支撑边缘从外向里对深度缺失区域估计深度值的同时，不断迭代更新有效支撑边缘；并且将已经进行过深度估计的像素组成的边缘作为新的有效支撑边缘。

6.如权利要求1所述融合RGB图像信息的深度图像增强方法，其特征在于，所述步骤S4中的滤波方法为改进的加权引导滤波去噪；

将RGB图像作为引导图像I，将经过深度估计后的深度图像作为待滤波图像S；假设以像素i为中心在半径为k的邻域W_k内，图像满足以下线性模型：

其中，h为输出图像，a_k和b_k为线性函数系数，通过线性回归得到a_k和b_k的值；

其中，μ_k和σ_k为RGB图像I在窗口W_k中的均值和标准差，为待滤波图像在窗口W_k中的均值，|ω|为窗口W_k中像素个数，P(e)表示边缘e的边缘模糊检测概率，ε是规整化因子。