CN110264433A - 一种基于彩色分割指导的深度图插值方法 - Google Patents

Abstract

本发明涉及一种基于彩色分割指导的深度图插值方法。由于实际应用中彩色相机和深度相机之间存在的旋转和平移矩阵不准确等问题，现有的基于彩色图像的深度图插值方法无法有效重建高质量高分辨率的深度图像，因此在实际应用中受到很大限制。本发明先利用双三次插值方法对低分辨率深度图像进行两倍插值，然后借助彩色分割信息提出了一种鲁棒的插值策略来重建得到高分辨率的深度图。本发明可以有效提高深度图像的插值效果，获得高质量高分辨的深度图像。

Description

一种基于彩色分割指导的深度图插值方法

技术领域

本发明属于计算机视觉领域，具体涉及一种基于彩色分割指导的深度图插值方法。

背景技术

如何提升深度图分辨率是计算机视觉领域一个比较重要且有挑战性的课题，其相关技术广泛应用于三维重建、移动机器人等应用场景。目前，深度图像的获取手段主要有：1)通过立体匹配的方法计算得到深度图像；2)通过直接的测量仪器观测得到深度图像。

立体匹配算法在实际应用中存在很大的局限性。对于无纹理或者具备重复纹理的场景以及左右图像之间由于视角不同造成的遮挡情况，立体匹配方法都不能得到可靠的深度数据。深度相机能够直接测量和输出帧率较高的深度数据。市面上常见的深度相机有ToF相机和Kinect相机。但由于ToF相机的分辨率低，而Kinect相机获得的深度边缘偏差太大，因此其在实际应用中受到很大限制。因此，如何获得场景的高分辨率高质量深度图一直是学界研究的热点。针对上述两类方法各自的限制，一般在深度相机的基础上，通过增加一个或多个成本较低的标准彩色相机将深度图的分辨率提升至与彩色图等同。由于实际应用中彩色相机和深度相机之间存在的遮蔽以及旋转平移矩阵不准确等问题，现有的基于彩色图像的深度图插值方法无法重建高质量高分辨率的深度图像。

发明内容

本发明针对现有技术的不足，提出了一种基于彩色分割指导的深度图插值方法。

本发明先利用双三次插值方法对低分辨率深度图像进行两倍插值，然后借助彩色分割信息提出了一种鲁棒的插值策略来重建得到高分辨率的深度图，本发明可以有效提高深度图像的插值效果，获得高质量高分辨的深度图像。其具体步骤是：

步骤(1)采集深度图像和彩色图像，深度相机采集的低分辨率深度图像记为D，彩色相机采集的高分辨率彩色图像记为I，深度相机坐标系和彩色相机坐标系之间的转换矩阵记为M_RT；

步骤(2)采用sobel边缘检测算子提取低分辨率深度图像D的边缘图，记为E_D；

步骤(3)采用双三次插值方法对深度相机获取的原始低分辨率深度图D进行两倍插值，得到长和宽是原先两倍的深度图D_{scale_2}；遍历D_{scale_2}内所有像素点D_{scale_2}(x,y)，其中x表示横坐标值，y表示纵坐标值；

如果E_D(x/2,y/2)等于1，则认为该处深度值位于深度边缘位置附近，剔除该深度值；如果E_D(x/2,y/2)等于0，则保留该深度值；得到一幅大小为初始尺寸2倍的、仅保留平滑区域深度值的深度图，记为D_deE；

步骤(4)深度图D_deE上的每一个非零点都对应一个深度相机坐标系下的三维点通过坐标系转换矩阵M_RT将每一个点转换为彩色相机坐标系下的

然后利用彩色相机的内参将投影到彩色图像平面上，得到在彩色图像平面的像素坐标[uⁱ,vⁱ]：

其中K_C是彩色相机的内参；

从而将D_deE上的每一个非零像素点都投影到彩色图像平面上，得到一幅与彩色图像配准的稀疏深度图D_sparse；

步骤(5)采用meanshift分割算法对高分辨率彩色图像I进行分割，获得分割区域图，记为S_C；

步骤(6)对深度图平滑区域的插值：

①遍历稀疏深度图D_sparse中的待插值像素点，根据S_C的分割信息，如果当前像素p在深度散点图中的K个最近邻像素点属于S_C的同一分割区域，则认为当前像素p位于平滑区域，执行步骤②；否则重新执行步骤①对下一个待插值像素进行判断；

②计算当前待插值像素p邻域Ω_p内其他像素的颜色权值和距离权值计算公式如下：

其中q是p在Ω_p内的邻域像素，σ_c和σ_d分别表示高斯分布的方差；

计算代表像素p邻域内的像素q对应的总权重ω_p,q，其计算公式如下：

其中G是掩膜，有深度值的像素位置为1，没有深度值的像素位置为0；

③根据ω_p,q计算当前目标像素的深度值：

其中D_q是邻域Ω_p内像素q对应的深度值；

循环执行步骤(6)，直至完成平滑区域内所有像素点的插值；

步骤(7)对深度不连续区域的插值：

(a)遍历剩下的未插值像素点，p_o是当前目标像素，首先获取p_o邻域内的所有深度数据的集合记为

其中q_o是p_o邻域内的像素；

(b)然后选取内目标像素p_o的K个最近邻数据构成集合，记为S_knn

S_knn＝{q_o|q_o是p_o的K个最近邻之一}

其中K是选择的p_o的最近邻的个数；

(c)在邻域内，选取与p_o处于同一分割区域的所有深度数据构成集合S_seg；

(d)取集合S_knn与S_seg的交集，记为S_ssnn；

(e)选取集合S_ssnn中距离分割区域边缘最远的N个深度值构成一个集合，记为S_distN；

(f)选取集合S_distN中的众数，记为d_mode；

(g)将属于S_seg的数据点，分成两类，其中d_mode所属的那一类构成一个集合，记为S_proper；

(h)在集合S_proper中，选择最靠近当前目标像素p_o的深度值作为其填充值；

循环执行步骤(7)，直至完成所有像素点的插值，从而插值得到最终的高分辨率深度图像记为D_high。

本发明相对于现有技术所具有的有益效果：本发明提出一种鲁棒的彩色分割指导的深度图插值，可以有效解决由于深度相机与彩色相机联合标定的旋转平移矩阵不够准确而影响插值效果的问题。从而使得插值得到的高分辨率深度图边缘明确，消除了锯齿效应，并且与彩色图的边缘完全一致。

具体实施步骤

步骤(1)采集深度图像和彩色图像，深度相机采集的低分辨率深度图像记为D，彩色相机采集的高分辨率彩色图像记为I，深度相机坐标系和彩色相机坐标系之间的转换矩阵记为M_RT；

步骤(2)采用sobel边缘检测算子提取低分辨率深度图像D的边缘图，记为E_D，sobel算子的灵敏度阈值设为0.02；

步骤(3)采用双三次插值方法对深度相机获取的原始低分辨率深度图D进行两倍插值，得到长和宽是原先两倍的深度图D_{scale_2}；遍历D_{scale_2}内所有像素点D_{scale_2}(x,y)，其中x表示横坐标值，y表示纵坐标值；

如果E_D(x/2,y/2)等于1，则认为该处深度值位于深度边缘位置附近，剔除该深度值；如果E_D(x/2,y/2)等于0，则保留该深度值；得到一幅大小为初始尺寸2倍的、仅保留平滑区域深度值的深度图，记为D_deE；

步骤(4)深度图D_deE上的每一个非零点都对应一个深度相机坐标系下的三维点通过坐标系转换矩阵M_RT将每一个点转换为彩色相机坐标系下的

然后利用彩色相机的内参可以将投影到彩色图像平面上，得到在彩色图像平面的像素坐标[uⁱ,vⁱ]：

其中K_C是彩色相机的内参。

从而得到一幅与彩色图像配准的稀疏深度图D_sparse；

步骤(5)采用meanshift分割算法对彩色图进行分割，获得分割区域图，记为S_C；

步骤(6)对深度图平滑区域的插值：

④遍历稀疏深度图D_sparse中的待插值像素点，根据S_C的分割信息，如果当前像素p在深度散点图中的k个最近邻像素点属于S_C的同一分割区域，则认为当前像素p位于平滑区域，执行步骤②；否则重新执行步骤①对下一个待插值像素进行判断；

其中k＝16；

⑤若是平滑区域，首先计算当前待插值像素p邻域Ω_p内其他像素的颜色权值和距离权值计算公式如下：

其中q是p在Ω_p内的邻域像素，σ_c和σ_d分别表示高斯分布的方差；

其中σ_c＝0.1，σ_d＝10；

计算代表像素p邻域内的像素q对应的总权重ω_p,q，其计算公式如下：

其中G是掩膜，有深度值的像素位置为1，没有深度值的位置为0；

⑥根据ω_p,q计算当前目标像素的深度值：

其中D_q是邻域Ω_p内像素q对应的深度值。

循环执行步骤(6)，直至完成平滑区域内所有像素点的插值；

步骤(7)对深度不连续区域的插值：

(a)遍历剩下的未插值像素点，p_o是当前目标像素，首先获取p_o邻域内的所有深度数据的集合记为

其中q_o是p_o邻域内的像素；

(b)然后选取内目标像素p_o的k个最近邻数据构成集合，记为S_knn

S_knn＝{q_o|q_o是p_o的k个最近邻之一}

其中k是选择的p_o的最近邻的个数，其中k＝16；

(c)在邻域内，选取与p_o处于同一分割区域的所有深度数据构成集合S_seg；

(d)取集合S_knn与S_seg的交集，记为S_ssnn；

(e)选取集合S_ssnn中距离分割区域边缘最远的n个深度值构成一个集合，记为S_distN，其中n＝5；

(f)选取集合S_distN中的众数，记为d_mode；

(g)将属于S_seg的数据点，分成两类，其中d_mode所属的那一类构成一个集合，记为S_proper；

(h)在集合S_proper中，选择最靠近当前目标像素p_o的深度值作为其填充值；

循环执行步骤(7)，直至完成所有像素点的插值，从而插值得到最终的高分辨率深度图像记为D_high。

Claims (1)

1.一种基于彩色分割指导的深度图插值方法，其特征在于该方法的具体步骤是：

步骤(1)采集深度图像和彩色图像，深度相机采集的低分辨率深度图像记为D，彩色相机采集的高分辨率彩色图像记为I，深度相机坐标系和彩色相机坐标系之间的转换矩阵记为M_RT；

步骤(2)采用sobel边缘检测算子提取低分辨率深度图像D的边缘图，记为E_D；

步骤(3)采用双三次插值方法对深度相机获取的原始低分辨率深度图D进行两倍插值，得到长和宽是原先两倍的深度图D_{scale_2}；遍历D_{scale_2}内所有像素点D_{scale_2}(x,y)，其中x表示横坐标值，y表示纵坐标值；

如果E_D(x/2,y/2)等于1，则认为该处深度值位于深度边缘位置附近，剔除该深度值；如果E_D(x/2,y/2)等于0，则保留该深度值；得到一幅大小为初始尺寸2倍的、仅保留平滑区域深度值的深度图，记为D_deE；

步骤(4)深度图D_deE上的每一个非零点都对应一个深度相机坐标系下的三维点通过坐标系转换矩阵M_RT将每一个点转换为彩色相机坐标系下的

然后利用彩色相机的内参将投影到彩色图像平面上，得到在彩色图像平面的像素坐标[uⁱ,vⁱ]：

其中K_C是彩色相机的内参；

从而将D_deE上的每一个非零像素点都投影到彩色图像平面上，得到一幅与彩色图像配准的稀疏深度图D_sparse；

步骤(5)采用meanshift分割算法对高分辨率彩色图像I进行分割，获得分割区域图，记为S_C；

步骤(6)对深度图平滑区域的插值：

①遍历稀疏深度图D_sparse中的待插值像素点，根据S_C的分割信息，如果当前像素p在深度散点图中的K个最近邻像素点属于S_C的同一分割区域，则认为当前像素p位于平滑区域，执行步骤②；否则重新执行步骤①对下一个待插值像素进行判断；

②计算当前待插值像素p邻域Ω_p内其他像素的颜色权值和距离权值计算公式如下：

其中q是p在Ω_p内的邻域像素，σ_c和σ_d分别表示高斯分布的方差；

计算代表像素p邻域内的像素q对应的总权重ω_p,q，其计算公式如下：

其中G是掩膜，有深度值的像素位置为1，没有深度值的像素位置为0；

③根据ω_p,q计算当前目标像素的深度值：

其中D_q是邻域Ω_p内像素q对应的深度值；

循环执行步骤(6)，直至完成平滑区域内所有像素点的插值；

步骤(7)对深度不连续区域的插值：

(a)遍历剩下的未插值像素点，p_o是当前目标像素，首先获取p_o邻域内的所有深度数据的集合记为

其中q_o是p_o邻域内的像素；

(b)然后选取内目标像素p_o的K个最近邻数据构成集合，记为S_knn

S_knn＝{q_o|q_o是p_o的K个最近邻之一}

其中K是选择的p_o的最近邻的个数；

(c)在邻域内，选取与p_o处于同一分割区域的所有深度数据构成集合S_seg；

(d)取集合S_knn与S_seg的交集，记为S_ssnn；

(e)选取集合S_ssnn中距离分割区域边缘最远的N个深度值构成一个集合，记为S_distN；

(f)选取集合S_distN中的众数，记为d_mode；

(g)将属于S_seg的数据点，分成两类，其中d_mode所属的那一类构成一个集合，记为S_proper；

(h)在集合S_proper中，选择最靠近当前目标像素p_o的深度值作为其填充值；

循环执行步骤(7)，直至完成所有像素点的插值，从而插值得到最终的高分辨率深度图像记为D_high。