CN108062769A - 一种用于三维重建的快速深度恢复方法 - Google Patents

Abstract

本发明涉及计算机视觉中的立体视觉的技术领域，更具体地，涉及一种用于三维重建的快速深度恢复方法。利用通过运动恢复结构（Structure From Motion，SFM）得到图像中稀疏特征点的深度后，基于这些稀疏的特征点，结合灰度图像，通过多层下采样利用联合双边滤波器对深度进行扩散，从低分辨到高分辨率，由粗到精地、分层地快速恢复出精准的稠密深度图。该方法结果准确且计算量少，可以用于基于特征点法的同步定位与建图系统（Simultaneous Localization and Mapping，SLAM），将系统中计算得到的稀疏特征点恢复成稠密的深度图，以重建出三维的稠密地图。

Description

一种用于三维重建的快速深度恢复方法

技术领域

本发明涉及计算机视觉中的立体视觉的技术领域，更具体地，涉及一种用于三维重建的快速深度恢复方法。

背景技术

计算机视觉中的三维重建问题需要知道图像中每一个像素的深度信息，也就是需要知道稠密的深度图。一般来说，稠密的深度图可以由以下几种的方法获得：一是通过RGB-D相机直接获得每一个像素的深度信息；二是双目(多目)相机通过左右两相机的视差来计算像素的深度信息；三是单目相机通过运动，结合运动信息进行三角测量以计算像素的深度信息。基于RGB-D相机的方法容易受到光照影响，有量程限制，在室外大场景不适用；基于单目或双目(多目)相机基于立体匹配的方法，通常要通过匹配代价计算、代价聚集、视差计算以及视差优化等繁琐的步骤。对于如何求解视差，主要分为全局算法和局部算法两大类别：全局算法通过最小化带平滑项约束的能量函数，通过优化的方法求解出整体最优的视差，此类方法计算量大，对于图像中每一个像素视差的计算都利用都全部像素的信息；局部算法则是优化每一个像素在局部环境下的视差，平滑项通过窗口的聚集来进行约束。总的来说，传统利用立体匹配进行深度恢复的算法计算量大、耗时长。然而，一幅图像中的稠密深度信息是冗余的，对于一个平面(如：白墙)我们可以用其中的三个点的深度信息来表达，故在一定区域内，可以通过几个像素点精确的深度来恢复该区域的深度信息。目前，已有很多方法关注于利用稀疏的深度数据来恢复稠密的深度图。比如，通过基于马尔科夫随机场对深度图进行插值；通过循环的置信度传播求解对低分辨的深度图进行上采样，通过高分辨彩色图利用双边滤波器对低分辨率图进行插值上采样等等。以上大多数方法针对的是低质量的深度图进行优化，使用的是RGBD相机进行数据采集。

发明内容

本发明为克服上述现有技术所述的至少一种缺陷，提供一种用于三维重建的快速深度恢复方法，关注的是单目相机的深度恢复问题，利用SFM方法得到图像中稀疏特征点的深度，在得到特征点深度的基础上利用灰度图做引导，通过具有保持边缘性质的联合双边滤波器，从低分辨到高分辨率，分层迭代地恢复出稠密的深度图。

本发明的技术方案是：一种用于三维重建的快速深度恢复方法,包括以下步骤：

(1)通过SFM方法计算得到基于Harris角点的特征点的深度，由特征点组成的稀疏的深度图，该深度图与图X+1所示的灰度图分辨率一致，为dim_x×dim_y像素。

(2)对稀疏的深度图中有深度值的像素进行预处理。在具有深度值的特征点的八连通区域进行深度值扩散。此步骤保证对稀疏深度图进行下采样的时候深度信息不丢失。

(3)利用高斯金字塔向下降采样灰度图，记原分辨率dim_x×dim_y的灰度图为I⁰,每一轮下采样倍数为2,经过N轮下采样得到N+1张不同分辨率的灰度图：I⁰,I¹,I²...I^N，其中I^N的分辨率为(dim_x/2^N)×(dim_y/2^N)。

(4)经过预处理的稀疏深度图利用最邻近方法进行下采样。记原分辨率dim_x×dim_y的稀疏深度图为D⁰,稀疏深度图的下采样倍数为2^N，下采样后的稀疏深度图记为D^N.其分辨率与I^N同为(dim_x/2^N)×(dim_y/2^N)。

(5)通过联合双边滤波器，以灰度图I^N作为引导，将低分辨下的稀疏深度图D^N中的特征点的深度扩散到无特征点区域，所得深度图为根据标准的联合双边滤波器，滤波后低分辨稀疏深度图中计算方法如下：

其中，为归一化系数，S为插值窗口大小，每一个像素p的深度是该像素滤波前在插值窗口中所有深度q∈S的加权平均。该权重w_p,q由空间相似性与灰度相似性计算：

上式中，函数s(·)为空间相似性权重，为灰度相似性权重。具体计算方法如下：

(a)空间相似性权重s(·)表示的是插值窗口内像素距离之间的相似性，用高斯核函数来表达，计算方法为：其中σ_s为空间相似性权重的标准差。

(b)灰度相似性权重r(·)表示的是插值窗口内像素灰度之间的相似性，用高斯核函数来表达，计算方法式为：其中σ_r为灰度相似性权重的标准差。

(6)步骤(5)所得到的使用双三次插值方法上采样得到D^N-1。

(7)重复步骤(5)与步骤(6)，直至得到清晰稠密的深度图

(8)最后将深度图上采样至原图分辨率大小，得到恢复后的深度图D。

本发明用稀疏的特征点通过分层下采样，利用联合双边滤波的方法，逐渐上采样恢复出高分辨率的稠密深度图，与现有基于立体匹配的深度恢复方法相比，能够充分利用带深度特征点与灰度图的信息，高效并准确地恢复出稠密的深度图。

本发明只需要灰度图与图中特征点的深度信息，就能恢复出稠密深度图，与传统的深度恢复方法相比，计算效率高。

利用图像金字塔的原理，将稀疏特征点先下采样到低分辨率，以分层的方法从低分辨率逐步恢复到高分辨率，得到稠密的深度图；

利用迭代的联合双边滤波器，在恢复深度的同时，利用灰度图的引导，保持场景中的边缘特征。

与现有技术相比，有益效果是：本发明方法能够利用单帧图像中带深度的特征点与灰度图进行深度恢复，具有运算简单，恢复速度快及恢复稳定的特定。恢复出的稠密深度图能够准确区分场景三维信息的同时，能够维持场景中物体清晰的边缘，可用于三维重建等应用。

附图说明

图1：本发明的算法流程图。

图2：本发明方法中输入的基于特征点的稀疏深度图D⁰。

图3：本发明方法中恢复得到的灰度图I⁰。

图4：本发明方法中输出的稠密深度图D。

具体实施方式

附图仅用于示例性说明，不能理解为对本专利的限制；为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。附图中描述位置关系仅用于示例性说明，不能理解为对本专利的限制。

本发明方法的流程图如图1所示。

本发明方法通过基于特征点的SFM方法，计算出带有深度值的特征点。为了更好的说明恢复的精度与效率，在纯图像的基础上，引入惯性测量单元，运用视觉-惯性导航系统(Visual-Inertial Navigation System，VINS)的算法，估计出单帧图像中基于Harris角点的带有真实尺度的深度。

以下实例中，基于单帧灰度图以及该帧图中的稀疏的深度特征点，进行分层快速深度恢复。其中，分层层数为3，带深度值的特征点数量为150～200个，如图2所示，灰度图像的分辨率为480×752，如图3所示，本方法能够利用图像中0.04％～0.05％个像素点的深度值，恢复出稠密的深度图，如图4所示。

根据VINS所得的带深度的特征值，结合灰度图像，应用本发明提出的基于稀疏特征点与灰度图像的快速深度恢复方法，包括以下步骤：

首先，对稀疏的深度图中有深度值的像素进行预处理。在具有深度值的特征点的八连通区域进行深度值扩散。此步骤保证对稀疏深度图进行下采样的时候深度信息不丢失。

其次，利用利用高斯金字塔向下降采样灰度图，记原分辨率480×752的灰度图为I⁰,每一轮下采样倍数为2,经过3轮下采样得到4张不同分辨率的灰度图：I⁰,I¹,I²,I³，其中I¹的分辨率为240×176，I²的分辨率为120×188，I¹的分辨率为60×94。

另外，经过预处理的稀疏深度图利用最邻近方法进行下采样。记原分辨率480×752的稀疏深度图为D⁰,稀疏深度图的下采样倍数为2³＝8，下采样后的稀疏深度图记为D³.其分辨率与I³同为60×94。

然后，令N＝3。通过联合双边滤波器，以灰度图I^N作为引导，将低分辨下的稀疏深度图D^N中的特征点的深度扩散到无特征点区域，所得深度图为根据标准的联合双边滤波器，滤波后低分辨稀疏深度图中计算方法如下：

其中，为归一化系数，S为插值窗口大小，每一个像素p的深度是该像素滤波前在插值窗口中所有深度q∈S的加权平均。该权重w_p,q由空间相似性与灰度相似性计算：

上式中，函数s(·)为空间相似性权重，r(·)为灰度相似性权重。具体计算方法如下：

(a)空间相似性权重s(·)表示的是插值窗口内像素距离之间的相似性，用高斯核函数来表达，计算方法为：其中σ_s为空间相似性权重的标准差。

(b)灰度相似性权重r(·)表示的是插值窗口内像素灰度之间的相似性，用高斯核函数来表达，计算方法式为：其中σ_r为灰度相似性权重的标准差。

经过联合双边滤波器所得到的使用双三次插值方法上采样得到D^N-1。令N＝N-1，重复联合双边滤波器与双三次插值上采样的步骤，直至得到清晰稠密的深度图

最后，深度图上采样至原图分辨率大小，得到恢复后的深度图D，如图4所示。

本实例能够利用单帧图像中带深度的特征点与灰度图进行深度恢复，具有运算简单，恢复速度快及恢复稳定的特定。其中，带深度值的特征点数量为150～200个，灰度图像的分辨率为480×752，在本实例中，本发明方法能够利用图像中0.04％～0.05％个像素点的深度值，恢复出稠密的深度图，所得深度图能够区分场景的三维信息。同时，深度恢复的效果非常好，能够对维持场景中物体清晰的边缘。

显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (1)

1.一种用于三维重建的快速深度恢复方法，其特征在于，包括以下步骤：

(1)通过SFM方法计算得到基于Harris角点的特征点的深度，由特征点组成的稀疏的深度图，该深度图与图X+1所示的灰度图分辨率一致，为dim_x×dim_y像素；

(2)对稀疏的深度图中有深度值的像素进行预处理；在具有深度值的特征点的八连通区域进行深度值扩散；此步骤保证对稀疏深度图进行下采样的时候深度信息不丢失；

(3)利用高斯金字塔向下降采样灰度图，记原分辨率dim_x×dim_y的灰度图为I⁰,每一轮下采样倍数为2,经过N轮下采样得到N+1张不同分辨率的灰度图：I⁰,I¹,I²...I^N，其中I^N的分辨率为dim_x/2^N×dim_y/2N；

(4)经过预处理的稀疏深度图利用最邻近方法进行下采样；记原分辨率dim_x×dim_y的稀疏深度图为D⁰,稀疏深度图的下采样倍数为2^N，下采样后的稀疏深度图记为D^N.其分辨率与I^N同为dim_x/2^N×dim_y/2^N；

(5)通过联合双边滤波器，以灰度图I^N作为引导，将低分辨下的稀疏深度图D^N中的特征点的深度扩散到无特征点区域，所得深度图为根据标准的联合双边滤波器，滤波后低分辨稀疏深度图中计算方法如下：

<mrow> <msubsup> <mover> <mi>D</mi> <mo>^</mo> </mover> <mi>p</mi> <mi>N</mi> </msubsup> <mo>=</mo> <msub> <mi>k</mi> <mrow> <mi>p</mi> <mo>,</mo> <mi>q</mi> </mrow> </msub> <munder> <mo>&amp;Sigma;</mo> <mrow> <mi>q</mi> <mo>&amp;Element;</mo> <mi>S</mi> </mrow> </munder> <msub> <mi>w</mi> <mrow> <mi>p</mi> <mo>,</mo> <mi>q</mi> </mrow> </msub> <msubsup> <mi>D</mi> <mi>q</mi> <mi>N</mi> </msubsup> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>0.1</mn> <mo>)</mo> </mrow> </mrow>

其中，为归一化系数，S为插值窗口大小，每一个像素p的深度是该像素滤波前在插值窗口中所有深度的加权平均；该权重w_p,q由空间相似性与灰度相似性计算：

上式中，函数s·为空间相似性权重，为灰度相似性权重；具体计算方法如下：

(a)空间相似性权重s·表示的是插值窗口内像素距离之间的相似性，用高斯核函数来表达，计算方法为：其中σ_s为空间相似性权重的标准差；

(b)灰度相似性权重r·表示的是插值窗口内像素灰度之间的相似性，用高斯核函数来表达，计算方法式为：其中σ_r为灰度相似性权重的标准差；

(6)步骤(5)所得到的使用双三次插值方法上采样得到D^N-1；

(7)重复步骤(5)与步骤(6)，直至得到清晰稠密的深度图

(8)最后将深度图上采样至原图分辨率大小，得到恢复后的深度图D。