CN113034681B - 空间平面关系约束的三维重建方法及装置 - Google Patents

Abstract

本发明公开了一种空间平面关系约束的三维重建方法及装置，引入在室内和城市等场景中常见的三种局部和全局尺度空间平面关系为每一个重建面元提取三种支撑面元集，以支撑面元为载体将面元之间的空间关系作为额外约束引入面元生成阶段，抑制深度图噪声和定位误差的负面影响，提高最终三维重建模型的鲁棒性、一致性和准确度，新引入的部分计算量小，能保持现有方案的实时性和可扩展性，可以适应不同规模场景。

Description

空间平面关系约束的三维重建方法及装置

技术领域

本发明涉及图像处理技术领域，特别涉及一种空间平面关系约束的三维重建方法及装置。

背景技术

生活电子设备如手机等采集的图像主要为二维彩色图像，它实际上是三维成像物体在二维平面上的投影，每个像素仅仅具有二维平面位置，一般认为其与对应真实三维世界的物体相比缺少一个维度——深度。

为了让真实世界三维空间中的物体成像更加立体生动，出现了三维重建技术，它可以构建成像对象的三维模型，包含三个维度的位置信息(比二维图像多了深度这一维度)，与真实世界相同。因此利用三维重建得到的三维立体图像可以以更加逼真的效果呈现，给人真实立体的视觉感受。三维重建代表未来成像发展的重要趋势之一，此项技术让许多前沿领域应用成为可能，如(1)增强现实：通过将真实场景重建为三维模型输入计算机，可以将虚拟物体准确逼真的加入真实场景模型中，达到虚拟与现实交融的目的，在各种游戏娱乐、设计制造等领域有着无限应用前景。(2)导航与人机交互：将真实世界三维重建结果输入电脑，机器人无人机等设备可以以此为基础进行路径规划，自主避开障碍物，在实际场景中自主移动，结合三维物体检测和语音识别等技术，可以实现和人的智能交互，根据简单指令，自主完成复杂的任务，在智能机器人应用领域有无限可能。

一般情况下，要得到三维立体图像，需要综合多个从不同角度拍摄的二维图像的结果，有两种方式可以做到，一是在不同位置架设多个不同的摄像机对着同一个物体从不同角度拍摄，另一类是用单个摄像机，但是需要移动该摄像机到不同位置拍摄多张成像物体的图像，可以认为是移动摄像机录制一段关于成像对象的视频。

三维立体重建可以以上述方式得到的多张二维彩色(或灰度)图像合成得到。在此过程中，二维图像像素点缺失的深度信息是通过匹配不同图像的对应像素点(特征点)得到。此种方法需要鲁棒的立体匹配算法，一旦图像特征点较少或输入噪声较大，可能导致匹配失准，出现深度估计错误。另一种办法是直接利用深度摄像机直接拍摄得到深度图像，得到缺失的深度信息，这种方式估计深度较为简单方便可靠。随着消费级深度相机近年来的迅速普及，越来越多的三维重建方法直接依赖深度相机拍摄获取深度信息。

虽然三维重建所依赖输入数据的获取方式存在以上差异，但为了将该技术进行实际大规模应用，不同的三维重建算法一般需要具有以下几个特点：

1、计算迅速，具有实时性，即能够一边对成像对象拍摄，一边实时重建出三维物体。

2、针对不同尺度场景的扩展性好，即既能够重建小范围场景如室内场景(几米范围)，还能对大规模的场景如城市街道(几千米)等进行重建。

3、算法鲁棒，即能够在输入带有噪声的情况下得到稳定重建结果。

4、算法准确度高，即重建三维模型的位置和尺度与真实物体对应偏差小。

5、对硬件计算资源要求低，一般三维重建计算复杂度较高，一些算法需要依赖多块高性能图像计算单元(GPU)，对其现实应用造成了阻碍。

相关技术中提出了一种基于单目RGB彩色图像和深度图像成对序列(视频)输入，利用CPU实现实时三维重建的方案密集面元建图(Dense Surfel Mapping，简称DSM)。该方案以面元(六边形块)为空间三维模型的基本要素。如图1所示，该方案主要包含三个阶段：(1)面元生成，对当前RGBD图像帧做超像素块分割，将每个超像素块内的二维像素点逆投影为三维空间点，并根据这些三维空间点拟合一个面元。(2)面元融合，将新生成的面元与全局三维模型中的面元进行匹配，匹配成功的面元进行融合。(3)全局三维模型更新，用融合后的面元更新全局三维模型，同时将新生成但在(2)中未完成匹配的面元加入到三维全局模型中。除上述主要阶段外，当定位系统检测到回环而更新相机位姿时，该方案可对全局三维模型做相应的调整。

从现有技术方案原理图不难看出，其中面元生成是最为关键的环节，因为面元的融合及全局三维模型更新均以面元生成为基础。新生成的面元好坏直接决定了最终三维重建结果的好坏。

而现有技术方案，仅仅是根据局限于面元自身区域内不同时刻的信息融合得到该面元的最终重建结果，忽略了面元之间的关系，导致重建面元的自由度过大，重建面元容易受到输入深度图像噪声以及定位系统对相机定位误差的影响(实际应用中，深度图的噪声和定位误差是必定存在的)，出现重建面元的位置及朝向可能与真实值存在明显偏差，且相邻面元之间可能存在不一致(如同一个平面上的相邻面元朝向不一致)的情况。导致最终重建的三维模型的鲁棒性、一致性和准确性较低。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的一个目的在于提出一种空间平面关系约束的三维重建方法，该方法可以抑制深度图噪声和定位误差的负面影响，提高最终三维重建模型的鲁棒性、一致性和准确度。

本发明的另一个目的在于提出一种空间平面关系约束的三维重建装置。

为达到上述目的，本发明一方面实施例提出了一种空间平面关系约束的三维重建方法，包括以下步骤：

对RGB-D图像进行处理，得到多个面元；

根据面元更新次数动态划分邻域范围，以邻域范围内的面元为支撑面元，通过法向量、灰度及深度信息滤除不一致的支撑面元得到共面支撑面元集和平行平面支撑面元集，通过计算当前平面与垂直平面的空间变换关系，将共面邻域变换到垂直平面上，选定对应区域的面元为垂直支撑面元集；

将所述共面支撑面元集、所述平行平面支撑面元集和所述垂直支撑面元集为约束条件优化当前面元的中心位置和法向量；

对当前RGB图像进行平面检测，分割出不同的局部平面投影区域，通过局部平面内的面元和全局三维模型中的面元匹配情况，结合匹配到的面元的所属全局平面，选取与局部平面所包含面元匹配度最高的全局平面作为局部平面所匹配到的全局平面；

将局部平面中心向其所匹配的全局平面做垂直投影得到中心投影点，将所述中心投影点和局部平面的原中心点做动态加权融合，得到新的局部平面中心，根据局部平面中心的位置变化对局部平面内的面元中心位置进行调整；

根据所有面元集合组建全局三维模型，输出所述RGB-D图像的三维重建结果。

本发明实施例的空间平面关系约束的三维重建方法，引入在室内和城市等场景中常见的三种局部和全局尺度空间平面关系为每一个重建面元提取三种支撑面元集，以支撑面元为载体将面元之间的空间关系作为额外约束引入面元生成阶段，抑制深度图噪声和定位误差的负面影响，提高最终三维重建模型的鲁棒性、一致性和准确度。同时新引入的部分计算量小，能保持现有方案的实时性和可扩展性，能够适应不同规模场景。

另外，根据本发明上述实施例的空间平面关系约束的三维重建方法还可以具有以下附加的技术特征：

进一步地，在本发明的一个实施例中，对RGB-D图像进行处理，得到多个面元，包括：

对当前RGB-D图像做超像素块分割，将每个超像素块内的二维像素点逆投影为三维空间点，并根据这些三维空间点拟合一个面元。

进一步地，在本发明的一个实施例中，创建所述共面支撑面元集、所述平行平面支撑面元集和所述垂直支撑面元集，包括：

与当前面元中心点在二维图像的投影点距离小于半径r的范围内为当前面元共面邻域，共面领域内的面元选取为所述共面支撑面元集；

将当前面元所在平面的共面邻域垂直投影到其平行平面，共面邻域投影范围内的面元为所述平行平面支撑面元集；

根据一致性筛选条件滤除共面支撑面元集、平行平面支撑面元集中不一致的支撑面元；

选取与当前面元垂直的垂直平面，将当前面元的共面邻域范围对应变换得到所述垂直平面上垂直邻域，选取垂直邻域内的面元组成所述垂直支撑面元集。

进一步地，在本发明的一个实施例中，所述半径r的确定方式为：

r＝min(k*t_s+r₀,r_max)，

其中，t_s是当前面元S的更新次数，r_max是邻域半径r的上界，r₀为其初始值，系数k控制着邻域搜索范围的扩展速度。

进一步地，在本发明的一个实施例中，根据一致性筛选条件滤除共面支撑面元集、平行平面支撑面元集中不一致的支撑面元，包括：

通过设置最大偏差角阈值来滤除法向量与当前面元偏差大于最大偏差角阈值的平行平面支撑面元；

通过综合高斯概率模型估计共面支撑面元与当前面元的一致性概率，从共面支撑面元集中滤除一致性概率低于预设值的共面支撑面元。

进一步地，在本发明的一个实施例中，选取与当前面元垂直的垂直平面，当前面元的共面邻域范围对应变换得到所述垂直平面上垂直邻域，选取垂直邻域内的面元组成所述垂直支撑面元集，包括：

将当前平面α与垂直平面β缩放到同一尺度，缩放后的平面用α′表示，在平面α′的点与平面β上的点之间建立位置对应关系；

将当前面元的共面邻域范围对应变换得到所述垂直平面上垂直邻域，选取垂直邻域内的面元组成所述垂直支撑面元集。

进一步地，在本发明的一个实施例中，将所述共面支撑面元集、所述平行平面支撑面元集和所述垂直支撑面元集为约束条件优化当前面元的中心位置和法向量，包括：

将所述共面支撑面元集、所述平行平面支撑面元集和所述垂直支撑面元集带入共面支撑面元与当前面元共面、平行支撑面元与当前面元法向量相同、垂直支撑面元与当前面元法向量夹角为90度的三种关系，最小化在三个支撑面元集上分别做平面拟合的能量函数。

进一步地，在本发明的一个实施例中，局部平面的中心点位置及法向量分别为其所包含面元的中心点及法向量的均值，局部平面的权重为其所包含面元的权重之和。

进一步地，在本发明的一个实施例中，将局部平面匹配到全局平面时，局部平面所包含的面元会同时被分配给全局平面，局部平面与全局平面的匹配公式为：

其中，k为从标号为i＝1,…,m的m个全局平面中给局部平面l成功匹配的全局平面标号，n_g(i)表示局部平面l中成功匹配的面元被预分配给全局平面g_i的面元个数，r_overlap为固定的匹配阈值，取值范围为0～1。

进一步地，在本发明的一个实施例中，将局部平面中心向其所匹配的全局平面做垂直投影，将投影点和局部平面的原中心点做动态加权融合，得到新的局部平面中心，根据局部平面中心的位置变化对局部平面内的面元中心位置进行调整，包括：

将局部平面中心p_l向其所匹配的全局平面做垂直投影，得到所述中心投影点

将所述中心投影点

和局部平面的原中心点做动态加权融合，得到新的局部平面中心

融合公式为：

其中，

为新的局部平面中心，p_l为局部平面中心，

为垂直投影后的中心投影点，λ为预测中心值的置信度；λ＝min(0,5,n_g/N_cfd)，n_g表示当前全局平面所包含的面元个数，N_cfd为可设置的固定值，调节置信度随n_g变化的速度；

计算重定位偏移量

将所述偏移量δ_p叠加到当前面元S的中心位置。

为达到上述目的，本发明另一方面实施例提出了一种空间平面关系约束的三维重建装置，包括：

第一处理模块，用于对RGB-D图像进行处理，得到多个面元；

建立模块，用于根据面元更新次数动态划分邻域范围，以邻域范围内的面元为支撑面元，通过法向量、灰度及深度信息滤除不一致的支撑面元得到共面支撑面元集和平行平面支撑面元集，通过计算当前平面与垂直平面的空间变换关系，将共面邻域变换到垂直平面上，选定对应区域的面元为垂直支撑面元集；

优化模块，用于将所述共面支撑面元集、所述平行平面支撑面元集和所述垂直支撑面元集为约束条件优化当前面元的中心位置和法向量；

第二处理模块，用于对当前RGB图像进行平面检测，分割出不同的局部平面投影区域，通过局部平面内的面元和全局三维模型中的面元匹配情况，结合匹配到的面元的所属全局平面，选取与局部平面所包含面元匹配度最高的全局平面作为局部平面所匹配到的全局平面；

第三处理模块，用于将局部平面中心向其所匹配的全局平面做垂直投影得到中心投影点，将所述中心投影点和局部平面的原中心点做动态加权融合，得到新的局部平面中心，根据局部平面中心的位置变化对局部平面内的面元中心位置进行调整；

重建模块，用于根据所有面元集合组建全局三维模型，输出所述RGB-D图像的三维重建结果。

本发明实施例的空间平面关系约束的三维重建装置，引入在室内和城市等场景中常见的三种局部和全局尺度空间平面关系为每一个重建面元提取三种支撑面元集，以支撑面元为载体将面元之间的空间关系作为额外约束引入面元生成阶段，抑制深度图噪声和定位误差的负面影响，提高最终三维重建模型的鲁棒性、一致性和准确度。同时新引入的部分计算量小，能保持现有方案的实时性和可扩展性，能够适应不同规模场景。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为根据本发明一个实施例的现有技术方案密集面元建图(Dense SurfelMapping，DSM)的原理图；

图2为根据本发明一个实施例的空间平面关系约束的三维重建方法流程图；

图3为根据本发明一个实施例的空间平面关系约束的三维重建方法流程框图；

图4为根据本发明一个实施例的局部平面间关系示意图；

图5为根据本发明一个实施例的局部到全局平面间关系拓展流程图；

图6为根据本发明一个实施例的空间平面关系约束的三维重建装置结构示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

下面参照附图描述根据本发明实施例提出的空间平面关系约束的三维重建方法及装置。

首先将参照附图描述根据本发明实施例提出的空间平面关系约束的三维重建方法。

首先作以下定义：

任一面元S，包含如下属性：中心点p_s∈R³，灰度c_s∈R⁺，法向量n_s∈R³(表示面元朝向)，权值w_s∈R⁺，更新次数t_s∈N，以及半径r_s∈R⁺。

二维图像空间以

表示，每一个RGBD帧包含一幅深度图像D:Ω→R和一幅彩色图像C:Ω→R³。给定二维图像平面上任一点以及相机的内参矩阵K，可以推断出该二维图像点对应的三维空间点

其中

为u的齐次形式。反之，给定一个三维空间点p也可以推断其在二维图像空间中的投影u＝π(Kp)，其中

定义面元中点p_s在二维图像空间的投影为u_s。

图2为根据本发明一个实施例的空间平面关系约束的三维重建方法流程图。

图3为根据本发明一个实施例的空间平面关系约束的三维重建方法流程框图。

如图2所示，该空间平面关系约束的三维重建方法包括以下步骤：

步骤S1，对RGB-D图像进行处理，得到多个面元。

具体地，本发明实施例的输入为单目RGB彩色图像与深度图像成对序列，即RGB-D视频。输出为以面元(surfel)为基础元素的全局三维重建模型(附图中以六边形代表面元元素)。

进一步地，作为一种实施方式，对当前RGB-D图像做超像素块分割，将每个超像素块内的二维像素点逆投影为三维空间点，并根据这些三维空间点拟合一个面元。

步骤S2，根据面元更新次数动态划分邻域范围，以邻域范围内的面元为支撑面元，通过法向量、灰度及深度信息滤除不一致的支撑面元得到共面支撑面元集和平行平面支撑面元集，通过计算当前平面与垂直平面的空间变换关系，将共面邻域变换到垂直平面上，选定对应区域的面元为垂直支撑面元集。

步骤S3，将共面支撑面元集、平行平面支撑面元集和垂直支撑面元集为约束条件优化当前面元的中心位置和法向量。

进一步地，在本发明的一个实施例中，创建共面支撑面元集、行平面支撑面元集和垂直支撑面元集，包括：

与当前面元中心点在二维图像的投影点u_s距离小于半径r的范围内为当前面元共面邻域，共面领域内的面元选取为共面支撑面元集；

将当前面元所在平面的共面邻域垂直投影到其平行平面，共面邻域投影范围内的面元为平行平面支撑面元集；

根据一致性筛选条件滤除共面支撑面元集、平行平面支撑面元集中不一致的支撑面元；

选取与当前面元垂直的垂直平面，将当前面元的共面邻域范围对应变换得到垂直平面上垂直邻域，选取垂直邻域内的面元组成垂直支撑面元集。

具体地，局部平面关系约束下面元生成，共分为两个部分，首先是提前局部平面间关系，然后以局部平面间关系为约束进行面元生成优化。

共面与平行平面关系提取共分为两步，支撑面元集合创建及异常面元滤除。第一步，与当前面元中心点在二维图像的投影点u_s距离小于半径r的范围内(图4中右侧虚线圈)为当前面元共面邻域，共面领域内的面元选取为共面支撑面元，记为集合N_c。平行平面中的支撑面元集的选取方式是将当前面元所在平面的共面邻域垂直投影到其平行平面，共面邻域投影范围内的面元为平行平面支撑面元，记为集合N_p。

上述半径r的确定方式为：

r＝min(k*t_s+r₀,r_max)，

其中，t_s是当前面元S的更新次数，r_max是邻域半径r的上界，r₀为其初始值，系数k控制着邻域搜索范围的扩展速度。此种邻域半径线性扩展的方式虽然简单但非常有效。在一开始，为了可靠的初始化当前面元的属性，支撑面元的选取被限定在距离当前面元较近的范围，因为这些面元与当前面元有更紧密更可靠的关联。之后随着更新次数的增加，当前面元变的更稳定，此时依靠更大范围内的支撑面元提高更多的信息帮助提高当前面元的估计准确度。

由于平面检测和输入深度图像含有的噪声和误差，直接按照上述近邻区域选定支撑面元可能与当前面元在属性上存在较大不一致，依靠这些不一致支撑面元来重建当前面元可能导致重建结果不准确。所以在第二步，通过设置一致性筛选条件滤除不一致的支撑面元。对于平行平面上的支撑面元，其与当前面元的关系是他们存在相似的法向量，因此可以通过设置最大偏差角阈值θ_p来滤除法向量与当前面元偏差大于θ_p的平行平面支撑面元。而对于共面支撑面元，由于他们与当前面元在距离、深度灰度上存在关联，设计一种综合高斯概率模型估计共面支撑面元与当前面元的一致性概率，从集合N_c中滤除一致性概率较低的共面支撑面元。对任一共面支撑面元S_a∈N_a,估计其与当前面元S的一致性概率的模型为：

其中，P_distance,P_depth，P_color分别代表根据距离、深度和灰度估计的一致性概率，每一个单项的概率都有以下统一的形式，

当P(S_a,S)小于一定阈值时即从N_c中排除此共面支撑面元S_a。

除了共面和平行平面关系外，垂直平面关系也是一种常见在平面关系(如室内场景垂直的墙面)，同样可用来建立支撑面元集。如图4所示，平面β与当前面元所在平面α垂直，通过在平面β中选取垂直支撑面元可约束当前面元的朝向。为当前面元S创建垂直支撑面元集N_v共分两步。第一步将当前平面α与垂直平面β缩放到同一尺度，缩放后的平面用α′表示。同时在平面α′的点与平面β上的点之间建立如下位置对应关系：

其中p_α′表示平面α′上的任意一点，

表示平面β上与之相对应的点。R_α′,β与t_α′,β分别表示平面α′与平面β之间的旋转和平移关系，其计算方式为将平面α′的中心点

和法向量n_α′分别变换到与平面β的对应属性相同，

第二步将当前面元S的共面邻域范围(图4中右侧虚线内区域)，对应变换得到平面β上垂直邻域(图4左侧虚线区域)，选取垂直邻域内的面元组成垂直平面支撑面元集N_v。

此种建立垂直支撑面元集策略的好处是在于两方面。一方面时间效率高，因为估计两个平面之间的变换关系需要的计算量很小，且在为同一平面内的面元构建垂直平面支撑面元集时可以共享相同的变换关系，不需要重复计算。另一方面，因为将平面α上的点均匀地变换到平面β上，平面α上所有面元的支撑面元集合可以完全覆盖平面β，达到最大程度的利用垂直平面关系所提供信息的目的。

提高重建面元的中心位置和法向量的准确性是提高最后全局三维模型质量的关键，因此，提出一种带平面关系约束的面元重建方式，利用平面间的空间关系约束提高面元重建的鲁棒性、一致性和准确性。

具体地，以局部平面间关系作为约束条件，优化当前面元中心位置及法向量的具体方法为：依据提取的三种支撑面元集，带入共面支撑面元与当前面元共面、平行支撑面元与当前面元法向量相同、垂直支撑面元与当前面元法向量夹角为90度的三种关系，最小化在三个支撑面元集上分别做平面拟合的能量函数。

上述为当前面元建立了共面、平行平面和垂直平面上的三种支撑面元集，借助这些支撑面元提供的额外约束信息对当前面元的中心位置和法向量方向做优化，优化方式为最小化如下平面拟合的能量函数：

其中S_c，S_p，S_v分别表示根据局部共面、平行和垂直平面关系提取的支撑面元。

表示垂直旋转矩阵，L_δ表示半径为δ的Huber损失函数。方便起见，用*表示集合{c,p,v}中的元素，

表示三维点集{p_u|u∈S_*,S_*∈N_*}的均值，b_*为偏移量。当前面元的中心点位置与法向量，均在最小化上述能量函数时得到了优化。

步骤S4，对当前RGB图像进行平面检测，分割出不同的局部平面投影区域，通过局部平面内的面元和全局三维模型中的面元匹配情况，结合匹配到的面元的所属全局平面，选取与局部平面所包含面元匹配度最高的全局平面作为局部平面所匹配到的全局平面。

定义在当前帧检测到的平面为局部平面，不同帧的局部平面可融合得到全局平面。举例而言，考虑拍摄室内图像的例子，一次拍照得到的图像可能包含一面墙面的一部分(局部平面)，从不同角度多次拍摄的图像可能含有同一面墙的不同部分，不同图像中的局部墙面可拼接为一面更完整的墙面(全局平面)。因此通过拼接融合，可以将局部平面关系拓展到全局空间尺度，利用全局平面间关系可以对面元进行重定位。

作如下定义：对每个平面(局部或全局)赋予四个属性——中心点位置p，法向量n，标号i以及权重w。同时，每个面元S可根据其位置被分配到一个局部平面和一个全局平面。

首先生成局部平面，如图5所示，首先对当前RGB图像帧进行平面检测，分割出不同的局部平面投影区域(三维局部平面在二维图像中的投影)。当面元S在图像中投影位于局部平面l的投影内时，称面元S属于局部平面l，也称局部平面l包含面元S。局部平面的中心点位置及法向量分别为其所包含面元的中心点及法向量的均值，局部平面的权重为其所包含面元的权重之和。

根据局部平面生成全局平面，记所有全局平面构成的集合为G＝{g_i|i＝1,…,m}。当局部平面l最后被匹配到全局平面g时(即l为g的一部分)，l所包含的面元同时会被分配给全局平面g。

将局部平面l与全局平面g匹配的方法为，首先将l中包含的新生成面元与全局三维模型中的面元相匹配，由于全局三维模型中的面元已经被分配给现有全局平面，根据匹配关系，为局部平面l中匹配成功的面元预先分配一个对应的全局平面(如局部平面的l所包含的一个新面元S成功与全局模型下的面元S_e匹配成功，而S_e属于全局平面g_t，则将面元S也对应预先分配给全局平面g_t)。然后根据如下公式为局部平面l匹配全局平面，

其中κ为从标号为i＝1,…,m的m个全局平面中给局部平面l成功匹配的全局平面标号(匹配数多于一个时任取一个)。n_g(i)表示局部平面l中成功匹配的面元被预分配给全局平面g_i的面元个数，r_overlap为固定的匹配阈值，取值范围为0～1，值越大表示匹配标准越严格，根据经验可取为0.3。当k为空的时候，则以局部平面l的参数初始化一个新的全局平面g_m+1加到全局平面集合G中，然后为局部平面l包含的所有新生成的面元都分配一个全局平面g_m+1。当κ非空时，首先对全局平面g_κ的中心点、法向量及权重等参数做更新，中心点及法向量的更新方式为：l与g_κ对应属性的加权平均，权重的更新方式为将g_κ的权重加上局部平面的权重作为新的权重，最后为局部平面l包含的所有新生成的面元都分配一个全局平面g_κ，即将局部平面l中面元加到的全局平面g_κ中。

步骤S5，将局部平面中心向其所匹配的全局平面做垂直投影得到中心投影点，将中心投影点和局部平面的原中心点做动态加权融合，得到新的局部平面中心，根据局部平面中心的位置变化对局部平面内的面元中心位置进行调整。

在局部平面关系约束下生成新面元后，新的面元在当前帧图像所生成的局部三维空间中有一个相对好的位置，但是由于当前帧的定位可能存在误差，因此当前帧生成的局部三维空间可能在全局空间中整体存在偏差，导致从该帧新生成的面元都在全局空间中存在位置偏差。因此设计了一种全局平面关系约束下的面元重定位算法，对面元的位置在全局尺度进行调整和优化。

记当前面元S所在的局部平面为l，首先将局部平面l的中心点p_l垂直投影到其所匹配的全局平面上g，得到中心投影点

在不存在任何误差的理想情况下，p_l与

是同一个点，但是由于输入数据必定存在误差，因此实际中这两个点不一样。

可以视为在全局共面关系约束下，局部平面中心点位置p_l的一个预测值。通过融合p_l与

可以得到局部平面l的一个新的更准确的中心位置

称之为局部平面的重定位中心，融合方式如下，

其中λ为预测中心值的置信度，其计算方式为，

λ＝min(0,5,n_g/N_cfd)

其中，n_g表示当前全局平面所包含的面元个数，N_cfd可设置的固定值，调节置信度随n_g变化的速度。此置信度计算方式的含义为：全局平面是通过融合局部平面延伸扩展的，全局平面越大(即其所含面元数n_g越大)，全局平面准确度越高，通过全局共面得到的局部平面中心预测值

置信度越高，预测值越可靠，在重定位融合中的权重越大，最高置信度为0.5。

通过对局部平面中心的重定位，可以得到重定位偏移量

将偏移量δ_p叠加到当前面元的S中心位置，即得到S重定位后的中心位置，完成了对面元S位置的全局重定位调整。

步骤S6，根据所有面元集合组建全局三维模型，输出RGB-D图像的三维重建结果。

全局三维模型为所有已生成面元的集合，最后的三维重建结果即为当输入RGBD图像序列处理完毕后的全局三维模型。

本发明实施例的三维重建方法，以单目RGB彩色图像和深度图像成对序列(即视频)为输入，实时重建具有高鲁棒性、高一致性和高准确度的三维立体图像，并且该重建算法可不依靠GPU，仅在CPU上完成，大大降低了设备的成本和复杂度，针对不同尺度场景如室内(几米尺度)和城市(几千米尺度)等均有着良好的可扩展性，能抑制输入深度图像的噪声和定位系统的误差等带来的负面影响，使重建结果具有较强鲁棒性、较好的一致性和较高准确性。

根据本发明实施例提出的空间平面关系约束的三维重建方法，通过向原三维重建方案中引入三种局部和全局尺度下的平面间关系{共面、平行、垂直}作约束，在保持原方案实时性和可扩展性的前提下，抑制了输入深度图像的噪声和定位系统的误差等带来的负面影响，提高了重建结果的鲁棒性、一致性和准确性。

其次参照附图描述根据本发明实施例提出的空间平面关系约束的三维重建装置。

图6为根据本发明一个实施例的空间平面关系约束的三维重建装置结构示意图。

如图6所示，该空间平面关系约束的三维重建装置包括：第一处理模块601、建立模块602、优化模块603、第二处理模块604、第三处理模块605和重建模块606。

第一处理模块601，用于对RGB-D图像进行处理，得到多个面元。

建立模块602，用于根据面元更新次数动态划分邻域范围，以邻域范围内的面元为支撑面元，通过法向量、灰度及深度信息滤除不一致的支撑面元得到共面支撑面元集和平行平面支撑面元集，通过计算当前平面与垂直平面的空间变换关系，将共面邻域变换到垂直平面上，选定对应区域的面元为垂直支撑面元集。

优化模块603，用于将共面支撑面元集、平行平面支撑面元集和垂直支撑面元集为约束条件优化当前面元的中心位置和法向量。

第二处理模块604，用于对当前RGB图像进行平面检测，分割出不同的局部平面投影区域，通过局部平面内的面元和全局三维模型中的面元匹配情况，结合匹配到的面元的所属全局平面，选取与局部平面所包含面元匹配度最高的全局平面作为局部平面所匹配到的全局平面。

第三处理模块605，用于将局部平面中心向其所匹配的全局平面做垂直投影得到中心投影点，将中心投影点和局部平面的原中心点做动态加权融合，得到新的局部平面中心，根据局部平面中心的位置变化对局部平面内的面元中心位置进行调整。

重建模块606，用于根据所有面元集合组建全局三维模型，输出RGB-D图像的三维重建结果。

需要说明的是，前述对方法实施例的解释说明也适用于该实施例的装置，此处不再赘述。

根据本发明实施例提出的空间平面关系约束的三维重建方法，通过向原三维重建方案中引入三种局部和全局尺度下的平面间关系{共面、平行、垂直}作约束，在保持原方案实时性和可扩展性的前提下，抑制了输入深度图像的噪声和定位系统的误差等带来的负面影响，提高了重建结果的鲁棒性、一致性和准确性。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种空间平面关系约束的三维重建方法，其特征在于，包括以下步骤：

对RGB-D图像进行处理，得到多个面元；

根据面元更新次数动态划分邻域范围，以邻域范围内的面元为支撑面元，通过法向量、灰度及深度信息滤除不一致的支撑面元得到共面支撑面元集和平行平面支撑面元集，通过计算当前平面与垂直平面的空间变换关系，将共面邻域变换到垂直平面上，选定对应区域的面元为垂直支撑面元集；

将所述共面支撑面元集、所述平行平面支撑面元集和所述垂直支撑面元集为约束条件优化当前面元的中心位置和法向量；

对当前RGB图像进行平面检测，分割出不同的局部平面投影区域，通过局部平面内的面元和全局三维模型中的面元匹配情况，结合匹配到的面元的所属全局平面，选取与局部平面所包含面元匹配度最高的全局平面作为局部平面所匹配到的全局平面；

将局部平面中心向其所匹配的全局平面做垂直投影得到中心投影点，将所述中心投影点和局部平面的原中心点做动态加权融合，得到新的局部平面中心，根据局部平面中心的位置变化对局部平面内的面元中心位置进行调整；

根据所有面元集合组建全局三维模型，输出所述RGB-D图像的三维重建结果。

2.根据权利要求1所述的方法，其特征在于，创建所述共面支撑面元集、所述平行平面支撑面元集和所述垂直支撑面元集，包括：

与当前面元中心点在二维图像的投影点距离小于半径r的范围内为当前面元共面邻域，共面领域内的面元选取为所述共面支撑面元集；

将当前面元所在平面的共面邻域垂直投影到其平行平面，共面邻域投影范围内的面元为所述平行平面支撑面元集；

根据一致性筛选条件滤除共面支撑面元集、平行平面支撑面元集中不一致的支撑面元；

选取与当前面元垂直的垂直平面，将当前面元的共面邻域范围对应变换得到所述垂直平面上垂直邻域，选取垂直邻域内的面元组成所述垂直支撑面元集。

3.根据权利要求2所述的方法，其特征在于，所述半径r的确定方式为：

r＝min(k*t_s+r₀，r_max)，

其中，t_s是当前面元S的更新次数，r_max是邻域半径r的上界，r₀为其初始值，系数k控制着邻域搜索范围的扩展速度。

4.根据权利要求2所述的方法，其特征在于，根据一致性筛选条件滤除共面支撑面元集、平行平面支撑面元集中不一致的支撑面元，包括：

通过设置最大偏差角阈值来滤除法向量与当前面元偏差大于最大偏差角阈值的平行平面支撑面元；

通过综合高斯概率模型估计共面支撑面元与当前面元的一致性概率，从共面支撑面元集中滤除一致性概率低于预设值的共面支撑面元。

5.根据权利要求2所述的方法，其特征在于，选取与当前面元垂直的垂直平面，当前面元的共面邻域范围对应变换得到所述垂直平面上垂直邻域，选取垂直邻域内的面元组成所述垂直支撑面元集，包括：

将当前平面α与垂直平面β缩放到同一尺度，缩放后的平面用α′表示，在平面α′的点与垂直平面β上的点之间建立位置对应关系；

将当前面元的共面邻域范围对应变换得到所述垂直平面上垂直邻域，选取垂直邻域内的面元组成所述垂直支撑面元集。

6.根据权利要求1所述的方法，其特征在于，将所述共面支撑面元集、所述平行平面支撑面元集和所述垂直支撑面元集为约束条件优化当前面元的中心位置和法向量，包括：

将所述共面支撑面元集、所述平行平面支撑面元集和所述垂直支撑面元集带入共面支撑面元与当前面元共面、平行支撑面元与当前面元法向量相同、垂直支撑面元与当前面元法向量夹角为90度的三种关系，最小化在三个支撑面元集上分别做平面拟合的能量函数。

7.根据权利要求1所述的方法，其特征在于，局部平面的中心点位置及法向量分别为其所包含面元的中心点及法向量的均值，局部平面的权重为其所包含面元的权重之和。

8.根据权利要求1所述的方法，其特征在于，将局部平面匹配到全局平面时，局部平面所包含的面元会同时被分配给全局平面，局部平面与全局平面的匹配公式为：

其中，κ为从标号为i＝1，…，m的m个全局平面中给局部平面l成功匹配的全局平面标号，n_g(i)表示局部平面l中成功匹配的面元被预分配给全局平面g_i的面元个数，r_overlap为固定的匹配阈值，取值范围为0～1。

9.根据权利要求7所述的方法，其特征在于，将局部平面中心向其所匹配的全局平面做垂直投影，将投影点和局部平面的原中心点做动态加权融合，得到新的局部平面中心，根据局部平面中心的位置变化对局部平面内的面元中心位置进行调整，包括：

将局部平面中心p_l向其所匹配的全局平面做垂直投影，得到所述中心投影点

将所述中心投影点

和局部平面的原中心点做动态加权融合，得到新的局部平面中心

融合公式为：

其中，

为新的局部平面中心，p_l为局部平面中心，

为垂直投影后的中心投影点，λ为预测中心值的置信度；λ＝min(0，5，n_g/N_cfd)，n_g表示当前全局平面所包含的面元个数，N_cfd为可设置的固定值，调节置信度随n_g变化的速度；

计算重定位偏移量

将所述偏移量δ_p叠加到当前面元S的中心位置。

10.一种空间平面关系约束的三维重建装置，其特征在于，包括：

第一处理模块，用于对RGB-D图像进行处理，得到多个面元；

建立模块，用于根据面元更新次数动态划分邻域范围，以邻域范围内的面元为支撑面元，通过法向量、灰度及深度信息滤除不一致的支撑面元得到共面支撑面元集和平行平面支撑面元集，通过计算当前平面与垂直平面的空间变换关系，将共面邻域变换到垂直平面上，选定对应区域的面元为垂直支撑面元集；

优化模块，用于将所述共面支撑面元集、所述平行平面支撑面元集和所述垂直支撑面元集为约束条件优化当前面元的中心位置和法向量；

第二处理模块，用于对当前RGB图像进行平面检测，分割出不同的局部平面投影区域，通过局部平面内的面元和全局三维模型中的面元匹配情况，结合匹配到的面元的所属全局平面，选取与局部平面所包含面元匹配度最高的全局平面作为局部平面所匹配到的全局平面；

第三处理模块，用于将局部平面中心向其所匹配的全局平面做垂直投影得到中心投影点，将所述中心投影点和局部平面的原中心点做动态加权融合，得到新的局部平面中心，根据局部平面中心的位置变化对局部平面内的面元中心位置进行调整；

重建模块，用于根据所有面元集合组建全局三维模型，输出所述RGB-D图像的三维重建结果。

Images