CN108038902B - 一种面向深度相机的高精度三维重建方法和系统 - Google Patents

Abstract

本发明公开一种面向深度相机的多视图三维重建方法和系统。所述方法包括：根据深度相机从不同角度获取真实场景的多对图像，每对图像包括彩色图像和深度图像；根据特征点检测算法获取各彩色图像上的二维特征点和特征描述子，计算任意两个彩色图像分别对应的特征描述子之间的置信度，获取特征匹配关系；根据各特征匹配关系及对应的深度图像，获取对应的三维图像，将二维特征点反投影到相机坐标系下，获取三维图像上的三维点；根据二维特征点和三维点计算摄像机的绝对姿态；根据摄像机的绝对姿态，将三维点映射到所述相机坐标系下，获取场景的初始三维模型。采用本发明的方法或系统能够从深度相机采集的图像序列中恢复出高精度的三维场景模型。

Description

一种面向深度相机的高精度三维重建方法和系统

技术领域

本发明涉及计算机视觉与计算机图形学领域，特别是涉及一种面向深度相机的高精度三维重建方法和系统。

背景技术

高精度的三维重建一直是计算机视觉与图形学领域的热点研究问题之一，其目的是如何从输入图像序列中高效率的恢复场景的三维模型。同时三维重建技术在游戏产业、军事仿真、农业与工业、增强现实、虚拟现实、场景监控、地图导航和自动驾驶等领域具有不可代替的作用。由于场景中存在的光照变化、目标之间的遮挡、场景的聚集、重复结构、采集数据存在噪声等因素的影响，导致传统的以手工为主的主动式的三维建模方法难以重建出真实的三维场景模型，不能从大量的图像序列中恢复所包含的高精度的三维场景模型。

发明内容

本发明的目的是提供一种面向深度相机的多视图三维重建方法和系统，能够从深度相机采集的图像序列中恢复出高精度的三维场景模型。

为实现上述目的，本发明提供了如下方案：

一种面向深度相机的多视图三维重建方法，所述多视图三维重建方法包括：

根据深度相机从不同角度获取真实场景的多对图像，每对图像包括同一角度的彩色图像和深度图像；

根据特征点检测算法获取各所述彩色图像上的二维特征点和所述二维特征点对应的特征描述子，计算任意两个所述彩色图像分别对应的特征描述子之间的置信度，获取所述两个特征描述子的特征匹配关系；

根据各所述特征匹配关系及对应的深度图像，获取对应的三维图像，将所述二维特征点反投影到相机坐标系下，获取所述三维图像上的三维点；

根据所述二维特征点和所述三维点计算摄像机的绝对姿态；

根据所述摄像机的绝对姿态，将所述三维点映射到所述相机坐标系下，获取场景的初始三维模型。

可选的，所述计算任意两个所述特征描述子之间的置信度，获取所述两个特征描述子的特征匹配关系，具体包括：

根据海明距离度量两个特征描述子之间的置信度；

根据并查集算法计算所述两个特征描述子的特征匹配关系。

可选的，所述根据所述特征匹配关系和所述深度图像，将所述二维特征点反投影到相机坐标系下，获取三维点，具体包括：

根据X_i＝K^-1λx_i计算所述三维点；其中，X_i表示相机坐标系下的三维点，K表示摄像机的内部参数，λ表示三维点的深度，x_i表示二维特征点。

可选的，所述根据所述二维特征点和所述三维点计算摄像机的绝对姿态，具体包括：采用迭代优化方法计算摄像机的绝对姿态。

可选的，所述根据所述摄像机的绝对姿态，将所述三维点映射到所述相机坐标系下，获取场景的初始三维模型，具体包括：

根据R_k＝R_kjR_ji…R₀，t_k＝t_kjt_ji…t₀，

将所述三维点映射到相机坐标系下；

其中，R_kj表示第k个图像相对于第j幅图像的旋转矩阵,t_kj表示第k幅图像相对于第j幅图像的平移向量，

表示第i个三维点在相机坐标系下(g,k)的位置；

根据

计算初始三维模型,其中N表示输入图像数目。

可选的，所述多视图三维重建方法还包括：

对所述初始三维模型进行优化，获取与真实场景具有几何一致性的三维模型。

可选的，所述对所述初始三维模型进行优化，获取与真实场景具有几何一致性的三维模型，具体包括：

采用集束优化方法对初始点云模型进行优化，根据摄像机与三维点之间的稀疏性对集束调整问题进行稀疏分解；

根据(U-WV^-1W^T)Δc_i＝r_ci-WV^-1r_mi求解摄像机的增量参数Δc_i；

其中，U和V表示分块对角矩阵；W表示对称矩阵；W^T表示对称矩阵的转置；r_ci表示摄像机的反投影误差；r_mi表示三维点的反投影误差；

根据反代法根据Δm_i＝V^-1(r_mi-W^TΔc_i)求解出三维点的参数增量Δm_i，反复迭代上述计算过程直到算法收敛；

其中，V^-1表示可逆的分块对角矩阵；r_mi表示三维点的反投影误差；W^T表示对称矩阵的转置；Δc_i表示摄像机的增量参数。

可选的，所述特征点检测算法采用ORB算法。

本发明还提供了如下方案：

一种面向深度相机的多视图三维重建系统，所述三维重建系统包括：

图像获取单元，用于从深度相机的不同角度获取真实场景的多对图像，每对图像包括同一角度的彩色图像和深度图像；

特征匹配关系获取单元，用于根据特征点检测算法获取各所述彩色图像上的二维特征点和所述二维特征点对应的特征描述子，计算任意两个所述彩色图像分别对应的特征描述子之间的置信度，获取所述两个特征描述子的特征匹配关系；

三维点获取单元，用于根据各所述特征匹配关系及对应的深度图像，获取对应的三维图像，将所述二维特征点反投影到相机坐标系下，获取所述三维图像上的三维点；

绝对姿态获取单元，用于根据所述二维特征点和所述三维点计算摄像机的绝对姿态；

初始三维模型获取单元，用于根据所述摄像机的绝对姿态，将所述三维点映射到所述相机坐标系下，获取场景的初始三维模型。

可选的，所述三维重建系统还包括：

模型优化单元，用于对所述初始三维模型进行优化，获取与真实场景具有几何一致性的三维模型。

根据本发明提供的具体实施例，本发明公开了以下技术效果：

本发明提供一种面向深度相机的多视图三维重建方法和系统，将二维特征点反投影到摄像机坐标系下，获得三维点，根据摄像机的相对运动原理，将众多的三维点映射到统一坐标系下，获得初始三维模型，避免以手工为主的主动式的误差较大的三维建模方法，提高三维模型重建的精度。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例1面向深度相机的多视图三维重建方法流程图；

图2为本发明实施例1面向深度相机的多视图三维重建系统结构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的目的是提供一种面向深度相机的多视图三维重建方法和系统，能够从深度相机采集的图像序列中恢复出高精度的三维场景模型。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

一种面向深度相机的多视图三维重建方法，所述多视图三维重建方法包括：

步骤101：根据深度相机从不同角度获取真实场景的多对图像，每对图像包括同一角度的彩色图像和深度图像；

具体的，彩色图像记为：I₁，I₂，...,I_n；深度图像记为：d₁，d₂，...d_n；深度相机采用Microsoft Kinect1、Kinect2、ASUS Xtion Pro、Intel RealSense和Structure IO；同时在采集数据的过程中，保持深度相机的匀速运动，避免深度相机的抖动造成图像的模糊，从而影响三维重建的质量。

步骤102：根据特征点检测算法获取各所述彩色图像上的二维特征点和所述二维特征点对应的特征描述子，计算任意两个所述彩色图像分别对应的特征描述子之间的置信度，获取所述两个特征描述子的特征匹配关系；

具体的，对于给定的输入图像I₁，使用ORB算法检测出图像I₁中包含的特征点和计算对应的特征描述子；重复此过程，直到输入图像集合I₁，I₂，...,I_n中的每个图像均被处理完毕；因此，可以获得每一幅图像对应的特征点集合和描述子集合。对于图像描述子，采用海明距离计算任意两个特征描述子之间的置信度，根据并查集算法计算所述两个特征描述子的特征匹配关系。

步骤103：根据各所述特征匹配关系及对应的深度图像，获取对应的三维图像，将所述二维特征点反投影到相机坐标系下，获取所述三维图像上的三维点；

具体的，根据摄像机的成像原理：λ_ix_i＝KX_i可知，三维点X_i的计算方法为：X_i＝K^-1λ_ix_i，其中λ_i表示三维点X_i的深度，K表示相机的内部参数矩阵，其计算方法如下：

其中，f表示以像素为单位的摄像机焦距。

步骤104：根据所述二维特征点和所述三维点计算摄像机的绝对姿态；

对于给定的二维点和三维点集合(x,X)，摄像机绝对姿态估计的目的是寻找相应的旋转矩阵R和平移向量t，使得能够将世界坐标系下的三维点X映射到图像坐标系下的二维点x，根据摄像机成像原理可知，x_i和M_i之间的投影关系可被定义为：

λ_im_i＝K(RM_i+t) (1)

对于给定的二维点x_i，连接摄像机的中心与x_i可以形成向量v_i，向量v_i的核空间是一个二维的坐标系统，可以表示为u和v。由核空间的性质可知，向量v_i垂直于u和v，因此，向量v_i的核空间的计算方法如式(2)所示。

其中，null(·)表示函数，用于计算向量

的奇异值和歧义向量，返回值为向量

的零奇异值所对应的歧义向量。

为了便于描述问题，定义向量v_i与它的核空间kernel(v_i)之间的运算关系，如式(3)所示。

由于在数值上向量v_i的模长与m_i相等，因此，将m_i带入式(3)可以获得式(4)。

此外，当λ_i≠0时，由式(1)可以获得式(5)。

将式(5)代入式(4)可以获得式(6)。

记R表示旋转矩阵，

t表示平移向量。

t＝[t₁ t₂ t₃]^T (8)

将式(7)和(8)代入式(6)并展开，可以获得两个独立的方程，分别如式(9)和(10)所示。

为了计算摄像机绝对姿态信息，采用向量x表示所求未知参数的值，如式(11)所示。

x＝[r₁₁ r₁₂ … r₃₃ t₁ t₂ t₃] (11)

对于给定的N个二维点和三维点对，由式(9)和(10)可以获得如式(12)所示的其次方程。

Ax＝0 (12)

其中，A是2N×12的系数矩阵。

为了获得方程Ax＝0的最优解，采用奇异值分解方法计算向量x的值，因此，为了处理矩阵的过约束问题，令H＝A^TA，然后对矩阵P进行奇异值分解，计算方法如式(13)所示。

H＝UDV^T (13)

根据奇异值分解原理可知，未知量x的值是矩阵H的最小奇异值所对应的歧义向量V_i ^T。以列为单位，将V_i ^T的前9个元素设置为摄像机的旋转矩阵，即可获得摄像机旋转矩阵的初值

结果如式(14)所示。

将向量V_i ^T的最后3个元素作为摄像机平移向量的初值，结果如式(15)所示。

步骤105：根据所述摄像机的绝对姿态，将所述三维点映射到所述相机坐标系下，获取场景的初始三维模型。

具体的，根据摄像机的相对运动原理，根据R_k＝R_kjR_ji…R₀，t_k＝t_kjt_ji…t₀，

将所述三维点映射到相机坐标系下；其中，R_kj表示第k个图像相对于第j幅图像的旋转矩阵,t_kj表示第k幅图像相对于第j幅图像的平移向量，

表示第i个三维点在相机坐标系(g,k)下的位置；根据

计算初始三维模型,其中N表示输入图像数目。

对所述初始三维模型进行优化，能够进一步提高三维模型重建的精度，获取与真实场景具有几何一致性的三维模型。

具体的，对于给定的摄像机参数和三维点，鲁棒的集束调整方程如下：

其中,X_i,j表示第i个摄像机下可见的第j个三维点,x_i,j表示X_i,j在图像上的投影点,H(·)表示Huber损失函数。

集束调整的目的是使得E最小，最小化表达形式为：

其中,r(P)＝F(P)-x,F(x)＝K_i[R_i|t_i]X_i,j表示P的投影函数，P为参数向量。

首先计算函数F(P)在点P处的一阶泰勒展开式，如式(18)所示。

F(P+Δ)＝F(P)+JΔ (18)

其中，

Δ表示参数P的增量。

令P_i+1＝P_i+Δ_i，由式(18)可知：

F(P_i+1)-x＝F(P_i)+JΔ_i-x (19)

由于F(P_i)-x＝r_i，因此可以得出式(20)。

r_i+1＝F(P_i+1)-x＝r_i+JΔ_i (20)

由式(20)可知要使得

最小，等同于最小化目标函数r_i+JΔ_i，如式(21)所示。

令r_i+JΔ_i＝0，可以获得式(22)。

JΔ_i＝-r_i (22)

根据LM算法，对式(22)进行变换，获得式(23)所示的正态方程。

(J^TJ+λdiag(J^TJ))Δ_i＝-J^Tr_i (23)

至此，可知求解参数向量P的前提是获得每次的迭代增量Δ_i。因此，由以上分析可知，集束调整的目标是求解如式(23)所示的正态方程的解。

根据非线性最小二乘原理，展开式(23)可以获得式(24)和(25)。

(U-WV^-1W^T)Δc_i＝r_ci-WV^-1r_mi (24)

其中，U和V表示分块对角矩阵；W表示对称矩阵；W^T表示对称矩阵的转置r_ci表示摄像机的反投影误差；r_mi表示三维点的反投影误差；Δc_i表示摄像机的增量值；

Δm_i＝V^-1(r_mi-W^TΔc_i) (25)

其中V^-1表示可逆的分块对角矩阵；r_mi表示三维点的反投影误差；W^T表示对称矩阵的转置；Δc_i表示摄像机的增量值；Δm_i表示三维点的增量值。

在三维重建中，根据摄像机与三维点之间的稀疏性对集束调整问题进行稀疏分解，可以将式(23)转化为求解式(24所表示的小规模的正态方程的解。当求解出摄像机的增量参数Δc_i，采用反代法将Δc_i代入式(25)即可求解出三维点的参数增量Δm_i，反复迭代上述计算过程直到算法收敛，即可实现三维模型的优化，重建更高精度的三维模型。

本发明还提供了如下方案：

一种面向深度相机的多视图三维重建系统，所述三维重建系统包括：

图像获取单元201，用于从深度相机的不同角度获取真实场景的多对图像，每对图像包括同一角度的彩色图像和深度图像；

特征匹配关系获取单元202，用于根据特征点检测算法获取各所述彩色图像上的二维特征点和所述二维特征点对应的特征描述子，计算任意两个所述彩色图像分别对应的特征描述子之间的置信度，获取所述两个特征描述子的特征匹配关系；

三维点获取单元203，用于根据各所述特征匹配关系及对应的深度图像，获取对应的三维图像，将所述二维特征点反投影到相机坐标系下，获取所述三维图像上的三维点；

绝对姿态获取单元204，用于根据所述二维特征点和所述三维点计算摄像机的绝对姿态；

初始三维模型获取单元205，用于根据所述摄像机的绝对姿态，将所述三维点映射到所述相机坐标系下，获取场景的初始三维模型。

所述三维重建系统还包括：

模型优化单元，用于对所述初始三维模型进行优化，获取与真实场景具有几何一致性的三维模型。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (8)

1.一种面向深度相机的多视图三维重建方法，其特征在于，所述多视图三维重建方法包括：

根据深度相机从不同角度获取真实场景的多对图像，每对图像包括同一角度的彩色图像和深度图像；

根据特征点检测算法获取各所述彩色图像上的二维特征点和所述二维特征点对应的特征描述子，所述特征点检测算法采用ORB算法；

计算任意两个所述彩色图像分别对应的特征描述子之间的置信度，获取所述两个特征描述子的特征匹配关系；

根据各所述特征匹配关系及对应的深度图像，获取对应的三维图像，将所述二维特征点反投影到相机坐标系下，获取所述三维图像上的三维点；

根据所述二维特征点和所述三维点计算摄像机的绝对姿态；

根据所述摄像机的绝对姿态，将所述三维点映射到所述相机坐标系下，获取场景的初始三维模型；

对所述初始三维模型进行优化，获取与真实场景具有几何一致性的三维模型，具体包括：

采用集束优化方法对初始点云模型进行优化，根据摄像机与三维点之间的稀疏性对集束调整问题进行稀疏分解；

根据(U-WV^-1W^T)Δc_i＝r_ci-WV^-1r_mi求解摄像机的增量参数Δc_i；

其中，U和V表示分块对角矩阵；W表示对称矩阵；W^T表示对称矩阵的转置；r_ci表示摄像机的反投影误差；r_mi表示三维点的反投影误差；

根据反代法公式Δm_i＝V^-1(r_mi-W^TΔc_i)求解出三维点的参数增量Δm_i，反复迭代上述计算过程直到算法收敛；

其中，V^-1表示可逆的分块对角矩阵；r_mi表示三维点的反投影误差；W^T表示对称矩阵的转置；Δc_i表示摄像机的增量参数。

2.根据权利要求1所述面向深度相机的多视图三维重建方法，其特征在于，所述计算任意两个所述特征描述子之间的置信度，获取所述两个特征描述子的特征匹配关系，具体包括：

根据海明距离度量两个特征描述子之间的置信度；

根据并查集算法计算所述两个特征描述子的特征匹配关系。

3.根据权利要求1所述面向深度相机的多视图三维重建方法，其特征在于，所述根据所述特征匹配关系和所述深度图像，将所述二维特征点反投影到相机坐标系下，获取三维点，具体包括：

根据X_i＝K^-1λx_i计算所述三维点；其中，X_i表示相机坐标系下的三维点，K表示摄像机的内部参数，λ表示三维点的深度，x_i表示二维特征点。

4.根据权利要求1所述面向深度相机的多视图三维重建方法，其特征在于，所述根据所述二维特征点和所述三维点计算摄像机的绝对姿态，具体包括：采用迭代优化方法计算摄像机的绝对姿态。

5.根据权利要求1所述面向深度相机的多视图三维重建方法，其特征在于，所述根据所述摄像机的绝对姿态，将所述三维点映射到所述相机坐标系下，获取场景的初始三维模型，具体包括：

根据R_k＝R_kjR_ji…R₀，t_k＝t_kjt_ji…t₀，

将所述三维点映射到相机坐标系下；

其中，R_kj表示第k个图像相对于第j幅图像的旋转矩阵,t_kj表示第k幅图像相对于第j幅图像的平移向量，

表示第i个三维点在相机坐标系(g,k)下的位置；

根据

计算初始三维模型,其中N表示输入图像数目。

6.根据权利要求1所述面向深度相机的多视图三维重建方法，其特征在于，所述多视图三维重建方法还包括：

对所述初始三维模型进行优化，获取与真实场景具有几何一致性的三维模型。

7.一种面向深度相机的多视图三维重建系统，其特征在于，所述三维重建系统包括：

图像获取单元，用于从深度相机的不同角度获取真实场景的多对图像，每对图像包括同一角度的彩色图像和深度图像；

特征匹配关系获取单元，用于根据特征点检测算法获取各所述彩色图像上的二维特征点和所述二维特征点对应的特征描述子，计算任意两个所述彩色图像分别对应的特征描述子之间的置信度，获取所述两个特征描述子的特征匹配关系，所述特征点检测算法采用ORB算法；

三维点获取单元，用于根据各所述特征匹配关系及对应的深度图像，获取对应的三维图像，将所述二维特征点反投影到相机坐标系下，获取所述三维图像上的三维点；

绝对姿态获取单元，用于根据所述二维特征点和所述三维点计算摄像机的绝对姿态；

初始三维模型获取单元，用于根据所述摄像机的绝对姿态，将所述三维点映射到所述相机坐标系下，获取场景的初始三维模型；

初始三维模型优化单元，用于对所述初始三维模型进行优化，获取与真实场景具有几何一致性的三维模型，具体的，用于采用集束优化方法对初始点云模型进行优化，根据摄像机与三维点之间的稀疏性对集束调整问题进行稀疏分解；

根据(U-WV^-1W^T)Δc_i＝r_ci-WV^-1r_mi求解摄像机的增量参数Δc_i；

其中，U和V表示分块对角矩阵；W表示对称矩阵；W^T表示对称矩阵的转置；r_ci表示摄像机的反投影误差；r_mi表示三维点的反投影误差；

根据反代法公式Δm_i＝V^-1(r_mi-W^TΔc_i)求解出三维点的参数增量Δm_i，反复迭代上述计算过程直到算法收敛；

其中，V^-1表示可逆的分块对角矩阵；r_mi表示三维点的反投影误差；W^T表示对称矩阵的转置；Δc_i表示摄像机的增量参数。

8.根据权利要求7所述的面向深度相机的多视图三维重建系统，其特征在于，所述三维重建系统还包括：

模型优化单元，用于对所述初始三维模型进行优化，获取与真实场景具有几何一致性的三维模型。

Images