CN105205858A - 一种基于单个深度视觉传感器的室内场景三维重建方法 - Google Patents

Abstract

本发明涉及一种基于单个深度视觉传感器的室内场景三维重建方法，其技术特点是包括以下步骤：步骤1、使用单个深度视觉传感器连续扫描整个室内场景；步骤2、对采集到的深度数据进行去噪、孔洞修补等预处理，得到平滑的深度数据；步骤3、根据步骤2中采集到的深度数据，计算当前深度帧所对应的点云数据；步骤4、对不同视角深度帧得到的点云进行配准，得到室内场景的完整点云；步骤5、进行平面拟合，实现特殊点云的分割，建立室内场景中每一个物体的独立完整的三维模型。本发明所用的扫描设备简单；扫描的数据信息全面且有效提高了点云配准精度计算效率；最终能够为室内场景建立一个有几何结构和颜色贴图的完整高质量的三维模型集合。

Description

一种基于单个深度视觉传感器的室内场景三维重建方法

技术领域

本发明属于室内场景的三维重建技术领域，特别涉及一种基于单个深度视觉传感器的室内场景三维重建方法。

背景技术

建立高质量的室内场景三维模型，尤其是针对室内每个物体创建独立的三维模型是一项极具挑战性的任务。目前，很多室内场景的三维重建方法把重点放在重建室内场景中的局部模型上，致使其方法本身具有：易丢失诸多室内场景的细节信息、需要繁琐的用户交互操作、需要激光扫描仪等大型昂贵的硬件设备等缺点。

商业化的深度相机可以实现场景中物体的三维模型重建，但建立室内场景的三维模型与建立单个物体的三维模型不同，在深度相机的视野范围内，必须沿着某一复杂轨迹的很多视角进行扫描，才能为一个大的室内场景重建三维模型。而且深度相机的移动轨迹需要近距离覆盖每个物体所有的图像表面，但扫描过程中会发生明显的漂移，从而需要从不同视角进行全局配准。因此，完整室内场景的自动三维模型重建方法并不可靠，需要人工标记不同视角下的对应点。

此外，具有影响力的kinectfusion系统的应用证明使用商业化的深度相机可以实时进行三维模型重建，完成包括图像积分、视觉测程、实时3D重建等工作。但早期的kinectfusion系统使用平面立体像素网格，只能用于较小的体积范围；视觉测程算法虽可以提高kinectfusion系统的精确度，但仅能应用于比较狭小的空间内和相机运动轨迹比较简单的情况下，复杂的相机运动路径会影响整个室内场景的三维模型重建效果。

发明内容

本发明的目的在于克服现有技术的不足，提供一种设计合理、扫描过程及使用硬件设备简单、数据信息全面、点云配准精度高且计算性能优异的基于单个深度视觉传感器的室内场景三维重建方法。

本发明解决其技术问题是采取以下技术方案实现的：

一种基于单个深度视觉传感器的室内场景三维重建方法，包括以下步骤：

步骤1、对彩色相机和深度相机进行联合标定，求解出深度相机和彩色相机的内参矩阵K和外参数；利用单个深度传感器设备多角度采集室内场景的深度数据和RGB数据；

步骤2、对采集到的深度数据和RGB数据进行去噪处理，利用孔洞周围的深度值对孔洞进行填充，得到平滑的深度数据；

步骤3、利用步骤1中计算得出的内参矩阵K，将步骤2得到的深度数据转换为相应的三维点云数据；

步骤4、对步骤2中得到的不同视角的RGB图像进行匹配计算，并根据匹配得到的结果，对步骤3中得到的不同视角的点云进行配准，建立室内场景的点云模型；

步骤5、对步骤4中得到的点云模型进行平面拟合，提取地面、桌面、墙壁等标志性的平面类模型，从而实现将其对应的点云从步骤4中得到的场景模型中分割出来，建立场景中每个物体的独立完整的三维模型。

而且，所述步骤1的具体步骤包括：

步骤1.1、提取彩色相机和深度相机拍摄的标定棋盘的图像上角点为校准点，进行相机校准，求解出深度相机和彩色相机的内参矩阵K和外参数；

步骤1.2、对同一时刻得到的RGB数据和深度数据进行配准，并求解得到深度数据与RGB数据的对齐变换矩阵；

步骤1.3、利用单个深度传感器摄像头对室内场景进行扫描，采集室内物体表面RGB数据和深度数据，使其扫描范围尽可能覆盖到室内场景中的每个物体的完整表面。

而且，所述步骤2的具体步骤包括：

步骤2.1、对步骤1中的RGB数据和深度数据使用双边滤波器进行平滑去噪，得到低噪音并且能够保持特征的数据；

步骤2.2：将步骤2.1中所述数据输入双边滤波器的滤波方程式中进行计算，得到平滑去噪的深度数据。

而且，所述步骤4的具体步骤包括：

步骤4.1、对不同视角的原图和待匹配图进行Canny边缘检测计算边缘的局部斜率，根据斜率计算出局部方向角，为每一条边缘构建一条方向角曲线和对应的相对链码；

步骤4.2、用待匹配图的边缘方向曲线的相对链码和原图中的相对链码进行比较，确定不同视角的两幅图之间的平移关系，进行相位相关计算；

步骤4.3、找到相关系数最大的，对待匹配图进行旋转矫正，找到不同视角的两幅图能够匹配的精确位置，完成不同视角的两幅图之间的精确匹配；

步骤4.4、利用步骤4.3的不同视角的两幅图像的匹配结果，完成对其各自对应的点云进行配准，求解变换矩阵。

而且，所述步骤5的具体步骤包括：

步骤5.1、使用PCA主成分分析方法拟合平面；

步骤5.2、利用平面到原点的距离公式d″＝||cog·n||，将原始数据转换成xy平面上的数据；

上述公式中，d″代表平面到原点的距离，cog代表平面的重心，n代表平面的法向量；

步骤5.3、进行不确定性分析，求解最佳拟合平面，实现平面拟合。

而且，所述步骤1.1的具体步骤包括：

(1)定义二维坐标系下的点为m＝[u,v]^T，其中u，v分别是在X、Y轴上的坐标，三维坐标系下的点为M＝[X,Y,Z]^T，其中X、Y、Z分别是在X、Y、Z轴上的坐标，旋转矩阵为R＝[r₁r₂r₃]，其中，r₁,r₂,r₃代表旋转矩阵R的列，平移量为t，则图像坐标系点与世界坐标系下点的转换关系为：

$s\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=K\left[\begin{array}{cccc}{r}_1& r_2& r_3& t\end{array}\right]\left[\begin{array}{c}X\\ Y\\ 0\\ 1\end{array}\right]=K\left[\begin{array}{ccc}{r}_1& r_2& t\end{array}\right]\left[\begin{array}{c}X\\ Y\\ 1\end{array}\right],$

$K=\left[\begin{array}{ccc}{f}_x& 0& u_0\\ 0& f_y& v_0\\ 0& 0& 1\end{array}\right],f_x=\frac{f}{dx},f_y=\frac{f}{dy},$

其中，s是比例因子，u，v分别是在X、Y轴上的坐标，K为相机的内参数矩阵，f_x是相机在X轴上的焦距，f_y是相机在Y轴上的焦距，f是相机的焦距，dx是像素点在x轴的物理尺寸，dy是像素点在y轴的物理尺寸，u₀是相机在X轴上的主点坐标，v₀是相机在Y轴上的主点坐标；

(2)根据单应性矩阵H，将图像上的点m和空间中的点M关联起来：

定义世界坐标系下的点为则图像上的点m和空间中的点M转换公式为：其中s是比例因子，H是单应性矩阵，是图像坐标系的点，是世界坐标系下的点；

令单应矩阵H＝[h₁,h₂,h₃]，则[h₁h₂h₃]＝λK[r₁r₂t]，其中h₁,h₂,h₃分别代表单应矩阵H的第一列、第二列、第三列，λ是任意的比例，K为相机的内参矩阵；

为方便计算相机内参数和外参数，自定义矩阵B，令：

$\begin{array}{c}B=K^{-T}{K}^{-1}=\left[\begin{array}{ccc}{B}_{11}& B_{12}& B_{13}\\ B_{12}& B_{22}& B_{23}\\ B_{13}& B_{23}& B_{33}\end{array}\right]\\ =\left[\begin{array}{ccc}\frac{1}{f_x^2}& 0& -\frac{u_0}{f_x^2}\\ 0& \frac{1}{f_y^2}& -\frac{v_0}{f_y^2}\\ -\frac{u_0}{f_x^2}& -\frac{v_0}{f_y^2}& \frac{u_0^2}{r_x^2}+\frac{v_0^2}{f_y^2}+1\end{array}\right]\end{array}$

其中，B₁₁,B₁₂,B₁₃,B₂₁,B₂₂,B₂₃,B₃₁,B₃₂,B₃₃是矩阵B的元素，f_x是相机在X轴上的焦距，f_y是相机在Y轴上的焦距，u₀是相机在X轴上的主点坐标，v₀是相机在Y轴上的主点坐标；

求解相机内参数：

$\begin{array}{c}{v}_0=(B_{12}{B}_{13}-B_{11}{B}_{23})/(B_{11}{B}_{22}-{B_{12}}^2)\\ \mathrm{\λ}=B_{33}-\[{B_{13}}^2+v_0(B_{12}{B}_{13}-B_{11}{B}_{23})\]/B_{11}\\ f_x=\sqrt{\mathrm{\λ}/B_{11}}\\ f_y=\sqrt{{\mathrm{\λB}}_{11}/(B_{11}{B}_{22}-{B_{12}}^2)}\\ u_0=-B_{13}{f}_x^2/\mathrm{\λ}\end{array}$

求解相机外参数：

r₁＝λK^-1h₁,r₂＝λK^-1h₂,r₃＝r₁×r₂,t＝λK^-1h₃，即可求出相机的旋转矩阵R，平移量t。

而且，所述步骤1.2的具体步骤包括：

(1)分别定义彩色相机和深度相机的三个平面：和 其中代表彩色相机的第i个平面，代表深度相机的第i个平面，n_ci是平面的法向，n_di是平面的法向，c代表彩色相机，d代表深度相机；深度数据和RGB数据之间对应的对齐变换矩阵为 $T=\left(\begin{array}{cc}{R}^{\′}& t^{\′}\\ 0& 1\end{array}\right),$ 其中R′是旋转矩阵，t′是平移量。在投影空间中，根据旋转矩阵M′、投影比例S′将点映射成

其中，λ_i是未知的比例因子，R′,t′分别为旋转矩阵、平移量，I₃是一个3*3的单位矩阵，M′是旋转矩阵，S′是投影比例；

将n_ci,n_di标准化成将上述公式重新定义为：

每一对和有一个平移量的线性约束t′＝L^-1g，其中L，g分别是为便于计算自定义的矩阵，且

$L=\left[\begin{array}{ccc}{n}_{d1}^T& n_{d1}& n_{c1}^T\\ n_{d2}^T& n_{d2}& n_{c2}^T\\ n_{d3}^T& n_{d3}& n_{c3}^T\end{array}\right]R^{\′T},g=\left[\begin{array}{c}{n}_{d1}^T{n}_{d1}-n_{d1}^T{R}^{\′}{n}_{c1}\\ n_{d2}^T{n}_{d2}-n_{d2}^T{R}^{\′}{n}_{c2}\\ n_{d3}^T{n}_{d3}-n_{d3}^T{R}^{\′}{n}_{c3}\end{array}\right]$

其中n_d1,n_d2,n_d3分别是深度相机的第一个平面、第二个平面、第三个平面的法向，n_c1,n_c2,n_c3分别是彩色相机的第一个平面、第二个平面、第三个平面的法向，R′是旋转矩阵；

(2)当平面个数大于3时，平面配准算法包括以下四个步骤：

1)为每一对和计算一个对齐变换矩阵T；

2)对于每一个T，计算所有的深度相机坐标计算第j个计算所得的平面Π_dj和其对应的平面之间的欧氏距离l_j。

3)用rank(T)＝Σ_jmax(l,l_j)为所有的T排序，其中l是一个预设的阈值，当l_j＜l时，认为对应的点对是局内点，T是最小值；

4)进行非线性最小优化，求解最佳对齐变换矩阵T；

最佳对齐变换矩阵T的目标函数为：

其中：I_c是彩色相机的内参数集，I′_d是深度相机的内参数集，T是深度数据和RGB数据之间的对齐变换矩阵，T_ci是彩色相机的外参矩阵，是彩色相机的测量方差，是深度相机的测量方差，是彩色相机的测量角点，x_c是投影点，是深度相机的测量视差值，是计算得到的视差值，β′是一个权值，是物体点之间的欧氏距离，λ′是物体点之间的测量距离。

而且，所述步骤4.4的具体步骤包括：

(1)建立变换矩阵

1)定义旋转矩阵为：

$R^{\′\′}=\left[\begin{array}{ccc}1& 0& 0\\ 0& \cos \mathrm{\α}& -\sin \mathrm{\α}\\ 0& \sin \mathrm{\α}& \cos \mathrm{\α}\end{array}\right]\left[\begin{array}{ccc}\cos \mathrm{\β}& 0& \sin \mathrm{\β}\\ 0& 1& 0\\ -\sin \mathrm{\β}& 0& \cos \mathrm{\β}\end{array}\right]\left[\begin{array}{ccc}\cos \mathrm{\γ}& -\sin \mathrm{\γ}& 0\\ \sin \mathrm{\γ}& \cos \mathrm{\γ}& 0\\ 0& 0& 1\end{array}\right]$

其中，α，β，γ分别是围绕x轴，y轴，z轴旋转的角度；令：

r₁₁＝cosγcosβ

r₁₂＝-sinγcosα+cosγsinβsinα

r₁₃＝sinγsinα+cosγsinβcosα

r₂₁＝sinγcosβ

r₂₂＝cosγcosα+sinγsinβsinα

r₂₂＝-cosγsinα+sinγsinβcosα

r₃₁＝-sinβ

r₃₂＝cosβsinα

r₃₃＝cosβcosα，

其中，r₁₁,r₁₂,r₁₃,r₂₁,r₂₂,r₂₃,r₃₁,r₃₂,r₃₃是旋转矩阵R(α,β,γ)的元素；

2)重新定义旋转矩阵为一个4×4的矩阵：

$R(\mathrm{\α},\mathrm{\β},\mathrm{\γ})=\left[\begin{array}{cccc}{r}_{11}& r_{12}& r_{13}& 0\\ r_{21}& r_{22}& r_{23}& 0\\ r_{31}& r_{32}& r_{33}& 0\\ 0& 0& 0& 1\end{array}\right];$

3)定义平移矩阵为一个4×4的矩阵：

$T(t_x,t_y,t_z)=\left[\begin{array}{cccc}1& 0& 0& t_x\\ 0& 1& 0& t_y\\ 0& 0& 1& t_z\\ 0& 0& 0& 1\end{array}\right],$

其中，平移向量 $t^{\′\′}=\left[\begin{array}{c}{t}_x\\ t_y\\ t_z\end{array}\right],$ t_x表示在X轴上的平移量，t_y表示在Y轴上的平移量，t_z表示在Z轴上的平移量；

则变换矩阵

T′＝T(t_x,t_y,t_z)R(α,β,γ)

其中，T′是变换矩阵，T(t_x,t_y,t_z)是平移矩阵，R(α,β,γ)是旋转矩阵，α，β，γ分别是围绕x轴，y轴，z轴旋转的角度，t_x表示在X轴上的平移量，t_y表示在Y轴上的平移量，t_z表示在Z轴上的平移量；

(2)求解变换矩阵

1)利用图像匹配的方法，对不同视角的两幅图像进行精确的匹配，认定图像A和图像B上的点p_A和p_B在三维空间中所对应的点p′_A和p′_B是同一个点；点p′_A和p′_B在其所在点云上所对应的点为v_A和v_B，则认为v_A和v_B是空间中同一点，即其中T′是变换矩阵，v_A是图像A上的点，v_B是图像B上的点；

定义图像A上的点为图像B上的点为其中x_A,y_A,z_A是点v_A分别在X轴、Y轴、Z轴上的坐标，x_B,y_B,z_B是点v_B分别在X轴、Y轴、Z轴上的坐标。

$T^{\′}=\left[\begin{array}{cccc}{r}_{11}& r_{12}& r_{13}& t_x\\ r_{21}& r_{22}& r_{23}& t_y\\ r_{31}& r_{32}& r_{33}& t_z\\ 0& 0& 0& 1\end{array}\right],$

则得出：[x_A,y_A,z_A,1]×T′＝[x_B,y_B,z_B,1]

根据投影数据关联的方法，v_A和v_B已被求出；

2)利用12个匹配好的点对，建立12个方程，将其联合建立方程组：

$\left\{\begin{array}{c}\[x_{A1},y_{A1},z_{A1},1\]\×T^{\′}=\[x_{B1},y_{B1},z_{B1},1\]\\ \[x_{A2},y_{A2},z_{A2},1\]\×T^{\′}=\[x_{B1},y_{B2},z_{B2},1\]\\ \[x_{A3},y_{A3},z_{A3},1\]\×T^{\′}=\[x_{B3},y_{B3},z_{B3},1\]\\ .\\ .\\ .\\ \[x_{A12},y_{A12},z_{A12},1\]\×T^{\′}=\[x_{B12},y_{B12},z_{B12},1\]\end{array}\right.$

其中x_A1,x_B1,y_A1,y_B1,z_A1,z_B1分别是第一个匹配点对的两个点在X轴、Y轴、Z轴上的坐标，x_A2,x_B2,y_A2,y_B2,z_A2,z_B2分别是第二个匹配点对的两个点在X轴、Y轴、Z轴上的坐标，x_A3,x_B3,y_A3,y_B3,z_A3,z_B3分别是第三个匹配点对的两个点在X轴、Y轴、Z轴上的坐标，x_A12,x_B12,y_A12,y_B12,z_A12,z_B12分别是第十二个匹配点对的两个点在X轴、Y轴、Z轴上的坐标。

3)通过解一个12维的方程组的方式求解出变换矩阵T′的所有未知参数，得到变换矩阵T′。

而且，所述步骤5.1的具体步骤包括：

(1)经过配准的点云集合为P＝{p_i＝(x_i,y_i,z_i)^T|i＝1,2,…,N}，其协方差矩阵集合为C＝{C_i|C_i∈R^3×3}，其中C_i是第i个点p_i对应的协方差矩阵，R^3×3代表3×3的实矩阵的全体，N是点的总个数，x_i,y_i,z_i分别是第i个点p_i在X轴、Y轴、Z轴上的坐标；

使用Hesse平面方程：nx-d′＝0

其中，n＝(n_x,n_y,n_z)^T是平面的法向，n_x,n_y,n_z分别是在X轴、Y轴、Z轴方向上的法矢量，d′是参数，x是平面上点的坐标；

(2)定义回归函数为

$R(n_x,n_y,n_z,d^{\′})={\Σ}_{i=0}^N{w}_i{(n_x{x}_i^r+n_r{y}_i^r+n_z{z}_i^r-d^{\′})}^2$

p_i＝(x_i,y_i,z_i)^Tn＝(n_x,n_y,n_z)^T，w_i＝1/trace(c_i)²

其中，R(n_x,n_y,n_z,d′)是回归函数，x_i,y_i,z_i分别是点平面上的第i个点pi在X轴、Y轴、Z轴上的坐标，w_i是权重，n是平面的法向，n_x,n_y,n_z分别是在X轴、Y轴、Z轴方向上的法矢量，d′是平面方程的参数，C_i是点p_i对应的协方差矩阵，N是点的总个数；

(3)将所有的数据点拟合到原始区域

$S(n_x,n_y,n_z)={\Σ}_{i=0}^N{w}_i(x_x{x}_i+n_y{y}_i+n_z{z}_i),$ 其中S(n_x,n_y,n_z)表示目标函数，x_i,y_i,z_i分别是点平面上的第i个点p_i在X轴、Y轴、Z轴上的坐标，w_i是权重，n_x,n_y,n_z分别是平面在X轴、Y轴、Z轴方向上的法矢量，N是点的总个数；

平面法向n＝(n_x,n_y,n_z)^T从矩阵A最小特征值对应的特征向量中得到，其中A是为方便计算自定义的矩阵，且

$A=\left(\begin{array}{ccc}{\Σ}_{i=0}^N{w}_i{x}_i^2& {\Σ}_{i=0}^N{w}_i{x}_i{y}_i& {\Σ}_{i=0}^N{w}_i{x}_i{z}_i\\ {\Σ}_{i=0}^N{w}_i{x}_i{y}_i& {\Σ}_{i=0}^N{w}_i{y}_i^2& {\Σ}_{i=0}^N{w}_i{y}_i{z}_i\\ {\Σ}_{i=0}^N{w}_i{x}_i{z}_i& {\Σ}_{i=0}^N{w}_i{y}_i{z}_i& {\Σ}_{i=0}^N{w}_i{z}_i^2\end{array}\right),$ 其中x_i,y_i,z_i分别是点平面上的第i个点p_i在X轴、Y轴、Z轴上的坐标，w_i是权重，N是点的总个数。

而且，所述步骤5.3的具体步骤包括：

(1)在将原始数据转换成xy平面上的点后，根据协方差矩阵使用平面公式为Z＝aX+bY+d′，将点云中的3D点拟合成一个平面，其中是经过数据转换后第i个点分别在X轴、Y轴、Z轴上的坐标，N是点的总个数，是第i个点对应的协方差矩阵，a，b，d′是平面公式的系数，X，Y，Z分别是平面上的点的坐标；

将平面法向定义为：

(n_x,n_y,n_z)＝(0,0,1)^T；

回归方程为：

$T(b_0,b_1,b_2)={\mathrm{\Σ}}_{1=0}^N{w}_i{(z_i^t+b_0+b_1{x}_i^t+b_2{y}_i^t)}^2;$

其中：T(b₀,b₁,b₂)代表回归方程函数，是平面上的点分别在X轴、Y轴、Z轴上的坐标，n_x,n_y,n_z分别是平面在X轴、Y轴、Z轴方向上的法矢量，d′是平面方程的参数，w_i是权重，b₀,b₁,b₂是为了方便计算定义的变量，且b_o＝(-d′)/n_z,b₁＝n_x/n_z,b₂＝n_y/n_z。

(2)分别对b₀,b₁,b₂进行局部求导，得到最佳拟合平面的参数

$\left(\begin{array}{c}{b}_0\\ b_1\\ b_2\end{array}\right)=A^{\′-1}\left(\begin{array}{c}-{\Σ}_{i=0}^N{w}_i{z}_i^t\\ -{\Σ}_{i=0}^N{w}_i{x}_i^t{z}_i^t\\ -{\Σ}_{i=0}^N{w}_i{y}_i^t{z}_i^t\end{array}\right)$

$A^{\′}=\left(\begin{array}{ccc}{\Σ}_{i=0}^N{w}_{i}1& {\Σ}_{i=0}^N{w}_i{x}_i^t& {\Σ}_{i=0}^N{w}_i{y}_i^t\\ {\Σ}_{i=0}^N{w}_i{x}_i^t& {\Σ}_{i=0}^N{w}_i{\left(x_i^t\right)}^2& {\Σ}_{i=0}^N{w}_i{x}_i^t{y}_i^t\\ {\Σ}_{i=0}^N{w}_i{y}_i^t& {\Σ}_{i=0}^N{w}_i{x}_i^t{y}_i^t& {\Σ}_{i=0}^N{w}_i{\left(y_i^t\right)}^2\end{array}\right)$

其中，A′是为方便计算自定义的矩阵，是平面上的点分别在X轴、Y轴、Z轴上的坐标，w_i是权重，b₀,b₁,b₂是为了方便计算自定义的变量，且b_o＝(-d′)/n_z,b₁＝n_x/n_z,b₂＝n_y/n_z。

参数向量b′＝(b₀,b₁,b₂)的协方差矩阵为：

$F=\left(\begin{array}{ccc}1& 0& 0\\ 0& \frac{1}{1+{b_1}^2}& 0\\ 0& 0& \frac{1}{1+{b_2}^2}\end{array}\right),$

其中，C_plane是参数向量b′＝(b₀,b₁,b₂)的协方差矩阵，是协方差矩阵，F是为方便计算定义的矩阵，b₀,b₁,b₂是为了方便计算自定义的变量，且b_o＝(-d′)/n_z,b₁＝n_x/n_z,b₂＝n_y/n_z。

(3)得到平面参数的最终结果为：

(z,θ,ψ)^T＝(arctanb₀,arctanb₁,arctanb₂)^T

其中，b₀,b₁,b₂是为了方便计算自定义的变量，且b_o＝(-d′)/n_z,b₁＝n_x/n_z,b₂＝n_y/n_z，z是沿z轴的平移量，θ是绕x轴旋转的角度，ψ是绕y轴旋转的角度；n_x,n_y,n_z分别是平面在X轴、Y轴、Z轴方向上的法矢量，d′是平面方程的参数。

本发明的优点和积极效果是：

1、本发明只需要手持深度传感器等深度数据采集设备绕着室内场景进行连续多视角扫描，即可获得深度数据，整体扫描过程简单、扫描时间短且扫描硬件设备简单，只需要单个深度视觉传感器即可。

2、本发明扫描的数据信息全面，同时包含RGB数据和深度数据；并且对深度传感器的深度相机和彩色相机进行联合标定，将深度数据和RGB数据对齐，从而实现对所重建的室内三维模型进行比较准确的纹理贴图。

3、本发明提出在图像匹配的基础上进行点云配准的方法，对采集到的深度数据进行去噪、孔洞填充以及校准，利用校准后的深度数据能够产生密集均匀的空间点云，并利用图像匹配的结果完成点云配准，有效提高了点云配准精度和计算效率；通过平面拟合，将地面、桌面、墙壁等特殊平面的点云与室内场景中其他物体的点云进行分割，最终对室内场景中的每个物体建立一个完整高质量的三维模型。

附图说明

图1是本发明的整体处理流程图；

图2是本发明的对深度传感器的深度相机和彩色相机进行标定的方法流程图。

具体实施方式

以下对本发明实施例作进一步详述：

一种基于单个深度视觉传感器的室内场景三维重建方法，如图1所示，包括以下步骤：

步骤1、对彩色相机和深度相机进行联合标定，求解出深度和彩色相机的内参矩阵K、内参数以及外参数并对深度数据进行校准；利用单个深度传感器设备采集室内场景的深度数据和RGB数据；

如图2所示，该步骤1包括以下具体步骤：

1.1、提取彩色相机和深度相机拍摄的标定棋盘的图像上角点为校准点，进行相机校准，求解出深度相机和彩色相机的内参矩阵K和外参数；

(1)提取彩色相机和深度相机拍摄的标定棋盘的图像上角点为校准点，进行相机校准；相机校准过程如下：

1)定义二维坐标系下的点为m＝[u,v]^T，其中u，v分别是在X、Y轴上的坐标，三维坐标系下的点为M＝[X,Y,Z]^T，其中X、Y、Z分别是在X、Y、Z轴上的坐标，旋转矩阵R＝[r₁r₂r₃](其中，r₁,r₂,r₃代表旋转矩阵R的列)，平移量为t，则图像坐标系点与世界坐标系下点的转换关系为：

$s\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=K\[r_1{r}_2{r}_{3}t\]\left[\begin{array}{c}X\\ Y\\ 0\\ 1\end{array}\right]=K\left[\begin{array}{ccc}{r}_1& r_2& t\end{array}\right]\left[\begin{array}{c}X\\ Y\\ 1\end{array}\right]---\left(1\right)$

$K=\left[\begin{array}{ccc}{f}_x& 0& u_0\\ 0& f_y& v_0\\ 0& 0& 1\end{array}\right],f_x=\frac{f}{dx},f_y=\frac{f}{dy},$

其中，s是比例因子，u，v分别是在X、Y轴上的坐标，K为相机的内参数矩阵，f_x是相机在X轴上的焦距，f_y是相机在Y轴上的焦距，f是相机的焦距，dx是像素点在x轴的物理尺寸，dy是像素点在y轴的物理尺寸，u₀是相机在X轴上的主点坐标，v₀是相机在Y轴上的主点坐标；

2)根据单应性矩阵H，将图像上的点m和空间中的点M关联起来：

定义世界坐标系下的点为则图像上的点m和空间中的点M转换公式为：

$s\tilde{m}=H\tilde{M}---\left(2\right)$

其中，单应矩阵为H＝λK[r₁r₂t]，λ是任意的比例，s是比例因子，是图像坐标系的点，是世界坐标系下的点。

(2)求解相机的内外参数：

1)求解相机的内参数

令单应矩阵H＝[h₁,h₂,h₃](其中h₁,h₂,h₃分别代表单应矩阵H的第一列、第二列、第三列)，则：

[h₁h₂h₃]＝λK[r₁r₂t]

λ是任意的比例，由于r₁,r₂是标准正交的，可以得到公式(3)、(4):

$h_1^T{K}^{-T}{K}^{-1}{h}_2=0---\left(3\right)$

$h_1^T{K}^{-T}{K}^{-1}{h}_1=h_2^T{K}^{-T}{K}^{-1}{h}_2---\left(4\right)$

为方便计算相机内参数和外参数，自定义矩阵B，令：

$\begin{array}{c}B=K^{-T}{K}^{-1}=\left[\begin{array}{ccc}{B}_{11}& B_{12}& B_{13}\\ B_{12}& B_{22}& B_{23}\\ B_{13}& B_{23}& B_{33}\end{array}\right]\\ =\left[\begin{array}{ccc}\frac{1}{f_x^2}& 0& -\frac{u_0}{f_x^2}\\ 0& \frac{1}{f_y^2}& -\frac{v_0}{f_y^2}\\ -\frac{u_0}{f_x^2}& -\frac{v_0}{f_y^2}& \frac{u_0^2}{r_x^2}+\frac{v_0^2}{f_y^2}+1\end{array}\right]\end{array}---\left(5\right)$

其中，B₁₁,B₁₂,B₁₃,B₂₁,B₂₂,B₂₃,B₃₁,B₃₂,B₃₃是矩阵B的元素，f_x是相机在X轴上的焦距，f_y是相机在Y轴上的焦距，u₀是相机在X轴上的主点坐标，v₀是相机在Y轴上的主点坐标；

由于B是对称的，定义一个6维向量

b″＝[B₁₁,B₁₂,B₂₂,B₁₃,B₁₃,B₃₃]^T(6)

将H的第i列定义为

$h_i^T{\mathrm{Bh}}_j=v_{ij}^T{b}^{\′\′}---\left(7\right)$

其中：v_ij＝[h_i1h_j1,h_i1h_j2+h_i2h_j1,h_i2h_j2,h_i3h_j1+h_i1h_j3,h_i3h_j2+h_i2h_j3,h_i3h_j3]^T；

根据公式(3)、(4)、(6)可以将公式(7)重写为

$\left[\begin{array}{c}{v}_{12}^T\\ {(v_{11}-v_{22})}^T\end{array}\right]=b^{\′\′}=0---\left(8\right)$

假设图像上有n幅图像，将公式(8)写成n维方程组：

Vb″＝0(9)

由于H已知，解方程(9)求得b″。

当b″已知，可求解相机的内参数，即可求解出相机的内参矩阵K。

相机内参数：

$\begin{array}{c}{v}_0=(B_{12}{B}_{13}-B_{11}{B}_{23})/(B_{11}{B}_{22}-{B_{12}}^2)\\ \mathrm{\λ}=B_{33}-\[{B_{13}}^2+v_0(B_{12}{B}_{13}-B_{11}{B}_{23})\]/B_{11}\\ f_x=\sqrt{\mathrm{\λ}/B_{11}}\\ f_y=\sqrt{{\mathrm{\λB}}_{11}/(B_{11}{B}_{22}-{B_{12}}^2)}\\ u_0=-B_{13}{f}_x^2/\mathrm{\λ}\end{array}$

2)求解相机外参数：

根据公式(2)，可以得出：

r₁＝λK^-1h₁,r₂＝λK^-1h₂,r₃＝r₁×r₂,t＝λK^-1h₃

即求出相机的旋转矩阵R，平移量t。

1.2、对同一时刻得到的RGB数据和深度数据进行配准，并求解得到深度数据与RGB数据的对齐变换矩阵；

(1)将同一时刻采集到的RGB数据和深度数据进行配准，进而完成对深度数据的校准。分别定义彩色相机和深度相机的三个平面和其中代表彩色相机的第i个平面，代表深度相机的第i个平面，n_ci是平面的法向，n_di是平面的法向，c代表彩色相机，d代表深度相机。

深度数据和RGB数据之间对应的对齐变换矩阵为 $T=\left(\begin{array}{cc}{R}^{\′}& t^{\′}\\ 0& 1\end{array}\right),$ 其中R′是旋转矩阵，t′是平移量。在投影空间中，根据旋转矩阵M′、投影比例S′将点映射成

其中，其中，λ_i是未知的比例因子，R′,t′分别为旋转矩阵、平移量，I₃是一个3*3的单位矩阵，M′是旋转矩阵，S′是投影比例；

由于向量的长度不会随着旋转而改变，将n_ci,n_di标准化成n

根据公式(10)，可以得到公式(11)：

$n_{di}^T{n}_{di}{n}_{ci}^T{R}^{\′T}{t}^{\′}-n_{di}^T{n}_{di}+n_{di}^T{R}^{\′}{n}_{ci}=0---\left(11\right)$

每一对有一个平移量的线性约束t′＝L^-1g，其中L，g分别是为便于计算自定义的矩阵，且

$L=\left[\begin{array}{ccc}{n}_{d1}^T& n_{d1}& n_{c1}^T\\ n_{d2}^T& n_{d2}& n_{c2}^T\\ n_{d3}^T& n_{d3}& n_{c3}^T\end{array}\right]R^{\′T},g=\left[\begin{array}{c}{n}_{d1}^T{n}_{d1}-n_{d1}^T{R}^{\′}{n}_{c1}\\ n_{d2}^T{n}_{d2}-n_{d2}^T{R}^{\′}{n}_{c2}\\ n_{d3}^T{n}_{d3}-n_{d3}^T{R}^{\′}{n}_{c3}\end{array}\right],$ 其中n_d1,n_d2,n_d3分别是深度相机的第一个平面、第二个平面、第三个平面的法向，n_c1,n_c2,n_c3分别是彩色相机的第一个平面、第二个平面、第三个平面的法向，R′是旋转矩阵；

(2)当平面个数大于3时，平面配准算法为：

步骤a：为每一对和计算一个对齐变换矩阵T；

步骤b：对于每一个T，计算所有的深度相机坐标计算第j个计算所得的平面Π_dj和其对应的平面之间的欧氏距离l_j。

步骤c：用rank(T)＝Σ_jmax(l,l_j)为所有的T排序，其中l是一个预设的阈值。当l_j＜l时，认为对应的点对是局内点，T是最小值。

步骤d：进行非线性最小化优化

当初始化值不是很好，图像数目比较少时，受到尺度的影响，会产生深度漂移。但深度相机的旋转并不受到影响，这样，由于与像素点的视差值相同，就不会改变投影误差。但是，两个传感器之间的对齐变换矩阵仍会发生改变，在进行外参校准时仍然会有一个误差。因此代价函数包含三项，第一项是彩色相机的测量角点与投影点x之间的距离；第二项是深度相机测量视差值与计算的视差值之间的差值；第三项代表物体λ的点之间的欧氏距离与这些点的测量距离之间的差值。

目标函数为：

$\underset{I_c,{I^{\′}}_d,T,T_{ci}}{\min }\frac{\Σ\left|\right|{\hat{x}}_c-x_c|{|}^2}{{\mathrm{\σ}}_c^2}+\frac{\Σ{(\hat{d}-\tilde{d})}^2}{{\mathrm{\σ}}_d^2}+{\mathrm{\β}}^{\′}|{\widehat{\mathrm{\λ}}}^{\′}-{\mathrm{\λ}}^{\′}{|}^2---\left(12\right)$

其中：I_c是彩色相机的内参数集，I′_d是深度相机的内参数集，T是深度数据和RGB数据之间的对齐变换矩阵，T_ci是彩色相机的外参矩阵，β′是一个权值，是彩色相机的测量方差，是深度相机的测量方差，是彩色相机的测量角点，x_c是投影点，是深度相机的测量视差值，是计算得到的视差值，是物体点之间的欧氏距离，λ′是物体点之间的测量距离。

1.3、利用单个深度传感器设备采集室内场景的深度数据和RGB数据，使之扫描的范围尽可能覆盖到物体的完整表面。

步骤2、采用双边滤波器对采集到的深度数据和RGB数据进行中的噪点进行去噪处理，利用孔洞周围的深度值对孔洞进行填充，得到没有噪声的平滑的深度数据；所述步骤2具体包括以下步骤：

步骤2.1、对步骤1中的RGB数据和深度数据使用双边滤波器进行平滑去噪，得到低噪音并且能够保持特征的数据；

步骤2.2：将步骤2.1中所述数据输入双边滤波器的滤波方程式中进行计算，得到平滑去噪的深度数据。

(1)对输入原始图像进行边缘检测，其具体步骤如下：

将待分析的N×M的RGB数据图，分成大小为n×m的若干子区域。计算图像各子区域的单元信息熵，并用熵值来判断该区域的纹理性质。RGB图像的熵H等于三个分量的熵的和，表示为：H＝H_R+H_G+H_B。根据各子区域的性质，采用合适的距离阈值。具体情况如下：

1)若该子区域为平滑区域，距离阈值取值为0.1；

2)若该子区域为复合区域，距离阈值取值为0.15；

3)若该子区域为边缘区域，距离阈值取值为0.2；

将距离阈值变成N×M的矩阵G，将G带入神经网络中，检测RGB数据像边缘。

(2)利用上述边缘检测方法检测原始图的边缘，并估计原始图的噪声范围，仅对原始图中等于1的像素点做双边滤波。噪声的污点本身的值不具有参与平滑的价值，将其加权系数置为0。

步骤3、利用步骤1中计算得出的内参矩阵K，将步骤2中得到的深度数据转换为相应的3D点云；

所述步骤3包括以下具体步骤：

深度数据图的每一个深度像素点代表一个3D点，根据相机的内参矩阵K，实现将一个3D点[X,Y,Z]^T转换成相应的2D像素点坐标[i′,j′]^T，其中X，Y，Z分别是世界坐标系下点在在X轴、Y轴、Z轴上的坐标，i′,j′分别是图像坐标系下点在X轴、Y轴上的坐标。

变换关系为：

$Z\left[\begin{array}{c}{i}^{\′}\\ j^{\′}\\ 1\end{array}\right]=\left[\begin{array}{c}X*f_x+Z*u_0\\ Y*f_y+Z*v_0\\ Z\end{array}\right]=K\left[\begin{array}{c}X\\ Y\\ Z\end{array}\right]---\left(13\right)$

其中，K为相机的内参数矩阵，f_x是相机在X轴上的焦距，f_y是相机在Y轴上的焦距，u₀是相机在X轴上的主点坐标，v₀是相机在Y轴上的主点坐标；X，Y，Z分别是世界坐标系下点在在X轴、Y轴、Z轴上的坐标，i′,j′分别是图像坐标系下点在X轴、Y轴上的坐标。

从公式(13)可以得到，i′＝(X*f_x)/Z+u₀，j′＝(Y*f_y)/Z+v₀。同样，利用可以将2D点转换成相应的3D点，变换关系如公式(14)：

$\left[\begin{array}{c}X\\ Y\\ Z\end{array}\right]=\left[\begin{array}{c}Z*\frac{(i^{\′}-u_0)}{f_x}\\ Z*\frac{(j^{\′}-v_0)}{f_y}\\ Z\end{array}\right]=K^{-1}Z\left[\begin{array}{c}{i}^{\′}\\ j^{\′}\\ 1\end{array}\right]---\left(14\right)$

步骤4、对步骤3的点云进行图像配准并利用点云图像匹配的结果，对步骤3中得到的点云进行配准，建立室内场景的点云模型；

所述步骤4包括以下具体步骤：

步骤4.1、对不同视角的原图和待匹配图进行Canny边缘检测计算边缘的局部斜率，根据斜率计算出局部方向角，为每一条边缘构建一条方向角曲线和对应的相对链码；

步骤4.2、用待匹配图的边缘方向曲线的相对链码和原图中的相对链码进行比较，确定两幅图之间的平移关系，进行相位相关计算；

步骤4.3、找到相关系数最大的，对待匹配图进行旋转矫正，找到不同视角的两幅图能够匹配的精确位置，完成不同视角的两幅图之间的精确匹配；

步骤4.4、利用步骤4.3的不同视角的两幅图像的匹配结果，完成对其各自对应的点云进行配准，求解变换矩阵。

其中，步骤4.1～4.3的具体步骤包括：

(1)使用基于边缘特征和频域相关的复合匹配算法对图像进行精确的匹配；

1)对不同视角的原图和待匹配图进行Canny边缘检测，以待匹配图的边缘信息为准则提取出一组大边缘信息，同时也保留原图中满足的边缘信息。

2)计算边缘的局部斜率，根据斜率计算出局部方向角，为每一条边缘构建一条方向角曲线和对应的相对链码。

3)用待匹配图的边缘方向曲线的相对链码和原图中的相对链码进行比较，相一致或部分一致的即认为边缘相同，然后根据原图和待匹配图边缘方向角曲线的第一个角度算出其差值，即可能存在的旋转角度。

确定不同视角的两幅图像之间的的平移关系，进行相位相关计算。图像经过傅立叶变换后分为幅度信息和相位谱信息，其中相位谱包含了两图之间位置平移的所有信息，而且是一个频谱幅度在全频域内为1的功率谱。找到相关系数最大的，对待匹配图进行了旋转矫正，找到了不同视角的两幅图像能够匹配的精确位置，完成不同视角的两幅图像之间的精确匹配工作。

其中，步骤4.4的具体步骤包括：

利用图像匹配的精确结果，进行点云配准；

(1)建立变换矩阵

定义旋转矩阵为

$R^{\′\′}=\left[\begin{array}{ccc}1& 0& 0\\ 0& \cos \mathrm{\α}& -\sin \mathrm{\α}\\ 0& \sin \mathrm{\α}& \cos \mathrm{\α}\end{array}\right]\left[\begin{array}{ccc}\cos \mathrm{\β}& 0& \sin \mathrm{\β}\\ 0& 1& 0\\ -\sin \mathrm{\β}& 0& \cos \mathrm{\β}\end{array}\right]\left[\begin{array}{ccc}\cos \mathrm{\γ}& -\sin \mathrm{\γ}& 0\\ \sin \mathrm{\γ}& \cos \mathrm{\γ}& 0\\ 0& 0& 1\end{array}\right]$

其中α，β，γ分别是围绕x轴，y轴，z轴旋转的角度。

令：

r₁₁＝cosγcosβ

r₁₂＝-sinγcosα+cosγsinβsinα

r₁₃＝sinγsinα+cosγsinβcosα

r₂₁＝sinγcosβ

r₂₂＝cosγcosα+sinγsinβsinα

r₂₂＝-cosγsinα+sinγsinβcosα

r₃₁＝-sinβ

r₃₂＝cosβsinα

r₃₃＝cosβcosα，

其中，r₁₁,r₁₂,r₁₃,r₂₁,r₂₂,r₂₃,r₃₁,r₃₂,r₃₃是旋转矩阵R(α,β,γ)的元素；

重新定义旋转矩阵为一个4×4的矩阵：

$R(\mathrm{\α},\mathrm{\β},\mathrm{\γ})=\left[\begin{array}{cccc}{r}_{11}& r_{12}& r_{13}& 0\\ r_{21}& r_{22}& r_{23}& 0\\ r_{31}& r_{32}& r_{33}& 0\\ 0& 0& 0& 1\end{array}\right];$

定义平移矩阵为一个4×4的矩阵：

$T(t_x,t_y,t_z)=\left[\begin{array}{cccc}1& 0& 0& t_x\\ 0& 1& 0& t_y\\ 0& 0& 1& t_z\\ 0& 0& 0& 1\end{array}\right],$

其中平移向量 $t^{\′\′}=\left[\begin{array}{c}{t}_x\\ t_y\\ t_z\end{array}\right],$ t_x表示在X轴上的平移量，t_y表示在Y轴上的平移量，t_z表示在Z轴上的平移量。

变换矩阵为T′＝T(t_x,t_y,t_z)R(α,β,γ)，即：

$T^{\′}=\left[\begin{array}{cccc}{r}_{11}& r_{12}& r_{13}& t_x\\ r_{21}& r_{22}& r_{23}& t_y\\ r_{31}& r_{32}& r_{33}& t_z\\ 0& 0& 0& 1\end{array}\right]---\left(15\right)$

其中，T′是变换矩阵，T(t_x,t_y,t_z)是平移矩阵，R(α,β,γ)是旋转矩阵，α，β，γ分别是围绕x轴，y轴，z轴旋转的角度，t_x表示在X轴上的平移量，t_y表示在Y轴上的平移量，t_z表示在Z轴上的平移量；

(2)求解变换矩阵

用深度传感器从多个角度扫描物体，得到RGB数据和深度数据。利用深度数据产生相应的点云。用图像匹配的方法，对不同视角的RGB数据图进行精确的两两匹配，这样就可以近似认为图像A和图像B上的点p_A和p_B在三维空间中所对应的点p′_A和p′_B是同一个点。点p′_A和p′_B在其所在点云上所对应的点为v_A和v_B，那么就认为v_A和v_B是空间中的同一个点，即

$v_A^T{T}^{\′}=v_B^T---\left(16\right)$

其中，T′是变换矩阵，vA是图像A上的点，v_B是图像B上的点；

定义图像A上的点为图像B上的点为其中x_A,y_A,z_A是点v_A分别在X轴、Y轴、Z轴上的坐标，x_B,y_B,z_B是点v_B分别在X轴、Y轴、Z轴上的坐标。

$T^{\′}=\left[\begin{array}{cccc}{r}_{11}& r_{12}& r_{13}& t_x\\ r_{21}& r_{22}& r_{23}& t_y\\ r_{31}& r_{32}& r_{33}& t_z\\ 0& 0& 0& 1\end{array}\right]$

即

[x_A,y_A,z_A,1]×T′＝[x_B,y_B,z_B,1](17)

(根据投影数据关联的方法，v_A和v_B已经求出。)

可以利用12个这样的点对，建立12个(17)这样的方程组，

$\left\{\begin{array}{c}\[x_{A1},y_{A1},z_{A1},1\]\×T^{\′}=\[x_{B1},y_{B1},z_{B1},1\]\\ \[x_{A2},y_{A2},z_{A2},1\]\×T^{\′}=\[x_{B1},y_{B2},z_{B2},1\]\\ \[x_{A3},y_{A3},z_{A3},1\]\×T^{\′}=\[x_{B3},y_{B3},z_{B3},1\]\\ .\\ .\\ .\\ \[x_{A12},y_{A12},z_{A12},1\]\×T^{\′}=\[x_{B12},y_{B12},z_{B12},1\]\end{array}\right.$

其中x_A1,x_B1,y_A1,y_B1,z_A1,z_B1分别是第一个匹配点对的两个点在X轴、Y轴、Z轴上的坐标，x_A2,x_B2,y_A2,y_B2,z_A2,z_B2分别是第二个匹配点对的两个点在X轴、Y轴、Z轴上的坐标，x_A3,x_B3,y_A3,y_B3,z_A3,z_B3分别是第三个匹配点对的两个点在X轴、Y轴、Z轴上的坐标，x_A12,x_B12,y_A12,y_B12,z_A12,z_B12分别是第十二个匹配点对的两个点在X轴、Y轴、Z轴上的坐标。

通过解一个12维的方程组的方式求解出变换矩阵T′的所有未知参数，即求出了矩阵T′。

步骤5、对步骤4中得到的点云模型进行平面拟合，提取地面、桌面、墙壁等标志性的平面类模型，从而实现将其对应的点云从步骤4中得到的点云模型中分割出来，建立室内场景中每个物体的独立完整的三维模型。

所述步骤5包括以下具体步骤：

步骤5.1、使用PCA主成分分析方法拟合平面；

步骤5.2、利用平面到原点的距离公式d″＝||cog·n||，将原始数据转换成xy平面上的数据；

上述公式中，d″代表平面到原点的距离，cog代表平面的重心，n代表平面的法向量；

步骤5.3、进行不确定性分析，求解最佳拟合平面，实现平面拟合。

其中，步骤5.1的具体步骤包括：

(1)经过配准的点云集合为P＝{p_i＝(x_i,y_i,z_i)^T|i＝1,2,…,N}，其协方差矩阵集合为C＝{C_i|C_i∈R^3×3}，其中C_i是点p_i对应的协方差矩阵，R^3×3代表3×3的实矩阵的全体，N是点的总个数，x_i,y_i,z_i分别是第i个点p_i在X轴、Y轴、Z轴上的坐标；

使用Hesse平面方程：nx-d′＝0，其中，n＝(n_x,n_y,n_z)^T是平面的法向，n_x,n_y,n_z分别是在X轴、Y轴、Z轴方向上的法矢量，d′是参数，x是平面上点的坐标。

(2)定义回归函数为 $R(n_x,n_y,n_z,d^{\′})={\Σ}_{i=0}^N{w}_i{(n_x{x}_i^r+n_r{y}_i^r+n_z{z}_i^r-d^{\′})}^2$

(18)

其中，R(n_x,n_y,n_z,d′)是回归函数，x_i,y_i,z_i分别是点平面上的第i个点p_i在X轴、Y轴、Z轴上的坐标，w_i是权重，n是平面的法向，n_x,n_y,n_z分别是在X轴、Y轴、Z轴方向上的法矢量，d′是平面方程的参数，C_i是点p_i对应的协方差矩阵，N是点的总个数；

公式(18)对d′求导，并将导数设为0，则：

其中，表示对R(n_x,n_y,n_z,d′)中的参数变量d′求导，cog代表平面的重心，n是平面的法向，x_i,y_i,z_i分别是点平面上的第i个点p_i在X轴、Y轴、Z轴上的坐标，n_x,n_y,n_z分别是平面在X轴、Y轴、Z轴方向上的法矢量，N是点的总个数；

从上述公式可以看出，最佳拟合平面过重心。

(3)将所有的数据点拟合到原始区域

其中S(n_x,n_y,n_z)表示目标函数，x_i,y_i,z_i分别是点平面上的第i个点p_i在X轴、Y轴、Z轴上的坐标，w_i是权重，n_x,n_y,n_z分别是平面在X轴、Y轴、Z轴方向上的法矢量，N是点的总个数；

平面法向n＝(n_x,n_y,n_z)^T可以从矩阵A最小特征值对应的特征向量中得到，其中A是为方便计算自定义的矩阵，且：

$A=\left(\begin{array}{ccc}{\Σ}_{i=0}^N{w}_i{x}_i^2& {\Σ}_{i=0}^N{w}_i{x}_i{y}_i& {\Σ}_{i=0}^N{w}_i{x}_i{z}_i\\ {\Σ}_{i=0}^N{w}_i{x}_i{y}_i& {\Σ}_{i=0}^N{w}_i{y}_i^2& {\Σ}_{i=0}^N{w}_i{y}_i{z}_i\\ {\Σ}_{i=0}^N{w}_i{x}_i{z}_i& {\Σ}_{i=0}^N{w}_i{y}_i{z}_i& {\Σ}_{i=0}^N{w}_i{z}_i^2\end{array}\right)$

其中，x_i,y_i,z_i分别是点平面上的第i个点p_i在X轴、Y轴、Z轴上的坐标，w_i是权重，N是点的总个数。

其中，步骤5.3的具体步骤为：

(1)在将原始数据转换成xy平面上的点后，根据协方差矩阵使用平面公式为Z＝aX+bY+d′，将点云中的3D点拟合成一个平面，其中是经过数据转换后第i个点分别在X轴、Y轴、Z轴上的坐标，N是点的总个数，是第i个点对应的协方差矩阵，a，b，d′是平面公式的系数，X，Y，Z分别是平面上的点的坐标；

由于最佳拟合平面在xy平面内，故将平面法向定义为(n_x,n_y,n_z)＝(0,0,1)^T。

回归方程为： $T(n_x,n_y,n_z{d}^{\′})={\Σ}_{i=0}^N{w}_i{(x_x{x}_i^t+n_y{y}_i^t+n_z{z}_i^t-d^{\′})}^2,$ 即为： $T(b_0,b_1,b_2)={\mathrm{\Σ}}_{1=0}^N{w}_i{(z_i^t+b_0+b_1{x}_i^t+b_2{y}_i^t)}^2.$

其中：T(b₀,b₁,b₂)代表回归方程函数，是平面上的点分别在X轴、Y轴、Z轴上的坐标，n_x,n_y,n_z分别是平面在X轴、Y轴、Z轴方向上的法矢量，d′是平面方程的参数，w_i是权重，N是点的总个数，b₀,b₁,b₂是为了方便计算定义的变量，且b_o＝(-d′)/n_z,b₁＝n_x/n_z,b₂＝n_y/n_z。

(2)分别对b₀,b₁,b₂进行局部求导，得到最佳拟合平面的参数：

$\left(\begin{array}{c}{b}_0\\ b_1\\ b_2\end{array}\right)=A^{\′-1}\left(\begin{array}{c}-{\Σ}_{i=0}^N{w}_i{z}_i^t\\ -{\Σ}_{i=0}^N{w}_i{x}_i^t{z}_i^t\\ -{\Σ}_{i=0}^N{w}_i{y}_i^t{z}_i^t\end{array}\right)$

$A^{\′}=\left(\begin{array}{ccc}{\Σ}_{i=0}^N{w}_{i}1& {\Σ}_{i=0}^N{w}_i{x}_i^t& {\Σ}_{i=0}^N{w}_i{y}_i^t\\ {\Σ}_{i=0}^N{w}_i{x}_i^t& {\Σ}_{i=0}^N{w}_i{\left(x_i^t\right)}^2& {\Σ}_{i=0}^N{w}_i{x}_i^t{y}_i^t\\ {\Σ}_{i=0}^N{w}_i{y}_i^t& {\Σ}_{i=0}^N{w}_i{x}_i^t{y}_i^t& {\Σ}_{i=0}^N{w}_i{\left(y_i^t\right)}^2\end{array}\right)$

其中，A′是为方便计算自定义的矩阵，是平面上的点分别在X轴、Y轴、Z轴上的坐标，w_i是权重，N是点的总个数，b₀,b₁,b₂是为了方便计算自定义的变量，且b_o＝(-d′)/n_z,b₁＝n_x/n_z,b₂＝n_y/n_z。

参数向量b′＝(b₀,b₁,b₂)的协方差矩阵为

$F=\left(\begin{array}{ccc}1& 0& 0\\ 0& \frac{1}{1+{b_1}^2}& 0\\ 0& 0& \frac{1}{1+{b_2}^2}\end{array}\right),$

其中，C_plane是参数向量b′＝(b₀,b₁,b₂)的协方差矩阵，是协方差矩阵，F是为方便计算定义的矩阵，b₀,b₁,b₂是为了方便计算自定义的变量，且b_o＝(-d′)/n_z,b₁＝n_x/n_z,b₂＝n_y/n_z；

(3)平面参数的最终结果为：

(z,θ,ψ)^T＝(arctanb₀,arctanb₁,arctanb₂)^T，

其中，b₀,b₁,b₂是为了方便计算自定义的变量，且b_o＝(-d′)/n_z,b₁＝n_x/n_z,b₂＝n_y/n_z，z是沿z轴的平移量，θ是绕x轴旋转的角度，ψ是绕y轴旋转的角度；n_x,n_y,n_z分别是平面在X轴、Y轴、Z轴方向上的法矢量，d′是平面方程的参数。

需要强调的是，本发明所述的实施例是说明性的，而不是限定性的，因此本发明包括并不限于具体实施方式中所述的实施例，凡是由本领域技术人员根据本发明的技术方案得出的其他实施方式，同样属于本发明保护的范围。

Claims (10)

1.一种基于单个深度视觉传感器的室内场景三维重建方法，其特征在于包括以下步骤：

步骤1、对彩色相机和深度相机进行联合标定，求解出深度相机和彩色相机的内参矩阵K和外参数；利用单个深度传感器设备多角度采集室内场景的深度数据和RGB数据；

步骤2、对采集到的深度数据和RGB数据进行去噪处理，利用孔洞周围的深度值对孔洞进行填充，得到平滑的深度数据；

步骤3、利用步骤1中计算得出的内参矩阵K，将步骤2中得到的深度数据转换为相应的三维点云数据；

步骤4、对步骤2中得到的不同视角的RGB图像进行匹配计算，并根据匹配得到的结果，对步骤3中得到的不同视角的点云进行配准，建立室内场景的点云模型；

步骤5、对步骤4中得到的点云模型进行平面拟合，提取地面、桌面、墙壁等标志性的平面类模型，从而实现将其对应的点云从步骤4中得到的场景模型中分割出来，建立场景中每个物体的独立完整的三维模型。

2.根据权利要求1所述的一种基于单个深度视觉传感器的室内场景三维重建方法，其特征在于：所述步骤1的具体步骤包括：

步骤1.1、提取彩色相机和深度相机拍摄的标定棋盘的图像上角点为校准点，进行相机校准，求解出深度相机和彩色相机的内参矩阵K和外参数；

步骤1.2、对同一时刻得到的RGB数据和深度数据进行配准，并求解得到深度数据与RGB数据的对齐变换矩阵；

步骤1.3、利用单个深度传感器摄像头对室内场景进行扫描，采集室内物体表面RGB数据和深度数据，使其扫描范围尽可能覆盖到室内场景中的每个物体的完整表面。

3.根据权利要求1所述的一种基于单个深度传感器的室内场景三维重建方法，其特征在于所述步骤2的具体步骤包括：

步骤2.1、对步骤1中的RGB数据和深度数据使用双边滤波器进行平滑去噪，得到低噪音并且能够保持特征的数据；

步骤2.2：将步骤2.1中所述数据输入双边滤波器的滤波方程式中进行计算，得到平滑去噪的深度数据。

4.根据权利要求1所述的一种基于单个深度视觉传感器的室内场景三维重建方法，其特征在于所述步骤4的具体步骤包括：

步骤4.1、对不同视角的原图和待匹配图进行Canny边缘检测计算边缘的局部斜率，根据斜率计算出局部方向角，为每一条边缘构建一条方向角曲线和对应的相对链码；

步骤4.2、用待匹配图的边缘方向曲线的相对链码和原图中的相对链码进行比较，确定两幅图之间的平移关系，进行相位相关计算；

步骤4.3、找到相关系数最大的，对待匹配图进行旋转矫正，找到不同视角的两幅图能够匹配的精确位置，完成不同视角的两幅图之间的精确匹配；

步骤4.4、利用步骤4.3的不同视角的两幅图像的匹配结果，完成对其各自对应的点云进行配准，求解变换矩阵。

5.根据权利要求1所述的一种基于单个深度视觉传感器的室内场景三维重建方法，其特征在于所述步骤5的具体步骤包括：

步骤5.1、使用PCA主成分分析方法拟合平面；

步骤5.2、利用平面到原点距离公式d″＝||cog·n||，将原始数据转换成xy平面上的数据；

上述公式中，d″为平面到原点的距离，cog为平面的重心，n为平面的法向量；

步骤5.3、进行不确定性分析，求解最佳拟合平面，实现平面拟合。

6.根据权利要求2所述的一种基于单个深度视觉传感器的室内场景三维重建方法，其特征在于，所述步骤1.1的具体步骤包括：

(1)定义二维坐标系下的点为m＝[u,v]^T，其中u，v分别是在X、Y轴上的坐标，三维坐标系下的点M＝[X,Y,Z]^T，其中X、Y、Z分别是在X、Y、Z轴上的坐标，图像坐标系下的点为世界坐标系下的点为M＝[X,Y,Z,1]^T，旋转矩阵为R＝[r₁r₂r₃]，其中，r₁,r₂,r₃代表旋转矩阵R的列，平移量为t，则图像坐标系点与世界坐标系下点的转换关系为：

$s\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=K\[\begin{array}{cccc}{r}_1& r_2& r_3& t\end{array}\]\left[\begin{array}{c}X\\ Y\\ 0\\ 1\end{array}\right]=K\[\begin{array}{ccc}{r}_1& r_2& t\end{array}\]\left[\begin{array}{c}X\\ Y\\ 1\end{array}\right],$

$K=\left[\begin{array}{ccc}{f}_x& 0& u_0\\ 0& f_y& v_0\\ 0& 0& 1\end{array}\right],f_x=\frac{f}{dx},f_y=\frac{f}{dy}$

其中，s是比例因子，u，v分别是在X、Y轴上的坐标，K为相机的内参数矩阵，f_x是相机在X轴上的焦距，f_y是相机在Y轴上的焦距，f是相机的焦距，dx是像素点在x轴的物理尺寸，dy是像素点在y轴的物理尺寸，u₀是相机在X轴上的主点坐标，v₀是相机在Y轴上的主点坐标；

(2)根据单应性矩阵H将图像上的点m和空间中的点M关联起来：

定义世界坐标系下的点为则图像上的点m和空间中的点M转换公式为：其中s是比例因子，H是单应性矩阵，是图像坐标系的点，是世界坐标系下的点；

令单应矩阵H＝[h₁,h₂,h₃]，则[h₁h₂h₃]＝λK[r₁r₂t]，其中h₁,h₂,h₃分别代表单应矩阵H的第一列、第二列、第三列，λ是任意的比例，K为相机的内参矩阵；

为方便计算相机内参数和外参数，自定义矩阵B，令

$\begin{array}{c}B=K^{-T}{K}^{-1}=\left[\begin{array}{ccc}{B}_{11}& B_{12}& B_{13}\\ B_{12}& B_{22}& B_{23}\\ B_{13}& B_{23}& B_{33}\end{array}\right]\\ =\left[\begin{array}{ccc}\frac{1}{f_x^2}& 0& -\frac{u_0}{f_x^2}\\ 0& \frac{1}{f_y^2}& -\frac{v_0}{f_y^2}\\ -\frac{u_0}{f_x^2}& -\frac{v_0}{f_y^2}& \frac{u_0^2}{f_x^2}+\frac{v_0^2}{f_y^2}+1\end{array}\right]\end{array},$

其中，B₁₁,B₁₂,B₁₃,B₂₁,B₂₂,B₂₃,B₃₁,B₃₂,B₃₃是矩阵B的元素，f_x是相机在X轴上的焦距，f_y是相机在Y轴上的焦距，u₀是相机在X轴上的主点坐标，v₀是相机在Y轴上的主点坐标；

求解相机内参数：

$\begin{array}{c}{v}_0=\left(B_{12}{B}_{13}-B_{11}{B}_{23}\right)/\left(B_{11}{B}_{22}-{B_{12}}^2\right)\\ \mathrm{\λ}=B_{33}-\[{B_{13}}^2+v_0\left(B_{12}{B}_{13}-B_{11}{B}_{23}\right)\]/B_{11}\\ f_x=\sqrt{\mathrm{\λ}/B_{11}}\\ f_y=\sqrt{\mathrm{\λ}/B_{11}/\left(B_{11}{B}_{22}-{B_{12}}^2\right)}\\ u_0=-B_{13}{f}_x^2/\mathrm{\λ}\end{array}$

求解相机外参数：

r₁＝λK^-1h₁,r₂＝λK^-1h₂,r₃＝r₁×r₂,t＝λK^-1h₃，即可求出相机的旋转矩阵R，平移量t。

7.根据权利要求2所述的一种基于单个深度视觉传感器的室内场景三维重建方法，其特征在于所述步骤1.2的具体步骤包括：

(1)分别定义彩色相机和深度相机的三个平面：

和 ${\mathrm{\Π}}_d^{\left(i\right)},i=\mathrm{1,2,3},$ 其中代表彩色相机的第i个平面，代表深度相机的第i个平面，n_ci是平面的法向，n_di是平面的法向，c代表彩色相机，d代表深度相机；深度数据和RGB数据之间的对齐变换矩阵为 $T=\left(\begin{array}{cc}{R}^{\′}& t^{\′}\\ 0& 1\end{array}\right),$ 在投影空间中，根据旋转矩阵M′、投影比例S′将点映射成

其中，λ_i是未知的比例因子，R′是旋转矩阵，t′是平移量，I₃是一个3*3的单位矩阵，M′是旋转矩阵，S′是投影比例；将n_ci,n_di标准化成将上述公式重新定义为：

$n_{di}^T{n}_{di}{n}_{ci}^T{R}^{\′T}{t}^{\′}-n_{di}^T{n}_{di}+n_{di}^T{R}^{\′}{n}_{ci}=0,$ 每一对和有一个平移量的线性约束t′＝L^-1g，其中L，g分别是为便于计算自定义的矩阵，且

$L=\left[\begin{array}{ccc}{n}_{d1}^T& n_{d1}& n_{c1}^T\\ n_{d2}^T& n_{d2}& n_{c2}^T\\ n_{d3}^T& n_{d3}& n_{c3}^T\end{array}\right]R^{\′T},$ $g=\left[\begin{array}{c}{n}_{d1}^T{n}_{d1}-n_{d1}^T{R}^{\′}{n}_{c1}\\ n_{d2}^T{n}_{d2}-n_{d2}^T{R}^{\′}{n}_{c2}\\ n_{d3}^T{n}_{d3}-n_{d3}^T{R}^{\′}{n}_{c3}\end{array}\right]$

其中，n_d1,n_d2,n_d3分别是深度相机的第一个平面、第二个平面、第三个平面的法向，n_c1,n_c2,n_c3分别是彩色相机的第一个平面、第二个平面、第三个平面的法向，R′是旋转矩阵；

(2)当平面个数大于3时，平面配准算法包括以下四个步骤：

1)为每一对和计算一个对齐变换矩阵T；

2)对于每一个T，计算所有的深度相机坐标计算第j个计算所得的平面Π_dj和其对应的平面之间的欧氏距离l_j；

3)用rank(T)＝Σ_jmax(l,l_j)为所有的T排序，其中l是一个预设的阈值，当l_j＜l时，认为对应的点对是局内点，T是最小值；

4)进行非线性最小优化，求解最佳的对齐变换矩阵T

最佳的对齐变换矩阵T的目标函数为：

$\underset{I_c,{I^{\′}}_d,T,T_{ci}}{\min }\frac{\Σ\left|\right|{\hat{x}}_c-x_c|{|}^2}{{\mathrm{\σ}}_c^2}+\frac{\Σ\left|\right|\hat{d}-\tilde{d}|{|}^2}{{\mathrm{\σ}}_d^2}+{\mathrm{\β}}^{\′}{\left|{\widehat{\mathrm{\λ}}}^{\′}-{\mathrm{\λ}}^{\′}\right|}^2$

其中：I_c是彩色相机的内参数集，I′_d是深度相机的内参数集，T是深度数据和RGB数据之间的对齐变换矩阵，T_ci是彩色相机的外参矩阵，是彩色相机的测量方差，是深度相机的测量方差，是彩色相机的测量角点，x_c是投影点，是深度相机的测量视差值，是计算得到的视差值，β′是一个权值，是物体点之间的欧氏距离，λ′是物体点之间的测量距离。

8.根据权利要求4所述的一种基于单个深度视觉传感器的室内场景三维重建方法，其特征在于所述步骤4.4的具体步骤包括：

(1)建立变换矩阵

1)定义旋转矩阵为：

$R^{\′\′}=\left[\begin{array}{ccc}1& 0& 0\\ 0& \cos \mathrm{\α}& -\sin \mathrm{\α}\\ 0& \sin \mathrm{\α}& \cos \mathrm{\α}\end{array}\right]\left[\begin{array}{ccc}\cos \mathrm{\β}& 0& \sin \mathrm{\β}\\ 0& 1& 0\\ -\sin \mathrm{\β}& 0& \cos \mathrm{\β}\end{array}\right]\left[\begin{array}{ccc}\cos \mathrm{\γ}& -\sin \mathrm{\γ}& 0\\ \sin \mathrm{\γ}& \cos \mathrm{\γ}& 0\\ 0& 0& 1\end{array}\right]$

其中，α，β，γ分别是围绕x轴，y轴，z轴旋转的角度；

令：

r₁₁＝cosγcosβ

r₁₂＝-sinγcosα+cosγsinβsinα

r₁₃＝sinγsinα+cosγsinβcosα

r₂₁＝sinγcosβ

r₂₂＝cosγcosα+sinγsinβsinα

r₂₂＝-cosγsinα+sinγsinβcosα

r₃₁＝-sinβ

r₃₂＝cosβsinα

r₃₃＝cosβcosα，

其中，r₁₁,r₁₂,r₁₃,r₂₁,r₂₂,r₂₃,r₃₁,r₃₂,r₃₃是旋转矩阵R(α,β,γ)的元素；

2)重新定义旋转矩阵为一个4×4的矩阵：

$R(\mathrm{\α},\mathrm{\β},\mathrm{\γ})=\left[\begin{array}{cccc}{r}_{11}& r_{12}& r_{13}& 0\\ r_{21}& r_{22}& r_{23}& 0\\ r_{31}& r_{32}& r_{33}& 0\\ 0& 0& 0& 1\end{array}\right]$

3)定义平移矩阵为一个4×4的矩阵：

$T(t_x,t_y,t_z)=\left[\begin{array}{cccc}1& 0& 0& t_x\\ 0& 1& 0& t_y\\ 0& 0& 1& t_z\\ 0& 0& 0& 1\end{array}\right],$

其中，平移量为 $t^{\′\′}=\left[\begin{array}{c}{t}_x\\ t_y\\ t_z\end{array}\right],$ t_x表示在X轴上的平移量，t_y表示在Y轴上的平移量，t_z表示在Z轴上的平移量；则变换矩阵

T′＝T(t_x,t_y,t_z)R(α,β,γ)

其中，T′是变换矩阵，T(t_x,t_y,t_z)是平移矩阵，R(α,β,γ)是旋转矩阵，α，β，γ分别是围绕x轴，y轴，z轴旋转的角度，t_x表示在X轴上的平移量，t_y表示在Y轴上的平移量，t_z表示在Z轴上的平移量；

(2)求解变换矩阵

1)利用图像匹配的方法，对不同视角的两幅图像进行精确的匹配，认定图像A和图像B上的点p_A和p_B在三维空间中所对应的点p′_A和p′_B是同一个点；点p′_A和p′_B在其所在点云上所对应的点为v_A和v_B，则认为v_A和v_B是空间中同一点，即其中T′是变换矩阵，v_A是图像A上的点，v_B是图像B上的点；

定义图像A上的点为图像B上的点为其中x_A,y_A,z_A是点v_A分别在X轴、Y轴、Z轴上的坐标，x_B,y_B,z_B是点v_B分别在X轴、Y轴、Z轴上的坐标；

$T^{\′}=\left[\begin{array}{cccc}{r}_{11}& r_{12}& r_{13}& t_x\\ r_{21}& r_{22}& r_{23}& t_y\\ r_{31}& r_{32}& r_{33}& t_z\\ 0& 0& 0& 1\end{array}\right],$

则得出：[x_A,y_A,z_A,1]×T′＝[x_B,y_B,z_B,1]

根据投影数据关联的方法，v_A和v_B已被求出；

2)利用12个匹配好的点对，建立12个方程，将其联合建立方程组：

$\left\{\begin{array}{c}\[x_{A1},y_{A1},z_{A1},1\]\×T^{\′}=\[x_{B1},y_{B1},z_{B1},1\]\\ \[x_{A2},y_{A2},z_{A2},1\]\×T^{\′}=\[x_{B2},y_{B2},z_{B2},1\]\\ \[x_{A3},y_{A3},z_{A3},1\]\×T^{\′}=\[x_{B3},y_{B3},z_{B3},1\]\\ .\\ .\\ .\\ \[x_{A12},y_{A12},z_{A12},1\]\×T^{\′}=\[x_{B12},y_{B12},z_{B12},1\]\end{array}\right.$

其中，x_A1,x_B1,y_A1,y_B1,z_A1,z_B1分别是第一个匹配点对的两个点在X轴、Y轴、Z轴上的坐标，x_A2,x_B2,y_A2,y_B2,z_A2,z_B2分别是第二个匹配点对的两个点在X轴、Y轴、Z轴上的坐标，x_A3,x_B3,y_A3,y_B3,z_A3,z_B3分别是第三个匹配点对的两个点在X轴、Y轴、Z轴上的坐标，x_A12,x_B12,y_A12,y_B12,z_A12,z_B12分别是第十二个匹配点对的两个点在X轴、Y轴、Z轴上的坐标；

3)通过解一个12维的方程组的方式求解出变换矩阵T′的所有未知参数，得到变换矩阵T′。

9.根据权利要求5所述的一种基于单个深度视觉传感器的室内场景三维重建方法，其特征在于，所述步骤5.1的具体步骤包括：

(1)经过配准的点云集合为

P＝{p_i＝(x_i,y_i,z_i)^T|i＝1,2,…,N}，其协方差矩阵集合为

C＝{C_i|C_i∈R^3×3}，其中C_i是第i个点p_i对应的协方差矩阵，R^3×3代表3×3的实矩阵的全体，N是点的总个数，x_i,y_i,z_i分别是第i个点p_i在X轴、Y轴、Z轴上的坐标；

使用Hesse平面方程：nx-d′＝0

其中，n＝(n_x,n_y,n_z)^T是平面的法向，n_x,n_y,n_z分别是在X轴、Y轴、Z轴方向上的法矢量，d′是参数，x是平面上点的坐标；

(2)定义回归函数为

$R(n_x,n_y,n_{z,}{d}^{\′})={\mathrm{\Σ}}_{i=0}^N{w}_i{(n_x{x}_i^r+n_y{y}_i^r+n_z{z}_i^r-d^{\′})}^2$

p_i＝(x_i,y_i,z_i)^Tn＝(n_x,n_y,n_z)^T，w_i＝1/trace(c_i)²

其中，R(n_x,n_y,n_z,d′)是回归函数，x_i,y_i,z_i分别是点平面上的第i个点p_i在X轴、Y轴、Z轴上的坐标，w_i是权重，n是平面的法向，n_x,n_y,n_z分别是在X轴、Y轴、Z轴方向上的法矢量，d′是平面方程的参数，C_i是点p_i对应的协方差矩阵，N是点的总个数；

(3)将所有的数据点拟合到原始区域

$S(n_x,n_y,n_z)={\mathrm{\Σ}}_{i=0}^N{w}_i(n_x{x}_i+n_y{y}_i+n_z{z}_i),$ 其中S(n_x,n_y,n_z)表示目标函数，x_i,y_i,z_i分别是点平面上的第i个点p_i在X轴、Y轴、Z轴上的坐标，w_i是权重，n_x,n_y,n_z分别是平面在X轴、Y轴、Z轴方向上的法矢量，N是点的总个数；

平面法向n＝(n_x,n_y,n_z)^T从矩阵A最小特征值对应的特征向量中得到，其中A是为方便计算自定义的矩阵，且有：

$A=\left(\begin{array}{ccc}{\Σ}_{i=0}^N{w}_i{x}_i^2& {\Σ}_{i=0}^N{w}_i{x}_i{y}_i& {\Σ}_{i=0}^N{w}_i{x}_i{z}_i\\ {\Σ}_{i=0}^N{w}_i{x}_i{y}_i& {\Σ}_{i=0}^N{w}_i{y}_i^2& {\Σ}_{i=0}^N{w}_i{y}_i{z}_i\\ {\Σ}_{i=0}^N{w}_i{x}_i{z}_i& {\Σ}_{i=0}^N{w}_i{y}_i{z}_i& {\Σ}_{i=0}^N{w}_i{z}_i^2\end{array}\right)$

其中x_i,y_i,z_i分别是点平面上的第i个点p_i在X轴、Y轴、Z轴上的坐标，w_i是权重，N是点的总个数。

10.根据权利要求5所述的一种基于单个深度视觉传感器的室内场景三维重建方法，其特征在于，所述步骤5.3的具体步骤包括：

(1)在将原始数据转换成xy平面上的点 $P^t=\{p_i^t={\left(x_i^t,y_i^t,z_i^t\right)}^T|i=1,2,...,N\}$ 后，根据协方差矩阵使用平面公式为Z＝aX+bY+d′，将点云中的3D点拟合成一个平面，其中是经过数据转换后第i个点分别在X轴、Y轴、Z轴上的坐标，N是点的总个数，是第i个点对应的协方差矩阵，a，b，d′是平面公式的系数，X，Y，Z分别是平面上的点的坐标；

将平面法向定义为：

(n_x,n_y,n_z)＝(0,0,1)^T；

回归方程为：

$T(b_0,b_1,b_2)={\mathrm{\Σ}}_{i=0}^N{w}_i{(z_i^t+b_0+b_1{x}_i^t+b_2{y}_i^t)}^2;$

其中：T(b₀,b₁,b₂)代表回归方程函数，是平面上的点分别在X轴、Y轴、Z轴上的坐标，n_x,n_y,n_z分别是平面在X轴、Y轴、Z轴方向上的法矢量，d′是平面方程的参数，w_i是权重，N是点的总个数，b₀,b₁,b₂是为了方便计算定义的变量，且b_o＝(-d′)/n_z,b₁＝n_x/n_z,b₂＝n_y/n_z；

(2)分别对b₀,b₁,b₂进行局部求导，得到最佳拟合平面的参数

$\left(\begin{array}{c}{b}_0\\ b_1\\ b_2\end{array}\right)=A^{\′-1}\left(\begin{array}{c}-{\Σ}_{i=0}^N{w}_i{z}_i^t\\ -{\Σ}_{i=0}^N{w}_i{x}_i^t{z}_i^t\\ -{\Σ}_{i=0}^N{w}_i{y}_i^t{z}_i^t\end{array}\right)$

$A^{\′}=\left(\begin{array}{ccc}{\Σ}_{i=0}^N{w}_{i}1& {\Σ}_{i=0}^N{w}_i{x}_i^t& {\Σ}_{i=0}^N{w}_i{y}_i^t\\ {\Σ}_{i=0}^N{w}_i{x}_i^t& {\Σ}_{i=0}^N{w}_i{\left(x_i^t\right)}^2& {\Σ}_{i=0}^N{w}_i{x}_i^t{y}_i^t\\ {\Σ}_{i=0}^N{w}_i{y}_i^t& {\Σ}_{i=0}^N{w}_i{x}_i^t{y}_i^t& {\Σ}_{i=0}^N{w}_i{\left(y_i^t\right)}^2\end{array}\right)$

其中，A′是为方便计算自定义的矩阵，是平面上的点分别在X轴、Y轴、Z轴上的坐标，w_i是权重，N是点的总个数，b₀,b₁,b₂是为了方便计算自定义的变量，且b_o＝(-d′)/n_z,b₁＝n_x/n_z,b₂＝n_y/n_z；

参数向量b′＝(b₀,b₁,b₂)的协方差矩阵为：

$F=\left(\begin{array}{ccc}1& 0& 0\\ 0& \frac{1}{1+{b_1}^2}& 0\\ 0& 0& \frac{1}{1+{b_2}^2}\end{array}\right)$

其中，C_plane是参数向量b′＝(b₀,b₁,b₂)的协方差矩阵，是协方差矩阵，F是为方便计算定义的矩阵，b₀,b₁,b₂是为了方便计算自定义的变量，且b_o＝(-d′)/n_z,b₁＝n_x/n_z,b₂＝n_y/n_z；

(3)得到平面参数的最终结果为：

(z,θ,ψ)^T＝(arctanb₀,arctanb₁,arctanb₂)^T

其中，b₀,b₁,b₂是为了方便计算自定义的变量，且b_o＝(-d′)/n_z,b₁＝n_x/n_z,b₂＝n_y/n_z，z是沿z轴的平移量，θ是绕x轴旋转的角度，ψ是绕y轴旋转的角度；n_x,n_y,n_z分别是平面在X轴、Y轴、Z轴方向上的法矢量，d′是平面方程的参数。