CN111508067A - 一种基于垂直平面和垂直线的轻量级室内建模方法 - Google Patents

Abstract

本发明公开了一种基于垂直平面和垂直线的轻量级室内建模方法，包括以下步骤：A、提取场景中的垂直平面，通过区域分割和地理配准建立场景的基于平面的模型，并使用合并优化算法对模型进行优化，以获得具有场景信息的完整的基于平面的模型；B、建立空间垂直线模型，利用摄像机的姿态角对图像进行校正，并在滤波处理后提取出空间垂直线；同名直线通过DTW算法进行匹配，并通过卡尔曼滤波器进行跟踪；基于平面模型计算垂直线在空间中的位置，然后建立基于线的模型；C、生成由垂直平面和线组成的混合模型。本发明能够解决现有技术的不足，降低了所需设备成本和时间复杂度。

Description

一种基于垂直平面和垂直线的轻量级室内建模方法

技术领域

本发明属于室内定位导航技术领域，具体是一种基于垂直平面和垂直线的轻量级室内建模方法。

背景技术

近年来，室内定位和机器人导航由于其广泛的应用价值而成为热门话题，精确导航定位的前提是建立准确的室内空间模型。在室内空间建模领域，基于图像的建模方法比图形建模更有效，可以满足具有丰富纹理信息的大型场景的需求。如今，图像传感器比其他传感器(如激光传感器和超声传感器)更为普遍，这使得基于图像的建模方法被智能系统广泛采用。点云是一种常见的模型，但是它具有很大的存储容量，并且受内存限制的影响，因此不能在大型场景中使用。室内场景的大多数区域缺少足够的纹理，因此，如果没有足够的点要素，则很难建立模型。一种替代解决方案是使用轻型线条和曲面特征来构建模型，但是大多数算法都需要昂贵的设备(例如雷达和深度摄像头)，并且时间复杂度很高。由于上述原因使得这些方法难以实施。

发明内容

本发明要解决的技术问题是提供一种基于垂直平面和垂直线的轻量级室内建模方法，能够解决现有技术的不足，降低了所需设备成本和时间复杂度。

本发明的内容包括以下步骤，

A、提取场景中的垂直平面，通过区域分割和地理配准建立场景的基于平面的模型，并使用合并优化算法对模型进行优化，以获得具有场景信息的完整的基于平面的模型；

B、建立空间垂直线模型，利用摄像机的姿态角对图像进行校正，并在滤波处理后提取出空间垂直线；同名直线通过DTW算法进行匹配，并通过卡尔曼滤波器进行跟踪；基于平面模型计算垂直线在空间中的位置，然后建立基于线的模型；

C、生成由垂直平面和线组成的混合模型。

作为优选，步骤A中，区域分割和地理配准包括以下步骤，

A11、将大场景分为多个局部场景，分别在每个局部场景中检测和投影平面，并创建单个区域的模型；在每个局部场景中记录两个标记点，并在局部场景中的世界坐标系Ow中记录它们的坐标；

A12、计算局部模型与局部场景之间的变换矩阵，得到局部场景之间的相对位置关系。最后将多个局部平面模型校准为全局平面模型。

作为优选，步骤A中，对模型进行优化包括以下步骤，

A21、设所有垂直平面仅以指定的角度数出现，并将这些角度定义为参考方向；平面模型中不满足这些角度的线段围绕中心点旋转到最近的参考方向，并且如果它与所有参考方向相差超过阈值，则将其丢弃；

A22、在满足以下三种任意一种条件时，对相邻线段进行合并，直到基于平面的模型中的所有线段都不满足合并条件；

(1)、线段状态为

|θ_i-θ_i|≤θ_MAX

合并条件为

(2)、线段状态为

合并条件为|θ_i-θ_j|≤θ_MAX；

(3)、线段状态为

合并条件为|θ_i-θ_j|≤θ_MAX；

其中，a、b、c、d为线段在X_G轴轴上的端点，

是与之对应的正交投影点，

是X_G轴上允许合并的最大距离，

和

代表Y_G轴上线段正交投影端点相距最远的两个点，

是Y_G轴上允许合并的最大距离，θ_MAX表示允许合并最大方向差。

作为优选，步骤B中，空间垂直线的提取包括以下步骤，

B11、使用单应矩阵H将图像校正为垂直状态，并对校正后的图像使用Sobel算子进行边缘滤波；

B12、利用滤波后的图像直方图得到图像坐标系中空间垂直线的坐标为u_ver，将校正后的图像的中心点O的位置计算为(u_calib，v_calib)，垂直线与相机中心和平面组成的平面之间的夹角Y_WO_WZ_W为，

B13、计算垂直线在空间中的位置。

作为优选，步骤B中，通过DTW算法进行同名直线匹配包括以下步骤，

B21、将滤波后的图像的直方图作为一个序列，两个相邻的图像可以得到两个序列Q和C，前一个图像序列作为模板序列，后一个图像序列作为要匹配的序列，长度分别是n和m，

Q＝{q₁，q₂，…q_i，…q_n}

C＝{c₁，c₂，…c_j，…c_m}；

B22、构造一个n×m矩阵d，每个矩阵元素(i，j)表示点q_i和点c_j相对应，表示为d(i，j)，曲路径W为Q和C之间的关系的连续矩阵，其中第k个元素是ω_k＝(i，j)，表示第i个元素对应于第j个元素，从而

W＝{ω₁，ω₂，…ω_k，…，ω_K}max(m，n)≤K≤m+n-1，

累积距离D(i，j)为当前对应点距离d(i，j)与先前累积距离之和的最小值，

计算n×m矩阵的所有元素，求解路径W，确定相邻图像的垂直线之间的对应关系；

B23、增加变形路径的整体约束使两个图像序列的匹配更加鲁棒；

边界约束：满足ω₁＝(1，1)和ω_K＝(n，m)，

单调性约束：取路径第e个元素ω_e＝(i_e，j_e)和第f个元素ω_f＝(i_f，j_f)，如果e＜f，那么有i_e＜i_f和j_e＞j_f，

扭曲窗口：|i-j|≤r，r为为窗口长度，

斜率约束：有效强度为P＝n/m。

作为优选，步骤B23中，扭曲窗口长度r设置为300，设置混合斜率约束，D(i，j)的计算公式为，

作为优选，步骤B中，垂直线跟踪包括以下步骤，

B31、输入第k帧图像，垂直线的状态为，

X(k)＝[X¹(k) X²(k) … Xⁱ(k) …]

I表示跟踪的第i条垂直线，Xⁱ(k)是第i条垂直线的状态变量，因为空间的空间位置不变，所以状态方程为，

Xⁱ(k)＝Xⁱ(k-1)and

x_k和y_k表示垂直线在空间中的位置，观测方程为，

Zⁱ(k)＝E₂Xⁱ(k)+V(k)，

k表示第k帧图像，然后计算卡尔曼增益K_k并更新状态；

B32、在跟踪过程中，将满足条件的新垂直线添加到跟踪序列，并使用第一个计算出的值初始化卡尔曼滤波器，并对其进行跟踪直到垂直线消失。

本发明的有益效果是：本发明的主要创新是在人造环境中提取对于室内定位至关重要的垂直平面和垂直线，可以降低室内空间模型的复杂性，构造垂直平面模型中使用的区域分割和地理配准方法可有效消除建模中的累积误差。基于相机姿态的图像校正可以简单，快速地提取线条。基于平面的模型和基于线的模型具有少量数据，每个模型都有合适的场景并且可以相互补充，能够建立轻量级模型，数据量小，弥补环境缺少特征的不足。利用DTW算法进行同名直线的匹配，设计了具有良好匹配效果的新约束，不同于图像特征提取匹配方法，本发明算法简单，时间代价小，并且利用图像的整体信息使其在图像缺乏特征点时可以正常工作。

附图说明

图1为本发明的建模框架图。

图2为本发明卡尔曼滤波跟踪的流程图。

图3为本发明具体实施方式中的实验场景图。

图4为本发明具体实施方式中垂直平面模型建立过程无任务修正的结果图。

图5为本发明具体实施方式中垂直平面模型建立过程使用区域分割和地理配准的结果图。

图6为本发明具体实施方式中垂直平面模型建立过程使用区域分割和地理配准的结果角度校正前后的结果对比图。

图7为本发明具体实施方式中垂直平面模型建立过程迭代融合优化后的结果。

图8为本发明具体实施方式中扭曲路径中的约束示意图。

图9为本发明具体实施方式中使用传统的斜率约束P＝0产生的第一个错误匹配结果。

图10为本发明具体实施方式中使用传统的斜率约束P＝0产生的第二个错误匹配结果。

图11为本发明具体实施方式中混合斜率约束P＝0和P＝1/2产生的第一个正确匹配结果。

图12为本发明具体实施方式中混合斜率约束P＝0和P＝1/2产生的第二个正确匹配结果。

图13为垂直平面和直线混合模型建模过程的示意图。

图14为垂直平面和线的混合模型示意图。

具体实施方式

参照图1-2，本发明包括以下步骤，

A、提取场景中的垂直平面，通过区域分割和地理配准建立场景的基于平面的模型，并使用合并优化算法对模型进行优化，以获得具有场景信息的完整的基于平面的模型；

B、建立空间垂直线模型，利用摄像机的姿态角对图像进行校正，并在滤波处理后提取出空间垂直线；同名直线通过DTW算法进行匹配，并通过卡尔曼滤波器进行跟踪；基于平面模型计算垂直线在空间中的位置，然后建立基于线的模型；

C、生成由垂直平面和线组成的混合模型。

步骤A中，区域分割和地理配准包括以下步骤，

A11、将大场景分为多个局部场景，分别在每个局部场景中检测和投影平面，并创建单个区域的模型；在每个局部场景中记录两个标记点，并在局部场景中的世界坐标系Ow中记录它们的坐标；

A12、计算局部模型与局部场景之间的变换矩阵，得到局部场景之间的相对位置关系。最后将多个局部平面模型校准为全局平面模型。

步骤A中，对模型进行优化包括以下步骤，

A21、设所有垂直平面仅以指定的角度数出现，并将这些角度定义为参考方向；平面模型中不满足这些角度的线段围绕中心点旋转到最近的参考方向，并且如果它与所有参考方向相差超过阈值，则将其丢弃；

A22、在满足以下三种任意一种条件时，对相邻线段进行合并，直到基于平面的模型中的所有线段都不满足合并条件；

(1)、线段状态为

|θ_i-θ_j|≤θ_MAX

合并条件为

(2)、线段状态为

合并条件为|θ_i-θ_j|≤θ_MAX；

(3)、线段状态为

合并条件为|θ_i-θj|≤θ_MAX；

其中，a、b、c、d为线段在X_G轴轴上的端点，

是与之对应的正交投影点，

是X_G轴上允许合并的最大距离，

和

代表Y_G轴上线段正交投影端点相距最远的两个点，

是Y_G轴上允许合并的最大距离，θ_MAX表示允许合并最大方向差。

步骤B中，空间垂直线的提取包括以下步骤，

B11、使用单应矩阵H将图像校正为垂直状态，并对校正后的图像使用Sobel算子进行边缘滤波；

B12、利用滤波后的图像直方图得到图像坐标系中空间垂直线的坐标为u_ver，将校正后的图像的中心点O的位置计算为(u_calib，v_calib)，垂直线与相机中心和平面组成的平面之间的夹角Y_WO_WZ_W为，

B13、计算垂直线在空间中的位置。

步骤B中，通过DTW算法进行同名直线匹配包括以下步骤，

B21、将滤波后的图像的直方图作为一个序列，两个相邻的图像可以得到两个序列Q和C，前一个图像序列作为模板序列，后一个图像序列作为要匹配的序列，长度分别是n和m，

Q＝{q₁，q₂，…q_i，…q_n}

C＝{c₁，c₂，…c_j，…c_m}；

B22、构造一个n×m矩阵d，每个矩阵元素(i，j)表示点q_i和点c_j相对应，表示为d(i，j)，曲路径W为Q和C之间的关系的连续矩阵，其中第k个元素是ω_k＝(i，j)，表示第i个元素对应于第j个元素，从而

W＝{ω₁，ω₂，…ω_k，…，ω_K}max(m，n)≤K≤m+n-1，

累积距离D(i，j)为当前对应点距离d(i，j)与先前累积距离之和的最小值，

计算n×m矩阵的所有元素，求解路径W，确定相邻图像的垂直线之间的对应关系；

B23、增加变形路径的整体约束使两个图像序列的匹配更加鲁棒；

边界约束：满足ω₁＝(1，1)和ω_K＝(n，m)，

单调性约束：取路径第e个元素ω_e＝(i_e，j_e)和第f个元素ω_f＝(i_f，j_f)，如果e＜f，那么有i_e＜i_f和j_e＜j_f，

扭曲窗口：|i-j|≤r，r为为窗口长度，

斜率约束：有效强度为P＝m/m。

步骤B中，垂直线跟踪包括以下步骤，

B31、输入第k帧图像，垂直线的状态为，

X(k)＝[X¹(k) X²(k) … Xⁱ(k) …]

I表示跟踪的第i条垂直线，Xⁱ(k)是第i条垂直线的状态变量，因为空间的空间位置不变，所以状态方程为，

Xⁱ(k)＝Xⁱ(k-1)and

x_k和y_k表示垂直线在空间中的位置，观测方程为，

Zⁱ(k)＝E₂Xⁱ(k)+V(k)，

k表示第k帧图像，然后计算卡尔曼增益K_k并更新状态；

B32、在跟踪过程中，将满足条件的新垂直线添加到跟踪序列，并使用第一个计算出的值初始化卡尔曼滤波器，并对其进行跟踪直到垂直线消失。

实验验证

本实验基于苹果公司的ARKit增强现实开发平台，该平台提供了平面检测功能来检测空间垂直和水平平面。首次检测到平面时，将生成一个平面锚来描述该平面。随着场景分析和平面检测的继续，ARKit可以确定先前检测到的平面是较大的真实表面的一部分，因此其范围宽度和长度值将相应更新。可以基于平面锚点的属性值来计算空间平面的最新位置和大小。以下实验是在支持ARKit作为捕获3D建模信息的移动设备的现成iPhone上实现的。在常见的室内环境中评估了由垂直平面和直线组成的混合建模方法。该区域为L型走廊，面积超过200平方米，如图3所示。

首先，整个场景分为12个局部区域。在每个局部区域中，分别检测垂直平面并将其投影到统一的2D地板平面上。通过使用区域分割和地理配准的策略，如图4-7所示，建立了一个基于全局平面的模型。与没有区域分割的直接方案相比，它可以有效地减少累积误差。我们优化方向校正模型的线段分割，设置了无重叠线段在X_G轴允许的最大距离

无重叠线段在Y_G轴允许的最大距离

部分重叠的线段允许的最大距离

完全重叠线段Y_G轴所允许的最大距离

和角度θ_MAX＝20°。

在垂直线提取中，将线的提取阈值设置为100，仅提取显着的线。扭曲窗口的长度设置为300，即r＝300，斜率约束设置为P＝0和P＝1/2，如图8所示。同名直线匹配后，通过卡尔曼滤波器跟踪线并管理垂直线。算法效果分析离线进行。

表1显示了与每个过程相对应的时间复杂度和性能。通过与基本事实进行比较来评估模型的质量。

表1

图4-7显示了基于平面的模型建模过程和结果，图6中，虚线为初始状态，实线为校正后的结果，图7中，实线表示处理结果，点横线表示地面真值。该模型直观地与实际场景空间布局一致。混合斜率约束匹配效果如图9-12所示，由于下一幅图像中新线的出现或消失，传统的斜率约束P＝0可能会错误地匹配，而我们的方法却可以正常工作(序列1是模板序列，序列2是待匹配的序列，图9和11由于出现的垂直线而导致错误匹配，而对应的图10和12是由于应用了改进策略，因此是正确匹配)。由于基于平面模型检测并定位了显着的垂直线，因此我们一起而不是分别评估混合模型，垂直平面和线混合模型如图13-14所示，图13中黑色密集点表示运动轨迹，黑线表示基于平面的模型，平面上的黑点表示检测到的垂直线，图14中黑色点横线是垂直平面的地面真值。平面的交点是垂直线的地面真值，显着的垂直线的平均误差为0.3m(还包括平面的误差)。将本发明的方法与现有的COLMAP方法进行比较，以基于点特征构建3D模型。表2比较了功能部件的数量和存储的数据量。可以得出结论，本发明的混合模型具有较小的数据量和较高的精度。

表2

Claims (7)

1.一种基于垂直平面和垂直线的轻量级室内建模方法，其特征在于包括以下步骤，

A、提取场景中的垂直平面，通过区域分割和地理配准建立场景的基于平面的模型，并使用合并优化算法对模型进行优化，以获得具有场景信息的完整的基于平面的模型；

B、建立空间垂直线模型，利用摄像机的姿态角对图像进行校正，并在滤波处理后提取出空间垂直线；同名直线通过DTW算法进行匹配，并通过卡尔曼滤波器进行跟踪；基于平面模型计算垂直线在空间中的位置，然后建立基于线的模型；

C、生成由垂直平面和线组成的混合模型。

2.如权利要求1所述的基于垂直平面和垂直线的轻量级室内建模方法，其特征在于：步骤A中，区域分割和地理配准包括以下步骤，

A11、将大场景分为多个局部场景，分别在每个局部场景中检测和投影平面，并创建单个区域的模型；在每个局部场景中记录两个标记点，并在局部场景中的世界坐标系Ow中记录它们的坐标；

A12、计算局部模型与局部场景之间的变换矩阵，得到局部场景之间的相对位置关系；最后将多个局部平面模型校准为全局平面模型。

3.如权利要求2所述的基于垂直平面和垂直线的轻量级室内建模方法，其特征在于：步骤A中，对模型进行优化包括以下步骤，

A21、设所有垂直平面仅以指定的角度数出现，并将这些角度定义为参考方向；平面模型中不满足这些角度的线段围绕中心点旋转到最近的参考方向，并且如果它与所有参考方向相差超过阈值，则将其丢弃；

A22、在满足以下三种任意一种条件时，对相邻线段进行合并，直到基于平面的模型中的所有线段都不满足合并条件；

(1)、线段状态为

合并条件为

(2)、线段状态为

合并条件为

(3)、线段状态为

合并条件为

其中，a、b、c、d为线段在X_G轴轴上的端点，

是与之对应的正交投影点，

是X_G轴上允许合并的最大距离，

和

代表Y_G轴上线段正交投影端点相距最远的两个点，

是Y_G轴上允许合并的最大距离，θ_MAX表示允许合并最大方向差。

4.如权利要求3所述的基于垂直平面和垂直线的轻量级室内建模方法，其特征在于：步骤B中，空间垂直线的提取包括以下步骤，

B11、使用单应矩阵H将图像校正为垂直状态，并对校正后的图像使用Sobel算子进行边缘滤波；

B12、利用滤波后的图像直方图得到图像坐标系中空间垂直线的坐标为u_ver，将校正后的图像的中心点O的位置计算为(u_calib，v_calib)，垂直线与相机中心和平面组成的平面之间的夹角Y_WO_WZ_W为，

B13、计算垂直线在空间中的位置。

5.如权利要求4所述的基于垂直平面和垂直线的轻量级室内建模方法，其特征在于：步骤B中，通过DTW算法进行同名直线匹配包括以下步骤，

B21、将滤波后的图像的直方图作为一个序列，两个相邻的图像可以得到两个序列Q和C，前一个图像序列作为模板序列，后一个图像序列作为要匹配的序列，长度分别是n和m，

Q＝{q₁，q₂，…q_i，…q_n}

C＝{c1，c₂，…c_j，…c_m}；

B22、构造一个n×m矩阵d，每个矩阵元素(i，j)表示点q_i和点c_j相对应，表示为d(i，j)，曲路径W为Q和C之间的关系的连续矩阵，其中第k个元素是ω_k＝(i，j)，表示第i个元素对应于第j个元素，从而

W＝{ω₁，ω₂，…ω_k，…，ω_K} max(m，n)≤K≤m+n-1，累积距离D(i，j)为当前对应点距离d(i，j)与先前累积距离之和的最小值，

计算n×m矩阵的所有元素，求解路径W，确定相邻图像的垂直线之间的对应关系；

B23、增加变形路径的整体约束使两个图像序列的匹配更加鲁棒；

边界约束:满足ω₁＝(1，1)和ω_K＝(n，m)，

单调性约束:取路径第e个元素ω_e＝(i_e，j_e)和第f个元素ω_f(i_f，j_f)，如果e＜f，那么有i_e＜i_f和j_e＜j_f，

扭曲窗口:|i-j|≤r，r为为窗口长度，

斜率约束：有效强度为P＝n/m。

6.如权利要求5所述的基于垂直平面和垂直线的轻量级室内建模方法，其特征在于：步骤B23中，扭曲窗口长度r设置为300，设置混合斜率约束，D(i，j)的计算公式为，

7.如权利要求6所述的基于垂直平面和垂直线的轻量级室内建模方法，其特征在于：步骤B中，垂直线跟踪包括以下步骤，

B31、输入第k帧图像，垂直线的状态为，

X(k)＝[X¹(k) X²(k) … Xⁱ(k) …]

I表示跟踪的第i条垂直线，Xⁱ(k)是第i条垂直线的状态变量，因为空间的空间位置不变，所以状态方程为，

x_k和y_k表示垂直线在空间中的位置，观测方程为，

Zⁱ(k)＝E₂Xⁱ(k)+V(k)，

k表示第k帧图像，然后计算卡尔曼增益K_k并更新状态；

B32、在跟踪过程中，将满足条件的新垂直线添加到跟踪序列，并使用第一个计算出的值初始化卡尔曼滤波器，并对其进行跟踪直到垂直线消失。

Images