CN106595595A - 一种基于深度传感器的室内机器人定向方法 - Google Patents

Abstract

一种基于深度传感器的室内机器人定向方法，利用安装在机器人上的深度传感器获取室内空间的单幅三维图像，通过机器人与计算机的连接将图像输入计算机，对输入图像中的每个像素点进行计算，得到对应的三维坐标，将同一平面下的像素点归结到一起，对每一个平面建立其对于其他平面的姿态关系，找出室内空间直角坐标系所对应的平面，将得到的两个平面法向量叉乘就得到了第三个向量，这三个向量就是室内空间的直角坐标系方向向量，通过这三个法向量来确定机器人在室内空间中的方向。本发明提供的室内定向克服了现有室内定向方法的准确性低、需要预处理的问题，具有较为简便、实用、测定精度高、鲁棒性好等特点。

Description

一种基于深度传感器的室内机器人定向方法

技术领域

本发明涉及计算机视觉的三维重建、三维识别、视觉导航等领域，特别涉及单幅室内RGB-D图像的定向方法。

背景技术

三维室内图像可广泛应用于三维重建、三维识别、人形机器人的视觉导航，以及游戏开发制作中的动作数据捕捉和医学研究、康复医疗中的步态分析等诸多领域。三维室内图像的定向是确定RGB-D图像中室内空间的直角坐标系方向，是确定机器人在室内方向的重要步骤。

近些年来，人们不断尝试各种方法利用RGB-D图像来获取三维空间信息。利用地面作为参考面(C.J.Taylor and A.Cowley.Parsing Indoor Scenes Using RGB-DImagery.In Robotics:Science and Systems,2012.)的方法是早期具有代表性的方法。这种方法使用的前提是室内RGB-D图像中的地面是可见的，地面在RGB-D图像的成像面积要比其他相似姿态的平面面积大，并且要求相机与地面的夹角要在一定范围内，因此这种方法使用的限制条件比较苛刻，适用范围比较窄，精度也不是很高，容易将地面法向量的误差累计到其他两个方向的计算当中。之后，一种基于曼哈顿框架混合假设的方法被提出来(J.Straub,G.Rosman,O.Freifeld,J.J.Leonard,and J.W.Fisher.A Mixture ofManhattan frames:Beyond the Manhattan World.In Proceedings of IEEE Conferenceon Computer Vision and Pattern Recognition,pages 3770–3777,2014.)。这种方法基于曼哈顿框架混合模型，提出了一种估计所有曼哈顿顿框架的方法。这种方法放宽了使用的条件，但是在精度上仍然存在较大的误差。利用矩阵的稀疏性来确定室内RGB-D方向的方法(B.Ghanem,A.Thabet and J.C.Niebles.Robust Manhattan Frame Estimation from aSingle RGB-D image.In Proc.CVPR,2015.)是近两年新提出的一种精确度较高的方法。这种方法利用矩阵的稀疏性来计算图像坐标系与世界坐标系的旋转矩阵，旋转矩阵中的三个向量就是三个主导方向的单位向量。然而这种方法需要提前计算图像中每个点的法向量，计算法向量的过程将花费大量时间，导致整体的运行速度比较慢。

发明内容

为克服现有技术的不足，提供一种较为准确、实用、快速并且具有鲁棒性的应用于基于深度传感器的室内机器人定向的方法，本发明采用的技术方案为：

一种基于深度传感器的室内机器人定向方法，该方法包括步骤：

S1从机器人的深度传感器获取室内三维图像即RGB-D图像；

S2将拍摄的室内RGB-D图像通过相关接口输入至计算机中；

S3通过计算机确定RGB-D图像中的姿态关系。对输入的RGB-D图像中的每个像素点进行计算，得到对应的三维坐标，将同一平面下的像素点归结到一起，对每一个平面建立其对于其他平面的姿态关系，找出室内空间直角坐标系所对应的平面。

S4通过求取S3所得平面的单位法向量来确定机器人在室内空间中的方向。

本发明提供的室内定向方法不需要多幅图像信息，只使用单幅室内图像原始数据，也不需要逐点计算法向等对数据预处理，克服了现有室内定向方法的准确性低、需要预处理的缺点，具有较为简便、实用、测定精度高、鲁棒性好等特点，使基于深度传感器的室内机器人在定向效率和精度上有较大地提高。

附图说明

图1是基于深度传感器的机器人拍摄室内空间RGB-D图像示意图；

图2是定向方法的流程图；

图3是机器人定向的示意图；

具体实施方式

下面结合附图对本发明的具体实施做进一步说明：

S1拍摄图像

室内RGB-D图像需要从机器人的深度传感器获取，图1给出了基于深度传感器的机器人拍摄室内空间RGB-D图像的示意图，图中右侧区域是机器人所在的室内空间，左侧是机器人模型，机器人上部装配有一个深度传感器，用来拍摄室内空间的RGB-D图像。

S2输入图像

将拍摄的室内RGB-D图像通过相关接口输入计算机中。通过机器人与计算机的连接器传输图像，直接传输传感器的原始数据。

S3确定姿态关系

从传感器得到RGB-D图像信息后，需要确定RGB-D图像所对应的室内空间的直角坐标系。室内空间的直角坐标系由墙角的方向确定，也就是墙面与地面的夹角，因此只要确定墙面与地面并求出它们的法向量就能够确定室内直角坐标系的方向。若确定墙面与地面，就要确定RGB-D图像中各个平面的姿态关系，确定姿态关系的过程包括以下步骤：

1)根据得到的RGB-D图像，对彩色图像进行德劳内三角剖分，再根据颜色RGB值将三角剖分的结果进行合并，将其融合成平面。然后，结合深度图像信息将图像中的同一平面的像素点归结到同一个集合，每个集合代表一个平面。

2)计算每个集合中所包含像素点在深度传感器坐标系下的三维坐标，并按照如下公式对三维坐标进行变换：

n_xX+n_yY+n_zZ＝c (1)

其中，公式(1)是平面方程的一般表达式，公式(2)是对公式(1)的变换，n_x，n_y，n_z，c分别是平面方程中的四个系数，X、Y、Z分别表示X方向、Y方向、Z方向的坐标值。X方向与Y方向就是深度传感器的水平与垂直方向，Z方向是深度传感器测量的深度方向。得到每个集合中所包含像素点在深度传感器坐标系下的三维坐标后，利用最小二乘方法拟合出该集合所代表的平面的法向量。

3)对于每一个平面计算其与其他某一平面的夹角θ_ij，并计算S(P_i)sin2θ_ij的值来表示该平面对于另一平面的姿态关系，其中S(P_i)表示第i个平面P_i的面积。按照如下公式累加计算该值表示该平面与其他所有平面的姿态关系：

利用公式(3)的计算结果，找出累加和最小的且相互垂直的两个平面，并计算它们的平面法向量v₁、v₂。

4)将步骤3)得到的两个平面法向量v₁、v₂叉乘就得到了第三个向量v₃，这三个向量就是室内空间的直角坐标系的三个坐标轴在深度传感器坐标系下的方向向量v₁，v₂，v₃。

S4通过求取S3所得平面的单位法向量来确定机器人在室内空间中的方向。

通过步骤3)的姿态关系确定，得到了室内空间直角坐标系的单位法向量v₁、v₂、v₃，也就是找到了RGB-D图像中各像素点在图像坐标系下与在室内空间直角坐标系下的转换关系，依此判断机器人深度传感器正面朝向的方向与地面和墙面的方向关系。如图3所示，计算深度传感器正面朝向的方向与图3上半部分的墙面(即法向量为v₂，方向与v₁平行的墙面)的夹角P的大小，按照如下公式进行计算：

∠P＝arcos([1 0 0]·v1) (4)

同理计算出深度传感器正面朝向方向与右侧墙面即与v₂平行的墙面的夹角，还算出深度传感器正面朝向方向与地面即与v₃平行的地面的夹角，这样就完成了机器人在室内空间的定向。

Claims (2)

1.一种基于深度传感器的室内机器人定向方法，其特征在于：该方法包括步骤：

S1从机器人的深度传感器获取室内三维图像即RGB-D图像；

S2将拍摄的室内RGB-D图像通过相关接口输入至计算机中；

S3通过计算机确定RGB-D图像中的姿态关系；对输入的RGB-D图像中的每个像素点进行计算，得到对应的三维坐标，将同一平面下的像素点归结到一起，对每一个平面建立其对于其他平面的姿态关系，找出室内空间直角坐标系所对应的平面；

S4通过求取S3所得平面的单位法向量来确定机器人在室内空间中的方向。

2.根据权利要求1所述的一种基于深度传感器的室内机器人定向方法，其特征在于：

S1拍摄图像

室内RGB-D图像需要从机器人的深度传感器获取，机器人上部装配有一个深度传感器，用来拍摄室内空间的RGB-D图像；

S2输入图像

将拍摄的室内RGB-D图像通过相关接口输入计算机中；通过机器人与计算机的连接器传输图像，直接传输传感器的原始数据；

S3确定姿态关系

从传感器得到RGB-D图像信息后，需要确定RGB-D图像所对应的室内空间的直角坐标系；室内空间的直角坐标系由墙角的方向确定，也就是墙面与地面的夹角，因此只要确定墙面与地面并求出它们的法向量就能够确定室内直角坐标系的方向；若确定墙面与地面，就要确定RGB-D图像中各个平面的姿态关系，确定姿态关系的过程包括以下步骤：

1)根据得到的RGB-D图像，对彩色图像进行德劳内三角剖分，再根据颜色RGB值将三角剖分的结果进行合并，将其融合成平面；然后，结合深度图像信息将图像中的同一平面的像素点归结到同一个集合，每个集合代表一个平面；

2)计算每个集合中所包含像素点在深度传感器坐标系下的三维坐标，并按照如下公式对三维坐标进行变换：

n_xX+n_yY+n_zZ＝c (1)

$n_x\frac{X}{Z}+n_y\frac{Y}{Z}+n_z=c\frac{1}{Z}---\left(2\right)$

其中，公式(1)是平面方程的一般表达式，公式(2)是对公式(1)的变换，n_x，n_y，n_z，c分别是平面方程中的四个系数，X、Y、Z分别表示X方向、Y方向、Z方向的坐标值；X方向与Y方向就是深度传感器的水平与垂直方向，Z方向是深度传感器测量的深度方向；得到每个集合中所包含像素点在深度传感器坐标系下的三维坐标后，利用最小二乘方法拟合出该集合所代表的平面的法向量；

3)对于每一个平面计算其与其他某一平面的夹角θ_ij，并计算S(P_i)sin2θ_ij的值来表示该平面对于另一平面的姿态关系，其中S(P_i)表示第i个平面P_i的面积；按照如下公式累加计算该值表示该平面与其他所有平面的姿态关系：

$OR\left(P_i\right)=\frac{1}{2}{\mathrm{\Σ}}_{j=1}^{n}S\left(P_i\right)sin2{\mathrm{\θ}}_{ij}---\left(3\right)$

利用公式(3)的计算结果，找出累加和最小的且相互垂直的两个平面，并计算它们的平面法向量v₁、v₂；

4)将步骤3)得到的两个平面法向量v₁、v₂叉乘就得到了第三个向量v₃，这三个向量就是室内空间的直角坐标系的三个坐标轴在深度传感器坐标系下的方向向量v₁，v₂，v₃；

S4通过求取S3所得平面的单位法向量来确定机器人在室内空间中的方向；

通过步骤3)的姿态关系确定，得到了室内空间直角坐标系的单位法向量v₁、v₂、v₃，也就是找到了RGB-D图像中各像素点在图像坐标系下与在室内空间直角坐标系下的转换关系，依此判断机器人深度传感器正面朝向的方向与地面和墙面的方向关系；如图3所示，计算深度传感器正面朝向的方向与图3上半部分的墙面(即法向量为v₂，方向与v₁平行的墙面)的夹角P的大小，按照如下公式进行计算：

∠P＝arcos([100]·v1) (4)

同理计算出深度传感器正面朝向方向与右侧墙面即与v₂平行的墙面的夹角，还算出深度传感器正面朝向方向与地面即与v₃平行的地面的夹角，这样就完成了机器人在室内空间的定向。