CN106595595B - 一种基于深度传感器的室内机器人定向方法 - Google Patents
一种基于深度传感器的室内机器人定向方法 Download PDFInfo
- Publication number
- CN106595595B CN106595595B CN201611118274.6A CN201611118274A CN106595595B CN 106595595 B CN106595595 B CN 106595595B CN 201611118274 A CN201611118274 A CN 201611118274A CN 106595595 B CN106595595 B CN 106595595B
- Authority
- CN
- China
- Prior art keywords
- image
- plane
- rgb
- robot
- depth transducer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
- G01C11/04—Interpretation of pictures
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Image Processing (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
一种基于深度传感器的室内机器人定向方法,利用安装在机器人上的深度传感器获取室内空间的单幅三维图像,通过机器人与计算机的连接将图像输入计算机,对输入图像中的每个像素点进行计算,得到对应的三维坐标,将同一平面下的像素点归结到一起,对每一个平面建立其对于其他平面的姿态关系,找出室内空间直角坐标系所对应的平面,将得到的两个平面法向量叉乘就得到了第三个向量,这三个向量就是室内空间的直角坐标系方向向量,通过这三个法向量来确定机器人在室内空间中的方向。本发明提供的室内定向克服了现有室内定向方法的准确性低、需要预处理的问题,具有较为简便、实用、测定精度高、鲁棒性好等特点。
Description
技术领域
本发明涉及计算机视觉的三维重建、三维识别、视觉导航等领域,特别涉及单幅室内RGB-D图像的定向方法。
背景技术
三维室内图像可广泛应用于三维重建、三维识别、人形机器人的视觉导航,以及游戏开发制作中的动作数据捕捉和医学研究、康复医疗中的步态分析等诸多领域。三维室内图像的定向是确定RGB-D图像中室内空间的直角坐标系方向,是确定机器人在室内方向的重要步骤。
近些年来,人们不断尝试各种方法利用RGB-D图像来获取三维空间信息。利用地面作为参考面(C.J.Taylor and A.Cowley.Parsing Indoor Scenes Using RGB-DImagery.In Robotics:Science and Systems,2012.)的方法是早期具有代表性的方法。这种方法使用的前提是室内RGB-D图像中的地面是可见的,地面在RGB-D图像的成像面积要比其他相似姿态的平面面积大,并且要求相机与地面的夹角要在一定范围内,因此这种方法使用的限制条件比较苛刻,适用范围比较窄,精度也不是很高,容易将地面法向量的误差累计到其他两个方向的计算当中。之后,一种基于曼哈顿框架混合假设的方法被提出来(J.Straub,G.Rosman,O.Freifeld,J.J.Leonard,and J.W.Fisher.A Mixture ofManhattan frames:Beyond the Manhattan World.In Proceedings of IEEE Conferenceon Computer Vision and Pattern Recognition,pages 3770–3777,2014.)。这种方法基于曼哈顿框架混合模型,提出了一种估计所有曼哈顿顿框架的方法。这种方法放宽了使用的条件,但是在精度上仍然存在较大的误差。利用矩阵的稀疏性来确定室内RGB-D方向的方法(B.Ghanem,A.Thabet and J.C.Niebles.Robust Manhattan Frame Estimation from aSingle RGB-D image.In Proc.CVPR,2015.)是近两年新提出的一种精确度较高的方法。这种方法利用矩阵的稀疏性来计算图像坐标系与世界坐标系的旋转矩阵,旋转矩阵中的三个向量就是三个主导方向的单位向量。然而这种方法需要提前计算图像中每个点的法向量,计算法向量的过程将花费大量时间,导致整体的运行速度比较慢。
发明内容
为克服现有技术的不足,提供一种较为准确、实用、快速并且具有鲁棒性的应用于基于深度传感器的室内机器人定向的方法,本发明采用的技术方案为:
一种基于深度传感器的室内机器人定向方法,该方法包括步骤:
S1从机器人的深度传感器获取室内三维图像即RGB-D图像;
S2将拍摄的室内RGB-D图像通过相关接口输入至计算机中;
S3通过计算机确定RGB-D图像中的姿态关系。对输入的RGB-D图像中的每个像素点进行计算,得到对应的三维坐标,将同一平面下的像素点归结到一起,对每一个平面建立其对于其他平面的姿态关系,找出室内空间直角坐标系所对应的平面。
S4通过求取S3所得平面的单位法向量来确定机器人在室内空间中的方向。
本发明提供的室内定向方法不需要多幅图像信息,只使用单幅室内图像原始数据,也不需要逐点计算法向等对数据预处理,克服了现有室内定向方法的准确性低、需要预处理的缺点,具有较为简便、实用、测定精度高、鲁棒性好等特点,使基于深度传感器的室内机器人在定向效率和精度上有较大地提高。
附图说明
图1是基于深度传感器的机器人拍摄室内空间RGB-D图像示意图;
图2是定向方法的流程图;
图3是机器人定向的示意图;
具体实施方式
下面结合附图对本发明的具体实施做进一步说明:
S1拍摄图像
室内RGB-D图像需要从机器人的深度传感器获取,图1给出了基于深度传感器的机器人拍摄室内空间RGB-D图像的示意图,图中右侧区域是机器人所在的室内空间,左侧是机器人模型,机器人上部装配有一个深度传感器,用来拍摄室内空间的RGB-D图像。
S2输入图像
将拍摄的室内RGB-D图像通过相关接口输入计算机中。通过机器人与计算机的连接器传输图像,直接传输传感器的原始数据。
S3确定姿态关系
从传感器得到RGB-D图像信息后,需要确定RGB-D图像所对应的室内空间的直角坐标系。室内空间的直角坐标系由墙角的方向确定,也就是墙面与地面的夹角,因此只要确定墙面与地面并求出它们的法向量就能够确定室内直角坐标系的方向。若确定墙面与地面,就要确定RGB-D图像中各个平面的姿态关系,确定姿态关系的过程包括以下步骤:
1)根据得到的RGB-D图像,对彩色图像进行德劳内三角剖分,再根据颜色RGB值将三角剖分的结果进行合并,将其融合成平面。然后,结合深度图像信息将图像中的同一平面的像素点归结到同一个集合,每个集合代表一个平面。
2)计算每个集合中所包含像素点在深度传感器坐标系下的三维坐标,并按照如下公式对三维坐标进行变换:
nxX+nyY+nzZ=c (1)
其中,公式(1)是平面方程的一般表达式,公式(2)是对公式(1)的变换,nx,ny,nz,c分别是平面方程中的四个系数,X、Y、Z分别表示X方向、Y方向、Z方向的坐标值。X方向与Y方向就是深度传感器的水平与垂直方向,Z方向是深度传感器测量的深度方向。得到每个集合中所包含像素点在深度传感器坐标系下的三维坐标后,利用最小二乘方法拟合出该集合所代表的平面的法向量。
3)对于每一个平面计算其与其他某一平面的夹角θij,并计算S(Pi)sin2θij的值来表示该平面对于另一平面的姿态关系,其中S(Pi)表示第i个平面Pi的面积。按照如下公式累加计算该值表示该平面与其他所有平面的姿态关系:
利用公式(3)的计算结果,找出累加和最小的且相互垂直的两个平面,并计算它们的平面法向量v1、v2。
4)将步骤3)得到的两个平面法向量v1、v2叉乘就得到了第三个向量v3,这三个向量就是室内空间的直角坐标系的三个坐标轴在深度传感器坐标系下的方向向量v1,v2,v3。
S4通过求取S3所得平面的单位法向量来确定机器人在室内空间中的方向。
通过步骤3)的姿态关系确定,得到了室内空间直角坐标系的单位法向量v1、v2、v3,也就是找到了RGB-D图像中各像素点在图像坐标系下与在室内空间直角坐标系下的转换关系,依此判断机器人深度传感器正面朝向的方向与地面和墙面的方向关系。如图3所示,计算深度传感器正面朝向的方向与图3上半部分的墙面(即法向量为v2,方向与v1平行的墙面)的夹角P的大小,按照如下公式进行计算:
∠P=arcos([1 0 0]·v1) (4)
同理计算出深度传感器正面朝向方向与右侧墙面即与v2平行的墙面的夹角,还算出深度传感器正面朝向方向与地面即与v3平行的地面的夹角,这样就完成了机器人在室内空间的定向。
Claims (2)
1.一种基于深度传感器的室内机器人定向方法,其特征在于:该方法包括步骤:
S1 从机器人的深度传感器获取室内三维图像即RGB-D图像;
S2 将拍摄的室内RGB-D图像通过相关接口输入至计算机中;
S3 通过计算机确定RGB-D图像中的姿态关系;对输入的RGB-D图像中的每个像素点进行计算,得到对应的三维坐标,将同一平面下的像素点归结到一起,对每一个平面建立其对于其他平面的姿态关系,找出室内空间直角坐标系所对应的平面;
S4 通过求取S3所得平面的单位法向量来确定机器人在室内空间中的方向。
2.根据权利要求1所述的一种基于深度传感器的室内机器人定向方法,其特征在于:
S1 拍摄图像
室内RGB-D图像需要从机器人的深度传感器获取,机器人上部装配有一个深度传感器,用来拍摄室内空间的RGB-D图像;
S2 输入图像
将拍摄的室内RGB-D图像通过相关接口输入计算机中;通过机器人与计算机的连接器传输图像,直接传输传感器的原始数据;
S3 确定姿态关系
从传感器得到RGB-D图像信息后,需要确定RGB-D图像所对应的室内空间的直角坐标系;室内空间的直角坐标系由墙角的方向确定,也就是墙面与地面的夹角,因此只要确定墙面与地面并求出它们的法向量就能够确定室内直角坐标系的方向;若确定墙面与地面,就要确定RGB-D图像中各个平面的姿态关系,确定姿态关系的过程包括以下步骤:
1)根据得到的RGB-D图像,对彩色图像进行德劳内三角剖分,再根据颜色RGB值将三角剖分的结果进行合并,将其融合成平面;然后,结合深度图像信息将图像中的同一平面的像素点归结到同一个集合,每个集合代表一个平面;
2)计算每个集合中所包含像素点在深度传感器坐标系下的三维坐标,并按照如下公式对三维坐标进行变换:
nxX+nyY+nzZ=c (1)
其中,公式(1)是平面方程的一般表达式,公式(2)是对公式(1)的变换,nx,ny,nz,c分别是平面方程中的四个系数,X、Y、Z分别表示X方向、Y方向、Z方向的坐标值;X方向与Y方向就是深度传感器的水平与垂直方向,Z方向是深度传感器测量的深度方向;得到每个集合中所包含像素点在深度传感器坐标系下的三维坐标后,利用最小二乘方法拟合出该集合所代表的平面的法向量;
3)对于每一个平面计算其与其他某一平面的夹角θij,并计算S(Pi)sin2θij的值来表示该平面对于另一平面的姿态关系,其中S(Pi)表示第i个平面Pi的面积;按照如下公式累加计算S(Pi)sin2θij的值表示该平面与其他所有平面的姿态关系:
利用公式(3)的计算结果,找出累加和最小的且相互垂直的两个平面,并计算它们的平面法向量v1、v2;
4)将步骤3)得到的两个平面法向量v1、v2叉乘就得到了第三个向量v3,这三个向量就是室内空间的直角坐标系的三个坐标轴在深度传感器坐标系下的方向向量v1,v2,v3;
S4 通过求取S3所得平面的单位法向量来确定机器人在室内空间中的方向;
通过步骤3)的姿态关系确定,得到了室内空间直角坐标系的单位法向量v1、v2、v3,也就是找到了RGB-D图像中各像素点在图像坐标系下与在室内空间直角坐标系下的转换关系,依此判断机器人深度传感器正面朝向的方向与地面和墙面的方向关系;如图3所示,计算深度传感器正面朝向的方向与图3上半部分的墙面(即法向量为v2,方向与v1平行的墙面)的夹角P的大小,按照如下公式进行计算:
∠P=arcos([1 0 0]·v1) (4)
同理计算出深度传感器正面朝向方向与右侧墙面即与v2平行的墙面的夹角,还算出深度传感器正面朝向方向与地面即与v3平行的地面的夹角,这样就完成了机器人在室内空间的定向。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201611118274.6A CN106595595B (zh) | 2016-12-07 | 2016-12-07 | 一种基于深度传感器的室内机器人定向方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201611118274.6A CN106595595B (zh) | 2016-12-07 | 2016-12-07 | 一种基于深度传感器的室内机器人定向方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106595595A CN106595595A (zh) | 2017-04-26 |
CN106595595B true CN106595595B (zh) | 2019-06-14 |
Family
ID=58597372
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201611118274.6A Active CN106595595B (zh) | 2016-12-07 | 2016-12-07 | 一种基于深度传感器的室内机器人定向方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106595595B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108955718B (zh) * | 2018-04-10 | 2022-08-09 | 中国科学院深圳先进技术研究院 | 一种视觉里程计及其定位方法、机器人以及存储介质 |
CN108710845A (zh) * | 2018-05-11 | 2018-10-26 | 北京旷视科技有限公司 | 目标对象与物品的关联方法、装置及系统 |
CN109737874B (zh) * | 2019-01-17 | 2021-12-03 | 广东省智能制造研究所 | 基于三维视觉技术的物体尺寸测量方法及装置 |
CN113917917B (zh) * | 2021-09-24 | 2023-09-15 | 四川启睿克科技有限公司 | 室内仿生多足机器人避障方法、装置及计算机可读介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104517289A (zh) * | 2014-12-12 | 2015-04-15 | 浙江大学 | 一种基于混合摄像机的室内场景定位方法 |
CN105955273A (zh) * | 2016-05-25 | 2016-09-21 | 速感科技(北京)有限公司 | 室内机器人导航系统及方法 |
CN105976375A (zh) * | 2016-05-06 | 2016-09-28 | 苏州中德睿博智能科技有限公司 | 一种基于rgb-d类传感器的托盘识别和定位方法 |
-
2016
- 2016-12-07 CN CN201611118274.6A patent/CN106595595B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104517289A (zh) * | 2014-12-12 | 2015-04-15 | 浙江大学 | 一种基于混合摄像机的室内场景定位方法 |
CN105976375A (zh) * | 2016-05-06 | 2016-09-28 | 苏州中德睿博智能科技有限公司 | 一种基于rgb-d类传感器的托盘识别和定位方法 |
CN105955273A (zh) * | 2016-05-25 | 2016-09-21 | 速感科技(北京)有限公司 | 室内机器人导航系统及方法 |
Also Published As
Publication number | Publication date |
---|---|
CN106595595A (zh) | 2017-04-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106595595B (zh) | 一种基于深度传感器的室内机器人定向方法 | |
Naroditsky et al. | Two efficient solutions for visual odometry using directional correspondence | |
CN106204574B (zh) | 基于目标平面运动特征的相机位姿自标定方法 | |
Saurer et al. | Homography based visual odometry with known vertical direction and weak manhattan world assumption | |
CN107358629B (zh) | 一种基于目标识别的室内建图与定位方法 | |
CN103900583A (zh) | 用于即时定位与地图构建的设备和方法 | |
Chatterjee et al. | Algorithms for coplanar camera calibration | |
Wang et al. | Single view metrology from scene constraints | |
CN107871327A (zh) | 基于特征点线的单目相机位姿估计和优化方法及系统 | |
CN110992487B (zh) | 手持式飞机油箱快速三维地图重建装置及重建方法 | |
CN102075736B (zh) | 一种用于高清智能网络摄像机的摄像头标定方法 | |
CN110363800A (zh) | 一种基于点集数据与特征信息相融合的精确刚体配准方法 | |
Li et al. | 3D triangulation based extrinsic calibration between a stereo vision system and a LIDAR | |
CN109870106A (zh) | 一种基于无人机图片的建筑物体积测量方法 | |
CN106125907A (zh) | 一种基于线框模型的三维目标注册定位方法 | |
CN111882602A (zh) | 基于orb特征点和gms匹配过滤器的视觉里程计实现方法 | |
CN109977827A (zh) | 一种使用多视图匹配方法的多人三维姿态估计方法 | |
Wei et al. | Structural regularity aided visual-inertial odometry with novel coordinate alignment and line triangulation | |
Yamauchi et al. | Calibration of a structured light system by observing planar object from unknown viewpoints | |
CN105719290A (zh) | 一种使用时域视觉传感器的双目立体深度匹配方法 | |
CN111429571B (zh) | 一种基于时空图像信息联合相关的快速立体匹配方法 | |
Guillemaut et al. | Using points at infinity for parameter decoupling in camera calibration | |
CN111145267A (zh) | 基于imu辅助的360度全景视图多相机标定方法 | |
CN109712200A (zh) | 一种基于最小二乘原理及边长推算的双目定位方法及系统 | |
CN101777182B (zh) | 坐标循环逼进式正交摄像机系统视频定位方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |