CN106403924B - 基于深度摄像头的机器人快速定位与姿态估计方法 - Google Patents
基于深度摄像头的机器人快速定位与姿态估计方法 Download PDFInfo
- Publication number
- CN106403924B CN106403924B CN201610716018.0A CN201610716018A CN106403924B CN 106403924 B CN106403924 B CN 106403924B CN 201610716018 A CN201610716018 A CN 201610716018A CN 106403924 B CN106403924 B CN 106403924B
- Authority
- CN
- China
- Prior art keywords
- robot
- depth camera
- depth
- image
- attitude estimation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 38
- 238000013519 translation Methods 0.000 claims abstract description 15
- 239000011159 matrix material Substances 0.000 claims abstract description 14
- 238000001514 detection method Methods 0.000 claims abstract description 9
- 230000008569 process Effects 0.000 claims abstract description 5
- 230000008859 change Effects 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 2
- 238000012545 processing Methods 0.000 abstract description 7
- 230000004807 localization Effects 0.000 abstract description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000011017 operating method Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Automation & Control Theory (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Manipulator (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于深度摄像头的机器人快速定位与姿态估计方法，所述深度摄像头固定安装在机器人主体上，并且保持相对于机器人主体的位置不变，所述方法通过深度摄像头获取机器人在运动过程环境中的深度图像，再对深度图像进行缩放、角点检测、角点特征提取，然后对相似特征进行匹配，最后通过最小二乘法获取机器人在智能移动过程中的旋转矩阵R与平移矩阵T。本发明的基于深度摄像头的机器人快速定位与姿态估计方法能够提高机器人定位及姿态估计中的准确性，能够有效降低图像处理时间并且提升处理图像速度。
Description
技术领域
本发明涉及机器人，尤其涉及机器人的快速定位与姿态估计。
背景技术
机器人定位与姿态估计是机器人应用的基本问题，定位能够确定机器人在工作环境中的位置信息，姿态能够获取机器人移动方向，准确快速获取机器人的位置及姿态，能够提高机器人作业的效率及安全性。
基于彩色摄像机的机器人定位及姿态估计常常受工作环境的光照影响，使得机器人定位及姿态估计误差较大。目前有些专利通过图像预处理的技术能够克服光照亮暗的影响，但对于一部分有阴影的情况，不能起到优化效果。
此外，目前虽然已经有一些技术可以针对摄像机拍摄的图像进行一系列处理，从而获得机器人的实时运动姿态与平移距离，但是存在运行过程复杂，计算速度缓慢，还会出现一定的误差等问题。
为此本领域迫切需要一种能够基于深度摄像头的机器人快速定位与姿态估计的方法。
发明内容
本发明旨在克服以上技术问题，提出一种准确率高、能够有效降低图像处理时间且处理速度较快的基于深度摄像头的机器人快速定位与姿态估计方法。
为解决上述技术问题，本发明提供一种基于深度摄像头的机器人快速定位与姿态估计方法，所述深度摄像头固定地安装在机器人主体上，并且保持相对于机器人主体的位置不变，所述方法包括以下步骤：
(1)、深度摄像头获取机器人在运动过程环境中的深度图像P1、P2；
其中，深度图像P1为时刻t采集的数据信息，深度图像P2为时刻t之后采集的数据信息；
(2)、利用高斯金字塔方法对(1)中获取的深度图像P1、P2进行缩放，其中，
将深度图像P1缩小为p1，缩放系数为k1；
将深度图像P2缩小为p2，缩放系数为k2；
(3)、利用Fast角点检测算法对(2)中缩放后的图像p1、p2进行角点检测；
(4)、利用Sift算法对检测到的角点进行特征提取；
(5)、利用Knn算法对相似特征进行匹配；
(6)、利用(5)中的匹配结果，通过最小二乘法获取机器人在智能移动过程中的旋转矩阵R与平移矩阵T，R与T的矩阵形式如下：
其中，r11，r12，…，r33这9个参数表示深度摄像头随着机器人旋转导致图像的旋转及缩放；
其中，Tx，Ty，Tz分别表示在x、y、z方向的平移，机器人的位置为机器人从原点出发时每次位置变化T的累计。
优选地，对于某一个点X(x，y，z)，该点变换后的位置X’利用R、T矩阵来计算，计算方法如下：
X＝[x，y，z，1]T，
X'＝RX+T。
优选地，所述深度摄像头为Kinect深度相机。
优选地，所述深度摄像头计算旋转或平移的频率根据不同环境设置为不同参数。
本发明的基于深度摄像头的机器人快速定位与姿态估计方法相比于现有技术具有如下优点:该方法能够提高机器人定位及姿态估计中的准确性，同时能够有效降低图像处理时间，提升处理图像的速度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明的基于深度摄像头的机器人快速定位与姿态估计方法的流程结构示意图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚明了，下面结合具体实施方式并参照附图，对本发明进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构及技术的描述，以避免不必要地混淆本发明的概念。
本发明提供了一种基于深度摄像头的机器人快速定位与姿态估计方法，在使用该方法之前需要将深度摄像头固定安装在机器人主体上，保持深度摄像头相对于机器人主体的位置不变。需要说明的是，本申请中深度摄像头的旋转、平移就是机器人主体的旋转、平移。
图1为本发明的基于深度摄像头的机器人快速定位与姿态估计方法的一种结构示意图，如图1所示，基于深度摄像头的机器人快速定位与姿态估计方法采用以下步骤：首先是获取一幅深度图像P1，再获取另一幅深度图像P2，然后将图像P1缩小为p1，将图像P2缩小为p2，再对p1和p2分别进行角点测测，对p1和p2检测到的角点分别提取特征，之后进行特征匹配，最后计算深度摄像头的旋转和平移，以此来获取机器人的旋转和平移矩阵。
需要说明的是，图1中深度图像P1、P2的获取可以通过深度相机厂家提供的SDK获取，优选地，本发明中的深度摄像头采用Kinect深度相机。
具体地，上述基于深度摄像头的机器人快速定位与姿态估计方法包括以下步骤：
(1)、深度摄像头获取机器人在运动过程环境中的深度图像P1、P2，
其中，深度图像P1为时刻t采集的数据信息，深度图像P2为时刻t之后采集的数据信息；
(2)、利用高斯金字塔方法对(1)中获取的深度图像P1、P2进行缩放，其中，将深度图像P1缩小为p1，缩放系数为k1；将深度图像P2缩小为p2，缩放系数为k2；
(3)、利用Fast角点检测算法对(2)中缩放后的图像p1、p2进行角点检测；
(4)、利用Sift算法对检测到的角点进行特征提取；
(5)、利用Knn算法对相似特征进行匹配；
(6)、利用(5)中的匹配结果，通过最小二乘法获取机器人在智能移动过程中的旋转矩阵R与平移矩阵T，R与T的矩阵形式如下：
其中，r11，r12，…，r33这9个参数表示深度摄像头随着机器人旋转导致图像的旋转及缩放；
其中，Tx，Ty，Tz分别表示在x、y、z方向的平移，机器人的位置为机器人从原点出发时每次位置变化T的累计。
本发明的上述步骤(1)中，深度图像P1、P2的获取顺序不可以变换，因为在计算深度摄像头的旋转与平移时，用到了拍摄图像的先后顺序，并且深度图像P1为时刻t采集的数据信息，深度图像P2为时刻t之后采集的数据信息。
本发明的上述步骤(2)中，将深度图像P1、P2进行缩放的系数k1与k2可相同或不同，其具体值需要根据图像的大小决定。
另外，本发明的基于深度摄像头的机器人快速定位与姿态估计方法的上述步骤中，可以先获取深度图像P1，然后对深度图像P1进行缩小、角点检测、角点特征提取，这几步操作步骤在执行时顺序不可以变换。此外，再获取深度图像P2，然后对深度图像P2进行缩小、角点检测、角点特征提取，这几步操作步骤在执行时顺序也不可以变换。但是，对深度图像P1、P2的处理顺序可以变换，即本发明的基于深度摄像头的机器人快速定位与姿态估计方法中可以先对深度图像P1进行处理，也可以先对深度图像P2进行处理。
本发明的基于深度摄像头的机器人快速定位与姿态估计方法的上述步骤中，步骤(5)与(6)的顺序不可以交换，因为步骤(5)的结果要用于步骤(6)中，从而计算出深度摄像头的旋转矩阵R与平移矩阵T。
在本发明的进一步实施例中，对于某一个点X(x，y，z)，该点变换后的位置X’，也可以利用R、T矩阵来计算，计算方法如下：
X＝[x，y，z，1]T，
X′＝RX+T。
在本发明的进一步实施例中，根据不同环境或具体场景可以将深度摄像头计算旋转或平移的频率设置为不同参数。其中，机器人实时的位姿就是深度摄像头实时获得的旋转参数R，机器人的位置为机器人从原点出发时每次位置变化T的累计。
应当理解的是，本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理，而不构成对本发明的限制。因此，在不偏离本发明的精神及范围的情况下所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。此外，本发明所附权利要求旨在涵盖落入所附权利要求范围及边界、或者这种范围及边界的等同形式内的全部变化及修改例。
Claims (3)
1.一种基于深度摄像头的机器人快速定位与姿态估计方法，所述深度摄像头固定地安装在机器人主体上，并且保持相对于机器人主体的位置不变，所述方法包括以下步骤：
(1)、深度摄像头获取机器人在运动过程环境中的深度图像P1、P2，
其中，深度图像P1为时刻t采集的数据信息，深度图像P2为时刻t之后采集的数据信息；
(2)、利用高斯金字塔方法对(1)中获取的深度图像P1、P2进行缩放，其中，将深度图像P1缩小为p1，缩放系数为k1；将深度图像P2缩小为p2，缩放系数为k2；
(3)、利用Fast角点检测算法对(2)中缩放后的图像p1、p2进行角点检测；
(4)、利用Sift算法对检测到的角点进行特征提取；
(5)、利用Knn算法对相似特征进行匹配；
(6)、利用(5)中的匹配结果，通过最小二乘法获取机器人在智能移动过程中的旋转矩阵R与平移矩阵T，R与T的矩阵形式如下：
其中，r11，r12，…，r33这9个参数表示深度摄像头随着机器人旋转导致图像的旋转及缩放；
其中，Tx，Ty，Tz分别表示在x、y、z方向的平移，机器人的位置为机器人从原点出发时每次位置变化T的累计；
对于某一个点X(x，y，z)，该点变换后的位置X’利用R、T矩阵来计算，计算方法如下：
X＝[x，y，z，1]T，
X'＝RX+T。
2.根据权利要求1所述的基于深度摄像头的机器人快速定位与姿态估计方法，其中，所述深度摄像头为Kinect深度相机。
3.根据权利要求1所述的基于深度摄像头的机器人快速定位与姿态估计方法，其中，所述深度摄像头计算旋转或平移的频率根据不同环境设置为不同参数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610716018.0A CN106403924B (zh) | 2016-08-24 | 2016-08-24 | 基于深度摄像头的机器人快速定位与姿态估计方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610716018.0A CN106403924B (zh) | 2016-08-24 | 2016-08-24 | 基于深度摄像头的机器人快速定位与姿态估计方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106403924A CN106403924A (zh) | 2017-02-15 |
| CN106403924B true CN106403924B (zh) | 2019-05-31 |
Family
ID=58004355
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610716018.0A Expired - Fee Related CN106403924B (zh) | 2016-08-24 | 2016-08-24 | 基于深度摄像头的机器人快速定位与姿态估计方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106403924B (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107123142B (zh) * | 2017-05-09 | 2020-05-01 | 北京京东尚科信息技术有限公司 | 位姿估计方法和装置 |
| CN109214254B (zh) * | 2017-07-07 | 2020-08-14 | 北京臻迪科技股份有限公司 | 一种确定机器人位移的方法及装置 |
| CN107443385B (zh) * | 2017-09-26 | 2020-02-21 | 珠海市一微半导体有限公司 | 基于视觉的机器人直线导航的检测方法和芯片及机器人 |
| CN107860390A (zh) * | 2017-12-21 | 2018-03-30 | 河海大学常州校区 | 基于视觉ros系统的非完整机器人远程定点自导航方法 |
| CN108927807B (zh) * | 2018-08-14 | 2020-08-07 | 河南工程学院 | 一种基于点特征的机器人视觉控制方法 |
| CN110244772B (zh) * | 2019-06-18 | 2021-12-03 | 中国科学院上海微系统与信息技术研究所 | 移动机器人的领航跟随系统和领航跟随控制方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104865965A (zh) * | 2015-05-20 | 2015-08-26 | 深圳市锐曼智能装备有限公司 | 机器人用深度摄像头与超声波结合的避障控制方法及系统 |
| CN105045263A (zh) * | 2015-07-06 | 2015-11-11 | 杭州南江机器人股份有限公司 | 一种基于Kinect的机器人自定位方法 |
| CN105843223A (zh) * | 2016-03-23 | 2016-08-10 | 东南大学 | 一种基于空间词袋模型的移动机器人三维建图与避障方法 |
-
2016
- 2016-08-24 CN CN201610716018.0A patent/CN106403924B/zh not_active Expired - Fee Related
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104865965A (zh) * | 2015-05-20 | 2015-08-26 | 深圳市锐曼智能装备有限公司 | 机器人用深度摄像头与超声波结合的避障控制方法及系统 |
| CN105045263A (zh) * | 2015-07-06 | 2015-11-11 | 杭州南江机器人股份有限公司 | 一种基于Kinect的机器人自定位方法 |
| CN105843223A (zh) * | 2016-03-23 | 2016-08-10 | 东南大学 | 一种基于空间词袋模型的移动机器人三维建图与避障方法 |
Non-Patent Citations (3)
| Title |
|---|
| 基于RGB-D的SLAM算法研究;丁洁琼;《中国优秀硕士学位论文全文数据库 信息科技辑》;20160315(第3期);1-19 |
| 基于RGB-D的SLAM算法研究;丁洁琼;《中国优秀硕士学位论文全文数据库 信息科技辑》;20160315(第3期);29-40 |
| 基于深度相机的机器人室内定位技术研究;詹文强等;《信息通信》;20160115(第1期);全文 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106403924A (zh) | 2017-02-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106403924B (zh) | 基于深度摄像头的机器人快速定位与姿态估计方法 | |
| CN107471218B (zh) | 一种基于多目视觉的双臂机器人手眼协调方法 | |
| CN109544636B (zh) | 一种融合特征点法和直接法的快速单目视觉里程计导航定位方法 | |
| CN103279186B (zh) | 融合光学定位与惯性传感的多目标运动捕捉系统 | |
| CN111462154B (zh) | 基于深度视觉传感器的目标定位方法、装置及自动抓取机器人 | |
| CN110211180A (zh) | 一种基于深度学习的机械臂自主抓取方法 | |
| CN108648237A (zh) | 一种基于视觉的空间定位方法 | |
| CN102638653A (zh) | 一种基于Kinect的自动面部追踪方法 | |
| CN109725645A (zh) | 一种嵌套式无人机着陆合作标志设计及相对位姿获取方法 | |
| CN106595601B (zh) | 一种无需手眼标定的相机六自由度位姿精确重定位方法 | |
| Chiang et al. | A stereo vision-based self-localization system | |
| WO2020135187A1 (zh) | 基于rgb_d和深度卷积网络的无人机识别定位系统和方法 | |
| CN104647390A (zh) | 用于机械臂遥操作的多摄像机联合主动跟踪目标的方法 | |
| CN108074266A (zh) | 一种机器人的机器视觉构造方法 | |
| CN113822251B (zh) | 基于双目视觉的地面侦察机器人手势控制系统及控制方法 | |
| Ding et al. | The detection of non-cooperative targets in space by using 3D point cloud | |
| CN110415292A (zh) | 一种圆环标识的运动姿态视觉测量方法及其应用 | |
| CN115862074A (zh) | 人体指向确定、屏幕控制方法、装置及相关设备 | |
| Celik et al. | Development of a robotic-arm controller by using hand gesture recognition | |
| CN112683266A (zh) | 机器人及其导航方法 | |
| TW201537137A (zh) | 雙影像導引追瞄之射擊系統與方法 | |
| Farag et al. | Three-dimensional localization of known objects for robot arm application based on a particle swarm optimized low end stereo vision system | |
| Manawadu et al. | Object Recognition and Pose Estimation from RGB-D Data Using Active Sensing | |
| Tokuda et al. | CNN-based Visual Servoing for Simultaneous Positioning and Flattening of Soft Fabric Parts | |
| Rhee et al. | Two-pass icp with color constraint for noisy rgb-d point cloud registration |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20211115 Address after: Room A36, floor 9, No. 36, Haidian West Street, Haidian District, Beijing 100080 Patentee after: Beijing senyun Technology Co.,Ltd. Address before: Room 204, 2f, building 6 (North), No. 1, Shuangqing Road, Haidian District, Beijing 100084 Patentee before: ZHINENGXIA (BEIJING) TECHNOLOGY CO.,LTD. |
|
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20190531 |