CN108074251A - 基于单目视觉的移动机器人导航控制方法 - Google Patents
基于单目视觉的移动机器人导航控制方法 Download PDFInfo
- Publication number
- CN108074251A CN108074251A CN201611021300.3A CN201611021300A CN108074251A CN 108074251 A CN108074251 A CN 108074251A CN 201611021300 A CN201611021300 A CN 201611021300A CN 108074251 A CN108074251 A CN 108074251A
- Authority
- CN
- China
- Prior art keywords
- image
- robot
- mobile
- control method
- navigation control
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 17
- 238000001514 detection method Methods 0.000 claims abstract description 5
- 230000008569 process Effects 0.000 claims description 2
- 230000000007 visual effect Effects 0.000 abstract description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000004888 barrier function Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Multimedia (AREA)
- Electromagnetism (AREA)
- Aviation & Aerospace Engineering (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Remote Sensing (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Manipulator (AREA)
- Image Analysis (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
本发明公开了一种基于单目视觉的移动机器人导航控制方法，其中，所述基于单目视觉的移动机器人导航控制方法包括：采用单目摄像头采集周围环境的图像；对图像进行预处理并匹配；根据匹配图像检测移动机器人当前位置和姿态角信息；根据当前机器人姿态与理想路径点的误差，对机器人进行运动控制。本发明方案使用单目摄像头，获取场景丰富可靠的视觉信息，使用图像匹配的方法实现机器人位姿信息的估计，从而获取到机器人的移动控制量，再实现对机器人的移动控制，具有很好的可拓展性和稳定性。
Description
技术领域
本发明涉及移动机器人导航技术，具体涉及基于单目视觉的移动机器人导航控制方法。
背景技术
移动机器人作为机器人学中的一个重要的研究分支，是一种基于传感器来感知外界环境和自身状态从而实现在存在障碍物的环境中，基于目标自主移动，并且完成指定功能的机器人系统。
自主移动机器人的重要发展方向是具有高度自感知、自规划和自组织能力，在无需人干预下自主应对环境变化，有目的地移动和完成任务。自主移动机器人已在多个领域有大量应用，改变着人们的生产生活方式，在可以预见的将来，将成为人类的不可或缺的助手，极大的提高人类生活质量。
移动机器人的导航主要依赖于激光传感器，激光测距仪是移动机器人常载的外部传感器之一。类似于声纳的反射测距原理，激光测距仪多基于激光飞行时间测距，即通过主动投射红外脉冲光束进行探测，光束遇到物体反射则会由接收器接收返回的激光并通过计算时间间隔计算目标物体的距离。激光传感器得到多个数据点的数据，再使用直线拟合方法得到现实场景的线状图。然而，激光传感器得到的数据需要二次计算方能得到场景的边缘特征，计算复杂；此外，激光传感器丢弃了丰富可靠的颜色数据。
发明内容
本发明目的在于克服现有技术的不足，尤其解决现有的基于激光传感器的移动机器人导航中，激光传感器仅获取场景的边缘数据、需要进行二次拟合计算的问题。
为解决上述技术问题，本发明的目的在于提供一种基于单目视觉的移动机器人导航控制方法，其中，所述基于单目视觉的移动机器人导航控制方法包括：采用单目摄像头采集周围环境的图像；对图像进行预处理并匹配；根据匹配图像检测移动机器人当前位置和姿态角信息；根据当前机器人姿态与理想路径点的误差，对机器人进行运动控制。
本发明方案的有益效果在于，使用单目摄像头，获取场景丰富可靠的视觉信息，使用图像匹配的方法实现机器人位姿信息的估计，从而获取到机器人的移动控制量，再实现对机器人的移动控制，具有很好的可拓展性和稳定性。
附图说明
图1是本发明的实施例的基于单目视觉的移动机器人导航控制方法流程图。
图2为本发明的实施例的移动机器人运动学模型图。
具体实施方式
下面结合附图及具体实施例对本发明进行更加详细与完整的说明。可以理解的是，此处所描述的具体实施例仅用于解释本发明，而非对本发明的限定。
图1是根据本发明的实施例的基于单目视觉的移动机器人导航控制方法流程图。
参照图1，所述基于单目视觉的移动机器人导航控制方法包括：S1、采用单目摄像头采集周围环境的图像；S2、对图像进行预处理并匹配；S3、根据匹配图像检测移动机器人当前位置和姿态角信息；S4、根据当前机器人姿态与理想路径点的误差，对机器人进行运动控制。
具体而言，经过步骤S1采用单目摄像头采集周围环境的图像，已经得到大量离散的、不连续的场景图像，需要进行预处理以去除图像中噪声，步骤S2描述如下：
S2：对图像进行预处理，包括图像二值化、计算图像水平梯度和垂直梯度、计算图像Harris角点、构建多尺度图像空间、寻找尺度空间的极值点、计算SIFT特征、特征匹配，具体描述如下：
S21：图像二值化：标定完成后，用最大类间方差法进行图像二值化，将图像的前景与背景进行分割，过程为：
1)设图像共有L个灰度级，灰度值为i的像素点共有ni个，图像共有N个像素点，归一化灰度直方图，用公式(1)表示为：
2)设定一个阈值t，根据灰度值将像素点分成c0和c1两类。c0的概率ω0、均值μ0用公式(2)、(3)表示：
c1的概率ω1、均值μ1分别用公式(4)、(5)表示为：
其中，由此可知c0和c1的类间方差σ2(t)用公式(6)表示为：
σ2(t)＝ω0(μ-μ0)2+ω1(μ1-μ)2 (6)
于是将t从0到i进行取值，当σ取最大值时t为最佳阈值，即可得到最佳的二值化图像。
S22：计算图像水平梯度和垂直梯度。利用水平、垂直差分算子对图像每个像素点(x，y)进行滤波以求取水平梯度lx和垂直梯度ly，如公式(7)所示。
S23：计算图像Harris角点。每个像素点(x，y)的Harris角点值c(x，y)如公式(8)所示。
当c(x，y)的值大于给定的阈值时，则认为该像素点是一个Harris角点。
S24：构建多尺度图像空间。对于一副图像，通过下采样得到不同尺寸的子图像，将子图像与高斯卷积核相乘进行卷积计算，从而得到多尺度图像空间。
S25：寻找尺度空间的极值点。每一个Harris角点要和它所有的相邻点比较，看其是否比它的图像域和尺度域的相邻点大或者小。采样点和它同尺度的8个相邻点和上下相邻尺度对应的9×2个点共26个点比较，以确保在尺度空间和图像空间都检测到极值点。一个Harris角点如果在多尺度图像空间本层以及上下两层的26个领域中是最大或最小值时，就认为该点是图像在该尺度下的一个极值点。
S26：计算SIFT特征。利用特征点邻域像素的梯度方向分布特性为每个关键点指定方向参数，计算该特征点梯度的模值和方向。在特征点邻域4×4的小块上计算8个方向的梯度方向直方图，绘制每个梯度方向的累加值，形成一个4×4×8＝128维的直方图，即SIFT特征。
S27：特征匹配。对所述的SIFT局部特征使用直方图匹配方法进行匹配，描述如下：
给定两个SIFT特征HP(k)和HQ(k)，k＝0，1，2，...，L-1，L表示直方图的维度。则直方图匹配D由公式9表示。
其中，D表示特征匹配的距离，当距离小于设定阈值时，认为两个SIFT特征匹配。
S3：根据匹配图像检测移动机器人当前位置和姿态角信息，具体描述如下：
给定两个匹配好的图像K和R，其中，K包含{k1，k2，...km}共m个匹配特征点，R包含{r1，r2，...rn}共n个匹配特征点，通过计算最小误差E(α，T)得到两个图像之间的相对坐标变换(α，T)：
其中，R表示旋转变化矩阵，α表示旋转角，T表示平移向量。设定机器人的初始位置和姿态角后，即可根据初始位置和当前位置的匹配关系，得到当前位置的机器人姿态。
S4：根据当前机器人姿态与理想路径点的误差，对机器人进行运动控制。参见图2，图2为移动机器人运动学模型，L为机器人整体宽度，G为机器人整体中心；当前所处位置(x，y)机器人起始方向角为θ1。在间隔时间为Δt内，下一个目标点(x0，y0)对于路径切向角为θ2，ρ为运动的曲率半径，下一个目标点与当前点的角度误差为Δθ＝θ2-θ1，距离误差为根据以下公式计算移动机器人左轮速度VL和右轮速度VR：
根据移动机器人左轮速度VL和右轮速度VR从而控制机器人的运动。
上述为本发明较佳的实施方式，但本发明的实施方式并不受上述内容的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。
Claims (2)
1.一种基于单目视觉的移动机器人导航控制方法，包括：
S1、采用单目摄像头采集周围环境的图像；
S2、对图像进行预处理并匹配；
S3、根据匹配图像检测移动机器人当前位置和姿态角信息；
S4、根据当前机器人姿态与理想路径点的误差，对机器人进行运动控制。
2.根据权利要求1所述的基于单目视觉的移动机器人导航控制方法，其特征在于，所述步骤S2所采用的对图像进行预处理并匹配操作包括图像二值化、计算图像水平梯度和垂直梯度、计算图像Harris角点、构建多尺度图像空间、寻找尺度空间的极值点、计算SIFT特征、特征匹配操作。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611021300.3A CN108074251A (zh) | 2016-11-14 | 2016-11-14 | 基于单目视觉的移动机器人导航控制方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611021300.3A CN108074251A (zh) | 2016-11-14 | 2016-11-14 | 基于单目视觉的移动机器人导航控制方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN108074251A true CN108074251A (zh) | 2018-05-25 |
Family
ID=62160690
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201611021300.3A Pending CN108074251A (zh) | 2016-11-14 | 2016-11-14 | 基于单目视觉的移动机器人导航控制方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108074251A (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108985226A (zh) * | 2018-06-22 | 2018-12-11 | 杭州五色云文化传播有限公司 | 智能购物设备 |
| CN109900266A (zh) * | 2019-03-27 | 2019-06-18 | 小驴机器人(武汉)有限公司 | 一种基于rgb-d和惯导的快速识别定位方式及系统 |
| CN110389588A (zh) * | 2019-07-17 | 2019-10-29 | 宁波财经学院 | 一种移动机器人 |
| CN110770664A (zh) * | 2018-06-25 | 2020-02-07 | 深圳市大疆创新科技有限公司 | 一种导航路径跟踪控制方法、设备、移动机器人及系统 |
| CN110955237A (zh) * | 2018-09-27 | 2020-04-03 | 台湾塔奇恩科技股份有限公司 | 移动载具的教导路径模块 |
| WO2021160182A1 (en) * | 2020-02-14 | 2021-08-19 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Method and apparatus for estimating pose of image capturing device |
| CN115179304A (zh) * | 2022-06-14 | 2022-10-14 | 广东天太机器人有限公司 | 基于高效性能伺服驱动的机械臂喷涂控制方法及系统 |
| CN112215887B (zh) * | 2019-07-09 | 2023-09-08 | 深圳市优必选科技股份有限公司 | 一种位姿确定方法、装置、存储介质及移动机器人 |
-
2016
- 2016-11-14 CN CN201611021300.3A patent/CN108074251A/zh active Pending
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108985226A (zh) * | 2018-06-22 | 2018-12-11 | 杭州五色云文化传播有限公司 | 智能购物设备 |
| CN110770664A (zh) * | 2018-06-25 | 2020-02-07 | 深圳市大疆创新科技有限公司 | 一种导航路径跟踪控制方法、设备、移动机器人及系统 |
| CN110955237A (zh) * | 2018-09-27 | 2020-04-03 | 台湾塔奇恩科技股份有限公司 | 移动载具的教导路径模块 |
| CN109900266A (zh) * | 2019-03-27 | 2019-06-18 | 小驴机器人(武汉)有限公司 | 一种基于rgb-d和惯导的快速识别定位方式及系统 |
| CN112215887B (zh) * | 2019-07-09 | 2023-09-08 | 深圳市优必选科技股份有限公司 | 一种位姿确定方法、装置、存储介质及移动机器人 |
| CN110389588A (zh) * | 2019-07-17 | 2019-10-29 | 宁波财经学院 | 一种移动机器人 |
| WO2021160182A1 (en) * | 2020-02-14 | 2021-08-19 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Method and apparatus for estimating pose of image capturing device |
| CN115179304A (zh) * | 2022-06-14 | 2022-10-14 | 广东天太机器人有限公司 | 基于高效性能伺服驱动的机械臂喷涂控制方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108074251A (zh) | 基于单目视觉的移动机器人导航控制方法 | |
| CN109993113B (zh) | 一种基于rgb-d和imu信息融合的位姿估计方法 | |
| CN108051002B (zh) | 基于惯性测量辅助视觉的运输车空间定位方法及系统 | |
| CN111024066B (zh) | 一种无人机视觉-惯性融合室内定位方法 | |
| CN109949375B (zh) | 一种基于深度图感兴趣区域的移动机器人目标跟踪方法 | |
| CN112197770B (zh) | 一种机器人的定位方法及其定位装置 | |
| KR101776622B1 (ko) | 다이렉트 트래킹을 이용하여 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법 | |
| WO2020119140A1 (zh) | 同步定位与地图构建中关键帧提取方法、装置和智能设备 | |
| US9386209B2 (en) | Method and apparatus for estimating position | |
| KR101739996B1 (ko) | 이동 로봇 및 이동 로봇의 위치 인식 및 지도 작성 방법 | |
| US11187790B2 (en) | Laser scanning system, laser scanning method, movable laser scanning system, and program | |
| Saeedi et al. | Vision-based 3-D trajectory tracking for unknown environments | |
| WO2019138678A1 (ja) | 情報処理装置及びその制御方法及びプログラム、並びに、車両の運転支援システム | |
| CN110243358A (zh) | 多源融合的无人车室内外定位方法及系统 | |
| CN109579843A (zh) | 一种空地多视角下的多机器人协同定位及融合建图方法 | |
| CN110456330B (zh) | 一种相机与激光雷达之间外参无目标自动标定方法及系统 | |
| CN103413352A (zh) | 基于rgbd多传感器融合的场景三维重建方法 | |
| CN113902860A (zh) | 一种基于多线激光雷达点云的多尺度静态地图构建方法 | |
| CN108549376A (zh) | 一种基于信标的导航定位方法及系统 | |
| CN112254729A (zh) | 一种基于多传感器融合的移动机器人定位方法 | |
| CN110260866A (zh) | 一种基于视觉传感器的机器人定位与避障方法 | |
| Schneider et al. | Incremental real-time bundle adjustment for multi-camera systems with points at infinity | |
| CN108544494A (zh) | 一种基于惯性和视觉特征的定位装置、方法及机器人 | |
| Nagy et al. | SFM and semantic information based online targetless camera-LIDAR self-calibration | |
| CN110515088B (zh) | 一种智能机器人的里程计估计方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20180525 |
|
| WD01 | Invention patent application deemed withdrawn after publication |