CN106970620A - 一种基于单目视觉的机器人控制方法 - Google Patents

一种基于单目视觉的机器人控制方法 Download PDF

Info

Publication number
CN106970620A
CN106970620A CN201710243549.7A CN201710243549A CN106970620A CN 106970620 A CN106970620 A CN 106970620A CN 201710243549 A CN201710243549 A CN 201710243549A CN 106970620 A CN106970620 A CN 106970620A
Authority
CN
China
Prior art keywords
image
robot control
control method
method based
monocular vision
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710243549.7A
Other languages
English (en)
Inventor
魏利胜
程庆
甘泉
吉涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui Polytechnic University
Original Assignee
Anhui Polytechnic University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui Polytechnic University filed Critical Anhui Polytechnic University
Priority to CN201710243549.7A priority Critical patent/CN106970620A/zh
Publication of CN106970620A publication Critical patent/CN106970620A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0251—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于单目视觉的机器人控制方法，该方法包括以下两个模块：图像处理模块：主要是利用单目相机从不同角度采集到的两幅图像对周围环境进行三维重构；轨迹规划模块：根据三维重构的结果，对环境进行地图构建，并利用轨迹规划算法对所构建的地图进行路径搜索，并按照一定的评估标准选择最优路径，在实际应用过程中，根据环境信息的复杂程度、机器人所要完成任务的难易程度可以选择不同的轨迹规划算法，也可以结合其他的人工智能算法进行轨迹搜索，其目的就是为了获得最优路径。

Description

一种基于单目视觉的机器人控制方法
技术领域
本发明涉及机器人控制技术领域，具体为一种基于单目视觉的机器人控制方法。
背景技术
随着经济社会的发展，人们生活水平的提高，越来越多的机器人走入人们的视野，进入了人们的生活。随着机器人工作环境复杂程度的提高、机器人所要完成的工作任务的增加，对于机器人控制系统的要求也就越来越高，尤其是对机器人轨迹规划控制的要求尤为突出。但是，现有机器人通常存在传感器系统设计不完善和轨迹规划算法不合理等问题，导致机器人在一些工作未知的环境中发生不必要的碰撞，甚至发生事故。
发明内容
为实现上述目的，本发明提供如下技术方案：一种基于单目视觉的机器人控制方法，该方法包括以下两个模块：
图像处理模块：主要是利用单目相机从不同角度采集到的两幅图像对周围环境进行三维重构。
轨迹规划模块：根据三维重构的结果，对环境进行地图构建，并利用轨迹规划算法对所构建的地图进行路径搜索，并按照一定的评估标准选择最优路径。
优选的，所述图像处理模块具体包括如下步骤：
步骤一：图像采集，所采集的图像为两幅图像，且图像拍摄的角度不同。
步骤二：图像预处理，主要是对图像灰度化处理以及图像滤波；采用公式(1)对CCD相机采集到的RGB图像进行灰度化处理。
f(i,j)＝0.2989R(i,j)+0.570G(i,j)+0.1140B(i,j) (1)
图像滤波采用中值滤波的方法对图像进行滤波去噪，从而获得能够满足三维重建要求的图像，式中：f(i,j)表示在(i,j)像素点所对应的灰度值，R(i,j)、G(i,j)、B(i,j)分别表示在(i,j)像素点所对应的RBG格式下R、G、B所对应的分量。
步骤三：三维重建，包括所使用的CCD相机的标定、相机模型的建立、特征点的提取与匹配。
优选的，所述步骤三中相机标定采用相机标定工具箱，使用张正友标定发对CCD相机进行标定。
优选的，所述步骤三中相机模型采用小孔成像模型，建立图像像素坐标与三维空间坐标之间的对应关系。
优选的，所述步骤三中特征点提取与匹配采用Harris算法对所拍摄的两幅图像进行特征点提取匹配。
优选的，所述轨迹规划模块具体包括如下步骤：
步骤一：根据图像处理模块中三维重建的结果，利用自由空间法生成环境地图。
步骤二：根据轨迹规划模块中的环境地图，使用路径搜索算法按照一定的评估指标寻找最优路径。
与现有技术相比，本发明的有益效果是：本发明能有效解决对于未知环境下的机器人轨迹规划控制问题，根据环境信息的复杂程度、机器人所要完成任务的难易程度可以选择不同的轨迹规划算法，也可以结合其他的人工智能算法进行轨迹搜索，其目的就是为了获得最优路径。
附图说明
图1是本发明提供的一种基于单目视觉的机器人控制方法的流程。
图2是本发明中三维重构部分的方法流程。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例：
请参阅图1和图2，本发明提供一种技术方案：一种基于单目视觉的机器人控制方法，该方法包括以下两个模块：
图像处理模块：主要是利用单目相机从不同角度采集到的两幅图像对周围环境进行三维重构。
轨迹规划模块：根据三维重构的结果，对环境进行地图构建，并利用轨迹规划算法对所构建的地图进行路径搜索，并按照一定的评估标准选择最优路径。
优选的，所述图像处理模块具体包括如下步骤：
步骤一：图像采集，所采集的图像为两幅图像，且图像拍摄的角度不同。
步骤二：图像预处理，主要是对图像灰度化处理以及图像滤波；采用公式(1)对CCD相机采集到的RGB图像进行灰度化处理。
f(i,j)＝0.2989R(i,j)+0.570G(i,j)+0.1140B(i,j) (1)
图像滤波采用中值滤波的方法对图像进行滤波去噪，从而获得能够满足三维重建要求的图像，式中：f(i,j)表示在(i,j)像素点所对应的灰度值，R(i,j)、G(i,j)、B(i,j)分别表示在(i,j)像素点所对应的RBG格式下R、G、B所对应的分量。
步骤三：三维重建，包括所使用的CCD相机的标定、相机模型的建立、特征点的提取与匹配；相机标定采用相机标定工具箱，使用张正友标定发对CCD相机进行标定；相机模型采用小孔成像模型，建立图像像素坐标与三维空间坐标之间的对应关系；特征点提取与匹配采用Harris算法对所拍摄的两幅图像进行特征点提取匹配。
三维重建的完整过程如图1所示：
(a)：利用Harris算法对预处理后的图像进行特征点提取与匹配，为了后续计算的准确，所匹配的特征点对应该足够多。
(b)：根据特征点匹配的结果，利用RANSAC算法计算图像的基础矩阵，在(1)中可能出现错误的特征点对，在这里RANSAC具有一定的容错性，能够有效地剔除掉错误匹配的特征点对，从而提高了所计算的基础矩阵的准确性。
(c)：通过相机标定获得相机的内参数矩阵，相机标定采用张正友标定法。由于相机内参数矩阵固定不变，所以只需进行一次标定即可。
(d)：结合(c)相机内参数矩阵和(b)中的基础矩阵计算出图像的本质矩阵。
(e)：结合(a)所匹配的特征点对和(d)所计算的本质矩阵，利用所建立的图像像素坐标系与世界坐标系之间的关系对所测的环境进行三维重构。
所述轨迹规划模块具体包括如下步骤：
步骤一：根据图像处理模块中三维重建的结果，利用自由空间法生成环境地图。
步骤二：根据轨迹规划模块中的环境地图，使用路径搜索算法(这里采用A*算法)按照一定的评估指标(这里采用最短路径)寻找最优路径。
自由空间法和A*算法均为解决全局路径规划问题(即环境信息已知的路径规划问题)所提出的方法，并不适用于局部路径规划问题(环境信息未知的路径规划问题)。在这里，通过步骤一的三维重构可以获取机器人环境信息，在此基础之上，可以利用全局路径规划的方法来解决局部路径规划的问题。
在实际应用过程中，根据环境信息的复杂程度、机器人所要完成任务的难易程度可以选择不同的轨迹规划算法，也可以结合其他的人工智能算法进行轨迹搜索。其目的就是为了获得最优路径。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

Claims (6)

1.一种基于单目视觉的机器人控制方法，其特征在于：该方法包括以下两个模块：
图像处理模块：主要是利用单目相机从不同角度采集到的两幅图像对周围环境进行三维重构。
轨迹规划模块：根据三维重构的结果，对环境进行地图构建，并利用轨迹规划算法对所构建的地图进行路径搜索，并按照一定的评估标准选择最优路径。
2.根据权利要求1所述的一种基于单目视觉的机器人控制方法，其特征在于：所述图像处理模块具体包括如下步骤：
步骤一：图像采集，所采集的图像为两幅图像，且图像拍摄的角度不同。
步骤二：图像预处理，主要是对图像灰度化处理以及图像滤波；采用公式(1)对CCD相机采集到的RGB图像进行灰度化处理。
f(i,j)＝0.2989R(i,j)+0.570G(i,j)+0.1140B(i,j) (1)
图像滤波采用中值滤波的方法对图像进行滤波去噪，从而获得能够满足三维重建要求的图像，式中：f(i,j)表示在(i,j)像素点所对应的灰度值，R(i,j)、G(i,j)、B(i,j)分别表示在(i,j)像素点所对应的RBG格式下R、G、B所对应的分量。
步骤三：三维重建，包括所使用的CCD相机的标定、相机模型的建立、特征点的提取与匹配。
3.根据权利要求2所述的一种基于单目视觉的机器人控制方法，其特征在于：所述步骤三中相机标定采用相机标定工具箱，使用张正友标定发对CCD相机进行标定。
4.根据权利要求1所述的一种基于单目视觉的机器人控制方法，其特征在于：所述步骤三中相机模型采用小孔成像模型，建立图像像素坐标与三维空间坐标之间的对应关系。
5.根据权利要求1所述的一种基于单目视觉的机器人控制方法，其特征在于：所述步骤三中特征点提取与匹配采用Harris算法对所拍摄的两幅图像进行特征点提取匹配。
6.根据权利要求1所述的一种基于单目视觉的机器人控制方法，其特征在于：所述轨迹规划模块具体包括如下步骤：
步骤一：根据图像处理模块中三维重建的结果，利用自由空间法生成环境地图。
步骤二：根据轨迹规划模块中的环境地图，使用路径搜索算法按照一定的评估指标寻找最优路径。
CN201710243549.7A 2017-04-14 2017-04-14 一种基于单目视觉的机器人控制方法 Pending CN106970620A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710243549.7A CN106970620A (zh) 2017-04-14 2017-04-14 一种基于单目视觉的机器人控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710243549.7A CN106970620A (zh) 2017-04-14 2017-04-14 一种基于单目视觉的机器人控制方法

Publications (1)

Publication Number Publication Date
CN106970620A true CN106970620A (zh) 2017-07-21

Family

ID=59332295

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710243549.7A Pending CN106970620A (zh) 2017-04-14 2017-04-14 一种基于单目视觉的机器人控制方法

Country Status (1)

Country Link
CN (1) CN106970620A (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107717987A (zh) * 2017-09-27 2018-02-23 西安华航唯实机器人科技有限公司 一种具有视觉系统的工业机器人及其控制方法
CN107825423A (zh) * 2017-10-19 2018-03-23 环球车享汽车租赁有限公司 充电接口识别和定位方法及系统
CN108760246A (zh) * 2018-05-25 2018-11-06 上海复瞻智能科技有限公司 一种平视显示器系统中眼动范围的检测方法
CN109798897A (zh) * 2019-01-22 2019-05-24 广东工业大学 一种通过环境模型完整度评估以提高单目视觉定位可靠性的方法
CN110825080A (zh) * 2019-10-31 2020-02-21 华南农业大学 基于模糊控制算法的果园路径视觉导航方法、系统和介质
CN111857143A (zh) * 2020-07-23 2020-10-30 北京以萨技术股份有限公司 基于机器视觉的机器人路径规划方法、系统、终端及介质
CN112570229A (zh) * 2020-12-08 2021-03-30 江苏科技大学 一种多种类车灯的喷涂方法
CN112587884A (zh) * 2020-12-24 2021-04-02 烟台南山学院 一种基于单目视觉的全自动捡球机器人的捡球方法
CN117400256A (zh) * 2023-11-21 2024-01-16 扬州鹏顺智能制造有限公司 一种基于视觉图像的工业机器人连续轨迹控制方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101769754A (zh) * 2010-01-19 2010-07-07 湖南大学 一种基于类三维地图的移动机器人全局路径规划方法
CN102446355A (zh) * 2011-09-05 2012-05-09 西安理工大学 一种基于双视场的无标定平面突起目标检测方法
CN102866706A (zh) * 2012-09-13 2013-01-09 深圳市银星智能科技股份有限公司 一种采用智能手机导航的清扫机器人及其导航清扫方法
CN103292695A (zh) * 2013-05-10 2013-09-11 河北科技大学 一种单目立体视觉测量方法
CN103295080A (zh) * 2013-06-14 2013-09-11 西安工业大学 基于高程图和蚁群寻食的三维路径规划方法
CN103528571A (zh) * 2013-10-12 2014-01-22 上海新跃仪表厂 单目立体视觉相对位姿测量方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101769754A (zh) * 2010-01-19 2010-07-07 湖南大学 一种基于类三维地图的移动机器人全局路径规划方法
CN102446355A (zh) * 2011-09-05 2012-05-09 西安理工大学 一种基于双视场的无标定平面突起目标检测方法
CN102866706A (zh) * 2012-09-13 2013-01-09 深圳市银星智能科技股份有限公司 一种采用智能手机导航的清扫机器人及其导航清扫方法
CN103292695A (zh) * 2013-05-10 2013-09-11 河北科技大学 一种单目立体视觉测量方法
CN103295080A (zh) * 2013-06-14 2013-09-11 西安工业大学 基于高程图和蚁群寻食的三维路径规划方法
CN103528571A (zh) * 2013-10-12 2014-01-22 上海新跃仪表厂 单目立体视觉相对位姿测量方法

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107717987A (zh) * 2017-09-27 2018-02-23 西安华航唯实机器人科技有限公司 一种具有视觉系统的工业机器人及其控制方法
CN107825423A (zh) * 2017-10-19 2018-03-23 环球车享汽车租赁有限公司 充电接口识别和定位方法及系统
CN108760246A (zh) * 2018-05-25 2018-11-06 上海复瞻智能科技有限公司 一种平视显示器系统中眼动范围的检测方法
CN109798897A (zh) * 2019-01-22 2019-05-24 广东工业大学 一种通过环境模型完整度评估以提高单目视觉定位可靠性的方法
CN109798897B (zh) * 2019-01-22 2022-07-01 广东工业大学 一种通过环境模型完整度评估以提高单目视觉定位可靠性的方法
CN110825080A (zh) * 2019-10-31 2020-02-21 华南农业大学 基于模糊控制算法的果园路径视觉导航方法、系统和介质
CN111857143A (zh) * 2020-07-23 2020-10-30 北京以萨技术股份有限公司 基于机器视觉的机器人路径规划方法、系统、终端及介质
CN112570229A (zh) * 2020-12-08 2021-03-30 江苏科技大学 一种多种类车灯的喷涂方法
CN112587884A (zh) * 2020-12-24 2021-04-02 烟台南山学院 一种基于单目视觉的全自动捡球机器人的捡球方法
CN117400256A (zh) * 2023-11-21 2024-01-16 扬州鹏顺智能制造有限公司 一种基于视觉图像的工业机器人连续轨迹控制方法
CN117400256B (zh) * 2023-11-21 2024-05-31 扬州鹏顺智能制造有限公司 一种基于视觉图像的工业机器人连续轨迹控制方法

Similar Documents

Publication Publication Date Title
CN106970620A (zh) 一种基于单目视觉的机器人控制方法
CN109685842B (zh) 一种基于多尺度网络的稀疏深度稠密化方法
CN109270534B (zh) 一种智能车激光传感器与相机在线标定方法
CN105160702B (zh) 基于LiDAR点云辅助的立体影像密集匹配方法及系统
CN102313536B (zh) 基于机载双目视觉的障碍物感知方法
CN110443898A (zh) 一种基于深度学习的ar智能终端目标识别系统及方法
CN111340797A (zh) 一种激光雷达与双目相机数据融合检测方法及系统
CN113362247B (zh) 一种激光融合多目相机的语义实景三维重建方法及系统
CN107392964A (zh) 基于室内特征点和结构线结合的室内slam方法
CN109100730A (zh) 一种多车协同快速建图方法
CN106910217A (zh) 视觉地图建立方法、计算装置、计算机存储介质和智能车辆
CN109579825B (zh) 基于双目视觉和卷积神经网络的机器人定位系统及方法
CN105894499A (zh) 一种基于双目视觉的空间物体三维信息快速检测方法
CN110073362A (zh) 用于车道标记检测的系统及方法
CN102435174A (zh) 基于混合式双目视觉的障碍物检测方法及装置
CN107491071A (zh) 一种智能多机器人协同测图系统及其方法
CN103605978A (zh) 基于三维实景数据的城市违章建筑识别系统及方法
CN103927758B (zh) 一种基于对比度与角点最小凸包的显著性检测方法
CN110992487B (zh) 手持式飞机油箱快速三维地图重建装置及重建方法
CN206611521U (zh) 一种基于多传感器的车载环境识别系统及全方位视觉模块
CN111060924A (zh) 一种slam与目标跟踪方法
KR20200110120A (ko) 3d-vr 멀티센서 시스템 기반의 도로 시설물 관리 솔루션을 구현하는 시스템 및 그 방법
WO2021017211A1 (zh) 一种基于视觉的车辆定位方法、装置及车载终端
CN106920247A (zh) 一种基于比对网络的目标跟踪方法及装置
CN113643345A (zh) 一种基于双光融合的多目道路智能识别方法

Legal Events

Date Code Title Description
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20170721