CN101402199B - 基于视觉的手眼式低伺服精度机器人抓取移动目标的方法 - Google Patents

基于视觉的手眼式低伺服精度机器人抓取移动目标的方法 Download PDF

Info

Publication number
CN101402199B
CN101402199B CN2008102245629A CN200810224562A CN101402199B CN 101402199 B CN101402199 B CN 101402199B CN 2008102245629 A CN2008102245629 A CN 2008102245629A CN 200810224562 A CN200810224562 A CN 200810224562A CN 101402199 B CN101402199 B CN 101402199B
Authority
CN
China
Prior art keywords
mechanical arm
target object
pose
trajectory planning
represent
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2008102245629A
Other languages
English (en)
Other versions
CN101402199A (zh
Inventor
黄强
李辉
蒋志宏
黄远灿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Technology BIT
Original Assignee
Beijing Institute of Technology BIT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Technology BIT filed Critical Beijing Institute of Technology BIT
Priority to CN2008102245629A priority Critical patent/CN101402199B/zh
Publication of CN101402199A publication Critical patent/CN101402199A/zh
Application granted granted Critical
Publication of CN101402199B publication Critical patent/CN101402199B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Manipulator (AREA)

Abstract

本发明公开了一种基于视觉的手眼式低伺服精度机器人抓取移动目标的方法，按照如下步骤进行：步骤10捕捉目标物体的图像特征参数，并估计目标物体与摄像机之间的相对位姿；步骤20预测目标物体在下一个时钟周期后的位姿；步骤30对移动目标物体的抓取生成轨迹规划，机器人控制器控制机械臂接近目标物体实现抓取。本发明能够对移动目标的抓取的轨迹生成规划，提高抓取精度最终实现移动目标的抓取，解决了一直以来无法突破的低精度机械臂基于视觉伺服的技术难点。

Description

基于视觉的手眼式低伺服精度机器人抓取移动目标的方法
技术领域
本发明涉及机器人视觉控制领域，特别涉及一种基于视觉的手眼式低伺服精度机器人抓取移动目标的方法。
背景技术
随着科学技术的发展以及机器人应用领域的扩大，人们对机器人技术提出了更高的要求，希望机器人具有更高的智能和更强的环境适应能力，机器人视觉伺服研究正是为了满足这一要求而展开的。机器人视觉伺服最早出现于20世纪80年代，在90年代中后期发展迅速。这是因为机器人应用领域的扩展以及计算机硬件技术的突飞猛进，极大地提高了图像处理的速度，大幅降低了专用图像处理设备的费用。视觉伺服控制与基于传统传感器的机器人控制相比，具有比较明显的优点：更高的灵活性，更高的精度，能够对机器人标定误差具有强的鲁棒性等。
如图1所示，现有技术中的机器人视觉伺服控制方法，按照如下步骤进行：
步骤1机械臂上的摄像机捕捉目标物体的图像特征参数；
步骤2根据的得到的图像特征提取图像信息，并从图像信息估计目标物体与摄像机之间的相对位姿；
步骤3笛卡儿空间控制，求出机械臂对应的关节转角；
步骤4机器人控制器根据控制算法输出机械臂的关节转角；
步骤5机械臂接收信号接近目标物体，实现抓取。
所以现有技术中的机器人视觉伺服控制方法，从被测定的图像中提取信息，并从图像信息估计目标物体与摄像机之间的相对位姿，然后利用它与期望位姿的误差对机器人进行反馈控制的方法，主要适用位置精度比较高的机器人，而对于机器臂位置控制精度比较差的系统，存在抓取精度很差，抓取过程中出现超调，甚至导致抓取失败。目前低位置伺服精度机械臂基于视觉伺服的方法是一直以来人们渴望攻克的技术难点。
发明内容
本发明的目的是针对上述现有技术的缺陷，提供了一种基于视觉的手眼式低伺服精度机器人抓取移动目标的方法，能够对移动目标的抓取的轨迹生成规划提高抓取精度最终实现抓取。
为了实现上述目的本发明采取的技术方案是：一种基于视觉的手眼式低伺服精度机器人抓取移动目标的方法，按照如下步骤进行：
步骤10，机械臂上的摄像机捕捉目标物体的图像特征参数，根据得到的图像特征参数提取图像信息，并从图像信息估计目标物体与摄像机之间的相对位姿；
步骤20，应用卡尔曼滤波器，预测目标物体在下一个时钟周期在机械臂基座标系下的位姿；
步骤30，对移动目标物体的抓取生成轨迹规划，根据预测的下一时钟周期的目标物体位姿及机械臂末端当前位姿，按照运动误差计算补偿公式得到机械臂位姿的实际输入值，生成轨迹规划，机器人控制器控制机械臂接近目标物体实现抓取，其中，
Figure GSB00000195790400022
表示第i时间周期，轨迹规划机械臂末端输出位姿，
表示第i+1时间周期，轨迹规划机械臂末端输出位姿，
Figure GSB00000195790400024
表示第i时间周期，机械臂末端的实际位姿，
ΔDi表示第i时间周期，机械臂末端的期望位置与实际位置的误差，
ΔRi表示第i次轨迹规划的期望值相对于当前时刻机械臂末端的位姿
Figure GSB00000195790400025
的增量，
ΔRi+1表示第i+1次轨迹规划的期望值相对于当前时刻机械臂末端的位姿
Figure GSB00000195790400026
的增量，
k为调节系数，k的值由实验确定，取k＝1.0；
所述步骤30中的轨迹规划包括跟踪调节阶段和抓取调节阶段的轨迹规划；跟踪调节阶段轨迹规划是使得机械臂末端由初始位置运动到目标物体前方的l处；抓取调节阶段的轨迹规划是保证机械臂的手爪始终正对目标物体的把手并接近目标物体，当目标物体与机械臂末端的相对位姿小到一定程度时，对目标物体进行抓取。本发明的有益效果是：相比现有技术，本发明一种基于视觉的手眼式低伺服精度机器人抓取移动目标的方法，能够对移动目标的抓取的轨迹生成规划提高抓取精度最终实现移动目标的抓取，解决了一直以来无法突破的低精度机械臂基于视觉伺服的技术难点。
附图说明
图1是现有技术中的机器人视觉伺服控制方法的实现框图；
图2是本发明所述基于视觉的手眼式低伺服精度机器人抓取移动目标的方法的实现框图；
图3是本发明所述的基于视觉的手眼式低伺服精度机器人运动误差计算与补偿原理图；
图4是利用本发明的机器人的手爪与目标物体的把手在抓取时的位置关系图；
图5是利用本发明的机器人在抓取移动目标过程的示意图。
具体实施方式
下面结合附图和具体实施例对本发明作进一步说明，但不作为对本发明的限定。
如图2所示，一种基于视觉的手眼式低伺服精度机器人抓取移动目标的方法，按照如下步骤进行：
步骤10通过手眼视觉系统摄像机捕捉得到目标物体相对于机械臂末端的位姿Tr即图像特征参数，通过机械臂的位置检测元件得到机械臂的当前的关节角θ。由机械臂的当前关节角度θ，可以计算机械臂当前的位姿Tm，则目标物体相对于机械臂基座坐标系的位姿Tt＝TmTr。将目标物体的姿态转变为欧拉角的形式，则目标物体相对于机械臂基座坐标系的位姿为Pt＝(xt，yt，zt，αt，βt，γt)(参见图3)。
步骤20笛卡儿空间位姿估计，应用卡尔曼滤波器，预测目标物体在下一个时钟周期在机械臂基座标系下的位姿。
步骤30对移动目标物体的抓取生成轨迹规划，根据预测的目标物体位姿及相对位姿，按照运动误差计算补偿公式得到机械臂的实际位姿输入值，生成轨迹规划，利用轨迹规划对机器人进行控制，机器人控制器控制机械臂接近目标物体实现抓取。
如图3所示，机械臂的实际到达的位姿
Figure GSB00000195790400041
将
Figure GSB00000195790400042
的姿态转化为欧拉角的形式，可得到机械臂的实际位姿为
Figure GSB00000195790400043
机械臂的期望位姿为
Figure GSB00000195790400044
将
Figure GSB00000195790400045
的姿态转化为欧拉角的形式，则机械臂期望位姿且
Figure GSB00000195790400047
其中ΔRi为第i次轨迹规划值相对于当前时刻机械臂末端的位姿的增量。机械臂的轨迹规划的输出位姿机械臂第i个时间周期的实际位姿与轨迹规划输出位姿的误差为了补偿误差，为i+1次规划的输出修正为为了更好的控制机械臂，可以用系数k乘以ΔDi，则k的值可由实验确定，一般取k＝1.0。
其中：
第i时间周期，机械臂末端的期望位姿，
Figure GSB000001957904000414
第i时间周期，机械臂末端的实际到达的位姿，
Figure GSB000001957904000415
第i时间周期，机械臂末端的实际位姿，
Figure GSB000001957904000416
第i时间周期，机械臂的期望位姿，
Figure GSB000001957904000417
第i时间周期，轨迹规划机械臂末端输出位姿，
ΔDi：第i时间周期，机械臂末端的期望位置与实际位置与的误差，
ΔRi：第i次轨迹规划的期望值相对于当前时刻机械臂末端的位姿
Figure GSB000001957904000418
的增量。
如图4-5所示，所述步骤30中的轨迹规划包括跟踪调节阶段9和抓取调节阶段8的轨迹规划；跟踪调节阶段9轨迹规划是使得机械臂末端由初始位置运动到目标物体前方的l处；抓取调节阶段8的轨迹规划是保证机械臂手爪6始终正对目标物体7的把手并接近目标物体，当目标物体与机械臂末端的相对位姿小到一定程度时，对目标物体7进行抓取。
跟踪调节阶段9：
如图4-5所示，根据视觉信息，机械臂在初始时刻，预测目标物体7下一个时间周期后的位置，并确定目标物体7位置前方l处的位姿
Figure GSB000001957904000419
用直线连接当前机械臂末端位置
Figure GSB000001957904000420
和
Figure GSB000001957904000421
选择该直线上一点记为
Figure GSB000001957904000422
保证机械臂下个时刻
Figure GSB000001957904000424
不超速。机械臂走完后，预测下一个时间周期的位姿，并确定目标物体7在该位姿下前方l的位姿
Figure GSB000001957904000425
用直线连接此时机械臂末端位姿
Figure GSB000001957904000426
和
Figure GSB000001957904000427
在该直线上选择一点
Figure GSB000001957904000428
取
Figure GSB000001957904000429
k为调节系数，一般取1.0，具体值可通过试验确定。用直线连接P1和
Figure GSB00000195790400051
开环规划该直线间路径。依次类推下面的点。当机械臂与在目标物体7前方l处附近一定范围内时，机械臂进入抓取调节阶段。
其中：
Figure GSB00000195790400052
i时刻预测的i+1个时钟周期目标物体7前方l的位姿。
抓取调节阶段8：
抓取调节阶段8的轨迹规划方法与跟踪调节阶段9规划算法类似，只是抓取调节阶段首先保证机械臂与目标物体7姿态一致，然后消除y方向误差，接着消除x方向误差，最后消除z方向误差。保证机械臂在抓取过程中与目标物体7不发生碰撞。
本发明一种基于视觉的手眼式低伺服精度机器人抓取移动目标的方法，能够对移动目标的抓取的轨迹生成规划提高抓取精度最终实现移动目标的抓取，解决了一直以来无法突破的低精度机械臂基于视觉伺服的技术难点。
以上所述的实施例，只是本发明较优选的具体实施方式的一种，本领域的技术人员在本发明技术方案范围内进行的通常变化和替换都应包含在本发明的保护范围内。

Claims (1)

1.一种基于视觉的手眼式低伺服精度机器人抓取移动目标的方法，其特征在于，按照如下步骤进行：
步骤10，机械臂上的摄像机捕捉目标物体的图像特征参数，根据得到的图像特征参数提取图像信息，并从图像信息估计目标物体与摄像机之间的相对位姿；
步骤20，应用卡尔曼滤波器，预测目标物体在下一个时钟周期在机械臂基座标系下的位姿；
步骤30，对移动目标物体的抓取生成轨迹规划，根据预测的下一时钟周期的目标物体位姿及机械臂末端当前位姿，按照运动误差计算补偿公式
Figure FSB00000195790300011
得到机械臂位姿的实际输入值，生成轨迹规划，机器人控制器控制机械臂接近目标物体实现抓取，其中，
Figure FSB00000195790300012
表示第i时间周期，轨迹规划机械臂末端输出位姿，
表示第i+1时间周期，轨迹规划机械臂末端输出位姿，
Figure FSB00000195790300014
表示第i时间周期，机械臂末端的实际位姿，
ΔDi表示第i时间周期，机械臂末端的期望位置与实际位置的误差，
ΔRi表示第i次轨迹规划的期望值相对于当前时刻机械臂末端的位姿
Figure FSB00000195790300015
的增量，
ΔRi+1表示第i+1次轨迹规划的期望值相对于当前时刻机械臂末端的位姿
Figure FSB00000195790300016
的增量，
k为调节系数，k的值由实验确定，取k＝1.0；
所述步骤30中的轨迹规划包括跟踪调节阶段和抓取调节阶段的轨迹规划；跟踪调节阶段轨迹规划是使得机械臂末端由初始位置运动到目标物体前方的l处；抓取调节阶段的轨迹规划是保证机械臂的手爪始终正对目标物体的把手并接近目标物体，当目标物体与机械臂末端的相对位姿小到一定程度时，对目标物体进行抓取。
CN2008102245629A 2008-10-20 2008-10-20 基于视觉的手眼式低伺服精度机器人抓取移动目标的方法 Expired - Fee Related CN101402199B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2008102245629A CN101402199B (zh) 2008-10-20 2008-10-20 基于视觉的手眼式低伺服精度机器人抓取移动目标的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2008102245629A CN101402199B (zh) 2008-10-20 2008-10-20 基于视觉的手眼式低伺服精度机器人抓取移动目标的方法

Publications (2)

Publication Number Publication Date
CN101402199A CN101402199A (zh) 2009-04-08
CN101402199B true CN101402199B (zh) 2011-01-26

Family

ID=40536432

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2008102245629A Expired - Fee Related CN101402199B (zh) 2008-10-20 2008-10-20 基于视觉的手眼式低伺服精度机器人抓取移动目标的方法

Country Status (1)

Country Link
CN (1) CN101402199B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107030699A (zh) * 2017-05-18 2017-08-11 广州视源电子科技股份有限公司 位姿误差修正方法及装置、机器人及存储介质

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101943916B (zh) * 2010-09-07 2012-09-26 陕西科技大学 一种基于卡尔曼滤波器预测的机器人避障方法
CN102126221B (zh) * 2010-12-23 2012-03-28 中国科学院自动化研究所 一种基于图像信息的机械手抓取物体的方法
CN102120326B (zh) * 2011-01-14 2012-11-28 常州大学 一种基于图像处理技术的机器手抓握滑移检测方法及装置
KR101337650B1 (ko) 2011-11-02 2013-12-05 삼성중공업 주식회사 실시간 위빙 모션 제어 장치 및 그 방법
CN102608969B (zh) * 2012-03-02 2014-04-23 北京理工大学 基于红外光学定位的串联型机器人手眼配准控制方法
CN102645932A (zh) * 2012-04-27 2012-08-22 北京智能佳科技有限公司 一种远程控制的导购机器人
CN102825612A (zh) * 2012-08-24 2012-12-19 华南理工大学 一种具有位姿自主检测功能的夹持器模块
CN103112015B (zh) * 2013-01-29 2015-03-04 山东电力集团公司电力科学研究院 一种适用于工业机器人的操作物位置姿态识别方法
JP5765355B2 (ja) 2013-03-18 2015-08-19 株式会社安川電機 ロボットピッキングシステム及び被加工物の製造方法
CN103325106B (zh) * 2013-04-15 2015-11-25 浙江工业大学 基于LabVIEW的运动工件分拣方法
CN103900561B (zh) * 2014-04-11 2016-09-28 西北工业大学 一种空间绳系机器人中远距离逼近位置估计方法
CN104149103A (zh) * 2014-08-21 2014-11-19 安徽埃夫特智能装备有限公司 一种机器人电控系统
CN105014667B (zh) * 2015-08-06 2017-03-08 浙江大学 一种基于像素空间优化的相机与机器人相对位姿标定方法
CN105033997B (zh) * 2015-09-15 2017-06-13 北京理工大学 一种仿人机器人快速作业全身规划及控制方法
CN105773619A (zh) * 2016-04-26 2016-07-20 北京光年无限科技有限公司 用于实现人形机器人抓取行为的电控系统和人形机器人
CN107343680B (zh) * 2016-05-05 2020-02-07 所罗门股份有限公司 自动穿鞋带的方法及设备
CN106003036A (zh) * 2016-06-16 2016-10-12 哈尔滨工程大学 一种基于双目视觉引导的物体抓取与放置系统
TWI614103B (zh) * 2016-10-21 2018-02-11 和碩聯合科技股份有限公司 機械手臂定位方法及應用其的系統
CN107363837A (zh) * 2017-09-08 2017-11-21 桂林加宏汽车修理有限公司 一种机械手控制系统及控制机械手捕获物体的方法
CN107728778B (zh) * 2017-09-14 2020-12-04 北京航空航天大学 一种基于伺服机构的主动力触觉反馈系统及其工作方法
CN107696033B (zh) * 2017-09-18 2020-04-10 北京控制工程研究所 一种基于视觉测量的空间机械臂轨迹滚动规划方法
CN109955244B (zh) * 2017-12-26 2020-12-15 深圳市优必选科技有限公司 一种基于视觉伺服的抓取控制方法、装置和机器人
CN109108966B (zh) * 2018-08-14 2021-07-30 中民筑友科技投资有限公司 一种基于视觉识别的钢筋网片抓取控制方法
CN109344707A (zh) * 2018-08-29 2019-02-15 博瓦（武汉）科技有限公司 一种应用于手眼机械臂系统的轻量的快速目标检测方法
CN110906932B (zh) * 2018-09-18 2023-05-12 上海沃迪智能装备股份有限公司 一种动态物料追随拾捡轨迹的生成方法
CN112109074A (zh) * 2020-02-21 2020-12-22 深圳市三宝创新智能有限公司 一种机器人目标图像抓取方法
CN113551661A (zh) * 2020-04-23 2021-10-26 曰轮法寺 位姿识别、轨迹规划方法、装置、系统、存储介质及设备
CN112847334B (zh) * 2020-12-16 2022-09-23 北京无线电测量研究所 一种基于视觉伺服的机械臂目标跟踪方法
CN112936279B (zh) * 2021-02-10 2023-09-19 大连理工大学 一种移动作业机器人目标抓取作业最短时间求解方法
CN114083545B (zh) * 2022-01-24 2022-07-01 之江实验室 一种基于视觉感知的运动物体机器人抓取方法及装置
CN114643598B (zh) * 2022-05-13 2022-09-13 北京科技大学 一种基于多信息融合的机械臂末端位置估计方法
CN115556102B (zh) * 2022-10-12 2024-03-12 华南理工大学 一种基于视觉识别的机器人分拣规划方法及规划设备
CN116372942B (zh) * 2023-06-06 2023-08-01 佛山隆深机器人有限公司 机器人关节补偿方法、装置、电子设备及可读存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107030699A (zh) * 2017-05-18 2017-08-11 广州视源电子科技股份有限公司 位姿误差修正方法及装置、机器人及存储介质

Also Published As

Publication number Publication date
CN101402199A (zh) 2009-04-08

Similar Documents

Publication Publication Date Title
CN101402199B (zh) 基于视觉的手眼式低伺服精度机器人抓取移动目标的方法
CN109159151B (zh) 一种机械臂空间轨迹跟踪动态补偿方法和系统
CN108674922B (zh) 一种用于机器人的传送带同步跟踪方法、装置及系统
CN107121977B (zh) 基于双层结构的机械臂执行器故障容错控制系统及其方法
JP4265088B2 (ja) ロボット装置及びその制御方法
CN107627303B (zh) 一种基于眼在手上结构的视觉伺服系统的pd-smc控制方法
CN105772917B (zh) 一种三关节点焊机器人轨迹跟踪控制方法
Senoo et al. High-speed batting using a multi-jointed manipulator
Wen et al. Elman fuzzy adaptive control for obstacle avoidance of mobile robots using hybrid force/position incorporation
CN112947293B (zh) 基于滑模的机械臂安全轨迹跟踪控制方法
CN114952868B (zh) 7自由度srs型机械臂控制方法及装置、弹琴机器人
CN108356823A (zh) 具有学习控制功能的控制系统以及控制方法
CN109623812B (zh) 考虑航天器本体姿态运动的机械臂轨迹规划方法
CN110053044B (zh) 一种并联机器人串类水果夹取无模型自适应光滑滑模阻抗控制方法
CN105549383B (zh) 直线电机精密轨迹跟踪装置及方法
CN111805547B (zh) 一种轨迹动态跟踪实现方法
CN102385342A (zh) 虚拟轴机床并联机构运动控制的自适应动态滑模控制方法
CN115781685A (zh) 一种基于强化学习的高精度机械臂控制方法及系统
CN114942593A (zh) 一种基于干扰观测器补偿的机械臂自适应滑模控制方法
CN114179089A (zh) 一种机械臂的鲁棒区域跟踪控制方法
CN114355771A (zh) 协作机器人力位混合控制方法及系统
Su et al. Robotic inserting a moving object using visual-based control with time-delay compensator
CN116604565A (zh) 一种机器人可变导纳的力引导控制方法及系统
CN114378830B (zh) 一种机器人腕关节奇异规避方法及系统
Keshmiri et al. Augmented online point to point trajectory planning, a new approach in catching a moving object by a manipulator

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20110126

Termination date: 20201020