CN106737665B - 基于双目视觉和sift特征匹配的机械臂控制系统及实现方法 - Google Patents

基于双目视觉和sift特征匹配的机械臂控制系统及实现方法 Download PDF

Info

Publication number
CN106737665B
CN106737665B CN201611080602.8A CN201611080602A CN106737665B CN 106737665 B CN106737665 B CN 106737665B CN 201611080602 A CN201611080602 A CN 201611080602A CN 106737665 B CN106737665 B CN 106737665B
Authority
CN
China
Prior art keywords
mechanical arm
image
coordinate system
target
crawl
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201611080602.8A
Other languages
English (en)
Other versions
CN106737665A (zh
Inventor
刘强
王琳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University
Original Assignee
Tianjin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University filed Critical Tianjin University
Priority to CN201611080602.8A priority Critical patent/CN106737665B/zh
Publication of CN106737665A publication Critical patent/CN106737665A/zh
Application granted granted Critical
Publication of CN106737665B publication Critical patent/CN106737665B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及机械臂控制技术领域，尤其涉及一种基于双目视觉和SIFT特征匹配的机械臂控制系统及实现方法。该系统包括SoC嵌入式平台、机械臂及双目视觉传感器；所述双目视觉传感器通过USB接口与所述SoC嵌入式平台相连接，所述SoC嵌入式平台通过I/O控制接口与所述机械臂相连接。该实现方法主要步骤包括：参数标定、采集图像、初始化、目标识别截取目标匹配模板、确定抓取范围、调节末端位置、定位机械臂、抓取目标以及使用特征匹配定位已抓取目标。该系统以嵌入式SoC作为运算控制中心，融合基于双目视觉的立体匹配算法和SIFT特征匹配算法，实现实时精确控制。

Description

基于双目视觉和SIFT特征匹配的机械臂控制系统及实现方法
技术领域
本发明涉及机械臂控制技术领域，特别涉及一种基于双目视觉和SIFT特征匹配的机械臂控制系统及实现方法。
背景技术
传统物流有七大组成部分：运输、仓储、包装、搬运装卸、流通加工、配送以及相关的物流信息等环节。搬运装卸作为物流中的重要环节，消耗大量的人力，造成不必要的人力与时间浪费，制约物流运输速度的发展。在物流的搬运装卸环节使用机械臂进行工作，可以减轻工人的劳动强度，也能大大提高劳动效率。同时使用摄像头等视觉传感器作为系统的主要传感器，可以得到更多的信息，有利于系统高效、稳定地进行工作。
手眼系统(Hand-Eye System)是由摄像头和机械臂构成的机器人视觉系统，其分为Eye-in-Hand系统(摄像头随机械臂末端运动)和Eye-to-Hand系统(摄像头固定不动)。其中Eye-in-Hand系统在工业机器人中应用比较广泛，但在实际应用中，系统的视野处在变化之中，不能保证目标一直在视场中，有时会存在丢失目标现象，实时性较差。
目前已有的机械臂多使用PC主机或是针对某一特殊需求、采用特定的软硬件架构解决相应问题，不仅普适性差，而且往往成本高昂，需要大量的资源，并且功耗大。而且在运算与控制过程中，使用单目视觉来计算三维坐标，使用基于灰度的图像匹配算法来识别目标，精度较低，易受光照干扰，同时匹配算法需要预先存储大量模板，匹配过程耗时长。
发明内容
本发明的目的在于克服机械臂系统抓取过程中存在的技术不足，提供一种基于双目视觉和SIFT特征匹配的机械臂控制系统及实现方法,该系统以嵌入式SoC作为运算控制中心，融合基于双目视觉的立体匹配算法和SIFT特征匹配算法，实现实时精确控制。
本发明的基于双目视觉和SIFT特征匹配的机械臂控制系统，包括SoC嵌入式平台、机械臂及双目视觉传感器；所述双目视觉传感器通过USB接口与所述SoC嵌入式平台相连接，所述SoC嵌入式平台通过I/O控制接口与所述机械臂相连接；所述机械臂与所述双目视觉传感器组成Eye-to-Hand系统，并同时与SoC嵌入式平台连接，进行信息传输及控制；所述双目视觉传感器采集图像信息并传输给所述SoC嵌入式平台，所述SoC嵌入式平台完成相应计算，控制所述机械臂抓取目标；所述双目视觉传感器为双目摄像头。
本发明的另一技术方案是基于双目视觉和SIFT特征匹配的机械臂控制系统的实现方法,包括以下步骤:
S1:摄像头和机械臂参数标定；
S2：摄像头采集机械臂图像，截取机械臂末端图像作为匹配模板；
S3：初始化机械臂，使机械臂末端处于机械臂坐标系原点位置；
S4：对图像中的目标进行识别，摄像头采集识别目标，并截取目标匹配模板；
S5：使用立体匹配算法，定位待抓取目标在图像中的位置，以定位的待抓取目标上边缘点为中心，确定抓取范围；
S6：转化坐标系信息，调节机械臂末端位置；
S7：采集图像，使用立体匹配算法和SIFT特征匹配算法，定位机械臂末端在图像中的位置，将定位的机械臂末端的中心位置与上述S5中确定的抓取范围作比较，若机械臂末端的中心位置处于抓取范围内，则符合抓取条件，进入S8，否则回到上述S6；
S8：控制机械臂抓取目标采集抓取后的图像；
S9：采集图像，通过SIFT特征匹配算法，定位待抓取目标在图像中的位置，若判定成功抓取，则进行搬运，否则回到上述S4重新计算。
所述S1中参数标定包括图像坐标系和机械臂坐标系两部分，所述图像坐标系和机械臂坐标系之间可相互转换。
所述图像坐标系以图像左上角为坐标原点，向右为x轴正方向，向下为y轴正方向，摄像头平面到待抓取物体方向为z轴正方向；所述机械臂坐标系以初始状态下的机械臂末端为坐标原点，垂直向左为x轴正方向，垂直向上为y轴正方向，垂直向前为z轴正方向。
所述S2中截取的机械臂末端图像作为匹配模板为系统中永久存储的唯一模板。
所述S4中摄像头实时采集待抓取目标的匹配模板，抓取完成后立即删除。
所述S5中立体匹配算法是对识别出的抓取目标进行计算。
所述S6坐标系转换关系函数为：
其中：x，y，z为机械臂坐标系；x′，y′，z′为图像坐标系；x′min为图像坐标系中心坐标；α，β，y′t标定后的转换系数，与z′有关。
所述S7中立体匹配算法仅对机械臂末端进行计算,并通过SIFT匹配点计算平均距离。
所述S7中定位机械臂末端和S9中SIFT特征匹配算法定位待抓取目标，所采用SIFT特征匹配算法具体包括：
(1)在实时采集的图像与模板图像中寻找特征点并匹配；
(2)根据匹配结果，寻找匹配最高的n个特征匹配点；
(3)计算两幅图像的特征代表点，计算公式为：
其中xi，yi为每个特征匹配点在图像坐标系中的坐标
(4)使用上述(3)步计算得到的代表点来判断待识别物体或机械臂末端在图像坐标系中的位置。
本发明的有益效果：
1、与PC主机和特定的软硬件架构相比，使用SoC嵌入式系统作为整个系统的运算与控制中心，可以减少系统功耗，同时针对某一特殊需求可以对软件或硬件进行调整、升级，较灵活。
2、与Eye-in-Hand系统相比，使用Eye-to-Hand系统，可以简化坐标系转换过程的计算复杂度，同时目标不易丢失，可以提高系统的实时性。
3、与单目视觉中常用的小孔模型相比，使用双目视觉的立体匹配算法，可以获得更高的精度。
4、与基于灰度的图像匹配算法相比，使用sift特征匹配算法对物体进行定位，一定程度上减少光照对运算结果的影响，提高计算的精度。
5、传统的匹配算法需要事先存储大量匹配模板，本发明在识别物体后，在线截取匹配模板，可以降低存储空间需求，提高匹配速度。
附图说明
图1为本发明控制系统组成框图。
图2为本发明控制系统各部件相对位置示意图
图3为本发明控制方法流程图。
图4为本发明图像坐标系示意图。
图5为本发明机械臂坐标系示意图。
具体实施方式
下面通过具体实施例和附图对本发明作进一步的说明。本发明的实施例是为了更好地使本领域的技术人员更好地理解本发明，并不对本发明作任何的限制。
如图1所示，本发明的基于双目视觉和SIFT特征匹配的机械臂控制系统，包括SoC嵌入式平台、机械臂及双目视觉传感器；所述双目视觉传感器通过USB接口与所述SoC嵌入式平台相连接，所述SoC嵌入式平台通过I/O控制接口与所述机械臂相连接；所述机械臂与所述双目视觉传感器组成Eye-to-Hand系统，并同时与SoC嵌入式平台连接，进行信息传输及控制；所述双目视觉传感器采集图像信息并传输给所述SoC嵌入式平台，所述SoC嵌入式平台完成相应计算，控制所述机械臂抓取目标；本发明的双目视觉传感器为双目摄像头，本发明的基于双目视觉和SIFT特征匹配的机械臂控制系统各部件相对位置示意图如图2所示。
如图3所示，基于双目视觉和SIFT特征匹配的机械臂控制系统的实现方法,包括以下步骤:
S1:摄像头和机械臂参数标定；参数标定包括图像坐标系和机械臂坐标系两部分，所述图像坐标系和机械臂坐标系之间可相互转换；如图4所示，图像坐标系以图像左上角为坐标原点，向右为x轴正方向，向下为y轴正方向，摄像头平面到待抓取物体方向为z轴正方向；如图5所示，机械臂坐标系以初始状态下的机械臂末端为坐标原点，垂直向左为x轴正方向，垂直向上为y轴正方向，垂直向前为z轴正方向。
S2：摄像头采集机械臂图像，截取机械臂末端图像作为匹配模板；截取的机械臂末端图像作为匹配模板为系统中永久存储的唯一模板。
S3：初始化机械臂，使机械臂末端处于机械臂坐标系原点位置。
S4：对图像中的目标进行识别，摄像头采集识别目标，并截取目标匹配模板；摄像头实时采集待抓取目标的匹配模板，抓取完成后立即删除。
S5：使用立体匹配算法，定位待抓取目标在图像中的位置，以定位的待抓取目标上边缘点为中心，确定抓取范围；该立体匹配算法是对识别出的抓取目标进行计算。
S6：转化坐标系信息，调节机械臂末端位置；坐标系转换关系为：图像坐标系z轴和机械臂坐标系z轴正方向一致，且z轴原点距离保持不变；图像坐标系x轴正方向与机械臂坐标系x轴正方向相反，图像坐标系y轴正方向与机械臂坐标系y轴正方向相反。
所述S6坐标系转换关系函数为：
其中：x，y，z为机械臂坐标系；x′，y′，z′为图像坐标系；x′min为图像坐标系中心坐标；α，β，y′t标定后的转换系数，与z′有关。
S7：采集图像，使用立体匹配算法和SIFT特征匹配算法，定位机械臂末端在图像中的位置，将定位的机械臂末端中心位置与上述S5中确定的抓取范围作比较，若机械臂末端的中心位置处于抓取范围内，则符合抓取条件，进入S8，否则回到上述S6；该立体匹配算法仅对机械臂末端进行计算，并通过SIFT匹配点计算平均距离。
S8：控制机械臂抓取目标采集抓取后的图像。
S9：采集图像，通过SIFT特征匹配算法，定位待抓取目标在图像中的位置，若判定成功抓取，则进行搬运，否则回到上述S4重新计算。
上述S7中定位机械臂末端和S9中定位待抓取目标，所采用SIFT特征匹配算法具体包括：
(1)在实时采集的图像与模板图像中寻找特征点并匹配；
(2)根据匹配结果，寻找匹配最高的n个特征匹配点；
(3)计算两幅图像的特征代表点，计算公式为：
其中xi，yi为每个特征匹配点在图像坐标系中的坐标
(4)使用上述(3)步计算得到的代表点来判断待识别物体或机械臂末端在图像坐标系中的位置。
应当理解的是，这里所讨论的实施方案及实例只是为了说明，对本领域技术人员来说，可以加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (9)

1.基于双目视觉和SIFT特征匹配的机械臂控制系统的实现方法,其特征在于，包括以下步骤:
S1:摄像头和机械臂参数标定；
S2：摄像头采集机械臂图像，截取机械臂末端图像作为匹配模板；
S3：初始化机械臂，使机械臂末端处于机械臂坐标系原点位置；
S4：对图像中的目标进行识别，摄像头采集识别目标，并截取目标匹配模板；
S5：使用立体匹配算法，定位待抓取目标在图像中的位置，以定位的待抓取目标上边缘点为中心，确定抓取范围；
S6：转化坐标系信息，调节机械臂末端位置；
S7：采集图像，使用立体匹配算法和SIFT特征匹配算法，定位机械臂末端在图像中的位置，将定位的机械臂末端的中心位置与上述S5中确定的抓取范围作比较，若机械臂末端的中心位置处于抓取范围内，则符合抓取条件，进入S8，否则回到上述S6；
S8：控制机械臂抓取目标采集抓取后的图像；
S9：采集图像，通过SIFT特征匹配算法，定位待抓取目标在图像中的位置，若判定成功抓取，则进行搬运，否则回到上述S4重新计算。
2.根据权利要求1所述的方法,其特征在于，所述S1中参数标定包括图像坐标系和机械臂坐标系两部分，所述图像坐标系和机械臂坐标系之间可相互转换。
3.根据权利要求2所述的方法,其特征在于，所述图像坐标系以图像左上角为坐标原点，向右为x轴正方向，向下为y轴正方向，摄像头平面到待抓取物体方向为z轴正方向；所述机械臂坐标系以初始状态下的机械臂末端为坐标原点，垂直向左为x轴正方向，垂直向上为y轴正方向，垂直向前为z轴正方向。
4.根据权利要求1所述的方法,其特征在于，所述S2中截取的机械臂末端图像作为匹配模板为系统中永久存储的唯一模板。
5.根据权利要求1所述的方法,其特征在于，所述S4中摄像头实时采集待抓取目标的匹配模板，抓取完成后立即删除。
6.根据权利要求1所述的方法,其特征在于，所述S5中立体匹配算法是对识别出的抓取目标进行计算。
7.根据权利要求1所述的方法,其特征在于，所述S6坐标系转换关系函数为：
其中：x，y，z为机械臂坐标系；x′，y′，z′为图像坐标系；x′min为图像坐标系中心坐标；α，β，y′t标定后的转换系数，与z′有关。
8.根据权利要求1所述的方法,其特征在于，所述S7中立体匹配算法仅对机械臂末端进行计算，并通过SIFT匹配点计算平均距离。
9.根据权利要求1所述的方法,其特征在于，所述S7中定位机械臂末端和S9中定位待抓取目标，所采用的SIFT特征匹配算法具体包括：
(1)在实时采集的图像与模板图像中寻找特征点并匹配；
(2)根据匹配结果，寻找匹配最高的n个特征匹配点；
(3)计算两幅图像的特征代表点，计算公式为：
其中xi，yi为每个特征匹配点在图像坐标系中的坐标
(4)使用上述(3)计算得到的代表点来判断待识别物体或机械臂末端在图像坐标系中的位置。
CN201611080602.8A 2016-11-30 2016-11-30 基于双目视觉和sift特征匹配的机械臂控制系统及实现方法 Active CN106737665B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611080602.8A CN106737665B (zh) 2016-11-30 2016-11-30 基于双目视觉和sift特征匹配的机械臂控制系统及实现方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611080602.8A CN106737665B (zh) 2016-11-30 2016-11-30 基于双目视觉和sift特征匹配的机械臂控制系统及实现方法

Publications (2)

Publication Number Publication Date
CN106737665A CN106737665A (zh) 2017-05-31
CN106737665B true CN106737665B (zh) 2019-07-19

Family

ID=58901246

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611080602.8A Active CN106737665B (zh) 2016-11-30 2016-11-30 基于双目视觉和sift特征匹配的机械臂控制系统及实现方法

Country Status (1)

Country Link
CN (1) CN106737665B (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107315410B (zh) * 2017-06-16 2020-05-29 江苏科技大学 一种机器人自动排障方法
CN107443369A (zh) * 2017-06-25 2017-12-08 重庆市计量质量检测研究院 一种基于视觉测量模型逆辨识的机器臂无标定伺服控制方法
CN107825436B (zh) * 2017-11-28 2021-02-12 北京科技大学 一种智能漆面护理机器人及利用其进行漆面护理的方法
CN107825125B (zh) * 2017-11-30 2023-06-23 中国地质大学（武汉） 一种基于视觉伺服的螺孔定位及锁卸螺丝装置
CN108500979B (zh) * 2018-03-10 2020-10-27 彭惠平 一种基于相机通讯连接的机器人抓取方法及其系统
CN108942929B (zh) * 2018-07-10 2020-11-27 广东电网有限责任公司广州供电局 基于双目立体视觉的机械臂定位抓取的方法及装置
CN109631829B (zh) * 2018-12-17 2022-05-27 南京理工大学 一种自适应快速匹配的双目测距方法
CN109993763B (zh) * 2019-03-28 2021-10-08 北京理工大学 基于图像识别与力反馈融合的探测器定位方法及系统
CN110142765A (zh) * 2019-05-17 2019-08-20 深圳市皕像科技有限公司 一种加工橡胶塞的方法、装置及系统
CN110303468A (zh) * 2019-05-24 2019-10-08 广东电网有限责任公司 一种双体机器人就地操作高压断路器分合闸方法及系统
CN110751691B (zh) * 2019-09-24 2022-09-20 同济大学 一种基于双目视觉的管件自动抓取方法
CN112067337B (zh) * 2020-09-21 2022-09-23 郑州轻工业大学 基于标准球双目机器人的快速手眼标定装置及标定方法
CN112743524B (zh) * 2021-01-27 2022-11-25 上海应用技术大学 一种标靶装置、基于双目视觉测量的位姿检测系统及方法
CN114589698B (zh) * 2022-04-07 2023-06-06 北京信息科技大学 基于多目标视觉测量和机器学习的机械臂无模型实时标定方法及装置
CN114516055B (zh) * 2022-04-07 2023-06-06 北京信息科技大学 基于双目视觉和深度学习的机械臂不停工实时标定方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103918636A (zh) * 2014-04-29 2014-07-16 青岛农业大学 基于图像处理的智能喷药方法及喷药机器人
JP2015089598A (ja) * 2013-11-06 2015-05-11 セイコーエプソン株式会社 教示装置、ロボット、ロボットシステム、方法、及びプログラム
CN205255008U (zh) * 2015-12-21 2016-05-25 四川农业大学 一种平衡式机械臂控制装置
CN105666485A (zh) * 2016-03-28 2016-06-15 桂林电子科技大学 一种基于图像处理的自动识别和定位摆棋机器人
CN105835060A (zh) * 2016-05-23 2016-08-10 先驱智能机械（深圳）有限公司 控制方法、控制装置及机械手系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015089598A (ja) * 2013-11-06 2015-05-11 セイコーエプソン株式会社 教示装置、ロボット、ロボットシステム、方法、及びプログラム
CN103918636A (zh) * 2014-04-29 2014-07-16 青岛农业大学 基于图像处理的智能喷药方法及喷药机器人
CN205255008U (zh) * 2015-12-21 2016-05-25 四川农业大学 一种平衡式机械臂控制装置
CN105666485A (zh) * 2016-03-28 2016-06-15 桂林电子科技大学 一种基于图像处理的自动识别和定位摆棋机器人
CN105835060A (zh) * 2016-05-23 2016-08-10 先驱智能机械（深圳）有限公司 控制方法、控制装置及机械手系统

Also Published As

Publication number Publication date
CN106737665A (zh) 2017-05-31

Similar Documents

Publication Publication Date Title
CN106737665B (zh) 基于双目视觉和sift特征匹配的机械臂控制系统及实现方法
CN109344882B (zh) 基于卷积神经网络的机器人控制目标位姿识别方法
CN110580725A (zh) 一种基于rgb-d相机的箱体分拣方法及系统
CN111089569B (zh) 一种基于单目视觉的大型箱体测量方法
CN108555908A (zh) 一种基于rgbd相机的堆叠工件姿态识别及拾取方法
CN110211180A (zh) 一种基于深度学习的机械臂自主抓取方法
CN106650701B (zh) 基于双目视觉的室内阴影环境下障碍物检测方法及装置
CN106041937A (zh) 一种基于双目立体视觉的机械手抓取控制系统的控制方法
CN107192331A (zh) 一种基于双目视觉的工件抓取方法
CN114912287B (zh) 基于目标6d位姿估计的机器人自主抓取仿真系统及方法
CN113379849B (zh) 基于深度相机的机器人自主识别智能抓取方法及系统
CN109493313B (zh) 一种基于视觉的钢卷定位方法及设备
TWI607814B (zh) 即時三維建模之雷射飛行打標系統及其方法
WO2019228523A1 (zh) 物体空间位置形态的确定方法、装置、存储介质及机器人
CN112734844B (zh) 一种基于正八面体的单目6d位姿估计方法
Xia et al. Workpieces sorting system based on industrial robot of machine vision
CN115213896A (zh) 基于机械臂的物体抓取方法、系统、设备及存储介质
CN112372641B (zh) 一种基于视觉前馈与视觉反馈的家庭服务机器人物品抓取方法
Fan et al. A combined 2D-3D vision system for automatic robot picking
EP4023398A1 (en) Information processing device, configuration device, image recognition system, robot system, configuration method, learning device, and learned model generation method
CN113269723A (zh) 三维视觉定位与机械手协同工作的零部件无序抓取系统
CN109579698B (zh) 一种智能货物检测系统及其检测方法
CN114494463A (zh) 一种双目立体视觉技术机器人分拣方法及装置
CN117021099A (zh) 一种面向任意物体基于深度学习和图像处理的人机交互方法
CN114187312A (zh) 目标物的抓取方法、装置、系统、存储介质及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant