CN107433573B - 智能双目自动抓取机械臂 - Google Patents

智能双目自动抓取机械臂 Download PDF

Info

Publication number
CN107433573B
CN107433573B CN201710786252.5A CN201710786252A CN107433573B CN 107433573 B CN107433573 B CN 107433573B CN 201710786252 A CN201710786252 A CN 201710786252A CN 107433573 B CN107433573 B CN 107433573B
Authority
CN
China
Prior art keywords
mechanical arm
control module
steering engine
main control
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710786252.5A
Other languages
English (en)
Other versions
CN107433573A (zh
Inventor
林森阳
魏国亮
王博
李玉齐
鲍海锋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Shanghai for Science and Technology
Original Assignee
University of Shanghai for Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Shanghai for Science and Technology filed Critical University of Shanghai for Science and Technology
Priority to CN201710786252.5A priority Critical patent/CN107433573B/zh
Publication of CN107433573A publication Critical patent/CN107433573A/zh
Application granted granted Critical
Publication of CN107433573B publication Critical patent/CN107433573B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Manipulator (AREA)

Abstract

本发明涉及一种智能双目自动抓取机械臂，视觉模块通过双目摄像头自动拍摄进入双目摄像头视角的物体，将拍摄的RGB图像信号输入主控模块，由主控模块将RGB图像转换成视差图，获取目标物体深度信息，并将目标物体转换成一个具有中心点且带半径的包络球体模型；主控模块输出控制信号给机械臂舵机驱动控制模块，控制机械臂舵机驱动控制模块驱动机械臂模块中的机械臂的舵机开始运转、调整，从而使得从目标物体提取的包络线球体模型到达双目摄像头镜头的正中央，使机械臂的末端夹持器对准物体，再利用DH法计算出的末端目标位置信息进行信息融合，从而进一步提高精度，使得该机械臂抓取系统能够更加精确的找到目标，并高效的完成抓取任务。

Description

智能双目自动抓取机械臂
技术领域
本发明涉及一种智能抓取机械臂系统，尤其是一种结合双目视觉伺服、带自跟踪的智能抓取机械臂系统，属于智能抓取机械臂技术领域。
背景技术
自从上世纪五十年代第一台具有现代意义的机械臂诞生以来，机械臂已经发展成为了一种精确可靠的、具有冗余自由度的机械设备，并且在各种工业生产中扮演着及其重要的角色，此类机械臂能机械的完成固定的动作或者精确的按照固定的轨迹运行，但在医疗或者勘探等领域中，由于对象的情况、周围环境是复杂多变的，我们不可能像在工业生产中对机械臂的动作提前进行设计与安排，这样传统机械臂就无法胜任当前的工作了，所以机械臂是否能够自行处理特定的对象就变得十分重要。
目前市面上的类似的机械臂抓取系统主要是通过测算待抓目标的坐标，而夹持器姿态基本是通过经验尝试，这类系统很难准确高效的完成任务。因此，需要设计一种通过将视觉伺服与机械臂相结合的带有自动抓取功能的机械臂系统，有了这套系统，就能通过摄像头自行识别出目标物体，然后指引机械臂对其进行抓取，那么在一些人类无法实时控制的场景或者无法及时预测对象的情况下，能够完成相关的任务，目前市场上也有类似的系统，但由于视觉伺服与机械臂的系统是成开环状态，要抓的精准必须对硬件有很高的要求，而该系统是基于闭环设计的，并具有自主修正能力，大大提高了抓取精度与效率。
发明内容
本发明是要提供一种智能双目自动抓取机械臂，用于在无人为干预以及无法及时预测对象的情况下，自行搜索并识别物体，然后控制机械臂准确高效的对其完成抓取工作。
为实现上述目的，本发明的技术方案：一种智能双目自动抓取机械臂，包括主控模块、机械臂模块、机械臂舵机驱动控制模块、视觉模块、供电模块，所述视觉模块通过安装在机械臂上的双目摄像头自动拍摄进入双目摄像头视角的物体，并将拍摄的RGB图像信号输入主控模块，由主控模块将RGB图像转换成视差图，从而获取目标物体深度信息，并通过点聚类计算将目标物体转换成一个具有中心点且带半径的包络球体模型；主控模块输出控制信号给机械臂舵机驱动控制模块，控制机械臂舵机驱动控制模块驱动机械臂模块中的机械臂的舵机开始运转、调整，从而使得从目标物体提取的包络线球体模型到达双目摄像头镜头的正中央，使机械臂的末端夹持器对准物体，完成机械臂的末端夹持器的姿态信息的获取，再由主控模块通过计算得到该待抓取物体中心点相对于双目摄像头的坐标信息，并通过DH法，将这组坐标信息转换为物体中心点相对于机械臂的底座的坐标信息，然后，通过机械臂逆运动学解算出机械臂末端到达目标点位时机械臂的每个舵机相对应的转动角度位置，并将机械臂的初始位置与目标位置之间的轨迹进行归一化处理，从而使得机械臂的末端夹持器可以延一条直线到达目标，主控模块将轨迹点的位置信息指令发送给机械臂舵机驱动控制模块，控制机械臂的各舵机进行工作，从而让物体包络线中心点落在双目摄像头的镜头中心。
所述机械臂模块包括夹持器、四个舵机、底座舵机，所述夹持器为四爪夹持器，并依次通过四个舵机连接底座舵机，四爪夹持器上装有双目摄像头，底座舵机通过机械臂舵机驱动控制模块连接主控模块，双目摄像头连接主控模块，机械臂舵机驱动控制模块、主控模块和双目摄像头连接供电模块。
所述主控模块为上位机微处理器，所述机械臂舵机驱动控制模块为下位机舵机驱动控制板，所述供电模块为蓄电池。
本发明的有益效果是：
本发明利用了目标识别跟踪的方法来计算机械臂末端夹持器的姿态信息与待测目标的深度信息，并且能够不断的实时修正偏移量，然后再与利用DH法计算出的末端目标位置信息进行信息融合，从而进一步提高精度，使得该机械臂抓取系统能够更加精确的找到目标，并高效的完成抓取任务。
本发明的优点：与视觉伺服相结合的闭环控制，具有不断修正偏移量的能力，结构简单，高效精准，另外本发明属于初代设计，如果进行防水工艺优化，或者对夹持器进行优化或者器件改装，可以适用于水下勘探作业或者其他特种作业（空间站使用、医疗等），市场前景十分广阔。
附图说明
图1是本发明的智能双目自动抓取机械臂的主体结构图；
图2是本发明的智能双目自动抓取机械臂的系统框图；
图3是本发明的智能双目自动抓取机械臂的程序流程框图。
具体实施方式
下面结合附图和实施例对本发明进一步说明，
如图2，3所示，一种智能双目自动抓取机械臂，包括主控模块、机械臂模块、机械臂舵机驱动控制模块、视觉模块、供电模块。
将待抓取目标至于机械臂的工作空间内后，将对其发送抓取触发指令，那么安装在机械臂上的微型双目摄像头就会自动根据颜色扫描，当检测物体进入双目摄像头的视角后，双目摄像头自动拍摄进入双目摄像头视角的物体，并将拍摄的RGB图像信号输入主控模块，由主控模块将RGB图像转换成视差图，从而获取目标物体深度信息，并通过点聚类计算将目标物体转换成一个具有中心点且带半径的包络球体模型；主控模块输出控制信号给机械臂舵机驱动控制模块，控制机械臂舵机驱动控制模块驱动机械臂模块中的机械臂的舵机开始运转、调整，从而使得从目标物体提取的包络线球体模型到达双目摄像头镜头的正中央，使机械臂的末端夹持器对准物体，完成机械臂的末端夹持器的姿态信息的获取，也就是说夹持器处于该方向时，最有可能抓到物体，那么姿态信息就成功获取了。同时还可以通过计算得到该待抓取物体中心点相对于双目摄像头的坐标信息，然后通过DH法（Denavit-Hartenberg Matrix，一种用来推导机械臂末端执行器相对于基坐标系位姿的方法），将这组信息转换为物体中心点相对于机械臂底座的坐标信息，然后系统将这组坐标信息进行处理，通过机械臂逆运动学解算出机械臂末端到达目标点位时每个舵机相对应得转动角度位置，并通过主控模块将机械臂初始位置与目标位置之间的轨迹进行归一化处理，从而使得机械臂的末端可以延一条直线到达目标，这些处理完以后，主控模块就能将轨迹点的位置信息指令发送给机械臂舵机驱动控制模块，操控机械臂的各舵机进行工作，在这一过程中双目摄像头依旧会通过计算物体是否处于镜头中心来驱动舵机微调，从而让物体包络线中心点落在镜头的中心，当机械臂到达目标点后，主控模块会再次检测该物体的中心点是否在镜头中心，且该包络线是否能充满整个镜头，如果是，则表明物体已经在夹持器下了，此时主控模块再给机械臂下达关闭夹持器命令，并将物体取回。
如图1所示，机械臂模块包括夹持器、第一至第四舵机3，4，5，6、底座舵机7。夹持器为四爪夹持器2，并依次通过第一至第四舵机3，4，5，6连接底座舵机7，四爪夹持器2上装有双目摄像头1，底座舵机7通过机械臂舵机驱动控制模块连接主控模块，双目摄像头1连接主控模块，机械臂舵机驱动控制模块、主控模块和双目摄像头1连接供电模块。
主控模块为上位机微处理器9。机械臂舵机驱动控制模块为下位机舵机驱动控制板8。供电模块为蓄电池10。

Claims (1)

1.一种智能双目自动抓取机械臂，包括主控模块、机械臂模块、机械臂舵机驱动控制模块、视觉模块、供电模块，其特征在于：所述视觉模块通过安装在机械臂上的双目摄像头自动拍摄进入双目摄像头视角的物体，并将拍摄的RGB图像信号输入主控模块，由主控模块将RGB图像转换成视差图，从而获取目标物体深度信息，并通过点聚类计算将目标物体转换成一个具有中心点且带半径的包络球体模型；主控模块输出控制信号给机械臂舵机驱动控制模块，控制机械臂舵机驱动控制模块驱动机械臂模块中的机械臂的舵机开始运转、调整，从而使得从目标物体提取的包络线球体模型到达双目摄像头镜头的正中央，使机械臂末端的夹持器对准物体，完成机械臂末端的夹持器的姿态信息的获取，再由主控模块通过计算得到该目标物体中心点相对于双目摄像头的坐标信息，并通过DH法，将这组坐标信息转换为物体中心点相对于机械臂的底座的坐标信息，然后，通过机械臂逆运动学解算出机械臂末端到达目标点位时机械臂的每个舵机相对应的转动角度位置，并将机械臂的初始位置与目标位置之间的轨迹进行归一化处理，从而使得机械臂的末端夹持器能够延一条直线到达目标，主控模块将轨迹点的位置信息指令发送给机械臂舵机驱动控制模块，控制机械臂的各舵机进行工作，从而让物体包络线中心点落在双目摄像头的镜头中心；所述机械臂模块包括夹持器、四个舵机、底座舵机，所述夹持器为四爪夹持器，并依次通过四个舵机连接底座舵机，四爪夹持器上装有双目摄像头，底座舵机通过机械臂舵机驱动控制模块连接主控模块，双目摄像头连接主控模块，机械臂舵机驱动控制模块、主控模块和双目摄像头连接供电模块；所述主控模块为上位机微处理器，所述机械臂舵机驱动控制模块为下位机舵机驱动控制板，所述供电模块为蓄电池。
CN201710786252.5A 2017-09-04 2017-09-04 智能双目自动抓取机械臂 Active CN107433573B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710786252.5A CN107433573B (zh) 2017-09-04 2017-09-04 智能双目自动抓取机械臂

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710786252.5A CN107433573B (zh) 2017-09-04 2017-09-04 智能双目自动抓取机械臂

Publications (2)

Publication Number Publication Date
CN107433573A CN107433573A (zh) 2017-12-05
CN107433573B true CN107433573B (zh) 2021-04-16

Family

ID=60460230

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710786252.5A Active CN107433573B (zh) 2017-09-04 2017-09-04 智能双目自动抓取机械臂

Country Status (1)

Country Link
CN (1) CN107433573B (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108712632A (zh) * 2018-04-28 2018-10-26 广东电网有限责任公司 站内光缆巡视系统及巡视方法
CN110900637A (zh) * 2018-09-14 2020-03-24 清远海帆智能科技有限公司 一种智能机械制造抓取设备
CN110936369B (zh) * 2018-09-25 2022-10-04 南京曼新智能科技有限公司 一种基于双目视觉和机械臂的大型工件位姿精确测量与抓取的方法
CN109283874A (zh) * 2018-11-02 2019-01-29 武汉南星电力科技有限公司 智能大功率变频电源
CN109500817B (zh) * 2018-12-07 2024-05-10 深圳市众智创新科技有限责任公司 多足机器人的360度视觉追踪控制系统及控制方法
CN110199909A (zh) * 2019-07-07 2019-09-06 河北农业大学 一种捡蛋机器人执行机构及其控制方法
CN110378956A (zh) * 2019-07-23 2019-10-25 招商局重庆交通科研设计院有限公司 用于隧道灯清洁的隧道灯具定位方法及系统
CN111085984B (zh) * 2019-12-31 2023-01-17 大连海事大学 一种智能水下捕捞机械手及其工作方法
CN112508822A (zh) * 2021-01-08 2021-03-16 上海臻面智能信息科技有限公司 一种基于ir和rgb双摄活体判别方法
CN113246115B (zh) * 2021-06-28 2021-09-21 佛山冠博机械科技发展有限公司 一种基于机器视觉技术的工业机械手及其控制方法
CN114147704B (zh) * 2021-11-18 2023-09-22 南京师范大学 基于深度视觉与增量闭环的机械臂精准定位及抓取方法
CN114619421B (zh) * 2022-04-08 2024-01-02 北京理工大学 抓取设备、抓取存储一体化系统及抓取方法
CN114770461B (zh) * 2022-04-14 2023-12-01 深圳技术大学 一种基于单目视觉的移动机器人及其自动抓取方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102096927A (zh) * 2011-01-26 2011-06-15 北京林业大学 自主林业机器人目标跟踪方法
CN106493708A (zh) * 2016-12-09 2017-03-15 南京理工大学 一种基于双机械臂和辅助臂的带电作业机器人控制系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102096927A (zh) * 2011-01-26 2011-06-15 北京林业大学 自主林业机器人目标跟踪方法
CN106493708A (zh) * 2016-12-09 2017-03-15 南京理工大学 一种基于双机械臂和辅助臂的带电作业机器人控制系统

Also Published As

Publication number Publication date
CN107433573A (zh) 2017-12-05

Similar Documents

Publication Publication Date Title
CN107433573B (zh) 智能双目自动抓取机械臂
CN107139178B (zh) 一种无人机及其基于视觉的抓取方法
US11584004B2 (en) Autonomous object learning by robots triggered by remote operators
US10913151B1 (en) Object hand-over between robot and actor
CN107571246B (zh) 一种基于双臂机器人的零件装配系统及方法
US20170348858A1 (en) Multiaxial motion control device and method, in particular control device and method for a robot arm
CN109454638A (zh) 一种基于视觉引导的机器人抓取系统
CN106354161A (zh) 机器人运动路径规划方法
CN111203849A (zh) 一种移动机器人抓取作业系统及控制方法
JP2011067941A (ja) 人間型ロボットのための視覚認知システムおよび方法
CN110450150B (zh) 轨迹跟踪控制方法及轨迹跟踪系统
CN114770461B (zh) 一种基于单目视觉的移动机器人及其自动抓取方法
CN112109074A (zh) 一种机器人目标图像抓取方法
CN113721639B (zh) 一种用于小型水下机器人入坞的路径规划方法及控制方法
CN115502979A (zh) 一种机械臂力矩主动柔顺精确控制方法及系统
CN109176490A (zh) 一种采摘机器人控制系统
CN110456729B (zh) 一种轨迹跟踪控制方法及轨迹跟踪系统
CN112959342B (zh) 基于操作员意图识别的飞行机械臂抓取作业遥操作方法
US11436869B1 (en) Engagement detection and attention estimation for human-robot interaction
CN114714347A (zh) 双臂与手眼相机结合的机器人视觉伺服控制系统及方法
CN112123329A (zh) 一种机器人3d视觉手眼标定方法
CN117506937B (zh) 一种基于多阶段视觉伺服控制的焊件自主摆放方法
CN221010887U (zh) 一种采摘机器人及其末端抓取装置
CN109748096A (zh) 基于视觉定位系统的多自由度圆桶体危险工件抓取机构
CN219819747U (zh) 一种服务机器人

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant