CN106003036A - 一种基于双目视觉引导的物体抓取与放置系统 - Google Patents

一种基于双目视觉引导的物体抓取与放置系统 Download PDF

Info

Publication number
CN106003036A
CN106003036A CN201610428750.8A CN201610428750A CN106003036A CN 106003036 A CN106003036 A CN 106003036A CN 201610428750 A CN201610428750 A CN 201610428750A CN 106003036 A CN106003036 A CN 106003036A
Authority
CN
China
Prior art keywords
binocular
mechanical arm
binocular vision
image
stereo camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610428750.8A
Other languages
English (en)
Inventor
朱齐丹
陈文桥
封大伟
蔡成涛
夏桂华
张智
吕晓龙
谢心如
李超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Engineering University
Original Assignee
Harbin Engineering University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Engineering University filed Critical Harbin Engineering University
Priority to CN201610428750.8A priority Critical patent/CN106003036A/zh
Publication of CN106003036A publication Critical patent/CN106003036A/zh
Pending legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40005—Vision, analyse image at one station during manipulation at next station

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明具体涉及一种基于双目视觉引导的物体抓取与放置系统。一种基于双目视觉引导的物体抓取与放置系统，由双目视觉单元、机器人单元和图像处理与控制计算机组成，图像处理与控制计算机通过1394接口与双目立体摄像机连接，通过千兆以太网与机械臂控制柜连接；双目视觉单元由双目立体摄像机和图像采集板卡组成。本发明使用图像处理和控制计算机对图像采集卡和双目立体摄像机获得的双目图像进行图像处理，对图像中的物体进行识别和定位，使用定位结果引导机械臂完成对目标物体的抓取与放置动作。

Description

一种基于双目视觉引导的物体抓取与放置系统
技术领域
本发明具体涉及一种基于双目视觉引导的物体抓取与放置系统。
背景技术
随着“中国制造2025”、“机器换人”等高科技战略的提出，工业生产过程中对机器人的智能程度要求越来越高。虽然目前工业机器人已广泛应用在工业生产线上，但大多说机器人都是工作在示教模式下完成事先设定的动作，如果工件周围环境发生变化很可能会导致对指定工件操作任务失败。由于机械臂无法感知周围环境变化的缺点很大的限制了工业机械臂在工业生产过程中的应用。
参考人类获取的大部分的外部信息来源与双眼，进而通过大脑做出各种决策和动作。把双目立体摄像机引入到机械臂的控制当中，使机械臂具有人一样的视觉功能，通过一系列的图像处理技术来提取图像中的目标特征，从而实现目标物体的识别与定位。
在未知位姿的物体抓取与放置过程中，把图像处理技术和机械臂控制技术相结合，通过一系列的图像处理技术识别双目立体摄像机视野内的物体并对其三维位置进行测量，引导机械臂完成对物体的抓取与放置，对扩大机械臂的应用范围和提高机械臂的智能程度都具有重大意义。
发明内容
本发明的目的在于提供提供了一种解决目标物体三维位置未知且周围环境持续变化的情况下，使用双目立体视觉完成目标物体识别与定位，从而引导机械臂完成对目标物体的抓取与放置动作的基于双目视觉的目标抓取与放置系统。
本发明的目的是通过以下方案实现的：
一种基于双目视觉引导的物体抓取与放置系统，由双目视觉单元、机器人单元和图像处理与控制计算机组成，图像处理与控制计算机通过1394接口与双目立体摄像机连接，通过千兆以太网与机械臂控制柜连接；双目视觉单元由双目立体摄像机和图像采集板卡组成，其中双目摄像机左右两摄像机中心线的距离为120mm，双目立体摄像机安装在机械臂末端手爪上与机械臂组成眼在手上视觉系统；图像采集卡安装在图像处理与控制计算机PCI-E插槽中，图像采集卡与双目立体摄像机通过1394接口连接。
机器人单元由六自由度机械臂、机械臂控制柜和末端手爪组成，末端手爪安装在机械臂第六轴末端法兰处；机械臂控制柜通过网线与图像处理与控制计算机连接。
本发明的有益效果在于：本发明包括双目视觉单元、机器人单元和图像处理和控制计算机，图像处理和控制计算机通过1394接口和双目视觉单元连接、通过千兆以太网与机器人控制柜连接。使用图像处理和控制计算机对图像采集卡和双目立体摄像机获得的双目图像进行图像处理，对图像中的物体进行识别和定位，使用定位结果引导机械臂完成对目标物体的抓取与放置动作。
附图说明
图1是一种基于双目视觉引导的目标抓取与放置系统的组成图；
图2是一种基于双目视觉引导的物体抓取与放置系统识别、定位和抓取流程图；
图3是一种基于双目视觉引导的目标抓取与放置系统的图像处理与控制软件截图。
具体实施方式
下面结合附图对本发明做进一步描述。
本发明提供的是一种基于双目视觉引导的物体抓取与放置系统。该系统由双目视觉单元、机器人单元和图像处理与控制计算机组成。图像处理与控制计算机通过1394接口与双目视觉单元连接，通过网线与机器人控制柜连接。双目视觉单元主要由双目立体摄像机、图像采集卡组成，用于图像的采集和传输。机器人单元由六自由度机械臂、机械臂控制柜和末端手爪组成，用于实现目标物体的抓取与放置。图像处理与控制计算机主要用来对双目视觉单元获得的图像进行处理，稳定识别、定位目标物体并引导机械臂完成物体的抓取与放置动作。
在图像处理与控制软件启动时对双目立体摄像机和六自由度机械臂初始化，分别建立图像处理与控制计算机和双目立体摄像机、机器人控制柜的联系。
分别对获得的左右两摄像机图像进行目标特征提取与识别，并结合双目立体视差测量原理对目标物体进行立体定位。如果，目标特征提取与识别失败则机械臂保持原来状态，直到左右两眼图像中同时检测出目标特征再进行下一步动作。
根据双目立体摄像机坐标系和机械臂末端手爪坐标系之间的变换矩阵，把测量得到的目标物体三维位置通过两坐标系之间的齐次变换矩阵告知机械臂。
根据双目立体摄像机“告知”的目标物体的位姿信息引导机械臂完成对目标物体的抓取与放置动作。
整个双目视觉对目标物体进行立体定位的过程、双目采集和处理过的图像都显示在图像处理与控制软件中。另外，机械臂当前运动状态、各机械臂关节角度以及机械臂末端坐标系相对于基坐标系的位置和姿态都显示在图像处理与控制软件中。
本发明根据以上分析给出了基于双目视觉引导的目标抓取与放置系统流程图，如图2所示。

Claims (2)

1.一种基于双目视觉引导的物体抓取与放置系统，由双目视觉单元、机器人单元和图像处理与控制计算机组成，图像处理与控制计算机通过1394接口与双目立体摄像机连接，通过千兆以太网与机械臂控制柜连接；其特征在于：双目视觉单元由双目立体摄像机和图像采集板卡组成，其中双目摄像机左右两摄像机中心线的距离为120mm，双目立体摄像机安装在机械臂末端手爪上与机械臂组成眼在手上视觉系统；图像采集卡安装在图像处理与控制计算机PCI-E插槽中，图像采集卡与双目立体摄像机通过1394接口连接。
2.根据权利要求1所述的一种基于双目视觉引导的物体抓取与放置系统，其特征在于：机器人单元由六自由度机械臂、机械臂控制柜和末端手爪组成，末端手爪安装在机械臂第六轴末端法兰处；机械臂控制柜通过网线与图像处理与控制计算机连接。
CN201610428750.8A 2016-06-16 2016-06-16 一种基于双目视觉引导的物体抓取与放置系统 Pending CN106003036A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610428750.8A CN106003036A (zh) 2016-06-16 2016-06-16 一种基于双目视觉引导的物体抓取与放置系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610428750.8A CN106003036A (zh) 2016-06-16 2016-06-16 一种基于双目视觉引导的物体抓取与放置系统

Publications (1)

Publication Number Publication Date
CN106003036A true CN106003036A (zh) 2016-10-12

Family

ID=57087964

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610428750.8A Pending CN106003036A (zh) 2016-06-16 2016-06-16 一种基于双目视觉引导的物体抓取与放置系统

Country Status (1)

Country Link
CN (1) CN106003036A (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106774324A (zh) * 2016-12-22 2017-05-31 以恒激光科技（北京）有限公司 一种双摄像头三维识别巡逻机器人
CN106826822A (zh) * 2017-01-25 2017-06-13 南京阿凡达机器人科技有限公司 一种基于ros系统的视觉定位及机械臂抓取实现方法
CN106926241A (zh) * 2017-03-20 2017-07-07 深圳市智能机器人研究院 一种基于视觉引导的双臂机器人装配方法及系统
CN107443369A (zh) * 2017-06-25 2017-12-08 重庆市计量质量检测研究院 一种基于视觉测量模型逆辨识的机器臂无标定伺服控制方法
CN107471218A (zh) * 2017-09-07 2017-12-15 南京理工大学 一种基于多目视觉的双臂机器人手眼协调方法
CN107911687A (zh) * 2017-12-11 2018-04-13 中国科学院长春光学精密机械与物理研究所 基于双目立体视觉的机器人遥操作辅助系统
CN108381549A (zh) * 2018-01-26 2018-08-10 广东三三智能科技有限公司 一种双目视觉引导机器人快速抓取方法、装置及存储介质
CN108453739A (zh) * 2018-04-04 2018-08-28 北京航空航天大学 基于自动形状拟合的立体视觉定位机械臂抓取系统及方法
CN108621436A (zh) * 2017-03-23 2018-10-09 泰科电子(上海)有限公司 组装系统
CN109108975A (zh) * 2018-08-31 2019-01-01 深圳市博辉特科技有限公司 一种双目视觉6轴机器人引导系统
CN111823223A (zh) * 2019-08-19 2020-10-27 北京伟景智能科技有限公司 一种基于智能立体视觉的机器人手臂抓取控制系统及方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1699033A (zh) * 2004-04-23 2005-11-23 发那科株式会社 物体取出系统
CN101402199A (zh) * 2008-10-20 2009-04-08 北京理工大学 基于视觉的手眼式低伺服精度机器人移动目标抓取方法
CN101502960A (zh) * 2009-03-12 2009-08-12 上海交通大学 基于corba接口的模块化机器人
CN101733746A (zh) * 2009-12-22 2010-06-16 哈尔滨工业大学 空间机器人非合作目标自主识别与捕获方法
CN101842195A (zh) * 2007-10-29 2010-09-22 佳能株式会社 把持设备和把持设备控制方法
CN102179804A (zh) * 2011-04-21 2011-09-14 苏州悦控自动化科技有限公司 3h型ccd视觉工业机器人
WO2013023130A1 (en) * 2011-08-11 2013-02-14 Siemens Healthcare Diagnostics Inc. Methods and apparatus to calibrate an orientation between a robot gripper and a camera
US20130054030A1 (en) * 2011-08-29 2013-02-28 Dainippon Screen Mfg. Co., Ltd. Object gripping apparatus, object gripping method, and object gripping program
CN105659727B (zh) * 2009-12-01 2013-06-19 北京空间飞行器总体设计部 一种大型空间机械臂在轨操控方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1699033A (zh) * 2004-04-23 2005-11-23 发那科株式会社 物体取出系统
CN101842195A (zh) * 2007-10-29 2010-09-22 佳能株式会社 把持设备和把持设备控制方法
CN101402199A (zh) * 2008-10-20 2009-04-08 北京理工大学 基于视觉的手眼式低伺服精度机器人移动目标抓取方法
CN101502960A (zh) * 2009-03-12 2009-08-12 上海交通大学 基于corba接口的模块化机器人
CN105659727B (zh) * 2009-12-01 2013-06-19 北京空间飞行器总体设计部 一种大型空间机械臂在轨操控方法
CN101733746A (zh) * 2009-12-22 2010-06-16 哈尔滨工业大学 空间机器人非合作目标自主识别与捕获方法
CN102179804A (zh) * 2011-04-21 2011-09-14 苏州悦控自动化科技有限公司 3h型ccd视觉工业机器人
WO2013023130A1 (en) * 2011-08-11 2013-02-14 Siemens Healthcare Diagnostics Inc. Methods and apparatus to calibrate an orientation between a robot gripper and a camera
US20130054030A1 (en) * 2011-08-29 2013-02-28 Dainippon Screen Mfg. Co., Ltd. Object gripping apparatus, object gripping method, and object gripping program

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106774324A (zh) * 2016-12-22 2017-05-31 以恒激光科技（北京）有限公司 一种双摄像头三维识别巡逻机器人
CN106774324B (zh) * 2016-12-22 2020-06-09 以恒激光科技（北京）有限公司 一种双摄像头三维识别巡逻机器人
CN106826822A (zh) * 2017-01-25 2017-06-13 南京阿凡达机器人科技有限公司 一种基于ros系统的视觉定位及机械臂抓取实现方法
WO2018137445A1 (zh) * 2017-01-25 2018-08-02 南京阿凡达机器人科技有限公司 一种基于ros系统的机械臂抓取方法及系统
CN106826822B (zh) * 2017-01-25 2019-04-16 南京阿凡达机器人科技有限公司 一种基于ros系统的视觉定位及机械臂抓取实现方法
CN106926241A (zh) * 2017-03-20 2017-07-07 深圳市智能机器人研究院 一种基于视觉引导的双臂机器人装配方法及系统
CN108621436A (zh) * 2017-03-23 2018-10-09 泰科电子(上海)有限公司 组装系统
CN107443369A (zh) * 2017-06-25 2017-12-08 重庆市计量质量检测研究院 一种基于视觉测量模型逆辨识的机器臂无标定伺服控制方法
CN107471218A (zh) * 2017-09-07 2017-12-15 南京理工大学 一种基于多目视觉的双臂机器人手眼协调方法
CN107471218B (zh) * 2017-09-07 2020-09-11 南京理工大学 一种基于多目视觉的双臂机器人手眼协调方法
CN107911687A (zh) * 2017-12-11 2018-04-13 中国科学院长春光学精密机械与物理研究所 基于双目立体视觉的机器人遥操作辅助系统
CN108381549A (zh) * 2018-01-26 2018-08-10 广东三三智能科技有限公司 一种双目视觉引导机器人快速抓取方法、装置及存储介质
CN108381549B (zh) * 2018-01-26 2021-12-14 广东三三智能科技有限公司 一种双目视觉引导机器人快速抓取方法、装置及存储介质
CN108453739A (zh) * 2018-04-04 2018-08-28 北京航空航天大学 基于自动形状拟合的立体视觉定位机械臂抓取系统及方法
CN109108975A (zh) * 2018-08-31 2019-01-01 深圳市博辉特科技有限公司 一种双目视觉6轴机器人引导系统
CN111823223A (zh) * 2019-08-19 2020-10-27 北京伟景智能科技有限公司 一种基于智能立体视觉的机器人手臂抓取控制系统及方法
CN111823223B (zh) * 2019-08-19 2023-12-29 北京伟景智能科技有限公司 一种基于智能立体视觉的机器人手臂抓取控制系统及方法

Similar Documents

Publication Publication Date Title
CN106003036A (zh) 一种基于双目视觉引导的物体抓取与放置系统
US11691273B2 (en) Generating a model for an object encountered by a robot
CN109048926A (zh) 一种基于立体视觉的机器人智能避障系统及方法
CN110480634B (zh) 一种针对机械臂运动控制的手臂引导运动控制方法
CN105729468B (zh) 一种基于多深度摄像机增强的机器人工作台
DE102010045752B4 (de) Visuelles Wahrnehmungssystem und -verfahren für einen humanoiden Roboter
CN107662195A (zh) 一种具有临场感的机器手主从异构遥操作控制系统及控制方法
CN109297413A (zh) 一种大型筒体结构视觉测量方法
Taryudi et al. Eye to hand calibration using ANFIS for stereo vision-based object manipulation system
CN109702738A (zh) 一种基于三维物体识别的机械臂手眼标定方法及装置
CN113103230A (zh) 一种基于处置机器人遥操作的人机交互系统及方法
CN110135277B (zh) 一种基于卷积神经网络的人体行为识别方法
CN108828996A (zh) 一种基于视觉信息的机械臂遥操作系统及方法
CN114851201A (zh) 一种基于tsdf三维重建的机械臂六自由度视觉闭环抓取方法
CN116749198A (zh) 一种基于双目立体视觉引导机械臂抓取方法
Ranjan et al. Identification and control of NAO humanoid robot to grasp an object using monocular vision
CN204808201U (zh) 基于视觉的手势识别控制系统
Rougeaux et al. Robust tracking by a humanoid vision system
CN106903665A (zh) 一种基于立体视觉的主从式遥操作手术机器人控制系统
Li et al. Workpiece intelligent identification and positioning system based on binocular machine vision
CN109214295A (zh) 基于Kinect v2和Leap Motion的数据融合的手势识别方法
CN109483517A (zh) 一种基于手姿追踪的协作机器人示教方法
CN109773773A (zh) 一种新型六自由度并联平台的主从控制装置、系统及方法
CN108960109B (zh) 一种基于两个单目摄像头的空间手势定位装置及定位方法
Berti et al. Human-robot interaction and tracking using low cost 3d vision systems

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20161012

RJ01 Rejection of invention patent application after publication