CN103963058B - 基于多方位视觉定位的机械手臂抓取控制系统及方法 - Google Patents

基于多方位视觉定位的机械手臂抓取控制系统及方法 Download PDF

Info

Publication number
CN103963058B
CN103963058B CN201410180073.3A CN201410180073A CN103963058B CN 103963058 B CN103963058 B CN 103963058B CN 201410180073 A CN201410180073 A CN 201410180073A CN 103963058 B CN103963058 B CN 103963058B
Authority
CN
China
Prior art keywords
target
mechanical arm
capture
dimensional
waiting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410180073.3A
Other languages
English (en)
Other versions
CN103963058A (zh
Inventor
刘强强
王嘉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CHONGQING GLOBAL SIGHT HIGH-TECHNOLOGY CO., LTD.
Original Assignee
Chongqing Global Sight High-Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing Global Sight High-Technology Co Ltd filed Critical Chongqing Global Sight High-Technology Co Ltd
Priority to CN201410180073.3A priority Critical patent/CN103963058B/zh
Publication of CN103963058A publication Critical patent/CN103963058A/zh
Application granted granted Critical
Publication of CN103963058B publication Critical patent/CN103963058B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

本发明提供了一种基于多方位视觉定位的机械手臂抓取控制系统及方法,通过在机械手臂的不同位置设置双目图像采集单元和二维图像采集单元进行多方位视觉定位,能够实现对三维立体空间中任意位置的目标物体实施定位抓取,且在实施定位抓取任务的过程中,利用多方位的视觉定位对待抓取目标物体的三维空间位置和姿态加以跟踪,能够在待抓取目标物体发生位置、姿态改变的情况下及时的对机械手臂的抓取动作做出调整,重新定位抓取位置、设定夹持方向,防止出现“抓空”、抓取目标物体松脱等现象,能够控制机械手臂有效完成定位抓取任务,并有效避免了因目标物体被遮挡而导致定位失效的问题,提高了机械手臂实施定位抓取任务的灵活性和准确性。

Description

基于多方位视觉定位的机械手臂抓取控制系统及方法
技术领域
[0001] 本发明涉及机器人自动化控制技术领域,具体涉及一种基于多方位视觉定位的机械手臂抓取控制系统及方法。
背景技术
[0002] 工业机械手臂是近代自动控制领域中的一项重要技术,并已成为现代机械制造生产系统中的一个重要组成部分。机械手臂涉及到力学、机械学、电器液压技术、自动控制技术、传感器技术和计算机技术等科学领域,是一门跨学科综合技术。机械手臂的结构形式开始比较简单,专用性较强。随着工业技术的发展,工业自动化控制要求的不断提高,机械手臂的结构也得到了适应地改进,能够独立的按程序控制实现重复操作,适用范围比较广适应性较强,在产品批量生产中获得广泛的引用。
[0003] 机械手臂是目前在机械人技术领域中得到最广泛实际应用的自动化机械装置,在工业制造、医学治疗、娱乐服务、军事、半导体制造以及太空探索等领域都能见到它的身影。尽管它们的形态各有不同,但它们都有一个共同的特点,就是能够接受指令,准确地定位到某一位置点进行作业。其中,对目标物体实施定位抓取,就是机械手臂最常见的作业任务之
O
[0004] 机械手臂实施抓取任务的操作通常由机械手臂控制机构加以控制。在现有技术中,控制机械手臂实施定位抓取任务时,通常借助一台固定设置于载物平面正上方的二维摄像机,正向拍摄载物平面的二维图像,通过对二维图像中的待抓取目标物体加以图像识另IJ,确定待抓取目标物体在载物平面上的二维位置坐标并传送给机械手臂控制机构,进而由机械手臂控制机构根据该二维位置坐标控制机械手臂对载物平面上的待抓取目标物体实施抓去操作。但这样的机械手臂控制方式仅适用于对固定载物平面上目标物体实施定位抓取任务,如果应用于对三维立体空间中任意位置的目标物体实施定位抓取时,则会因为根据二维摄像机获取的二维图像难以确定目标物体所在位置的平面高度,而难以准确地对目标物体实施抓取。不仅如此,在实际的应用环境过程中,目标物体在所处环境中可能会因为撞击、震动等不可控原因而发生位置、姿态的改变。如果在控制机械手臂实施抓取任务的过程中目标物体的位置突然发生改变,则可能出现机械手臂“抓空”的现象,致使定位抓取任务执行失败;另一方面,由于摄像机通常需要在较远的距离全局拍摄较大范围的载物空间,以便于机械手臂控制机构根据摄像机的拍摄图像进行目标物体识别来判断目标物体在载物空间中的位置,但由于受到拍摄角度、摄像机分辨率等因素的影响,很难有效的辨别目标物体的外观轮廓和具体姿态,如果目标物体为菱角较多的不规则形状,并且在实施抓取任务的过程中目标物体因被撞击等原因姿态发生改变,此时机械手臂控制机构若再按照之前预期的抓取方向控制机械手臂对目标物体进行抓取,则可能会因为抓取操作中对目标物体的夹持方向与目标物体的姿态方向不相适应(例如夹持位置位于目标物体的菱角处),导致抓取过程中目标物体从机器手臂的夹持部松脱,致使定位抓取任务执行失败;此外,在机械手臂靠近目标物体进行抓取的过程中,摄像机对载物空间区域中目标物体的拍摄实现也可能被运动的机械手臂所遮挡,从而失去对目标物体的定位,影响定位抓取任务的执行。可见,在这些特殊情况下,采用现有的机械手臂控制方式,更是难以很好的完成对目标物体的定位抓取任务。这些因素,使得现有技术中的机械手臂在很多领域的应用都受到了限制。
发明内容
[0005] 针对现有技术中存在的上述不足,本发明的目的在于提供一种基于多方位视觉定位的机械手臂抓取控制系统,用以对三维立体空间中任意位置的目标物体实施定位抓取,并且能够在待抓取目标物体发生位置、姿态改变的情况下有效完成定位抓取任务,提高机械手臂实施定位抓取任务的灵活性和准确性,以解决现有技术中机械手臂对三维立体空间中目标物体的定位抓取准确性差、容易因环境因素导致定位抓取任务执行失败等问题。
[0006] 为解决上述技术问题,本发明采用了如下的技术手段:
[0007] 基于多方位视觉定位的机械手臂抓取控制系统,包括机械手臂,以及用于控制机械手臂执行抓取操作的机械手臂控制机构;
[0008] 所述机械手臂具有一臂部,以及一可旋转地设置于所述臂部前端的夹持手,由机械手臂控制机构控制所述臂部的位姿以及所述夹持手的旋转角度和抓取动作;
[0009] 还包括多方位视觉定位处理机构;所述多方位视觉定位处理机构包括定位处理单元,以及与定位处理单元进行数据通信的双目图像采集单元和二维图像采集单元;所述双目图像采集单元设置于机械手臂的旁侧,用于对预设的载物空间区域进行双目图像采集;所述二维图像采集单元设置于机械手臂的夹持手位置处,用于采集所述夹持手前方空间的二维图像;所述定位处理单元还与机械手臂控制机构进行数据通信,用于实时获取双目图像采集单元采集的双目图像以及二维图像采集单元采集的二维图像,根据采集到的双目图像实时地进行待抓取目标物体识别,计算待抓取目标物体的三维空间位置坐标,并根据采集到的二维图像实时地进行待抓取目标物体的轮廓识别,判断待抓取目标物体的姿态和二维平面位置坐标,将待抓取目标物体的三维空间位置坐标、二维平面位置坐标和姿态信息实时的传送至机械手臂控制机构;
[0010] 所述机械手臂控制机构用于接收来自多方位视觉定位处理机构的待抓取目标物体的三维空间位置坐标和姿态信息,实时地根据待抓取目标物体的三维空间位置坐标调整机械手臂的臂部位姿,使得机械手臂的夹持手靠近待抓取目标物体,并在夹持手靠近待抓取目标物体的过程中,实时地根据待抓取目标物体的三维空间位置坐标和二维平面位置坐标跟踪待抓取目标物体所在的三维空间位置,且实时地根据待抓取目标物体的姿态信息调整机械手臂的夹持手的旋转角度,使得夹持手实施抓取的夹持方向与待抓取目标物体的姿态方向相适应,进而控制夹持手对待抓取目标物体进行抓取。
[0011] 相应地,本发明还提供了上述基于多方位视觉定位的机械手臂抓取控制实施抓取控制的方法。为此,本发明采用了如下的技术手段:
[0012] 基于多方位视觉定位的机械手臂抓取控制方法,采用上述基于多方位视觉定位的机械手臂抓取控制系统实施操作,包括如下的操作步骤:
[0013] I)当机械手臂启动抓取任务后,由多方位视觉定位处理机构的双目图像采集单元对预设的载物空间区域进行双目图像采集,同时由多方位视觉定位处理机构的二维图像采集单元采集机械手臂的夹持手前方空间的二维图像;
[0014] 2)多方位视觉定位处理机构的定位处理单元实时获取双目图像采集单元采集的双目图像以及二维图像采集单元采集的二维图像,根据采集到的双目图像实时地进行待抓取目标物体识别,计算待抓取目标物体的三维空间位置坐标,并根据采集到的二维图像实时地进行待抓取目标物体的轮廓识别,判断待抓取目标物体的姿态和二维平面位置坐标,将待抓取目标物体的三维空间位置坐标、二维平面位置坐标和姿态信息实时的传送至机械手臂控制机构;
[0015] 3)机械手臂控制机构实时接收来自多方位视觉定位处理机构的待抓取目标物体的三维空间位置坐标和姿态信息,并实时地根据待抓取目标物体的三维空间位置坐标调整机械手臂的臂部位姿,使得机械手臂的夹持手靠近待抓取目标物体;
[0016] 4)机械手臂控制机构在控制夹持手靠近待抓取目标物体的过程中,实时地根据待抓取目标物体的姿态信息调整机械手臂的夹持手的旋转角度,使得夹持手实施抓取的夹持方向与待抓取目标物体的姿态方向相适应,并实时地判断在夹持手靠近待抓取目标物体的过程中,待抓取目标物体的二维平面位置坐标是否发生变化;若发生变化,执行步骤5 ;若未发生变化,则执行步骤7;
[0017] 5)机械手臂控制机构判断当前是否成功获取到抓取目标物体的三维空间位置坐标;若是,则根据抓取目标物体当前的三维空间位置坐标重新确定待抓取目标物体所在的三维空间位置;否则,根据抓取目标物体的二维平面位置坐标的变化幅度和方向,对此前最新获取到的抓取目标物体的三维空间位置坐标进行修正,重新确定待抓取目标物体所在的三维空间位置;然后执行步骤6 ;
[0018] 6)机械手臂控制机构根据重新确定的待抓取目标物体所在的三维空间位置,再次调整机械手臂的臂部位姿,使得机械手臂的夹持手靠近待抓取目标物体;返回步骤4 ;
[0019] 7)机械手臂控制机构根据当前确定的待抓取目标物体所在的三维空间位置以及当前所调整的夹持手的抓取方向,控制夹持手对待抓取目标物体进行抓取。
[0020] 相比于现有技术,本发明具有以下有益效果:
[0021] 1、本发明基于多方位视觉定位的机械手臂抓取控制系统,通过在机械手臂的不同位置设置双目图像采集单元和二维图像采集单元进行多方位视觉定位,能够实现对三维立体空间中任意位置的目标物体实施定位抓取。
[0022] 2、本发明基于多方位视觉定位的机械手臂抓取控制方法中,在实施定位抓取任务的过程中,利用多方位的视觉定位对待抓取目标物体的三维空间位置和姿态加以跟踪,即便待抓取目标物体的位置、姿态因撞击、震动等原因突然发生改变,机械手臂控制机构也能够及时的对机械手臂的抓取动作做出调整,重新定位抓取位置、设定夹持方向,防止出现“抓空”、抓取目标物体松脱等现象,能够控制机械手臂有效完成定位抓取任务。
[0023] 3、本发明基于多方位视觉定位的机械手臂抓取控制系统及其方法,利用多方位的视觉定位和跟踪,有效避免了因目标物体被遮挡而导致定位失效的问题,提高了机械手臂实施定位抓取任务的灵活性和准确性。
附图说明
[0024]图1为本发明基于多方位视觉定位的机械手臂抓取控制系统一种具体实施结构的示意图。
[0025] 图2为本发明基于多方位视觉定位的机械手臂抓取控制方法的流程图。
具体实施方式
[0026] 本发明提供了一种基于多方位视觉定位的机械手臂抓取控制系统。图1示出了本发明基于多方位视觉定位的机械手臂抓取控制系统的一种具体实施结构的示意图,其包括机械手臂10,以及用于控制机械手臂执行抓取操作的机械手臂控制机构20。机械手臂10具有一臂部11,以及一可旋转地设置于所述臂部前端的夹持手12,由机械手臂控制机构控制机械手臂臂部11的位姿以及夹持手12的旋转角度和抓取动作。此外,该系统还包括多方位视觉定位处理机构30,该多方位视觉定位处理机构30包括定位处理单元31,以及与定位处理单元31进行数据通信的双目图像采集单元32和二维图像采集单元33 ;其中,双目图像采集单元32设置于机械手臂10的旁侧,用于对预设的载物空间区域进行双目图像采集;二维图像采集单元33设置于机械手臂10的夹持手位置处,用于采集夹持手前方空间的二维图像;定位处理单元31还与机械手臂控制机构20进行数据通信,用于实时获取双目图像采集单元32采集的双目图像以及二维图像采集单元33采集的二维图像,根据采集到的双目图像实时地进行待抓取目标物体识别,计算待抓取目标物体的三维空间位置坐标,并根据采集到的二维图像实时地进行待抓取目标物体的轮廓识别,判断待抓取目标物体的姿态和二维平面位置坐标,将待抓取目标物体的三维空间位置坐标、二维平面位置坐标和姿态信息实时的传送至机械手臂控制机构20。而机械手臂控制机构20则用于接收来自多方位视觉定位处理机构30的待抓取目标物体的三维空间位置坐标和姿态信息,实时地根据待抓取目标物体的三维空间位置坐标调整机械手臂10的臂部位姿,使得机械手臂10的夹持手12靠近待抓取目标物体,并在夹持手12靠近待抓取目标物体的过程中,实时地根据待抓取目标物体的三维空间位置坐标和二维平面位置坐标跟踪待抓取目标物体所在的三维空间位置,且实时地根据待抓取目标物体的姿态信息调整机械手臂10的夹持手12的旋转角度,使得夹持手12的抓取方向与待抓取目标物体的姿态方向相适应,进而控制夹持手12对待抓取目标物体进行抓取。
[0027] 本发明基于多方位视觉定位的机械手臂抓取控制系统,通过在机械手臂的不同位置设置双目图像采集单元和二维图像采集单元,进行多方位视觉定位。双目图像采集单元设置在机械手臂的旁侧,是为了对对预设的载物空间区域进行全局性的双目图像采集,以在较大的视角范围内拍摄到载物空间区域中目标物体所在的方位,进而让定位处理单元能够根据其采集到的双目图像确定目标物体的三维空间位置坐标。双目图像采集单元可以采用现有的双目摄像机产品得以实现,双目摄像机具有左右两个摄像头,用来模拟人的双眼立体视觉原理,当左右两个摄像头同时拍摄某目标物体时,左侧摄像头拍摄得到左视图片,右侧摄像头拍摄得到右视图片,定位处理单元通过计算空间位置点在左视图片和右视图片中的视差,便能够计算得到该目标物体的三维空间位置坐标,从而对目标物体进行三维立体空间定位。基于双目成像确定物体三维空间位置坐标的相关算法研究已经较为成熟,在现有技术中也有很多相关的技术文献,因此本发明对此不再作过多赘述。这些现有的算法均可以应用于本发明的机械手臂抓取控制系统中,计算待抓取目标物体的三维空间位置坐标。而二维图像采集单元设置在机械手臂的夹持手位置处,是为了对机械手臂夹持手的前方空间进行局部的二维图像拍摄,并且避免因机械手臂的移动对夹持手前方空间拍摄视线的阻挡,以便于在控制机械手臂的夹持手靠近待抓取目标物体的过程中,始终能够在较近距离拍摄到目标物体的所在位置和轮廓特征,进而保证定位处理单元能够根据其采集到的二维图像确定目标物体的姿态和二维平面位置坐标。二维图像采集单元可以采用普通的具有单个摄像头的摄像机产品得以实现,同时基于二维图像的物体轮廓识别技术也已经应用非常成熟,本发明不再多加赘述。由此,本发明基于多方位视觉定位的机械手臂抓取控制系统在实施定位抓取任务的过程中,利用多方位的视觉定位对待抓取目标物体的三维空间位置和姿态加以跟踪,从而能够控制机械手臂有效完成定位抓取任务,提高机械手臂实施定位抓取任务的灵活性和准确性。
[0028] 本发明基于多方位视觉定位的机械手臂抓取控制系统,其实施抓取控制操作的流程如图2所示,具体步骤如下:
[0029] I)当机械手臂启动抓取任务后,由多方位视觉定位处理机构的双目图像采集单元对预设的载物空间区域进行双目图像采集,同时由多方位视觉定位处理机构的二维图像采集单元采集机械手臂的夹持手前方空间的二维图像;
[0030] 2)多方位视觉定位处理机构的定位处理单元实时获取双目图像采集单元采集的双目图像以及二维图像采集单元采集的二维图像,根据采集到的双目图像实时地进行待抓取目标物体识别,计算待抓取目标物体的三维空间位置坐标,并根据采集到的二维图像实时地进行待抓取目标物体的轮廓识别,判断待抓取目标物体的姿态和二维平面位置坐标,将待抓取目标物体的三维空间位置坐标、二维平面位置坐标和姿态信息实时的传送至机械手臂控制机构;
[0031] 3)机械手臂控制机构实时接收来自多方位视觉定位处理机构的待抓取目标物体的三维空间位置坐标和姿态信息,并实时地根据待抓取目标物体的三维空间位置坐标调整机械手臂的臂部位姿,使得机械手臂的夹持手靠近待抓取目标物体;
[0032] 4)机械手臂控制机构在控制夹持手靠近待抓取目标物体的过程中,实时地根据待抓取目标物体的姿态信息调整机械手臂的夹持手的旋转角度,使得夹持手实施抓取的夹持方向与待抓取目标物体的姿态方向相适应,并实时地判断在夹持手靠近待抓取目标物体的过程中,待抓取目标物体的二维平面位置坐标是否发生变化;若发生变化,执行步骤5 ;若未发生变化,则执行步骤7;
[0033] 5)机械手臂控制机构判断当前是否成功获取到抓取目标物体的三维空间位置坐标;若是,则根据抓取目标物体当前的三维空间位置坐标重新确定待抓取目标物体所在的三维空间位置;否则,根据抓取目标物体的二维平面位置坐标的变化幅度和方向,对此前最新获取到的抓取目标物体的三维空间位置坐标进行修正,重新确定待抓取目标物体所在的三维空间位置;然后执行步骤6 ;
[0034] 6)机械手臂控制机构根据重新确定的待抓取目标物体所在的三维空间位置,再次调整机械手臂的臂部位姿,使得机械手臂的夹持手靠近待抓取目标物体;返回步骤4 ;
[0035] 7)机械手臂控制机构根据当前确定的待抓取目标物体所在的三维空间位置以及当前所调整的夹持手的抓取方向,控制夹持手对待抓取目标物体进行抓取。
[0036] 通过上述流程可以看到,本发明基于多方位视觉定位的机械手臂抓取控制系统再执行定位抓取任务的过程中,机械手臂控制机构先根据待抓取目标物体的三维空间位置坐标调整机械手臂的臂部位姿,使得机械手臂的夹持手靠近待抓取目标物体;而在夹持手靠近待抓取目标物体的过程中,一方面抓取目标物体的姿态信息判断其姿态方向,以实时调整机械手臂的夹持手的夹持方向与待抓取目标物体的姿态方向相适应,确保具有较高的夹持成功率;另一方面根据待抓取目标物体二维平面位置坐标来判断在此过程待抓取目标物体是否发生位移,若未发生位移则直接控制夹持手对待抓取目标物体进行抓取,若发生位移,则进一步判断当前是否成功获取到抓取目标物体的三维空间位置坐标;在能够成功获取到抓取目标物体的三维空间位置坐标的情况下,表明多方位视觉定位处理机构通过双目图像采集单元定位待抓取目标物体的拍摄视线并未受到阻挡,能够正确计算到待抓取目标物体的三维空间位置坐标,从而根据抓取目标物体当前的三维空间位置坐标重新确定待抓取目标物体所在的三维空间位置后,再次调整机械手臂的臂部位姿,使得机械手臂的夹持手靠近待抓取目标物体,实施抓取操作;而如果未能够成功获取到抓取目标物体的三维空间位置坐标,则表明多方位视觉定位处理机构通过双目图像采集单元定位待抓取目标物体的拍摄视线可能已受到阻挡,使其无法正确计算到待抓取目标物体的三维空间位置坐标,此时则根据抓取目标物体的二维平面位置坐标的变化幅度和方向,对此前最新获取到的抓取目标物体的三维空间位置坐标进行修正,重新确定待抓取目标物体所在的三维空间位置,从而再次调整机械手臂的臂部位姿,使得机械手臂的夹持手靠近待抓取目标物体,实施抓取操作。这样以来,本发明基于多方位视觉定位的机械手臂抓取控制系统在实施定位抓取任务的过程中,利用多方位的视觉定位对待抓取目标物体的三维空间位置和姿态加以跟踪,即便待抓取目标物体的位置、姿态因撞击、震动等原因突然发生改变,机械手臂控制机构也能够及时的对机械手臂的抓取动作做出调整,重新定位抓取位置、设定夹持方向,防止出现“抓空”、抓取目标物体松脱等现象,并有效避免了因目标物体被遮挡而导致定位失效的问题,从而能够控制机械手臂有效完成定位抓取任务。可见本发明基于多方位视觉定位的机械手臂抓取控制系统及方法,有效的提高了机械手臂实施定位抓取任务的灵活性和准确性。
[0037] 综上所述,本发明基于多方位视觉定位的机械手臂抓取控制系统通过在机械手臂的不同位置设置双目图像采集单元和二维图像采集单元进行多方位视觉定位,能够实现对三维立体空间中任意位置的目标物体实施定位抓取;并且,在实施定位抓取任务的过程中,其利用多方位的视觉定位对待抓取目标物体的三维空间位置和姿态加以跟踪,即便待抓取目标物体的位置、姿态因撞击、震动等原因突然发生改变,机械手臂控制机构也能够及时的对机械手臂的抓取动作做出调整,重新定位抓取位置、设定夹持方向,防止出现“抓空”、抓取目标物体松脱等现象,能够控制机械手臂有效完成定位抓取任务;此外,本发明基于多方位视觉定位的机械手臂抓取控制系统及其方法,利用多方位的视觉定位和跟踪,有效避免了因目标物体被遮挡而导致定位失效的问题,提高了机械手臂实施定位抓取任务的灵活性和准确性,从而很好的解决了现有技术中机械手臂对三维立体空间中目标物体的定位抓取准确性差、容易因环境因素导致定位抓取任务执行失败等问题。
[0038] 最后说明的是,以上实施例仅用以说明本发明的技术方案而非限制,尽管参照实施例对本发明进行了详细说明,本领域的普通技术人员应当理解,可以对本发明的技术方案进行修改或者等同替换,而不脱离本发明技术方案的宗旨和范围,其均应涵盖在本发明的权利要求范围当中。

Claims (1)

1.基于多方位视觉定位的机械手臂抓取控制方法,其特征在于,采用基于多方位视觉定位的机械手臂抓取控制系统实施操作;所述基于多方位视觉定位的机械手臂抓取控制系统包括机械手臂,以及用于控制机械手臂执行抓取操作的机械手臂控制机构;所述机械手臂具有一臂部,以及一可旋转地设置于所述臂部前端的夹持手,由机械手臂控制机构控制所述臂部的位姿以及所述夹持手的旋转角度和抓取动作;还包括多方位视觉定位处理机构;所述多方位视觉定位处理机构包括定位处理单元,以及与定位处理单元进行数据通信的双目图像采集单元和二维图像采集单元;所述双目图像采集单元设置于机械手臂的旁侦牝用于对预设的载物空间区域进行双目图像采集;所述二维图像采集单元设置于机械手臂的夹持手位置处,用于采集所述夹持手前方空间的二维图像;所述定位处理单元还与机械手臂控制机构进行数据通信,用于实时获取双目图像采集单元采集的双目图像以及二维图像采集单元采集的二维图像,根据采集到的双目图像实时地进行待抓取目标物体识别,计算待抓取目标物体的三维空间位置坐标,并根据采集到的二维图像实时地进行待抓取目标物体的轮廓识别,判断待抓取目标物体的姿态和二维平面位置坐标,将待抓取目标物体的三维空间位置坐标、二维平面位置坐标和姿态信息实时的传送至机械手臂控制机构;所述机械手臂控制机构用于接收来自多方位视觉定位处理机构的待抓取目标物体的三维空间位置坐标和姿态信息,实时地根据待抓取目标物体的三维空间位置坐标调整机械手臂的臂部位姿,使得机械手臂的夹持手靠近待抓取目标物体,并在夹持手靠近待抓取目标物体的过程中,实时地根据待抓取目标物体的三维空间位置坐标和二维平面位置坐标跟踪待抓取目标物体所在的三维空间位置,且实时地根据待抓取目标物体的姿态信息调整机械手臂的夹持手的旋转角度,使得夹持手实施抓取的夹持方向与待抓取目标物体的姿态方向相适应,进而控制夹持手对待抓取目标物体进行抓取; 该方法包括如下的操作步骤: 1)当机械手臂启动抓取任务后,由多方位视觉定位处理机构的双目图像采集单元对预设的载物空间区域进行双目图像采集,同时由多方位视觉定位处理机构的二维图像采集单元采集机械手臂的夹持手前方空间的二维图像; 2)多方位视觉定位处理机构的定位处理单元实时获取双目图像采集单元采集的双目图像以及二维图像采集单元采集的二维图像,根据采集到的双目图像实时地进行待抓取目标物体识别,计算待抓取目标物体的三维空间位置坐标,并根据采集到的二维图像实时地进行待抓取目标物体的轮廓识别,判断待抓取目标物体的姿态和二维平面位置坐标,将待抓取目标物体的三维空间位置坐标、二维平面位置坐标和姿态信息实时的传送至机械手臂控制机构; 3)机械手臂控制机构实时接收来自多方位视觉定位处理机构的待抓取目标物体的三维空间位置坐标和姿态信息,并实时地根据待抓取目标物体的三维空间位置坐标调整机械手臂的臂部位姿,使得机械手臂的夹持手靠近待抓取目标物体; 4)机械手臂控制机构在控制夹持手靠近待抓取目标物体的过程中,实时地根据待抓取目标物体的姿态信息调整机械手臂的夹持手的旋转角度,使得夹持手实施抓取的夹持方向与待抓取目标物体的姿态方向相适应,并实时地判断在夹持手靠近待抓取目标物体的过程中,待抓取目标物体的二维平面位置坐标是否发生变化;若发生变化,执行步骤5;若未发生变化,则执行步骤7; 5)机械手臂控制机构判断当前是否成功获取到抓取目标物体的三维空间位置坐标;若是,则根据抓取目标物体当前的三维空间位置坐标重新确定待抓取目标物体所在的三维空间位置;否则,根据抓取目标物体的二维平面位置坐标的变化幅度和方向,对此前最新获取到的抓取目标物体的三维空间位置坐标进行修正,重新确定待抓取目标物体所在的三维空间位置;然后执行步骤6 ; 6)机械手臂控制机构根据重新确定的待抓取目标物体所在的三维空间位置,再次调整机械手臂的臂部位姿,使得机械手臂的夹持手靠近待抓取目标物体;返回步骤4 ; 7)机械手臂控制机构根据当前确定的待抓取目标物体所在的三维空间位置以及当前所调整的夹持手的抓取方向,控制夹持手对待抓取目标物体进行抓取。
CN201410180073.3A 2014-04-30 2014-04-30 基于多方位视觉定位的机械手臂抓取控制系统及方法 Active CN103963058B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410180073.3A CN103963058B (zh) 2014-04-30 2014-04-30 基于多方位视觉定位的机械手臂抓取控制系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410180073.3A CN103963058B (zh) 2014-04-30 2014-04-30 基于多方位视觉定位的机械手臂抓取控制系统及方法

Publications (2)

Publication Number Publication Date
CN103963058A CN103963058A (zh) 2014-08-06
CN103963058B true CN103963058B (zh) 2016-01-06

Family

ID=51233299

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410180073.3A Active CN103963058B (zh) 2014-04-30 2014-04-30 基于多方位视觉定位的机械手臂抓取控制系统及方法

Country Status (1)

Country Link
CN (1) CN103963058B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104858858A (zh) * 2015-04-13 2015-08-26 上海金东唐科技股份有限公司 一种自动抓取机构及自动抓取方法
CN104786227B (zh) * 2015-04-28 2016-10-05 山东鲁能智能技术有限公司 基于高压带电作业机器人的跌落开关更换控制系统及方法
CN104842362B (zh) * 2015-06-18 2017-04-05 厦门理工学院 一种机器人抓取物料包的方法和机器人抓取装置
CN105479461A (zh) * 2016-01-26 2016-04-13 先驱智能机械(深圳)有限公司 控制方法、控制装置及机械手系统
CN106926241A (zh) * 2017-03-20 2017-07-07 深圳市智能机器人研究院 一种基于视觉引导的双臂机器人装配方法及系统
CN110463376A (zh) * 2018-04-02 2019-11-15 鲁班嫡系机器人(深圳)有限公司 一种插机方法及插机设备
CN108748149B (zh) * 2018-06-04 2021-05-28 上海理工大学 一种复杂环境下基于深度学习的无标定机械臂抓取方法
CN109086736A (zh) * 2018-08-17 2018-12-25 深圳蓝胖子机器人有限公司 目标获取方法、设备和计算机可读存储介质
CN110000188B (zh) * 2019-03-28 2021-07-23 北京理工大学 适用于核反应堆的探测器自动回收方法及系统
CN111590591A (zh) * 2020-06-04 2020-08-28 南京工程学院 基于计算机立体视觉引导机制的垃圾堆自动抓取方法和系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7407104B2 (en) * 2005-09-27 2008-08-05 Honda Motor Co., Ltd. Two-dimensional code detector and program thereof, and robot control information generator and robot
CN101273688A (zh) * 2008-05-05 2008-10-01 江苏大学 柑橘采摘机器人的柔性采摘装置和方法
CN102165880A (zh) * 2011-01-19 2011-08-31 南京农业大学 一种自主导航的履带式移动水果采摘机器人及水果采摘方法
CN103085076A (zh) * 2011-11-08 2013-05-08 发那科株式会社 物品的三维位置姿势的识别装置以及识别方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5828601B2 (zh) * 1977-09-26 1983-06-17 Kogyo Gijutsuin
JPH04291289A (en) * 1991-03-20 1992-10-15 Nec Corp Three-dimensional object tactile system
JP3151149B2 (ja) * 1996-04-25 2001-04-03 株式会社エイ・ティ・アール人間情報通信研究所 画像情報によるマニピュレータ制御方法
JP2000263482A (ja) * 1999-03-17 2000-09-26 Denso Corp ワークの姿勢探索方法および姿勢探索装置ならびにロボットによるワーク把持方法およびワーク把持装置
JP5448069B2 (ja) * 2009-12-25 2014-03-19 株式会社Ihi ロボット制御装置及び方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7407104B2 (en) * 2005-09-27 2008-08-05 Honda Motor Co., Ltd. Two-dimensional code detector and program thereof, and robot control information generator and robot
CN101273688A (zh) * 2008-05-05 2008-10-01 江苏大学 柑橘采摘机器人的柔性采摘装置和方法
CN102165880A (zh) * 2011-01-19 2011-08-31 南京农业大学 一种自主导航的履带式移动水果采摘机器人及水果采摘方法
CN103085076A (zh) * 2011-11-08 2013-05-08 发那科株式会社 物品的三维位置姿势的识别装置以及识别方法

Also Published As

Publication number Publication date
CN103963058A (zh) 2014-08-06

Similar Documents

Publication Publication Date Title
CN103963058B (zh) 基于多方位视觉定位的机械手臂抓取控制系统及方法
CN204997657U (zh) 一种具有模仿功能的仿生机械手
EP3383593B1 (en) Teaching an industrial robot to pick parts
CN104626206B (zh) 一种非结构环境下机器人作业的位姿信息测量方法
CN107901041B (zh) 一种基于图像混合矩的机器人视觉伺服控制方法
CN106003036A (zh) 一种基于双目视觉引导的物体抓取与放置系统
CN106853639A (zh) 一种手机电池自动化装配系统及其控制方法
CN104626169B (zh) 基于视觉与机械综合定位的机器人抓取零件的方法
CN103503639A (zh) 一种双臂果蔬采收机器人系统及其果蔬采收方法
CN104842362A (zh) 一种机器人抓取物料包的方法和机器人抓取装置
CN104842361A (zh) 具有3d箱体定位功能的机器人系统
CN108499054B (zh) 一种基于slam的车载机械臂捡球系统及其捡球方法
CN106708251A (zh) 一种基于眼球追踪技术的智能眼镜控制方法
CN107234625A (zh) 视觉伺服定位和抓取的方法
CN104772286A (zh) 一种基于kinect的新型分拣系统及其操作方法
CN108202316A (zh) 一种自动开关机柜门的巡检机器人及控制方法
CN105128009A (zh) 具有精确感测物体形状位姿的仿生机器人及其感测方法
CN107968915A (zh) 水下机器人摄像机云台实时控制系统及其方法
TWI615691B (zh) 防碰撞系統及防碰撞方法
DE102015111080B4 (de) Robotervorrichtung mit maschinellem Sehen
CN204724476U (zh) 一种基于kinect的新型分拣系统
CN208020198U (zh) 一种基于rgbd的智能抓取机器人
JP5515654B2 (ja) ロボットシステム
CN105547153B (zh) 基于双目视觉的插件元件针脚视觉定位方法及装置
Inaba et al. Vision-based multisensor integration in remote-brained robots

Legal Events

Date Code Title Description
PB01 Publication
C06 Publication
SE01 Entry into force of request for substantive examination
C10 Entry into substantive examination
C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20150421

Address after: 401133 Chongqing District of Beibei city and high-tech Industrial Park Road No. 5, No. 137 of the Milky way

Applicant after: CHONGQING GLOBAL SIGHT HIGH-TECHNOLOGY CO., LTD.

Address before: Two road 400039 Chongqing Jiulongpo Branch Park No. 137 B block 7 layer 2-6

Applicant before: CHONGQING GLOBAL SIGHT TECHNOLOGY CO., LTD.

COR Change of bibliographic data

Free format text: CORRECT: ADDRESS; FROM: 400039 JIULONGPO, CHONGQING TO: 401133 BEIPEI, CHONGQING

ASS Succession or assignment of patent right

Owner name: CHONGQING GLOBAL SIGHT HIGH TECHNOLOGY CO., LTD.

Free format text: FORMER OWNER: CHONGQING GLOBAL SIGHT TECHNOLOGY CO., LTD.

Effective date: 20150421

C14 Grant of patent or utility model
GR01 Patent grant