CN110605711A - 一种控制协作机器人抓取物体的方法、装置及系统 - Google Patents

一种控制协作机器人抓取物体的方法、装置及系统 Download PDF

Info

Publication number
CN110605711A
CN110605711A CN201810613421.XA CN201810613421A CN110605711A CN 110605711 A CN110605711 A CN 110605711A CN 201810613421 A CN201810613421 A CN 201810613421A CN 110605711 A CN110605711 A CN 110605711A
Authority
CN
China
Prior art keywords
grabbed
mechanical arm
binocular camera
coordinate system
posture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810613421.XA
Other languages
English (en)
Other versions
CN110605711B (zh
Inventor
洪浛檩
张涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Rui Fu Ning Robot (shenyang) Co Ltd
Original Assignee
China Rui Fu Ning Robot (shenyang) Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Rui Fu Ning Robot (shenyang) Co Ltd filed Critical China Rui Fu Ning Robot (shenyang) Co Ltd
Priority to CN201810613421.XA priority Critical patent/CN110605711B/zh
Publication of CN110605711A publication Critical patent/CN110605711A/zh
Application granted granted Critical
Publication of CN110605711B publication Critical patent/CN110605711B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1679Programme controls characterised by the tasks executed
    • B25J9/1682Dual arm manipulator; Coordination of several manipulators

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Manipulator (AREA)

Abstract

本申请实施例公开一种控制协作机器人抓取物体的方法、装置及系统,通过将3D双目相机设置在机器人本体上,将单目相机设置于机械臂末端,在遇到待抓取物体前有障碍物时,能够利用机械臂绕开障碍物,在障碍物后侧再次进行单帧数据采集和识别,有效解决了待抓取物体前有障碍物遮挡时,现有协作机器人无法完成抓取的缺点,抓取有障碍物的物体不需要实时控制机械臂移动单目相机完成物体的三维重建,不需要功能强大的处理器,降低系统成本;此外,可在系统工作站通过人工智能的方式已经进行大量数据的采集和训练,因此,在应用单目相机评估深度时不需要很长的时间,显著提高了抓取有障碍物的物体的抓取成功率和抓取效率。

Description

一种控制协作机器人抓取物体的方法、装置及系统
技术领域
本申请涉及机器人技术领域,尤其涉及一种控制协作机器人抓取物体的方法、装置及系统。
背景技术
随着科学技术的飞速发展,协作机器人已经广泛应用于工业生产、物流、冶金医疗、及3C产业等领域,用以取代人手进行抓取和搬运等重复性、机械性的工作,能够显著上提高生产效率,此外,协作机器人也能取代人手进行一些复杂、危险性高的工作,在较大程度上保证作业人员的人身安全。
现有的协作机器人通常包括底盘、设置在底盘上的机器人本体,以及与机器人本体连接的机械臂。在一种常见的协作机器人中,3D双目相机设置于机器人本体的头部,在抓取物体时,协作机器人的底盘通过相应的定位系统使其运动到指定工位,3D双目相机开始识别待抓取物体,以识别出待抓取物体在3D双目相机坐标系下物体的姿态和位置。在已知该协作机器人的手眼标定变换矩阵条件下,把待抓取物体的姿态和位置转换到机器人机械臂的基坐标系或工具坐标系下,从而通过机械臂完成对物体的抓取。在另一种常见的协作机器人中,3D双目相机或单目相机设置于协作机器人机械臂的末端,在抓取物体时,协作机器人的底盘通过相应的定位系统使其运动到指定工位,3D双目相机开始识别待抓取物体,以识别出待抓取物体在3D双目相机坐标系下物体的姿态和位置,在已知该协作机器人的手眼标定变换矩阵条件下,把待抓取物体的姿态和位置转换到协作机器人机械臂的基坐标系或工具坐标系下,从而通过机械臂完成对物体的抓取。若采用单目相机完成对物体的抓取,则需要应用三维重建技术完成对待抓取物体的三维重建,在重建的三维模型中识别出待抓取物体的姿态和位置,从而通过机械臂完成对物体的抓取。
然而,协作机器人在实际抓取物体时,经常会出现待抓取物体的前方存在障碍物的情况。在上述情况下,利用现有的第一种协作机器人抓取该物体时,根据3D双目相机识别的结果,机器人主控制器认为此工位上没有待抓取的物体或此工位上有别的物体,导致协作机器人不运行视觉抓取作业;在上述情况下,利用现有的第二种协作机器人抓取该物体时,可通过协作机器人实时控制机械臂移动3D双目相机躲避障碍物,但其躲避障碍物的算法复杂,而且需要强大的计算处理器才能保证实时性;当采用单目相机抓取该物体时,同样需要通过协作机器人实时控制机械臂移动单目相机完成物体的三维重建,其控制机械臂在有障碍物下进行三维重建的控制算法相当复杂,而且在重建的三维模型中识别出待抓取的物体的姿态和位置也很困难,导致在复杂环境下的抓取成功率和抓取效率明显降低。
发明内容
本申请提供了一种控制协作机器人抓取物体的方法、装置及系统,以解决在物体前方存在障碍物的情况下,现有技术无法完成抓取,或者抓取成功率和抓取效率明显降低的问题。
第一方面,本申请首先提供一种控制协作机器人抓取物体的方法,所述方法包括:
获取系统工作站发送的调度指令,以控制协作机器人移动至指定工位;
控制机器人本体上的3D双目相机对待抓取物体进行识别;
判断所述3D双目相机是否识别出所述待抓取物体;
如果所述3D双目相机没有识别出所述待抓取物体,判断所述3D双目相机是否识别出有障碍物;
如果所述3D双目相机识别出有障碍物,控制机械臂运动至所述障碍物的后侧;
控制机械臂上的单目相机计算出所述待抓取物体在所述单目相机坐标系下的姿态和位置数据;
接收所述待抓取物体在所述单目相机坐标系下的姿态和位置数据;
根据所述待抓取物体在所述单目相机坐标系下的姿态和位置数据,以及所述机械臂与所述单目相机之间的变换矩阵,计算出所述待抓取物体在所述机械臂坐标系下的姿态和位置数据;
根据所述待抓取物体在所述机械臂坐标系下的姿态和位置数据,控制机械臂完成对所述待抓取物体的抓取。
可选的,判断所述3D双目相机是否识别出所述待抓取物体之后,包括:
如果所述3D双目相机识别出所述待抓取物体,控制所述3D双目相机计算出所述待抓取物体在所述3D双目相机坐标系下的姿态和位置数据;
接收所述待抓取物体在所述3D双目相机坐标系下的姿态和位置数据;
根据所述待抓取物体在所述3D双目相机坐标系下的姿态和位置数据,以及所述机械臂与所述3D双目相机之间的变换矩阵,计算出所述待抓取物体在所述机械臂坐标系下的姿态和位置数据;
根据所述待抓取物体在所述机械臂坐标系下的姿态和位置数据,控制所述机械臂完成对所述待抓取物体的抓取。
可选的,根据所述待抓取物体在所述机械臂坐标系下的姿态和位置数据,控制所述机械臂完成对所述待抓取物体的抓取之后,还包括:
发送抓取成功信息至所述系统工作站,以便所述系统工作站向所述主控制器发送针对下一工位的调度指令。
可选的,判断所述3D双目相机是否识别出有障碍物之后,包括:
如果所述3D双目相机没有识别出有障碍物,发送指定工位没有物体的信息至所述系统工作站,以便所述系统工作站向所述主控制器发送针对下一工位的调度指令。
可选的,控制机器人本体上的3D双目相机对待抓取物体进行识别,包括:
控制机器人本体上的3D双目相机采集当前环境的三维点云图,并应用ICP算法识别所述待抓取物体。
可选的,控制机械臂上的单目相机计算出所述待抓取物体在所述单目相机坐标系下的姿态和位置数据,包括:
控制所述单目相机获取一帧图像,以使所述单目相机根据所述图像应用人工智能算法生成深度图,之后将所述深度图转变成三维点云图,并应用ICP算法计算出所述待抓取物体在所述单目相机坐标系下的姿态和位置数据。
可选的,所述机械臂与所述3D双目相机之间的变换矩阵通过以下方法得到:
更换协作机器人机械臂的抓手,安装标定精准件工装,所述标定精准件工装包括圆柱体以及连接于所述圆柱体上的圆锥体;
在机械臂控制器输入标定精准件工装的圆锥顶点的工具坐标系;
主控制器控制机械臂移动,使所述标定精准件工装的全部椎体部分完全处于3D双目相机的视场内,以便所述3D双目相机能够采集尽量多的圆锥体表面的点云数据;
3D双目相机的图像处理器应用采集的圆锥体表面的点云数据来拟合计算所述圆锥体在所述3D双目相机坐标系下的位置和姿态;
在保证所述标定精准件工装的圆锥表面处在所述3D双目相机视场内前提下,控制机械臂变换9次姿态和位置;
3D双目相机发送圆锥顶点在所述3D双目相机坐标系下的9组姿态值和位置值至主控制器,以使主控制器记录协作机器人在机械臂坐标系下的9组姿态值和位置值;
设所述机械臂坐标系到所述3D双目相机坐标系的变换矩阵Tbc中的九个未知数分别为nx,ny,nz,ox,oy,oz,px,py,pz,应用向量叉乘、QR三角分解理论和最小二乘解非线性方程解上述九个未知数,得到所述机械臂与所述3D双目相机之间的变换矩阵。
可选的,其特征在于,所述方法还包括:
更换所述标定精准件工装,再次安装机械臂抓手;
在机械臂控制器输入实际机械臂抓手的工具坐标系。
第二方面,本发明提供一种控制协作机器人抓取物体的装置,所述装置包括:
获取单元,用于获取系统工作站发送的调度指令,以控制协作机器人移动至指定工位;
第一控制单元,用于控制机器人本体上的3D双目相机对待抓取物体进行识别;
第一判断单元,用于判断所述3D双目相机是否识别出所述待抓取物体;
第二判断单元,用于如果所述3D双目相机没有识别出所述待抓取物体,判断所述3D双目相机是否识别出有障碍物;
第二控制单元,用于如果所述3D双目相机识别出有障碍物,控制机械臂运动至所述障碍物的后侧;
第三控制单元,用于控制机械臂上的单目相机计算出所述待抓取物体在所述单目相机坐标系下的姿态和位置数据;
接收单元,用于接收所述待抓取物体在所述单目相机坐标系下的姿态和位置数据;
计算单元,用于根据所述待抓取物体在所述单目相机坐标系下的姿态和位置数据,以及所述机械臂与所述单目相机之间的变换矩阵,计算出所述待抓取物体在所述机械臂坐标系下的姿态和位置数据;
第四控制单元,用于根据所述待抓取物体在所述机械臂坐标系下的姿态和位置数据,控制机械臂完成对所述待抓取物体的抓取。
第三方面,本发明提供一种控制协作机器人抓取物体的系统,所述系统包括:协作机器人和系统工作站,所述协作机器人包括底盘、设置在所述底盘上的机器人本体,以及与所述机器人本体连接的机械臂;所述机器人本体上设置有3D双目相机,所述机械臂末端设置有单目相机,所述机器人本体设置有主控制器,所述主控制器与所述系统工作站通信连接;
所述系统工作站,用于向所述主控制器发送调度指令,以控制协作机器人移动至指定工位;
所述主控制器,用于获取系统工作站发送的调度指令,以控制协作机器人移动至指定工位,控制机器人本体上的3D双目相机对待抓取物体进行识别,判断所述3D双目相机是否识别出所述待抓取物体,如果所述3D双目相机没有识别出所述待抓取物体,判断所述3D双目相机是否识别出有障碍物,如果所述3D双目相机识别出有障碍物,控制机械臂运动至所述障碍物的后侧,控制机械臂上的单目相机计算出所述待抓取物体在所述单目相机坐标系下的姿态和位置数据,接收所述待抓取物体在所述单目相机坐标系下的姿态和位置数据,根据所述待抓取物体在所述单目相机坐标系下的姿态和位置数据,以及所述机械臂与所述单目相机之间的变换矩阵,计算出所述待抓取物体在所述机械臂坐标系下的姿态和位置数据,根据所述待抓取物体在所述机械臂坐标系下的姿态和位置数据,控制机械臂完成对所述待抓取物体的抓取。
由以上技术方案可知,本申请提供的一种控制协作机器人抓取物体的方法、装置及系统,与3D双目相机处于协作机器人本体上的物体抓取方式相比较,通过将3D双目相机设置在机器人本体上,将单目相机设置于机械臂末端,在遇到待抓取物体前有障碍物时,能够利用机械臂绕开障碍物,在障碍物后侧再次进行单帧数据采集和识别,有效解决了待抓取物体前有障碍物遮挡时,现有协作机器人无法完成抓取的缺点;与单目相机处于协作机器人手臂末端的抓取方式相比较,本发明将3D双目相机与单目相机相结合,抓取有障碍物的物体不需要实时控制机械臂移动单目相机完成物体的三维重建,因此在机器人本体上不需要功能强大的处理器,从而降低了系统成本;并且,而且上述三维重建很耗时,本发明可在系统工作站通过人工智能的方式已经进行大量数据的采集和训练,因此,在应用单目相机评估深度时不需要很长的时间,显著提高了抓取有障碍物的物体的抓取成功率和抓取效率。
附图说明
为了更清楚地说明本申请的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,对于本领域普通技术人员而言,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种控制协作机器人抓取物体的方法的流程图;
图2为图1中步骤S2的示意图;
图3为图1中步骤S6的示意图;
图4为得到机械臂与3D双目相机之间的变换矩阵标定过程的流程图;
图5为标定精准件工装的示意图;
图6为本申请实施例提供的一种控制协作机器人抓取物体的装置结构框图;
图7为本申请实施例提供的一种控制协作机器人抓取物体的系统的示意图;
图8为本申请实施例提供的一种控制协作机器人抓取物体的系统的协作机器人的示意图。
具体实施方式
请参阅图1,本申请实施例首先提供一种控制协作机器人抓取物体的方法,其中,协作机器人包括底盘、设置在所述底盘上的机器人本体,以及与所述机器人本体连接的机械臂;所述机器人本体胸部或者头部设置有3D双目相机,所述机械臂末端设置有单目相机,所述机器人本体设置有主控制器,所述方法包括:
步骤S1,获取系统工作站发送的调度指令,以控制协作机器人移动至指定工位。
协作机器人的底部设置有可移动的底盘,系统工作站根据事先建好的地图调度该控制协作机器人到指定抓取工位,底盘由自动导引运输车构成。
步骤S2,控制机器人本体上的3D双目相机对待抓取物体进行识别。
步骤S3,判断所述3D双目相机是否识别出所述待抓取物体。
步骤S4,如果所述3D双目相机没有识别出所述待抓取物体,判断所述3D双目相机是否识别出有障碍物。
步骤S5,如果所述3D双目相机识别出有障碍物,控制机械臂运动至所述障碍物的后侧。
步骤S6,控制机械臂上的单目相机计算出所述待抓取物体在所述单目相机坐标系下的姿态和位置数据。
步骤S7,接收所述待抓取物体在所述单目相机坐标系下的姿态和位置数据。
步骤S8,根据所述待抓取物体在所述单目相机坐标系下的姿态和位置数据,以及所述机械臂与所述单目相机之间的变换矩阵,计算出所述待抓取物体在所述机械臂坐标系下的姿态和位置数据。
步骤S9,根据所述待抓取物体在所述机械臂坐标系下的姿态和位置数据,控制机械臂完成对所述待抓取物体的抓取。
可选的,判断所述3D双目相机是否识别出所述待抓取物体之后,包括:
步骤S31,如果所述3D双目相机识别出所述待抓取物体,控制所述3D双目相机计算出所述待抓取物体在所述3D双目相机坐标系下的姿态和位置数据;
步骤S32,接收所述待抓取物体在所述3D双目相机坐标系下的姿态和位置数据;
步骤S33,根据所述待抓取物体在所述3D双目相机坐标系下的姿态和位置数据,以及所述机械臂与所述3D双目相机之间的变换矩阵,计算出所述待抓取物体在所述机械臂坐标系下的姿态和位置数据;
步骤S34,根据所述待抓取物体在所述机械臂坐标系下的姿态和位置数据,控制所述机械臂完成对所述待抓取物体的抓取。
可选的,根据所述待抓取物体在所述机械臂坐标系下的姿态和位置数据,控制所述机械臂完成对所述待抓取物体的抓取之后,还包括:
步骤S10,发送抓取成功信息至所述系统工作站,以便所述系统工作站向所述主控制器发送针对下一工位的调度指令。
可选的,判断所述3D双目相机是否识别出有障碍物之后,包括:
步骤S41,如果所述3D双目相机没有识别出有障碍物,发送指定工位没有物体的信息至所述系统工作站,以便所述系统工作站向所述主控制器发送针对下一工位的调度指令。
请参阅图2,控制机器人本体上的3D双目相机对待抓取物体进行识别,包括:
步骤S21,控制机器人本体上的3D双目相机采集当前环境的三维点云图。
步骤S22,应用ICP算法识别待抓取物体。
请参阅图3,控制机械臂上的单目相机计算出所述待抓取物体在所述单目相机坐标系下的姿态和位置数据,包括:
步骤S61,控制所述单目相机获取一帧图像;
步骤S62,单目相机根据所述图像应用人工智能算法生成深度图;
步骤S63,将所述深度图转变成三维点云图;
步骤S64,应用ICP算法计算出所述待抓取物体在所述单目相机坐标系下的姿态和位置数据。CCRF-CNN是一种连续的CRFs(Conditional random fields)模型,采用神经网络实现多尺度预测的结构化融合,应用于单目相机的深度估计。应用此单目相机的深度估计能变换成点云图,应用点云图能完成对待抓取物体的在单目相机坐标系下的姿态和位置的求取。
请参阅图4和图5,在本实施例中,所述机械臂与所述3D双目相机之间的变换矩阵通过以下方法得到:
步骤S101,更换协作机器人机械臂的抓手,安装标定精准件工装,所述标定精准件工装包括圆柱体100以及连接于所述圆柱体上的圆锥体200;
步骤S102,在机械臂控制器输入标定精准件工装的圆锥顶点的工具坐标系;
步骤S103,主控制器控制机械臂移动,使所述标定精准件工装的全部椎体部分完全处于3D双目相机的视场内,以便所述3D双目相机能够采集尽量多的圆锥体表面的点云数据;
步骤S104,3D双目相机的图像处理器应用采集的圆锥体表面的点云数据来拟合计算所述圆锥体在所述3D双目相机坐标系下的位置和姿态;
步骤S105,在保证所述标定精准件工装的圆锥表面处在所述3D双目相机视场内前提下,控制机械臂变换9次姿态和位置;
步骤S106,3D双目相机发送圆锥顶点在所述3D双目相机坐标系下的9组姿态值和位置值至主控制器,以使主控制器记录协作机器人在机械臂坐标系下的9组姿态值和位置值;
步骤S107,设所述机械臂坐标系到所述3D双目相机坐标系的变换矩阵Tbc中的九个未知数分别为nx,ny,nz,ox,oy,oz,px,py,pz,应用向量叉乘、QR三角分解理论和最小二乘解非线性方程解上述九个未知数,得到所述机械臂与所述3D双目相机之间的变换矩阵。
步骤S108,更换所述标定精准件工装,再次安装机械臂抓手;
步骤S109,在机械臂控制器输入实际机械臂抓手的工具坐标系。
其中Tcb为协作机器人的基坐标系即机械臂坐标系到3D双目相机坐标系的变换矩阵,即为我们所要求取的手眼标定变换矩阵。标定精准件工装上端的圆椎体便于3D双目相机拟合圆锥定点,此定精准件工装在3D双目相机手眼标定时作为已知的手臂工具。
由以上实施例可知,本申请提供的一种控制协作机器人抓取物体的方法,与3D双目相机处于协作机器人本体上的物体抓取方式相比较,通过将3D双目相机设置在机器人本体上,将单目相机设置于机械臂末端,在遇到待抓取物体前有障碍物时,能够利用机械臂绕开障碍物,在障碍物后侧再次进行单帧数据采集和识别,有效解决了待抓取物体前有障碍物遮挡时,现有协作机器人无法完成抓取的缺点;与单目相机处于协作机器人手臂末端的抓取方式相比较,本发明将3D双目相机与单目相机相结合,抓取有障碍物的物体不需要实时控制机械臂移动单目相机完成物体的三维重建,因此在机器人本体上不需要功能强大的处理器,从而降低了系统成本;并且,而且应用手眼系统EYE-IN-HAND机器人手眼系统进行三维重建很耗时,本发明可在系统工作站通过人工智能的方式已经进行大量数据的采集和训练,因此,在应用单目相机评估深度时不需要很长的时间,显著提高了抓取有障碍物的物体的抓取成功率和抓取效率。
第二方面,请参阅图6,本发明提供一种控制协作机器人抓取物体的装置,所述装置包括:
获取单元101,用于获取系统工作站发送的调度指令,以控制协作机器人移动至指定工位;
第一控制单元102,用于控制机器人本体上的3D双目相机对待抓取物体进行识别;
第一判断单元103,用于判断所述3D双目相机是否识别出所述待抓取物体;
第二判断单元104,用于如果所述3D双目相机没有识别出所述待抓取物体,判断所述3D双目相机是否识别出有障碍物;
第二控制单元105,用于如果所述3D双目相机识别出有障碍物,控制机械臂运动至所述障碍物的后侧;
第三控制单元106,用于控制机械臂上的单目相机计算出所述待抓取物体在所述单目相机坐标系下的姿态和位置数据;
接收单元107,用于接收所述待抓取物体在所述单目相机坐标系下的姿态和位置数据;
计算单元108,用于根据所述待抓取物体在所述单目相机坐标系下的姿态和位置数据,以及所述机械臂与所述单目相机之间的变换矩阵,计算出所述待抓取物体在所述机械臂坐标系下的姿态和位置数据;
第四控制单元109,用于根据所述待抓取物体在所述机械臂坐标系下的姿态和位置数据,控制机械臂完成对所述待抓取物体的抓取。
第三方面,请参阅图7和图8,本发明提供一种控制协作机器人抓取物体的系统,所述系统包括:协作机器人2和系统工作站1,所述协作机器人2包括底盘91、设置在所述底盘91上的机器人本体92,以及与所述机器人本体92连接的机械臂93;所述机器人本体92上设置有3D双目相机94,所述机械臂93末端设置有单目相机95,所述机器人本体92设置有主控制器,所述主控制器与所述系统工作站1通信连接。
所述系统工作站,用于向所述主控制器发送调度指令,以控制协作机器人移动至指定工位;
所述主控制器,用于获取系统工作站发送的调度指令,以控制协作机器人移动至指定工位,控制机器人本体上的3D双目相机对待抓取物体进行识别,判断所述3D双目相机是否识别出所述待抓取物体,如果所述3D双目相机没有识别出所述待抓取物体,判断所述3D双目相机是否识别出有障碍物,如果所述3D双目相机识别出有障碍物,控制机械臂运动至所述障碍物的后侧,控制机械臂上的单目相机计算出所述待抓取物体在所述单目相机坐标系下的姿态和位置数据,接收所述待抓取物体在所述单目相机坐标系下的姿态和位置数据,根据所述待抓取物体在所述单目相机坐标系下的姿态和位置数据,以及所述机械臂与所述单目相机之间的变换矩阵,计算出所述待抓取物体在所述机械臂坐标系下的姿态和位置数据,根据所述待抓取物体在所述机械臂坐标系下的姿态和位置数据,控制机械臂完成对所述待抓取物体的抓取。
具体实现中,本申请还提供一种计算机存储介质,其中,该计算机存储介质可存储有程序,该程序执行时可包括本发明提供的控制协作机器人抓取物体的方法各实施例中的部分或全部步骤。所述的存储介质可为磁碟、光盘、只读存储记忆体(英文:read-onlymemory,简称:ROM)或随机存储记忆体(英文:random access memory,简称:RAM)等。
本领域的技术人员可以清楚地了解到本发明实施例中的技术可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解,本发明实施例中的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。
本说明书中各个实施例之间相同相似的部分互相参见即可。尤其,对于控制协作机器人抓取物体的装置和系统实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例中的说明即可。
以上所述的本申请实施方式并不构成对本申请保护范围的限定。

Claims (10)

1.一种控制协作机器人抓取物体的方法,其特征在于,所述方法包括:
获取系统工作站发送的调度指令,以控制协作机器人移动至指定工位;
控制机器人本体上的3D双目相机对待抓取物体进行识别;
判断所述3D双目相机是否识别出所述待抓取物体;
如果所述3D双目相机没有识别出所述待抓取物体,判断所述3D双目相机是否识别出有障碍物;
如果所述3D双目相机识别出有障碍物,控制机械臂运动至所述障碍物的后侧;
控制机械臂上的单目相机计算出所述待抓取物体在所述单目相机坐标系下的姿态和位置数据;
接收所述待抓取物体在所述单目相机坐标系下的姿态和位置数据;
根据所述待抓取物体在所述单目相机坐标系下的姿态和位置数据,以及所述机械臂与所述单目相机之间的变换矩阵,计算出所述待抓取物体在所述机械臂坐标系下的姿态和位置数据;
根据所述待抓取物体在所述机械臂坐标系下的姿态和位置数据,控制机械臂完成对所述待抓取物体的抓取。
2.如权利要求1所述的方法,其特征在于,判断所述3D双目相机是否识别出所述待抓取物体之后,包括:
如果所述3D双目相机识别出所述待抓取物体,控制所述3D双目相机计算出所述待抓取物体在所述3D双目相机坐标系下的姿态和位置数据;
接收所述待抓取物体在所述3D双目相机坐标系下的姿态和位置数据;
根据所述待抓取物体在所述3D双目相机坐标系下的姿态和位置数据,以及所述机械臂与所述3D双目相机之间的变换矩阵,计算出所述待抓取物体在所述机械臂坐标系下的姿态和位置数据;
根据所述待抓取物体在所述机械臂坐标系下的姿态和位置数据,控制所述机械臂完成对所述待抓取物体的抓取。
3.如权利要求1或2所述的方法,其特征在于,根据所述待抓取物体在所述机械臂坐标系下的姿态和位置数据,控制所述机械臂完成对所述待抓取物体的抓取之后,还包括:
发送抓取成功信息至所述系统工作站,以便所述系统工作站向所述主控制器发送针对下一工位的调度指令。
4.如权利要求1所述的方法,其特征在于,判断所述3D双目相机是否识别出有障碍物之后,包括:
如果所述3D双目相机没有识别出有障碍物,发送指定工位没有物体的信息至所述系统工作站,以便所述系统工作站向所述主控制器发送针对下一工位的调度指令。
5.如权利要求1所述的方法,其特征在于,控制机器人本体上的3D双目相机对待抓取物体进行识别,包括:
控制机器人本体上的3D双目相机采集当前环境的三维点云图,并应用ICP算法识别所述待抓取物体。
6.如权利要求1所述的方法,其特征在于,控制机械臂上的单目相机计算出所述待抓取物体在所述单目相机坐标系下的姿态和位置数据,包括:
控制所述单目相机获取一帧图像,以使所述单目相机根据所述图像应用人工智能算法生成深度图,之后将所述深度图转变成三维点云图,并应用ICP算法计算出所述待抓取物体在所述单目相机坐标系下的姿态和位置数据。
7.如权利要求1所述的方法,其特征在于,所述机械臂与所述3D双目相机之间的变换矩阵通过以下方法得到:
更换协作机器人机械臂的抓手,安装标定精准件工装,所述标定精准件工装包括圆柱体以及连接于所述圆柱体上的圆锥体;
在机械臂控制器输入标定精准件工装的圆锥顶点的工具坐标系;
主控制器控制机械臂移动,使所述标定精准件工装的全部椎体部分完全处于3D双目相机的视场内,以便所述3D双目相机能够采集尽量多的圆锥体表面的点云数据;
3D双目相机的图像处理器应用采集的圆锥体表面的点云数据来拟合计算所述圆锥体在所述3D双目相机坐标系下的位置和姿态;
在保证所述标定精准件工装的圆锥表面处在所述3D双目相机视场内前提下,控制机械臂变换9次姿态和位置;
3D双目相机发送圆锥顶点在所述3D双目相机坐标系下的9组姿态值和位置值至主控制器,以使主控制器记录协作机器人在机械臂坐标系下的9组姿态值和位置值;
设所述机械臂坐标系到所述3D双目相机坐标系的变换矩阵Tbc中的九个未知数分别为nx,ny,nz,ox,oy,oz,px,py,pz,应用向量叉乘、QR三角分解理论和最小二乘解非线性方程解上述九个未知数,得到所述机械臂与所述3D双目相机之间的变换矩阵。
8.如权利要求7所述的方法,其特征在于,所述方法还包括:
更换所述标定精准件工装,再次安装机械臂抓手;
在机械臂控制器输入实际机械臂抓手的工具坐标系。
9.一种控制协作机器人抓取物体的装置,其特征在于,所述装置包括:
获取单元,用于获取系统工作站发送的调度指令,以控制协作机器人移动至指定工位;
第一控制单元,用于控制机器人本体上的3D双目相机对待抓取物体进行识别;
第一判断单元,用于判断所述3D双目相机是否识别出所述待抓取物体;
第二判断单元,用于如果所述3D双目相机没有识别出所述待抓取物体,判断所述3D双目相机是否识别出有障碍物;
第二控制单元,用于如果所述3D双目相机识别出有障碍物,控制机械臂运动至所述障碍物的后侧;
第三控制单元,用于控制机械臂上的单目相机计算出所述待抓取物体在所述单目相机坐标系下的姿态和位置数据;
接收单元,用于接收所述待抓取物体在所述单目相机坐标系下的姿态和位置数据;
计算单元,用于根据所述待抓取物体在所述单目相机坐标系下的姿态和位置数据,以及所述机械臂与所述单目相机之间的变换矩阵,计算出所述待抓取物体在所述机械臂坐标系下的姿态和位置数据;
第四控制单元,用于根据所述待抓取物体在所述机械臂坐标系下的姿态和位置数据,控制机械臂完成对所述待抓取物体的抓取。
10.一种控制协作机器人抓取物体的系统,其特征在于,所述系统包括:协作机器人和系统工作站,所述协作机器人包括底盘、设置在所述底盘上的机器人本体,以及与所述机器人本体连接的机械臂;所述机器人本体上设置有3D双目相机,所述机械臂末端设置有单目相机,所述机器人本体设置有主控制器,所述主控制器与所述系统工作站通信连接;
所述系统工作站,用于向所述主控制器发送调度指令,以控制协作机器人移动至指定工位;
所述主控制器,用于获取系统工作站发送的调度指令,以控制协作机器人移动至指定工位,控制机器人本体上的3D双目相机对待抓取物体进行识别,判断所述3D双目相机是否识别出所述待抓取物体,如果所述3D双目相机没有识别出所述待抓取物体,判断所述3D双目相机是否识别出有障碍物,如果所述3D双目相机识别出有障碍物,控制机械臂运动至所述障碍物的后侧,控制机械臂上的单目相机计算出所述待抓取物体在所述单目相机坐标系下的姿态和位置数据,接收所述待抓取物体在所述单目相机坐标系下的姿态和位置数据,根据所述待抓取物体在所述单目相机坐标系下的姿态和位置数据,以及所述机械臂与所述单目相机之间的变换矩阵,计算出所述待抓取物体在所述机械臂坐标系下的姿态和位置数据,根据所述待抓取物体在所述机械臂坐标系下的姿态和位置数据,控制机械臂完成对所述待抓取物体的抓取。
CN201810613421.XA 2018-06-14 2018-06-14 一种控制协作机器人抓取物体的方法、装置及系统 Active CN110605711B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810613421.XA CN110605711B (zh) 2018-06-14 2018-06-14 一种控制协作机器人抓取物体的方法、装置及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810613421.XA CN110605711B (zh) 2018-06-14 2018-06-14 一种控制协作机器人抓取物体的方法、装置及系统

Publications (2)

Publication Number Publication Date
CN110605711A true CN110605711A (zh) 2019-12-24
CN110605711B CN110605711B (zh) 2022-06-28

Family

ID=68887596

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810613421.XA Active CN110605711B (zh) 2018-06-14 2018-06-14 一种控制协作机器人抓取物体的方法、装置及系统

Country Status (1)

Country Link
CN (1) CN110605711B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111558940A (zh) * 2020-05-27 2020-08-21 佛山隆深机器人有限公司 一种机器人料框抓取规划与碰撞检测方法
CN112907594A (zh) * 2021-04-19 2021-06-04 联仁健康医疗大数据科技股份有限公司 非目标对象辅助分离方法、系统、医疗机器人及存储介质
CN113409394A (zh) * 2021-08-17 2021-09-17 成都信息工程大学 一种智能叉取方法及系统
CN114770461A (zh) * 2022-04-14 2022-07-22 深圳技术大学 一种基于单目视觉的移动机器人及其自动抓取方法
CN114932555A (zh) * 2022-06-14 2022-08-23 如你所视(北京)科技有限公司 机械臂协同作业系统及机械臂控制方法
EP4129584A4 (en) * 2020-03-31 2024-04-24 Minebea Mitsumi Inc. CALIBRATION SYSTEM, INFORMATION PROCESSING SYSTEM, ROBOT CONTROL SYSTEM, CALIBRATION METHOD, INFORMATION PROCESSING METHOD, ROBOT CONTROL METHOD, CALIBRATION PROGRAM, INFORMATION PROCESSING PROGRAM, DEVICE CALIBRATION, INFORMATION PROCESSING DEVICE AND ROBOT CONTROL DEVICE

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101384402A (zh) * 2006-02-17 2009-03-11 丰田自动车株式会社 可移动机器人
CN103950033A (zh) * 2014-04-18 2014-07-30 南京农业大学 水果采摘机器人的机械臂和末端执行器及水果采摘方法
US20150190925A1 (en) * 2014-01-07 2015-07-09 Irobot Corporation Remotely Operating a Mobile Robot
US20150314443A1 (en) * 2014-04-30 2015-11-05 Shenzhen Mercury Optoelectronics Research Institute Visual-based obstacle detection method and apparatus for mobile robot
CN105936040A (zh) * 2016-06-15 2016-09-14 浙江理工大学 基于Arduino的具有图像识别功能的搬运机器人
CN106269548A (zh) * 2016-09-27 2017-01-04 深圳市创科智能技术有限公司 一种物体自动分拣方法及其装置
CN107571260A (zh) * 2017-10-25 2018-01-12 南京阿凡达机器人科技有限公司 控制机器人抓取物体的方法和装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101384402A (zh) * 2006-02-17 2009-03-11 丰田自动车株式会社 可移动机器人
US20150190925A1 (en) * 2014-01-07 2015-07-09 Irobot Corporation Remotely Operating a Mobile Robot
CN103950033A (zh) * 2014-04-18 2014-07-30 南京农业大学 水果采摘机器人的机械臂和末端执行器及水果采摘方法
US20150314443A1 (en) * 2014-04-30 2015-11-05 Shenzhen Mercury Optoelectronics Research Institute Visual-based obstacle detection method and apparatus for mobile robot
CN105936040A (zh) * 2016-06-15 2016-09-14 浙江理工大学 基于Arduino的具有图像识别功能的搬运机器人
CN106269548A (zh) * 2016-09-27 2017-01-04 深圳市创科智能技术有限公司 一种物体自动分拣方法及其装置
CN107571260A (zh) * 2017-10-25 2018-01-12 南京阿凡达机器人科技有限公司 控制机器人抓取物体的方法和装置

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4129584A4 (en) * 2020-03-31 2024-04-24 Minebea Mitsumi Inc. CALIBRATION SYSTEM, INFORMATION PROCESSING SYSTEM, ROBOT CONTROL SYSTEM, CALIBRATION METHOD, INFORMATION PROCESSING METHOD, ROBOT CONTROL METHOD, CALIBRATION PROGRAM, INFORMATION PROCESSING PROGRAM, DEVICE CALIBRATION, INFORMATION PROCESSING DEVICE AND ROBOT CONTROL DEVICE
CN111558940A (zh) * 2020-05-27 2020-08-21 佛山隆深机器人有限公司 一种机器人料框抓取规划与碰撞检测方法
CN112907594A (zh) * 2021-04-19 2021-06-04 联仁健康医疗大数据科技股份有限公司 非目标对象辅助分离方法、系统、医疗机器人及存储介质
CN113409394A (zh) * 2021-08-17 2021-09-17 成都信息工程大学 一种智能叉取方法及系统
CN114770461A (zh) * 2022-04-14 2022-07-22 深圳技术大学 一种基于单目视觉的移动机器人及其自动抓取方法
CN114770461B (zh) * 2022-04-14 2023-12-01 深圳技术大学 一种基于单目视觉的移动机器人及其自动抓取方法
CN114932555A (zh) * 2022-06-14 2022-08-23 如你所视(北京)科技有限公司 机械臂协同作业系统及机械臂控制方法
CN114932555B (zh) * 2022-06-14 2024-01-05 如你所视(北京)科技有限公司 机械臂协同作业系统及机械臂控制方法

Also Published As

Publication number Publication date
CN110605711B (zh) 2022-06-28

Similar Documents

Publication Publication Date Title
CN110605711B (zh) 一种控制协作机器人抓取物体的方法、装置及系统
JP6810087B2 (ja) 機械学習装置、機械学習装置を用いたロボット制御装置及びロボットビジョンシステム、並びに機械学習方法
WO2015058297A1 (en) Image-based trajectory robot programming planning approach
CN111347411B (zh) 基于深度学习的双臂协作机器人三维视觉识别抓取方法
CN109397285B (zh) 一种装配方法、装配装置及装配设备
JP2019508273A (ja) ロボットの把持のための深層機械学習方法および装置
CN111085997A (zh) 基于点云获取和处理的抓取训练方法及系统
CN111275063A (zh) 一种基于3d视觉的机器人智能抓取控制方法及系统
CN108858193A (zh) 一种机械臂抓取方法及系统
CN111958604A (zh) 一种高效的基于cad模型的异形毛刷单目视觉示教抓取方法
Rambow et al. Autonomous manipulation of deformable objects based on teleoperated demonstrations
CN112372641B (zh) 一种基于视觉前馈与视觉反馈的家庭服务机器人物品抓取方法
Skoglund et al. Programming by demonstration of pick-and-place tasks for industrial manipulators using task primitives
CN114770461B (zh) 一种基于单目视觉的移动机器人及其自动抓取方法
CN114463244A (zh) 一种视觉机器人抓取系统及其控制方法
CN114851209A (zh) 一种基于视觉的工业机器人工作路径规划优化方法及系统
US20220203517A1 (en) Non-transitory storage medium and method and system of creating control program for robot
CN112338922B (zh) 一种五轴机械臂抓取放置方法及相关装置
CN115861780B (zh) 一种基于yolo-ggcnn的机械臂检测抓取方法
CN113664826A (zh) 一种未知环境中的机器人抓取方法及系统
CN115635482B (zh) 基于视觉的机器人到人物体传递方法、装置、介质及终端
CN116852352A (zh) 一种基于ArUco码的电力二次设备机械臂定位方法
CN112805127A (zh) 用于创建机器人控制程序的方法和设备
Zhou et al. Visual servo control system of 2-DOF parallel robot
Liu et al. A new method for mobile robot arm blind grasping using ultrasonic sensors and Artificial Neural Networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant