CN106272424A - 一种基于单目相机和三维力传感器的工业机器人抓取方法 - Google Patents

一种基于单目相机和三维力传感器的工业机器人抓取方法 Download PDF

Info

Publication number
CN106272424A
CN106272424A CN201610807413.XA CN201610807413A CN106272424A CN 106272424 A CN106272424 A CN 106272424A CN 201610807413 A CN201610807413 A CN 201610807413A CN 106272424 A CN106272424 A CN 106272424A
Authority
CN
China
Prior art keywords
robot
sin
coordinates system
cos
article
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610807413.XA
Other languages
English (en)
Other versions
CN106272424B (zh
Inventor
陈茜
赵欢
李祥飞
丁汉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huazhong University of Science and Technology
Original Assignee
Huazhong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huazhong University of Science and Technology filed Critical Huazhong University of Science and Technology
Priority to CN201610807413.XA priority Critical patent/CN106272424B/zh
Publication of CN106272424A publication Critical patent/CN106272424A/zh
Application granted granted Critical
Publication of CN106272424B publication Critical patent/CN106272424B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1656Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • B25J13/08Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B25J13/081Touching devices, e.g. pressure-sensitive
    • B25J13/084Tactile sensors
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • B25J13/08Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B25J13/085Force or torque sensors
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1628Programme controls characterised by the control loop
    • B25J9/1633Programme controls characterised by the control loop compliant, force, torque control, e.g. combined with position control
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697Vision controlled systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Manipulator (AREA)

Abstract

本发明公开了一种基于单目相机和三维力传感器的工业机器人抓取方法,包括以下步骤:对单目相机、工业机器人进行标定,对三维力传感器进行初始化处理;单目相机采集物品图像,上位机进行图像处理计算出物品的位置信息,并根据位置信息控制机器人移动到物品上方位置,然后垂直向下运动直至碰触到待抓取物品;三维力传感器感知机器人末端与物品表面的接触力信息,上位机根据接触力信息控制工业机器人停止运动,并计算机器人末端的位姿增量,根据位姿增量实现机器人姿态的调节,直至机器人末端的气动吸盘与待抓取物品的平面贴合,气动吸盘动作完成抓取工作。本发明可实现散乱、倾斜放置的物品的抓取,降低了相机标定和物体空间位姿估计的复杂性。

Description

一种基于单目相机和三维力传感器的工业机器人抓取方法
技术领域
本发明属于机器人伺服控制技术领域,更具体地,涉及一种基于单目相机和三维力传感器的工业机器人抓取方法。
背景技术
随着工业技术的发展,工业机器人在制造业中的应用越来越广泛,如汽车及汽车零部件制造、机械加工、电子电气生产、橡胶及塑料制造、食品加工、木材与家具制造等领域的自动化生产过程中,机器人作业发挥着重要作用,机器人对工件的抓取是制造业的自动化生产中一项常见的任务。
目前,视觉引导与定位技术已经成为工业机器人获得作业周围环境信息的主要手段,如CN201210405693.3公开的基于双目视觉的机器人目标识别与抓取系统及方法,其通过视觉、射频、超声等传感器与外部环境进行智能交互,识别并定位目标物体,并通过导航系统自主到达目标物体所在的位置,以控制机械臂完成对目标物体的抓取任务;CN201310223530.8公开的一种基于双目视觉的人机交互式机械手控制系统和控制方法,其采用提取实时图像采集装置双目图像中的色彩特征作为控制机械手的信号源,通过双目立体视觉系统和三维坐标系转换计算得出视野实时图像中红色特征激光点的三维信息,以控制机械手进行人机交互式的跟踪目标的操作。
然而,上述现有技术均是以双目视觉进行目标物体定位为主,且机器人多为夹爪式,这种抓取系统对相机精度要求较高,对物品摆放位置的适应能力差,且双目相机的参数标定困难,图像处理算法复杂,此外,在操作中,机器人抓取的过程存在抓取缓慢或不稳定的情况,存在抓取一类工件的困难,且实时性和可靠性不能保证。
发明内容
针对现有技术的以上缺陷或改进需求,本发明提供了一种基于单目相机和三维力传感器的工业机器人抓取方法,其模拟人的视觉和触觉感知系统实现机器人对目标物的抓取工作,采用六自由度关节式工业机器人作为执行单元,使用单目相机进行环境感知、三维力传感器控制机器人调节姿态的方法,有效解决了物体识别设备成本高,对物体摆放要求严格等特殊限定的问题。
为实现上述目的,本发明提出了一种基于单目相机和三维力传感器的工业机器人抓取方法,包括以下步骤:
(1)首先,对用于获取待抓取物品图像信息的单目相机进行内部参数标定,并对用于执行抓取作业的工业机器人进行手眼标定,以获得工业机器人的基坐标系与相机坐标系之间的变换矩阵,然后对装于工业机器人末端的三维力传感器进行初始化处理;
(2)接着,所述单目相机垂直向下照射在待抓取物品的表面以采集物品的图像,将采集到的物品图像传输至上位机中以进行图像处理,并计算出物品的位置信息;所述上位机根据物品的位置信息控制工业机器人移动到物品的上方位置,并使工业机器人垂直向下运动直至碰触到待抓取物品;
(3)最后,当工业机器人碰触到待抓取物品后,所述三维力传感器感知工业机器人末端与待抓取物品表面的接触力信息,并将该接触力信息传输至上位机中,所述上位机通过接触力信息控制工业机器人停止运动,并通过接触力信息计算出工业机器人末端的位姿增量,根据所述位姿增量实现工业机器人姿态的调节,直至工业机器人末端的气动吸盘与待抓取物品的平面贴合,然后所述气动吸盘动作完成工业机器人抓取工作。
作为进一步优选的,所述工业机器人的基坐标系与相机坐标系之间的变换矩阵采用如下方式获得:
(1)定义坐标系:用B表示机器人基坐标系,C表示相机坐标系,O表示物体坐标系,bTc表示基坐标系与相机坐标系之间的变换矩阵,cTo表示相机坐标系与物体坐标系的变换矩阵;
(2)坐标系变换:
B=inv(cTb)·C;
C=cTo·O;
则B=inv(cTbcTo·O;
(3)获得变换矩阵bTc:控制机器人从位置1移动到位置2,由于基坐标系B和物体坐标系O位置不变,则有inv(cTbcTo1=inv(cTbcTo2,根据所述inv(cTbcTo1=inv(cTbcTo2,通过inv(cTb)·(cTo1-cTo2)=O计算得到inv(cTb),从而获得基坐标系与相机坐标系之间的变换矩阵bTc
作为进一步优选的,对装于工业机器人末端的三维力传感器进行初始化处理,具体为:
获取三维力传感器坐标系x、y、z三个方向上的当前力Fx、Fy、Fz,然后分别对应减去工业机器人末端各部件重力在力传感器坐标系x、y、z三个方向上的分量,由此实现三维力传感器的初始化处理,具体采用如下表达式表示:
F x F y F z - c o s α c o s β c o s α s i n β s i n γ - s i n α c o s γ c o s α s i n β c o s γ + s i n α s i n γ s i n α c o s β s i n α s i n β s i n γ + cos α c o s γ s i n α s i n β c o s γ - cos α sin γ - s i n β c o s β sin γ c o s β c o s γ G x G y G z = 0
其中,Fx、Fy、Fz分别表示三维力传感器测量的力在自身坐标系x、y、z方向的值;γ是基坐标系绕三维力传感器坐标系x轴的旋转角度,β是基坐标系绕三维力传感器坐标系y轴的旋转角度,α是基坐标系绕三维力传感器坐标系z轴的旋转角度;Gx、Gy、Gz分别表示机器人末端三维力传感器、连接板和气动吸盘在基坐标系x、y、z方向的重力。
作为进一步优选的,将采集到的物品图像传输至上位机中以进行图像处理并计算出物品的位置信息具体为:上位机读取单目相机的图像信息以提取物品的边缘轮廓,根据边缘轮廓选取处于最上层的物品,分别取最上层物品各边缘轮廓的中值,从而计算获得相机坐标系下目标物体的中心位置。
作为进一步优选的,所述上位机根据物品的位置信息控制工业机器人移动到物品的上方位置,并使工业机器人垂直向下运动直至碰触到待抓取物品具体为:上位机获取工业机器人当前位姿,并根据相机坐标系到机器人基坐标系的变换矩阵cTb,将目标物体在相机坐标系中的中心位置变换至基坐标系中,根据工业机器人当前位姿以及中心位置在基坐标系下的位置获得工业机器人移动到目标位置正上方的轨迹。
作为进一步优选的,上位机通过接触力信息计算出工业机器人末端的位姿增量,根据位姿增量实现工业机器人姿态的调节,直至工业机器人末端的气动吸盘与待抓取物品的平面贴合,具体为:
三维力传感器在自身坐标系下感知机器人与物体接触时x、y、z方向的接触力,通过坐标系变换得到这三个力在基坐标系下的值,然后上位机计算出机器人末端在基坐标系下的旋转角度增量,具体采用下式表示:
F x b F y b F z b = c o s α c o s β c o s α s i n β s i n γ - s i n α c o s γ c o s α s i n β c o s γ + s i n α s i n γ s i n α c o s β s i n α s i n β s i n γ + cos α c o s γ s i n α s i n β c o s γ - cos α sin γ - s i n β c o s β sin γ c o s β c o s γ · F x s F y s F z s ;
式中:Fxb、Fyb、Fzb分别是三维力传感器坐标系转换到基坐标系下x,y,z方向的力;γ是基坐标系绕三维力传感器坐标系x轴的旋转角度,β是基坐标系绕三维力传感器坐标系y轴的旋转角度,α是基坐标系绕三维力传感器坐标系z轴的旋转角度;Fxs、Fys、Fzs分别是三维力传感器坐标系下测得的x,y,z方向的力;
计算机器人末端在基坐标系下绕x、y方向的旋转角度增量Δθ和Δφ:
Δθ=arctan(Fxb/Fzb),Δφ=arctan(Fyb/Fzb);
根据计算获得的机器人末端在基坐标系下的旋转角度增量,计算机器人各个关节在基坐标系下的运动增量,然后根据所述运动增量调整机器人末端的位姿,使其末端的吸盘与待抓取物品的表面贴合。
总体而言,通过本发明所构思的以上技术方案与现有技术相比,主要具备以下的技术优点:
1.传统机器人抓取装置采用双目照相机获取目标物品的位置及深度信息,对相机的精度要求较高,图像处理算法比较繁琐,本发明忽略物体的深度信息,采用单目相机采集目标物体的位置和轮廓信息,减轻了相机硬件成本和标定复杂性。
2.本发明采用单目相机能够获得目标物到相机之间的距离、物体的上表面形状及各个物体间的相对位置,通过计算机等控制系统可以使机器人准确定位到目标物体,相比于双目相机,单目相机在硬件结构和图像处理方面十分简单。
3.本发明抓取方法采用三维力传感器感应物体摆放位置,进行实时反馈来调整机械臂的姿态,通过气动吸盘抓取目标物体,允许物体堆放、斜放,操作过程简便高效且对物品摆放位置的适应能力强。
4.本发明可以实现散乱、倾斜放置的物品的抓取,使用单目相机识别目标物品的位置、三维力传感器调节机器人姿态的方法,相比于双目相机抓取方法,降低了相机标定和物体空间位姿估计的复杂性及系统通讯复杂性,结构简单实用性强。
附图说明
图1是基于单目相机和三维力传感器的工业机器人抓取系统的结构示意图;
图2是本发明单目相机装配示意图;
图3是本发明三维力传感器及气动吸盘抓取目标物体示意图;
图4是本发明相机坐标系示意图;
图5是本发明机器人末端与待抓取物体接触示意图;
图6是基于单目相机和三维力传感器的工业机器人抓取系统的构成图;
图7是基于单目相机和三维力传感器的工业机器人抓取方法的流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。此外,下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
本发明针对现有技术中机器人抓取时存在双目相机标定及图像处理算法复杂、对物品放置位置适应性差等问题,提出了一种基于单目相机和三维力传感器的工业机器人抓取方法,该方法能够完成对随意堆放物品的抓取。该方法包括两部分:一是单目相机拍照定位目标物品,根据相机拍摄的物品图像,在上位机中提取图像特征并计算目标的中心位置,控制机械手移动到目标正上方;二是在线实时位姿调整,三维力传感器感知机械手与物体平面的接触力信息,将该信息传输至上位机进行分析计算,得出工业机器人各关节相对基坐标系的旋转增量,实时调节机械手臂的姿态,直到三维力传感器反馈的x和y向力为0,即吸盘与物体平面平行贴合,气动吸盘动作完成抓取工作。本发明的机器人抓取方法具有很好的适应性,能够实时调整位姿适应物体的摆放位置,结构相对简单,使用方便。
如图1-3所示,本发明包括上位机1、固定支架2、CCD相机3、气动吸盘4、三维力传感器5、工业机器人6、传送带7、载物筐8、待抓取物品9、相机支撑板10、支架底座11、机械手12、连接板13。
各部件具体连接如下:待抓取的物品9堆放在载物筐8中,载物筐8随着传送带7移动;三维力传感器5固定在机械手12前端,并与连接板13相连,气动吸盘4装在连接板13上;支架2的一端通过底座11固定到地面上,支架2另一端通过支撑板10与单目相机3(CCD相机)相连;通讯方面:CCD相机3和三维力传感器4分别与上位机1相连;上位机1与工业机器人6相连。
抓取之前,需对用于获取待抓取物品图像信息的单目相机进行内部参数标定,并对用于执行抓取作业的工业机器人进行手眼标定,然后对装于工业机器人末端的三维力传感器进行初始化处理。
其中,单目相机需标定的内部参数包括(共9个参数):像素坐标系中x、y方向的像素数2个、投影平面中心在像素坐标系中的坐标(x,y坐标)2个、透镜畸变参数5个,如图4所示:Opix-XpixYpix为像素坐标系,Op-XpYp为投影平面坐标系,Oc-XcYc为相机坐标系,其利用现有的Matlab或Opencv等软件中的相机标定工具包即可完成相机标定,以得到9个内部参数。
对工业机器人进行手眼标定,以获得工业机器人的基坐标系与相机坐标系之间的变换矩阵,具体为:
首先,机器人基坐标系(指机器人底盘处所在的坐标系)用B表示,相机坐标系用C表示,物体坐标系(即待抓取物品所在的坐标系)用O表示,机器人手坐标系(指机器人末端所在的坐标系)用H表示,基坐标系到物体坐标系的变换矩阵用bTo表示,基坐标系与相机坐标系之间的变换矩阵bTc,相机坐标系到机器人手坐标系的变换矩阵用cTh表示,相机坐标系到物体坐标系的变换矩阵用cTo表示(由相机标定求出,根据相机标定参数即可计算得出,由软件计算完成),基坐标系到手坐标系的变换矩阵用bTh表示(其为已知参数,可直接在机器人系统中读出)。
基坐标系、物体坐标系和相机坐标之间有如下变换:
B=inv(cTb)·C;
C=cTo·O;
则B=inv(cTbcTo·O;
控制机器人从位置1移动到位置2,因为基坐标系B和物体坐标系O的位置不变,则有:
inv(cTbcTo1=inv(cTbcTo2
从而得到inv(cTb),即基坐标系与相机坐标系之间的变换矩阵bTc,其中inv为矩阵求逆处理。
对三维力传感器的初始化操作(即清零操作),其目的在于消除力传感器及前端连接板和吸盘的重力(上述这些部件的重力为已知参数)影响,该操作在力传感器坐标系(即力传感器自身的坐标系,其为已知参数,给定力传感器即可确定该坐标系)下完成,其具体为:
获取力传感器坐标系三个方向上的当前力Fx、Fy、Fz,然后分别对应减去各部件重力在力传感器坐标系下x、y、z方向的分量,即可实现清零操作,即:
F x F y F z - c o s α c o s β c o s α s i n β s i n γ - s i n α c o s γ c o s α s i n β c o s γ + s i n α s i n γ s i n α c o s β s i n α s i n β s i n γ + cos α c o s γ s i n α s i n β c o s γ - cos α sin γ - s i n β c o s β sin γ c o s β c o s γ G x G y G z = 0
其中,γ是基坐标系绕力传感器坐标系x轴的旋转角度,β是基坐标系绕力传感器坐标系y轴的旋转角度,α是基坐标系绕力传感器坐标系z轴的旋转角度;Gx、Gy、Gz分别是机器人末端力传感器、前端连接板和吸盘在基坐标系x、y、z方向的重力;Fx、Fy、Fz分别是力传感器测量的力在自身坐标系x、y、z方向的值。
如图1-2所示,载物筐中散乱堆放待抓取物品,位于其正上方的CCD相机拍摄图片,将采集到的图片传输至上位机中以进行图像处理,并计算出物品的位置信息,具体的,上位机提取出目标物品的轮廓特征确定最上层的目标物体,计算获取目标的位置信息,然后上位机控制机械臂移动到该目标位置,直到载物筐中的全部物品抓取完成,即CCD相机拍到的图片进行特征提取后显示只有载物筐轮廓,宣布抓取工作结束。
具体的,上位机读取单目相机的图像信息,在上位机中调用opencv软件库中的Canny或Soble等算子提取物体的边缘轮廓,即提取出如图1中载物筐中的长方体物体的轮廓(位于最上层未被遮挡的轮廓为长方形);由轮廓的完整性选取处于最上层的物体,根据物体的长方形边缘轮廓分别取临边的中值,从而计算出相机坐标系下目标物体轮廓的中心位置。
上位机在每次抓取之前读取相机拍摄的图像信息与机器人位姿信息,并进行数据处理,规划机器人运动轨迹:上位机首先读取图像信息获取处于最上层物品的中心位置,然后读取机器人信息从而确定机器人位姿(该位姿可直接从机器人控制系统中读出),接着上位机根据相机坐标系到机器人基坐标系的变换矩阵cTb,将相机坐标系中的中心位置变换至基坐标系中,根据机器人目前的位姿以及中心位置在基坐标系下的位置获得机器人移动到目标位置正上方的轨迹,如通过机器人逆运动学(其为现有技术,在此不赘述)计算出机器人各关节的移动量,然后根据相应的移动量实现机器人的运动。
其中,变换矩阵cTb用下式表示:
T c b = R p 0 1 ;
式中,R是相机坐标系到基坐标系的旋转变换矩阵,p是相机坐标系原点在基坐标系中的位置。
具体的,通过将目标物体在相机坐标系下的中心位置向量乘上变换矩阵cTb,即可得到目标物体中心位置在基坐标系下的位置。
如图3所示,机器人末端安装三维力传感器,前端通过连接板安装气动吸盘,当机器人碰到目标物品时,三维力传感器感知机器人末端与待抓取物体表面的接触力信息,机械手末端三维力传感器受到压力作用其输出值出现突变,上位机接收到该信号后控制机器人暂时停止运动,上位机分析感知到的接触力信息并调节机器人的姿态,当x和y向力的绝对值为0时,认为机器人前端吸盘与物体平面贴合,此时气动吸盘动作吸取物品并放到指定位置,完成本次抓取行动。
抓取时,上位机实时读取机器人位姿信息与三维力传感器信息,并进行数据处理,得到机器人各关节的位姿增量:上位机读取机器人信息,从而确定机器人位姿变换矩阵;上位机读取力传感器信息,得到机器人与物品接触时的受力信息;上位机根据力传感器受力信息、力传感器到机器人末端的位姿变换矩阵、机器人位姿变换矩阵计算出机器人各个关节轴的旋转增量。
具体的,三维力传感器实时调整机器人姿态,三维力传感器感知机器人与物体接触时x、y、z方向的接触力,通过坐标系变换得到这三个力在基坐标系下的值,上位机在此基础上计算出机器人末端在基坐标系下的角度增量:
F x b F y b F z b = c o s α c o s β c o s α s i n β s i n γ - s i n α c o s γ c o s α s i n β c o s γ + s i n α s i n γ s i n α c o s β s i n α s i n β s i n γ + cos α c o s γ s i n α s i n β c o s γ - cos α sin γ - s i n β c o s β sin γ c o s β c o s γ · F x s F y s F z s
式中:γ是基坐标系绕力传感器坐标系x轴的旋转角度,β是基坐标系绕力传感器坐标系y轴的旋转角度,α是基坐标系绕力传感器坐标系z轴的旋转角度;Fxs、Fys、Fzs分别是力传感器坐标系下测得的x,y,z方向的力;Fxb、Fyb、Fzb分别是转换到基坐标系下x,y,z方向的力。
机器人末端在基坐标系下的旋转角度增量:
Δθ=arctan(Fxb/Fzb),Δφ=arctan(Fyb/Fzb)
根据计算获得的机器人末端在基坐标系下的角度增量,利用机器人逆运动学,计算机器人各个关节在基坐标系下的运动增量,根据运动增量调整机器人末端的位姿,使其末端的吸盘与待抓取物品的表面贴合。
本领域的技术人员容易理解,以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于单目相机和三维力传感器的工业机器人抓取方法,其特征在于,包括以下步骤:
(1)首先,对用于获取待抓取物品图像信息的单目相机进行内部参数标定,并对用于执行抓取作业的工业机器人进行手眼标定,以获得工业机器人的基坐标系与相机坐标系之间的变换矩阵,然后对装于工业机器人末端的三维力传感器进行初始化处理;
(2)接着,所述单目相机垂直向下照射在待抓取物品的表面以采集物品的图像,将采集到的物品图像传输至上位机中以进行图像处理,并计算出物品的位置信息;所述上位机根据物品的位置信息控制工业机器人移动到物品的上方位置,并使工业机器人垂直向下运动直至碰触到待抓取物品;
(3)最后,当工业机器人碰触到待抓取物品后,所述三维力传感器感知工业机器人末端与待抓取物品表面的接触力信息,并将该接触力信息传输至上位机中,所述上位机通过接触力信息控制工业机器人暂时停止运动,并通过接触力信息计算出工业机器人末端的位姿增量,根据所述位姿增量实现工业机器人姿态的调节,直至工业机器人末端的气动吸盘与待抓取物品的平面贴合,然后所述气动吸盘动作完成工业机器人抓取工作。
2.根据权利要求1所述的基于单目相机和三维力传感器的工业机器人抓取方法,其特征在于,所述工业机器人手眼标定,获得其基坐标系与相机坐标系之间的变换矩阵采用如下方式获得:
(1)定义坐标系:用B表示机器人基坐标系,C表示相机坐标系,O表示物体坐标系,bTc表示基坐标系与相机坐标系之间的变换矩阵,cTo表示相机坐标系与物体坐标系的变换矩阵;
(2)坐标系变换:
B=inv(cTb)·C;
C=cTo·O;
则B=inv(cTbcTo·O;
(3)获得变换矩阵bTc:控制机器人从位置1移动到位置2,由于基坐标系B和物体坐标系O位置不变,则有inv(cTbcTo1=inv(cTbcTo2,根据所述inv(cTbcTo1=inv(cTbcTo2,通过inv(cTb)·(cTo1-cTo2)=O计算得到inv(cTb),从而获得基坐标系与相机坐标系之间的变换矩阵bTc
3.根据权利要求1或2所述的基于单目相机和三维力传感器的工业机器人抓取方法,其特征在于,对装于工业机器人末端的三维力传感器进行初始化处理,具体为:
获取三维力传感器坐标系x、y、z三个方向上的当前力Fx、Fy、Fz,然后分别对应减去工业机器人末端各部件重力在力传感器坐标系x、y、z三个方向上的分量,由此实现三维力传感器的初始化处理,具体采用如下表达式表示:
F x F y F z - cos α cos β cos α sin β sin γ - sin α cos γ cos α sin β cos γ + sin α sin γ sin α cos β sin α sin β sin γ + cos α cos γ sin α sin β cos γ - cos α sin γ - sin β cos β sin γ cos β cos γ G x G y G z = 0
其中,Fx、Fy、Fz分别表示三维力传感器测量的力在自身坐标系x、y、z方向的值;γ是基坐标系绕三维力传感器坐标系x轴的旋转角度,β是基坐标系绕三维力传感器坐标系y轴的旋转角度,α是基坐标系绕三维力传感器坐标系z轴的旋转角度;Gx、Gy、Gz分别表示机器人末端三维力传感器、连接板和气动吸盘在基坐标系x、y、z方向的重力。
4.如权利要求3所述的基于单目相机和三维力传感器的工业机器人抓取方法,其特征在于,将采集到的物品图像传输至上位机中以进行图像处理并计算出物品的位置信息具体为:上位机读取单目相机的图像信息以提取物品的边缘轮廓,根据边缘轮廓选取处于最上层的物品,分别取最上层物品各边缘轮廓的中值,从而计算获得相机坐标系下目标物体的中心位置。
5.如权利要求4所述的基于单目相机和三维力传感器的工业机器人抓取方法,其特征在于,所述上位机根据物品的位置信息控制工业机器人移动到物品的上方位置,并使工业机器人垂直向下运动直至碰触到待抓取物品具体为:上位机获取工业机器人当前位姿,并根据相机坐标系到机器人基坐标系的变换矩阵cTb,将目标物体在相机坐标系中的中心位置变换至基坐标系中,根据工业机器人当前位姿以及中心位置在基坐标系下的位置获得工业机器人移动到目标位置正上方的轨迹。
6.如权利要求1-5任一项所述的基于单目相机和三维力传感器的工业机器人抓取方法,其特征在于,上位机通过接触力信息计算出工业机器人末端的位姿增量,根据位姿增量实现工业机器人姿态的调节,直至工业机器人末端的气动吸盘与待抓取物品的平面贴合,具体为:
三维力传感器在自身坐标系下感知机器人与物体接触时x、y、z方向的接触力,通过坐标系变换得到这三个力在基坐标系下的值,然后上位机计算出机器人末端在基坐标系下的旋转角度增量,具体采用下式表示:
F x b F y b F z b = cos α cos β cos α sin β sin γ - sin α cos γ cos α sin β cos γ + sin α sin γ sin α cos β sin α sin β sin γ + cos α cos γ sin α sin β cos γ - cos α sin γ - sin β cos β sin γ cos β cos γ · F x s F y s F z s ;
式中:Fxb、Fyb、Fzb分别是三维力传感器坐标系转换到基坐标系下x,y,z方向的力;γ是基坐标系绕三维力传感器坐标系x轴的旋转角度,β是基坐标系绕三维力传感器坐标系y轴的旋转角度,α是基坐标系绕三维力传感器坐标系z轴的旋转角度;Fxs、Fys、Fzs分别是三维力传感器坐标系下测得的x,y,z方向的力;
计算机器人末端在基坐标系下绕x、y方向的旋转角度增量Δθ和Δφ:
Δθ=arctan(Fxb/Fzb),Δφ=arctan(Fyb/Fzb);
根据计算获得的机器人末端在基坐标系下的旋转角度增量,计算机器人各个关节在基坐标系下的运动增量,然后根据所述运动增量调整机器人末端的位姿,使其末端的吸盘与待抓取物品的表面贴合。
CN201610807413.XA 2016-09-07 2016-09-07 一种基于单目相机和三维力传感器的工业机器人抓取方法 Active CN106272424B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610807413.XA CN106272424B (zh) 2016-09-07 2016-09-07 一种基于单目相机和三维力传感器的工业机器人抓取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610807413.XA CN106272424B (zh) 2016-09-07 2016-09-07 一种基于单目相机和三维力传感器的工业机器人抓取方法

Publications (2)

Publication Number Publication Date
CN106272424A true CN106272424A (zh) 2017-01-04
CN106272424B CN106272424B (zh) 2017-10-27

Family

ID=57710978

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610807413.XA Active CN106272424B (zh) 2016-09-07 2016-09-07 一种基于单目相机和三维力传感器的工业机器人抓取方法

Country Status (1)

Country Link
CN (1) CN106272424B (zh)

Cited By (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106829469A (zh) * 2017-03-30 2017-06-13 武汉库柏特科技有限公司 一种基于双相机的机器人无序抓取装置及方法
CN106938463A (zh) * 2017-05-02 2017-07-11 上海贝特威自动化科技有限公司 一种大型板料定位抓取的方法
CN107009358A (zh) * 2017-04-13 2017-08-04 武汉库柏特科技有限公司 一种基于单相机的机器人无序抓取装置及方法
CN107042527A (zh) * 2017-05-20 2017-08-15 天津大学 一种基于三维力传感器的工业机器人标定装置及标定方法
CN107650149A (zh) * 2017-08-21 2018-02-02 北京精密机电控制设备研究所 一种基于串联机械臂的接触与非接触融合测量系统及方法
CN108648234A (zh) * 2018-04-19 2018-10-12 北京控制工程研究所 一种用于目标抓捕的机械臂相对导航方法
CN108871216A (zh) * 2018-07-12 2018-11-23 湘潭大学 一种基于视觉引导的机器人多孔接触式自动测量方法
CN109579766A (zh) * 2018-12-24 2019-04-05 苏州瀚华智造智能技术有限公司 一种产品外形自动检测方法及系统
CN109731793A (zh) * 2018-12-17 2019-05-10 上海航天电子有限公司 一种小批量片式散料器件智能分拣设备
CN109877827A (zh) * 2018-12-19 2019-06-14 东北大学 一种连杆机械手的非定点物料视觉识别与抓取装置及方法
CN109993763A (zh) * 2019-03-28 2019-07-09 北京理工大学 基于图像识别与力反馈融合的探测器定位方法及系统
CN110065075A (zh) * 2019-05-29 2019-07-30 哈尔滨工业大学 一种基于视觉的空间细胞机器人外部状态感知方法
CN110125906A (zh) * 2018-02-08 2019-08-16 发那科株式会社 作业机器人系统
CN110253250A (zh) * 2019-06-25 2019-09-20 武汉库柏特科技有限公司 一种机器人自动分步装配插销方法、系统和双臂机器人
CN110355774A (zh) * 2018-04-10 2019-10-22 发那科株式会社 手控制装置及手控制系统
CN110722561A (zh) * 2019-10-25 2020-01-24 北京华商三优新能源科技有限公司 一种全自动充电机器人控制方法及装置
CN110740841A (zh) * 2017-06-13 2020-01-31 川崎重工业株式会社 作业系统
CN110772651A (zh) * 2019-11-19 2020-02-11 武汉纺织大学 基于机器视觉的鞋内紫外定向杀菌的方法和装置
CN110802599A (zh) * 2019-11-28 2020-02-18 爱孚迪(上海)制造系统工程有限公司 一种机器人视觉引导从料框抓取零件的系统及控制方法
CN110920450A (zh) * 2019-10-25 2020-03-27 北京华商三优新能源科技有限公司 一种电动汽车全自动充电系统
CN110962121A (zh) * 2018-09-30 2020-04-07 上海微电子装备(集团)股份有限公司 装载3d探测单元的运动装置及其物料抓取方法
CN111582186A (zh) * 2020-05-11 2020-08-25 深圳阿米嘎嘎科技有限公司 基于视觉和触觉的物体边缘识别方法、装置、系统及介质
CN111604901A (zh) * 2020-05-18 2020-09-01 哈尔滨工业大学 一种适用于机械手在手操作的目标旋转检测方法
CN111687060A (zh) * 2020-06-11 2020-09-22 湖北美和易思教育科技有限公司 一种物流多级分拣系统及方法
CN111702759A (zh) * 2020-06-09 2020-09-25 珠海格力智能装备有限公司 示教系统及机器人的示教方法
CN112060085A (zh) * 2020-08-24 2020-12-11 清华大学 一种基于视触多尺度定位的机器人操作位姿控制方法
WO2021012122A1 (zh) * 2019-07-19 2021-01-28 西门子(中国)有限公司 机器人手眼标定方法、装置、计算设备、介质以及产品
CN112356057A (zh) * 2020-09-21 2021-02-12 埃夫特智能装备股份有限公司 一种基于多种复杂钣金件的矩阵吸盘的状态规划方法
CN112847304A (zh) * 2020-12-31 2021-05-28 哈尔滨工业大学 一种有监督无接触的机械臂示教方法
TWI730575B (zh) * 2019-12-31 2021-06-11 群邁通訊股份有限公司 確定標記物的深度標準值的方法、電腦裝置
CN113223148A (zh) * 2021-05-07 2021-08-06 骏日科技(深圳)有限公司 Vcm骨架的自动摆放方法、装置和计算机设备
WO2021212486A1 (zh) * 2020-04-24 2021-10-28 达闼机器人有限公司 镜头模块和物体探测装置
CN113822810A (zh) * 2021-08-29 2021-12-21 北京工业大学 一种基于机器视觉的三维空间中工件的定位方法
CN114034205A (zh) * 2021-10-25 2022-02-11 中国人民解放军空军工程大学 一种箱体装填系统及装填方法
CN114055472A (zh) * 2021-12-06 2022-02-18 珠海格力智能装备有限公司 机器人抓取控制方法、装置、存储介质和机器人
CN114179090A (zh) * 2021-12-28 2022-03-15 苏州优速软件研发有限公司 机械手的旋转组装控制方法、系统、设备及存储介质
CN114441807A (zh) * 2021-07-22 2022-05-06 荣耀终端有限公司 一种接线方法及系统
US11951638B2 (en) 2019-12-31 2024-04-09 Chiun Mai Communication Systems, Inc. Computer device and method for determining standard depth value of marker

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS60103414A (ja) * 1983-11-09 1985-06-07 Shinetsu Eng Kk 部品の組付け装置
CN104369188A (zh) * 2014-11-20 2015-02-25 中国计量学院 基于机器视觉和超声波传感器的工件抓取装置与方法
CN104647374A (zh) * 2015-02-11 2015-05-27 华中科技大学 一种用于柔性膜转移的多自由度机械手
CN104786226A (zh) * 2015-03-26 2015-07-22 华南理工大学 抓取在线工件的机器人位姿及运动轨迹定位系统与方法
CN104890002A (zh) * 2015-03-20 2015-09-09 重庆交通大学 自适应机械手臂装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS60103414A (ja) * 1983-11-09 1985-06-07 Shinetsu Eng Kk 部品の組付け装置
CN104369188A (zh) * 2014-11-20 2015-02-25 中国计量学院 基于机器视觉和超声波传感器的工件抓取装置与方法
CN104647374A (zh) * 2015-02-11 2015-05-27 华中科技大学 一种用于柔性膜转移的多自由度机械手
CN104890002A (zh) * 2015-03-20 2015-09-09 重庆交通大学 自适应机械手臂装置
CN104786226A (zh) * 2015-03-26 2015-07-22 华南理工大学 抓取在线工件的机器人位姿及运动轨迹定位系统与方法

Cited By (58)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106829469A (zh) * 2017-03-30 2017-06-13 武汉库柏特科技有限公司 一种基于双相机的机器人无序抓取装置及方法
CN107009358A (zh) * 2017-04-13 2017-08-04 武汉库柏特科技有限公司 一种基于单相机的机器人无序抓取装置及方法
CN107009358B (zh) * 2017-04-13 2020-06-02 武汉库柏特科技有限公司 一种基于单相机的机器人无序抓取装置及方法
CN106938463A (zh) * 2017-05-02 2017-07-11 上海贝特威自动化科技有限公司 一种大型板料定位抓取的方法
CN107042527A (zh) * 2017-05-20 2017-08-15 天津大学 一种基于三维力传感器的工业机器人标定装置及标定方法
CN107042527B (zh) * 2017-05-20 2023-04-28 天津大学 一种基于三维力传感器的工业机器人标定装置及标定方法
CN110740841A (zh) * 2017-06-13 2020-01-31 川崎重工业株式会社 作业系统
CN110740841B (zh) * 2017-06-13 2023-10-27 川崎重工业株式会社 作业系统
CN107650149B (zh) * 2017-08-21 2020-09-18 北京精密机电控制设备研究所 一种基于串联机械臂的接触与非接触融合测量系统及方法
CN107650149A (zh) * 2017-08-21 2018-02-02 北京精密机电控制设备研究所 一种基于串联机械臂的接触与非接触融合测量系统及方法
US11904483B2 (en) 2018-02-08 2024-02-20 Fanuc Corporation Work robot system
CN110125906A (zh) * 2018-02-08 2019-08-16 发那科株式会社 作业机器人系统
CN110355774A (zh) * 2018-04-10 2019-10-22 发那科株式会社 手控制装置及手控制系统
CN108648234A (zh) * 2018-04-19 2018-10-12 北京控制工程研究所 一种用于目标抓捕的机械臂相对导航方法
CN108871216A (zh) * 2018-07-12 2018-11-23 湘潭大学 一种基于视觉引导的机器人多孔接触式自动测量方法
CN110962121B (zh) * 2018-09-30 2021-05-07 上海微电子装备(集团)股份有限公司 装载3d探测单元的运动装置及其物料抓取方法
CN110962121A (zh) * 2018-09-30 2020-04-07 上海微电子装备(集团)股份有限公司 装载3d探测单元的运动装置及其物料抓取方法
CN109731793A (zh) * 2018-12-17 2019-05-10 上海航天电子有限公司 一种小批量片式散料器件智能分拣设备
CN109877827B (zh) * 2018-12-19 2022-03-29 东北大学 一种连杆机械手的非定点物料视觉识别与抓取装置及方法
CN109877827A (zh) * 2018-12-19 2019-06-14 东北大学 一种连杆机械手的非定点物料视觉识别与抓取装置及方法
CN109579766A (zh) * 2018-12-24 2019-04-05 苏州瀚华智造智能技术有限公司 一种产品外形自动检测方法及系统
CN109579766B (zh) * 2018-12-24 2020-08-11 苏州瀚华智造智能技术有限公司 一种产品外形自动检测方法及系统
CN109993763A (zh) * 2019-03-28 2019-07-09 北京理工大学 基于图像识别与力反馈融合的探测器定位方法及系统
CN109993763B (zh) * 2019-03-28 2021-10-08 北京理工大学 基于图像识别与力反馈融合的探测器定位方法及系统
CN110065075A (zh) * 2019-05-29 2019-07-30 哈尔滨工业大学 一种基于视觉的空间细胞机器人外部状态感知方法
CN110065075B (zh) * 2019-05-29 2021-11-02 哈尔滨工业大学 一种基于视觉的空间细胞机器人外部状态感知方法
CN110253250A (zh) * 2019-06-25 2019-09-20 武汉库柏特科技有限公司 一种机器人自动分步装配插销方法、系统和双臂机器人
WO2021012122A1 (zh) * 2019-07-19 2021-01-28 西门子(中国)有限公司 机器人手眼标定方法、装置、计算设备、介质以及产品
US12042942B2 (en) 2019-07-19 2024-07-23 Siemens Ltd., China Robot hand-eye calibration method and apparatus, computing device, medium and product
CN114174006B (zh) * 2019-07-19 2024-03-05 西门子(中国)有限公司 机器人手眼标定方法、装置、计算设备、介质以及产品
CN114174006A (zh) * 2019-07-19 2022-03-11 西门子(中国)有限公司 机器人手眼标定方法、装置、计算设备、介质以及产品
CN110722561A (zh) * 2019-10-25 2020-01-24 北京华商三优新能源科技有限公司 一种全自动充电机器人控制方法及装置
CN110920450A (zh) * 2019-10-25 2020-03-27 北京华商三优新能源科技有限公司 一种电动汽车全自动充电系统
CN110772651A (zh) * 2019-11-19 2020-02-11 武汉纺织大学 基于机器视觉的鞋内紫外定向杀菌的方法和装置
CN110802599A (zh) * 2019-11-28 2020-02-18 爱孚迪(上海)制造系统工程有限公司 一种机器人视觉引导从料框抓取零件的系统及控制方法
CN110802599B (zh) * 2019-11-28 2021-04-06 爱孚迪(上海)制造系统工程有限公司 一种机器人视觉引导从料框抓取零件的控制方法
US11951638B2 (en) 2019-12-31 2024-04-09 Chiun Mai Communication Systems, Inc. Computer device and method for determining standard depth value of marker
TWI730575B (zh) * 2019-12-31 2021-06-11 群邁通訊股份有限公司 確定標記物的深度標準值的方法、電腦裝置
WO2021212486A1 (zh) * 2020-04-24 2021-10-28 达闼机器人有限公司 镜头模块和物体探测装置
CN111582186B (zh) * 2020-05-11 2023-12-15 深圳阿米嘎嘎科技有限公司 基于视觉和触觉的物体边缘识别方法、装置、系统及介质
CN111582186A (zh) * 2020-05-11 2020-08-25 深圳阿米嘎嘎科技有限公司 基于视觉和触觉的物体边缘识别方法、装置、系统及介质
CN111604901B (zh) * 2020-05-18 2022-06-24 哈尔滨工业大学 一种适用于机械手在手操作的目标旋转检测方法
CN111604901A (zh) * 2020-05-18 2020-09-01 哈尔滨工业大学 一种适用于机械手在手操作的目标旋转检测方法
CN111702759A (zh) * 2020-06-09 2020-09-25 珠海格力智能装备有限公司 示教系统及机器人的示教方法
CN111687060A (zh) * 2020-06-11 2020-09-22 湖北美和易思教育科技有限公司 一种物流多级分拣系统及方法
CN111687060B (zh) * 2020-06-11 2022-03-11 湖北美和易思教育科技有限公司 一种物流多级分拣系统及方法
CN112060085A (zh) * 2020-08-24 2020-12-11 清华大学 一种基于视触多尺度定位的机器人操作位姿控制方法
CN112060085B (zh) * 2020-08-24 2021-10-08 清华大学 一种基于视触多尺度定位的机器人操作位姿控制方法
CN112356057B (zh) * 2020-09-21 2022-05-31 埃夫特智能装备股份有限公司 一种基于多种复杂钣金件的矩阵吸盘的状态规划方法
CN112356057A (zh) * 2020-09-21 2021-02-12 埃夫特智能装备股份有限公司 一种基于多种复杂钣金件的矩阵吸盘的状态规划方法
CN112847304A (zh) * 2020-12-31 2021-05-28 哈尔滨工业大学 一种有监督无接触的机械臂示教方法
CN113223148A (zh) * 2021-05-07 2021-08-06 骏日科技(深圳)有限公司 Vcm骨架的自动摆放方法、装置和计算机设备
CN114441807A (zh) * 2021-07-22 2022-05-06 荣耀终端有限公司 一种接线方法及系统
CN113822810A (zh) * 2021-08-29 2021-12-21 北京工业大学 一种基于机器视觉的三维空间中工件的定位方法
CN114034205B (zh) * 2021-10-25 2023-11-07 中国人民解放军空军工程大学 一种箱体装填系统及装填方法
CN114034205A (zh) * 2021-10-25 2022-02-11 中国人民解放军空军工程大学 一种箱体装填系统及装填方法
CN114055472A (zh) * 2021-12-06 2022-02-18 珠海格力智能装备有限公司 机器人抓取控制方法、装置、存储介质和机器人
CN114179090A (zh) * 2021-12-28 2022-03-15 苏州优速软件研发有限公司 机械手的旋转组装控制方法、系统、设备及存储介质

Also Published As

Publication number Publication date
CN106272424B (zh) 2017-10-27

Similar Documents

Publication Publication Date Title
CN106272424B (zh) 一种基于单目相机和三维力传感器的工业机器人抓取方法
JP7292829B2 (ja) 案内された組立環境におけるマシンビジョン座標空間を結合するためのシステム及び方法
US11562552B2 (en) Detecting boxes
JP6770605B2 (ja) 対象物の仮想組立により組立システムをトレーニングするためのビジョンシステム
EP3222393B1 (en) Automated guidance system and method for a coordinated movement machine
US9707682B1 (en) Methods and systems for recognizing machine-readable information on three-dimensional objects
Chang Robotic assembly of smartphone back shells with eye-in-hand visual servoing
US8244402B2 (en) Visual perception system and method for a humanoid robot
US11396101B2 (en) Operating system, control device, and computer program product
JP6180087B2 (ja) 情報処理装置及び情報処理方法
JP4565023B2 (ja) 物品取り出し装置
US10913151B1 (en) Object hand-over between robot and actor
Rolley-Parnell et al. Bi-manual articulated robot teleoperation using an external RGB-D range sensor
US20030144765A1 (en) Method and apparatus for single camera 3D vision guided robotics
CN110980276B (zh) 一种三维视觉配合机器人实施铸件自动下料的方法
CN113751981A (zh) 基于双目视觉伺服的空间高精度装配方法和系统
Pan et al. Manipulator package sorting and placing system based on computer vision
CN113618367B (zh) 基于七自由度并联双模块机器人的多视觉空间装配系统
WO2023187006A1 (en) Controlling a robotic manipulator for packing an object
Fan et al. An automatic robot unstacking system based on binocular stereo vision
Chang et al. Automatic robot assembly with eye-in-hand stereo vision
US20240003675A1 (en) Measurement system, measurement device, measurement method, and measurement program
JP2022530589A (ja) ロボット搭載移動装置、システム及び工作機械
CN111784771A (zh) 基于双目相机的3d三角测量方法及装置
TWI851310B (zh) 自主移動抓取物件之機器人與方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant