CN109318234B - 一种适用于视觉伺服插拔作业的标定方法 - Google Patents
一种适用于视觉伺服插拔作业的标定方法 Download PDFInfo
- Publication number
- CN109318234B CN109318234B CN201811333888.5A CN201811333888A CN109318234B CN 109318234 B CN109318234 B CN 109318234B CN 201811333888 A CN201811333888 A CN 201811333888A CN 109318234 B CN109318234 B CN 109318234B
- Authority
- CN
- China
- Prior art keywords
- socket
- robot
- plug
- clamping device
- visual servo
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1679—Programme controls characterised by the tasks executed
- B25J9/1687—Assembly, peg and hole, palletising, straight line, weaving pattern movement
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Manipulator (AREA)
- Image Processing (AREA)
Abstract
一种适用于视觉伺服插拔作业的标定方法,属于图像识别领域。基于视觉伺服的伺服对准控制精度低,插拔阶段时开环控制的插拔作业的效果差的问题。一种适用于视觉伺服插拔作业的标定方法,利用相机采集包含插针、插口和插头夹持装置的图像;利用深度学习算法获得插口中每个插针的中心点以及插头夹持装置上每个标定板的中心点;之后计算插口中点坐标、插口偏角、插头夹持装置中点以及插头夹持装置偏角;将点坐标转移到机器人机械臂末端关节坐标系中;获得插口中点在机器人末端坐标系的坐标;在末端坐标系中计算视觉伺服图像特征误差;将视觉伺服特征发送给机器人视觉伺服算法,控制机器人运动。本发明使视觉伺服插拔作业当中作业精度得到提高。
Description
技术领域
本发明涉及一种适用于视觉伺服插拔作业的标定方法。
背景技术
目前,各种类型的机器人、机械臂在工业自动化当中运用渐趋广泛,而利用机器人进行装配作业更是运用广泛。然而,让机器人精确对准装配作业时的插槽是该作业当中的一大难点。而其中一种较为困难的装配作业就是插头插口组装作业。大部分视觉伺服技术都是使目标对准图像中某一个固定位置,由人为根据具体经验或者机械结构测量决定。为了保护插口以及插头的耐久度,我们常常使用视觉伺服方法来使插头精确对准插槽。然而由于视觉伺服在伺服对准后的插拔过程当中是开环控制,如果无法精确对准,往往插拔作业的效果较差,无法完成任务。
发明内容
本发明的目的是为了解决基于视觉伺服的伺服对准控制精度低,插拔阶段时开环控制的插拔作业的效果差的问题,而提出一种适用于视觉伺服插拔作业的标定方法。
一种适用于视觉伺服插拔作业的标定方法,所述方法包括以下步骤:
步骤一、标定准备工作:
为机器人机械臂末端关节设置插头夹持装置,插头夹持装置的两个对称的夹子上分别设置一标定板,机器人机械臂上还安装有相机,相机对准目标,且相机视野范围内包含插口与插头夹持装置;其中,目标是指插入了插针的插口;
步骤二、利用相机采集包含插针、插口和插头夹持装置的图像;其中,采集图像过程中利用激光光源提供光照,且将激光光源对准插头夹持装置及插口;且是采用pyTorch搭建的神经网络进行插口位置以及插头夹持装置的位置的识别的;
步骤三、利用深度学习算法进行特征识别,分别获得插口中每个插针的中心点(xp1,yp1)和(xp2,yp2),以及插头夹持装置上每个标定板的中心点(xb1,yb1)和(xb2,yb2);
步骤四、由插针的中心点计算插口中点坐标(xdm,ydm)以及插口偏角θd,计算公式如下:
步骤五、将步骤四获得的插口中的点坐标由图像坐标系转移到机器人机械臂末端关节坐标系当中;
首先,将点转移到像平面坐标系;
然后,将点转移到相机末端关节坐标系当中用于视觉伺服过程,其中,
将插口中点坐标(xdm,ydm)进行转换的公式为:
步骤六、在末端坐标系中计算视觉伺服图像特征误差:
θerr=θb-θd
步骤七、将视觉伺服特征发送给机器人视觉伺服算法,进而在机器人的主控制程序中控制机器人运动,具体为:
步骤七一、先控制机器人到插头与插口组装作业位置附近,保证相机视野中包含标定板与插口,且标定板在标定过程中不会再遮挡插口;
步骤七二、控制机器人使操作端末端距离插口位置的高度固定,且机器人操作端末端插头夹持装置上的两个标定板所在平面平行于插口上口所在平面;
步骤七三、机器人进行视觉伺服,通过深度学习方法来识别标定板与插口,并通过TCP/IP协议发送给机器人控制器,机器人控制器的TCP/IP接收程序首先接收识别点,然后在所述程序当中将接受到的识别点转化为视觉伺服过程当中所需要的图像特征信息,并传给机器人控制主程序以供视觉伺服指令使用。
本发明的有益效果为:
本发明提出一种视觉伺服插拔作业当中适用的标定方法。依靠pyTorch搭建的神经网络进行插口位置识别以及插头夹持装置的位置识别,再利用视觉伺服算法使插口与插头夹持装置的位置对准。然后记下该位置在图像坐标系当中的位置,并以此作为标定位置,既认为装配作业当中当插口中心移动到这个点时插头与插口才对准。在其后的视觉伺服插拔作业当中,视觉伺服使插口中心移动到标定点,然后开环控制插拔作业。实现良好的视觉伺服效果,视觉伺服插拔作业当中作业精度提高80%,保护插头与插口的耐久度,使用寿命延长一倍。
本发明提供了一种视觉伺服过程当中的标定方法,该方法的目的是为了确定当插头可以准确的插进电源口时,电源口在图像中的位置和姿态。进行此过程是为了减少由于环境变化,机械结构变形等外部因素造成的插拔误差。该发明提供了一种在视觉伺服过程当中提高伺服精度的方法,以及在装配作业当中减少装配误差的一种途径。由于提高了视觉伺服插头插口组装作业当中作业精度,可以更好的保护插头与插口的耐久度,防止由于错误组装导致的插口或插头损坏,从而显著提高生产效率,节约加工成本,在未来视觉伺服相关的各种组装作业中有重要应用。
附图说明
图1为本发明的流程图;
图2为本发明涉及的插头夹持装置上安装标定板的结构示意图;1为夹子,2为标定板,3为机械臂;
图3为本发明涉及的深度学习算法识别出的插口中心点与插头夹持装置中心点的示意图;
图4为本发明涉及的图像视野示意图;
图5为本发明涉及的机器人与目标插口位置示意图,1为夹子,3为机械臂,4为机器人,5为插头插拔装置,6为相机,7为目标物体,8为插拔作业气缸;
具体实施方式
具体实施方式一:
本实施方式的一种适用于视觉伺服插拔作业的标定方法,所述方法包括以下步骤,如图1所示:
步骤一、标定准备工作:
为机器人机械臂末端关节设置插头夹持装置,插头夹持装置的两个对称的夹子上分别设置一标定板,如图2所示,机器人机械臂上还安装有相机,相机对准目标,且相机视野范围内包含插口与插头夹持装置;其中,目标是指插入了插针的插口;
步骤二、利用相机采集包含插针、插口和插头夹持装置的图像;其中,采集图像过程中利用激光光源提供光照,且将激光光源对准插头夹持装置及插口;
步骤三、利用深度学习算法进行特征识别,分别获得插口中每个插针的中心点(xp1,yp1)和(xp2,yp2),以及插头夹持装置上每个标定板的中心点(xb1,yb1)和(xb2,yb2);如图3所示;
步骤五、将步骤四获得的插口中的点坐标由图像坐标系转移到机器人机械臂末端关节坐标系当中;
首先,将点转移到像平面坐标系;
步骤六、在末端坐标系中计算视觉伺服图像特征误差:
步骤七、将视觉伺服特征发送给机器人视觉伺服算法,进而在机器人的主控制程序中控制机器人运动;执行精准的操作。
具体实施方式二:
与具体实施方式一不同的是,本实施方式的一种适用于视觉伺服插拔作业的标定方法,所述的步骤一中机器人机械臂上还安装有相机具体为,机器人机械臂末端关节上还安装有相机。
具体实施方式三:
与具体实施方式一或二不同的是,本实施方式的一种适用于视觉伺服插拔作业的标定方法,所述步骤三中利用深度学习算法进行特征识别时,是采用pyTorch搭建的神经网络对插口位置以及插头夹持装置的位置进行识别。PyTorch属于一种神经网络架构,类似于积木,用它搭建神经网络。PyTorch是使用GPU和CPU优化的深度学习张量库。是一个主要拥有如下两种功能的基于python的科学计算包:
在使用GPU时作为numpy库的替代品提供最大程度的灵活度和速度的深度学习研究平台。
具体实施方式四:
与具体实施方式三不同的是,本实施方式的一种适用于视觉伺服插拔作业的标定方法,所述的步骤四中由插针的中心点计算插口中点坐标(xdm,ydm)以及插口偏角θd的计算公式如下:
具体实施方式五:
与具体实施方式一、二或四不同的是,本实施方式的一种适用于视觉伺服插拔作业的标定方法,所述的步骤五中将插口中点坐标(xdm,ydm)转移到相机末端关节坐标系当中,获得插口中点在机器人末端坐标系的坐标具体为:
将插口中点坐标(xdm,ydm)进行转换的公式为:
具体实施方式六:
与具体实施方式五不同的是,本实施方式的一种适用于视觉伺服插拔作业的标定方法,所述的步骤六中计算视觉伺服中的图像误差的过程为,通过如下公式进行计算:
θerr=θb-θd
具体实施方式七:
与具体实施方式六不同的是,本实施方式的一种适用于视觉伺服插拔作业的标定方法,所述的步骤七中,将视觉伺服特征发送给机器人视觉伺服算法,进而在机器人的主控制程序中控制机器人运动的过程为:
步骤七一、先控制机器人到插头与插口组装作业位置附近,保证相机视野中包含标定板与插口,且标定板在标定过程中不会再遮挡插口;其图像相机视野如图4所示。
步骤七二、控制机器人使操作端末端距离插口位置的高度固定,且机器人操作端末端插头夹持装置上的两个标定板所在平面平行于插口所在平面;机器人与目标插口位置如图5所示。
步骤七三、让机器人进行视觉伺服,通过深度学习方法来识别标定板与插口,并通过TCP/IP协议发送给机器人控制器,机器人控制器的TCP/IP接收程序首先接收识别点,然后在所述程序当中将接受到的识别点转化为视觉伺服过程当中所需要的图像特征信息,并传给机器人控制主程序以供视觉伺服指令使用。
本发明还可有其它多种实施例,在不背离本发明精神及其实质的情况下,本领域技术人员当可根据本发明作出各种相应的改变和变形,但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。
Claims (4)
1.一种适用于视觉伺服插拔作业的标定方法,其特征在于:所述方法通过以下步骤实现:
步骤一、标定准备工作:
为机器人机械臂末端关节设置插头夹持装置,插头夹持装置的两个对称的夹子上分别设置一标定板,机器人机械臂上还安装有相机,相机对准目标,且相机视野范围内包含插口与插头夹持装置;其中,目标是指插入了插针的插口;
步骤二、利用相机采集包含插针、插口和插头夹持装置的图像;其中,采集图像过程中利用激光光源提供光照,且将激光光源对准插头夹持装置及插口;
步骤三、利用深度学习算法进行特征识别,分别获得插口中每个插针的中心点(xp1,yp1)和(xp2,yp2),以及插头夹持装置上每个标定板的中心点(xb1,yb1)和(xb2,yb2);
所述的步骤四中由插针的中心点计算插口中点坐标(xdm,ydm)以及插口偏角θd的计算公式如下:
步骤五、将步骤四获得的插口中的点坐标由图像坐标系转移到机器人机械臂末端关节坐标系当中;
首先,将点转移到像平面坐标系;
将插口中点坐标(xdm,ydm)进行转换的公式为:
步骤六、在末端坐标系中计算视觉伺服图像特征误差:
所述的步骤六中计算视觉伺服中的图像误差的过程为,通过如下公式进行计算:
θerr=θb-θd
步骤七、将视觉伺服特征发送给机器人视觉伺服算法,进而在机器人的主控制程序中控制机器人运动。
2.根据权利要求1所述的一种适用于视觉伺服插拔作业的标定方法,其特征在于:所述的步骤一中机器人机械臂上还安装有相机具体为,机器人机械臂末端关节上还安装有相机。
3.根据权利要求1或2所述的一种适用于视觉伺服插拔作业的标定方法,其特征在于:所述的步骤三中利用深度学习算法进行特征识别时,是采用pyTorch搭建的神经网络对插口位置以及插头夹持装置的位置进行识别。
4.根据权利要求3所述的一种适用于视觉伺服插拔作业的标定方法,其特征在于:所述的步骤七中,将视觉伺服特征发送给机器人视觉伺服算法,进而在机器人的主控制程序中控制机器人运动的过程为:
步骤七一、先控制机器人到插头与插口组装作业位置附近,保证相机视野中包含标定板与插口,且标定板在标定过程中不会再遮挡插口;
步骤七二、控制机器人使操作端末端距离插口位置的高度固定,且机器人操作端末端插头夹持装置上的两个标定板所在平面平行于插口所在平面;
步骤七三、机器人进行视觉伺服,通过深度学习方法来识别标定板与插口,并通过TCP/IP协议发送给机器人控制器,机器人控制器的TCP/IP接收程序首先接收识别点,然后在所述程序当中将接受到的识别点转化为视觉伺服过程当中所需要的图像特征信息,并传给机器人控制主程序以供视觉伺服指令使用;
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811333888.5A CN109318234B (zh) | 2018-11-09 | 2018-11-09 | 一种适用于视觉伺服插拔作业的标定方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811333888.5A CN109318234B (zh) | 2018-11-09 | 2018-11-09 | 一种适用于视觉伺服插拔作业的标定方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109318234A CN109318234A (zh) | 2019-02-12 |
CN109318234B true CN109318234B (zh) | 2021-03-12 |
Family
ID=65261308
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811333888.5A Active CN109318234B (zh) | 2018-11-09 | 2018-11-09 | 一种适用于视觉伺服插拔作业的标定方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109318234B (zh) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109900207A (zh) * | 2019-03-12 | 2019-06-18 | 精诚工科汽车系统有限公司 | 机器人视觉工具的工具中心点标定方法及系统 |
CN110059676B (zh) * | 2019-04-03 | 2021-05-07 | 北京航空航天大学 | 一种基于深度学习与多目标分布排序的航空插头孔位识别方法 |
CN110147076B (zh) * | 2019-04-15 | 2020-09-01 | 杭州电子科技大学 | 一种视觉控制装置 |
CN110488832B (zh) * | 2019-08-27 | 2021-08-17 | 国以贤智能科技(上海)股份有限公司 | 一种视觉找孔方法、装置、设备及存储介质 |
CN111791226B (zh) * | 2019-12-31 | 2021-12-03 | 深圳市豪恩声学股份有限公司 | 通过机器人实现组装的方法、装置及机器人 |
CN111591474B (zh) * | 2020-02-28 | 2021-12-07 | 上海航天控制技术研究所 | 一种航天器在轨操作系统对准式手眼标定方法 |
CN111571596B (zh) * | 2020-05-26 | 2022-11-11 | 上海交通大学 | 利用视觉修正冶金接插装配作业机器人误差的方法及系统 |
CN112496696A (zh) * | 2020-11-24 | 2021-03-16 | 福州大学 | 一种智能手机内部射频线自动组装视觉测量系统 |
CN112787185B (zh) * | 2021-01-08 | 2022-09-27 | 福州大学 | 一种用于fpc线装配的机器人末端操作治具及其应用 |
CN112894825A (zh) * | 2021-02-23 | 2021-06-04 | 中科(深圳)智慧信息科技有限公司 | 一种工业机器人视觉识别控制系统及方法 |
CN114256718B (zh) * | 2021-12-28 | 2024-03-26 | 湖南严格智能技术有限公司 | 鱼雷罐自动插拔系统及插拔方法 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103817699A (zh) * | 2013-09-25 | 2014-05-28 | 浙江树人大学 | 一种快速的工业机器人手眼协调方法 |
JP6322949B2 (ja) * | 2013-10-10 | 2018-05-16 | セイコーエプソン株式会社 | ロボット制御装置、ロボットシステム、ロボット、ロボット制御方法及びロボット制御プログラム |
JP6511715B2 (ja) * | 2013-10-31 | 2019-05-15 | セイコーエプソン株式会社 | ロボット制御装置、ロボットシステム、及びロボット |
CN105451461B (zh) * | 2015-11-25 | 2018-08-14 | 四川长虹电器股份有限公司 | 基于scara机器人的pcb板定位方法 |
CN107049496B (zh) * | 2017-05-22 | 2019-07-26 | 清华大学 | 一种多任务手术机器人的视觉伺服控制方法 |
CN108544531B (zh) * | 2018-04-12 | 2020-11-10 | 江苏科技大学 | 一种基于视觉标定的自动化验机械臂装置、控制系统及其控制方法 |
-
2018
- 2018-11-09 CN CN201811333888.5A patent/CN109318234B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN109318234A (zh) | 2019-02-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109318234B (zh) | 一种适用于视觉伺服插拔作业的标定方法 | |
CN106182004B (zh) | 基于视觉引导的工业机器人自动销孔装配的方法 | |
CN110640745B (zh) | 基于视觉的机器人自动标定方法、设备和存储介质 | |
CN107160380B (zh) | 一种基于scara机械手的相机标定和坐标变换的方法 | |
CN108818535B (zh) | 机器人3d视觉手眼标定方法 | |
CN112894823B (zh) | 一种基于视觉伺服的机器人高精度装配方法 | |
CN113379849A (zh) | 基于深度相机的机器人自主识别智能抓取方法及系统 | |
JP2015182144A (ja) | ロボットシステムおよびロボットシステムの校正方法 | |
CN112621743B (zh) | 机器人及其相机固定于末端的手眼标定方法及存储介质 | |
CN112958960B (zh) | 一种基于光学靶标的机器人手眼标定装置 | |
CN104819707A (zh) | 一种多面体主动光标靶 | |
CN115042175B (zh) | 一种机器人机械臂末端姿态的调整方法 | |
CN111360821A (zh) | 一种采摘控制方法、装置、设备及计算机刻度存储介质 | |
CN114643578A (zh) | 一种提高机器人视觉引导精度的标定装置及方法 | |
CN116423526B (zh) | 一种机械臂工具坐标的自动标定方法及系统、存储介质 | |
CN114407011B (zh) | 异形工件抓取规划方法、规划装置及异形工件抓取方法 | |
CN105538015A (zh) | 一种叶片类复杂薄壁型面零件自适应定位方法 | |
CN111906767A (zh) | 基于双目结构光的视觉纠偏机械臂及纠偏方法 | |
CN114074331A (zh) | 一种基于视觉的无序抓取方法及机器人 | |
CN114589689A (zh) | 基于二维码的视觉定位方法、装置及计算机可读存储介质 | |
TW201805129A (zh) | 機械手臂校正系統的校正方法 | |
CN111360797A (zh) | 一种基于视觉的机器人tcp标定方法 | |
CN115592666A (zh) | 组件定位方法、组件定位装置、组件定位系统和机器人 | |
CN215701709U (zh) | 一种可配置的手眼标定装置 | |
CN114939867A (zh) | 一种基于立体视觉的机械手外接不规则非对称工具的标定方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |