CN105234943B - 一种基于视觉识别的工业机器人示教装置及方法 - Google Patents

一种基于视觉识别的工业机器人示教装置及方法 Download PDF

Info

Publication number
CN105234943B
CN105234943B CN201510570360.XA CN201510570360A CN105234943B CN 105234943 B CN105234943 B CN 105234943B CN 201510570360 A CN201510570360 A CN 201510570360A CN 105234943 B CN105234943 B CN 105234943B
Authority
CN
China
Prior art keywords
manipulator
point
coordinate
coordinate system
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510570360.XA
Other languages
English (en)
Other versions
CN105234943A (zh
Inventor
文茜
李玉廷
王光能
舒远
李人杰
高云峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Dazu robot Co.,Ltd.
Original Assignee
Shenzhen Dazu Robot Co Ltd
Han s Laser Technology Industry Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Dazu Robot Co Ltd, Han s Laser Technology Industry Group Co Ltd filed Critical Shenzhen Dazu Robot Co Ltd
Priority to CN201510570360.XA priority Critical patent/CN105234943B/zh
Publication of CN105234943A publication Critical patent/CN105234943A/zh
Application granted granted Critical
Publication of CN105234943B publication Critical patent/CN105234943B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00Programme-control systems
    • G05B19/02Programme-control systems electric
    • G05B19/42Recording and playback systems, i.e. in which the programme is recorded from a cycle of operations, e.g. the cycle of operations being manually controlled, after which this record is played back on the same machine
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02Sensing devices
    • B25J19/04Viewing devices
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/0081Programme-controlled manipulators with master teach-in means

Abstract

本发明提供一种基于视觉识别的工业机器人示教装置及方法,其包括:工业机械人的机械手,其端部设有对待测工件工作的末端;大视场相机,拍照视场覆盖机械手的整个有效工作范围;小视场相机,固定在机械手的末端,随机械手的手臂一起移动;以及机械手示教器,接收大视场相机和小视场相机拍摄的图像并预处理相机拍照传来的图像,机械手示教器内设有图像分析软件。本发明中所采取的技术方案是双相机对机器人的运动路径进行规划:由大视场相机进行运动路径的粗略定位和总体规划,由小视场相机对每个粗略定位点进行精确定位。通过本发明可对黏连在工件上的障碍物进行规避,大大提高了机器人的智能水平,且很好的适用于生产线零件的加工、工件的抓取等。

Description

一种基于视觉识别的工业机器人示教装置及方法
技术领域
本发明涉及机器视觉技术领域,尤其涉及基于视觉识别的工业机械人示教装置及方法。
背景技术
工业机器人是面向工业领域的多关节机械手或多自由度的机器装置,它能自动执行工作,是靠自身动力和控制能力来实现各种功能的一种机器。工业机器人可以接受人类指挥,也可以按照预先编排的程序运行,现代的工业机器人还可以根据人工智能技术制定的原则纲领行动。
机器人技术是一项综合了计算机、控制论、机构学、信息和传感技术、人工智能等多学科的高新技术,是当代研究十分活跃且应用日益广泛的领域,并逐渐成为一个国家工业自动化水平的重要标志。机器视觉是工业机器人领域的关键技术之一,是提高机器人智能水平的关键。
工业机器人作为一种对生产条件和生产环境适应性和灵活性很强的自动化设备,其在机械制造、零件加工和装配以及运输等领域有着广泛应用。工业机器人对稳定提高产品品质、提高生产效率和改善劳动条件起着十分重要的作用。机器视觉作为工业机器人获得环境信息的主要手段之一,它可以增加机器人的自主能力,提高机器人的灵活性。
发明内容
本发明实施例的目的在于提供基于视觉识别的工业机器人示教装置及方法,为工业机器人提供对工件的自动定位及运动路径规划示教等。
本发明提供一种基于视觉识别的工业机器人示教装置,其特征在于:其包括:工业机械人的机械手,其端部设有对待测工件工作的机械手末端;大视场相机,拍照视场覆盖机械手的整个有效工作范围;小视场相机,固定在机械手的末端,随机械手的手臂一起移动;以及机械手示教器,接收大视场相机和小视场相机拍摄的图像并预处理相机拍照传来的图像,机械手示教器内设有图像分析软件。
本发明还提供一种基于视觉识别的工业机器人示教方法,包括如下步骤:
第一步:对机械手坐标系及大、小视场相机坐标系进行标定,将所有坐标系统一到同一个坐标系;
第二步:大视场相机对机械手工作场景进行拍照,同时大视场相机拍摄的图像对机械手的点位运动路径进行粗定位,机械手示教器的图像分析软件识别出被测工件的轮廓尺寸等信息,通过图像分析软件设定机械手移动的点位路径;
第三步:机械手运动到粗定位点后,由小视场相机对粗定位点位置进行拍照,寻找被测工件的特征信息,移动机械手至小视场相机的图像中心点与被测工件的特征区域中心点重合,该点即为机械手在该处精确的点位信息。
其中,所述第二步还包括:图像分析软件还需判断机械手的点位移动过程中是否有障碍物,如有障碍物,需进行壁障,即根据障碍物的位置与形状,对机械手的点位运动路径进行规划。
其中,所述第一步的具体方法为:选择一标定板置于机械手的工作区域,标定板作为待测工件,大视场相机能对整块标定板成像,以标定板的中心点为坐标原点,建立一个直角坐标系,此坐标系即为机械手点位运动的坐标系,机械手坐标系和大小视场相机坐标都要以此坐标系为基准。
其中,所述第二步的具体方法为:根据机械手在标定板上的点位运动坐标系,建立从大视场相机坐标系转换到机械手点位运动坐标系的旋转矩阵;然后统一机械手坐标系与机械手的点位运动坐标系。
其中,所述机械手的点位运动路径的规划过程为:大视场相机对标定板成像,由图像处理软件对大视场相机拍摄的图像进行处理,求出标定板的轮廓特征,再在示教器上选择机械手的点位信息,并通过坐标旋转矩阵将图像坐标转换为机械点位运动坐标系坐标。
其中,标定板采用棋盘格、或者有规则格子的板。
其中,大视场相机的图像坐标转换为机械手点位运动坐标包括如下过程:
B1:大视场相机坐标到机械手点位运动坐标的坐标转换矩阵,通过此转换矩阵将大视场相机的图像坐标转换为机械手点位运动坐标;
B2:统一机械手1的坐标系与机械手1的点位运动坐标系,保证两坐标系平行。
其中,所述步骤B1的具体方法为:首先,由图像处理软件对大视场相机拍摄的标定板图像进行处理,求标定板所有格点在图像中的像素坐标;然后,建立一个大视场相机坐标到机械手点位运动坐标的坐标转换矩阵,通过此转换矩阵,可将大视场相机的图像坐标转换为机械手点位运动坐标。
其中,大视场相机的图像坐标转换为机械手点位运动坐标的过程为:设定x 坐标为标定板平行于水平面的坐标,y坐标为垂直于x坐标,xy坐标系为机械手点位运动坐标系,x坐标与y坐标的交叉点为0点,即:标定板的中心点,此点将作为机械手的点位运动坐标系的原点;在坐标系中选择三点:p1、p2、p3为人工在示教器上选定的三个点,假设点p1、p2、p3在图像上的像素坐标已知,假设为 (p1r,p1c),(p2r,p2c),(p3r,p3c),根据建立的机械手点位运动坐标系:设定点p1、p2、p3在机械手点位运动坐标系中的坐标分别为(-2,3)、(3,1)、 (2,-2),建立一个像素点坐标换算至机械手点为运动坐标的换算矩阵=即:
计算出换算矩阵的各个值后,就可根据旋转矩阵将图像上的各个点转换为机械手点位运动坐标系中的坐标。
其中,所述选择的三点p1、p2、p3为棋盘格中某个小方格的顶点。
其中,所述步骤B2的具体方法为:用大视场相机对标记的两标记点成像,求出该两标记点在图像上的坐标并换算至机械手的点位运动坐标系,计算这两点在机械手点位运动坐标中的距离以及与水平方向的夹角。
其中,所述步骤B2所述的方法,多次调整或旋转机械手至两点在机械手点位运动坐标系中的距离和方向与机械手坐标系的一致。
其中,假定机械手坐标系控制机械手沿其x轴正方向从位置S1处移动到位置 S2处,并在各位置处标记之,大视场相机对标记点拍照,求出标记点中心点的图像坐标,假设S1=(S1r,S1c),S2=(S2r,S2c),机械手1的点位运动坐标系的坐标为S1*H换算矩阵,S2*换算矩阵,机械手的点位运动坐标系中线段S1、S2与x 轴正方向夹角即为机械手坐标系与机械手点位运动坐标系统一需要调整的角度。
其中,所述第三步包括如下步骤:
C1:运动机械手末端至其工作位置,小视场相机对标定板成像,计算小视场标定板图像中一个格子的实际长度S与其像素长度的比例即可以得到小视场相机的标定系数C:
C2:大视场相机对机械手工作范围内的待测工件成像,待测工件或待测工件及其障碍物的外形轮廓,粗略选定机械手运动的各个点位的像素坐标,并通过第一步所述方法,将各个点位的像素坐标转换为机械手点位运动坐标。
C3:驱动机械手按该路径运动,机械手运动至各粗略定位点之后,由小视场相机对当前环境进行成像,计算小视场相机中心点与机械手的末端工作点的像素距离,根据C1步骤所得标定结果将像素距离换算成长度距离,并驱动机械手移动小视场相机中心与机械手的末端工作点重合,小视场相机中心点与机械手的末端工作点的重合点加上小视场相机中心点与机械手末端的固定偏移量即为机械手在该处的精确点位信息。
本发明中所采取的技术方案是双相机对机器人的运动路径进行规划:由大视场相机进行运动路径的粗略定位和总体规划,由小视场相机对每个粗略定位点进行精确定位。通过本发明可对黏连在工件上的障碍物进行规避,大大提高了机器人的智能水平,本发明能很好的适用于生产线零件的加工、工件的抓取等。
附图说明
图1所示为本发明基于视觉识别的工业机器人示教装置的结构示意图;
图2所示为大视场相机坐标系标定示意图;
图3所示机械手坐标系与机械手点位运动坐标系的统一示意图;
图4所示为图3机械手坐标系与机械手点位运动坐标系在坐标系中的示意图。
具体实施方式
为了使本发明的目的、技术方案更清楚明白,以下结合附图及实施例,对本发明进行进一步的详细说明,不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干简单推演和替换,都应该视为属于本发明的保护范围。
机器人技术是一项综合了计算机、控制论、机构学、信息和传感技术、人工智能等多学科的高新技术,是当代研究十分活跃且应用日益广泛的领域,并逐渐成为一个国家工业自动化水平的重要标志。机器视觉是工业机器人领域的关键技术之一,是提高机器人智能水平的关键。
本发明使用机器视觉技术为工业机器人提供自动定位和运动路径规划示教辅助装置,通过对获取的图像正确地提取出工件的特征参数及轮廓信息,对工业机器人的运动路径进行规划示教,为提高机器人的智能水平和环境适应能力提供了良好的技术支撑。
如图1所示为基于视觉识别的工业机器人示教装置的结构示意图,该示教装置主要包括:工业机械人的机械手1,机械手1的端部设有对待测工件3工作的机械手末端11;大视场相机2,其固定在机械手1工作区域的顶端,具体固定在机械手1的前上方,大视场相机2的拍照视场覆盖机械手1的整个有效工作范围,用于对整个工作区域成像,确定被测工件3的轮廓信息;小视场相机4,固定在机械手 1的端部,具体固定在机械手1末端11,小视场相机4可随机械手1的手臂一起移动,小视场相机4的拍照视场只能覆盖被测工件3的某个细节,其用于对机械手1进行精确定位示教;机械手示教器5,分别与大视场相机2和小视场相机4连接,用于接收并预处理相机拍照传来的图像,机械手示教器5内设有图像分析软件。
本发明通过大视场相机2拍摄的图像对机械手1的点位运动路径进行粗定位,用小视场相机4拍摄的图像对机械手1的运动的点位信息(机械手末端11的运动轨迹)进行精确示教。
本发明基于视觉识别的工业机器人示教方法,其包括如下步骤:
第一步:对机械手1坐标系及大、小视场相机2、4坐标系进行标定,将所有坐标系统一到同一个坐标系。
第二步:大视场相机2对机械手1工作场景进行拍照,大视场相机2拍摄的图像对机械手1的点位运动路径进行粗定位,机械手示教器5的图像分析软件识别出被测工件3的轮廓尺寸等信息,然后人工通过图像分析软件设定机械手1移动的点位路径。
图像分析软件还需判断机械手1的点位移动过程中是否有障碍物,如有障碍物,需进行壁障,即根据障碍物的位置与形状,对机械手1的点位运动路径进行规划。
第三步:机械手1运动到粗定位点后,由小视场相机4对粗定位点位置进行拍照,寻找被测工件3的特征信息,移动机械手1至小视场相机4的图像中心点与被测工件3的特征区域中心点重合,该点即为机械手1在该处精确的点位信息。
由于小视场相机4固定在机械手1的末端11一侧,通过小视场相机4拍摄机械手1的末端11运动运动轨迹,从而拍摄被测工件3的工作细节。
本发明示教方法所要解决的主要问题包括:
1、大视场相机坐标系的标定,并统一到同一个坐标系;
2、机械手坐标系与大视场相机坐标系的统一;
3、小视场相机的标定;
4、机械手各个点位精定位及运动路径规划。
所述第一步(系统一到同一个坐标系)的具体方法为:选择一标定板6置于机械手1的工作区域,标定板6作为待测工件,大视场相机2能对整块标定板成像,以标定板6的中心格点为坐标原点,建立一个直角坐标系,此坐标系即为机械手1 的点位运动的坐标系,机械手坐标系和大小视场相机坐标都要以此坐标系为基准。
其中,标定板6采用棋盘格、或者有规则格子的板都可以作为标定板。
所述第二步(粗定位)的具体方法为:根据机械手1在标定板6上的点位运动坐标系,建立从大视场相机2坐标系转换到机械手1点位运动坐标系的旋转矩阵;然后统一机械手1坐标系与机械手1的点位运动坐标系,以保证机械手1坐标系与机械手1的点位运动坐标系方向一致。
机械手1的点位运动路径的规划过程为:大视场相机1对标定板6成像,由图像处理软件对图像进行处理,求出标定板6的轮廓特征,人工在示教器5上选择机械手1的点位信息,并通过坐标旋转矩阵将图像坐标转换为机械点位运动坐标系坐标,由此对机械手1运动路径进行粗略规划。机械手1运动到各个点位之后,由小视场相机4对机械手1的末端11局部成像,逐步调整机械手1至小视场相机4中心点与机械手1局部特征中心点重合,机械手在该点的机械手点位运动坐标加上小视场相机与机械手末端的距离偏差值即为机械手在该点的精确坐标值。由此,可对机械手1的运动路径进行精确规划。若遇障碍物,由于不需对障碍物进行操作,只需根据障碍物的轮廓特征对机械手的运动路径进行粗略调整,无需使用小视场相机4进行精确定位。
由于棋盘格具有规则的格子,标定板6选用棋盘格,在本发明中,棋盘格一个小方格的规格为1mm×1mm。
本发明视场相机的图像坐标转换为机械手点位运动坐标的过程如下的具体步骤如下:
B1:大视场相机坐标到机械手点位运动坐标的坐标转换矩阵,通过此转换矩阵将大视场相机的图像坐标转换为机械手点位运动坐标。
具体方法为:选用一大小合适的标定板6置于机械手1的工作区域中,图2所示为大视场相机标定示意图,大视场相机1对整块标定板6成像,由图像处理软件对大视场相机2拍摄的标定板6的图像进行处理,根据标定板6所有点在图像中的像素坐标,建立一个大视场相机坐标到机械手点位运动坐标的坐标转换矩阵,通过此转换矩阵将大视场相机的图像坐标转换为机械手点位运动坐标。
首先由机械手示教器5内的图像处理软件对大视场相机2拍摄的棋盘格图像进行处理,求出棋盘格所有格点在图像中的像素坐标,由于所有格点的在机械手点位运动坐标系中的位置已知;然后,因此可建立一个大视场相机坐标到机械手点位运动坐标的坐标转换矩阵,通过此转换矩阵,可将大视场相机的图像坐标转换为机械手点位运动坐标。
大视场相机的图像坐标转换为机械手点位运动坐标的过程如下:
如图2所示,x坐标为标定板6平行于水平面的坐标,y坐标为垂直于x坐标, xy坐标系为机械手点位运动坐标系,x坐标与y坐标的交叉点为0点,即:标定板6 的中心点,此点将作为机械手1的点位运动坐标系的原点。在坐标系中选择三点, p1、p2、p3为人工在示教器5上选定的三个点,选定的点必须为棋盘格中某个小方格的顶点,以此才能确定选定点在机械手点位运动坐标系中的坐标。通过人工选定,点p1、p2、p3在图像上的像素坐标已知,假设为(p1r,p1c),(p2r,p2c), (p3r,p3c),根据建立的机械手点位运动坐标系,点p1、p2、p3在机械手点位运动坐标系中的坐标分别为(-2,3)、(3,1)、(2,-2)(棋盘格一个小方格的规格为1mm×1mm)。
由此,可建立一个像素点坐标换算至机械手点为运动坐标的换算矩阵即:
计算出换算矩阵HomMatrix的各个值后,就可根据旋转矩阵将图像上的各个点转换为机械手点位运动坐标系中的坐标。
B2:统一机械手1的坐标系与机械手1的点位运动坐标系,保证两坐标系平行:控制机械手1沿机械手坐标的水平方向移动两点,并标记之。其具体方法为:用大视场相机2对两标记点成像,求出它们的在图像上的坐标并换算至机械手1的点位运动坐标系,计算这两点在机械手点位运动坐标中的距离以及与水平方向的夹角,按此计算方法,多次调整或旋转机械手至两点在机械手点位运动坐标系中的距离和方向与机械手坐标系的一致。
上述步骤B2的具体步骤为:
图3和图4所示,假定基于机械手坐标系控制机械手1沿其x轴正方向从位置S1 处移动到位置S2处,并在各位置处标记之。图3所示为在机械手1的点位运动坐标系中标记点S1、S2所处的位置。具体做法为:大视场相机2对标记点拍照,求出标记点中心点的图像坐标,假设S1=(S1r,S1c),S2=(S2r,S2c),那么换算至机械手1的末端11点位运动坐标系的坐标为S1*换算矩阵HomMatrix,S2*换算矩阵HomMatrix。那么,在机械手1的点位运动坐标系中线段S1、S2与x轴正方向夹角即为机械手坐标系与机械手点位运动坐标系统一需要调整的角度。
所述第三步(机械手1在该处精确的点位信息)的具体方法为:
C1:由于在机械手有效工作区域内放置一块棋盘格标定板6,运动机械手末端至其工作位置,小视场相机对棋盘格标定板成像6,计算小视场棋盘格标定板6 图像中一个格子的实际长度S(单位为毫米)与其像素长度Lens(单位为像素)的比例即可以得到小视场相机的标定系数C:
C2:大视场相机2对机械手1工作范围内的待测工件3成像,通过图像预处理方法求出待测工件3或待测工件3及其障碍物的外形轮廓,在示教器5上人工粗略选定机械手运动的各个点位的像素坐标,并通过第一步所述方法,将各个点位的像素坐标转换为机械手点位运动的毫米坐标。
C3:驱动机械手按该路径运动,机械手运动至各粗略定位点之后,由小视场相机4对当前环境进行成像,计算小视场相机4中心点与机械手的末端11工作点的像素距离,根据c1步骤所得标定结果将像素距离换算成长度距离(单位为毫米),并驱动机械手移动小视场相机4中心与机械手的末端11工作点重合(可反复按此方法调整),小视场相机4中心点与机械手的末端11工作点的重合点加上小视场相机4中心点与机械手末端的固定偏移量即为机械手在该处的精确点位信息。
本发明中所采取的技术方案是双相机对机器人的运动路径进行规划:由大视场相机进行运动路径的粗略定位和总体规划,由小视场相机对每个粗略定位点进行精确定位。
本发明利用大小视场双相机系统,对机械手的运动路径进行了确定定位和规划,大大提高了机械手的智能水平,提高了生产效率,减少了人工劳力成本。
本发明的另一个优点还在于可对黏连在待测工件上的障碍物进行规避,大大提高了机器人的智能水平,本发明能很好的适用于生产线零件的加工、工件的抓取等。

Claims (15)

1.一种基于视觉识别的工业机器人示教装置,其特征在于:其包括:
工业机械人的机械手(1),其端部设有对待测工件(3)工作的机械手末端(11);
大视场相机(2),拍照视场覆盖机械手(1)的整个有效工作范围;
小视场相机(4),固定在机械手(1)的末端,随机械手(1)的手臂一起移动;以及
机械手示教器(5),接收大视场相机(2)和小视场相机(4)拍摄的图像并预处理相机拍照传来的图像,机械手示教器(5)内设有用于识别被测工件的轮廓尺寸信息,并通过其设定机械手移动点位路径的图像分析软件。
2.权利要求1所述的基于视觉识别的工业机器人示教方法,其特征在于,包括如下步骤:
第一步:对机械手坐标系及大、小视场相机坐标系进行标定,将所有坐标系统一到同一个坐标系;
第二步:大视场相机对机械手工作场景进行拍照,同时大视场相机拍摄的图像对机械手的点位运动路径进行粗定位,机械手示教器的图像分析软件识别出被测工件的轮廓尺寸信息,通过图像分析软件设定机械手移动的点位路径;
第三步:机械手运动到粗定位点后,由小视场相机对粗定位点位置进行拍照,寻找被测工件的特征信息,移动机械手至小视场相机的图像中心点与被测工件的特征区域中心点重合,该点即为机械手在该处精确的点位信息。
3.根据权利要求2所述的示教方法,其特征在于:所述第二步还包括:图像分析软件还需判断机械手的点位移动过程中是否有障碍物,如有障碍物,需进行避障,即根据障碍物的位置与形状,对机械手的点位运动路径进行规划。
4.根据权利要求2或3所述的示教方法,其特征在于:所述第一步的具体方法为:选择一标定板置于机械手的工作区域,标定板作为待测工件,大视场相机能对整块标定板成像,以标定板的中心点为坐标原点,建立一个直角坐标系,此坐标系即为机械手点位运动的坐标系,机械手坐标系和大小视场相机坐标都要以此坐标系为基准。
5.根据权利要求4所述的示教方法,其特征在于:所述第二步的具体方法为:根据机械手在标定板上的点位运动坐标系,建立从大视场相机坐标系转换到机械手点位运动坐标系的转换矩阵;然后统一机械手坐标系与机械手的点位运动坐标系。
6.根据权利要求5所述的示教方法,其特征在于:所述机械手的点位运动路径的规划过程为:大视场相机对标定板成像,由图像处理软件对大视场相机拍摄的图像进行处理,求出标定板的轮廓特征,再在示教器上选择机械手的点位信息,并通过坐标转换矩阵将图像坐标转换为机械手 点位运动坐标系坐标。
7.根据权利要求6所述的示教方法,其特征在于:标定板采用棋盘格、或者有规则格子的板。
8.根据权利要求7所述的示教方法,其特征在于:大视场相机的图像坐标转换为机械手点位运动坐标包括如下过程:
B1:大视场相机坐标到机械手点位运动坐标的坐标转换矩阵,通过此转换矩阵将大视场相机的图像坐标转换为机械手点位运动坐标;
B2:统一机械手(1)的坐标系与机械手(1)的点位运动坐标系,保证两坐标系平行。
9.根据权利要求8所述的示教方法,其特征在于:所述步骤B1的具体方法为:首先,由图像处理软件对大视场相机拍摄的标定板图像进行处理,求标定板所有格点在图像中的像素坐标;然后,建立一个大视场相机坐标到机械手点位运动坐标的坐标转换矩阵,通过此转换矩阵,可将大视场相机的图像坐标转换为机械手点位运动坐标。
10.根据权利要求9所述的示教方法,其特征在于:大视场相机的图像坐标转换为机械手点位运动坐标的过程为:设定x坐标为标定板平行于水平面的坐标,y坐标为垂直于x坐标,xy坐标系为机械手点位运动坐标系,x坐标与y坐标的交叉点为0点,即:标定板的中心点,此点将作为机械手的点位运动坐标系的原点;在坐标系中选择三点:p1、p2、p3为人工在示教器上选定的三个点,假设点p1、p2、p3在图像上的像素坐标已知,假设为(p1r,p1c),(p2r,p2c),(p3r,p3c),根据建立的机械手点位运动坐标系:设定点p1、p2、p3在机械手点位运动坐标系中的坐标分别为(-2,3)、(3,1)、(2,-2),建立一个像素点坐标换算至机械手点位 运动坐标的即:
计算出转换矩阵的各个值后,就可根据转换矩阵将图像上的各个点转换为机械手点位运动坐标系中的坐标。
11.根据权利要求10所述的示教方法,其特征在于:所述选择的三点p1、p2、p3为棋盘格中某个小方格的顶点。
12.根据权利要求9所述的示教方法,其特征在于:所述步骤B2的具体方法为:用大视场相机对标记的两标记点成像,求出该两标记点在图像上的坐标并换算至机械手的点位运动坐标系,计算这两点在机械手点位运动坐标中的距离以及与水平方向的夹角。
13.根据权利要求12所述的示教方法,其特征在于:所述步骤B2所述的方法,多次调整或旋转机械手至两点在机械手点位运动坐标系中的距离和方向与机械手坐标系的一致。
14.根据权利要求13所述的示教方法,其特征在于:假定机械手坐标系控制机械手沿其x轴正方向从位置S1处移动到位置S2处,并在各位置处标记之,大视场相机对标记点拍照,求出标记点中心点的图像坐标,假设S1=(S1r,S1c),S2=(S2r,S2c),机械手(1)的点位运动坐标系的坐标为S1*转换矩阵,S2*转换矩阵,机械手的点位运动坐标系中线段S1、S2与x轴正方向夹角即为机械手坐标系与机械手点位运动坐标系统一需要调整的角度。
15.根据权利要求9所述的示教方法,其特征在于:所述第三步包括如下步骤:
C1:运动机械手末端至其工作位置,小视场相机对标定板成像,计算小视场标定板图像中一个格子的实际长度S与其像素长度的比例即可以得到小视场相机的标定系数C:
C2:大视场相机对机械手工作范围内的待测工件成像,待测工件或待测工件及其障碍物的外形轮廓,粗略选定机械手运动的各个点位的像素坐标,并通过所述第一步,将各个点位的像素坐标转换为机械手点位运动坐标;
C3:驱动机械手按该路径运动,机械手运动至各粗略定位点之后,由小视场相机对当前环境进行成像,计算小视场相机中心点与机械手的末端工作点的像素距离,根据C1步骤所得标定结果将像素距离换算成长度距离,并驱动机械手移动小视场相机中心与机械手的末端工作点重合,小视场相机中心点与机械手的末端工作点的重合点加上小视场相机中心点与机械手末端的固定偏移量即为机械手在该处的精确点位信息。
CN201510570360.XA 2015-09-09 2015-09-09 一种基于视觉识别的工业机器人示教装置及方法 Active CN105234943B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510570360.XA CN105234943B (zh) 2015-09-09 2015-09-09 一种基于视觉识别的工业机器人示教装置及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510570360.XA CN105234943B (zh) 2015-09-09 2015-09-09 一种基于视觉识别的工业机器人示教装置及方法

Publications (2)

Publication Number Publication Date
CN105234943A CN105234943A (zh) 2016-01-13
CN105234943B true CN105234943B (zh) 2018-08-14

Family

ID=55032888

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510570360.XA Active CN105234943B (zh) 2015-09-09 2015-09-09 一种基于视觉识别的工业机器人示教装置及方法

Country Status (1)

Country Link
CN (1) CN105234943B (zh)

Families Citing this family (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6431495B2 (ja) * 2016-03-25 2018-11-28 本田技研工業株式会社 教師データ生成方法
CN105904107A (zh) * 2016-04-21 2016-08-31 大族激光科技产业集团股份有限公司 移动机器人激光打标系统及激光打标方法
CN105965495B (zh) * 2016-05-12 2018-07-10 英华达(上海)科技有限公司 一种机械臂定位方法及系统
CN105945909A (zh) * 2016-05-13 2016-09-21 大族激光科技产业集团股份有限公司 三自由度并联机器人的误差校正方法及系统
CN106327561A (zh) * 2016-08-31 2017-01-11 武汉湾流科技股份有限公司 一种基于机器视觉技术的智能喷涂方法及系统
CN106530276B (zh) * 2016-10-13 2019-04-09 中科金睛视觉科技(北京)有限公司 一种用于非标准件抓取的机械手定位方法以及定位系统
CN108214486A (zh) * 2016-12-22 2018-06-29 精工爱普生株式会社 控制装置、机器人及机器人系统
CN106903720A (zh) * 2017-04-28 2017-06-30 安徽捷迅光电技术有限公司 一种传送平台与机器人的坐标视觉的自动校正方法
CN106956292A (zh) * 2017-04-28 2017-07-18 安徽捷迅光电技术有限公司 一种基于传送平台与机器人的坐标视觉物理校正方法
CN107169519B (zh) * 2017-05-18 2018-05-01 重庆卓来科技有限责任公司 一种工业机器人视觉系统及其示教方法
WO2018213980A1 (zh) * 2017-05-22 2018-11-29 深圳配天智能技术研究院有限公司 一种机器人的标定方法、系统及标定板
WO2018214147A1 (zh) * 2017-05-26 2018-11-29 深圳配天智能技术研究院有限公司 一种机器人标定方法、系统、机器人及存储介质
CN108422539B (zh) * 2017-08-12 2020-05-22 中民筑友科技投资有限公司 一种基于bim的构件抹光方法及装置
CN109557329B (zh) * 2017-09-26 2022-07-19 深圳市新产业生物医学工程股份有限公司 旋转式加样装置及加样方法
CN107584263B (zh) * 2017-10-18 2019-04-12 上海赛摩电气有限公司 一种视觉定位引导装置及引导方法
CN108127668B (zh) * 2017-12-19 2020-05-08 合肥欣奕华智能机器有限公司 一种机器人的示教方法、机器人的示教装置及机器人系统
CN108326850B (zh) * 2018-01-10 2021-07-06 温州大学 一种机器人准确移动机械臂到达指定位置的方法及系统
CN110196568B (zh) * 2018-02-26 2022-06-24 宝山钢铁股份有限公司 行车抓取板坯的方法
CN108459572A (zh) * 2018-03-20 2018-08-28 广东美的制冷设备有限公司 监控方法、装置、系统、机器人及空调器生产设备
CN108748137B (zh) * 2018-04-11 2021-02-02 陈小龙 一种实物扫描建模方法及其应用
CN108655026B (zh) * 2018-05-07 2020-08-14 上海交通大学 一种机器人快速示教分拣系统和方法
CN108772824A (zh) * 2018-06-06 2018-11-09 深圳市恒晨电器有限公司 一种螺丝机械手示教对位方法
CN108766894B (zh) * 2018-06-07 2019-11-05 湖南大学 一种机器人视觉引导的芯片贴装方法及系统
CN110595353A (zh) * 2018-06-13 2019-12-20 深圳兆日科技股份有限公司 基于校准板的校准定位方法、装置和存储介质
CN109146979B (zh) * 2018-08-01 2022-02-01 苏州乐佰图信息技术有限公司 用于补偿机械手走位偏差的方法
CN109360243B (zh) * 2018-09-28 2022-08-19 安徽爱观视觉科技有限公司 一种多自由度可动视觉系统的标定方法
CN109584314B (zh) * 2018-12-27 2020-07-10 重庆交通大学 一种测量水域表面流场方法、装置及电子设备
CN109604468B (zh) * 2018-12-28 2020-12-29 芜湖哈特机器人产业技术研究院有限公司 一种基于机器视觉的工件冲压系统及其控制方法
CN109848986B (zh) * 2019-01-08 2020-09-15 北京市城市管理研究院(北京市环境卫生监测中心) 基于机器视觉的目标物体高度不确定时的定位方法
CN111452034A (zh) * 2019-01-21 2020-07-28 广东若铂智能机器人有限公司 一种双相机机器视觉智能工业机器人控制系统及控制方法
CN109848987B (zh) * 2019-01-22 2022-02-01 天津大学 一种并联机器人视觉伺服控制方法
CN109848964B (zh) * 2019-01-24 2020-10-09 浙江工业大学 基于光学动作捕捉的示教机器人数据采集器系统
DE102019201723A1 (de) * 2019-02-11 2020-08-13 Trumpf Laser- Und Systemtechnik Gmbh Verfahren zum Einrichten einer Werkzeugmaschine und Fertigungssystem
CN110170996B (zh) * 2019-05-09 2022-08-19 广西安博特智能科技有限公司 一种基于立体视觉的机器人快速示教系统
CN110171009B (zh) * 2019-05-09 2022-09-02 广西安博特智能科技有限公司 一种基于立体视觉的机器人手持示教装置
CN110919626B (zh) * 2019-05-16 2023-03-14 广西大学 一种基于立体视觉的机器人手持示教装置及方法
CN110181560A (zh) * 2019-07-05 2019-08-30 湖北天华智能装备股份有限公司 搬运机器人机械手快速精确调校装置
CN110465946B (zh) * 2019-08-19 2021-04-30 珞石(北京)科技有限公司 一种像素坐标与机器人坐标关系标定方法
CN110788863B (zh) * 2019-11-22 2020-11-10 上海原能细胞生物低温设备有限公司 一种机器视觉的标定方法及机械臂定位抓取方法
CN111409067B (zh) * 2020-03-12 2022-06-03 杭州新松机器人自动化有限公司 一种机器人用户坐标系自动标定系统及其标定方法
CN111633360B (zh) * 2020-06-18 2022-01-18 焦作智造机电设备有限公司 基于视觉的智能化水平表面堆焊方法
CN114643578B (zh) * 2020-12-18 2023-07-04 沈阳新松机器人自动化股份有限公司 一种提高机器人视觉引导精度的标定装置及方法
CN112847321B (zh) * 2021-01-04 2021-12-28 扬州市职业大学(扬州市广播电视大学) 基于人工智能的工业机器人视觉图像识别系统
CN113109259B (zh) * 2021-04-02 2023-02-03 珠海市怡信测量科技有限公司 一种图像的智能导航方法及装置
CN113510697B (zh) * 2021-04-23 2023-02-14 知守科技(杭州)有限公司 机械手定位方法、装置、系统、电子装置和存储介质
CN113686375B (zh) * 2021-09-22 2024-01-05 常州检验检测标准认证研究院 一种数字表自动检定方法
CN114332231B (zh) * 2022-03-04 2022-06-14 成都创像科技有限公司 视觉检测设备中机械手与相机的定位方法、装置及介质
CN114800613B (zh) * 2022-04-28 2023-08-04 南京航空航天大学 一种工业机器人装配误差在线检测的精度补偿系统及方法
CN114932541B (zh) * 2022-06-15 2023-07-25 中迪机器人(盐城)有限公司 一种基于机器人的自动装配系统及方法
CN116000942B (zh) * 2023-03-22 2023-06-27 深圳市大族机器人有限公司 一种基于多轴协作机器人的半导体制造系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101081512A (zh) * 2006-05-29 2007-12-05 发那科株式会社 工件取出装置以及方法
CN102294695A (zh) * 2010-06-25 2011-12-28 鸿富锦精密工业(深圳)有限公司 机器人标定方法及标定系统
CN102927908A (zh) * 2012-11-06 2013-02-13 中国科学院自动化研究所 机器人手眼系统结构光平面参数标定装置及方法
CN103158151A (zh) * 2011-12-19 2013-06-19 发那科株式会社 具备修正物品的姿势的功能的取出装置
CN103619567A (zh) * 2011-06-22 2014-03-05 波音公司 自动层板铺设系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5549129B2 (ja) * 2009-07-06 2014-07-16 セイコーエプソン株式会社 位置制御方法、ロボット
JP5854815B2 (ja) * 2011-12-20 2016-02-09 キヤノン株式会社 情報処理装置、情報処理装置の制御方法、およびプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101081512A (zh) * 2006-05-29 2007-12-05 发那科株式会社 工件取出装置以及方法
CN102294695A (zh) * 2010-06-25 2011-12-28 鸿富锦精密工业(深圳)有限公司 机器人标定方法及标定系统
CN103619567A (zh) * 2011-06-22 2014-03-05 波音公司 自动层板铺设系统
CN103158151A (zh) * 2011-12-19 2013-06-19 发那科株式会社 具备修正物品的姿势的功能的取出装置
CN102927908A (zh) * 2012-11-06 2013-02-13 中国科学院自动化研究所 机器人手眼系统结构光平面参数标定装置及方法

Also Published As

Publication number Publication date
CN105234943A (zh) 2016-01-13

Similar Documents

Publication Publication Date Title
CN105234943B (zh) 一种基于视觉识别的工业机器人示教装置及方法
CN106607907B (zh) 一种移动视觉机器人及其测控方法
CN109029257B (zh) 基于立体视觉和结构光视觉的大型工件位姿测量系统、方法
CN105729468B (zh) 一种基于多深度摄像机增强的机器人工作台
US9197810B2 (en) Systems and methods for tracking location of movable target object
CN106291278B (zh) 一种基于多视觉系统的开关柜局部放电自动检测方法
CN105073348B (zh) 用于校准的机器人系统和方法
CN108161931A (zh) 基于视觉的工件自动识别及智能抓取系统
CN106423656A (zh) 基于点云与图像匹配的自动喷涂系统及方法
CN104786226A (zh) 抓取在线工件的机器人位姿及运动轨迹定位系统与方法
CN104552341B (zh) 移动工业机器人单点多视角挂表位姿误差检测方法
CN104626206A (zh) 一种非结构环境下机器人作业的位姿信息测量方法
CN110136211A (zh) 一种基于主动双目视觉技术的工件定位方法及系统
CN109341532A (zh) 一种面向自动装配的基于结构特征的零件坐标标定方法
CN110202560A (zh) 一种基于单个特征点的手眼标定方法
CN112045655B (zh) 用于大尺度多站点场景的移动机器人位姿测量方法及系统
CN110928311B (zh) 一种基于全景相机下直线特征的室内移动机器人导航方法
CN106325278B (zh) 一种基于椭圆识别的机器人定位导航方法
Xu et al. A new monocular vision measurement method to estimate 3D positions of objects on floor
Mišeikis et al. Two-stage transfer learning for heterogeneous robot detection and 3d joint position estimation in a 2d camera image using cnn
Gao et al. An automatic assembling system for sealing rings based on machine vision
Li et al. Workpiece intelligent identification and positioning system based on binocular machine vision
Tiyu et al. Positioning and pressing elevator button by binocular vision and robot manipulator
Xu et al. The identifier-based relative position estimation for leader-follower robotic system
Xu et al. Research and development of target recognition and location crawling platform based on binocular vision

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20180612

Address after: 518000 No. 9988 Shennan Road, Nanshan District, Shenzhen, Guangdong

Applicant after: HANS LASER TECHNOLOGY INDUSTRY GROUP CO., LTD.

Applicant after: Shenzhen Dazu robot Co., Ltd.

Address before: 518000 No. 9988 Shennan Road, Nanshan District, Shenzhen, Guangdong

Applicant before: HANS LASER TECHNOLOGY INDUSTRY GROUP CO., LTD.

Applicant before: Shenzhen Hans Electric Motor Co., Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20210909

Address after: 518103 workshop 601, building 3, Zhizao Center Park, No. 12, Chongqing Road, Heping community, Fuhai street, Bao'an District, Shenzhen, Guangdong Province

Patentee after: Shenzhen Dazu robot Co.,Ltd.

Address before: 518000 No. 9988 Shennan Road, Nanshan District, Shenzhen, Guangdong

Patentee before: HAN'S LASER TECHNOLOGY INDUSTRY GROUP Co.,Ltd.

Patentee before: Shenzhen Dazu robot Co.,Ltd.

TR01 Transfer of patent right