CN106560297B - 具备拍摄目标标记的照相机的机器人系统 - Google Patents

具备拍摄目标标记的照相机的机器人系统 Download PDF

Info

Publication number
CN106560297B
CN106560297B CN201610872784.6A CN201610872784A CN106560297B CN 106560297 B CN106560297 B CN 106560297B CN 201610872784 A CN201610872784 A CN 201610872784A CN 106560297 B CN106560297 B CN 106560297B
Authority
CN
China
Prior art keywords
robot
target label
coordinate system
camera
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610872784.6A
Other languages
English (en)
Other versions
CN106560297A (zh
Inventor
藁科文和
渡边桂佑
大野健司郎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fanuc Corp
Original Assignee
Fanuc Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fanuc Corp filed Critical Fanuc Corp
Publication of CN106560297A publication Critical patent/CN106560297A/zh
Application granted granted Critical
Publication of CN106560297B publication Critical patent/CN106560297B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1692—Calibration of manipulator
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/023—Optical sensing devices including video camera means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B25J9/1607—Calculation of inertia, jacobian matrixes and inverses
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1669—Programme controls characterised by programming, planning systems for manipulators characterised by special application, e.g. multi-arm co-operation, assembly, grasping
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/37—Measurements
    • G05B2219/37097—Marker on workpiece to detect reference position
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/37—Measurements
    • G05B2219/37561—Move camera until image corresponds to stored image of same workpiece
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39017—Forward calibration, find actual pose world space for given joint configuration
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39045—Camera on end effector detects reference pattern
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40003—Move end effector so that image center is shifted to desired position

Abstract

本发明提供一种具备拍摄目标标记的照相机的机器人系统。机器人系统在机器人坐标系中已知的第一目标标记位置上配置了目标标记时，将通过照相机取得的图像中包含的目标标记影像的特征量作为基准数据进行存储，并且将与机械臂前端部相对的第一目标标记位置作为工具前端点的位置进行存储。另外，机器人系统将从目标标记被配置在第二目标标记位置上时取得的图像中得到的特征量与基准数据的特征量相比较来移动机械臂前端部，并且基于与移动后的机械臂前端部的位置相对应的第二机器人位置以及工具前端点的位置来计算机器人坐标系中的第二目标标记位置。

Description

具备拍摄目标标记的照相机的机器人系统
技术领域
本发明涉及一种具备拍摄目标标记的照相机的机器人系统。
背景技术
为了进行工件的处理，有时与机床一起使用机器人。为了容易地手动操作机器人，另外，为了使用机床的控制装置来远程操作机器人，重要的是确定机床坐标系与机器人坐标系之间的位置关系。
为了确定机床坐标系与机器人坐标系之间的位置关系，需要机床中的位置以及机器人坐标系中的位置分别已知的至少三个点。已知使机器人的工具前端点(TCP)物理接触预定点，来测定该点的三维位置的接触法。另外，已知使用安装在机器人的手部的三维传感器来通过非接触测量预定点的三维位置的方。
在日本特开2011-048467号公报中，公开了利用机器人控制点与设定点之间的已知的位置关系来求出机器人坐标系与机床坐标系之间的位置关系。在特开2005-201824号公报以及特开2010-117223号公报中，公开了通过使用照相机从多个位置拍摄对象物来测量对象物的三维位置。
发明内容
然而，在上述的已知技术中，需要利用专用的装置或高价的三维传感器。或者，会有在测量时需要跨越大范围来移动机器人的位置以及姿势中的至少一方，难以在受限制的空间中进行测量的情况。因此，谋求一种廉价且能够容易地测定对象点的位置的机器人系统。
本发明提供了一种机器人系统，其具备：机器人、安装在所述机器人的机械臂前端部的照相机、通过所述照相机拍摄的目标标记，所述机器人系统具备：基准数据存储部，当在成为所述机器人的控制基准的机器人坐标系中预先决定的第一目标标记位置上配置了所述目标标记，并且将所述机械臂前端部定位在第一机器人位置时，所述基准数据存储部将所述照相机的图像中包含的所述目标标记的影像的位置以及大小作为基准数据进行存储，并且将相对于所述机械臂前端部的所述第一目标标记位置作为工具前端点的位置进行存储；以及目标标记位置计算部，当在第二目标标记位置上配置了所述目标标记时，所述目标标记位置计算部使所述机械臂前端部移动，以使所述照相机的图像中包含的所述目标标记的影像的位置以及大小与作为所述基准数据存储的所述目标标记的影像的位置以及大小一致，并且基于与移动后的所述机械臂前端部的位置对应的第二机器人位置以及所述工具前端点的位置，来计算在所述机器人坐标系中的所述第二目标标记位置。
在优选的实施方式中，所述机器人系统具备机床，构成为当在成为所述机床的控制基准的机械坐标系中预先决定的，并且不在同一直线上的至少三个目标标记位置上配置了所述目标标记时，所述目标标记位置计算部分别计算所述机器人坐标系中的所述至少三个目标标记位置，所述机器人系统还具备机械坐标系计算部，其基于所述机械坐标系中的所述至少三个目标标记位置以及所述机器人坐标系中的所述至少三个目标标记位置，来计算相对于所述机器人坐标系的所述机械坐标系的位置。
在优选的实施方式中，所述机床具备可进行动作的可动部，将所述目标标记设置在所述可动部，所述机床构成为通过使所述可动部进行动作，使所述目标标记向所述至少三个目标标记位置移动。
在优选的实施方式中，构成为当在所述机器人坐标系中的位置为未知，并且不在同一直线上的至少三个目标标记位置上配置了所述目标标记时，所述目标标记位置计算部分别计算所述机器人坐标系中的所述至少三个目标标记位置，所述机器人系统还具备作业用坐标系计算部，其基于所述机器人坐标系中的所述至少三个目标标记位置，来计算所述机器人的作业用坐标系。
附图说明
通过参照附图所示的本发明列举的实施方式的详细说明，能够使上述以及其他的本发明的目的、特征以及优点变得更加清楚。
图1表示一个实施方式的机器人系统。
图2是表示按照一个实施方式执行的处理的流程的流程图。
图3表示针对图像设定的坐标系。
图4表示机器人坐标系与手腕坐标系之间的位置关系。
图5表示在第一目标标记位置上配置的目标标记。
图6表示按照一实施方式执行的处理的流程的流程图。
图7表示在第二目标标记位置上配置的目标标记。
图8表示图像的位置关系以及特征量的差。
图9表示在第二目标标记位置上配置的目标标记。
图10表示其他的实施方式的机器人系统。
图11表示按照一个实施方式执行的处理的流程的流程图。
图12表示按照一个实施方式执行的处理的流程的流程图。
图13表示其他实施方式的机器人系统。
具体实施方式
以下，参照附图来说明本发明的实施方式。为了帮助理解本发明，对图示实施方式的结构要素适当变更了比例尺。对相同或对应的结构要素使用了相同的参照符号。
图1表示一实施方式的机器人系统1。机器人系统1具备机器人2、控制机器人2的机器人控制装置3、安装在机器人2上的照相机4、图像处理装置5。机器人2并不限于图1所示的六轴垂直多关节机器人，也可以是具有其他任意的公知结构的机器人。
机器人2具备基体21、从基体21延伸的机械臂22。在机器人2的机械臂前端部23经由夹具24安装了照相机4。由此，与机器人2的机械臂前端部23联动来变更照相机4的位置以及姿势。
机器人控制装置3是具备CPU、存储器、与外部装置相连接的接口的数字计算机。机器人控制装置3根据存储在非易失性存储器中的动作程序，通过对驱动机器人2的各轴的驱动装置，例如伺服电动机赋予指令来控制机器人2。机器人控制装置3构成为能够取得成为机器人2的控制基准的机器人坐标系中的机器人2的手指尖的位置。
在机器人2的工作区域或其附近设置了目标标记6。目标标记6被固定在通过与机器人2一起移动的照相机4可拍摄的位置。
为了能够通过图像处理来确定目标标记6的影像的位置以及大小，对目标标记6赋予了特征性的图案。例如，对目标标记6赋予了三角形的图案。
照相机4是具有取得对象物的图像的功能的受光设备。照相机4与图像处理装置5相连接，并向图像处理装置5传送由照相机4拍摄到的图像数据。
图像处理装置5是具备CPU、存储器、与外部装置相连接的接口的数字计算机。图像处理装置5构成为从通过照相机4取得的图像中检测目标标记6，并且从目标标记6的图案计算图像上的目标标记6的位置以及大小。
图像处理装置5通过通信线缆或无线通信与机器人控制装置3相连接，并能够从机器人控制装置3接收指令，或者能够向机器人控制装置3发送图像处理的结果。在其他的实施方式中，图像处理装置5也可以内置在机器人控制装置3中。
图1的下部表示机器人控制装置3的功能框图。机器人控制装置3具备基准数据存储部31、目标标记位置计算部32。
当在成为机器人2的控制基准的机器人坐标系∑r中预先决定的第一目标标记位置上配置目标标记6，且将机械臂前端部23定位在第一机器人位置上时，基准数据存储部31将照相机4的图像中包含的目标标记6的影像的位置以及大小作为基准数据进行存储，并且将相对于机械臂前端部23的第一目标标记位置作为工具前端点的位置进行存储。
目标标记位置计算部32当在第二目标标记位置上配置了目标标记6时，移动机械臂前端部23，以使得在照相机4的图像中包含的目标标记6的影像的位置以及大小与作为基准数据进行存储的目标标记6的影像的位置以及大小相一致，并且基于与移动后的机械臂前端部23的位置相对应的第二机器人位置、以及工具前端点的位置来计算机器人坐标系∑r中的第二目标标记位置。
参照图2对一实施方式的机器人系统1中执行的初始设定进行说明。当在机器人2的机械臂前端部23上安装照相机4时执行一次初始设定。
在步骤S101中，在机器人2的机械臂前端部23上安装照相机4。虽然没有特别限定照相机4相对于机械臂前端部23的朝向，但是为了使照相机4与机械臂前端部23之间的位置关系不变，经由夹具24来固定照相机4。
在步骤S102中，在第一目标标记位置上配置目标标记6。如果安装在机械臂前端部23上的照相机4能够拍摄目标标记6，则第一目标标记位置可以为任意的位置。
在步骤S103中，将机器人2移动到能够拍摄配置在第一目标标记位置上的目标标记6的位置(第一机器人位置)。机器人2的移动可以通过操作者的手动操作来进行，或者也可以使机器人2自动移动到预先决定的第一机器人位置。优选第一机器人位置为照相机4的光轴与形成了图案的目标标记6的表面相互垂直的位置，但是并不限于此。
在步骤S104中，通过照相机4拍摄目标标记6，并将目标标记6的图案作为检测对象的模型进行登录。在步骤S104登录的模型(以下，具有简单称为“登录模型”的情况)的内部数据形式根据在图像处理装置5中使用的图像处理算法来决定。例如，能够采用利用了归一化相关的模板匹配、利用了边缘信息的广义霍夫变换等图像处理算法，但是并不限于此。
在步骤S105中，利用登录模型来从照相机4拍摄到的图像中检测目标标记6，并计算图像上的特征量。在本实施方式中，特征量是图像上的目标标记6的图案位置以及大小。
例如，在采用基于归一化相关的模板匹配时，计算登录的模型与模板之间的一致度最大时的模板的位置、以及模板的扩大缩小的比例来作为与位置以及大小相关的特征量。
图像上的位置以及大小的特征量是在图像坐标系中表现的数值。针对通过照相机4拍摄到的图像来设定图像坐标系。例如，如图3所述，图像坐标系是将图像左上方的端部作为原点，将图像下方向作为u轴、将图像右方向作为v轴的坐标系。此时，图像上的位置的特征量表现为图像坐标系中的登录模型的原点位置。位置的特征量的单位是像素。模型的原点位置任意地决定，但是为一个模型固定的位置。
例如将登录模型的大小设为1.0(100％)，作为针对它的比例来计算大小的特征量s。即，在检测的模型的大小大于登录模型时，特征量s大于1.0，反之在小于登录模型时，特征量s小于1.0。
返回图2，在步骤S106中，计算第一目标标记位置相对于机器人2的机械臂前端部23的三维位置来作为工具前端点(TCP)。为了说明机械臂前端部23、目标标记6、以及工具前端点的位置，分别定义机器人坐标系∑r以及手腕坐标系∑f。
机器人坐标系∑r是固定在机器人2的基体21上，成为机器人2的控制基准的坐标系。手腕坐标系∑f是固定在机械臂前端部23上，与机械臂前端部23联动的坐标系(参照图4)。机械臂前端部23的位置表现为机器人坐标系∑r中的手腕坐标系∑f的位置。
在以下的说明中，只要没有特别提及，“工具前端点的位置”就意味着手腕坐标系∑f中的位置。通过下面的式(1)来求出工具前端点的位置T。此外，“R1”是机器人坐标系∑r中的手腕坐标系∑f的位置，“P1”是机器人坐标系∑r中的第一目标标记位置(参照图5)。
此外，“R1”为4×4的齐次变换矩阵，“T”以及“P1”是(x、y、z)T的3×1的矢量。
返回图2，在步骤S107中，将由步骤S105中计算出的位置的特征量(u、v)及大小的特征量s，以及步骤S106中计算出的工具前端点的位置T所构成的数据组作为基准数据进行存储。
在步骤S106中，将机器人坐标系∑r中的第一目标标记位置的三维位置P1作为已知的信息进行了说明，但是在其他的实施方式中，也可以通过任意的方法来测量三维位置P1。例如，可以按照在日本特开2005-201824号公报中记载的方法，使用照相机来测量三维位置P1。
参照图6对测量在任意位置上配置的目标标记6的三维位置的方法进行说明。
在步骤S201中，在测量对象的位置即第二目标标记位置上配置目标标记6(参照图7)。
在步骤S202中，使机械臂前端部23移动到目标标记6包含在照相机4的视野中的第二机器人位置。机器人2可以通过操作者的手动操作进行移动，或者也可以使机器人2自动移动到预先决定的第二机器人位置。关于第二机器人位置，只要能够通过照相机4拍摄在第二目标标记位置上配置的目标标记6，目标标记6与照相机4之间的相对位置关系可以不是严格。
在步骤S203中，从照相机4拍摄到的图像中检测目标标记6，并计算与图像上的位置以及大小相关的特征量。在步骤S203中，能够使用与上述的步骤S105相同的图像处理算法。
在步骤S204中，判定计算出的特征量与在上述步骤S107中存储的基准数据所对应的特征量是否一致。在步骤S204中，通过下面的式(2)求出两个特征量的差(Δu、Δv、Δs)。此外，“(u0、v0、s0)”是作为基准数据存储的特征量，“(u1、v1、s1)”是通过步骤S203计算出的特征量。
Δu＝u1-u0
Δv＝v1-v0
图8表示图像的位置关系以及特征量的差(Δu、Δv)。通过虚线来表示从第一机器人位置，通过照相机4拍摄到在第一目标标记位置上配置的目标标记6时的图像上的目标标记6。通过实线来表示从第二机器人位置，通过照相机4拍摄到在第二目标标记位置上配置的目标标记6时的图像上的目标标记6。
与目标标记6的大小相关的特征量s与目标标记6和照相机4之间的距离成反比。因此，在式(2)中使用了特征量s的倒数。
在位置判定中使用的阈值为0.1像素的情况下，当(Δu、Δv)的长度不满0.1像素时，判定为两个目标标记6分别配置在图像上的相同位置。在大小判定中使用的阈值为0.1像素的情况下，当Δs在-0.1～0.1的范围内时，判定为两个目标标记6分别在图像上具有相同的大小。
当步骤S204中的判定结果为否定时(位置以及大小中的至少任意一方不一致时)，向步骤S205前进，移动机器人2以使得特征量的差(Δu、Δv、Δs)变小。虽然没有限定根据特征量的差(Δu、Δv、Δs)计算机器人2的移动量的方法，但是其中的一个例子如后所述。
当步骤S204中的判定结果为肯定时，向步骤S206前进，计算机器人坐标系∑r中的第二目标标记位置的三维位置。通过本实施例，在步骤S204中，确认从图像检测出的特征量与基准数据中的特征量相一致。因此，机器人2的机械臂前端部23的位置与第二目标标记位置之间的位置关系与在将机械臂前端部23定位在第一机器人位置上时的机械臂前端部23的位置与第一目标标记位置之间的位置关系相同。
因此，下面的式(3)表示机器人坐标系∑r中的第二目标标记位置的三维位置P2。“R2”是在将机械臂前端部23定位在第二机器人位置上时的机器人坐标系∑r中的手腕坐标系∑f的位置。“T”是作为基准数据存储的工具前端点(TCP)的值(参照图9)。
“R2”为4×4的齐次变换矩阵，“T”以及“P2”是(x、y、z)T的3×1的矢量。
在图6所示的例子中，为了提高精度，在步骤S205的处理后再次执行步骤S203以及步骤S204的处理。然而，在其他的实施方式中，可以在使机器人2移动根据特征量的差(Δu、Δv、Δs)计算出的机器人2的移动量后，不返回步骤S203，而直接向步骤S206前进。
在步骤S205中，作为计算机器人2的移动量的方法的例子，对使用了雅克比矩阵(Jacobian matrix)的方法进行说明。
首先，使用雅克比矩阵J，通过下面的式(4)来定义特征量的差(Δu、Δv、Δs)与机器人2的移动量(Δx、Δy、Δz)之间的关系。雅克比矩阵J为3×3的正矩阵。
因此，如果雅克比矩阵J已知，则能够根据特征量的差(Δu、Δv、Δs)计算机器人2的移动量(Δx、Δy、Δz)。
其次，对求出雅克比矩阵J的方法进行说明。求出雅克比矩阵的步骤可以在机器人2的机械臂前端部23上安装了照相机4后的初始设定时执行一次。
将目标标记6配置在任意的位置，将目标标记6位于图像中心附近这样的机器人2的位置作为原位置。例如，当在第一目标标记位置上配置目标标记6时，可以将第一机器人位置作为原位置。
在将机械臂前端部23定位在原位置的状态下，从通过照相机4拍摄到的图像中检测目标标记6，并计算特征量(ui、vi、si)。
接着，使机械臂前端部23在手腕坐标系∑f的X轴方向上移动距离m，从在移动后的位置通过照相机4拍摄到的图像中检测目标标记6，并计算特征量(ux、vx、sx)。
同样地，从使机械臂前端部23从原位置开始在手腕坐标系∑f的Y轴方向以及Z轴方向上分别移动距离m后拍摄到的图像中，计算特征量(uy、vy、sy)、(uz、vz、sz)。
基于使机器人2在X轴方向、Y轴方向以及Z轴方向上进行了移动时的目标标记6的检测结果、在原位置的目标标记6的检测结果，按照下面的式(5)～(7)来计算特征量的差。
Δux＝ux-ui
Δvx＝vx-vi
Δuy＝uy-ui
Δvy＝vy-vi
Δuz＝uz-ui
Δvz＝vz-vi
在将式(5)～(7)代入式(4)时，能够从下面的式(8)求出雅克比矩阵J。
接着，对利用上述实施方式的测定方法来设定机床的坐标系的方法进行说明。本实施方式的机器人系统1除了图1所示的结构以外，还具备机床7以及机床控制装置71(参照图10)。另外，如图10所示，在机床7的工作台72上放置了三个目标标记6。
与上述的实施方式相同，分别定义了机器人坐标系∑r以及手腕坐标系∑f。并且，在本实施方式中，如图10所示，定义了成为机床7的控制基准的机械坐标系∑m。
在本实施方式中，机器人控制装置3还具备机械坐标系计算部33。机械坐标系计算部33基于机械坐标系∑m中的至少三个目标标记位置、以及机器人坐标系∑r中的至少三个目标标记位置来计算机械坐标系∑m相对于机器人坐标系∑r的位置。
机床7的工作台72构成为能够在机械坐标系∑m中的三维位置已知的位置上配置三个目标标记6。例如，将目标标记6配置在通过定位销预先决定的位置上。如果能够再现目标标记6的配置，则具有在使用追加的机器人，或者更换机器人时，能够更简便地执行再设定的优点。此外，优选将三个目标标记6定位为不排列在一条直线上。
机床控制装置71与机器人控制装置3相连接，根据需要向机器人控制装置3发送机械坐标系∑m中的目标标记6的位置。
参照图11对在机器人2上设定与机械坐标系∑m一致的坐标系的工序进行说明。此外，设为上述的初始设定已完成。
在步骤S301中，将三个目标标记分别配置在第三、第四以及第五目标标记位置上。机械坐标系∑m中的第三、第四以及第五目标标记位置Q3、Q4、Q5分别为已知。
在步骤S302中，按照参照图6说明的步骤S202～S206的处理，测量机器人坐标系∑r中的第三目标标记位置P3。
在步骤S303中，按照参照图6说明的步骤S202～S206的处理，测量机器人坐标系∑r中的第四目标标记位置P4。
在步骤S304中，按照参照图6说明的步骤S202～S206的处理，测量机器人坐标系∑r中的第五目标标记位置P5。
在步骤S305中，基于机械坐标系∑m中的第三、第四以及第五目标标记位置Q3、Q4、Q5和机器人坐标系∑r中的第三、第四以及第五目标标记位置P3、P4、P5来计算机器人坐标系∑r中的机械坐标系∑m的位置。
说明在步骤S305中执行的计算方法的一个例子。在以下的说明中，将机器人坐标系∑r中的机械坐标系∑m的位置设为M。“M”为4×4的齐次变换矩阵。
针对包含第三、第四以及第五目标标记位置的平面，定义目标标记坐标系∑t。以将第三目标标记位置作为原点，将从第三目标标记位置向第四目标标记位置的方向作为X轴方向，且将包含第三、第四以及第五目标标记位置的平面作为XY平面的方式，决定目标标记坐标系∑t，
如果将机器人坐标系∑r中的目标标记坐标系∑t的位置设为“Tr”，则从下面的式(9)计算作为4×4的齐次变换矩阵的“Tr”。
Vx＝(P4－P3)/∣P4－P3∣
Vt＝(P5－P3)/∣P5－P3∣
Vz＝Vx×Vt
Vy＝Vz×Vx
如果将机械坐标系∑m中的目标标记坐标系∑t的位置设为“Tm”，则从下面的式(10)计算作为4×4的齐次变换矩阵的“Tm”。
Wx＝(Q4－Q3)/∣Q4－Q3∣
Wt＝(Q5－Q3)/∣Q5－Q3∣
Wz＝Wx×Wt
Wy＝Wz×Wx
在此，因为Tr＝M·Tm，所以M＝Tr·Tm-1。
在机床7的工作台72可在两个轴向上平移，并且能够围绕一个轴进行旋转时，使工作台72进行动作，来将一个目标标记6移动到相互不同的三个位置，由此来取得上述第三、第四以及第五目标标记位置。此时，在目标标记6相对于工作台72的位置是根据机床7的规格而唯一决定的位置时，能够从工作台72的位置计算机械坐标系∑m中的目标标记6的位置。或者，也可以使用接触探针等来测量机械坐标系∑m中的目标标记6的位置。
其次，参照图12以及图13，对在机器人2中设定新的坐标系的方法进行说明。在通过机器人2执行的预定作业中，将新的坐标系作为作业用坐标系∑c来进行使用。此时使用的机器人系统1与图1所示的结构类似，但是使用三个目标标记6，并且机器人控制装置3还具备作业用坐标系计算部34(参照图13)。
作业用坐标系计算部34基于机器人坐标系∑r中的至少三个目标标记位置来计算机器人2的作业用坐标系∑c。
如图12所示，在步骤S401中，在与想要设定作业用坐标系∑c的位置相对应的第六、第七以及第八目标标记位置上配置目标标记6。
在步骤S402中，按照参照图6说明的步骤S202～S206的处理，测量机器人坐标系∑r中的第六目标标记位置P6。
在步骤S403中，按照参照图6说明的步骤S202～S206的处理，测量机器人坐标系∑r中的第七目标标记位置P7。
在步骤S404中，按照参照图6说明的步骤S202～S206的处理，测量机器人坐标系∑r中的第八目标标记位置P8。
在步骤S405中，基于机器人坐标系∑r中的第六、第七以及第八目标标记位置P6、P7、P8来计算新设定的作业用坐标系∑c的位置C。
在步骤S405中，对计算作业用坐标系∑c的位置C的方法的一个例子进行说明。
针对包含第六、第七以及第八目标标记位置的平面设定作业用坐标系∑c。以将第六目标标记位置作为原点，将从第六目标标记位置向第七目标标记位置的方向作为X轴方向，且将包含第六、第七以及第八目标标记位置的平面作为XY平面的方式，决定作业用坐标系∑c。此时，能够从下面的式(11)计算作业用坐标系∑c的位置C。此外，位置C为4×4的齐次变换矩阵。
Vx＝(P7－P6)/∣P7－P6∣
Vt＝(P8－P6)/∣P8－P6∣
Vz＝Vx×Vt
Vy＝Vz×Vx
此外，照相机4以及目标标记6可以在执行上述实施方式的处理时暂时使用，也可以在处理结束后根据需要拆卸。
通过本实施方式的机器人系统1能够得到如下的效果。
(1)不需要预先进行照相机4的校准。因此，能够提高作业效率。
(2)在本实施方式中使用的照相机4也可以是一台二维照相机。即，无需进行立体测量地来测量目标标记6的三维位置，因此能够提供廉价的机器人系统。
(3)如同与机床7一起使用时那样，即使在机器人2的动作区域受限的情况下，也能够测量目标标记6的三维位置。
(4)在机器人2中设定与针对机床7设定的机械坐标系∑m相对应的坐标系，因此能够在机床7与机器人2之间共享位置信息。
以上，虽然对本发明的各种实施方式进行了说明，但是本领域技术人员应该认识到通过其他的实施方式也能够实现本发明所起到的作用效果。特别是，在不脱离本发明的范围内，能够消除或置换上述实施方式的结构要素，或者能够进一步附加公知的方法。另外，对于本领域技术人员来说，显而易见通过任意组合在本说明书中明示或暗示公开的多个实施方式的特征也能够实施本发明。通过本发明的机器人系统，不需要预先进行照相机的校准，另外，能够使用廉价的二维照相机来测量目标标记的三维位置。因此，在为一种廉价且简单的方法的同时，能够确定机器人坐标系和机床坐标系之间的位置关系。

Claims (4)

1.一种机器人系统，其具备：机器人、安装在所述机器人的机械臂前端部的照相机、通过所述照相机拍摄的目标标记，
其特征在于，所述机器人系统还具备：
基准数据存储部，当在成为所述机器人的控制基准的机器人坐标系中预先决定的第一目标标记位置上配置了所述目标标记，并且将所述机械臂前端部定位在第一机器人位置时，所述基准数据存储部将所述照相机的图像中包含的所述目标标记的影像的位置以及大小作为基准数据进行存储，并且将相对于所述机械臂前端部的所述第一目标标记位置作为工具前端点的位置进行存储；以及
目标标记位置计算部，当在第二目标标记位置上配置了所述目标标记时，所述目标标记位置计算部使所述机械臂前端部移动，以使所述照相机的图像中包含的所述目标标记的影像的位置以及大小与作为所述基准数据存储的所述目标标记的影像的位置以及大小一致，并且基于与移动后的所述机械臂前端部的位置对应的第二机器人位置以及所述工具前端点的位置，来计算在所述机器人坐标系中的所述第二目标标记位置。
2.根据权利要求1所述的机器人系统，其特征在于，
所述机器人系统具备机床，
构成为当在成为所述机床的控制基准的机械坐标系中预先决定的，并且不在同一直线上的至少三个目标标记位置上配置了所述目标标记时，所述目标标记位置计算部分别计算所述机器人坐标系中的所述至少三个目标标记位置，
所述机器人系统还具备机械坐标系计算部，该机械坐标系计算部基于所述机械坐标系中的所述至少三个目标标记位置以及所述机器人坐标系中的所述至少三个目标标记位置，来计算相对于所述机器人坐标系的所述机械坐标系的位置。
3.根据权利要求2所述的机器人系统，其特征在于，
所述机床具备可进行动作的可动部，
将所述目标标记设置在所述可动部，
所述机床构成为通过使所述可动部进行动作，使所述目标标记移动到所述至少三个目标标记位置。
4.根据权利要求1所述的机器人系统，其特征在于，
构成为当在所述机器人坐标系中的位置为未知，并且不在同一直线上的至少三个目标标记位置上配置了所述目标标记时，所述目标标记位置计算部分别计算所述机器人坐标系中的所述至少三个目标标记位置，
所述机器人系统还具备作业用坐标系计算部，该作业用坐标系计算部基于所述机器人坐标系中的所述至少三个目标标记位置，来计算所述机器人的作业用坐标系，
所述作业用坐标系是与所述机器人坐标系相独立新设置的在通过所述机器人执行的预定的作业中成为基准的坐标系，
想要设定所述作业用坐标系的位置与所述至少三个目标标记位置相对应，对于包含所述至少三个目标标记位置的平面计算所述作业用坐标系。
CN201610872784.6A 2015-10-05 2016-09-30 具备拍摄目标标记的照相机的机器人系统 Active CN106560297B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015-197715 2015-10-05
JP2015197715A JP6126183B2 (ja) 2015-10-05 2015-10-05 ターゲットマークを撮像するカメラを備えたロボットシステム

Publications (2)

Publication Number Publication Date
CN106560297A CN106560297A (zh) 2017-04-12
CN106560297B true CN106560297B (zh) 2018-07-31

Family

ID=58355714

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610872784.6A Active CN106560297B (zh) 2015-10-05 2016-09-30 具备拍摄目标标记的照相机的机器人系统

Country Status (4)

Country Link
US (1) US9969090B2 (zh)
JP (1) JP6126183B2 (zh)
CN (1) CN106560297B (zh)
DE (1) DE102016011653B4 (zh)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016221645A (ja) * 2015-06-02 2016-12-28 セイコーエプソン株式会社 ロボット、ロボット制御装置およびロボットシステム
DE102016005699B3 (de) * 2016-05-12 2017-05-18 Carl Zeiss Automated Inspection GmbH Verfahren zum Kalibrieren einer Messvorrichtung zur Vermessung von Karosserieteilen und anderen Werkstücken sowie zur Durchführung des Verfahrens geeignete Messvorrichtung
CN109215075B (zh) * 2017-06-30 2021-07-09 沈阳新松机器人自动化股份有限公司 工业机器人物料抓取中工件的定位识别系统及方法
CN107443380B (zh) * 2017-09-05 2019-11-29 北京京东尚科信息技术有限公司 直角坐标机器人的控制方法和控制装置
JP6608977B2 (ja) 2018-01-25 2019-11-20 ファナック株式会社 物品搬送システム
CN110293551B (zh) * 2018-03-21 2020-10-16 北京猎户星空科技有限公司 视觉传感器安装位置确定方法、装置及电子设备
JP6777670B2 (ja) * 2018-03-27 2020-10-28 ファナック株式会社 画像処理を利用してロボットの教示を補正するロボットシステム
WO2020121399A1 (ja) * 2018-12-11 2020-06-18 株式会社Ｆｕｊｉ ロボット制御システム及びロボット制御方法
US11449021B2 (en) * 2018-12-17 2022-09-20 Divergent Technologies, Inc. Systems and methods for high accuracy fixtureless assembly
JP2020142323A (ja) * 2019-03-06 2020-09-10 オムロン株式会社 ロボット制御装置、ロボット制御方法、及びロボット制御プログラム
US20220168902A1 (en) * 2019-03-25 2022-06-02 Abb Schweiz Ag Method And Control Arrangement For Determining A Relation Between A Robot Coordinate System And A Movable Apparatus Coordinate System
JP6785931B1 (ja) * 2019-08-30 2020-11-18 Dmg森精機株式会社 生産システム
CN110733060A (zh) * 2019-11-04 2020-01-31 清华大学 一种机械臂末端空间重复定位精度测量装置及方法
CN112775955B (zh) * 2019-11-06 2022-02-11 深圳富泰宏精密工业有限公司 机械手臂坐标确定方法、计算机装置
US11691280B2 (en) * 2020-01-24 2023-07-04 The Cleveland Clinic Foundation Hybrid control of a robotic system
CN113290552B (zh) * 2020-02-24 2022-09-16 株式会社理光 物品放置系统以及物品放置方法
CN113733078B (zh) * 2020-05-27 2022-09-13 中国人民解放军63920部队 机械臂精调控制量判读方法、计算机可读存储介质
DE112021004097T5 (de) * 2020-09-30 2023-07-20 Fanuc Corporation Vorrichtung zum erfassen einer positionsbeziehung zwischen roboter und arbeitsmaschine, steuervorrichtung, system, verfahren und computerprogramm
DE102020134898A1 (de) 2020-12-23 2022-06-23 Sensopart Industriesensorik Gmbh Zielmarke zur Bestimmung einer dreidimensionalen Pose eines Objekts
WO2022254613A1 (ja) * 2021-06-02 2022-12-08 株式会社Fuji カメラの位置ずれ補正方法およびロボット装置
EP4124417A1 (de) * 2021-07-30 2023-02-01 Siemens Aktiengesellschaft Verfahren zur kalibrierung eines roboters

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005342885A (ja) * 2004-06-02 2005-12-15 Kuka Roboter Gmbh 操縦機器を制御するための方法
JP2010117223A (ja) * 2008-11-12 2010-05-27 Fanuc Ltd ロボットに取付けられたカメラを用いた三次元位置計測装置
JP2011048467A (ja) * 2009-08-25 2011-03-10 Fanuc Ltd 加工システム
CN102749334A (zh) * 2011-04-19 2012-10-24 芝浦机械电子装置股份有限公司 基板检查装置、基板检查方法及基板检查装置的调整方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS60195611A (ja) * 1984-03-16 1985-10-04 Hitachi Ltd ワ−ク移動対応ロボツトシステム
DE10305384A1 (de) * 2003-02-11 2004-08-26 Kuka Roboter Gmbh Verfahren und Vorrichtung zur Visualisierung rechnergestützter Informationen
JP4021413B2 (ja) * 2004-01-16 2007-12-12 ファナック株式会社 計測装置
JP3946716B2 (ja) * 2004-07-28 2007-07-18 ファナック株式会社 ロボットシステムにおける３次元視覚センサの再校正方法及び装置
JP2014180720A (ja) * 2013-03-19 2014-09-29 Yaskawa Electric Corp ロボットシステム及びキャリブレーション方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005342885A (ja) * 2004-06-02 2005-12-15 Kuka Roboter Gmbh 操縦機器を制御するための方法
JP2010117223A (ja) * 2008-11-12 2010-05-27 Fanuc Ltd ロボットに取付けられたカメラを用いた三次元位置計測装置
JP2011048467A (ja) * 2009-08-25 2011-03-10 Fanuc Ltd 加工システム
CN102749334A (zh) * 2011-04-19 2012-10-24 芝浦机械电子装置股份有限公司 基板检查装置、基板检查方法及基板检查装置的调整方法

Also Published As

Publication number Publication date
US20170095930A1 (en) 2017-04-06
DE102016011653A1 (de) 2017-04-06
US9969090B2 (en) 2018-05-15
JP2017071001A (ja) 2017-04-13
DE102016011653B4 (de) 2018-07-19
CN106560297A (zh) 2017-04-12
JP6126183B2 (ja) 2017-05-10

Similar Documents

Publication Publication Date Title
CN106560297B (zh) 具备拍摄目标标记的照相机的机器人系统
CN108717715B (zh) 一种用于弧焊机器人的线结构光视觉系统自动标定方法
US10035268B2 (en) Measurement system used for calibrating mechanical parameters of robot
US10434655B2 (en) Robot apparatus and method for controlling robot apparatus
US9529945B2 (en) Robot simulation system which simulates takeout process of workpieces
US8588974B2 (en) Work apparatus and calibration method for the same
US10044996B2 (en) Method for projecting virtual data and device enabling this projection
JP5815761B2 (ja) 視覚センサのデータ作成システム及び検出シミュレーションシステム
US20080252248A1 (en) Device and Method for Calibrating the Center Point of a Tool Mounted on a Robot by Means of a Camera
US11090810B2 (en) Robot system
CN104842352A (zh) 利用了视觉反馈的机器人系统
JP6703812B2 (ja) ３次元物体検査装置
KR102314092B1 (ko) 로봇의 캘리브레이션 장치 및 그 방법
JP2017077614A (ja) 教示点補正方法、プログラム、記録媒体、ロボット装置、撮影点作成方法、及び撮影点作成装置
US20170339335A1 (en) Finger camera offset measurement
CN111278608B (zh) 用于3d视觉机器人系统的校准物品
KR102228835B1 (ko) 산업용 로봇의 측정 시스템 및 방법
KR20110095700A (ko) 작업대상물 픽업을 위한 산업용 로봇 제어방법
EP3322959A1 (en) Method for measuring an artefact
JP2013130508A (ja) ３次元計測方法、３次元計測プログラム及びロボット装置
CN112529856A (zh) 确定操作对象位置的方法、机器人和自动化系统
JP6472363B2 (ja) 計測装置、計測方法および物品の製造方法
CN117794704A (zh) 机器人控制设备、机器人控制系统以及机器人控制方法
JP7443014B2 (ja) ロボットアーム試験装置
CN115397634A (zh) 取得机器人的控制坐标系中的视觉传感器的位置的装置、机器人系统、方法以及计算机程序

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant