CN113302027B - 作业坐标生成装置 - Google Patents

作业坐标生成装置 Download PDF

Info

Publication number
CN113302027B
CN113302027B CN201980086524.8A CN201980086524A CN113302027B CN 113302027 B CN113302027 B CN 113302027B CN 201980086524 A CN201980086524 A CN 201980086524A CN 113302027 B CN113302027 B CN 113302027B
Authority
CN
China
Prior art keywords
job
coordinate
work
target
shape
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980086524.8A
Other languages
English (en)
Other versions
CN113302027A (zh
Inventor
阿努苏亚·纳拉达比
森川嵩弘
大池博史
江嵜弘健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fuji Corp
Original Assignee
Fuji Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Corp filed Critical Fuji Corp
Publication of CN113302027A publication Critical patent/CN113302027A/zh
Application granted granted Critical
Publication of CN113302027B publication Critical patent/CN113302027B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/023—Optical sensing devices including video camera means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • G05B19/4183—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by data acquisition, e.g. workpiece identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39392—Dynamic pyramiding, change vision field to small area if high tracking speed, zoom
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39393—Camera detects projected image, compare with reference image, position end effector
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40564—Recognize shape, contour of object, extract position and orientation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Manufacturing & Machinery (AREA)
  • Automation & Control Theory (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Manipulator (AREA)
  • Numerical Control (AREA)

Abstract

作业坐标生成装置具备：形状登记部，登记与作业区域的形状相关的形状信息，上述作业区域是在成为信息作业机器人的作业对象的目标上光学地划分出的；第一识别部，通过由相机拍摄被搬入的第一个目标而取得第一图像数据，并使用形状信息来对第一图像数据内的区域进行搜索，从而对与第一个目标的作业区域的位置相关的信息进行识别；第一坐标生成部，基于第一识别部的识别结果，生成表示第一个目标的作业区域的第一作业坐标；第二识别部，通过由相机拍摄被搬入的第二个目标而取得第二图像数据，并对第二图像数据内的较小的区域进行搜索，从而对与第二个目标的作业区域的位置相关的信息进行识别；及第二坐标生成部，基于第一作业坐标及第二识别部的识别结果，而生成表示第二个目标的作业区域的第二作业坐标。

Description

作业坐标生成装置
技术领域
本说明书涉及生成表示成为作业机器人的作业对象的目标的作业区域的作业坐标的装置。
背景技术
为了促进工厂和商业机构等的自动化、省力化，广泛使用作业机器人。很多作业机器人具备：对成为作业对象的目标进行作用或者保持工件的末端执行器。另外，很多作业机器人使用相机拍摄目标，并取得表示目标的作业区域的作业坐标来进行作业。这种与作业坐标的取得相关的一个技术例公开于专利文献1。
专利文献1的机器人控制方法包含如下的工序：第一图像处理工序，根据由便携式相机拍摄作业对象物而取得到的图像数据获得能够拍摄标记的初始位置；初始移动工序，使机器人手向初始位置移动；及第二图像处理工序，根据由机器人手的小型相机拍摄标记而取得到的图像数据检测标记的位置误差。由此，不需要作业者操作示教辅助器等而反复变更机器人手的位置的示教作业，减少作业者的负荷。
现有技术文献
专利文献1：日本特开2011-110627号公报
发明内容
发明所要解决的课题
然而，在专利文献1中，通过两次拍摄来检测标记的正确的位置，实现以后的作业的无人化。作为该前提，条件是通过目标(作业对象物)的CAD信息等，已知目标上的作业区域与标记的位置关系。换言之，条件是在目标上的局部坐标系中，表示作业区域的作业坐标和标记的位置坐标由已知的一定值表示。因此，专利文献1的技术无法在没有公开目标的CAD信息等详细信息的情况下或在目标上没有附设标记的情况下应用。
例如，往往会发生这样的情况：在没有添附CAD信息的情况下提供目标的实物，并添附有与作业区域的形状相关的形状信息。在该情况下，操作人员利用游标卡尺等手动测定实际的目标，并设定目标上的作业坐标。或者，操作人员如专利文献1所记载的那样实施操作示教辅助器的示教作业。手动测定及示教作业均存在耗费时间和精力这样的问题点。此外，有可能产生操作人员的设定错误或操作错误。
另外，存在多个目标中作业区域的配置位置具有个体差的情况或目标的搬入位置产生位置误差的情况。在这些情况下，即便在目标上的局部坐标系中求出作业坐标，也不容易针对每个目标生成由作业机器人的基准坐标系表示的作业坐标。
在本说明书中，要解决的课题在于提供一种作业坐标生成装置其即便表示目标上的作业区域的局部坐标系的作业坐标是未知的，也能够使用与作业区域的形状相关的形状信息，针对每个目标生成由作业机器人的基准坐标系表示的作业坐标。
用于解决课题的技术方案
本说明书公开一种作业坐标生成装置，具备：形状登记部，登记与作业区域的形状相关的形状信息，上述作业区域是在被搬入至作业实施部位而成为作业机器人的作业对象的目标上光学地划分出的；第一识别部，通过相机拍摄被搬入的第一个上述目标而取得第一图像数据，并使用上述形状信息来对上述第一图像数据内的至少一部分区域进行搜索，从而对与第一个上述目标的上述作业区域的位置相关的信息进行识别；第一坐标生成部，基于上述第一识别部的识别结果，生成表示第一个上述目标的上述作业区域的第一作业坐标；第二识别部，通过上述相机拍摄被搬入的第二个上述目标而取得第二图像数据，并对上述第二图像数据内的、比上述第一识别部所搜索的区域小的区域进行搜索，从而对与第二个上述目标的上述作业区域的位置相关的信息进行识别；及第二坐标生成部，基于上述第一作业坐标及上述第二识别部的识别结果，生成表示第二个上述目标的上述作业区域的第二作业坐标。
发明效果
在本说明书中公开的作业坐标生成装置中，登记与目标上的作业区域的形状相关的形状信息，并使用该形状信息对第一个目标的第一图像数据内进行搜索，从而能够生成第一作业坐标。另外，通过对第二个目标的第二图像数据内的较小的区域进行搜索，从而能够生成第二作业坐标。并且，针对第三个以后的目标，也能够与第二个目标相同地生成作业坐标。因此，即便表示目标上的作业区域的局部坐标系的作业坐标是未知的，也能够针对每个目标生成由作业机器人的基准坐标系表示的作业坐标。
附图说明
图1是示意性地表示应用第一实施方式的作业坐标生成装置的作业机器人的结构的主视图。
图2是表示作业坐标生成装置的功能结构的框图。
图3是第一实施方式中使用的目标的俯视图。
图4是表示作业坐标生成装置的动作的控制装置的动作流程的图。
图5是对形状登记部取得形状信息的第一取得方法概念性地进行说明的图。
图6是对形状登记部取得形状信息的第二取得方法概念性地进行说明的图。
图7是对作业坐标生成装置的动作及作用示意性地进行说明的图。
图8是示意性地表示应用第二实施方式的作业坐标生成装置的作业机器人的结构的立体图。
图9是第二实施方式中使用的目标的俯视图。
图10是表示第二实施方式的作业坐标生成装置的动作的动作流程的图。
图11是表示第一个目标的第一搬入位置的事例的第一图像数据的图。
图12是表示第二个目标的第二搬入位置的事例的第二图像数据的图。
图13是在第二实施方式的应用例中对第二坐标生成部的功能进行说明的第二图像数据的图。
具体实施方式
1.作业机器人1的结构
首先，参考图1及图2对应用第一实施方式的作业坐标生成装置的作业机器人1的结构进行说明。作业机器人1将依次搬入至作业实施部位的多个目标8的作业区域81(参照图3)作为对象来实施作业。作为作业的内容，能够例示出元件的配置作业、电路的布线作业，但不限定于这些。作业机器人1规定有X轴及Y轴在水平面内正交的基准坐标系。作业机器人1基于以基准坐标系表示的坐标进行动作。
如图1及图2所示那样，作业机器人1由基体部10、移动装置2、末端执行器3、相机4、输送线9及控制装置5等构成。基体部10面临作业实施位置地固定安装。移动装置2使用多关节类型的臂构成。移动装置2的臂基端部21支撑于基体部10的上侧，并能够绕着铅垂轴旋转。此外，移动装置2(臂)构成为，能够向所有方向延伸，并且能够在长度方向的中途自由折弯。因此，移动装置2的臂前端部22能够向作业实施位置的上方的任意的空间位置移动。在臂前端部22设有手部23。移动装置2使末端执行器3及相机4一起移动。
末端执行器3设于手部23。末端执行器3采用适合于作业的结构。例如，作为进行元件的配置作业的末端执行器3，采用夹持元件的卡盘。另外，作为进行电路的布线作业的末端执行器3，采用对连接端子进行螺纹紧固的螺丝刀或焊接连接端子的烙铁等。末端执行器3也可以附属有对目标8的状态或作业的进展状况等进行检测的传感器类。
相机4设于手部23。相机4对搬入至作业实施位置的目标8进行拍摄而取得图像数据。通过对该图像数据进行图像处理，来识别目标8上的作业区域81。相机4也可以兼用于对附设于目标8的个体识别信息进行读取的用途。
输送线9为了将目标8自动地相对于作业实施位置搬入搬出而设置。输送线9的输送路径贯穿作业实施位置地延伸。输送线9由以载置有目标8的状态沿着输送路径轮转的输送带及驱动输送带的驱动源等构成。另外，也可以不设置输送线9，而通过人手将目标8相对于作业实施位置搬入搬出。
2.目标8的形状
接下来，对目标8的形状进行说明。如图3所示那样，目标8是长方形的板状的部件。在目标8的上表面光学地划分出作业区域81及作业外区域82。具体而言，通过成为与目标8的底色不同的色彩或者亮度而划分出作业区域81。此外，通过成为与目标8的底色及作业区域81不同的色彩或者亮度而划分出作业外区域82。图3中，为了方便，作业区域81由细线的阴影表示。另外，为了方便，作业外区域82由粗线的阴影表示。
六个作业区域81为长方形，且全部为相同的形状和大小。作业区域81是作业机器人1实施作业的区域。另外，四个作业外区域82是比作业区域81大的长方形，且全部为相同的形状和大小。作业外区域82是其他作业机器人将同一目标8作为作业对象时的作业区域。另外，作业外区域82也可以是形状、大小不同的多个种类。作业区域81及作业外区域82的位置使用与区域的中心点或者特定的顶点的位置对应的作业坐标来表示。
在多个目标8中，作业区域81的配置位置存在个体差。换句话说，由目标8上的局部坐标系表示的作业坐标会产生误差。此外，存在通过输送线9搬入至作业实施部位的目标8的搬入位置产生位置误差的情况。而且，存在目标8的姿势在水平面内产生旋转误差的情况。
在本第一实施方式中，目标8的形状及大小是已知的。此外，以判明能够使用相机4拍摄目标8的整体像。另一方面，目标8上的作业区域81的区域数、表示作业区域81的局部坐标系的作业坐标未判明。并且，记载有与作业区域81的形状相关的信息的文件在操作人员的手上。与形状相关的信息例如为以下的1)～4)的信息。
1)表示作业区域81的形状的“长方形”
2)作业区域81的纵向尺寸
3)作业区域81的横向尺寸
4)作业区域81的面积
在这样的条件下，将作业坐标生成装置6适用于确定作业机器人1实施作业的位置的用途。
3.第一实施方式的作业坐标生成装置6的结构
接下来，对第一实施方式的作业坐标生成装置6的结构进行说明。如图2所示那样，控制装置5控制移动装置2、末端执行器3、相机4及输送线9。控制装置5使用计算机装置而构成。第一实施方式的作业坐标生成装置6通过控制装置5的软件而实现。作业坐标生成装置6具备五个功能部即形状登记部61、第一识别部62、第一坐标生成部63、第二识别部64及第二坐标生成部65。
形状登记部61登记与在目标8进行了光学划分的作业区域81的形状相关的形状信息83。具体而言，形状登记部61将第一识别部62取得到的第一图像数据提示给操作人员，并按照操作人员的指定来登记形状信息83(详情后述)。形状信息83是登记于控制装置5的存储装置51的数据，换言之，限定为电子形式的信息。因此，操作人员的手上的文件所记载的信息不属于形状信息83。另外，拍摄作业区域81而取得的图像数据或对该图像数据进行加工而生成的电子形式的模板属于形状信息83。
第一识别部62通过相机4拍摄被搬入的第一个目标8，而取得上述第一图像数据。第一识别部62还通过使用形状信息83对第一图像数据内的至少一部分区域进行搜索，而对与第一个目标8的作业区域81的位置相关的信息进行识别。第一坐标生成部63基于第一识别部62的识别结果，生成表示第一个目标8的作业区域81的第一作业坐标。在此，相机4进行拍摄的位置以基准坐标系指示。因此，第一作业坐标及后述的第二作业坐标能够以基准坐标系表示。
第二识别部64通过相机4拍摄被搬入的第二个目标8，而取得第二图像数据。第二识别部64还通过对第二图像数据内的、比第一识别部62搜索的区域小的区域进行搜索，而对与第二个目标8的作业区域81的位置相关的信息进行识别。比第一识别部62搜索的区域小的区域是指第二图像数据内的第一作业坐标的附近区域。并且，第二识别部64将由第一作业坐标表示的位置作为优先搜索位置，最先进行搜索。在优先搜索位置中作业区域81不明确的情况下，第二识别部64以从优先搜索位置逐渐离开的方式进行搜索，最终识别出作业区域81。
第二坐标生成部65基于第一作业坐标及第二识别部64的识别结果，生成表示第二个目标8的作业区域81的第二作业坐标。第二坐标生成部65实际上对第一作业坐标进行修正来生成第二作业坐标。针对五个功能部的各功能，在接下来的动作流程中也进行说明。
4.第一实施方式的作业坐标生成装置6的动作
接下来，对第一实施方式的作业坐标生成装置6的动作进行说明。图4所示的动作流程通过来自包含作业坐标生成装置6的控制装置5的控制来执行。在图4的步骤S1中，控制装置5控制输送线9来输送目标8。在初次的步骤S1中，搬入第一个目标8。
在接下来的步骤S2中，第一识别部62或者第二识别部64通过相机4拍摄搬入的目标8并取得图像数据。在初次的步骤S2中，第一识别部62通过相机4拍摄第一个目标8并取得第一图像数据(D11，D12)(参照图5、图6)。在接下来的步骤S3中，作业坐标生成装置6判定第一个目标8是否成为对象。在初次的步骤S3中，第一个目标8为对象，因此，动作流程的执行进入步骤S4。
在步骤S4中，形状登记部61取得形状信息83。取得方法有两种，均由操作人员参与。在第一取得方法中，形状登记部61对在第一图像数据D11内光学地划分出的作业区域81及作业外区域82的形状进行识别并提示给操作人员。作为识别方法，适当地使用应用了小块检测算法或边缘检测算法等的图像处理技术。
图5示出提示给操作人员的第一图像数据D11。关于附图上的显示，第一图像数据D11与图3所示的目标8的俯视图一致。在该时刻，已经识别出作业区域81及作业外区域82的形状，区域的分界线由实线表示。操作人员参考手上的文件记载的信息，在第一图像数据D11中指定作业区域81。例如，操作人员能够通过使光标移动至作业区域81的内部并进行点击操作，来指定作业区域81。形状登记部61取得所指定的作业区域81。
另外，操作人员不需要指定所有六个作业区域81，最少指定一个作业区域81即可。在指定了多个作业区域81的情况下，形状登记部61能够取得将作业区域81的形状的相互之间的误差平均化的形状信息83。在指定了一个作业区域81的情况下，形状登记部61能够取得与该作业区域81的形状一致的形状信息83。
另外，在第二取得方法中，形状登记部61将第一图像数据D12原封不动地提示给操作人员。图6示出提示给操作人员的第一图像数据D12。在该时刻，没有识别出作业区域81及作业外区域82的形状，没有示出区域的分界线。操作人员参考手上的文件记载的信息，在第一图像数据D12中指定包含作业区域81的范围。例如，操作人员使用使光标以围绕作业区域81的周围的方式移动而绘制的闭合曲线84，指定范围。
在图6中，使用五个闭合曲线84指定了所有六个作业区域81。形状登记部61识别并取得处于闭合曲线84的内部的作业区域81的形状。作为此时的识别方法，使用与第一取得方法相同的图像处理技术。另外，操作人员不需要指定所有六个作业区域81的范围，最少指定一个作业区域81的范围即可。形状登记部61能够取得使多个作业区域81的形状的相互之间的误差平均化的形状信息83。或者，形状登记部61能够取得与一个作业区域81的形状一致的形状信息83。
在接下来的形状登记步骤S5中，形状登记部61将取得到的形状信息83登记于存储装置51。在接下来的第一识别步骤S6中，第一识别部62如图7所示那样，使用形状信息83对第一图像数据(D11，D12)内的至少一部分区域进行搜索。具体而言，第一识别部62首先生成相当于形状信息83的模板。接下来，第一识别部62使模板在第一图像数据(D11，D12)内移动，搜索与模板一致的作业区域81。
在该时刻，目标8上的作业区域81的区域数和位置不明确。因此，第一识别部62需要对第一图像数据(D11，D12)内的所有区域进行搜索。由此，第一识别部62能够对所有六个作业区域81的位置进行识别。当然，作业外区域82与模板不一致，从而被除外。
在接下来的第一坐标生成步骤S7中，第一坐标生成部63生成表示第一个目标8的作业区域81的六个第一作业坐标。在接下来的步骤S8中，作业机器人1基于六个第一作业坐标实施作业。然后，动作流程的执行返回步骤S1。
在第二次的步骤S1中，将作业结束的第一个目标8搬出，并且搬入第二个目标8。在第二次的步骤S2中，第二识别部64通过相机4拍摄第二个目标8并取得第二图像数据D21。在第二次的步骤S3中，第二个目标8为对象，所以动作流程的执行进入第二识别步骤S11。
在第二识别步骤S11中，第二识别部64如图7所示那样，使用形状信息83对第二图像数据D21内的较小的区域进行搜索。在该时刻，目标8上的作业区域81的区域数、位置根据第一个目标的六个第一作业坐标已大体判明。因此，第二识别部64对第二图像数据D21内的第一作业坐标附近的较小的区域进行搜索便足够。
假设在多个目标8的作业区域81的配置位置的个体差及输送线9的搬入位置的位置误差较小至能够忽视的程度的情况下，不需要第二识别步骤S11。换句话说，相当于第一作业坐标的优先搜索位置原封不动地成为第二作业坐标。在上述个体差或位置误差无法忽视的情况下，第二识别部64也能够通过以从相当于第一作业坐标的优先搜索位置逐渐离开的方式搜索较小的区域，而在短时间内识别出作业区域81。
在接下来的第二坐标生成步骤S12中，第二坐标生成部65生成表示第二个目标8的作业区域81的六个第二作业坐标。此时，第二坐标生成部65能够以相当于上述个体差和位置误差的量修正第一作业坐标，来生成第二作业坐标。在执行了第二坐标生成步骤S12之后，动作流程的执行合流至步骤S8，实施基于作业机器人1的作业。然后，动作流程的执行返回步骤S1。
在第三次的步骤S1中，搬出作业结束的第二个目标8，并且搬入第三个目标8。对于第三个以后的目标8，与第二个目标8的情况相同地，反复执行第二识别步骤S11及第二坐标生成步骤S12。
在第一实施方式的作业坐标生成装置6中，能够通过登记与目标8上的作业区域81的形状相关的形状信息83，并使用该形状信息83对第一个目标8的第一图像数据(D11，D12)内进行搜索，而生成第一作业坐标。另外，能够通过对第二个目标8的第二图像数据D21内的较小的区域进行搜索，而生成第二作业坐标。此外，针对第三以下的目标8，也能够与第二个目标8相同地生成作业坐标。因此，即便表示目标8上的作业区域81的局部坐标系的作业坐标是未知的，也能够针对每个目标8生成以作业机器人1的基准坐标系表示的作业坐标。
另外，操作人员也可以仅在作业机器人1作业开始前进行与形状信息83相关的简单的指定。并且，作业坐标的生成通过作业坐标生成装置6自动地执行。因此，操作人员能够花费很少力气地生成作业坐标。而且，可减少操作人员的设定错误或操作错误的可能性。此外，即便由于第一图像数据(D11，D12)的搜索为全部区域而需要较长时间，也由于第二图像数据D21的搜索为较小的区域，所以在短时间内便结束。因此，第二个以后的目标8的作业坐标在短时间内生成。由此，作业机器人1的作业效率提高。
5.第二实施方式的作业坐标生成装置6
接下来，针对第二实施方式的作业坐标生成装置6，主要对与第一实施方式的不同点进行说明。如图8所示那样，第二实施方式所应用的作业机器人1A没有在手部23设置相机4。取而代之，使用固定相机4A。固定相机4A与作业机器人1A是分体的，从顶棚悬挂并固定。另外，固定相机4A也可以固定于除了顶棚以外的部位。固定相机4A不会受到移动装置2的移动和振动的影响，因此，位置稳定，能够取得清晰且位置精度高的图像数据。
另外，如图9所示那样，第二实施方式中使用的目标8A是长方形的板状的部件。将目标8A的上表面划分为由涂黑的长方形表示的三个作业区域85及由×记号表示的三个作业外区域86。在第二实施方式中，多个目标8A的作业区域85的配置位置的个体差小至能够忽视的程度。然而，存在由输送线9搬入至作业实施部位的目标8A的搬入位置产生位置误差的情况。而且，存在目标8A的姿势在水平面内产生旋转误差的情况。
在第二实施方式中，目标8A的形状及大小是已知的。此外，已判明能够使用固定相机4A拍摄目标8A的整体像。另一方面，目标8A上的作业区域85的区域数和表示作业区域85的局部坐标系的作业坐标未判明。操作人员保有与作业区域85的形状相关的电子形式的形状信息83作为目标8A的已知的设计信息。在这样的条件下，使用第二实施方式的作业坐标生成装置6。
第二实施方式的作业坐标生成装置6除了使用规定于作业机器人1A的基准坐标系以外，还使用基于第一个目标8A的搬入位置的相对坐标系。换句话说，相对坐标系的原点从基准坐标系的原点位移。尽管如此，相对坐标系的x轴及y轴满足分别与基准坐标系的X轴及Y轴平行的条件。在以下的说明中，使用大写的X、Y表示基准坐标系的坐标，使用小写的x、y表示相对坐标系的坐标。另外，表示作业区域85的作业坐标为作业区域85的区域的中心点的坐标。
将相对坐标系的原点的位置规定为搬入了第一个目标8A时的基准点87的位置。基准点87设定于目标8A的外形的短边88和长边89所交叉的图9的左上的端部。并且，对于目标8A的基准点87的位置而言，通过第一识别部62及第二识别部64的图像处理识别目标8A的形状而求出。此外，对于目标8A的旋转姿势而言，通过第一识别部62及第二识别部64的图像处理识别短边88及长边89中的至少一方的延伸方向而求出。
与第一实施方式相同地，第二实施方式的作业坐标生成装置6具备形状登记部61、第一识别部62、第一坐标生成部63、第二识别部64及第二坐标生成部65。但是，在这五个功能部中，功能的一部分与第一实施方式不同。形状登记部61基于目标8A的已知的设计信息来登记形状信息83。
第一识别部62通过与第一实施方式相同的方法，对第一图像数据内进行搜索而识别第一个目标8A的作业区域85。第一识别部62还对第一个目标8A的基准点87的第一搬入位置及第一个目标8A的第一旋转角度进行识别。第一坐标生成部63通过与第一实施方式相同的方法，生成基准坐标系的第一作业坐标。第一坐标生成部63还通过将第一作业坐标向相对坐标系进行坐标转换，从而生成相对第一作业坐标。
第二识别部64不进行使用形状信息83来识别三个作业区域85的第一实施方式的搜索。取而代之，第二识别部64对第二图像数据内的第一搬入位置附近的区域进行搜索，来对第二个目标8A的基准点87的第二搬入位置及第二个目标8A的第二旋转角度进行识别。由此，使用了图像处理技术的搜索的实施部位不是三个部位而是一个部位。因此，搜索所需的时间大幅缩短。
第二坐标生成部65使用相对第一作业坐标、第一搬入位置与第二搬入位置的差值即位置误差及第一旋转角度与第二旋转角度的差值即旋转误差，来运算表示第二个目标8A的作业区域的相对坐标系的相对第二作业坐标。第二坐标生成部65还通过将相对第二作业坐标向基准坐标系进行坐标转换，而生成基准坐标系的第二作业坐标。针对五个功能部的各功能，在接下来的动作流程中，使用事例进行详述。
图10所示的动作流程通过来自包含作业坐标生成装置6的控制装置5的控制而执行。在图10的形状登记步骤S21中，操作人员将保有的形状信息83输入控制装置5。形状登记部61将所输入的形状信息83登记于存储装置51。在接下来的步骤S22中，控制装置5控制输送线9来输送目标8A。在初次的步骤S22中，搬入第一个目标8A。
在接下来的步骤S23中，第一识别部62或者第二识别部64通过相机4拍摄所搬入的目标8A，并取得图像数据。在初次的步骤S23中，第一识别部62通过固定相机4A拍摄第一个目标8A，并取得图11所示的第一图像数据D13。在接下来的步骤S24中，作业坐标生成装置6判定第一个目标8A是否为对象。在初次的步骤S24中，因为第一个目标8A为对象，所以动作流程的执行进入步骤S25。
在步骤S25中，第一识别部62通过与第一实施方式相同的方法对所有三个作业区域85进行识别。第一识别部62还对第一个目标8A的基准点87的第一搬入位置P1及第一个目标8A的第一旋转角度θ1进行识别。在图11所示的事例中，使用基准坐标系将基准点87的第一搬入位置P1表示为第一搬入位置P1(X0，Y0)。第一搬入位置P1(X0，Y0)成为相对坐标系的原点，并使用相对坐标系表示为第一搬入位置p1(0，0)。另外，在图11及图12所示的事例中，为了消除繁琐而将三个作业区域85省略图示，仅示出右侧的一个作业区域85的作业坐标(W1，w1，W2，w2)。
在接下来的步骤S26中，第一坐标生成部63通过与第一实施方式相同的方法，生成基准坐标系的第一作业坐标W1(X1，Y1)。第一坐标生成部63还通过将第一作业坐标W1(X1，Y1)向相对坐标系进行坐标转换，而生成相对第一作业坐标w1(x1，y1)。该坐标转换根据如下的(式1)来进行。
[式1]
在接下来的步骤S27中，作业机器人1基于第一作业坐标W1(X1，Y1)而实施作业。另外，在省略了图示的其他作业区域85中，也在步骤S26中生成第一作业坐标及相对第一作业坐标，在步骤S27中实施基于作业机器人1的作业。然后，动作流程的执行返回步骤S22。
在第二次的步骤S22中，搬出作业结束的第一个目标8A，并且搬入第二个目标8A。在第二次的步骤S32中，第二识别部64通过固定相机4A拍摄第二个目标8A，并取得图12所示的第二图像数据D23。在第二次的步骤S24中，因为第二个目标8A为对象，所以动作流程的执行进入步骤S31。
在步骤S31中，第二识别部64对第二图像数据D23内的第一搬入位置p1(0，0)附近的区域进行搜索，并对第二个目标8A的基准点87的第二搬入位置p2及第二个目标8A的第二旋转角度θ2进行识别。使用相对坐标系将第二搬入位置p2表示为第二搬入位置p2(xe，ye)。图12中，夸张地描绘第二个目标8A的位置误差及旋转误差。在此，第一搬入位置p1(0，0)是相对坐标系的原点，因此，第二搬入位置p2(xe，ye)的坐标值表示第一搬入位置p1与第二搬入位置p2的差值即位置误差。另外，第一旋转角度θ1与第二旋转角度θ2的差值即旋转误差θe由(θ2-θ1)表示。
在接下来的步骤S32中，第二坐标生成部65使用相对第一作业坐标w1(x1，y1)、相当于位置误差的xe、ye及旋转误差θe，来运算表示第二个目标8A的作业区域85的相对第二作业坐标w2(x2，y2)。该运算通过如下的(式2)而进行。
[式2]
(式2)的右边的第1项(行列运算项)表示与旋转误差θe相关的修正，右边的第2项表示与位置误差相关的修正。第二坐标生成部65还通过将相对第二作业坐标w2(x2，y2)向基准坐标系进行坐标转换，而生成基准坐标系的第二作业坐标W2(X2，Y2)。该坐标转换通过如下的(式3)而进行。
[式3]
然后，动作流程的执行合流至步骤S27，实施基于作业机器人1的作业。另外，在省略了图示的其他作业区域85中，也生成第二作业坐标，实施基于作业机器人1的作业。然后，动作流程的执行返回步骤S22。在第三次的步骤S22中，搬出作业结束的第二个目标8A，并且搬入第三个目标8A。对于第三个以后的目标8A，与第二个目标8A的情况相同地，反复执行步骤S31及步骤S32。
在第二实施方式的作业坐标生成装置6中，第二识别部64的搜索所需的时间比第一实施方式大幅缩短。另一方面，(式1)～(式3)的运算所需的时间很少。因此，第二个以后的目标8A的作业坐标的生成所需的时间比第一实施方式短。由此，作业机器人1的作业效率进一步提高。另外，每个目标8A的作业区域85的个数越多则该效果越显著。
6.第二实施方式的应用例
接下来，对第二实施方式的应用例进行说明。在应用例中，多个目标8A的作业区域85的配置位置的个体差大至无法忽视的程度。因此，当基于第二坐标生成部65生成的第二作业坐标W2(X2，Y2)，由作业机器人1对第二个以后的目标8A实施作业时会产生障碍。
在图13所示的第二图像数据D24的事例中，左侧及中央的作业区域85几乎没有受到个体差的影响。因此，相对第二作业坐标w22及相对第二作业坐标w23与作业区域85的中心点大致一致。然而，右侧的作业区域85由于个体差的影响而向右上方位移。因此，相对第二作业坐标w2从作业区域85的中心点偏离。
在此，第二坐标生成部65使用形状信息83进行作业区域85的搜索。若详述，则第二坐标生成部65首先将相对第二作业坐标w2(x2，y2)作为相对临时坐标RP。第二坐标生成部65接下来以从第二图像数据D24内的相当于相对临时坐标RP的优先搜索位置逐渐离开的方式进行搜索，对与形状信息83对应的作业区域85进行识别。
此外，第二坐标生成部65生成表示识别出的作业区域85的真实的相对第二作业坐标w3(x3，y3)。此外，第二坐标生成部65通过使用(式3)，将真实的相对第二作业坐标w3(x3，y3)向基准坐标系进行坐标转换，而生成基准坐标系的第二作业坐标W3(X3，Y3)。由此，能够进行作业机器人1的作业。
另外，上述的第二坐标生成部65的动作也相对于左侧及中央的作业区域85相同地进行。根据第二实施方式的应用例，即便在无法忽视多个目标8A的作业区域85的配置位置的个体差和输送线9的目标8A的位置误差及旋转误差的情况下，也能够可靠地生成第二作业坐标W3(X3，Y3)。
7.实施方式的应用及变形
另外，在第一实施方式中，也可以使用区域分界线来划分作业区域81。此时，形状登记部61使用能够识别区域分界线的图像处理技术对作业区域81进行识别，并取得形状信息83。另外，即便目标(8，8A)的作业区域(81，85)与作业外区域(82，86)为相同形状，只要色彩或亮度不同而能够在光学上区分便成为应用对象。另外，在第一实施方式中也可以使用固定相机4A，在第二实施方式中也可以使用设于手部23的相机4。
此外，第一识别部62及第二识别部64能够使用除了模板以外的搜索工具。另外，在第二实施方式的应用例中，也可以是，第二坐标生成部65先将相对第二作业坐标w2(x2，y2)转换为第二作业坐标W2(X2，Y2)而成为临时坐标，在基准坐标系中进行使用了形状信息83的搜索。另外，第一及第二实施方式还能够进行各种应用或变形。
附图标记说明
1、1A...作业机器人；2...移动装置；3...末端执行器；4...相机；4A...固定相机；5...控制装置；6...作业坐标生成装置；61...形状登记部；62...第一识别部；63...第一坐标生成部；64...第二识别部；65...第二坐标生成部；8、8A...目标；81...作业区域；82...作业外区域；83...形状信息；84...闭合曲线；85...作业区域；86...作业外区域；87...基准点；88...短边；89...长边；9...输送线；D11、D12、D13...第一图像数据；D21、D23、D24...第二图像数据；P1、p1...第一搬入位置；p2...第二搬入位置；θ1...第一旋转角度；θ2...第二旋转角度；θe...旋转误差；W1...第一作业坐标；w1...相对第一作业坐标；W2...第二作业坐标；w2、w22、w23...相对第二作业坐标；RP...相对临时坐标；w3...真实的相对第二作业坐标。

Claims (18)

1.一种作业坐标生成装置，具备：
形状登记部，登记与作业区域的形状相关的形状信息，所述作业区域是在被搬入至作业实施部位而成为作业机器人的作业对象的目标上被光学地划分出的；
第一识别部，通过相机拍摄被搬入的第一个所述目标而取得第一图像数据，并使用所述形状信息来对所述第一图像数据内的至少一部分区域进行搜索，从而对与第一个所述目标的所述作业区域的位置相关的信息进行识别；
第一坐标生成部，基于所述第一识别部的识别结果，生成表示第一个所述目标的所述作业区域的第一作业坐标；
第二识别部，通过所述相机拍摄被搬入的第二个所述目标而取得第二图像数据，并对所述第二图像数据内的、比所述第一识别部所搜索的区域小的区域进行搜索，从而对与第二个所述目标的所述作业区域的位置相关的信息进行识别；及
第二坐标生成部，基于所述第一作业坐标及所述第二识别部的识别结果，生成表示第二个所述目标的所述作业区域的第二作业坐标，
所述作业坐标生成装置应用于在被搬入的多个所述目标中所述作业区域的配置位置存在个体差的情况，
所述第二识别部以从所述第二图像数据内的基于所述第一作业坐标的优先搜索位置逐渐离开的方式进行搜索。
2.根据权利要求1所述的作业坐标生成装置，其中，
所述第二识别部对所述第二图像数据内的所述第一作业坐标的附近的所述区域进行搜索，而对与所述形状信息对应的所述作业区域进行识别，
所述第二坐标生成部基于所述第二识别部的识别结果，对所述第一作业坐标进行修正来生成所述第二作业坐标。
3.根据权利要求1所述的作业坐标生成装置，其中，
所述形状登记部基于所述目标的已知的设计信息来登记所述形状信息。
4.根据权利要求2所述的作业坐标生成装置，其中，
所述形状登记部基于所述目标的已知的设计信息来登记所述形状信息。
5.根据权利要求1所述的作业坐标生成装置，其中，
所述形状登记部将所述第一图像数据提示给操作人员，并按照所述操作人员的指定来登记所述形状信息。
6.根据权利要求2所述的作业坐标生成装置，其中，
所述形状登记部将所述第一图像数据提示给操作人员，并按照所述操作人员的指定来登记所述形状信息。
7.根据权利要求5所述的作业坐标生成装置，其中，
所述形状登记部对在所述第一图像数据内光学地划分出的所述作业区域及作业外区域的形状进行识别并提示给所述操作人员，并登记由所述操作人员指定的所述作业区域的所述形状信息。
8.根据权利要求6所述的作业坐标生成装置，其中，
所述形状登记部对在所述第一图像数据内光学地划分出的所述作业区域及作业外区域的形状进行识别并提示给所述操作人员，并登记由所述操作人员指定的所述作业区域的所述形状信息。
9.根据权利要求7所述的作业坐标生成装置，其中，
所述作业外区域是其他作业机器人将同一所述目标作为作业对象时的作业区域。
10.根据权利要求8所述的作业坐标生成装置，其中，
所述作业外区域是其他作业机器人将同一所述目标作为作业对象时的作业区域。
11.根据权利要求5所述的作业坐标生成装置，其中，
所述形状登记部将所述第一图像数据提示给所述操作人员，识别并登记处于由所述操作人员在所述第一图像数据内指定的范围的内部的所述作业区域的形状。
12.根据权利要求6所述的作业坐标生成装置，其中，
所述形状登记部将所述第一图像数据提示给所述操作人员，识别并登记处于由所述操作人员在所述第一图像数据内指定的范围的内部的所述作业区域的形状。
13.根据权利要求1所述的作业坐标生成装置，其中，
所述作业坐标生成装置应用于输送线，所述输送线存在将所述目标搬入到所述作业实施部位时的搬入位置产生位置误差的情况并且存在所述目标的姿势产生旋转误差的情况，
所述作业坐标生成装置使用为所述作业机器人定义的基准坐标系及基于第一个所述目标的所述搬入位置的相对坐标系。
14.根据权利要求13所述的作业坐标生成装置，其中，
所述第一识别部对所述第一图像数据内进行搜索而对第一个所述目标的所述作业区域进行识别，并且对第一个所述目标的基准点的第一搬入位置及第一个所述目标的第一旋转角度进行识别，
所述第一坐标生成部生成所述基准坐标系的所述第一作业坐标，并且将所述第一作业坐标向以所述第一搬入位置为原点的所述相对坐标系进行坐标转换，从而生成相对第一作业坐标，
所述第二识别部对所述第二图像数据内的所述第一搬入位置的附近的所述区域进行搜索，并对第二个所述目标的所述基准点的第二搬入位置及第二个所述目标的第二旋转角度进行识别，
所述第二坐标生成部使用所述相对第一作业坐标、所述第一搬入位置与所述第二搬入位置的差值即所述位置误差及所述第一旋转角度与所述第二旋转角度的差值即所述旋转误差，来运算表示第二个所述目标的所述作业区域的所述相对坐标系的相对第二作业坐标，并进一步将所述相对第二作业坐标向所述基准坐标系进行坐标转换，从而生成所述基准坐标系的所述第二作业坐标。
15.根据权利要求14所述的作业坐标生成装置，其中，
所述基准点设定于所述目标的外形的两个边交叉的端部，
所述第一识别部通过求出所述边的方向来识别所述第一旋转角度，
所述第二识别部通过求出所述边的方向来识别所述第二旋转角度。
16.根据权利要求14所述的作业坐标生成装置，其中，
所述作业坐标生成装置应用于在被搬入的多个所述目标中所述作业区域的配置位置存在个体差的情况，
所述第二坐标生成部将所述相对第二作业坐标作为相对临时坐标，以从所述第二图像数据内的基于所述相对临时坐标的优先搜索位置逐渐离开的方式进行搜索，而对与所述形状信息对应的所述作业区域进行识别，并生成表示识别出的所述作业区域的真实的所述相对第二作业坐标，进一步将真实的所述相对第二作业坐标向所述基准坐标系进行坐标转换，从而生成所述基准坐标系的所述第二作业坐标。
17.根据权利要求15所述的作业坐标生成装置，其中，
所述作业坐标生成装置应用于在被搬入的多个所述目标中所述作业区域的配置位置存在个体差的情况，
所述第二坐标生成部将所述相对第二作业坐标作为相对临时坐标，以从所述第二图像数据内的基于所述相对临时坐标的优先搜索位置逐渐离开的方式进行搜索，而对与所述形状信息对应的所述作业区域进行识别，并生成表示识别出的所述作业区域的真实的所述相对第二作业坐标，进一步将真实的所述相对第二作业坐标向所述基准坐标系进行坐标转换，从而生成所述基准坐标系的所述第二作业坐标。
18.根据权利要求1～17中任一项所述的作业坐标生成装置，其中，
所述相机与所述作业机器人分体且被固定。
CN201980086524.8A 2019-01-30 2019-01-30 作业坐标生成装置 Active CN113302027B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/003221 WO2020157875A1 (ja) 2019-01-30 2019-01-30 作業座標作成装置

Publications (2)

Publication Number Publication Date
CN113302027A CN113302027A (zh) 2021-08-24
CN113302027B true CN113302027B (zh) 2023-12-22

Family

ID=71841273

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980086524.8A Active CN113302027B (zh) 2019-01-30 2019-01-30 作业坐标生成装置

Country Status (5)

Country Link
US (1) US11826919B2 (zh)
EP (1) EP3919240A4 (zh)
JP (1) JP7112528B2 (zh)
CN (1) CN113302027B (zh)
WO (1) WO2020157875A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200349737A1 (en) * 2019-05-03 2020-11-05 Fanuc America Corporation Multi-target calibration and augmentation
JP7423387B2 (ja) * 2020-03-31 2024-01-29 ミネベアミツミ株式会社 較正システム、情報処理システム、ロボット制御システム、較正方法、情報処理方法、ロボット制御方法、較正プログラム、情報処理プログラム、較正装置、情報処理装置、及びロボット制御装置
CN115533894B (zh) * 2022-09-14 2024-08-06 北京卫星制造厂有限公司 一种面向大型卫星结构的机器人数控加工方法和设备

Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08272424A (ja) * 1995-04-03 1996-10-18 Amada Metrecs Co Ltd 産業用ロボットの数値制御装置
US6681151B1 (en) * 2000-12-15 2004-01-20 Cognex Technology And Investment Corporation System and method for servoing robots based upon workpieces with fiducial marks using machine vision
CN1590039A (zh) * 2003-08-25 2005-03-09 索尼株式会社 机器人及机器人的姿态控制方法
CN102189548A (zh) * 2010-03-05 2011-09-21 发那科株式会社 具有视觉传感器的机器人系统
CN102232222A (zh) * 2008-09-30 2011-11-02 亚马逊技术股份有限公司 用于接收装运包裹的系统和方法
JP2013097466A (ja) * 2011-10-28 2013-05-20 Hitachi Ltd 作業支援システム、作業支援方法、および、作業用端末
WO2014020739A1 (ja) * 2012-08-02 2014-02-06 富士機械製造株式会社 多関節型ロボットを備えた作業機および電気部品装着機
CN104875203A (zh) * 2014-02-27 2015-09-02 发那科株式会社 生成机器人的动作路径的机器人仿真装置
CN104889986A (zh) * 2014-03-04 2015-09-09 发那科株式会社 机器人控制装置
CN104942805A (zh) * 2014-03-31 2015-09-30 佳能株式会社 机器人系统的控制方法、程序、记录介质和机器人系统
CN105645010A (zh) * 2014-12-02 2016-06-08 发那科株式会社 物品转运装置和物品转运方法
EP3203179A1 (en) * 2016-02-05 2017-08-09 Hexagon Technology Center GmbH Measuring machine based on a delta robot assembly
CN107378941A (zh) * 2016-05-16 2017-11-24 精工爱普生株式会社 机器人、控制装置以及机器人系统
EP3260243A1 (en) * 2016-06-23 2017-12-27 CBot AB Method and system for placing at least one object on a surface
CN107577229A (zh) * 2016-07-05 2018-01-12 富士施乐株式会社 移动机器人、移动控制系统以及移动控制方法
CN108297096A (zh) * 2017-01-12 2018-07-20 发那科株式会社 校准装置、校准方法以及计算机能够读取的介质
CN108568810A (zh) * 2017-03-08 2018-09-25 本田技研工业株式会社 位置姿势调整方法
WO2018230517A1 (ja) * 2017-06-13 2018-12-20 川崎重工業株式会社 作業システム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5427566B2 (ja) 2009-11-24 2014-02-26 Ｉｄｅｃ株式会社 ロボット制御方法、ロボット制御プログラムおよびロボット制御方法に用いられるロボットハンド
JP5835926B2 (ja) * 2011-04-11 2015-12-24 キヤノン株式会社 情報処理装置、情報処理装置の制御方法、およびプログラム
JP5673717B2 (ja) * 2013-03-19 2015-02-18 株式会社安川電機 ロボットシステム及び被加工物の製造方法
JP6372198B2 (ja) * 2014-07-01 2018-08-15 セイコーエプソン株式会社 ロボットシステム及び処理装置
JP6348097B2 (ja) * 2015-11-30 2018-06-27 ファナック株式会社 ワーク位置姿勢算出装置およびハンドリングシステム
JP2017189856A (ja) * 2016-04-15 2017-10-19 オムロン株式会社 アクチュエータ制御システム、アクチュエータ制御方法、情報処理プログラム、および記録媒体
JP6614029B2 (ja) * 2016-05-20 2019-12-04 富士通株式会社 ロボットハンドの位置検出装置、ロボット装置、及び、ロボットハンドの位置検出方法

Patent Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08272424A (ja) * 1995-04-03 1996-10-18 Amada Metrecs Co Ltd 産業用ロボットの数値制御装置
US6681151B1 (en) * 2000-12-15 2004-01-20 Cognex Technology And Investment Corporation System and method for servoing robots based upon workpieces with fiducial marks using machine vision
CN1590039A (zh) * 2003-08-25 2005-03-09 索尼株式会社 机器人及机器人的姿态控制方法
CN102232222A (zh) * 2008-09-30 2011-11-02 亚马逊技术股份有限公司 用于接收装运包裹的系统和方法
CN102189548A (zh) * 2010-03-05 2011-09-21 发那科株式会社 具有视觉传感器的机器人系统
JP2013097466A (ja) * 2011-10-28 2013-05-20 Hitachi Ltd 作業支援システム、作業支援方法、および、作業用端末
WO2014020739A1 (ja) * 2012-08-02 2014-02-06 富士機械製造株式会社 多関節型ロボットを備えた作業機および電気部品装着機
CN104875203A (zh) * 2014-02-27 2015-09-02 发那科株式会社 生成机器人的动作路径的机器人仿真装置
CN104889986A (zh) * 2014-03-04 2015-09-09 发那科株式会社 机器人控制装置
CN104942805A (zh) * 2014-03-31 2015-09-30 佳能株式会社 机器人系统的控制方法、程序、记录介质和机器人系统
CN105645010A (zh) * 2014-12-02 2016-06-08 发那科株式会社 物品转运装置和物品转运方法
EP3203179A1 (en) * 2016-02-05 2017-08-09 Hexagon Technology Center GmbH Measuring machine based on a delta robot assembly
CN107378941A (zh) * 2016-05-16 2017-11-24 精工爱普生株式会社 机器人、控制装置以及机器人系统
EP3260243A1 (en) * 2016-06-23 2017-12-27 CBot AB Method and system for placing at least one object on a surface
CN107577229A (zh) * 2016-07-05 2018-01-12 富士施乐株式会社 移动机器人、移动控制系统以及移动控制方法
CN108297096A (zh) * 2017-01-12 2018-07-20 发那科株式会社 校准装置、校准方法以及计算机能够读取的介质
CN108568810A (zh) * 2017-03-08 2018-09-25 本田技研工业株式会社 位置姿势调整方法
WO2018230517A1 (ja) * 2017-06-13 2018-12-20 川崎重工業株式会社 作業システム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于视觉定位的人机交互示教系统;夏晗;《中国优秀硕士学位论文全文数据库信息科技辑》(第2期);全文 *

Also Published As

Publication number Publication date
US20220111530A1 (en) 2022-04-14
EP3919240A4 (en) 2022-01-19
US11826919B2 (en) 2023-11-28
EP3919240A1 (en) 2021-12-08
WO2020157875A1 (ja) 2020-08-06
CN113302027A (zh) 2021-08-24
JPWO2020157875A1 (ja) 2021-10-14
JP7112528B2 (ja) 2022-08-03

Similar Documents

Publication Publication Date Title
CN111452040B (zh) 在引导装配环境中将机器视觉坐标空间关联的系统和方法
CN107073719B (zh) 机器人和机器人系统
US10675759B2 (en) Interference region setting apparatus for mobile robot
JP6427972B2 (ja) ロボット、ロボットシステム及び制御装置
Nerakae et al. Using machine vision for flexible automatic assembly system
US9519736B2 (en) Data generation device for vision sensor and detection simulation system
EP3272473B1 (en) Teaching device and method for generating control information
JP2012254518A (ja) ロボット制御システム、ロボットシステム及びプログラム
CN113302027B (zh) 作业坐标生成装置
US12002240B2 (en) Vision system for a robotic machine
Šuligoj et al. Object tracking with a multiagent robot system and a stereo vision camera
KR20140008262A (ko) 로봇 시스템, 로봇, 로봇 제어 장치, 로봇 제어 방법 및 로봇 제어 프로그램
JP6565175B2 (ja) ロボットおよびロボットシステム
TWI807990B (zh) 機器人示教系統
TWI806761B (zh) 標誌檢測裝置以及機器人示教系統
WO2023013740A1 (ja) ロボット制御装置、ロボット制御システム、及びロボット制御方法
CN113858214A (zh) 一种用于机器人作业的定位方法与控制系统
CN112184819A (zh) 机器人的引导方法、装置、计算机设备和存储介质
JP2012236266A (ja) ロボット制御システム、ロボットシステム及びプログラム
EP4382258A1 (en) Robot control device, robot control system, and robot control method
EP4382259A1 (en) Robot control device, robot control system, and robot control method
US20240342917A1 (en) Robot control device, robot control system, and robot control method
CN118322213A (zh) 大尺寸工作空间下基于视觉的工业机器人运动学标定方法
CN115136198A (zh) 一种坐标系校准方法、示教板和突出部
JPH04100118A (ja) 視覚付ロボットの位置検出方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant