CN102990678B - 机器人系统和摄像方法 - Google Patents

机器人系统和摄像方法 Download PDF

Info

Publication number
CN102990678B
CN102990678B CN201210342306.6A CN201210342306A CN102990678B CN 102990678 B CN102990678 B CN 102990678B CN 201210342306 A CN201210342306 A CN 201210342306A CN 102990678 B CN102990678 B CN 102990678B
Authority
CN
China
Prior art keywords
robot
workpiece
camera head
image unit
shooting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201210342306.6A
Other languages
English (en)
Other versions
CN102990678A (zh
Inventor
中原义光
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yaskawa Electric Corp
Original Assignee
Yaskawa Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yaskawa Electric Corp filed Critical Yaskawa Electric Corp
Publication of CN102990678A publication Critical patent/CN102990678A/zh
Application granted granted Critical
Publication of CN102990678B publication Critical patent/CN102990678B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/023—Optical sensing devices including video camera means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/10—Programme-controlled manipulators characterised by positioning means for manipulator elements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1692—Calibration of manipulator
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1684—Tracking a line or surface by means of sensors
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/36—Nc in input of data, input key till input tape
    • G05B2219/36433—Position assisted teaching
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/37—Measurements
    • G05B2219/37555—Camera detects orientation, position workpiece, points of workpiece
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39016—Simultaneous calibration of manipulator and camera
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39044—Estimate error model from error at different attitudes and points

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Manipulator (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

机器人系统和摄像方法。本发明提供机器人系统，其能够进行高精度的摄像。本发明的机器人系统（10）具有：摄像单元（20），其具有摄像装置（22）和距离测定部（24）；以及安装有摄像单元（20）的机器人（30）。摄像装置（22）对工件（W）进行预摄像，在机器人（30）根据预摄像的结果使摄像单元（20）预移动后，距离测定部（24）测定距工件（W）的距离，机器人（30）根据测定的结果使摄像单元（20）移动，摄像装置（22）对工件进行摄像。

Description

机器人系统和摄像方法
技术领域
本发明涉及机器人系统和摄像方法。
背景技术
产业用机器人的控制技术与计算机技术一同取得了进步，近年来，要求产业用机器人进行高精度的作业。例如，机器人手臂被配置在汽车等的生产线上，用于对汽车的部件等工件进行作业。作为使机器人手臂向工件移动的控制，示教再现控制已被广泛应用，示教再现控制(teaching playback control)是使机器人手臂沿着通向预定目标位置的预先决定的路径移动。在示教再现控制中，事先示教使机器人手臂沿着预先决定的路径移动的动作，使该动作再现。
然而，在实际的作业中，由于工件本身的个体差异或生产线上的工件搬运精度等原因，有时工件的位置发生偏离，由于该偏离，有时不能进行适当的作业。因此，研究了用于消除这种偏离的机器人控制方法(例如，参照专利文献1)。在专利文献1公开的机器人控制方法中，通过机器人手臂上安装的视觉传感器，求出相对于工件的位置偏离量，进行机器人手臂的位置校正。
专利文献1：日本特开平8-174457号公报
然而，在根据事前的示教使安装了视觉传感器(摄像装置)的机器人移动而进行摄像的情况下，有时会在存在误差的状态下进行视觉传感器(摄像装置)的摄像。该情况下，即便根据摄像结果进行校正，也无法进行适当的作业。
发明内容
本发明正是鉴于上述课题而完成的，其目的在于，提供一种进行高精度的摄像的机器人系统和摄像方法。
本发明的机器人系统具有：摄像单元，其具有摄像装置和距离测定部；以及安装有所述摄像单元的机器人，所述摄像装置对工件进行预摄像，在所述机器人根据所述预摄像的结果使所述摄像单元预移动后，所述距离测定部测定距所述工件的距离，所述机器人根据所述测定的结果使所述摄像单元移动，所述摄像装置对所述工件进行摄像，所述机器人系统还具有机器人控制器，该机器人控制器根据规定了所述机器人的动作方式的示教数据，控制所述机器人，所述机器人控制器以如下方式控制所述机器人：根据所述摄像装置的摄像结果，变更在所述示教数据中指定的所述机器人的位置，所述示教数据中包含：使所述机器人的位置从初始状态变化为能进行预摄像的动作命令；在能进行所述预摄像的位置使所述摄像装置进行摄像的动作命令；根据通过所述预摄像而得到的结果使所述机器人动作的动作命令；使所述距离测定部测定距所述工件的距离的动作命令；根据距所述工件的距离的测定结果而以使所述摄像单元与所述工件的距离成为预先决定的距离的方式使所述机器人动作的动作命令；以及此后使所述摄像装置再次进行摄像的动作命令。
在某个实施方式中，根据所述预摄像的结果和预先存储的基准像，决定所述预移动的方向和移动量中的至少一方。
在某个实施方式中，所述机器人系统还具有安装在所述机器人上的末端执行器，该末端执行器对所述工件进行作业，根据所述摄像装置的摄像结果变更由所述末端执行器进行所述作业的位置。
在某个实施方式中，所述末端执行器是喷出密封材料的密封枪。
本发明的摄像方法包括如下步骤：准备机器人系统，其中，该机器人系统具有摄像单元和安装了所述摄像单元的机器人，该摄像单元具有摄像装置和距离测定部；使用所述摄像装置对工件进行预摄像；所述机器人根据所述预摄像的结果使所述摄像单元预移动；在所述预移动后，所述距离测定部测定距所述工件的距离；在所述机器人根据所述测定的结果使所述摄像单元移动后，所述摄像装置对所述工件进行摄像；以及使用机器人控制器根据规定了所述机器人的动作方式的示教数据，控制所述机器人，所述机器人控制器以如下方式控制所述机器人：根据所述摄像装置的摄像结果，变更在所述示教数据中指定的所述机器人的位置，所述示教数据中包含：使所述机器人的位置从初始状态变化为能进行预摄像的动作命令；在能进行所述预摄像的位置使所述摄像装置进行摄像的动作命令；根据通过所述预摄像而得到的结果使所述机器人动作的动作命令；使所述距离测定部测定距所述工件的距离的动作命令；根据距所述工件的距离的测定结果而以使所述摄像单元与所述工件的距离成为预先决定的距离的方式使所述机器人动作的动作命令；以及此后使所述摄像装置再次进行摄像的动作命令。
根据本实施方式，能够进行高精度的摄像。此外，根据本实施方式，能够利用高精度地摄像的摄像结果，进行高精度的作业或测定。
附图说明
图1是示出本实施方式的机器人系统的示意图。
图2(a)～图2(e)是示出本实施方式的摄像方法的示意图。
图3是示出本实施方式的机器人系统中的摄像单元的一例的示意图。
图4是示出本实施方式的机器人系统中的摄像单元的一例的示意图。
图5是本实施方式的机器人系统的示意图。
图6是本实施方式的机器人系统的示意图。
图7是本实施方式的机器人系统的局部示意图。
图8是本实施方式的机器人系统的示意图。
图9是示出本实施方式的机器人系统中的摄像的示意图。
图10是示出本实施方式的机器人系统中的距离测定的示意图。
图11是本实施方式的机器人系统的示意图。
标号说明
10：机器人系统；20：摄像单元；22：摄像装置；24：距离测定部；30：机器人。
具体实施方式
以下，参照附图对本发明的机器人系统和摄像方法的实施方式进行说明。但是，本发明的实施方式不限于以下的实施方式。
(第1实施方式)
图1示出本实施方式的机器人系统10的示意图。机器人系统10具有摄像单元20、安装了摄像单元20的机器人30、摄像控制器40以及机器人控制器50。摄像单元20安装在机器人30的前端。在本实施方式中，机器人30是具备多个致动器的多关节机器人，这多个致动器分别具有伺服电动机。通过各致动器的驱动，可以变更机器人30的各部分的位置和方向，由此能够变更机器人30整体的位置和摄像单元20的位置。
摄像单元20具有摄像装置22和距离测定部24。例如，摄像装置22和距离测定部24设置为一体。摄像装置22例如具有照相机。摄像装置22进行2维的平面图像的摄像。作为一例，摄像装置22的像素数是几十万像素。
距离测定部24是测定距被测定物的距离的传感器，此处，通过机器人30的动作，将工件W作为被测定对象，测定从距离测定部24到工件W的距离。在本实施方式中，使用反射激光变位传感器作为距离测定部24。另外，距离测定部24也可以使用超声波来测定距离。或者，距离测定部24也可以使用直线标尺(linear scale)来测定距工件W的距离。
摄像装置22对工件W进行摄像，机器人30根据该摄像的结果使摄像单元20移动。然后，距离测定部24测定距工件W的距离，根据测定结果，机器人30使摄像单元20移动，摄像装置22对工件W的对象区域进行摄像。
在本实施方式的机器人系统10中，在测定距工件W的距离之前和之后进行摄像。在本说明书中，有时将距离测定前的工件W的摄像记载为“预摄像”，将基于预摄像结果的摄像单元20的移动记载为“预移动”。
机器人控制器50根据规定了机器人30的动作方式(机器人的变化的要经由的位置即示教点)的示教数据，生成机器人30的动作轨迹。另外，此处，除了控制机器人30以外，机器人控制器50还一并对摄像控制器40进行控制，该摄像控制器40进行摄像单元20的控制。
机器人控制器50具有存储装置51和处理器52，与机器人30的各伺服电动机连接。机器人30的各伺服电动机根据来自机器人控制器50的动作命令，使机器人30动作。
在存储装置51中预先存储有指定机器人30的变化的位置的示教数据。例如，在示教数据中指定了从机器人30的初始状态的位置起进行变化的位置。此外，在示教数据中预先存储有规定摄像单元20和机器人30的动作的示教数据。
在本实施方式中，示教数据中包含：使机器人30的位置从初始状态变化为可进行预摄像的动作命令；在可进行预摄像的位置使摄像装置22进行摄像的动作命令；根据通过预摄像而得到的结果使机器人30动作的动作命令；使距离测定部24测定距被测定物(通常情况下为工件W)的距离的动作命令；根据距被测定物的距离的测定结果而以使摄像单元20与被测定物的距离成为预先决定的距离的方式使机器人30动作的动作命令；以及此后使摄像装置22再次进行摄像的动作命令。此外，如后所述，在第2次摄像后机器人30移动的情况下，也可以根据示教数据指定机器人30的变化的位置。
机器人控制器50的处理器52根据这种示教数据，向机器人30的各伺服电动机和摄像控制器40发出动作指令。在使机器人30再现动作的情况下，处理器52根据示教数据，生成对各伺服电动机和摄像单元20的动作命令，经由通信路径发出动作命令。
摄像控制器40根据由摄像装置22预摄像或摄像的图像、和/或由距离测定部24测定的距离进行处理。摄像控制器40具有存储装置41和处理器42，与摄像单元20以及机器人控制器50连接。
在存储装置41中存储有工件W的预先设定的距离D的理想摄像图像即基准像。处理器42从由摄像装置22预摄像的图像中提取与存储在存储装置41中的基准像对应的区域。优选利用预先存储的特征点来进行该提取。然后，处理器42计算使摄像单元20从当前的摄像单元20的位置预移动的移动量(位置修正数据)，输出到机器人控制器50。
此外，在预移动后，处理器42根据距离测定部24的测定结果，计算使得摄像单元20与工件W的距离成为预先设定的距离D的移动量，输出到机器人控制器50。进而，处理器42进行运算由摄像单元20摄像的图像与基准像的一致度的模式匹配处理。处理器42对一致度与阈值进行比较，判定工件W合格与否。
一般而言，由于工件W的设计误差、工件W的搬运误差等原因，如果机器人30单纯地按照示教数据指定的那样移动，有时不能适当地进行摄像，但通过机器人系统10，可以进行高精度的摄像。在对工件W进行作业(例如，加工)的情况下，也可以根据摄像结果对作业动作进行校正或变更(修正)。或者，也可以根据摄像结果进行工件W的测定。
机器人系统10适合用于对多个工件W的作业(例如，加工)和测定中的至少一方。此外，即便在预先示教了机器人30的动作的情况下，也优选机器人30的动作对应于工件W而变化。
以下，参照图2对本实施方式的摄像方法进行说明。首先，如图2(a)所示，准备机器人系统10。如上所述，机器人系统10具有摄像单元20和安装有摄像单元20的机器人30，摄像单元20具有摄像装置22和距离测定部24。
如图2(b)所示，摄像装置22对工件W进行摄像。工件W具有对象区域，摄像装置22进行包含工件W的对象区域在内的区域的摄像。优选在工件W的对象区域中设置有外观特征。在图2(b)中，用X表示工件W的对象区域。例如，可以在工件W的对象区域中标注特定的标记，或者，也可以设置1个以上的洞或孔。此外，例如，也可以根据由摄像装置22摄像的图像，确定对应于预先存储的基准像的区域(对象区域)，将摄像的图像与预先存储的基准像进行比较。
如图2(c)所示，机器人30根据之前的摄像结果使摄像单元20移动。例如，机器人30使摄像单元20移动，以使摄像装置22能够对工件W的对象区域适当地进行摄像。作为一例，根据摄像的图像与预先存储的基准像的比较结果，决定机器人30使摄像单元20移动的方向和/或距离。
如图2(d)所示，在摄像单元20移动后，距离测定部24测定距工件W的距离。
接着，如图2(e)所示，机器人30根据测定结果使摄像单元20移动，摄像装置22对工件W的对象区域进行摄像。这样地进行工件W的对象区域的摄像。
在本实施方式的机器人系统10中，根据“预摄像”的结果取得作为被摄像对象的工件W的大致位置，根据距离测定部24的测定结果，以实质上与基准像相同的摄像距离(距离D)对非摄像对象进行摄像。因此，即便在使用比较廉价且低像素的摄像装置22的情况下，也能够高精度地对工件W进行摄像。此外，以实质上与基准像相同的距离进行工件W的摄像，因此，提高了对摄像的图像进行模式匹配处理时的精度，并且能够降低用于比较图像的扩大或缩小等加工运算的运算量，能够在更短的时间内进行运算处理。
除了根据与基准像的一致度判定工件W合格与否的制品检测用途外，距离测定后的摄像结果还可以如下使用。例如，可以将摄像的图像与基准像进行比较，求出偏离。例如，即便在由于工件W的设计误差、工件W的搬运误差等而使工件W的位置偏离了规定的位置(例如，在示教数据中指定的位置)的情况下，也能通过根据求出的偏离变更作业的位置来进行适当的作业。
或者，也可以根据摄像结果，测定工件W内的对象区域的形状和长度。例如，能够测定工件W的对象区域中的特定的标记的直径。具体而言，能够利用摄像图像中的特定的标记的边缘，求出与标记的直径对应的像素数。在机器人系统10中，以规定的距离进行摄像，因此摄像的图像中的像素数几乎直接地(几乎唯一地)与实际的长度对应。摄像的图像中的1像素的长度按照预定的关系与工件W上的实际长度对应，例如，能够根据摄像的图像中的特定的标记的像素数，测定特定的标记的实际的直径(长度)。或者，也可以测定工件W的对象区域中存在的邻接的洞或孔的距离。
在本实施方式的机器人系统10中，在进行预摄像使摄像单元20预移动后，测定距工件W的距离，使摄像单元20进一步移动，对工件W的对象区域进行摄像。因此，摄像是在摄像装置22与工件W之间的距离为特定距离的情况下进行的。由此，在本实施方式的机器人系统10中，根据预摄像的结果，在工件W的主面方向上决定了位置后，根据距离测定部24的测定结果，调整工件W的主面的法线方向的位置。因此，能够降低摄像时的偏离，以3维的方式从规定的位置进行高精度摄像。
另外，也可以根据需要，在根据测定距离后的结果使摄像单元20移动后，距离测定部24再次测定距工件W的距离，根据再测定的结果，使摄像单元20进一步移动。此外，也可以在固定工件W的状态下进行摄像单元20的移动，或者，也可以在使工件W也移动的状态下进行摄像单元20的移动。
此处，参照图3对本实施方式的机器人系统10中的摄像单元20的结构进行说明。在图3中，一并示出了机器人30的前端部分。在机器人系统10中，距离测定部24构成为，与摄像装置22设置为一体，当摄像装置22朝向工件W时，距离测定部24也朝向工件W。摄像装置22按照视场L进行摄像。
另外，在周围较暗的情况下，有时无法进行适当的摄像。该情况下，优选机器人系统10具有照明部。例如，照明部包含发光二极管(Light Emitting Diode：LED)。
图4中示出本实施方式的机器人系统10中的摄像单元20的示意图。在图4所示的摄像单元20中，除了还具有照明部26以外，具有与参照图3说明的摄像单元20同样的结构，为了避免冗余，省略重复的说明。在图4所示的摄像单元20中，照明部26被设置为环状，被配置成不进入摄像装置22的视场L。因此，能够有效地照射工件W。
另外，在上述说明中，摄像单元20的摄像装置22和距离测定部24设置为一体，但本实施方式不限于此。摄像装置22和距离测定部24也可以分别配置。此外，在上述说明中，摄像单元20的摄像装置22和距离测定部24构成为同时朝向工件W，但本实施方式不限于此。在摄像单元20中，也可以构成为，在进行摄像或预摄像的情况下，摄像装置22朝向工件W，而距离测定部24不朝向工件W，在进行距离测定的情况下，摄像装置22不朝向工件W，而距离测定部24朝向工件W。例如，摄像单元20的摄像装置22和距离测定部24朝向不同的方向，通过使机器人30的前端旋转而使摄像单元20旋转，能够适当变更摄像装置22和距离测定部24所朝的方向。
另外，如上所述，可以根据预摄像的图像与预先存储的基准像的比较，决定预移动的方向和距离中的至少一方。
(第2实施方式)
图5示出本实施方式的机器人系统10的示意图。本实施方式的机器人系统10具有与第1实施方式所述的机器人系统相同的结构，为了避免冗余，省略重复的说明。
在存储装置41中存储有工件W的基准像。处理器42从由摄像装置22预摄像的图像中提取与存储在存储装置41中的基准像对应的区域，求出与基准像的一致度。处理器42也可以根据这种模式匹配，决定使摄像单元20预移动的方向和距离中的至少一方。
此外，处理器42也可以在距离测定之前和距离测定之后进行由摄像装置22摄像的图像与存储在存储装置41中的基准像的比较。例如，根据形状和长度的至少一方面来进行比较。另外，在机器人系统10中，在距离测定后进行高精度摄像，因此，能够高精度地比较摄像装置22拍摄的图像与基准像的不同。
另外，如上所述，可以根据摄像结果进行作业。该情况下，能够根据高精度的摄像结果，高精度地进行作业。
图6示出本实施方式的机器人系统10的示意图。图6所示的机器人系统10在不同于安装有摄像单元20的机器人30的机器人130上安装有末端执行器(作业部)110。
例如，末端执行器110进行密封。或者，末端执行器110也可以进行焊接或其他加工。或者，末端执行器110也可以进行加工以外的作业。另外，在图6所示的机器人系统10中，末端执行器110安装在与摄像单元20不同的机器人130上，但在机器人系统10中，在设置末端执行器110的情况下，优选在机器人30上不仅安装摄像单元20，还安装末端执行器110。
图7中示出机器人系统10的局部示意图。在图7中，图示了机器人30的前端部分。在机器人30上安装有摄像单元20。摄像单元20具有摄像装置22、距离测定部24以及照明部26。此外，在机器人30上不仅安装有摄像单元20，还安装有末端执行器110。此处，作为末端执行器110，具有用于进行密封的密封枪。
在图7所示的机器人系统10中，构成为，机器人30的前端能够旋转。通过机器人30的前端进行旋转，能够这样地进行变更：在某情况下使摄像单元20朝向工件W，在其它情况下使末端执行器110朝向工件W。
此处，参照图8～图10对进行密封的机器人系统10的一例进行说明。图8示出机器人系统10的示意的立体图。在图8中，工件W是建筑机械的工作室。密封枪110向工件W的规定的区域喷出密封材料。密封剂作为防水剂和粘接剂发挥作用。
在图8所示的机器人系统10中，搬运装置170使放置工件W的台车160移动。例如，搬运装置170在工件设置位置装载设置有工件W的台车160后，搬运至安装有摄像单元20和末端执行器110的机器人30附近。在摄像和作业结束后，搬运装置170将设置有工件W的台车160搬运至工件卸载位置，在工件卸载位置从搬运装置170卸下设置有工件W的台车160。此处，通过机器人30的外部轴伺服来驱动搬运装置170。
此处，说明从将工件W放置在台车160上，到进行搬运、摄像及作业，从搬运装置170卸下台车160为止的步骤的一例。例如，作业者首先在工件设置位置将工件W(工作室)设置到台车160上。此时，工件W相对于台车160简单地定位。例如，工件W被台车160的导轨和定位销简单地定位。
在将工件W放置到台车160上后，通过起动按钮将台车160抬升。然后，搬运装置170进入被抬升的台车160的下部，使抬升装置下降，由此，将放置有工件W的台车160装载到搬运装置170上。
当搬运装置170将放置有工件W的台车160搬运至规定的位置后，利用机器人30上安装的摄像装置22和距离测定部24进行工件W的摄像。例如，如图9所示，摄像装置22对工件W的对象区域进行摄像。此处，对象区域是位于工作室W的角部的区域。从由摄像装置22摄像的图像中提取例如螺钉或角部等特征点，确定对象区域的位置。机器人30根据该位置使摄像单元20移动。例如，可以根据通过摄像装置22摄像的图像而特定的对象区域的位置与预先示教的位置之差，求出位置的误差，根据该误差(暂定值)，使摄像单元20移动。
接着，如图10所示，距离测定部24测定距工件W的距离。例如，根据测定的距离与预先示教的距离之差，求出距离误差量。
接着，机器人30根据测定结果使摄像单元20移动。例如，机器人30使摄像单元20移动，以使摄像单元20与工件W之间的距离成为规定的值D。然后，摄像装置22再次对工件W的对象区域进行摄像。通过进行该摄像结果与基准像的匹配处理，求出位置误差信息，该位置误差信息表示预先设定在示教数据中的作业开始位置与实际的工件W的对象区域的位置的差分。
接着，在使密封枪110朝向工件W的状态下，机器人30根据工件W的位置误差信息，从示教数据中指定的位置移动后，进行密封作业。机器人30的这种位置变更是根据来自机器人控制器50的处理器52的指示来进行的。
在密封作业完成后，搬运装置170将放置有工件W的台车160搬运至工件卸载位置。在工件卸载位置，放置有工件W的台车160被抬升装置被保持，从搬运装置170上卸下。然后，搬运装置170返回工件设置位置。在搬运装置170离开工件卸载位置后，抬升装置降下，作业者将放置有工件W的台车160拉出。如此，能够高精度地对工件W进行密封。此外，在对多个工件W进行上述动作的情况下，可以在同一条件下对多个工件W进行摄像，因此，校准的条件相同，能够高精度地校正密封位置。
另外，在上述说明中，在1个机器人30中安装有1个距离测定部24，但本实施方式不限于此。也可以是1个机器人30安装有3个距离测定部24，由此能够取得工件W的倾斜度。另外，该情况下，优选3个距离测定部24以彼此远离的方式配置。
此外，在上述说明中，对于1个工件W配置了一个安装有摄像单元20和末端执行器110的机器人30，但本实施方式不限于此。也可以对于1个工件W配置多个安装有摄像单元20和末端执行器110的机器人30。
(第3实施方式)
图11示出本实施方式的机器人系统10的示意图。图11所示的机器人系统10对于1个工件W配置有多个安装有摄像单元20和末端执行器110的机器人30，除这点以外，具有与参照图8～图10说明的机器人系统10同样的结构，为了避免冗余，省略重复的说明。这样，可利用多个安装有摄像单元20和末端执行器110的机器人30，对工件W的多个部位进行摄像。由此，能够在短时间内进行对工件W的作业(例如加工)和测定。
另外，在图1所示的机器人系统10中，通过1组摄像单元20和机器人30测定工件W的距离并进行了摄像，但也可以通过多组摄像单元20和机器人30测定工件W的距离并进行摄像。例如，通过3组摄像单元20和机器人30测定工件W的3个部位的距离，由此能够取得与工件W的倾斜度相关的信息。
产业上的可用性
在本实施方式中，能够高精度地对工件W进行摄像。通过使用这种摄像结果，能够恰当地进行高精度的作业。或者，摄像结果也可以用于工件W的测定。

Claims (5)

1.一种机器人系统，其具有：
摄像单元，其具有摄像装置和距离测定部；以及
安装有所述摄像单元的机器人，
所述摄像装置对工件进行预摄像，在所述机器人根据所述预摄像的结果使所述摄像单元预移动后，所述距离测定部测定距所述工件的距离，所述机器人根据所述测定的结果使所述摄像单元移动，所述摄像装置对所述工件进行摄像，
所述机器人系统还具有机器人控制器，该机器人控制器根据规定了所述机器人的动作方式的示教数据，控制所述机器人，
所述机器人控制器以如下方式控制所述机器人：根据所述摄像装置的摄像结果，变更在所述示教数据中指定的所述机器人的位置，
所述示教数据中包含：使所述机器人的位置从初始状态变化为能进行预摄像的动作命令；在能进行所述预摄像的位置使所述摄像装置进行摄像的动作命令；根据通过所述预摄像而得到的结果使所述机器人动作的动作命令；使所述距离测定部测定距所述工件的距离的动作命令；根据距所述工件的距离的测定结果而以使所述摄像单元与所述工件的距离成为预先决定的距离的方式使所述机器人动作的动作命令；以及此后使所述摄像装置再次进行摄像的动作命令。
2.根据权利要求1所述的机器人系统，其中，
根据所述预摄像的结果和预先存储的基准像，决定所述预移动的方向和移动量中的至少一方。
3.根据权利要求1或2所述的机器人系统，其中，
所述机器人系统还具有安装在所述机器人上的末端执行器，该末端执行器对所述工件进行作业，
根据所述摄像装置的摄像结果变更由所述末端执行器进行所述作业的位置。
4.根据权利要求3所述的机器人系统，其中，
所述末端执行器是喷出密封材料的密封枪。
5.一种摄像方法，该摄像方法包括如下步骤：
准备机器人系统，其中，该机器人系统具有摄像单元和安装了所述摄像单元的机器人，该摄像单元具有摄像装置和距离测定部；
使用所述摄像装置对工件进行预摄像；
所述机器人根据所述预摄像的结果使所述摄像单元预移动；
在所述预移动后，所述距离测定部测定距所述工件的距离；
在所述机器人根据所述测定的结果使所述摄像单元移动后，所述摄像装置对所述工件进行摄像；以及
使用机器人控制器根据规定了所述机器人的动作方式的示教数据，控制所述机器人，
所述机器人控制器以如下方式控制所述机器人：根据所述摄像装置的摄像结果，变更在所述示教数据中指定的所述机器人的位置，
所述示教数据中包含：使所述机器人的位置从初始状态变化为能进行预摄像的动作命令；在能进行所述预摄像的位置使所述摄像装置进行摄像的动作命令；根据通过所述预摄像而得到的结果使所述机器人动作的动作命令；使所述距离测定部测定距所述工件的距离的动作命令；根据距所述工件的距离的测定结果而以使所述摄像单元与所述工件的距离成为预先决定的距离的方式使所述机器人动作的动作命令；以及此后使所述摄像装置再次进行摄像的动作命令。
CN201210342306.6A 2011-09-15 2012-09-14 机器人系统和摄像方法 Expired - Fee Related CN102990678B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011-201984 2011-09-15
JP2011201984A JP5561260B2 (ja) 2011-09-15 2011-09-15 ロボットシステム及び撮像方法

Publications (2)

Publication Number Publication Date
CN102990678A CN102990678A (zh) 2013-03-27
CN102990678B true CN102990678B (zh) 2015-09-09

Family

ID=47221090

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210342306.6A Expired - Fee Related CN102990678B (zh) 2011-09-15 2012-09-14 机器人系统和摄像方法

Country Status (4)

Country Link
US (1) US9272420B2 (zh)
EP (1) EP2570241A2 (zh)
JP (1) JP5561260B2 (zh)
CN (1) CN102990678B (zh)

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9400503B2 (en) 2010-05-20 2016-07-26 Irobot Corporation Mobile human interface robot
US9440352B2 (en) * 2012-08-31 2016-09-13 Qualcomm Technologies Inc. Apparatus and methods for robotic learning
JP5664629B2 (ja) * 2012-10-19 2015-02-04 株式会社安川電機 ロボットシステムおよび加工品の製造方法
JP6322949B2 (ja) * 2013-10-10 2018-05-16 セイコーエプソン株式会社 ロボット制御装置、ロボットシステム、ロボット、ロボット制御方法及びロボット制御プログラム
JP6314410B2 (ja) * 2013-10-10 2018-04-25 セイコーエプソン株式会社 ロボット制御装置、ロボットシステム、ロボット、ロボット制御方法、及びプログラム
JP5850962B2 (ja) 2014-02-13 2016-02-03 ファナック株式会社 ビジュアルフィードバックを利用したロボットシステム
KR101637654B1 (ko) * 2014-06-11 2016-07-08 현대자동차주식회사 차량 avn시스템 검사로봇 및 그 제어방법
GB2531576B (en) 2014-10-22 2018-04-25 Q Bot Ltd Modular Robot
KR101628514B1 (ko) * 2014-11-05 2016-06-09 현대자동차주식회사 연료전지 스택의 온도 제어 방법
JP6585391B2 (ja) 2015-06-11 2019-10-02 蛇の目ミシン工業株式会社 ロボット
US9919427B1 (en) 2015-07-25 2018-03-20 X Development Llc Visualizing robot trajectory points in augmented reality
US9916506B1 (en) 2015-07-25 2018-03-13 X Development Llc Invisible fiducial markers on a robot to visualize the robot in augmented reality
US10436810B1 (en) * 2018-04-17 2019-10-08 Al Incorporated Method for tracking movement of a mobile robotic device
US11449064B1 (en) * 2017-03-02 2022-09-20 AI Incorporated Robotic fire extinguisher
KR101818869B1 (ko) * 2016-12-12 2018-01-17 한국과학기술원 다관절 이동 매니퓰레이터를 이용한 방송 영상 장비 및 그 제어 방법
JP6795471B2 (ja) * 2017-08-25 2020-12-02 ファナック株式会社 ロボットシステム
PL239924B1 (pl) * 2017-09-22 2022-01-24 Rma Spolka Z Ograniczona Odpowiedzialnoscia Sposób i urządzenie do automatycznego planowania czoła rury przy użyciu robota, zwłaszcza w procesie wytwarzania rurowych wymienników ciepła
CN107931909A (zh) * 2017-12-25 2018-04-20 苏州明氏自动化技术有限公司 自动上下料装置及其系统
US11241791B1 (en) 2018-04-17 2022-02-08 AI Incorporated Method for tracking movement of a mobile robotic device
CN109079769A (zh) * 2018-09-03 2018-12-25 深圳市泰格自动化技术有限公司 双臂多轴龙门式机械手及使用该机械手的生产流水线
JP7163115B2 (ja) * 2018-09-12 2022-10-31 キヤノン株式会社 ロボットシステム、ロボットシステムの制御方法、物品の製造方法、制御装置、操作装置、撮像装置、制御プログラム及び記録媒体
JP7337495B2 (ja) * 2018-11-26 2023-09-04 キヤノン株式会社 画像処理装置およびその制御方法、プログラム
US11911914B2 (en) 2019-01-28 2024-02-27 Cognex Corporation System and method for automatic hand-eye calibration of vision system for robot motion
JP7228290B2 (ja) * 2019-02-25 2023-02-24 国立大学法人 東京大学 ロボットシステム、ロボットの制御装置、およびロボットの制御プログラム
CN110271005B (zh) * 2019-07-16 2022-03-22 中冶赛迪工程技术股份有限公司 中厚板机器人焊接轨迹的规划方法、设备及介质
CN110421436A (zh) * 2019-08-29 2019-11-08 四川智能创新铸造有限公司 机器人切削加工铸钢件增肉和冒口根部的去除系统
JP7314871B2 (ja) * 2020-07-09 2023-07-26 新東工業株式会社 強度計測装置及び強度計測方法
US20220134577A1 (en) * 2020-10-30 2022-05-05 Dmg Mori Co., Ltd. Image processing method, image processing apparatus, robot-mounted transfer device, and system
JP7504058B2 (ja) 2021-06-03 2024-06-21 東京エレクトロン株式会社 部品交換方法、部品交換装置、および部品交換システム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1433376A (zh) * 1999-12-02 2003-07-30 株式会社安川电机 高空作业用悬臂的定位装置
CN1704210A (zh) * 2004-06-02 2005-12-07 发那科株式会社 机械手系统
CN102695582A (zh) * 2010-01-06 2012-09-26 本田技研工业株式会社 加工系统及加工方法

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6065613U (ja) * 1983-10-13 1985-05-09 三菱電機株式会社 部品の姿勢位置認識装置
JPS60123974A (ja) * 1983-12-09 1985-07-02 Hitachi Ltd 多段階視野認識方式
JP2660744B2 (ja) * 1989-03-31 1997-10-08 株式会社ダイフク 移動車の停止位置検出装置
US5319443A (en) * 1991-03-07 1994-06-07 Fanuc Ltd Detected position correcting method
JPH05108125A (ja) * 1991-10-16 1993-04-30 Kobe Steel Ltd ロボツトの再生制御装置
US5521843A (en) * 1992-01-30 1996-05-28 Fujitsu Limited System for and method of recognizing and tracking target mark
JPH06241719A (ja) * 1993-02-23 1994-09-02 Daifuku Co Ltd 物品位置検出装置
JP3394322B2 (ja) * 1994-05-19 2003-04-07 ファナック株式会社 視覚センサを用いた座標系設定方法
JPH08174457A (ja) 1994-12-27 1996-07-09 Nissan Motor Co Ltd 組立用ロボットの制御方法およびその装置
JPH0970780A (ja) * 1995-09-06 1997-03-18 Fanuc Ltd ロボットのツール形状補正方式
JPH11254362A (ja) * 1998-03-04 1999-09-21 Murata Mach Ltd ロボットハンドの位置補正システム
JP2003302345A (ja) * 2002-04-11 2003-10-24 Denso Wave Inc ロボットを用いた検査方法及び検査システム
JP2003311670A (ja) * 2002-04-17 2003-11-05 Denso Wave Inc ロボットアームの位置制御方法およびロボット装置
JP2005138223A (ja) * 2003-11-06 2005-06-02 Fanuc Ltd ロボット用位置データ修正装置
US20070075048A1 (en) * 2005-09-30 2007-04-05 Nachi-Fujikoshi Corp. Welding teaching point correction system and calibration method
EP3530420B1 (en) * 2006-03-03 2023-09-06 Universal Robots A/S Joint for a robot
EP2075096A1 (de) * 2007-12-27 2009-07-01 Leica Geosystems AG Verfahren und System zum hochpräzisen Positionieren mindestens eines Objekts in eine Endlage im Raum
JP2010152550A (ja) * 2008-12-24 2010-07-08 Canon Inc 作業装置及びその校正方法
JP5549129B2 (ja) * 2009-07-06 2014-07-16 セイコーエプソン株式会社 位置制御方法、ロボット
JP5471355B2 (ja) * 2009-11-24 2014-04-16 オムロン株式会社 ３次元視覚センサ
JP4837116B2 (ja) * 2010-03-05 2011-12-14 ファナック株式会社 視覚センサを備えたロボットシステム
JP5854815B2 (ja) * 2011-12-20 2016-02-09 キヤノン株式会社 情報処理装置、情報処理装置の制御方法、およびプログラム
JP6000579B2 (ja) * 2012-03-09 2016-09-28 キヤノン株式会社 情報処理装置、情報処理方法
JP5975685B2 (ja) * 2012-03-09 2016-08-23 キヤノン株式会社 情報処理装置、情報処理方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1433376A (zh) * 1999-12-02 2003-07-30 株式会社安川电机 高空作业用悬臂的定位装置
CN1704210A (zh) * 2004-06-02 2005-12-07 发那科株式会社 机械手系统
CN102695582A (zh) * 2010-01-06 2012-09-26 本田技研工业株式会社 加工系统及加工方法

Also Published As

Publication number Publication date
US9272420B2 (en) 2016-03-01
JP5561260B2 (ja) 2014-07-30
JP2013063474A (ja) 2013-04-11
EP2570241A2 (en) 2013-03-20
CN102990678A (zh) 2013-03-27
US20130073089A1 (en) 2013-03-21

Similar Documents

Publication Publication Date Title
CN102990678B (zh) 机器人系统和摄像方法
US9774827B2 (en) Imaging inspection apparatus for setting one or more image-capturing positions on a line that connects two taught positions, control device thereof, and method of controlling imaging inspection apparatus
US11267142B2 (en) Imaging device including vision sensor capturing image of workpiece
US10112301B2 (en) Automatic calibration method for robot systems using a vision sensor
US11285609B2 (en) Working position correcting method and working robot
US9517560B2 (en) Robot system and calibration method of the robot system
US20110029131A1 (en) Apparatus and method for measuring tool center point position of robot
TWI653130B (zh) 機械手臂的校正裝置及其校正方法
CN111905983B (zh) 基于视觉跟随的点胶轨迹修正方法、装置、系统及介质
US7899577B2 (en) Measuring system and calibration method
US8923602B2 (en) Automated guidance and recognition system and method of the same
US11173608B2 (en) Work robot and work position correction method
US11161697B2 (en) Work robot system and work robot
JP2015182144A (ja) ロボットシステムおよびロボットシステムの校正方法
KR20150070370A (ko) 산업용 로봇의 인라인 교정을 위한 방법, 이러한 방법을 수행하기 위한 교정 시스템, 및 이러한 교정 시스템을 포함하는 산업용 로봇
US10569418B2 (en) Robot controller for executing calibration, measurement system and calibration method
TWI693990B (zh) 機器手臂校正端效器的裝置及方法
US20220105641A1 (en) Belt Conveyor Calibration Method, Robot Control Method, and Robot System
WO2023053395A1 (ja) 位置姿勢計測システム
JPH04109311A (ja) 多関節ロボットの位置補正方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20150909

Termination date: 20170914