CN110303474B - 使用图像处理修正机器人的示教的机器人系统 - Google Patents

使用图像处理修正机器人的示教的机器人系统 Download PDF

Info

Publication number
CN110303474B
CN110303474B CN201910229500.5A CN201910229500A CN110303474B CN 110303474 B CN110303474 B CN 110303474B CN 201910229500 A CN201910229500 A CN 201910229500A CN 110303474 B CN110303474 B CN 110303474B
Authority
CN
China
Prior art keywords
feature
robot
posture
image
detected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910229500.5A
Other languages
English (en)
Other versions
CN110303474A (zh
Inventor
小洼恭平
藁科文和
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fanuc Corp
Original Assignee
Fanuc Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fanuc Corp filed Critical Fanuc Corp
Publication of CN110303474A publication Critical patent/CN110303474A/zh
Application granted granted Critical
Publication of CN110303474B publication Critical patent/CN110303474B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B25J9/163—Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J15/00—Gripping heads and other end effectors
    • B25J15/06—Gripping heads and other end effectors with vacuum or magnetic holding means
    • B25J15/0616—Gripping heads and other end effectors with vacuum or magnetic holding means with vacuum
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J15/00—Gripping heads and other end effectors
    • B25J15/08—Gripping heads and other end effectors having finger members
    • B25J15/10—Gripping heads and other end effectors having finger members with three or more finger members
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/04—Viewing devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/0081—Programme-controlled manipulators with master teach-in means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Fuzzy Systems (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Manipulator (AREA)
  • Numerical Control (AREA)

Abstract

本发明提供使用图像处理修正机器人的示教的机器人系统。机器人系统具备：目标位置计算部，其在能够从图像中检测出第一特征时，根据所计算出的第一特征的位置和所存储的第一位置关系来计算机器人的目标位置，并且在不能够从图像中检测出第一特征而能够从图像中检测出第二特征时，根据所计算出的第二特征的位置和所存储的第一位置关系来计算机器人的目标位置。

Description

使用图像处理修正机器人的示教的机器人系统
技术领域
本发明涉及一种机器人系统，尤其涉及使用图像处理修正机器人的示教的机器人系统。
背景技术
目前，存在以下一种技术：通过摄像装置拍摄工件，从取得的图像中检测工件的特征，根据检测结果计算机器人取出工件的位置(即机器人的目标位置)，并在修正机器人的示教位置的基础上，由机器人取出工件。
作为本申请关联的现有技术，后述的文献是公知的。日本特开2015-112654号公报公开以下内容：包括受理拍摄了工件和标记的摄像图像的图像识别部和生成机器人的示教数据的处理部，处理部通过图像识别部所受理的摄像图像来生成机器人的第一示教数据，使机器人的把持部把持工件并生成机器人的第二示教数据。
发明内容
在使用图像处理修正机器人的示教的技术中，有时由于工件的特征有个体差异，或者工件的特征被隐藏在背后的原因，不能够从图像中检测出工件的特征。另一方面，如果不使用上述技术，则需要通过手工作业来修正机器人的示教，从而示教作业的效率会降低。另外，由于在用于上述技术的示教处理中，需要预先存储特征的模板图像等，因此存在示教处理花费时间的问题。
因此，谋求一种提高工件的特征的检测率并简化机器人的示教的技术。
本公开的一个方式为机器人系统，具备：对工件进行作业的机器人、控制上述机器人的机器人控制装置、以及拍摄工件的摄像装置，从拍摄到的图像中检测工件的特征，并根据检测结果来修正机器人的示教，在该机器人系统中具备：存储部，其预先存储工件的第一特征以及第二特征、第一特征的位置以及第二特征的位置中的至少一方与机器人的目标位置之间的第一位置关系；特征检测部，其根据所存储的第一特征以及第二特征，从拍摄到的图像中检测第一特征以及第二特征中的至少一方；特征位置计算部，其计算检测出的第一特征以及第二特征中的至少一方的位置；以及目标位置计算部，其在能够从图像中检测出第一特征时，根据所计算出的第一特征的位置和所存储的第一位置关系来计算机器人的目标位置，并且在不能够从图像中检测第一特征而能够从图像中检测第二特征的情况下，根据所计算出的第二特征的位置和所存储的第一位置关系来计算机器人的目标位置。
附图说明
图1是表示第一实施方式的机器人系统的概略图。
图2是表示第一实施方式的包括机器人的目标位置、工件的第一特征以及第二特征的摄像图像的图。
图3是表示其它实施方式的包括机器人的目标位置以及目标姿势、工件的第一特征以及第二特征的摄像图像的图。
图4是表示第一实施方式的机器人系统的示教处理的流程图。
图5是表示第一实施方式的机器人系统的修正处理的流程图。
图6是表示第二实施方式的机器人系统的示教处理的流程图。
图7是表示第二实施方式的机器人系统的修正处理的流程图。
图8是表示第二实施方式的机器人系统的结构的框图。
图9是表示其它实施方式的机器人系统的结构的框图。
具体实施方式
以下参照附图详细说明本公开的实施方式。在各个附图中对相同或类似的结构要素标注相同或类似的附图标记。另外，以下所记载的实施方式不会限定权利要求书所记载的发明的技术范围以及用词的意思。
图1是表示第一实施方式的机器人系统1的概略图。机器人系统1具备对工件10进行作业的机器人11、控制机器人11的机器人控制装置12、拍摄工件10的摄像装置13。
机器人11例如是通过伺服电动机等进行驱动的6轴机器人机械手，具备取出工件10的机械手14。机械手14具有使用了真空泵的真空把持部或使用了磁铁的磁力把持部。在其它实施方式中，机械手14可以具有手指部件。
机器人控制装置12经由有线或无线与机器人11可通信地连接，按照通过示教作业而生成的作业程序来生成针对机器人11的动作指令，使机器人11进行动作，另一方面，进行位置、速度等的反馈控制。另外，机器人控制装置12经由有线或无线与摄像装置13可通信地连接，从拍摄到的图像中检测工件10的特征，并根据检测出的特征求出由机器人取出工件10的位置(以及姿势)(即，机器人11的目标位置(以及目标姿势))，修正机器人11的示教位置(以及示教姿势)。
摄像装置13被配置在未图示的结构柱上，从上方拍摄工件10。在其它实施方式中，摄像装置13可以配置在机器人11的末端执行器上。
图2是表示第一实施方式的包括机器人的目标位置15、工件10的第一特征16以及第二特征17的摄像图像18的图。机器人的目标位置15在主工件的摄像图像上由示教者示教，被预先存储为坐标值，但是实际取出的工件10的位置发生变化，因此需要使用图像处理从摄像图像18中检测工件10的特征，并根据检测结果来求出机器人的目标位置15，修正示教位置。
然而，由于工件10的特征有个体差异，并且工件10的特征被隐藏在背后的原因，有时不能够从摄像图像18中检测工件10的特征。因此，机器人系统1准备2种(即第一特征16以及第二特征17)工件10的特征，在不能够检测出第一特征16时，通过检测第二特征17来降低检测失败的概率。
另外，在第一实施方式的机器人系统1中，机械手14具有真空把持部或磁力把持部，因此只要将机器人的目标姿势设为固定，只求出机器人的目标位置15即可。然而，在机械手14具有手指部件的其他实施方式中，与实际取出的工件10的姿势的变化相对应地，机械手14的手指部件把持工件10的姿势也发生变化，因此也需要求出机器人的目标姿势。
图3是表示其它实施方式的包括机器人的目标位置15以及目标姿势19、工件10的第一特征16以及第二特征17的摄像图像18的图。机器人的目标姿势19在主工件的摄像图像上由示教者示教，被预先存储为围绕坐标轴的旋转角，但是由于实际取出的工件10的位置发生变化，因此需要使用图像处理从摄像图像18中检测工件10的特征，并根据检测结果来求出机器人的目标姿势19，修正示教姿势。
图4是表示第一实施方式的机器人系统1的示教处理的流程图。机器人系统1大概按照以下的步骤进行示教处理。
<示教处理>
(步骤S10)拍摄主工件。
(步骤S11)在摄像图像上示教第一特征、第二特征，并预先存储。
(步骤S12)示教第一特征的位置与机器人的目标位置之间的第一位置关系，并预先存储。
(步骤S13)示教第二特征的位置与机器人的目标位置之间的第一位置关系，并预先存储。
另外，“第一位置关系”例如是将特征的位置设为坐标上的原点(0、0、0)时的机器人的目标位置的坐标值(150、100、0)。
在机械手具有手指部件的其他实施方式中，接着进行以下的示教处理。
(步骤S14)示教第一特征的姿势与机器人的目标姿势之间的第一姿势关系，并预先存储。
(步骤S15)示教第二特征的姿势与机器人的目标姿势之间的第一姿势关系，并预先存储。
另外，“第一姿势关系”例如是将特征的姿势设为绕坐标轴的旋转角(0°、0°、0°)时的机器人的目标姿势的坐标值(0°、0°、90°)。
图5是表示第一实施方式的机器人系统1的修正处理的流程图。机器人系统1大概通过以下的步骤进行修正处理。另外，在机械手具有手指部件的其他实施方式中，要注意不仅是处理“位置”也处理“姿势”。
<修正处理>
(步骤S20)拍摄实际取出的工件。
(步骤S21)从摄像图像检测第一特征。
(步骤S22)判定是否能够从摄像图像中检测第一特征。
(步骤S23)在能够从摄像图像中检测第一特征时，根据检测结果来计算第一特征的位置(以及姿势)。
(步骤S24)根据计算出的第一特征的位置(以及姿势)和预先存储的第一位置关系(以及第一姿势关系)来计算机器人的目标位置(以及目标姿势)。
(步骤S25)修正机器人的示教位置(以及示教姿势)。
(步骤S26)在不能够从摄像图像检测第一特征时，从摄像图像中检测第二特征。
(步骤S27)判定是否能够从摄像图像中检测第二特征。
(步骤S28)在能够从摄像图像中检测第二特征时，根据检测结果来计算第二特征的位置(以及姿势)。
(步骤S29)根据计算出的第二特征的位置(以及姿势)和预先存储的第一位置关系(以及第一姿势关系)来计算机器人的目标位置(以及目标姿势)。
(步骤S25)修正机器人的示教位置(以及示教姿势)。
根据第一实施方式的<修正处理>，准备多个工件的特征，在不能够从拍摄到的图像中检测出一方的特征时，由于检测出另一方的特征，因此能够提高工件特征的检测率。另一方面，由于不需要通过手工作业修正机器人的示教，因此能够简化机器人的示教。然而，当工件种类增加时，由于必须按照每个工件示教多个特征的模板图像、特征的位置(以及姿势)与机器人的目标位置(以及目标姿势)之间的第一位置关系(以及第一姿势关系)，并预先存储，因此会增加“示教处理”的时间。因此，在后述的第二实施方式中，将进一步减少“示教处理”所花费的时间，简化机器人的示教。
图6是表示第二实施方式的机器人系统1的示教处理的流程图。机器人系统1大概通过以下的步骤来进行示教处理。
<示教处理>
(步骤S30)拍摄主工件。
(步骤S31)在摄像图像上示教第一特征、第二特征，并预先存储。
(步骤S32)示教第一特征的位置与机器人的目标位置之间的第一位置关系，并预先存储。
(步骤S33)计算第一特征的位置与第二特征的位置之间的第二位置关系，并预先存储。
另外，“第二位置关系”例如是指将第一特征的位置设为坐标上的原点(0、0、0)时的第二特征的位置的坐标值(150、100、0)。
在机械手具有手指部件的其他实施方式中，接着进行以下的示教处理。
(步骤S34)示教第一特征的姿势与机器人的目标姿势之间的第一姿势关系，并预先存储。
(步骤S35)计算第一特征的姿势与第二特征的姿势之间的第二姿势关系，并预先存储。
另外，“第二姿势关系”例如是指将第一特征的姿势设为绕坐标轴的旋转角(0°、0°、0°)时的第二特征的姿势的旋转角(0°、0°、90°)。
图7是表示第二实施方式的机器人系统1的修正处理的流程图。机器人系统1大概通过以下的步骤进行修正处理。另外，在机械手具有手指部件的其他实施方式中，要注意不仅是处理“位置”也处理“姿势”。
<修正处理>
(步骤S40)拍摄实际取出的工件。
(步骤S41)从摄像图像中检测第一特征。
(步骤S42)判定是否能够从摄像图像中检测出第一特征。
(步骤S43)在能够从摄像图像检测出第一特征时，根据检测结果来计算第一特征的位置(以及姿势)。
(步骤S44)根据计算出的第一特征的位置(以及姿势)和预先存储的第一位置关系(以及第一姿势关系)来计算机器人的目标位置(以及目标姿势)。
(步骤S45)修正机器人的示教位置(以及示教姿势)。
(步骤S46)在不能够从摄像图像检测第一特征时，从摄像图像中检测第二特征。
(步骤S47)判定是否能够从摄像图像中检测出第二特征。
(步骤S48)在能够从摄像图像中检测出第二特征时，根据检测结果来计算第二特征的位置(以及姿势)。
(步骤S49)根据计算出的第二特征的位置(以及姿势)和预先存储的第二位置关系(以及第二姿势关系)来计算机器人的目标位置(以及目标姿势)。
(步骤S45)修正机器人的示教位置(以及示教姿势)。
在第二实施方式的“示教处理”中，不需要示教第二特征的位置(以及姿势)与机器人的目标姿势(以及目标位置)之间的第一位置关系(以及第一姿势关系)，而自动计算并求出第一特征的位置(以及姿势)与第二特征的位置(以及姿势)之间的第二位置关系(以及第二姿势关系)，并预先进行存储。因此，能够进一步减轻“示教处理”的时间，从而能够简化机器人的示教。
图8是表示第二实施方式的机器人系统1的结构的框图。第二实施方式的机器人系统1具备控制机器人1的机器人控制装置12，机器人控制装置12使用图像处理来修正机器人11的示教。另外，需要注意的是，图8中构成为，机器人控制装置12不仅处理“位置”也处理“姿势”，使得也能够对应机械手14具有手指部件的其他实施方式，但是处理“姿势”的结构不是必须的。
机器人控制装置12具备：图像处理部20，其从所拍摄的图像中检测工件的特征，并根据检测结果来计算机器人11的目标位置以及目标姿势；以及动作指令生成部21，其根据计算出的目标位置以及目标姿势来修正作业程序的示教位置以及示教姿势，并生成机器人11的动作指令。
图像处理部20具备公知的CPU、ASIC、FPGA等。图像处理部2具备：第一存储器30，其存储从摄像装置13取得的工件图像；第二存储器31，其预先存储工件的第一特征以及第二特征；第三存储器32，其预先存储第一位置关系以及第二位置关系；第四存储器33，其预先存储第一姿势关系以及第二姿势关系；以及第五存储器34，其存储计算出的目标位置以及目标姿势。另外，需要注意的是，在第一实施方式的机器人系统1中不需要预先存储第二位置关系以及第二姿势关系。
图像处理部2还具备：特征检测部40，其根据所存储的第一特征以及第二特征，从所拍摄的工件图像中检测第一特征以及第二特征中的至少一方；特征位置计算部41，其计算检测出的第一特征以及第二特征中的至少一方的位置；以及目标位置计算部42，其在能够从工件图像检测出第一特征时，根据检测出的第一特征的位置和所存储的第一位置关系来计算机器人11的目标位置，并且在不能够从工件图像中检测第一特征而能够从工件图像中检测出第二特征时，根据计算出的第二特征的位置和所存储的第二位置关系来计算第一特征的位置，并根据计算出的第一特征的位置和所存储的第一位置关系来计算机器人11的目标位置。另外，需要注意的是，在第一实施方式的机器人系统1中，目标位置计算部42在不能够从工件图像中检测第一特征而能够从工件图像中检测第二特征时，根据计算出的第二特征的位置和所存储的第一位置关系来计算机器人11的目标位置。
图像处理部20还具备：特征姿势计算部43，其计算检测出的第一特征以及第二特征中的至少一方的姿势；以及目标姿势计算部44，其在能够从工件图像中检测出第一特征时，根据计算出的第一特征的姿势和所存储的第一姿势关系来计算机器人11的目标姿势，并且在不能够从工件图像中检测第一特征而能够从工件图像中检测出第二特征时，根据计算出的第二特征的姿势和所存储的第二姿势关系来计算第一特征的姿势，并根据计算出的第一特征的姿势和所存储的第一姿势关系来计算机器人11的目标姿势。另外，在第一实施方式的机器人系统1中，注意目标姿势计算部44在不能够从工件图像中检测第一特征而能够从工件图像中检测出第二特征时，根据计算出的第二特征的姿势和所存储的第一姿势关系来计算机器人11的目标姿势。
图像处理部20还具备：第二位置关系计算部45，其计算上述第二位置关系，并预先存储在第三存储器32中；以及第二姿势关系计算部46，其计算上述第二姿势关系，并预先存储在第四存储器33中。另外，需要注意的是，在第一实施方式的机器人系统1中，可以不具备第二位置关系计算部45以及第二姿势关系计算部46。
图9是表示其它实施方式的机器人系统1的结构框图。其它实施方式的机器人系统1具备经由有线或无线的网络51与机器人控制装置12可通信连接的图像处理装置50，图像处理装置50使用图像处理来修正机器人的示教。机器人控制装置12以及图像处理装置50分别具备控制通信的通信控制部52。图像处理装置50可以是PC等的计算机。图像处理装置50的其他结构与图8所示的图像处理部20相同，因此省略说明。
根据上述实施方式，准备多个工件的特征，在不能够从所拍摄的图像中检测出一方的特征时，检测另一方的特征，因此能够提高工件特征的检测率并简化机器人的示教。
执行上述流程图的程序可以提供并记录在计算机可读取的非暂时的记录介质例如CD-ROM中。
在本说明书中说明了各种实施方式，但是本发明不限于上述实施方式，需要认识到在以下权利要求书所记载的范围内可以进行各种变更。

Claims (9)

1.一种机器人系统，其具备对工件进行作业的机器人、控制上述机器人的机器人控制装置、以及拍摄上述工件的摄像装置，从拍摄到的图像中检测上述工件的特征，并根据检测结果来修正上述机器人的示教，其特征在于，
该机器人系统具备：
存储部，其预先存储上述工件的第一特征以及第二特征、上述第一特征的位置以及上述第二特征的位置中的至少一方与上述机器人的目标位置之间的第一位置关系；
特征检测部，其根据所存储的上述第一特征以及上述第二特征，从拍摄到的上述图像中检测上述第一特征以及上述第二特征中的至少一方；
特征位置计算部，其计算检测出的上述第一特征以及上述第二特征中的至少一方的位置；以及
目标位置计算部，其在能够从上述图像中检测出上述第一特征时，根据所计算出的上述第一特征的位置和所存储的上述第一位置关系来计算上述机器人的目标位置，并且在不能够从上述图像中检测出上述第一特征而能够从上述图像中检测出上述第二特征时，根据所计算出的上述第二特征的位置和所存储的上述第一位置关系来计算上述机器人的目标位置，
上述存储部还对上述第一特征的姿势以及上述第二特征的姿势中的至少一方与上述机器人的目标姿势之间的第一姿势关系进行存储，
该机器人系统还具备：
特征姿势计算部，其计算检测出的上述第一特征以及上述第二特征中的至少一方的姿势；以及
目标姿势计算部，其在能够从上述图像检测出上述第一特征时，根据所计算出的上述第一特征的姿势和所存储的上述第一姿势关系来计算上述机器人的目标姿势，并且在不能够从上述图像中检测出上述第一特征而能够从上述图像中检测出上述第二特征时，根据所计算出的上述第二特征的姿势和所存储的上述第一姿势关系来计算上述机器人的目标姿势。
2.根据权利要求1所述的机器人系统，其特征在于，
上述存储部还存储上述第一特征的位置与上述第二特征的位置之间的第二位置关系，
上述目标位置计算部在不能够从上述图像中检测出上述第一特征而能够从上述图像中检测出上述第二特征时，根据所计算出的上述第二特征的位置和所存储的上述第二位置关系来计算上述第一特征的位置，并且根据所计算出的上述第一特征的位置和所存储的上述第一位置关系来计算上述机器人的目标位置。
3.根据权利要求1所述的机器人系统，其特征在于，
上述存储部还存储上述第一特征的姿势与上述第二特征的姿势之间的第二姿势关系，
上述目标姿势计算部在不能够从上述图像中检测出上述第一特征而能够从上述图像中检测出上述第二特征时，根据所计算出的上述第二特征的姿势和所存储的上述第二姿势关系来计算上述第一特征的姿势，并且根据所计算出的上述第一特征的姿势和所存储的上述第一姿势关系来计算上述机器人的目标姿势。
4.根据权利要求2所述的机器人系统，其特征在于，
该机器人系统还具备：第二位置关系计算部，其计算上述第二位置关系，并预先存储在上述存储部中。
5.根据权利要求3所述的机器人系统，其特征在于，
该机器人系统还具备：第二姿势关系计算部，其计算上述第二姿势关系，并预先存储在上述存储部中。
6.根据权利要求1～5中任意一项所述的机器人系统，其特征在于，
上述机器人具备具有真空保持部或磁力把持部的机械手。
7.根据权利要求1～5中任意一项所述的机器人系统，其特征在于，
上述机器人具备具有手指部件的机械手。
8.根据权利要求1～5中任意一项所述的机器人系统，其特征在于，
上述机器人控制装置使用图像处理来修正上述机器人的示教。
9.根据权利要求1～5中任意一项所述的机器人系统，其特征在于，
该机器人系统还具备经由有线或无线与上述机器人控制装置可通信连接的图像处理装置，上述图像处理装置使用图像处理来修正上述机器人的示教。
CN201910229500.5A 2018-03-27 2019-03-25 使用图像处理修正机器人的示教的机器人系统 Active CN110303474B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-060088 2018-03-27
JP2018060088A JP6777670B2 (ja) 2018-03-27 2018-03-27 画像処理を利用してロボットの教示を補正するロボットシステム

Publications (2)

Publication Number Publication Date
CN110303474A CN110303474A (zh) 2019-10-08
CN110303474B true CN110303474B (zh) 2023-05-23

Family

ID=67910126

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910229500.5A Active CN110303474B (zh) 2018-03-27 2019-03-25 使用图像处理修正机器人的示教的机器人系统

Country Status (4)

Country Link
US (1) US11376732B2 (zh)
JP (1) JP6777670B2 (zh)
CN (1) CN110303474B (zh)
DE (1) DE102019001969B4 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4094135A4 (en) * 2020-01-22 2023-09-20 Abb Schweiz Ag ROBOT CONTROL SYSTEM AND METHOD, ELECTRONIC DEVICE AND COMPUTER READABLE MEDIUM
US20220288782A1 (en) * 2021-03-10 2022-09-15 X Development Llc Controlling multiple simulated robots with a single robot controller
JP7054036B1 (ja) * 2021-07-09 2022-04-13 株式会社不二越 ロボットビジョンシステム
DE102022200461A1 (de) 2022-01-17 2023-07-20 Volkswagen Aktiengesellschaft Verfahren und Robotersystem zum Bearbeiten eines Werkstücks sowie Koordinatensystemmarker für ein Robotersystem

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0716900B2 (ja) * 1986-10-23 1995-03-01 株式会社日立製作所 ロボットへの動作自動教示方法
JPH02276725A (ja) * 1989-04-13 1990-11-13 Toshiba Corp ロボットの教示方法
JP2765181B2 (ja) * 1990-04-24 1998-06-11 神鋼電機株式会社 移動ワーク用視覚装置およびワーク姿勢判別装置
JPH1076489A (ja) * 1996-09-02 1998-03-24 Nippon Telegr & Teleph Corp <Ntt> ロボットアーム教示方法及び装置
US6771808B1 (en) 2000-12-15 2004-08-03 Cognex Corporation System and method for registering patterns transformed in six degrees of freedom using machine vision
JP3930490B2 (ja) * 2004-04-23 2007-06-13 ファナック株式会社 物品取出し装置
JP2006224291A (ja) * 2005-01-19 2006-08-31 Yaskawa Electric Corp ロボットシステム
EP2075096A1 (de) 2007-12-27 2009-07-01 Leica Geosystems AG Verfahren und System zum hochpräzisen Positionieren mindestens eines Objekts in eine Endlage im Raum
US9393694B2 (en) 2010-05-14 2016-07-19 Cognex Corporation System and method for robust calibration between a machine vision system and a robot
JP6052871B2 (ja) * 2012-11-30 2016-12-27 国立大学法人横浜国立大学 対象物移動装置、方法、プログラム、及び記録媒体
JP2015112654A (ja) 2013-12-10 2015-06-22 セイコーエプソン株式会社 制御装置、ロボット、教示データ生成方法及びロボットシステム
JP6415190B2 (ja) * 2014-09-03 2018-10-31 キヤノン株式会社 ロボット装置、ロボット制御プログラム、記録媒体、およびロボット装置の制御方法
JP6126067B2 (ja) 2014-11-28 2017-05-10 ファナック株式会社 工作機械及びロボットを備えた協働システム
JP6126183B2 (ja) * 2015-10-05 2017-05-10 ファナック株式会社 ターゲットマークを撮像するカメラを備えたロボットシステム
US10311596B2 (en) 2015-10-16 2019-06-04 Seiko Epson Corporation Image processing device, robot, robot system, and marker
JP2018017610A (ja) * 2016-07-28 2018-02-01 セイコーエプソン株式会社 三次元計測装置、ロボット、ロボット制御装置、及びロボットシステム
JP6514156B2 (ja) * 2016-08-17 2019-05-15 ファナック株式会社 ロボット制御装置

Also Published As

Publication number Publication date
US11376732B2 (en) 2022-07-05
US20190299403A1 (en) 2019-10-03
DE102019001969B4 (de) 2022-07-28
JP6777670B2 (ja) 2020-10-28
JP2019171497A (ja) 2019-10-10
CN110303474A (zh) 2019-10-08
DE102019001969A1 (de) 2019-10-02

Similar Documents

Publication Publication Date Title
CN110303474B (zh) 使用图像处理修正机器人的示教的机器人系统
JP6420229B2 (ja) 仮想物体の画像をロボットの映像に重畳表示する映像表示装置を備えるロボットシステム
CN109227532B (zh) 机器人的控制装置及其系统、机器人及摄像机的校正方法
JP5233601B2 (ja) ロボットシステム、ロボット制御装置およびロボット制御方法
US10618164B2 (en) Robot system having learning control function and learning control method
US10456917B2 (en) Robot system including a plurality of robots, robot controller and robot control method
JP4961860B2 (ja) ロボット装置及びロボット装置の制御方法
US11040451B2 (en) Teaching device and teaching method
US9519736B2 (en) Data generation device for vision sensor and detection simulation system
JP4265088B2 (ja) ロボット装置及びその制御方法
JP2019181622A (ja) ハンド制御装置およびハンド制御システム
CN109648605B (zh) 机器人系统
WO2020022302A1 (ja) 把持装置
CN109421049B (zh) 机器人系统
JP2021049607A (ja) ロボットに支持された部材の位置を調整するロボット装置の制御装置
JP2008183690A (ja) ロボット制御装置及びロボット制御システム
CN114670189B (zh) 存储介质、以及生成机器人的控制程序的方法及系统
JP2006026790A (ja) 教示モデル生成装置
JP4572497B2 (ja) ロボット制御装置
JP2018039059A (ja) 把持装置、把持方法、及びプログラム
CN111443703B (zh) 轨道生成装置、轨道生成方法以及机器人系统
JP2015003348A (ja) ロボット制御システム、制御装置、ロボット、ロボット制御システムの制御方法及びロボットの制御方法
CN113993670A (zh) 手的控制系统以及手的控制方法
JP2015114933A (ja) 物体認識装置、ロボット及び物体認識方法
US20230405850A1 (en) Device for adjusting parameter, robot system, method, and computer program

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant