CN100408282C - 具有视觉传感器的机器人系统 - Google Patents

具有视觉传感器的机器人系统 Download PDF

Info

Publication number
CN100408282C
CN100408282C CNB2005101082565A CN200510108256A CN100408282C CN 100408282 C CN100408282 C CN 100408282C CN B2005101082565 A CNB2005101082565 A CN B2005101082565A CN 200510108256 A CN200510108256 A CN 200510108256A CN 100408282 C CN100408282 C CN 100408282C
Authority
CN
China
Prior art keywords
robot
mentioned
image processing
control part
image pickup
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CNB2005101082565A
Other languages
English (en)
Other versions
CN1757492A (zh
Inventor
桥本良树
榎本穰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fanuc Corp
Original Assignee
Fanuc Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fanuc Corp filed Critical Fanuc Corp
Publication of CN1757492A publication Critical patent/CN1757492A/zh
Application granted granted Critical
Publication of CN100408282C publication Critical patent/CN100408282C/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Manipulator (AREA)
  • Numerical Control (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明涉及具有视觉传感器的机器人，其具备：机器人；控制机器人的动作的机器人控制部；设置在机器人上并取得机器人的作业环境的图像数据的摄像部；对摄像部取得的图像数据进行处理的图像处理部；对摄像部以及图像处理部进行控制并执行图像数据的取得、取得的图像数据的传送以及图像数据的处理的视觉控制部；以及连接机器人控制部、图像处理部以及视觉控制部的通信网络。机器人控制部、图像处理部以及视觉控制部组装到共同的机器人控制装置内，摄像部通过通信网络与图像处理部连接，视觉控制部使摄像部取得的图像数据通过通信网络传送到图像处理部。此时，能够将来自摄像部的图像数据无线发送到通过通信网络与图像处理部连接的无线电收发两用机。

Description

具有视觉传感器的机器人系统
技术领域
本发明涉及具有视觉传感器的机器人系统。
背景技术
将通过采用模拟的脱机示教而制成的机器人的作业程序应用到实际的机器人中时，实际的机器人和实际存在于它的作业环境的物体(各种周边机器)的相对位置，对于在脱机示教中的对应模型之间的相对位置，有时会有误差。另外，在移动实用的机器人系统的设置场所时，在移动前和移动后之间，机器人和周边机器的相对位置有时也会产生误差。为了计测这样的相对位置的误差并进行示教数据的补正等而使用具有视觉传感器的机器人系统(也称为机器人视觉)已为众所周知。
就以往的机器人视觉的位置误差计测系统而言，一般地，对于1组机器人以及机器人的控制装置准备1组视觉传感器(摄像机及图像处理装置)。视觉传感器的摄像机被安装在机器人手臂或者支撑在手臂前端的作业工具(即，未端执行器)上，在通过机器人控制装置的控制机器人静止在所希望的位置及姿势的状态下，拍摄存在于作业环境中的计测对象的物体从而取得图像的数据。这样，连接到机器人控制装置的视觉传感器的图像处理装置通过对摄像机取得的图像数据进行处理，计测出机器人和计测对象物体的三维的相对位置及姿势(以下称三维相对位置/姿势)。
对于上述以往的位置误差计测系统，在将1台图像处理装置共用于多台机器人中的场合，在完成关联于1台机器人所需要的计测后，必须将摄像机和图像处理装置从该机器人以及对应的机器人控制装置上取下，再连接到进行下一个计测的机器人及机器人控制装置上。对于多台机器人及机器人控制装置的这样的摄像机及图像处理装置的更替作业，有比较花费时间且使作业效率大大降低的倾向。而且这时，由于摄像机和图像处理装置之间一般由信号缆线连接，所以信号缆线的处理(分离和连接)也比较耗费体力。
发明内容
本发明的目的在于提供一种机器人系统，在这种具有使用视觉传感器的外界计测功能的机器人系统中，因减轻了进行视觉传感器的更换作业的劳动，能够迅速地执行多台机器人的外界计测，由此，可以高效地计测各个机器人和周边物体的三维相对位置/姿势的误差，正确地修正预先示教的位置/姿势。
为实现上述目的，本发明提供一种机器人系统，其具备：机器人；控制机器人的动作的机器人控制部；设置在机器人上并取得机器人的作业环境的图像数据的摄像部；对摄像部取得的图像数据进行处理的图像处理部；对摄像部以及图像处理部进行控制并且执行图像数据的取得、取得的图像数据的传送以及图像数据的处理的视觉控制部；以及连接机器人控制部、图像处理部以及视觉控制部的通信网络。
在上述机器人系统中，机器人控制部、图像处理部以及视觉控制部能够组装在共同的机器人控制装置中，摄像部能够借助于通信网络与图像处理部连接，视觉控制部能够使摄像部获得的图像数据通过通信网络传送到图像处理部。
在该构成中，还可以具备设置在摄像部上的数据发送部和借助于通信网络与图像处理部连接的数据接收部。在该场合，视觉控制部使图像数据从数据发送部无线发送到数据接收部，同时通过通信网络从数据接收部传送到图像处理部。
或者，也可以做成如下的构成：机器人控制部以及视觉控制部组装在共同的机器人控制装置，同时视觉控制部和图像处理部借助于通信网络相互连接。
在该构成中，可以还具有设置在摄像部上的数据发送部和借助于信号线与图像处理部连接的数据接收部。在该场合，视觉控制部使图像数据从数据发送部无线发送到数据接收部，同时通过信号线从数据接收部传送到图像处理部。
上述机器人系统可以还具备与机器人控制部连接的手动操作部。在该场合，通过手动操作部的操作，机器人控制部控制机器人的动作，并且借助于机器人控制部，视觉控制部控制摄像部以及图像处理部。
在以上构成中，手动操作部具备显示部，视觉控制部通过手动操作部的操作，能够使摄像部取得的图像数据作为图像显示在显示部上。
而且，视觉控制部能够使摄像部以规定周期取得图像数据，并将取得的图像数据作为动画显示在显示部上。
上述机器人系统可以具备多台机器人以及分别与这些机器人对应设置的多台机器人控制装置。在该场合，多台机器人控制装置的各个设有机器人控制部，摄像部可以拆装地设置在从多台机器人中选择出的所希望的机器人上，多台机器人控制装置与通信网络连接。
本发明还提供一种机器人控制装置，其组装在上述机器人系统中，按照作业程序控制机器人的动作的机器人控制部；以及根据将图像数据作为由图像处理部处理的结果而得到的机器人位置相关数据，对包含在作业程序中的位置相关指令值进行修正的指令值修正部。
附图说明
本发明的上述及其他的目的、特征、优点通过与附图相关联的以下优选的实施方式的说明将会更加明晰。
图1是表示根据本发明的机器人系统的基本构成的功能方块图。
图2是概略表示根据本发明的第1实施方式的机器人系统的图。
图3是概略表示根据本发明的第2实施方式的机器人系统的图。
图4是表示在图2和图3中的机器人系统中所执行的相对位置误差的计测处理的顺序的概要的流程图。
具体实施方式
以下，参照附图对本发明的实施方式进行详细说明。在图中，对同一或类似的构成单元使用相同的参照符号。
参照附图，图1表示根据本发明的机器人系统10的基本构成。机器人系统10具备：机器人12；控制机器人12的动作的机器人控制部14；设置在机器人12上并取得机器人12的作业环境的图像数据的摄像部16；处理摄像部16取得的图像数据的图像数据处理部18；控制摄像部16及图像处理部18并执行图像数据的取得、取得的图像数据的传送以及图像数据的处理的视觉控制部20；以及连接机器人控制部14、图像处理部18以及视觉控制部20的通信网络22。在机器人系统10中，摄像部16、图像处理部18以及视觉控制部20发挥视觉传感器的外界计测功能，计测机器人12和周边物体的三维相对位置/姿势。
图2概略地表示采用本发明的第1实施方式的机器人系统30的整体构成。机器人系统30具有图1的机器人系统10的基本构成。
如图所示，机器人系统30具备多台(图中为3台)机器人(实机)32A、32B、33C；分别对应于这些机器人32A～32C而被设置、对各个机器人32A～32C的动作进行控制的多个机器人控制装置34A、34B、34C；以及脱机制成各机器人32A～32C的作业程序并进行模拟的机器人模拟器36。另外，机器人系统30作为采用视觉传感器的外界计测装置的构成单元，具备摄像部(摄像机)38、无线电收发两用机40以及多个图像处理部42A、42B、42C。
在多台机器人控制装置34A～34C的各个中分别组装有机器人控制部14(图1)、多个图像处理部42A～42C的各个和视觉控制部20(图1)。这些机器人控制装置34A～34C分别与通信网络44连接，同时借助于通信网络44与机器人模拟器36以及无线电收发两用机40连接。机器人控制部14(图1)、各图像处理部42A～42C以及视觉控制部20(图1)由各机器人控制装置34A～34C的CPU(中央处理器)构成。
摄像部(摄像机)38可以拆装地设置在从多台机器人32A～32C中选择出的所希望的机器人(图中为32A)的手臂或支撑在手臂前端的作业工具(即，未端执行器)上。在该状态下，摄像部38借助于通信网络44可以进行数据通信地连接到对应的机器人控制装置34A～34C的图像处理部42A～42C上。各机器人控制装置34A～34C的视觉控制部20(图1)将摄像部38取得的图像数据D，通过通信网络44传送到对应的图像处理部42A～42C。
摄像部(摄像机)38具备数据发送部和数据接收部(图示为发送接收用天线46)。另外无线电收发两用机40作为连接通信网络44的数据收发部发挥功能(图示为收发用天线48)。因此，摄像部(摄像机)38和无线电收发两用机40能够以无线方式相互传送信号。各机器人控制装置34A～34C的视觉控制部20(图1)使图像数据D从摄像部38的数据发送部无线发送到无线电收发两用机40，同时通过通信网络44从无线电收发两用机40传送到对应的图像处理部42A～42C。
机器人系统30还具备可以通用于多个机器人控制装置34A～34C的移动式的手动操作部50。手动操作部50连接到被任意选择的机器人控制装置34A～34C(图中为机器人控制装置34A)的机器人控制部14(图1)上。操作人员通过操作手动操作部50，向连接手动操作部50的机器人控制装置(在图中为机器人控制装置34A)发出动作指令，机器人控制部14(图1)控制对应的机器人(图中为机器人32A)的动作。另外，通过手动操作部50的操作，向连接手动操作部50的机器人控制装置(图中为机器人控制装置34A)发出指令，该指令用于使对应的摄像部38及图像处理部(图中为图像处理部42A)进行摄影动作以及其后的图像数据发送，借助于机器人控制部14，视觉控制部20(图1)控制摄像部38及图像处理部42A。
手动操作部50具备由LCD等构成的显示部54。操作人员52通过操作手动操作部50，视觉控制部20(图1)能够使摄像部(摄像机)38取得的图像数据D在显示部表示为图像。另外，视觉控制部20通过以规定周期使摄像部38取得图像数据D，能够使取得的图像数据D在显示部54表示为动画。该构成可容易地对机器人及作业环境进行监视。
在机器人32A～32C的附近分别存在周边机器等的计测对象物。机器人系统30利用外界计测功能计测各计测对象物和对应的机器人32A～32C的三维相对位置/姿势。在图2中，只表示了对应于机器人32A的计测对象物56，省略了对应于机器人32B、32C的计测对象物。对应于机器人32B、32C的计测对象物一般与对应于机器人32A的计测对象物不同，但也可以相同。
关于各个机器人32A～32C以及与它们相对应的计测对象物，在进行三维相对位置/姿势的计测时，利用摄像部(摄像机)38进行摄像，但在机器人系统30中，只使用1台摄像部(摄像机)38。因此，当每次对机器人和计测对象物的组合进行更换时，进行对机器人32A～32C的摄像部(摄像机)38的更换。
例如，以从机器人32A起经过机器人32B至机器人32的顺序，在对与它们对应的计测对象物的三维相对位置/姿势进行计测时，首先，如图所示，在将摄像部(摄像机)38安装在机器人32A的手臂前端部的状态下，进行机器人32A和计测对象物56的三维相对位置/姿势的计测。完成机器人32A和计测对象物56的组合的计测后，将摄像部(摄像机)38从机器人32A取下，安装到下一个机器人32B的手臂上(用虚线表示)。接下来，在完成机器人32B和对应的计测对象物(未图示)的组合的计测后，将摄像部(摄像机)38从机器人32B取下，再安装到下一个机器人32C的手臂上(用虚线表示)。这样，在完成机器人32C和对应的计测对象物(未图示)的组合的计测后，根据需要，可以将摄像部(摄像机)38从机器人32C上卸下。
在具有上述构成的机器人系统30中，将1台摄像部(摄像机)38依次更换安装在多台机器人32A～32C进行使用，并且图像处理部42A～42C分别内置于多台机器人控制装置34A～34C内。这样，摄像部(摄像机)38和各图像处理部42A～42C之间的信号的传送通过连接机器人控制装置34A～34C的通信网络44来进行。因此，不需要以往必须的图像处理装置的更换(缆线拆装)。而且，由于摄像部(摄像机)38的动作控制信号以及图像数据信号的传送能够以借助无线电收发两用机40的无线方式进行，所以也不需要伴随摄像部(摄像机)38的更换的缆线拆装作业。
按照上述的顺序计测的各个机器人32A～32C和对应的计测对象物(作为例子为机器人32和计测对象物56)的三维相对位置/姿势的计测结果存储在例如对应的机器人控制装置34A～34C的存储器内。存储的三维相对位置/姿势的计测数据能够利用于将相同的计测对象物作为作业对象的机器人程序的示教点数据的修正。例如，当将实用的机器人系统30移动到其他场所时，从移动前计测出的三维相对位置/姿势数据和移动后计测出的三维相对位置/姿势数据，能够通过同次变换矩阵的形式求得在移动后进行与移动前的机器人作业相同的该机器人作业所需要的示教点的补正量。另外，机器人32A～32C和计测对象物的三维相对位置/姿势的计测数据也能够利用于在将由机器人模拟器36制成的脱机数据(即，包含各个机器人32A～32C和对应的计测对象物的工作单元数据以及以该工作单元为前提而做成的脱机程序的示教数据)应用在实际的机器人32A～32C时的脱机数据的修正。
还有，使用视觉传感器，可以知道求得机器人和计测对象物的三维相对位置/姿势的顺序自身。在图示的实施方式中，例如对于机器人32A而言，在计测对象物56的表面上，适当地选择指定不排列在一条直线上的3点P1、P2、P3，如果分别计测这3点P1～P3的三维位置，则这3点P1～P3形成的三角形P1P2P3的位置/姿势就表示计测对象物56对于机器人32A的三维相对位置/姿势。
如图所示的实施方式，当使用具有摄像部(摄像机)38和各图像处理部42A～42C的视觉传感器的场合，能够从在多个不同的位置/姿势下配置各机器人32A～32C并计测出的多个图像数据，求得每个计测点(例如P1～P3)的三维位置。
这样，在机器人系统30中，因减轻了伴随视觉传感器(摄像部38以及图像处理部42A～42C)的更换作业的劳动，从而涉及多台机器人32A～32C的外界计测能够迅速地实施。从而，采用机器人系统30，能够高效地计测各个机器人32A～32C和周边物体的三维相对位置/姿势的误差，正确地补正预先示教的位置/姿势数据。
图3概略表示采用本发明的第2个实施方式的机器人系统60的整体构成。机器人系统60具有图1的机器人系统10的基本构成。另外，机器人系统60在多台机器人控制装置的外部准备有1台图像处理装置，具有借助于通信网络将图像处理装置和各机器人控制装置连接的构成。除该点以外，机器人系统60具有与上述第1实施方式的机器人系统30实质上相同的构成，所以，对对应的构成单元上标注相同的符号，并省略其说明。
如图所示，机器人系统60具备：多台(图中为3台)机器人(实机)32A、32B、33C；分别对应这些机器人32A～32C而被设置、用以控制各个机器人32A～32C的动作的多个机器人控制装置62A、62B、62C；以及脱机制成各机器人32A～32C的作业程序并进行模拟的机器人模拟器36。另外，机器人系统60作为采用视觉传感器的外界计测装置的构成单元，具备摄像部(摄像机)38、无线电收发两用机40以及组装了图像处理部18(图1)的图像处理装置64。
在多台机器人控制装置62A～62C的各个中组装有机器人控制部14(图1)和视觉控制部20(图1)。这些机器人控制装置62A～62C分别与通信网络44连接，同时借助于通信网络44与机器人模拟器36、无线电收发两用机40以及图像处理装置64(图像处理部18)连接。机器人控制部14(图1)以及视觉控制部20(图1)能够由各机器人控制装置62A～62C的CPU(中央处理器)构成。另外，图像处理装置64能够由例如在个人计算机上安装所要的软件而构成。
摄像部(摄像机)38可以拆装地设置在从多台机器人32A～32C中选择出的所希望的机器人(图中为32A)的手臂或支撑在手臂前端的作业工具(即，未端执行器)上。摄像部(摄像机)38具备数据发送部和数据接收部(图示为发送接收用天线46)。另外无线电收发两用机40借助于信号线66作为连接图像处理装置64(图像处理部18)的收发部发挥其功能(图示为收发用天线48)。因此，摄像部(摄像机)38和无线电收发两用机40能够以无线方式相互传送信号。各机器人控制装置62A～62C的视觉控制部20(图1)使摄像部38取得的图像数据D从摄像部38的数据发送部以无线的方式发送到无线电收发两用机40，同时通过信号线66从无线电收发两用机40传送到图像处理装置64(图像处理部18)。
机器人系统60还具备可以通用于多台机器人控制装置62A～62C的移动式的手动操作部50。手动操作部50连接到被任意选择的机器人控制装置62A～62C(图中为机器人控制装置62A)的机器人控制部14上(图1)。操作人员52通过操作手动操作部50，向连接手动操作部50的机器人控制装置(在图中为机器人控制装置62A)发出动作指令，机器人控制部14(图1)控制对应的机器人(图中为机器人32A)的动作。另外，通过手动操作部50的操作，向连接手动操作部50的机器人控制装置(图中为机器人控制装置62A)发出指令，该指令用于使对应的摄像部38及图像处理装置64进行摄影动作以及此后的图像数据发送，并且借助于机器人控制部14，视觉控制部20(图1)对摄像部38及图像处理部42进行控制。
在具有上述构成的机器人系统60中，将1台摄像部(摄像机)38依次更换安装在多台机器人32A～32C上使用，并且1台图像处理装置64(图像处理部18)借助于通信网络44，分别连接到多台机器人控制装置62A～62C上。因此，不需要以往必须的图像处理装置的更换(缆线拆装)作业。而且，由于摄像部(摄像机)38的动作控制信号以及图像数据信号的传送以借助无线电收发两用机40的无线方式而进行，所以也不需要伴随摄像部(摄像机)38的更换的缆线拆装的作业。
在具有上述构成的机器人系统60中，通过与第1实施方式的机器人系统30相同的顺序，各个机器人32A～32C和对应的计测对象物(作为例子为机器人32和计测对象物56)的三维相对位置/姿势在图像处理装置64的图像处理部18(图1)计测。这样，由图像处理装置64得到的三维相对位置/姿势的计测结果R通过通信网络44存储到对应的机器人控制装置34A～34C的存储器中。存储的三维相对位置/姿势的计测数据与第1实施方式同样，能够利用于将相同的计测对象物作为作业对象的机器人程序的示教点数据的修正。
这样，机器人系统60中，因减轻了视觉传感器(摄像部38以及图像处理装置64)的更换作业的劳动，从而涉及多台机器人32A～32C的外界计测也能够迅速地实施。因此，采用机器人系统60，能够高效地计测各个机器人32A～32C和周边物体的三维相对位置/姿势的误差，正确地补正预先示教的位置/姿势数据。
图4表示上述第1或第2实施方式的机器人系统30、60执行的相对位置误差的计测以及补正处理顺序的概要的流程图。以下对各步骤的要点进行说明。
步骤S1：按照计测的优先顺序等，在从多台机器人32A～32C中任意选出的机器人上安装摄像部(摄像机)38。例如，在最初计测计测对象物56时，将摄像部(摄像机)38安装在机器人32A的手臂前端部(或支撑在手臂前端补的作业工具上)。
步骤S2：对对应的机器人控制装置进行为读取图像数据的各种设定。例如，在最初对计测对象物56进行计测时，在机器人控制装置34A(第1实施方式)和62A(第2实施方式)中，进行为读取图像数据的设定。该设定能够利用手动操作部50的显示部54的图像操作进行输入。
步骤S3：执行校准以便确定机器人和摄像部(摄像机)38之间的相对位置。省略校准的执行顺序的说明。
步骤S4：将表示计测需要的机器人位置确定次数的指标n初始设定为n＝1。
步骤S5：在用手动操作部50的图像监视摄像图像的同时，移动机器人，在适当的位置定位机器人，读取计测对象物的图像。例如，计测对象物56的图像数据以无线在无线电收发两用机40中接收，被机器人控制装置34A(第1实施方式)和图像处理装置64(第2实施方式)读取。
步骤S6：在机器人控制装置34A～34C的图像处理部42A～42C(第1实施方式)和图像处理装置64的图像处理部18(第2实施方式)中进行图像处理。在图像处理中，提取例如点P1～P3，求出在图像上的位置。
步骤S7：判断是否n＞2。如果n＞2，则前进到步骤S9。如果不是n＞2，前进到步骤S8。
步骤S8：在指标n上加1，返回步骤5。
步骤S9：求出计测对象物的3点(例如对象物56的点P1～P3)的三维位置，并计算相对于机器人的计测对象物的三维相对位置/姿势。
步骤10：根据通过计算求得的三维相对位置/姿势，补正以脱机示教的程序(从机器人模拟器36预先传送到各个机器人控制装置)的示教点数据。
通过以上步骤S1～步骤S10，对机器人和计测对象物的1个组合(例如，机器人32A和计测对象物56的组合)而言，完成了相对位置误差的计测以及补正处理。故而，如果有其他需要计测的组合，就如上所述将摄像部(摄像机)38更换安装到该组合的机器人上，执行上述处理流程的步骤S1～步骤S10。
这样一来，便能够计测实际的机器人和计测对象物之间的三维相对位置/姿势，求出该三维相对位置/姿势和在脱机示教中使用的三维相对位置/姿势的误差，或者求出该三维相对位置/姿势和机器人系统在移动时的移动前的三维相对位置/姿势的误差，由此，补正实际的示教程序。另外，通过利用实际的机器人和计测对象物的三维相对位置/姿势的计测数据，补正模拟时各参数，能够执行更加正确的脱机示教以及模拟以及其它的动作的脱机示教及模拟。
采用上述第1实施方式的机器人系统30、60的各机器人控制装置34A～34C或各机器人控制装置62A～62C具备：按照作业程序控制机器人32A～32C的动作的机器人控制部14；以及以将图像数据D作为由图像处理部42A～42C或图像处理装置64处理的结果而得到的机器人位置相关数据为基础，对包含在作业程序中的位置相关指令值进行修正的指令修正部68(参照图3)。还有，在上述各实施方式中用于计测的图像处理部42A～42C或者图像处理装置64不必具备高速处理能力。如第1实施方式那样，能够容易地将图像处理部42A～42C组装到机器人控制装置34A～34C。
以上，参照优选实施方式对本发明进行了说明，但只要不脱离后面所述的权利要求范围的精神以及公开的范围，本领域技术人员可以进行各种修正及变更。

Claims (10)

1. 一种机器人系统，具备：机器人(12；32A，32B，32C)；控制上述机器人的动作的机器人控制部(14)；设置在上述机器人上并取得该机器人的作业环境的图像数据(D)的摄像部(16；38)；对上述摄像部取得的上述图像数据进行处理的图像处理部(18；42A，42B，42C)；对上述摄像部以及上述图像处理部进行控制并且执行上述图像数据的取得、取得的该图像数据的传送以及该图像数据的处理的视觉控制部(20)；以及连接上述机器人控制部、上述图像处理部以及上述视觉控制部的通信网络(22；44)；其特征在于，具备多台机器人(32A，32B，32C)和分别与这些机器人对应设置的多台机器人控制装置(34A，34B，34C，62A，62B，62C)，该多台机器人控制装置的各个具备上述机器人控制部，上述摄像部可以拆装地设置在从该多台机器人中选择的所希望的机器人上，该多台机器人控制装置与上述通信网络连接。
2. 根据权利要求1所述的机器人系统，其特征在于，
上述机器人控制部、上述图像处理部(42A，42B，42C)以及上述视觉控制部组装在上述多个机器人的每一个上设置的共同的机器人控制装置(34A，34B，34C)中，上述摄像部借助于上述通信网络与该图像处理部连接，该视觉控制部将该摄像部取得的上述图像数据通过该通信网络传送到该图像处理部。
3. 根据权利要求2所述的机器人系统，其特征在于，
还具备设置在上述摄像部上的数据发送部(46)和借助于上述通信网络与上述图像处理部连接的数据接收部(40，48)，上述视觉控制部使上述图像数据从该数据发送部无线发送到该数据接收部，同时从该数据接收部通过该通信网络传送到该图像处理部。
4. 根据权利要求1所述的机器人系统，其特征在于，
上述机器人控制部以及上述视觉控制部组装在上述多个机器人的每一个上设置的共同的机器人控制装置(62A，62B，62C)中，同时该视觉控制部和上述图像处理部(18，64)借助于上述通信网络相互连接。
5. 根据权利要求4所述的机器人系统，其特征在于，
还具备设置在上述摄像部上的数据发送部(46)和借助于信号线(66)与上述图像处理部连接的数据接收部(40，48)，上述视觉控制部使上述图像数据从该数据发送部无线发送到该数据接收部，同时从该数据接收部通过该信号线传送到该图像处理部。
6. 根据权利要求1所述的机器人系统，其特征在于，
还具备与上述机器人控制部连接的手动操作部(50)，通过该手动操作部的操作，该机器人控制部控制上述机器人的动作，同时借助于该机器人控制部，上述视觉控制部控制上述摄像部以及上述图像处理部。
7. 根据权利要求6所述的机器人系统，其特征在于，
上述手动操作部具备显示部(54)，上述视觉控制部通过该手动操作部的操作使上述摄像部取得的上述图像数据作为图像显示在该显示部上。
8. 根据权利要求7所述的机器人系统，其特征在于，
上述视觉控制部使上述摄像部以规定周期取得上述图像数据，并使取得的该图像数据作为动画显示在上述显示部上。
9. 根据权利要求6所述的机器人系统，其特征在于，
上述机器人控制部以及上述视觉控制部组装在上述多个机器人的每一个上设置的共同的机器人控制装置中。
10. 一种机器人控制装置，组装在根据权利要求1所述的机器人系统中，其特征在于，
具备：按照作业程序控制上述多个机器人的各个动作的上述机器人控制部；以及根据将上述图像数据作为由上述图像处理部处理的结果而得到的机器人位置相关数据，对包含在上述作业程序中的位置相关指令值进行修正的指令修正部(68)。
CNB2005101082565A 2004-10-05 2005-10-08 具有视觉传感器的机器人系统 Expired - Fee Related CN100408282C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2004292829A JP4137862B2 (ja) 2004-10-05 2004-10-05 計測装置及びロボット制御装置
JP2004292829 2004-10-05

Publications (2)

Publication Number Publication Date
CN1757492A CN1757492A (zh) 2006-04-12
CN100408282C true CN100408282C (zh) 2008-08-06

Family

ID=35462123

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB2005101082565A Expired - Fee Related CN100408282C (zh) 2004-10-05 2005-10-08 具有视觉传感器的机器人系统

Country Status (4)

Country Link
US (1) US7817847B2 (zh)
EP (1) EP1645373B1 (zh)
JP (1) JP4137862B2 (zh)
CN (1) CN100408282C (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103406905A (zh) * 2013-08-20 2013-11-27 西北工业大学 一种具有视觉伺服及检测功能的机器人系统
CN107584206A (zh) * 2016-07-08 2018-01-16 发那科株式会社 激光加工机器人系统

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4221014B2 (ja) 2006-06-20 2009-02-12 ファナック株式会社 ロボット制御装置
CN100432696C (zh) * 2006-06-27 2008-11-12 上海大学 基于仿生人眼控制的地面运动目标低空自动跟踪系统
JP4961860B2 (ja) * 2006-06-27 2012-06-27 トヨタ自動車株式会社 ロボット装置及びロボット装置の制御方法
US20100017026A1 (en) * 2008-07-21 2010-01-21 Honeywell International Inc. Robotic system with simulation and mission partitions
KR101524020B1 (ko) * 2009-03-06 2015-05-29 엘지전자 주식회사 로봇 청소기의 점진적 지도 작성 및 위치 보정 방법
US8600552B2 (en) * 2009-10-30 2013-12-03 Honda Motor Co., Ltd. Information processing method, apparatus, and computer readable medium
JP4837116B2 (ja) * 2010-03-05 2011-12-14 ファナック株式会社 視覚センサを備えたロボットシステム
US10475240B2 (en) 2010-11-19 2019-11-12 Fanuc Robotics America Corporation System, method, and apparatus to display three-dimensional robotic workcell data
ITTO20110214A1 (it) * 2011-03-10 2012-09-11 Febo S R L Metodo e impianto di trasferimento per disporre un pezzo in un orientamento richiesto, e pinza di robot per tale impianto di trasferimento
JP2012223839A (ja) * 2011-04-15 2012-11-15 Yaskawa Electric Corp ロボットシステムおよびロボットシステムの駆動方法
CN102303314B (zh) * 2011-05-17 2013-07-24 北方工业大学 工业生产中的碳碗中心和导槽定位装置及其定位方法
JP5912627B2 (ja) * 2012-02-14 2016-04-27 川崎重工業株式会社 撮像検査装置ならびにその制御装置および制御方法
JP6052576B2 (ja) * 2012-05-30 2016-12-27 日本電気株式会社 情報処理システム、情報処理方法、情報処理装置、携帯端末およびその制御方法と制御プログラム
JP6000789B2 (ja) * 2012-10-02 2016-10-05 キヤノン株式会社 ロボットシステム及び無線カメラ装置
CN103192404B (zh) * 2013-04-12 2016-01-13 安徽埃夫特智能装备有限公司 工业机器人视觉抓具
WO2014182707A2 (en) * 2013-05-06 2014-11-13 Iphoton Solutions, Llc Volume reconstruction of an object using a 3d sensor and robotic coordinates
JP6381182B2 (ja) * 2013-07-04 2018-08-29 キヤノン株式会社 ロボットアームを備えた装置
JP6261209B2 (ja) * 2013-07-04 2018-01-17 キヤノン株式会社 複数の生産装置を備えるシステム
US9586320B2 (en) * 2013-10-04 2017-03-07 GM Global Technology Operations LLC System and method for controlling a vision guided robot assembly
US9724795B2 (en) * 2013-11-07 2017-08-08 Apex Brands, Inc. Tooling system with visual identification of attached component
EP3112965A1 (en) * 2015-07-02 2017-01-04 Accenture Global Services Limited Robotic process automation
US11054802B2 (en) * 2015-10-21 2021-07-06 Mitsubishi Electric Research Laboratories, Inc. System and method for performing operations of numerical control machines
CN105773619A (zh) * 2016-04-26 2016-07-20 北京光年无限科技有限公司 用于实现人形机器人抓取行为的电控系统和人形机器人
JP6444971B2 (ja) * 2016-12-27 2018-12-26 ファナック株式会社 作業計画装置
CN106737683A (zh) * 2017-01-11 2017-05-31 吉林省凯迪科技有限公司 校正工业机器人离线编程在现场中的误差的方法
JP6434550B2 (ja) * 2017-02-06 2018-12-05 ファナック株式会社 可搬型ロボット
JP6964989B2 (ja) * 2017-02-09 2021-11-10 キヤノン株式会社 制御方法、ロボットシステム、物品の製造方法、プログラム、及び記録媒体
CN107471230A (zh) * 2017-09-30 2017-12-15 四川大学 一种叶片多机器人智能协同作业控制系统
JP6595558B2 (ja) * 2017-10-30 2019-10-23 ファナック株式会社 レーザ加工システム
JP6646034B2 (ja) * 2017-12-14 2020-02-14 ファナック株式会社 ロボットシステム
JP6661709B2 (ja) * 2018-08-01 2020-03-11 キヤノン株式会社 ロボット制御方法、物品の製造方法、及びロボット装置
US11478936B2 (en) * 2019-10-09 2022-10-25 Canon Kabushiki Kaisha Image processing apparatus that processes image picked up by image pickup apparatus attached to robot, control method therefor, and storage medium storing control program therefor
US11623305B2 (en) * 2020-10-16 2023-04-11 Verdant Robotics, Inc. Autonomous laser treatment system for agricultural objects
JP2022109392A (ja) 2021-01-15 2022-07-28 川崎重工業株式会社 ロボットシステム及びロボット制御方法
WO2024090490A1 (ja) * 2022-10-25 2024-05-02 株式会社アイシン 穴検査システム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0215987A (ja) * 1988-06-30 1990-01-19 Fanuc Ltd アークビジョンセンサ操作方式
US5572102A (en) * 1995-02-28 1996-11-05 Budd Canada Inc. Method and apparatus for vision control of welding robots
US20030180697A1 (en) * 2002-03-22 2003-09-25 Kim Kyung Hwan Multi-degree of freedom telerobotic system for micro assembly
US6681151B1 (en) * 2000-12-15 2004-01-20 Cognex Technology And Investment Corporation System and method for servoing robots based upon workpieces with fiducial marks using machine vision
CN1517187A (zh) * 2003-01-18 2004-08-04 新田株式会社 机器人系统

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4789940A (en) * 1985-08-30 1988-12-06 Texas Instruments Incorporated Method and apparatus for filtering reflections from direct images for mobile robot navigation
US5204942A (en) * 1989-01-10 1993-04-20 Kabushiki Kaisha Kobe Seiko Sho Robot control system for controlling a set of industrial robots for cooperative operation
JP3012463B2 (ja) * 1993-12-22 2000-02-21 松下電工株式会社 組立装置
US6278906B1 (en) * 1999-01-29 2001-08-21 Georgia Tech Research Corporation Uncalibrated dynamic mechanical system controller
JP2002172575A (ja) * 2000-12-07 2002-06-18 Fanuc Ltd 教示装置
JP2003148914A (ja) * 2001-11-08 2003-05-21 Fanuc Ltd 位置検出装置及び位置検出を利用した取出し装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0215987A (ja) * 1988-06-30 1990-01-19 Fanuc Ltd アークビジョンセンサ操作方式
US5572102A (en) * 1995-02-28 1996-11-05 Budd Canada Inc. Method and apparatus for vision control of welding robots
US6681151B1 (en) * 2000-12-15 2004-01-20 Cognex Technology And Investment Corporation System and method for servoing robots based upon workpieces with fiducial marks using machine vision
US20030180697A1 (en) * 2002-03-22 2003-09-25 Kim Kyung Hwan Multi-degree of freedom telerobotic system for micro assembly
CN1517187A (zh) * 2003-01-18 2004-08-04 新田株式会社 机器人系统

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103406905A (zh) * 2013-08-20 2013-11-27 西北工业大学 一种具有视觉伺服及检测功能的机器人系统
CN107584206A (zh) * 2016-07-08 2018-01-16 发那科株式会社 激光加工机器人系统
CN107584206B (zh) * 2016-07-08 2019-04-26 发那科株式会社 激光加工机器人系统
US10413994B2 (en) 2016-07-08 2019-09-17 Fanuc Corporation Laser processing robot system for performing laser processing using robot

Also Published As

Publication number Publication date
US7817847B2 (en) 2010-10-19
JP2006105782A (ja) 2006-04-20
EP1645373A3 (en) 2012-11-21
US20060072809A1 (en) 2006-04-06
EP1645373A2 (en) 2006-04-12
CN1757492A (zh) 2006-04-12
EP1645373B1 (en) 2017-11-22
JP4137862B2 (ja) 2008-08-20

Similar Documents

Publication Publication Date Title
CN100408282C (zh) 具有视觉传感器的机器人系统
AU2020201554B2 (en) System and method for robot teaching based on RGB-D images and teach pendant
US8406923B2 (en) Apparatus for determining pickup pose of robot arm with camera
US20150045949A1 (en) Robot control apparatus and method for controlling robot
US20150045955A1 (en) Robot control apparatus and method for controlling robot
CN101204813B (zh) 用于执行机器人离线编程的装置、方法
US9199379B2 (en) Robot system display device
CN110170995A (zh) 一种基于立体视觉的机器人快速示教方法
CN101100061A (zh) 测量装置以及校准方法
US20060188250A1 (en) Robot imaging device
CN101092035A (zh) 机器人控制装置
CN104858876A (zh) 机器人任务的可视调试
CN111055289B (zh) 机器人的手眼标定方法、装置、机器人及存储介质
CN102239452A (zh) 用于通过便携式通信器操作现场设备的方法和装置
JP2020015128A (ja) センシングシステム、作業システム、拡張現実画像の表示方法、拡張現実画像の記憶方法、およびプログラム
EP3705236A1 (en) Robot system
US10603788B2 (en) Robot simulation apparatus
CN110871441A (zh) 感测系统、作业系统、增强现实图像的显示方法、以及存储有程序的存储介质
CN110505947A (zh) 机器人系统及其运行方法
CN113211444A (zh) 一种用于机器人标定的系统及标定方法
KR101096068B1 (ko) 로봇 비젼 검사를 위한 휴대용 교시 단말기와 이를 이용한 검사로봇 교시 방법
CN113752236B (zh) 机械臂示教的装置、标定杆和方法
US11904479B2 (en) Method for controlling drives of a robot, and robot system
CN113043268A (zh) 机器人手眼标定方法、装置、终端、系统及存储介质
Schwandt et al. Robot manipulator programming interface based on augmened reality

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20080806

Termination date: 20201008