CN115916480A - 机器人示教方法和机器人作业方法 - Google Patents

机器人示教方法和机器人作业方法 Download PDF

Info

Publication number
CN115916480A
CN115916480A CN202180045162.5A CN202180045162A CN115916480A CN 115916480 A CN115916480 A CN 115916480A CN 202180045162 A CN202180045162 A CN 202180045162A CN 115916480 A CN115916480 A CN 115916480A
Authority
CN
China
Prior art keywords
robot
teaching
environment
measuring device
coordinates
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180045162.5A
Other languages
English (en)
Inventor
仓岛一辉
莲沼仁志
山本武司
饭田雅臣
佐野伦瞳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kawasaki Motors Ltd
Original Assignee
Kawasaki Jukogyo KK
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kawasaki Jukogyo KK filed Critical Kawasaki Jukogyo KK
Publication of CN115916480A publication Critical patent/CN115916480A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1656Programme controls characterised by programming, planning systems for manipulators
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1628Programme controls characterised by the control loop
    • B25J9/163Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697Vision controlled systems
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00Programme-control systems
    • G05B19/02Programme-control systems electric
    • G05B19/42Recording and playback systems, i.e. in which the programme is recorded from a cycle of operations, e.g. the cycle of operations being manually controlled, after which this record is played back on the same machine
    • G05B19/423Teaching successive positions by walk-through, i.e. the tool head or end effector being grasped and guided directly, with or without servo-assistance, to follow a path
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1656Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/36Nc in input of data, input key till input tape
    • G05B2219/36401Record play back, teach position and record it then play back
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/36Nc in input of data, input key till input tape
    • G05B2219/36452Touch points with handheld probe, camera detects position and orientation probe
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/40Robotics, robotics mapping to robotics vision
    • G05B2219/40613Camera, laser scanner on end effector, hand eye manipulator, local

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Manipulator (AREA)
  • Numerical Control (AREA)

Abstract

机器人示教方法包含预先登记工序、机器人动作工序及示教工序。预先登记工序中,通过用测量装置(31)测量周围环境而确定测量装置(31)相对于周围环境的相对自我位置,登记用相对于周围环境的相对自我位置确定的机器人(10)的示教点,即,环境示教点。机器人动作工序中,在机器人(10)装有测量装置(31)的状态下,根据测量装置(31)所测得的周围环境的测量结果,使机器人(10)相对于周围环境的相对自我位置与环境示教点相一致地使机器人(10)自动动作。示教工序中,在机器人(10)相对于周围环境的相对自我位置与环境示教点相一致的状态下,将用内部传感器(12)检测出的机器人(10)的位置及姿态的检测值作为示教信息登记。

Description

机器人示教方法和机器人作业方法
技术领域
本发明主要涉及对工业用机器人进行示教的方法。
背景技术
作为对工业用机器人进行示教的方法,已知有用操作装置使机器人实际动作到示教点为止之后,将有关机器人的位置及姿态的数据(内部传感器的检测值)登记的方法。
另外,专利文献1公开了一种用视觉伺服使工业用机器人进行作业的方法。视觉伺服是指,将摄像机装在机器人上,使作业中摄像机所拍摄到的图像与预先登记的示教图像相一致地使机器人动作的控制。即,在进行视觉伺服的情况下,通过用摄像机对作业场所及工件进行拍摄,来进行机器人的示教。
在此,通过使机器人实际动作来进行示教的方法中,需要用操作装置对机器人进行操作,因而必须熟练。另外,在使用视觉伺服的情况下,无法简单地确定作业时使机器人怎样动作才能接近示教图像。
【专利文献】
【专利文献1】:日本特开2013-158847号公报
发明内容
鉴于上述情况,本发明的主要目的在于,提供一种能够用简单的方法登记有用的示教信息的机器人示教方法。
本发明所要解决的技术问题如上所述,下面,对用于解决该技术问题的技术方案及其效果进行说明。
基于本发明的观点,提供对工业用机器人进行示教的以下机器人示教方法。机器人示教方法包含预先登记工序、机器人动作工序、及示教工序。所述预先登记工序中,通过用测量装置测量周围环境而确定所述测量装置相对于所述周围环境的相对自我位置;登记使用相对于所述周围环境的相对自我位置而确定的作为所述机器人的示教点的环境示教点。所述机器人动作工序中,在将所述测量装置装在所述机器人上的状态下,根据所述测量装置检测到的周围环境的测量结果,使所述机器人相对于所述周围环境的相对自我位置与所述环境示教点相一致地使所述机器人自动动作。所述示教工序中,在所述机器人相对于所述周围环境的相对自我位置与所述环境示教点相一致的状态下,将用传感器检测到的所述机器人的位置及姿态的检测值作为示教信息进行登记。
由此,作业者仅进行指定环境示教点的作业便能够对机器人进行示教,因而,与作业者使机器人实际动作的示教方法相比,能够用简单的方法对机器人进行示教。另外,与视觉伺服的示教信息是图像相比,本发明中被登记的示教信息是传感器的检测值,因而能够确切地把握机器人的位置及姿态。
发明的效果
基于本发明,能够实现用简单的方法登记有用的示教信息的机器人示教方法。
附图说明
图1是机器人系统的结构图。
图2是机器人示教方法的工序图。
图3是环境地图制作工序的说明图。
图4是预先登记工序的说明图。
图5是机器人动作工序的说明图。
图6是未将测量装置装在机器人上进行作业时的流程图。
图7是将测量装置装在机器人上进行作业时的流程图。
图8是表示在信息终端上显示虚拟辅助图像的情形的说明图。
图9是表示在信息终端上显示AR辅助图像的情形的说明图。
具体实施方式
下面,参照附图对本发明的实施方式进行说明。首先,参照图1,对本实施方式的机器人系统1进行说明。图1是机器人系统1的结构图。
机器人系统1被配置在工厂等施設。机器人系统1是用于使机器人10作业的系统。如图1所示,机器人系统1包括机器人10、控制装置20、及测量单元30。各个装置通过有线或无线的网络而相互连接。在图1中,机器人10和控制装置20仅被记载了一组,但机器人系统1也可以是具备多组机器人10和控制装置20的结构。
机器人10是工业用机器人。机器人10所进行的作业例如为,组装、焊接、涂装、洗涤等。机器人10为示教回放型。示教和回放型是指,由作业者预先通过手动对机器人10的动作及作业进行示教,以使机器人10反复进行被示教的动作和作业的方式进行运行的类型。但是,机器人10也可以是示教回放型以外的类型。
机器人10具备安装在基座上的手臂11。手臂11具有多个关节,各关节上具备执行器。机器人10通过相应于从外部输入的动作指令使执行器动作而使手臂11的位置和姿态变化。各个关节上配置有内部传感器12。内部传感器12被安装在机器人10上,是检测机器人10的位置和姿态的传感器。具体而言,内部传感器12检测手臂11的各关节的旋转角度或角速度。内部传感器12有时也被称为编码器。在手臂11的先端安装有相应于作业内容的末端执行器13。机器人10通过相应于从外部输入的动作指令使末端执行器13动作而进行作业。另外,可根据内部传感器12的检测值来确定末端执行器13的位置及朝向。另外,在手臂11上,设置有用于安装测量单元30的安装结构(例如安装孔等)。该安装结构设置在末端执行器13的近傍,即,设置在比机器人10的最先端侧(末端执行器13侧)的关节更靠先端侧之处。换言之,该安装结构被设置在与末端执行器13一体地移动和旋转的位置。另外,测量单元30的安装结构的设置位置不局限于机器人10的先端,只要能够确定与机器人10的先端(末端执行器13)之间的位置关系,可以设置在任何其它位置。
控制装置20由公知的计算机构成,具备演算装置(CPU等)和储存装置(例如闪存或HDD等)。通过使演算装置读出并执行储存装置中储存的程序,控制装置20能够实现各种各样的功能。例如,控制装置20通过做出机器人10的动作指令并发送给机器人10,而使机器人10动作。机器人10的动作指令中,包含使配置在手臂11的各关节上的执行器动作的指令、和使末端执行器13动作的指令。
测量单元30主要是用于机器人10的示教的装置。测量单元30可由进行示教的作业者(以下,简称为作业者)手持着进行操作,并能可装拆地装在机器人10上。测量单元30具备测量装置31、处理装置32、及指针33。测量装置31、处理装置32、及指针33被固定在同一个壳体等中,作业者能够一体地进行处理。但是,在测量装置31与处理装置32能够进行无线通信的情况下,也可以将处理装置32设置在离开测量装置31的位置。即,本实施方式的测量单元30采用测量装置31和处理装置32构成为一体的独立结构,但也可以采用处理装置32为外部装置的结构。另外,本实施方式的测量单元30是用于进行机器人10的示教的专用品,但也可以是如智能手机等那样的通用信息处理终端。在此情况下,设置在智能手机上的摄像机相当于测量装置31,设置在智能手机中的SOC相当于处理装置32,安装在智能手机上的指针(棒状的物体或激光指针)相当于指针33。
测量装置31对测量装置31的周围存在的物体的位置及形状(周围环境)进行测量,检测出表示周围环境的周围环境数据。测量装置31按规定的时间间隔检测周围环境数据。本实施方式的测量装置31为立体摄像机。立体摄像机具备相互隔开适宜的距离地配置的一对摄像元件(例如CCD)。各个摄像元件进行摄像而取得图像。通过对各个摄像元件所取得的图像进行比较,能够算出所取得的图像中包含的物体等的位置。另外,测量装置31也可以是LiDAR(Laser Imaging Detectiоn and Ranging,激光成像探测与测距)。LiDAR是通过发射电波并测量接收到该电波的反射波为止的时间,来取得周围的物体等的位置及形状的三维测量传感器中的一种。另外,测量装置31不局限于立体摄像机和LiDAR,也可以是单目摄像机或ToF(Time of Flight,飞行时间)摄像机。
处理装置32对测量装置31所取得的周围环境数据进行处理。处理装置32具备如上所述的演算装置和储存装置。处理装置32对周围环境数据进行SLAM(SimultaneousLocalization and Mapping,同步定位与地图构建)处理。SLAM处理为公知的,因而仅简单地进行说明,即,从测量装置31所取得的周围环境数据抽取特征点,通过分析特征点在多个周围环境数据之间的移动量,而取得测量装置31的位置及姿态的变化,并根据特征点的位置来制作环境地图。环境地图是指,表示在测量装置31的周围(本实施方式中机器人10进行作业的场所,即,作业场所)配置的设备、机器、及工件等的三维位置和三维形状的数据。另外,也可以不将处理装置32安装在测量单元30中,而将处理装置32配置在离开测量单元30的位置。
指针33是用于使作业者指定机器人10的示教点的作业更易于进行的部件。指针33为棒状,因而使指定示教点的作业变得准确。另外,指针33比测量装置31更向前方突出,因而指定示教点的作业能够容易地进行。测量单元30以取得在指针33指示出示教点的状态下的环境地图的自我位置为目的。因而,测量装置31与指针33之间的相对位置固定。另外,指针33也可以可装拆地被装在测量单元30上。棒状的指针33不局限于用棒状的部件进行指示的结构,例如也可以采用通过照射激光来指示特定的位置或方向的结构。
下面,参照图2~图5,对本实施方式的机器人示教方法进行说明。图2是机器人示教方法的工序图。图3~图5是机器人示教方法的各工序的说明图。
首先,如图3所示那样,用测量单元30制作作业场所的环境地图(S101,准备工序)。具体而言,作业者手持测量单元30,通过使测量单元30的位置及朝向变化而检测作业场所的周围环境数据,处理装置32通过对这些数据进行SLAM处理而制作作业场所的环境地图。另外,为了制作包含有工件40的环境地图,需要在将工件40配置在作业时的位置上的状态下进行准备工序。另外,也可以用机器人10代替作业者来使测量单元30移动。具体而言,可将测量单元30装在机器人10上之后,通过使机器人10以描画预先确定的轨迹的方式动作,来制作作业场所的环境地图。
其次,如图4所示那样,登记环境地图上的环境示教点(S102,预先登记工序)。环境示教点是指,用作业场所中的机器人10相对于周围的环境(以下,周围环境)的相对自我位置来确定的机器人10的示教点。本实施方式中,环境示教点被记载于环境地图的坐标系中。即,本实施方式中,作为“相对于周围环境的相对自我位置”的一例,使用环境地图上的坐标值。另外,环境示教点不仅是三维位置,还包含有朝向(例如围绕三个轴旋转的旋转角度)的概念。环境示教点的登记是指,将环境示教点(环境地图的坐标值)储存在例如测量单元30或控制装置20的储存部中。
本实施方式中,在实际空间中指定环境示教点。具体而言,如图4所示那样,作业者手持测量单元30,使测量单元30移动到希望作为示教点登记的位置。此时,作业者一边看着指针33的位置和朝向,一边使测量单元30移动。指针33与末端执行器13的位置关系被预先决定。例如,可以定为,指针33的先端的位置与末端执行器13的先端的位置相对应;也可以定为,偏离末端执行器13的先端规定距离(例如5cm下)的位置与末端执行器13的先端相对应。然后,作业者考虑该位置关系而使测量单元30与合适的位置对齐。其后,作业者通过操作测量单元30的操作部(省略图示),而取得此状态下的环境地图上的自我位置。在此,如果在测量单元30被装在机器人10上的状态下指针33与末端执行器13之间的位置关系和上述被决定的指针33与末端执行器13的位置关系相一致,则在此取得的自我位置作为环境示教点被登记。相反,如果这些位置关系相异,则通过对上述取得的自我位置加算消除该相异用的修改值而算出的坐标值作为环境示教点被登记。
另外,环境示教点也可以通过显示出环境地图来指定。在此情况下,控制装置20在规定的显示器(控制装置20所具备的显示器、或作业者所具有的信息终端的显示器等)上显示环境地图,并受理作业者所进行的环境示教点的输入。作业者通过一边确认环境地图,一边在环境地图上例如点击环境示教点或输入环境坐标的坐标值等,来指定环境示教点。这样被指定的环境示教点被登记。由于环境地图是通过SLAM处理而制作的,所以作业场所及机器人10的三维模型不是必需的,从而有可能减少作业者所花费的工时。另外,所取得的环境地图可由作业者进行编辑。作业者可通过对环境地图指定特定的区域,来使该区域内的信息无效、或使该区域在自我位置的推测中优先得到使用。另外,也可以通过在环境地图上设置标记,来指定特定区域。
另外,环境地图的制作不是必需的。即,只要能够确定相对于周围环境的自我位置,便能将该自我位置用作环境示教点,因而能够不使用环境地图地指定环境示教点。在此情况下,也能够省略准备工序。具体而言,通过使用本实施方式的测量装置31,能够测量周围环境,从而能够确定相对于周围环境的自我位置。另外,为了提高确定自我位置的精度,较佳为,将有关周围配置的物体的信息预先登记下来,或在周围配置标记等。
另外,本实施方式中,直到作业者将测量单元30与示教点对齐为止的测量装置31所取得的图像被储存在控制装置20或外部服务器等中。这种图像中,有时会反映出作业者是考虑到哪些方面而确定了示教点这样的意图。因而,在示教结束后不删除该图像,至少在示教后的一定期间内一直保存着该图像,便能在其后确认示教的意图。另外,由于视频是将按时间间隔取得的图像排列而成的,所以,“图像的保存”等的表述也包含视频的保存等。
其次,在将测量单元30装在机器人10上的状态下,使测量单元30的自我位置与环境示教点相一致地使机器人10自动动作(S103,机器人动作工序)。另外,由于测量单元30被装在机器人10上,所以此处的测量单元30的自我位置包含在机器人10的自我位置中(也可以将不同于测量单元30的点作为机器人10的位置)。另外,可以用以下方法使机器人10自动动作。即,处理装置32能够算出在环境地图上的当前的自我位置(换言之,能够算出在环境坐标中的坐标值)。另外,控制装置20根据内部传感器12的检测值,能够算出当前的机器人10的位置及姿态(换言之,能够算出在机器人坐标中的坐标值)。因而,能够取得在环境坐标中的坐标值与在机器人坐标中的坐标值之间的对应关系。通过使机器人10的位置或姿态变化而取得环境坐标和机器人坐标中的坐标值,能够取得多个该对应关系。另外,环境坐标与机器人坐标基本上是一对一地对应。由此,根据多个对应关系,能够制作用于进行环境坐标与机器人坐标之间的转换的转换矩阵(转换数据)。
由此,例如能够将测量单元30所算出的自我位置转换成机器人坐标的坐标值,因而,能够在机器人坐标基础上控制机器人10。另外,为了提高转换矩阵的精度,也可以在规定的时间点取得新的对应关系,根据新的对应关系来更新转换矩阵。另外,也可以将利用转换矩阵将环境示教点转换成机器人坐标的坐标值后的值作为目标值使用。另外,使机器人10自动动作的方法不局限于此,例如可以在环境坐标基础上控制机器人10、也可以利用视觉伺服来控制机器人10。
其次,将自我位置与环境示教点相一致的状态下的机器人10的内部传感器12的检测值作为示教信息登记(S104,示教工序)。示教信息被登记是指,示教信息被储存于控制装置20。
另外,也可以用内部传感器以外的传感器(例如,从外部测量机器人10的外部传感器)来检测本实施方式中的机器人10的位置及姿态。在使用外部传感器的情况下,外部传感器所检测到的有关机器人10的位置及姿态的检测值成为示教信息。另外,在使用外部传感器的情况下,较佳为,将外部传感器所检测到的有关机器人10的位置及姿态的检测值(或者目标的检测值与当前的检测值的差值)作为用于转换成控制装置20对机器人10输出的动作指令的信息登记下来。
本实施方式的示教方法中,通过预先将环境示教点登记,而在机器人动作工序中使机器人10自动动作。对此,现有技术的一般的方法中,需要使用操作装置使机器人移动到示教点。另外,操作装置的操作必须熟练。因而,与现有技术的示教方法相比,本实施方式能够以简单的方法对机器人进行示教。另外,本实施方式中被登记的示教信息与用该现有技术的示教方法获得的示教信息相同。
上述示教方法不局限于登记新的示教信息的场合,在更新已有的示教信息的状况下也可以使用。
下面,参照图6和图7,对使用采用上述方法登记的示教信息来使机器人10作业的方法进行简单说明。
由于机器人10的示教信息是内部传感器12的检测值,所以机器人10能够不装测量单元30地进行作业。但是,也有在一定条件下装上测量单元30进行作业为佳的情形。
首先,说明在不装测量单元30地进行作业的情况下控制装置20所进行的处理。控制装置20将示教信息所示的机器人坐标的坐标值与当前的机器人坐标的坐标值进行比较,从而算出差值(图6中的S201)。控制装置20判定差值是否在阈值以下(S202)。在差值不在阈值以下的情况下,控制装置20以使该差值变小的方式使机器人10动作(S203)。在差值在阈值以下的情况下,控制装置20使采用了末端执行器13的作业执行(S204)。其后,控制装置20使机器人10移动到规定的预备位置(S205),对新的工件40再次进行同样的处理。
不装测量单元30地进行作业的优点是,与使用视觉伺服的情况相比,机器人系统1的导入费用较低。即,示教时需要测量单元30,但作业时不需要测量单元30。因此,通过用一个测量单元30进行多个机器人10的示教,能够减少测量单元30的所需个数。
另外,在导入多台相同种类的机器人10、并使各个机器人10进行相同作业的情况下,也可以将对一台机器人10进行示教时制作的示教信息转用于别的机器人10。具体而言,将控制进行过示教的机器人10的控制装置20中登记的示教信息登记到控制别的机器人10的控制装置20中。由此,能够减少示教所花费的工时。另外,也可以不转用示教信息,而转用环境示教点。在此情况下,对每个机器人都需进行在机器人10上安装测量单元30使其自动动作的作业(机器人动作工序),但作业者使用测量单元30登记环境示教点的作业(预先登记工序)只需要一次。通过该方法,能够考虑各机器人10的个体差异地制作示教信息。
下面,说明在装着测量单元30地进行作业的情况下控制装置20所进行的处理。图7中记载了装着测量单元30地进行作业时的处理。其中,步骤S210以外的处理与不装测量单元30地进行作业时相同(即,S201~S205的处理为通用的处理,与装不装测量单元30无关)。通过安装测量单元30,能够检测出工件40的位置。因此,例如在工件40的位置稍微偏离了既定位置的情况下,也能够正确地进行作业。具体而言,控制装置20判定为差值在阈值以下之后(即,步骤S202之后),调节机器人的位置及姿态,以使末端执行器13相对于工件40的位置及朝向合适(S210)。
具体而言,预先在示教工序(S104)中,将在自我位置与环境示教点相一致的状态下工件40相对于自我位置的相对位置追加登记下来。工件40的相对位置用于表示机器人10(末端执行器13)与工件40之间的适当的位置关系。然后,在步骤S210中,根据测量装置31的测量结果,确定工件40相对于当前的自我位置的相对位置。其次,对当前的工件40的相对位置与预先登记的工件40的相对位置进行比较而求出差值,以使该差值变小的方式使机器人10动作。由此,即便在工件40的位置稍微偏离了既定位置的情况下,也能够正确地进行作业。另外,在指针33是可装卸的情况下,也可以在作业时将指针33卸下。
下面,对本实施方式的应用例进行说明。首先,参照图8,对在预先登记工序中将虚拟辅助图像显示在信息终端51上的应用例进行说明。
虚拟辅助图像是指,与当前的测量单元30的位置及朝向相对应的机器人10被配置在虚拟空间中的图像。作业者通过看虚拟辅助图像,能够简单地确认机器人10是否与作业场所的其它物体相互妨碍。另外,作业者还能够确认所指示的位置及朝向是否可能实现(机器人10是否有可能成为所指定的姿态)。另外,虚拟辅助图像不光是机器人10的特定的姿态,还可以是机器人10能够达到的姿态的范围,换言之,还可以是表示机器人10(尤其是机器人10的手)的可能实现的角度或位置的图像。
另外,本实施方式中,虚拟辅助图像被显示在作业者可手持的信息终端51(便携终端)的显示器(输出装置)上,但例如在作业场所有别的显示器的情况下,也可以在该显示器上显示虚拟辅助图像。另外,不局限于显示器,也可以用能够输出图像的各种各样的设备(例如,投影仪或头戴式显示器等)来输出虚拟辅助图像。本实施方式中,信息终端51进行制作虚拟辅助图像的处理,但也可以是,别的装置制作虚拟辅助图像后发送给信息终端51。
下面,对虚拟辅助图像的制作方法的一例进行说明。为了制作虚拟辅助图像,预先准备好作业场所(特别是工件40)和机器人10的三维模型(三维CG数据)并配置到虚拟空间中。该时间点的机器人10的位置为临时决定的位置。另外,假设信息终端51具有当末端执行器13的位置和朝向及机器人10的设置位置被输入后,输出实现该被输入的状态用的各关节的旋转角度的程序。
在预先登记工序中,测量单元30算出环境地图上的自我位置并输出给信息终端51。信息终端51取得环境地图中包含的作业场所的各部位的位置与虚拟空间中包含的作业场所的各部位的位置之间的对应关系。信息终端51根据这些对应关系,制作将环境坐标转换为虚拟空间的坐标的转换数据。信息终端51通过将环境地图上的自我位置用该转换数据进行转换,而确定虚拟空间中的测量单元30的位置及姿态,由此,确定虚拟空间中的末端执行器13的位置及朝向。然后,信息终端51通过将上述程序应用于所确定的末端执行器13的位置及朝向,而取得机器人10的各关节的旋转角度。另外,在机器人10无法实现所指定的姿态的情况下,信息终端51将该意思显示在显示器上。在机器人10能够实现所指定的姿态的情况下,信息终端51将该状态描画在虚拟空间中。由此,而制作虚拟辅助图像。另外,该制作方法仅为一例,也可以采用别的方法(例如使用三维标记制作转换数据的方法)。
下面,参照图9,对将AR辅助图像显示在信息终端51上的应用例进行说明。AR是指增强现实(Augmented Reality)的意思。
AR辅助图像是指,在用信息终端51的摄像机拍摄到的图像上重叠与当前的测量单元30的位置及朝向相对应的机器人10(特别是末端执行器13)后获得的图像。作业者通过看AR辅助图像,能够在直观地把握末端执行器13的位置及朝向的同时进行环境示教点的登记。另外,虚拟辅助图像中示出的变形例也可以应用于AR辅助图像。
下面,对AR辅助图像的制作方法进行说明。其中,在摄像机上重叠显示别的图像的方法为公知的,有各种各样的制作方法。以下示出的是其中的一例,也可以采用其它的制作方法。为了制作AR辅助图像,在用摄像机拍摄到的图像中重叠机器人10的情况下,有必要确定如何描画机器人10的位置、姿态、大小等。为了确定这些,在作业场所配置AR标记53。AR标记53被配置的位置(实际空间的坐标)及AR标记53的大小被预先登记。在摄像机所拍摄到的图像中含有AR标记53的情况下,信息终端51根据AR标记53被显示的位置来确定AR标记53存在的方向,根据AR标记53被显示的朝向来确定AR标记53的朝向,根据AR标记53在图像上的尺寸来确定到AR标记53为止的距离。另外,如上所述那样,作业场所中的AR标记53的位置及朝向被预先确定。另外,作业场所中的机器人10的位置及姿态可根据环境地图上的自我位置来确定。由此,能够确定在由信息终端51的摄像机拍摄到的图像上重叠机器人10时的机器人10的位置、朝向、及大小,从而能够制作AR辅助图像。
如上所述那样,本实施方式的机器人示教方法包含预先登记工序、机器人动作工序、及示教工序。预先登记工序中,通过用测量装置31测量周围环境而确定测量装置31相对于周围环境的相对自我位置,将用相对于周围环境的相对自我位置确定的机器人10的示教点,即,环境示教点登记。机器人动作工序中,在将测量装置31装在机器人10上的状态下,根据测量装置31所测得的周围环境的测量结果,使机器人10相对于周围环境的相对自我位置与环境示教点相一致地使机器人10自动动作。示教工序中,在机器人10相对于周围环境的相对自我位置与环境示教点相一致的状态下,将用内部传感器12检测到的机器人10的位置及姿态的检测值作为示教信息登记。
由此,作业者只需进行指定环境示教点的作业便能对机器人10进行示教,因而,与作业者使机器人10实际动作的示教方法相比,能够以简单的方法对机器人10进行示教。另外,视觉伺服的示教信息为图像,而本实施方式中被登记的示教信息是传感器的检测值,因此,能够确切地把握机器人10的位置及姿态。
本实施方式的机器人示教方法中,在预先登记工序中,作业者拿着测量装置31,根据使测量装置31移动到实际空间中的机器人10的示教点时的自我位置,来登记环境示教点。
由此,作业者只需进行使测量装置31移动到示教点的简单作业,便能进行环境示教点的登记。
本实施方式的机器人示教方法中,测量装置31为立体摄像机,在示教工序结束之后,也将在预先登记工序中拍摄到的图像作为表示作业者的示教意图的图像继续保存。
由此,能够确认作业者的示教意图。
本实施方式的机器人示教方法中,在预先登记工序之前,进行通过用测量装置31测量周围环境后进行SLAM处理而制作该周围环境的环境地图的准备工序。在预先登记工序中,显示环境地图,并受理作业者所进行的环境示教点的输入,根据作业者的输入内容,来登记环境示教点。
由此,仅通过在环境地图上指定环境示教点这样的简单作业,便能进行环境示教点的登记。
本实施方式的机器人示教方法中,在机器人动作工序中,取得周围环境的环境地图的坐标(即,环境坐标)与基于内部传感器12的检测值的机器人10的坐标(即,机器人坐标)之间的多个对应关系。其次,根据多个对应关系,制作用于将环境坐标转换成机器人坐标的转换数据。其次,使用转换数据,对通过对测量装置31的测量结果进行SLAM处理而获得的环境地图上的自我位置进行转换,从而算出机器人坐标中的当前的坐标值。其次,根据机器人坐标中的当前的坐标值来控制机器人10,使环境地图中的自我位置与环境示教点相一致。
由此,能够根据机器人坐标来控制机器人10,因而能够使机器人10合理地动作至示教点。
本实施方式的机器人示教方法中,转换数据的制成之后,再次取得环境坐标与机器人坐标之间的对应关系,并根据对应关系来更新转换数据。
由此,能够提高转换数据的精度,从而能够使用更准确的机器人坐标来使机器人10动作。
本实施方式的机器人示教方法中,在示教工序中使用的用于检测机器人10的位置及姿态的传感器是该机器人10的内部传感器12。
内部传感器12的检测值是表示机器人10的位置及姿态的值本身,因而,能够正确地把握作业中应该使机器人10的位置及姿态向哪个方向动作。
本实施方式的机器人示教方法中,机器人10是示教回放型。
因此,本发明能够应用于一般的工业用机器人。
本实施方式的机器人示教方法中,在预先登记工序中,使用输出装置,将与当前的测量装置31的位置及朝向相对应的机器人10被配置在虚拟空间中的作业场所的图像(即,虚拟辅助图像)输出。
由此,能够简单地确认作业场所与机器人10是否相干扰等。
本实施方式的机器人示教方法中,在预先登记工序中,将在信息终端51的摄像机所拍摄到的图像上重叠了与当前的测量装置31的位置及朝向相对应的机器人10的图像(即,AR辅助图像)显示在信息终端51的显示器上。
由此,作业者通过看AR辅助图像,能够在直观地把握末端执行器13的位置及朝向的同时进行环境示教点的登记。
本实施方式的机器人作业方法中,机器人10不装测量装置31地进行作业。
因此,与机器人10带有摄像机为前提的视觉伺服相比,能够降低导入费用。
本实施方式的机器人作业方法中,机器人10在装有测量装置31的状态下进行作业。控制装置20进行调节机器人10相对于作业对象的工件40的位置及姿态的处理。
因此,即便在工件40的位置稍微偏离了既定位置的情况下,也能够正确地进行作业。
附图标记说明
1 机器人系统
10 机器人
20 控制装置
30 测量单元
31 测量装置
32 处理装置
33 指针

Claims (12)

1.一种机器人示教方法,是对工业用机器人进行示教的方法,其特征在于,包含:
预先登记工序,通过用测量装置测量周围环境而确定所述测量装置相对于所述周围环境的相对自我位置,登记使用相对于所述周围环境的相对自我位置而确定的作为所述机器人的示教点的环境示教点;
机器人动作工序,在将所述测量装置装在所述机器人上的状态下,根据所述测量装置检测到的周围环境的测量结果,使所述机器人相对于所述周围环境的相对自我位置与所述环境示教点相一致地使所述机器人自动动作;以及
示教工序,在所述机器人相对于所述周围环境的相对自我位置与所述环境示教点相一致的状态下,将用传感器检测到的所述机器人的位置及姿态的检测值作为示教信息进行登记。
2.如权利要求1所述的机器人示教方法,其特征在于:
在所述预先登记工序中,作业者拿着所述测量装置,根据使该测量装置移动到实际空间中的所述机器人的示教点时的自我位置,来登记所述环境示教点。
3.如权利要求2所述的机器人示教方法,其特征在于:
所述测量装置是立体摄像机,在所述示教工序结束之后,也将所述预先登记工序中拍摄的图像作为表示作业者的示教意图的图像继续保存。
4.如权利要求1所述的机器人示教方法,其特征在于:
在所述预先登记工序之前,进行通过用所述测量装置测量所述周围环境后进行SLAM处理而制作该周围环境的环境地图的准备工序,
在所述预先登记工序中,显示所述环境地图并受理作业者所进行的所述环境示教点的输入,根据该作业者的输入内容来登记所述环境示教点。
5.如权利要求1至4中任一项所述的机器人示教方法,其特征在于:
在所述机器人动作工序中,
取得作为通过对所述测量装置的测量结果进行SLAM处理而获得的环境地图的坐标的环境坐标与作为基于所述传感器的检测值的所述机器人的坐标的机器人坐标之间的多个对应关系;
根据多个所述对应关系,制作用于将所述环境坐标转换成所述机器人坐标的转换数据;以及
算出通过用所述转换数据来转换对所述测量装置的测量结果进行SLAM处理而获得的环境地图上的自我位置,而算出所述机器人坐标中的当前的坐标值,根据该坐标值来控制所述机器人,使所述环境地图中的自我位置与所述环境示教点相一致。
6.如权利要求5所述的机器人示教方法,其特征在于:
在制成所述转换数据之后,再次确定所述环境坐标与所述机器人坐标之间的对应关系,根据该对应关系来更新所述转换数据。
7.如权利要求1至6中任一项所述的机器人示教方法,其特征在于:
在所述示教工序中使用的用于检测所述机器人的位置及姿态的所述传感器是该机器人的内部传感器。
8.如权利要求1至7中任一项所述的机器人示教方法,其特征在于:
所述机器人为示教回放型。
9.如权利要求1至8中任一项所述的机器人示教方法,其特征在于:
在所述预先登记工序中,使用输出装置,输出与当前的所述测量装置的位置及朝向相对应的所述机器人被配置在虚拟空间中的作业场所的图像,即,虚拟辅助图像。
10.如权利要求1至8中任一项所述的机器人示教方法,其特征在于:
在所述预先登记工序中,将在信息终端的摄像机所拍摄到的图像上重叠了与当前的所述测量装置的位置及朝向相对应的所述机器人的图像,即,AR辅助图像显示到该信息终端的显示器上。
11.一种机器人作业方法,机器人使用采用权利要求1至10中任一项所述的机器人示教方法登记的所述示教信息来进行作业,其特征在于:
所述机器人不装所述测量装置地进行作业。
12.一种机器人作业方法,机器人使用采用权利要求1至10中任一项所述的机器人示教方法登记的所述示教信息来进行作业,其特征在于:
所述机器人在装有测量装置的状态下进行作业,根据所述测量装置的测量结构,进行调节所述机器人相对于作为作业对象的工件的位置及姿态的处理。
CN202180045162.5A 2020-06-23 2021-06-21 机器人示教方法和机器人作业方法 Pending CN115916480A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2020107459 2020-06-23
JP2020-107459 2020-06-23
PCT/JP2021/023288 WO2021261411A1 (ja) 2020-06-23 2021-06-21 ロボット教示方法及びロボット作業方法

Publications (1)

Publication Number Publication Date
CN115916480A true CN115916480A (zh) 2023-04-04

Family

ID=79281375

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180045162.5A Pending CN115916480A (zh) 2020-06-23 2021-06-21 机器人示教方法和机器人作业方法

Country Status (5)

Country Link
US (1) US20230249341A1 (zh)
EP (1) EP4169676A4 (zh)
JP (1) JP7366264B2 (zh)
CN (1) CN115916480A (zh)
WO (1) WO2021261411A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102022205884B4 (de) 2022-06-09 2024-01-11 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung eingetragener Verein System und Verfahren zur Aufnahme von Elementen eines Werkstücks mittels eines Zeigegerätes

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5297238A (en) * 1991-08-30 1994-03-22 Cimetrix Incorporated Robot end-effector terminal control frame (TCF) calibration method and device
US5255096B1 (en) * 1992-04-10 1997-12-23 William M Boyle Video time code synchronized robot control apparatus
SE0203908D0 (sv) * 2002-12-30 2002-12-30 Abb Research Ltd An augmented reality system and method
SE531104C2 (sv) * 2002-12-30 2008-12-16 Abb Research Ltd Metod och system för programmering av en industrirobot
JP5948914B2 (ja) 2012-02-01 2016-07-06 セイコーエプソン株式会社 ロボット制御装置、ロボット制御方法、ロボット制御プログラムおよびロボットシステム
JP5549749B1 (ja) * 2013-01-16 2014-07-16 株式会社安川電機 ロボット教示システム、ロボット教示プログラムの生成方法および教示ツール
JP6466661B2 (ja) * 2014-07-03 2019-02-06 川崎重工業株式会社 ロボットの教示点変換方法、装置、及びロボットセル
JP6812095B2 (ja) * 2015-10-22 2021-01-13 キヤノン株式会社 制御方法、プログラム、記録媒体、ロボット装置、及び物品の製造方法
JP7122821B2 (ja) * 2017-12-15 2022-08-22 川崎重工業株式会社 ロボットシステム及びロボット制御方法

Also Published As

Publication number Publication date
EP4169676A1 (en) 2023-04-26
WO2021261411A1 (ja) 2021-12-30
EP4169676A4 (en) 2024-07-17
JP7366264B2 (ja) 2023-10-20
US20230249341A1 (en) 2023-08-10
JPWO2021261411A1 (zh) 2021-12-30

Similar Documents

Publication Publication Date Title
US11565427B2 (en) Robot system
US11396100B2 (en) Robot calibration for AR and digital twin
US10585167B2 (en) Relative object localization process for local positioning system
EP1584426B1 (en) Tool center point calibration system
US10052765B2 (en) Robot system having augmented reality-compatible display
US10173324B2 (en) Facilitating robot positioning
JP3946711B2 (ja) ロボットシステム
JP5670416B2 (ja) ロボットシステム表示装置
US20080154428A1 (en) Device, method, program and recording medium for robot offline programming
WO2018043525A1 (ja) ロボットシステム、ロボットシステム制御装置、およびロボットシステム制御方法
CN116079750A (zh) 机器人示教系统
CN115916480A (zh) 机器人示教方法和机器人作业方法
CN115397634A (zh) 取得机器人的控制坐标系中的视觉传感器的位置的装置、机器人系统、方法以及计算机程序
CN114918916A (zh) 基于智能制造的生产监测方法
JP3560216B2 (ja) 作業支援装置
CN109352633B (zh) 一种工业机器人示教方法、系统及计算机存储介质
CN114147723A (zh) 一种自动放样机器人系统及其运行方法
JPH07129231A (ja) 非接触点教示装置
JP7340069B1 (ja) マーカ位置登録プログラム、マーカ位置登録装置、マーカ位置登録方法及びその方法に用いるマーカ
KR20200094941A (ko) 생산 라인에서의 작업자 위치 인식 방법 및 그 장치
JP7278637B2 (ja) 自走式移動装置
TWI853525B (zh) 記錄有標記位置登記程式的非易失性的電腦可讀取媒體、標記位置登記裝置、方法以及其中使用的標記
JP2024098188A (ja) 教示データ蓄積装置
CN118804824A (zh) 对机器人进行示教的装置、对机器人进行示教的方法及对机器人进行示教的程序
CN118502422A (zh) 一种建筑机器人控制方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination