CN111730626A

CN111730626A - 调整机器人装置的动作的动作调整装置及动作调整方法

Info

Publication number: CN111730626A
Application number: CN202010209136.9A
Authority: CN
Inventors: 大野健司郎; 山田慎
Original assignee: Fanuc Corp
Current assignee: Fanuc Corp
Priority date: 2019-03-25
Filing date: 2020-03-23
Publication date: 2020-10-02
Also published as: DE102020107385B4; US20200306957A1; US11534908B2; JP6898374B2; DE102020107385A1; JP2020157398A

Abstract

本发明提供调整机器人装置的动作的动作调整装置及调整机器人装置的动作的动作调整方法。动作调整装置具备配置成拍摄机器人以及机械手的摄像机。机器人控制装置包含以预先规定的控制周期向机器人发出动作指令的动作控制部。摄像机以与控制周期一致的时间间隔拍摄图像。机器人控制装置的判定部基于图像处理部的图像的处理结果判定机械手的动作是否适当。当判定部判定为机械手的动作不适当时，机器人控制装置的修正部修正动作程序中所含的指令句以使机械手的动作成为适当的动作。

Description

调整机器人装置的动作的动作调整装置及动作调整方法

技术领域

本发明涉及调整机器人装置的动作的动作调整装置及调整机器人装置的动作的动作调整方法。

背景技术

在具备机器人的机器人装置中，通过在机器人上安装与作业相应的作业工具，能够进行各种作业。能够通过机器人的动作与作业工具的动作协作来进行作业。例如，能够在机器人到达预先规定的位置后通过机械手握持或释放工件。

基于预先制作的动作程序来驱动机器人及作业工具。存在当基于动作程序驱动机器人装置时机器人装置实施与所期望的动作稍微不同的动作的情况。例如，存在预先规定的时刻的机器人的位置及姿势稍微偏离期望的位置及姿势的情况。操作者能够通过观察实际驱动机器人时的状态来修正机器人装置的动作。

已知在现有技术中将用于监视机器人的动作的摄像机配置在机器人装置中(例如，日本特开2011-19058号公报)。通过处理利用摄像机拍摄到的图像，能够检测出机器人的位置及姿势。例如，已知如下控制：拍摄实际正在驱动的机器人并检测机器人的实际的位置及姿势，从而检测机器人的动作的异常或修正机器人的位置及姿势(例如，日本特开昭60-16386号公报以及特开昭61-118810号公报)。

或者，存在配置在机器人的周围的外围设备根据机器人的动作来进行动作的情况。这种情况下，已知基于利用摄像机拍摄到的图像来控制外围设备的动作以适当地进行机器人的动作和外围设备的动作(例如，日本特开2011-154656号公报)。

发明内容

发明所要解决的课题

近年来，为了提高生产产品的效率而谋求机器人的动作的高速化。在机器人的动作速度慢的情况下，操作者能够通过目视来观察机器人的动作。但是，很难通过目视确认高速驱动的机器人的动作。因此，在驱动了机器人装置时，操作者很难判定机器人装置的动作是否适当。另外，在未按照期望实施机器人装置进行的作业时，很难进行机器人及作业工具等设备的动作的调整。

例如，存在机器人装置进行将工件从一个位置搬运到其他位置的作业的情况。机器人装置通过利用机械手握持工件并驱动机器人能够搬运工件。在利用机械手握持工件时，若开始机械手的驱动的时期较早，则存在无法以期望的状态握持工件的情况。或者，在机械手释放工件时，若在机器人到达目标位置前机械手开始驱动，则有可能抛出工件。

因此，需要根据驱动机器人的状态来调整开始机械手的驱动的时期。但是，很难确认高速动作的机器人的状态。如此，存在具备机器人的机器人装置的动作的调整困难的情况。

用于解决课题的方法

本公开的第1方式的动作调整装置调整包含机器人的机器人装置的动作。动作调整装置具备配置成拍摄机器人以及与机器人的动作对应地进行动作的设备中的至少一方的高速摄像机。动作调整装置具备控制机器人以及设备的动作并且接收利用高速摄像机拍摄到的图像的控制装置。控制装置包含以预先规定的控制周期向机器人发出动作指令的动作控制部和存储机器人及设备的动作程序的存储部。高速摄像机形成为能够以与控制周期一致的时间间隔拍摄图像。控制装置包含进行以与控制周期一致的时间间隔拍摄的图像的处理的图像处理部。控制装置包含基于图像处理部的处理结果判定机器人的动作以及设备的动作中的至少一方的动作是否是预先规定的动作的判定部。控制装置包含修正动作程序中所含的指令句的修正部。当判定部判定为机器人的动作以及设备的动作中的至少一方的动作不是预先规定的动作时，修正部修正动作程序中所含的指令句以使机器人的动作以及设备的动作成为预先规定的动作。

本公开的第2方式的动作调整装置调整包含机器人的机器人装置的动作。动作调整装置具备配置成拍摄机器人以及与机器人的动作对应地进行动作的设备中的至少一方的高速摄像机。动作调整装置具备控制机器人以及设备的动作并且接收利用高速摄像机拍摄到的图像的控制装置。控制装置包含以预先规定的控制周期向机器人发出动作指令的动作控制部和存储机器人及设备的动作程序的存储部。高速摄像机形成为能够以与控制周期一致的时间间隔拍摄图像。控制装置包含进行以与控制周期一致的时间间隔拍摄的图像的处理的图像处理部。控制装置包含基于图像处理部的处理结果判定机器人是否到达用于开始设备的动作的目标位置的判定部。控制装置包含向动作控制部发出动作的指令的指令部。当判定部判定为机器人到达目标位置时，指令部向动作控制部发出开始设备的动作的指令。

本公开的一个方式的动作调整方法是基于利用高速摄像机拍摄到的图像调整机器人装置的动作的方法。机器人装置包含机器人以及与机器人的动作对应地进行动作的设备。高速摄像机形成为能够以与向机器人发出动作指令的控制周期一致的时间间隔拍摄图像。动作调整方法包含高速摄像机以与控制周期一致的时间间隔拍摄机器人以及设备中的至少一方的拍摄工序。动作调整方法包含进行利用高速摄像机拍摄到的图像的处理的图像处理工序。动作调整方法包含基于处理图像的处理结果判定机器人的动作及设备的动作中的至少一方的动作是否是预先规定的动作的判定工序。动作调整方法包含修正动作程序中所含的指令句的修正工序。当在判定工序中判定为机器人的动作以及设备的动作中的至少一方的动作不是预先规定的动作时，在修正工序中修正动作程序中所含的指令句以使机器人的动作以及设备的动作成为预先规定的动作。

附图说明

图1是实施方式中的机器人装置的示意侧视图。

图2是实施方式中的机器人装置的框图。

图3是说明控制装置的动作控制部发送机器人的动作指令的控制周期的图。

图4是拍摄机械手在期望的时期开始驱动并将工件放置到输送机上的状态而得的图像。

图5是实施方式中的第1控制的流程图。

图6是拍摄机械手在比期望的时期早的时期开始驱动并将工件放置到输送机上的状态而得的图像。

图7是实施方式中的动作程序的例子。

图8是实施方式中的第2控制的流程图。

图9是拍摄在将工件放置到输送机上时机器人中发生振动的状态而得的图像。

具体实施方式

参照图1至图9，对实施方式中的调整机器人装置的动作的动作调整装置及调整机器人装置的动作的动作调整方法进行说明。机器人装置具备机器人以及安装在机器人上的作业工具。另外，存在机器人装置具备配置在机器人的周围的外围设备的情况。在本实施方式中，列举搬运工件的机器人装置为例来进行说明。

图1是本实施方式中的机器人装置的示意图。机器人装置5具备作为作业工具(末端执行器)的机械手2以及移动机械手2的机器人1。本实施方式的机器人1是包含多个关节部的多关节机器人。

机器人1包含基座部14以及被基座部14支承的旋转基座13。基座部14固定于设置面。旋转基座13形成为相对于基座部14旋转。机器人1包含上部臂11及下部臂12。下部臂12能够经由关节部转动地被旋转基座13支承。上部臂11能够经由关节部转动地被下部臂12支承。另外，上部臂11绕与上部臂11延伸的方向平行的旋转轴旋转。

机器人1包含连结于上部臂11的端部的腕15。腕15能够经由关节部转动地被上部臂11支承。腕15包含以能够旋转的方式形成的凸缘16。机械手2固定于腕15的凸缘16。本实施方式的机器人1具有6个驱动轴，但不限于该方式。可以采用能够移动作业工具的任意的机器人。

机械手2是握持或释放工件W的作业工具。机械手2具有多个爪部3。通过爪部3夹持工件W来握持工件W。机械手2形成为爪部3打开或闭合。本实施方式的机械手2具有爪部3，但不限于该方式。机械手可以采用以能够握持工件的方式形成的任意的结构。例如，也可以采用通过吸附或磁力握持工件的机械手。

本实施方式中的机器人装置5包含作为配置在机器人1的周围的外围设备的输送机8。输送机8形成为将工件W搬运至其他位置。

本实施方式的机器人装置5握持配置在未图示的作业台上的工件W。机器人1以机械手2能够握持配置在作业台上的工件W的方式变更位置及姿势。通过机械手2的爪部3闭合来握持工件W。接着，通过机器人1变更位置及姿势将工件W搬运至输送机8的载置面。接着，机械手2通过打开爪部3来释放工件W。输送机8在载置了工件W后开始动作，将工件W搬运至预先规定的位置。如此，机器人1的动作与机械手2的动作协作。机械手2相当于与机器人1的动作对应地进行动作的设备。

本实施方式的机器人1高速驱动。作为高速驱动的机器人，例如可以例示形成为工具前端点能够以2000mm/sec以上的速度移动的机器人。就这样的高速驱动的机器人而言，很难通过目视观察机器人驱动的状态。

本实施方式中的机器人装置5包含配置成拍摄机器人1以及机械手2中的至少一方的摄像机7。摄像机7被架台25支承。本实施方式的摄像机7是每秒能够拍摄许多图像的高速摄像机。作为高速摄像机，可以例示每秒能够获取30帧(30fps)以上的图像的摄像机。作为摄像机7可以采用拍摄动态图像的摄像机。或者，作为摄像机7也可以采用拍摄多个静态图像的摄像机。

在本实施方式的机器人装置5中设定有基准坐标系56。在图1所示的例子中，将基准坐标系56的原点配置在机器人1的基座部14。基准坐标系56也被称为世界坐标系。基准坐标系56是原点的位置被固定并且坐标轴的朝向被固定的坐标系。即使机器人1的位置及姿势变化，基准坐标系56的位置及朝向也不会变化。作为坐标轴，基准坐标系56具有相互正交的X轴、Y轴以及Z轴。另外，作为绕X轴的坐标轴设定有W轴。作为绕Y轴的坐标轴设定有P轴。作为绕Z轴的坐标轴设定有R轴。

在本实施方式中，设定有工具坐标系57，该工具坐标系57具有设定在作业工具的任意的位置的原点。当机器人1变化位置及姿势时，工具坐标系57的位置及朝向变化。工具坐标系57具有相互正交的X轴、Y轴以及Z轴作为坐标轴。在图1所示的例子中，工具坐标系57的原点设定在工具前端点。另外，工具坐标系57设定成Z轴延伸的方向平行于机械手2的爪部3延伸的方向。另外，工具坐标系57具有绕X轴的W轴、绕Y轴的P轴以及绕Z轴的R轴。例如，机器人1的位置相当于工具前端点的位置。另外，机器人1的姿势相当于工具坐标系57相对于基准坐标系56的朝向。

图2表示本实施方式中的机器人装置的框图。参照图1及图2，机器人1包含使机器人1的位置及姿势变化的机器人驱动装置。机器人驱动装置包含对臂及腕等构成部件进行驱动的机器人驱动马达22。通过机器人驱动马达22进行驱动，各构成部件的朝向变化。

机械手2具备驱动机械手2的机械手驱动装置。机械手驱动装置包含驱动机械手2的爪部3的机械手驱动马达21。通过机械手驱动马达21进行驱动，机械手2的爪部3打开或闭合。此外，爪部也可以形成为利用气压进行工作。这种情况下，机械手驱动装置可以包含气泵及气缸等驱动爪部的装置。

机器人装置5的控制装置具备机器人控制装置4。机器人控制装置4包含运算处理装置(计算机)，该运算处理装置具有作为处理器的CPU(Central Processing Unit；中央处理单元)。运算处理装置具有经由总线与CPU连接的RAM(Random Access Memory；随机存取存储器)以及ROM(Read Only Memory；只读存储器)等。在机器人控制装置4中输入为了进行机器人1、机械手2以及输送机8的控制而预先制作的动作程序41。机器人控制装置4包含存储与机器人1、机械手2以及输送机8的控制相关的信息的存储部42。存储部42可以由易失性存储器、非易失性存储器或硬盘等能够存储信息的存储介质构成。动作程序41存储在存储部42中。本实施方式的机器人装置5基于动作程序41搬运工件W。机器人装置5能够自动地将工件W搬运至预先规定的位置。

机器人控制装置4包含发出动作指令的动作控制部43。动作控制部43相当于按照动作程序41进行驱动的处理器。处理器通过读取动作程序41并实施动作程序41中规定的控制而作为动作控制部43而发挥作用。

动作控制部43基于动作程序41向机器人驱动部45发出用于驱动机器人1的动作指令。机器人驱动部45包含驱动机器人驱动马达22的电路。机器人驱动部45基于动作指令向机器人驱动马达22供电。另外，动作控制部43基于动作程序41向机械手驱动部44发出驱动机械手2的动作指令。机械手驱动部44包含驱动机械手驱动马达21的电路。机械手驱动部44基于动作指令向机械手驱动马达21供电。并且，动作控制部43基于动作程序41向摄像机7发出拍摄图像的指令。

机器人1包含用于检测机器人1的位置及姿势的状态检测器。本实施方式中的状态检测器包含位置检测器18，该位置检测器18安装于对应臂等构成部件的驱动轴的机器人驱动马达22。能够根据状态检测器的输出获取各驱动轴中的构成部件的朝向。例如，位置检测器18检测机器人驱动马达22进行驱动时的旋转角。基于位置检测器18的输出来检测机器人1的位置及姿势。

机器人装置5的控制装置具备控制输送机8的动作的输送机控制装置9。输送机控制装置9包含运算处理装置(计算机)，该运算处理装置包含CPU及RAM等。输送机控制装置9形成为能够与机器人控制装置4相互通信。输送机控制装置9接收来自机器人控制装置4的指令并驱动输送机8。另外，输送机控制装置9在输送机8将工件W搬运至预先规定的位置时停止输送机8。输送机控制装置9向机器人控制装置4发送停止了输送机8的信号。

本实施方式的机器人装置5的控制装置具备控制机器人1及机械手2的机器人控制装置4和控制输送机8的输送机控制装置9，但不限于该方式。机器人装置5也可以形成为通过1个控制装置控制机器人1、机械手2及输送机8。

图3表示说明控制装置的动作控制部发送的控制周期的图。图3表示动作程序中所记载的移动点P1、P2、P3。例如，以工具前端点从移动点P1朝向移动点P2的方式控制机器人1。并且，以工具前端点从移动点P2移动到移动点P3的方式控制机器人1。动作程序41中规定了移动点P1、P2、P3的位置以及各位置的机器人1的姿势。

动作控制部43以预先规定的控制周期Δt向机器人1发出动作指令。根据机器人1的性能预先规定控制周期Δt。或者，也可以由操作者将控制周期Δt输入机器人控制装置。机器人1的控制周期Δt例如是1msec以上8msec以下的范围内的时间。

动作控制部43从动作程序41获取移动点P1、P2、P3的机器人1的位置及姿势。接着，动作控制部43在各移动点P1、P2、P3彼此之间追加插补点IP。插补点IP被设定在相互邻接的移动点彼此之间。基于机器人1的控制周期Δt的时间间隔生成插补点IP。另外，基于机器人1驱动的速度以及直线移动等机器人1的驱动方法制作插补点IP。

动作控制部43在各插补点IP计算机器人1的位置及姿势。动作控制部43按照每个插补点IP发出动作指令。以工具前端点通过移动点P1、P2、P3以及设定在移动点P1、P2、P3彼此之间的插补点IP的方式控制机器人1的位置及姿势。或者，以工具前端点通过移动点P1、P2、P3附近以及插补点IP附近的方式控制机器人1。

参照图1，本实施方式的机器人装置5如箭头91所示那样搬运工件W。通过机器人1及机械手2的动作，将工件W配置到输送机8的带的载置面。通过机器人1变更位置及姿势，工件W的位置及朝向变化。在本实施方式中，在使工件W从图1所示的状态绕工具坐标系57的Z轴旋转90°的状态下，将工件W载置到输送机8。

参照图1及图2，本实施方式中的摄像机7形成为能够以与机器人1的控制周期Δt一致的时间间隔获取图像。例如形成为以与控制周期Δt相同的时间间隔拍摄图像。即，在控制周期为5msec时，形成为能够拍摄每隔5msec的图像(200fps)。或者，摄像机也可以形成为以控制周期的约数的时间间隔拍摄图像。例如，也可以形成为在控制周期为4msec时能够以1msec或2msec的时间间隔拍摄图像。这种情况下，摄像机也能够以与控制周期相同的时间间隔拍摄图像。

图4表示将工件搬运至输送机时利用摄像机拍摄到的图像。图4表示时刻t1至时刻t6的图像51a～51f。图像51a～51f是按照与控制周期Δt一致的时间间隔Δt拍摄而得的图像。即，图4表示每当动作控制部43向机器人1发送动作指令机器人1的位置及姿势变化的图像。动作控制部43能够在与机器人1的动作指令相同的时期向摄像机7发出进行拍摄的指令。即，能够同步机器人1的动作指令的发送与利用摄像机7进行拍摄的指令的发送。或者，动作控制部43能够在与发送机器人1的动作指令的时期不同的时期向摄像机7发出以与控制周期Δt相同的时间间隔进行拍摄的指令。在各图像51a～51f中拍摄有机器人1及机械手2的动作状态。

在图4中所示的图像51a～51f中，机器人1及机械手2按照操作者所期望那样进行动作并将工件W载置到输送机8。图像51a是在时刻t1朝向输送机8搬运工件W时的图像。机器人1朝向预先规定的目标位置及目标姿势变更位置及姿势。通过机械手2的爪部3握持着工件W。腕15及机械手2如箭头92所示那样朝向输送机8的载置面移动。图像51b是在时刻t2朝向输送机8搬运工件W时的图像。工件W接近输送机8，机器人1减速。

图像51c是在时刻t3拍摄到的图像。机器人1到达预先规定的目标位置及目标姿势。工件W接触输送机8的载置面，机器人1的动作停止。机械手2的爪部3握持着工件W。

图像51d是在时刻t4拍摄到的图像。根据动作控制部43的指令，机械手2的爪部3如箭头93所示那样开始相互离开的动作。图像51e是在时刻t5拍摄到的图像。通过爪部3如箭头93所示那样沿相互离开的方向移动来释放工件W。图像51f是在时刻t6拍摄到的图像。机械手2的爪部3完全打开。在爪部3移动至预先规定的位置时，爪部3的移动停止。工件W被配置到输送机8的载置面。之后，通过机器人1进行驱动，机械手2离开工件W。机器人1变更位置及姿势以握持下一工件W。之后，输送机8开始驱动以搬运工件W。

在图4所示的机器人装置5的动作中，在机器人1将工件W配置到期望的位置后，机械手2释放工件W。另外，机器人1在停止动作时不振动。因此，机器人装置5能够将工件W配置到输送机8中的期望的位置。另一方面，就机械手2这样的与机器人1的动作对应地进行动作的设备而言，存在相对于机器人1的状态的设备的动作偏离期望的动作的情况。首先，作为调整机器人装置的动作的动作调整方法，说明控制装置进行的第1控制。在第1控制中，相对于机器人1的动作，调整开始机械手2的动作的时期。

参照图2，本实施方式的机器人装置5具备调整机器人装置的动作的动作调整装置10。动作调整装置10包含机器人控制装置4和摄像机7。机器人控制装置4包含接收来自位置检测器18的信号以及来自摄像机7的信号并进行信号的处理的信号处理部31。信号处理部31包含进行利用摄像机7拍摄到的图像的处理的图像处理部32。图像处理部32接收摄像机7拍摄到的图像。图像处理部32进行以与控制周期一致的时间间隔拍摄的图像的处理。

信号处理部31包含基于图像处理部32的处理结果判定机器人1的动作以及机械手2的动作中的至少一方的动作是否是预先规定的动作的判定部33。判定部33判定机器人装置5的动作是否适当。在这里的例子中，判定部33判定安装在机器人1上的机械手2放开工件W的时期是否适当。

信号处理部31包含修正动作程序中所含的指令句的修正部34。存在判定部33判定为机器人1的动作以及机械手2的动作中的至少一方的动作不是预先规定的动作的情况。这种情况下，修正部34以使机器人1的动作以及机械手2的动作成为预先规定的动作的方式修正动作程序41中所含的指令句。

上述的信号处理部31、图像处理部32、判定部33、修正部34以及指令部35的各单元相当于按照动作程序41进行驱动的处理器。处理器通过读取动作程序41并实施动作程序41中规定的控制而作为各单元发挥作用。

对第1控制中将工件W载置到输送机8的载置面时机械手2的爪部3打开的时期较早的例子进行说明。而且，修正部34修正动作程序41中所含的指令句以使机器人1到达目标位置时爪部3打开的时期延迟。

图5表示本实施方式中的第1控制的流程图。图6表示拍摄爪部在比期望的时期早的时期打开的状态而得的图像。参照图5及图6，在步骤71，动作控制部43基于动作程序41实施以朝向输送机8搬运工件W的方式驱动机器人1的驱动工序。动作控制部43控制机器人1及机械手2以握持载置在作业台上的工件W。动作控制部43控制机器人1的位置及姿势以将工件W载置到输送机8的载置面。

在步骤72中，动作控制部43实施利用摄像机7拍摄图像的拍摄工序以拍摄将工件W载置到输送机8的区域。摄像机7以与控制周期一致的时间间隔拍摄机器人1及机械手2的图像。

图6表示在拍摄工序中拍摄到的图像52a～52f。图6表示在与图4相同的时刻t1～t6拍摄到的图像。图像52a是在时刻t1拍摄到的图像。腕15及机械手2移动至输送机8的表面附近。机器人1朝向目标位置及目标姿势变更位置及姿势。

如图4的图像51c～51f所示，机械手2在将工件W载置到输送机8的载置面后需要打开爪部3。但是，在图6中的图像52a中，爪部3在时刻t1如箭头93所示那样开始打开的动作。即，爪部3打开的动作比期望的时期早，机械手2实施了与预先规定的动作不同的动作。爪部3的握持被解除，工件W坠落到输送机8的载置面。工件W有时被配置到偏离期望的位置的位置。或者，工件W有时因机器人1的动作而被抛出。

图像52b是在时刻t2拍摄到的图像。在图像52b中，爪部3如箭头93所示那样继续打开的动作。另外，机器人1如箭头92所示那样朝向目标位置及目标姿势变更位置及姿势。工件W从机械手2坠落而被配置到输送机8的表面。

图像52c是在时刻t3拍摄到的图像。机械手2相对于输送机8到达期望的位置。即，机器人1到达目标位置及目标姿势。机械手2完全打开。

图像52d是在时刻t4拍摄到的图像。图像52e是在时刻t5拍摄到的图像。图像52f是在时刻t6拍摄到的图像。如图像52d～52f所示，机器人1停止，并且机械手2维持打开的状态。参照图4，在正常的动作中，时刻t4至时刻t6的期间是打开爪部3的期间，但在图6所示的例子中，在时刻t3爪部3打开的动作结束。

参照图5，在步骤73中，图像处理部32实施进行利用摄像机7拍摄到的图像的处理的图像处理工序。图像处理部32接收利用摄像机7拍摄到的图像。图像处理部32计算操作工件W的时期。在这里的例子中，图像处理部32基于图像52a～52f来检测机械手2开始打开的动作的时期。

在本实施方式中，在存储部42中存储有爪部3的位置相互不同的机械手2的多个基准图像。参照图4，例如在存储部42中存储有图像51a所示的爪部3闭合的机械手2的基准图像(通过爪部3握持着工件W的机械手2的基准图像)、图像51e所示的爪部3稍微打开的机械手2的基准图像。这样的基准图像可以由操作者预先拍摄机械手2并输入到机器人控制装置4。

图像处理部32在图6所示的图像52a～52f中判定哪个图像中包含爪部3闭合的机械手2的基准图像。例如，图像处理部32通过利用图案匹配法比较机械手2的图像来检测包含爪部3闭合的机械手2的图像。另外，图像处理部32检测包含爪部3稍微打开的机械手2的基准图像的图像。其结果，图像处理部32判定为图像52a中包含爪部3闭合的机械手2的基准图像。另外，图像处理部32判定为图像52b中包含爪部3稍微打开的机械手2的基准图像。因此，图像处理部32判定为机械手2开始动作的时期是爪部3开始打开的时刻t1。

在图4所示的正常的驱动的例子中，在时刻t4的图像51d中爪部3闭合，在时刻t5的图像54e中爪部3稍微打开。因此，能够将时刻t4设定为爪部3开始打开的时期。即，能够将时刻t4设定为机械手2开始驱动的目标时期。另外，能够设定机械手2开始驱动的目标时期的判定范围。在这里的例子中，能够将工件W被载置到输送机8之后的期间设定为目标时期的判定范围。在本实施方式中，将时刻t3至时刻t5的期间设定为机械手2开始动作的目标时期的判定范围。

预先规定目标时期的判定范围并存储在存储部4中。可以由操作者预先设定目标时期的判定范围。或者，也可以是图像处理部32基于图4所示的图像51a～51f利用图案匹配等方法来设定目标时期的判定范围。

参照图5，在步骤74中，判定部33实施基于处理图像的处理结果判定机械手2的动作是否是预先规定的动作的判定工序。在第1控制的判定工序中，判定机械手2的动作是否适当。在这里的判定工序中，判定机械手2操作工件W的时期是否在判定范围内。判定部33判定通过图像处理部32检测出的机械手2开始动作的时期是否脱离目标时期的判定范围。在步骤74中，当操作工件W的时期在判定范围内时，结束该控制。

如前所述，图像处理部32判定为机械手2开始动作的时期是时刻t1。与之相对，目标时期的判定范围是时刻t3至时刻t5的期间。因此，判定部33判定为机械手2开始动作的时期脱离了目标的判定范围。在步骤74中，当操作工件W的时期脱离了目标时期的判定范围时，控制进入步骤75。

接着，修正部34实施修正动作程序41中所含的指令句的修正工序以使机械手2的动作成为预先规定的动作。修正部34基于目标时期的判定范围与通过图像处理部32检测出的机械手2开始动作的时期的差修正动作程序41中机械手2开始动作的时期的指令句。

在步骤75中，修正部34计算操作工件W的时期的校正值。在这里的例子中，采用时刻t3至时刻t5的判定范围中的中间的时期即时刻t4作为最优选的目标时期。修正部34计算机械手2开始动作的时刻为时刻t4的校正值。修正部34能够将(t4-t1)的时间长度设定为校正值。

在步骤76中，修正部34从存储部42接收动作程序41。修正部34修正动作程序中所含的指令句以使机械手2开始动作的时刻延迟(t4-t1)的时间长度。这里，对动作程序的例子进行说明。

图7表示本实施方式中的动作程序的例子。动作程序41包含用于规定机器人1的动作的移动点的信息。在动作程序41中，使用符号P表示移动点。在图7所示的例子中，设定有移动点P[1]及移动点P[2]。在动作程序41的最后记载有各移动点的机器人1的位置及姿势。或者，也可以从详细地设定动作程序41的变量的设定文件引用移动点的机器人1的位置及姿势。在本实施方式中，利用工具前端点的位置来指定移动点的机器人1的位置。另外，利用工具坐标系57的朝向来指定移动点的机器人1的姿势。能够利用基准坐标系56的W轴的坐标值、P轴的坐标值以及R轴的坐标值来指定工具坐标系57的朝向。

机器人控制装置4以机器人1通过各移动点或移动点附近的方式控制机器人1。例如，在动作程序41的第1行的指令句中记载有工具前端点移动至移动点P[1]的指令。并且，在第2行的指令句中记载有工具前端点从移动点P[1]移动至移动点[2]的指令句。在第3行的指令句中记载有从移动点[2]移动至移动点[1]的指令句。

在各指令句中，符号L表示直线移动工具前端点。另外，表示了以工具前端点的速度为4000mm/sec来进行移动的指令。另外，符号CNT表示可以离开移动点的距离的变量。在符号CNT之后的值越大可以离开移动点的距离越长。在符号CNT之后的值越大机器人1的动作越顺畅。

在第2个指令句中，符号P[2：Drop＿Pos]表示移动点P[2]为放置工件W的位置。符号“TB.01sec，RO[1]＝OFF”表示在机器人1到达移动点P[2]前的0.01秒使设备RO[1]为“OFF”的状态的控制。这里的设备RO[1]为机械手2。因此，表示了在机器人1到达移动点P[2]前的0.01秒将开始工件W的释放的指令发送给机械手2的控制。另外，符号ACC100表示在靠近目标位置时进行加速或减速时的增益。在符号ACC之后记载的值越大，加速度的大小越大。

参照图2、图5及图7，在步骤76中，修正部34修正符号“TB.01sec”以使机械手2释放工件W的时期延迟。在这里的例子中，修正部34修正成为从0.01减去时间长度(t4-t1)而得的值。通过进行该控制能够延迟爪部3打开的时期。修正部34向存储部42发出经修正的动作程序41。动作控制部43基于经修正的动作程序41控制机械手2。

接着，控制返回步骤71。在本实施方式的第1控制中，在步骤76中修正了动作程序41中的指令之后，重复前述的步骤71至步骤76的程序修正控制。即，机器人控制装置4在修正部34中修正了动作程序41的指令句之后实施与上一次相同的机器人1及机械手2的动作。另外，利用摄像机7拍摄图像。机器人控制装置4基于以与控制周期对应的间隔拍摄的图像的处理结果来判定机械手2的动作是否是预先规定的动作。通过实施该控制，能够判定是否适当地调整了机器人装置5的动作。

并且，当机械手2的动作不是预先规定的动作时，修正动作程序中所含的指令。另一方面，在步骤74中，当操作工件W的时期在判定范围内时，结束该控制。在本实施方式中，重复修正动作程序的程序修正控制直到机器人装置的动作成为预先规定的动作。通过多次实施修正动作程序的控制，能够以机器人装置的动作成为适当的动作的方式更可靠地进行调整。此外，也可以在实施了1次步骤76之后结束控制。

如此，在本实施方式中，能够调整与机器人1的动作对应地开始动作的设备的动作的开始时期。能够抑制配置工件W的位置偏离或抛出工件。

在上述的实施方式中，作为机械手2的动作例示了机械手2释放工件W的动作，但不限于该方式。也可以将本实施方式的控制应用于机械手2握持工件W的动作。例如，在握持工件时，若机械手闭合的时期较早，则存在无法握持工件的情况。或者，存在机械手无法以期望的状态握持工件的情况。另一方面，若闭合机械手的时期较迟，则存在机器人开始驱动而无法握持工件的情况。或者，存在无法以期望的状态握持工件的情况。这种情况下，通过实施第1控制，能够调整机械手闭合的时期并以适当的状态握持工件。

在上述的控制中，调整打开或闭合机械手的时期，但不限于该方式，也可以调整机器人的动作。也可以调整机器人的动作速度或加速度以使机械手在适当的时期握持或释放工件。例如，当机械手释放工件的时期较早时，也可以实施增大机器人停止时的减速的加速度的大小的控制。

接着，对本实施方式中的控制装置的第2控制进行说明。存在机器人1的动作停止时机器人1振动的情况。在第2控制中，实施修正动作程序41中所含的指令句的控制以抑制机器人1停止时产生的振动。

图8表示本实施方式中的第2控制的流程图。步骤71以及步骤72与第1控制相同(参照图5)。在步骤71中，机器人1实施驱动机器人1的驱动工序以朝向输送机8的载置面搬运工件W。在步骤72中，摄像机7实施以与控制周期相同的时间间隔拍摄图像的拍摄工序。

图9表示拍摄停止机器人后机器人振动的状态而得的图像。图9表示在与图4相同的时刻t1～t6拍摄到的图像53a～53f。图像53a、53b与拍摄机器人装置5的正常的动作而得的图4的图像51a、51b相同。时刻t1至时刻t2机器人1及机械手2的动作适当。

在时刻t3拍摄到图像53c。机器人1在时刻t3到达目标位置及目标姿势而停止。工具前端点TC1到达预先规定的目标位置。此时，存在伴随机器人1的停止而机器人1振动的情况。伴随机器人1的振动，机械手2也振动。如箭头94所示，机械手2上升。

在时刻t4拍摄到图像53d。因机械手2的振动工件W被抬高。工具前端点TC2比工具前端点TC1的位置高。爪部3在时刻t4如箭头93所示那样开始打开的动作。即，机械手2开始动作。此时，工件W由于离开了输送机8而朝向输送机8坠落。工件W有时被配置到偏离期望的位置的位置。机械手2因机器人1的振动而沿箭头95所示的朝向移动。

在时刻t5拍摄到图像53e。爪部3如箭头93所示继续打开的动作。另外，如箭头94所示，机械手2因机器人1的振动而上升。

在时刻t6拍摄到图像53f。因机器人1振动，爪部3被配置到离开工件W的位置。之后，如箭头95所示，机械手2因机器人1的振动而下降。

在第2控制中，机器人控制装置4检测机器人1到达目标位置及目标姿势时的作业工具的振动量。当振动量脱离判定范围时，机器人控制装置4修正动作程序中用于机器人1停止的减速的加速度的指令句。

参照图2、图8及图9，在步骤81中，图像处理部32实施进行利用摄像机7拍摄到的图像的处理的图像处理工序。图像处理部32基于以与控制周期相同的时间间隔拍摄的图像来检测机器人1到达目标位置时的作业工具的振动量。在本实施方式中，作为振动量，图像处理部32检测机械手2的振动的振幅。

在本实施方式中，相对于作业工具的实际的位置校准图像中的作业工具的位置。能够使用基准坐标系56计算出机械手2的实际的位置及朝向。相对于基准坐标系56所示的位置校准利用摄像机7拍摄到的图像中的机械手2的位置。即，只要确定了图像中的机械手2的位置就能确定离开摄像机7预先规定的距离的平面上的机械手2的位置。

存储部42存储爪部3闭合时的机械手2的基准图像(通过爪部3握持着工件W时的机械手2的基准图像)、爪部3稍微打开时的机械手2的基准图像以及爪部3完全打开时的机械手2的基准图像。图像处理部32能够利用图案匹配法检测出各图像53a～53f中的机械手2的位置。图像处理部32能够基于图像53a～53f中的机械手2的位置计算出各时刻的机械手2的实际的位置。另外，图像处理部32能够基于机械手2的实际的位置计算出机器人装置5的工具前端点TC1、TC2、TC3、TC4的实际的位置。

图像处理部32能够提取机器人1停止时发生振动的时期的图像。在本实施方式中，存储部42存储机器人1为了作业工具开始动作而停止的目标位置。在时刻t3，机器人1的位置及姿势到达目标位置及目标姿势。图像处理部32检测出机器人1到达目标位置及目标姿势的时刻t3。图像处理部32基于机器人1到达目标位置及目标姿势的时刻t3提取多个图像。在这里的例子中，图像处理部32提取预先规定的张数的图像。图像处理部32提取机器人1到达目标位置及目标姿势时的图像53c。另外，图像处理部32提取在时刻t3的图像53c之后拍摄到的时刻t4的图像53d、时刻t5的图像53e以及时刻t6的图像53f。

图像处理部32计算与各图像53c、53d、53e、53f对应的工具前端点TC1、TC2、TC3、TC4的位置。图像处理部32能够计算出工具前端点的最高的位置与最低的位置的差来作为振动量。在这里的例子中，图像处理部32计算出工具前端点TC2的位置与工具前端点TC3的位置的差来作为振动量VA。作为振动量，不限于该方式，可采用与振动的大小相关的任意的值。例如，图像处理部32也可以提取连续的2张图像并计算出2张图像中的机械手2的位置的差来作为振动量。

接着，在步骤82中，判定部33实施基于处理图像的处理结果判定机器人1的动作是否是预先规定的动作的判定工序。在第2控制中的判定工序中，判定机器人1的动作是否适当。判定部33判定通过图像处理部32检测出的机械手2的振动量VA是否脱离振动量的判定范围。

存储部42存储机器人1停止动作时的作业工具的振动量的判定范围。当机械手2的振动量VA脱离了振动量的判定范围时，判定部33判定为机器人1中发生了较大的振动。判定部33判定为机器人1的动作不是预先规定的动作。在这里的例子中，机械手2的振动量VA超过了判定范围的上限值。这种情况下，控制进入步骤83。

在步骤83中，修正部34实施修正动作程序41中所含的指令句的修正工序以使机器人1的动作成为预先规定的动作。当机械手2的振动量VA脱离了振动量的判定范围时，修正部34修正动作程序41中用于机器人1停止的减速的加速度的指令句。

在这里的例子中，修正部34将加速度的大小变更为减去预先规定的量而得的值。参照图7，修正部34修正第2行的指令句中的符号ACC100中的增益的值。例如，修正部34将加速度的增益从100变更为80。此外，修正部34也可以基于振动量计算出减速的加速度的大小。例如，修正部34也可以以振动量越大减速的加速度的大小越小的方式修正指令句。

在步骤83的控制结束后，控制返回步骤71。在第2控制中，也在动作程序41的修正结束后重复步骤71至步骤83的程序修正控制。如此，通过重复修正动作程序的控制直到振动量处于判定范围内，能够更可靠地抑制振动。在步骤82中，当振动量VA在判定范围内时，结束该控制。或者，也可以与第1控制同样，在实施了1次步骤83之后结束该控制。

在第2控制中，能够以抑制机械手2的振动量的方式修正动作程序。通过抑制机械手2的振动，能够在配置工件W时抑制位置的偏离。或者，能够抑制因机械手2的振动抛出工件W而无法将其配置到预先规定的位置。

在上述的第2控制中例示了停止机器人时的振动量大的情况，但不限于该方式。在停止机器人时的振动量非常小的情况下，也可以应用第2控制。例如，在振动量小于判定范围的下限值的情况下，也可以实施增大停止机器人1时的加速度的大小的控制。通过该控制，能够缩短机器人装置5的作业时间。

在上述的第1控制及第2控制中，进行利用摄像机拍摄到的图像的处理的图像处理工序也可以由操作者来实施。另外，基于处理图像的处理结果判定机器人的动作以及机械手的动作中的至少一方的动作是否适当的判定工序也可以由操作者来实施。并且，为使机器人1的动作以及设备的动作变得适当而修正动作程序中所含的指令句的修正工序也可以由操作者来实施。

接着，对本实施方式中的第3控制进行说明。在第3控制中，在驱动机器人装置5的期间中利用摄像机拍摄图像。基于利用摄像机拍摄到的图像，调整机器人以及与机器人的动作对应地进行动作的设备中的至少一方的动作。参照图2，本实施方式中的信号处理部31包含向动作控制部43发出机器人1以及与机器人1的动作对应地进行动作的设备的动作的指令的指令部35。指令部35相当于按照动作程序41进行驱动的处理器。处理器通过读取动作程序41并实施动作程序41中规定的控制来作为指令部35而发挥作用。这里，将机械手2例示为与机器人1的动作对应地进行动作的设备来进行说明。另外，判定部33判定机器人1的位置及姿势是否到达动作程序41中规定的目标位置及目标姿势。

在第3控制中，摄像机7以与控制周期一致的时间间隔拍摄机器人1及机械手2。图像处理部32检测机械手2的位置。判定部33判定机械手2的位置是否到达用于开始机械手2的动作的目标位置。即，判定部33判定机器人1的位置及姿势是否到达动作程序41中所记载的目标位置及目标姿势。在判定部33判断为机械手2到达目标位置时，指令部35向动作控制部43发出开始机械手2的动作的指令。

例如，参照图2及图4，如图像51a至图像51c所示，在工件W接近输送机8时，摄像机7拍摄机器人1及机械手2。存储部42存储机械手2闭合的状态的基准图像。图像处理部32基于机械手2的基准图像，利用图案匹配法来检测图像中的机械手2的位置。图像处理部32每获取1张图像就检测机械手2的实际的位置。另外，图像处理部32检测机器人1的实际的位置及姿势。判定部33判定机器人1是否到达动作程序41中所记载的目标位置及目标姿势。在这里的例子中，机器人1在时刻t3到达用于开始机械手2的动作的目标位置及目标姿势。

判定部33判定为在图像51c中机器人1到达动作程序41中所记载的目标位置。即，判定部33判定为工件W在时刻t3被载置到输送机8的上表面。指令部35向动作控制部43发出开始打开机械手2的爪部3的动作的指令。动作控制部43向机械手驱动部44发出打开机械手2的指令来实施机械手2打开爪部3的动作。

如此，在第3控制中，能够拍摄实际驱动的机器人1以及根据机器人1的动作而开始动作的设备并控制设备的动作的开始时期。在第3控制中，以与控制周期一致的时间间隔拍摄图像，因此能够在适当的时期开始设备的动作。例如，能够抑制机械手2放开工件W的时期过早或过迟。另外，能够在到达机器人1的适当的位置及姿势后立即着开始设备的动作。因此，无需设定机器人1停止的等待时间或用于机器人1的动作的富裕的时间，能够缩短作业时间。

在上述的第1控制、第2控制以及第3控制中，拍摄机器人1及机械手2的双方，但不限于该方式。也可以拍摄机器人1及机械手2中的至少一方的图像。机器人1的位置及姿势与机械手2的位置及朝向对应。因此，通过获取机器人1或机械手2的图像，图像处理部32能够检测出机器人1的位置及姿势。

在上述的实施方式中，作为与机器人1的动作对应地进行动作的设备例示了机械手，但不限于该方式。作为与机器人1的动作对应地进行动作的设备，可以与机器人装置进行的作业对应地采用任意的作业工具。

例如，在进行点焊的机器人装置中，将点焊枪作为作业工具安装在机器人。点焊枪被配置到预先规定的位置后以相互对置的电极接近的方式实施点焊。此时，若开始电极的移动的时期早于或迟于期望的时期，则有可能无法在正确的位置实施点焊。或者，若在机器人停止时机器人振动，则有可能无法在正确的位置实施点焊。通过将本实施方式的控制应用于进行点焊的机器人装置，能够在正确的位置进行点焊。

另外，作为与机器人的动作对应地进行动作的设备，不限于作业工具，可以采用配置在机器人1的周围的任意的外围设备。尤其可以例示与机器人协作地动作的任意的设备。可以将配置在机器人的周围的输送机或在地面上行驶以搬运工件的行驶台车例示为该设备。

例如，在图4中，在时刻t6之后，机器人1以使机械手2离开工件W的方式进行驱动。在机器人1进行驱动之后，输送机8开始动作来移动工件W。也可以将本实施方式的控制应用于开始这样的输送机8的动作的时期。即，可以根据机器人1及机械手2的动作调整开始输送机8的动作的时期。

根据本公开的方式，能够提供可调整具备机器人的机器人装置的动作的动作调整装置及动作调整方法。

在上述的各控制中，可以在不变更功能及作用的范围内适当地变更步骤的顺序。

可以适当地组合上述的实施方式。在上述的各附图中，对相同或者等同的部分标注了相同的附图标记。另外，上述的实施方式为例示，并不限定发明。另外，实施方式中包含技术方案所示的实施方式的变更。

Claims

1.一种动作调整装置，其调整包含机器人的机器人装置的动作，其特征在于，所述动作调整装置具备：

高速摄像机，其配置成拍摄机器人以及与机器人的动作对应地进行动作的设备中的至少一方；以及

控制装置，其控制机器人以及所述设备的动作，并且接收利用所述高速摄像机拍摄到的图像，

所述控制装置包含以预先规定的控制周期向机器人发出动作指令的动作控制部和存储机器人及所述设备的动作程序的存储部，

所述高速摄像机形成为能够以与所述控制周期一致的时间间隔拍摄图像，

所述控制装置包含：

图像处理部，其进行以与所述控制周期一致的时间间隔拍摄的图像的处理；

判定部，其基于所述图像处理部的处理结果判定机器人的动作以及所述设备的动作中的至少一方的动作是否是预先规定的动作；以及

修正部，其修正动作程序中所含的指令句，

当所述判定部判定为机器人的动作以及所述设备的动作中的至少一方的动作不是预先规定的动作时，修正部修正动作程序中所含的指令句以使机器人的动作以及所述设备的动作成为预先规定的动作。

2.根据权利要求1所述的动作调整装置，其特征在于，

所述设备是安装在机器人上的作业工具，

所述存储部存储机器人到达目标位置时作业工具开始动作的目标时期的判定范围，

所述高速摄像机在机器人到达目标位置时拍摄作业工具，

所述图像处理部基于以与所述控制周期相同的时间间隔拍摄的图像检测作业工具开始动作的时期，

所述判定部判定通过所述图像处理部检测出的作业工具开始动作的时期是否脱离目标时期的判定范围，

当作业工具开始动作的时期脱离了目标时期的判定范围时，修正部基于目标时期的判定范围与通过所述图像处理部检测出的作业工具开始动作的时期的差修正动作程序中作业工具开始动作的时期的指令句。

3.根据权利要求1所述的动作调整装置，其特征在于，

所述设备是安装在机器人上的作业工具，

所述存储部存储用于作业工具进行动作的机器人到达的目标位置和机器人停止动作时的作业工具的振动量的判定范围，

所述高速摄像机在机器人到达目标位置时拍摄机器人以及作业工具中的至少一方，

所述图像处理部基于以与所述控制周期相同的时间间隔拍摄的图像检测机器人到达目标位置后的作业工具的振动量，

所述判定部判定通过所述图像处理部检测出的作业工具的振动量是否脱离振动量的判定范围，

当作业工具的振动量脱离了振动量的判定范围时，修正部修正动作程序中用于机器人停止的减速的加速度的指令句。

4.根据权利要求1至3中任一项所述的动作调整装置，其特征在于，

所述控制装置在修正部修正了动作程序的指令句后实施与上一次相同的机器人及所述设备的动作，

所述高速摄像机以与所述控制周期一致的时间间隔拍摄图像，

所述判定部基于所述图像处理部的处理结果判定机器人的动作以及所述设备的动作中的至少一方的动作是否是预先规定的动作。

5.一种动作调整装置，其调整包含机器人的机器人装置的动作，其特征在于，所述动作调整装置具备：

所述控制装置包含：

判定部，其基于所述图像处理部的处理结果判定机器人是否到达用于开始所述设备的动作的目标位置；以及

指令部，其向动作控制部发出动作的指令，

当所述判定部判定为机器人到达目标位置时，指令部向动作控制部发出开始所述设备的动作的指令。

6.一种动作调整方法，其基于利用高速摄像机拍摄到的图像调整机器人装置的动作，其特征在于，

机器人装置包含机器人以及与机器人的动作对应地进行动作的设备，

所述高速摄像机形成为能够以与向机器人发出动作指令的控制周期一致的时间间隔拍摄图像，

所述动作调整方法包含：

所述高速摄像机以与所述控制周期一致的时间间隔拍摄机器人以及所述设备中的至少一方的拍摄工序；

进行利用所述高速摄像机拍摄到的图像的处理的图像处理工序；

基于处理图像的处理结果判定机器人的动作以及所述设备的动作中的至少一方的动作是否是预先规定的动作的判定工序；以及

修正动作程序中所含的指令句的修正工序，

当在判定工序中判定为机器人的动作以及所述设备的动作中的至少一方的动作不是预先规定的动作时，在修正工序中修正动作程序中所含的指令句以使机器人的动作以及所述设备的动作成为预先规定的动作。