CN115734850A - 工业机械的状态监视装置以及状态监视方法 - Google Patents

Abstract

机器人状态监视装置(2)具备：摄像机，其拍摄控制器的控制下的机器人(3)；动态图像生成部，其将由摄像机取得的机器人(3)的影像数据与控制器的输入输出信号(DO[1]、AO[1]、DI[1]、AI[1])沿着时间轴(830)建立关联，从而生成表示机器人(3)以及输入输出信号(DO[1]、AO[1]、DI[1]、AI[1])的状态变化的动态图像；以及动态图像再生装置，其再生由该动态图像生成部生成的动态图像。动态图像生成部在与影像数据的帧速率相同的周期下，取得各帧的记录时刻的输入输出信号(DO[1]、AO[1]、DI[1]、AI[1])的值。

Description

工业机械的状态监视装置以及状态监视方法

技术领域

本发明涉及工业机械的状态监视装置以及状态监视方法。

背景技术

在通过机器人控制装置控制机器人的机器人系统中，在机器人控制装置上连接各种周边设备。在这样的机器人系统中，在扩展系统时和应对机器人控制装置与周边设备之间的通信故障时，需要确认机器人控制装置的输出信号和输入信号的状态。

在专利文献1所示的机器人监视系统中，通过拍摄装置拍摄在机器人控制装置的控制下动作的机器人，将拍摄装置拍摄而得到的图像信息与时刻信息以及机器人的作业内容信息相关联地保存，将保存的图像信息与时刻信息以及作业内容信息一起显示于显示装置。根据该机器人监视系统，能够使作业者尽早且容易地确定发生了不良情况的部位。

现有技术文献

专利文献

专利文献1：日本特开2015-168016号公报

发明内容

发明所要解决的课题

如上所述，通过由摄像装置记录机器人的动作来监视机器人的状态的技术是已知的。然而在以往的机器人的状态监视装置中，无法明确机器人的动作状态与机器人控制装置的输出信号、输入信号的状态之间的相关性。

本公开是鉴于所述课题而完成的，提供一种能够沿着时间轴容易地明确工业机械的动作状态与其控制器的信号的状态之间的相关性的工业机械的状态监视装置以及状态监视方法。

用于解决课题的手段

本公开的一个方式是一种工业机械的状态监视装置，具备：拍摄装置，其拍摄控制器的控制下的工业机械；动态图像生成部，其将由所述拍摄装置取得的影像数据和作为所述控制器的输入信号以及输出信号中的至少任意一个的输入输出信号沿着时间轴建立关联，从而生成表示所述工业机械以及所述输入输出信号的状态变化的动态图像；以及动态图像再生装置，其对由所述动态图像生成部生成的动态图像进行再生。

本公开的一个方式是一种工业机械的状态监视方法，通过摄像装置拍摄控制器的控制下的工业机械，将由所述摄像装置取得的影像数据和作为所述控制器的输入信号以及输出信号中的至少任意一个的输入输出信号沿着时间轴建立关联，从而生成表示所述工业机械以及所述输入输出信号的状态变化的动态图像，通过动态图像再生装置再生所述动态图像。

发明效果

根据本公开的一个方式，能够沿着时间轴容易地明确工业机械的动作状态与其控制器的输入输出信号的状态之间的相关性。

附图说明

图1是具备本公开的一实施方式的机器人状态监视装置的机器人系统的概略图。

图2A是示意性地表示由摄像机拍摄的影像数据的帧速率与输入输出信号的更新周期的关系的图。

图2B是示意性地表示由摄像机拍摄的影像数据的帧速率与输入输出信号的更新周期的关系的图。

图3是表示由动态图像生成部生成的动态图像的一例的图。

图4A是表示程序编辑部的程序编辑图像(由作业者进行的编辑操作前)的一例的图。

图4B是表示程序编辑部的程序编辑图像(由作业者进行的编辑操作后)的一例的图。

具体实施方式

以下，参照附图，对具备本公开的一实施方式的机器人状态监视装置2的机器人系统1进行说明。

图1是具备本实施方式的机器人状态监视装置2的机器人系统1的概略图。

机器人系统1具备作为工业机械的机器人3、第一周边设备41、第二周边设备42、监视机器人3和周边设备41、42的状态的机器人状态监视装置2。

在本实施方式中，对机器人3例如为根据从后述的控制器51发送的控制信号，在预定的位置把持工件并执行将把持的工件输送至预定的位置的一系列输送动作的输送机器人的情况进行说明，但本公开不限于此。机器人3只要是焊接机器人或涂装机器人等根据从控制器51发送的控制信号进行动作的机器人即可。

机器人状态监视装置2具备：机器人控制装置5，其对机器人3进行控制；摄像机6，其作为拍摄机器人3的输送动作的摄像装置；以及动态图像再生装置7，其对动态图像进行再生。

摄像机6设置在机器人3的附近。摄像机6在预定的帧速率下拍摄机器人控制装置5的控制下的机器人3的输送动作，并将取得的机器人3的影像数据发送至机器人控制装置5。

机器人控制装置5是由经由通信线43与周边设备41、42进行通信的通信单元(省略图示)、CPU(Central Processing Unit：中央处理单元)等运算处理单元(省略图示)、存储有各种程序的HDD(Hard Disk Drive：硬盘驱动器)、SSD(Solid State Drive：固态驱动器)等辅助存储单元(省略图示)以及用于在运算处理单元执行程序时暂时存储所需的数据的RAM(Random Access Memory：随机存取存储器)这样的主存储单元(省略图示)等硬件构成的计算机。如图1所示，在机器人控制装置5中，通过所述硬件结构实现控制器51、程序存储部52、动态图像生成部53、程序编辑部54以及动态图像保存部55等各种功能。

控制器51经由通信线43与周边设备41、42交换数字信号和模拟信号，并且按照存储于程序存储部52的程序来控制机器人3。

在程序存储部52中存储有多个用于在控制器51中规定从该控制器51向机器人3或周边设备41、42输出的输出信号的值的程序。另外，存储于程序存储部52的多个程序中的至少一部分程序能够通过后述的程序编辑部54进行编辑。

动态图像生成部53取得从摄像机6发送的机器人3的影像数据和控制器51的输入输出信号，并且将取得的影像数据和输入输出信号沿着共同的时间轴建立关联，由此生成表示机器人3以及输入输出信号的状态变化的动态图像(参照后述的图3)，并保存到动态图像保存部55。在此，动态图像生成部53所取得的控制器51的输入输出信号是指从机器人3或周边设备41、42向控制器51输入的数字输入信号(DI[1]、DI[2]、…)及模拟输入信号(AI[1]、AI[2]、……)、以及从控制器51向机器人3或周边设备41、42输出的数字输出信号(DO[1]、DO[2]、……)及模拟输出信号(AO[1]、AO[2]、……)中的至少任一个。另外，在本实施方式中，数字信号是指能够仅取由开(ON)和关(OFF)构成的2值的信号，模拟信号是指能够取预定范围内的整数值的信号。

动态图像再生装置7例如是能够与机器人控制装置5进行通信的平板终端等便携通信终端。动态图像再生装置7根据操作者的操作再生由动态图像生成部53生成并保存在动态图像保存部55中的动态图像。

接着，参照图2A、图2B及图3说明在动态图像生成部53中生成动态图像的步骤。

图2A以及图2B是示意性地表示由摄像机6拍摄的影像数据的帧速率[fps]与输入输出信号的更新周期[秒]之间的关系的图。在图2A以及图2B中，作为在动态图像生成部53中取得的输入输出信号，仅图示数字输入输出信号DI[1]。在图2A以及图2B所示的例子中，示出了将影像数据的帧速率设为60[fps]的情况、即构成影像数据的各帧按每1/60[秒]进行拍摄的情况，但本公开不限于此。另外，在图2A所示的例子中，示出了将数字输入信号DI[1]的更新周期设为1/20[秒]的情况，在图2B所示的例子中，示出将数字输入信号DI[1]的更新周期设为1/40[秒]的情况，但本公开不限于此。

如图2A以及图2B所示，由摄像机6拍摄的影像数据由按照与帧速率对应的周期即1/60[秒]拍摄的多个帧F1、F2、F3、F4、……构成。更具体而言，帧F1在时刻t1被拍摄，帧F2在时刻t1的1/60[秒]后的时刻t2被拍摄，帧F3在时刻t1的2/60[秒]后的时刻t3被拍摄，帧F4在时刻t1的3/60[秒]后的时刻t4被拍摄。

动态图像生成部53在与这样的摄像机6的影像数据的帧速率相同的周期下，取得各帧F1～F4的记录时刻t1～t4的数字输入信号DI[1]的值，将取得的摄像机6的影像数据和数字输入信号DI[1]沿着共同的时间轴关联起来，由此生成表示机器人3以及数字输入信号DI[1]的状态变化的后述的图3所示那样的动态图像。

如上所述，在图2A所示的例子中，数字输入信号DI[1]每隔1/20[秒]被更新。因此，在时刻t1为“关(OFF)”的数字输入信号DI[1]的值在时刻t4切换为“开(ON)”。因此，在该情况下，动态图像生成部53在帧F1的记录时刻t1取得“关”作为数字输入信号DI[1]的值，在帧F2的记录时刻t2取得“关”作为数字输入信号DI[1]的值，在帧F3的记录时刻t3取得“关”作为数字输入信号DI[1]的值，在帧F4的记录时刻t4取得“开”作为数字输入信号DI[1]的值。

另外，如上所述，在图2B所示的例子中，数字输入信号DI[1]每隔1/40[秒]被更新。因此，在时刻t1为“关”的数字输入信号DI[1]的值在时刻t2与时刻t3之间的时刻t5切换为“开”，然后在时刻t4切换为“关”。因此，在该情况下，动态图像生成部53在帧F1的记录时刻t1取得“关”作为数字输入信号DI[1]的值，在帧F2的记录时刻t2取得“关”作为数字输入信号DI[1]的值，在帧F3的记录时刻t3取得“开”作为数字输入信号DI[1]的值，在帧F4的记录时刻t4取得“关”作为数字输入信号DI[1]的值。

如以上那样，在动态图像生成部53中，在与摄像机6的影像数据的帧速率相同的周期下，取得各帧的记录时刻的控制器51的输入输出信号的值。因此，为了能够在动态图像生成部53中全部取得控制器51的输入输出信号的状态变化，摄像机6的帧速率的倒数(各帧的拍摄周期)优选为控制器51的输入输出信号的更新周期以下。

图3是表示由动态图像生成部53生成的动态图像的一例的图。

动态图像生成部53通过将如上取得的机器人3的影像数据和控制器51的输入输出信号沿着共同的时间轴建立关联，生成图3所例示的包含动态图像显示栏81(参照图3中的上段左侧)、信号状态显示栏82(参照图3中的上段右侧)和时间线栏83(参照图3中的下段)的动态图像。

在信号状态显示栏82中，显示由后述的时间条(time bar)833确定的时刻t(以下，称为“当前时刻t”)的值、由作业者选择的输入输出信号(在图3的例子中，表示选择了数字输出信号DO[1]、模拟输出信号AO[1]、数字输入信号DI[1]、模拟输入信号AI[1]的情况)的当前时刻t的值。

在动态图像显示栏81中显示机器人3的动态图像(即，连续再生通过摄像机6在预定的帧速率下拍摄的静止图像而得的图像)。另外，在图3中表示显示了所述的当前时刻t的机器人3的静止图像的情况。

在时间线栏83中显示图3中沿着左右方向延伸的时间轴830、在该时间轴830的下方与时间轴830平行延伸的带状的帧条(frame bar)831、在该帧条831的下方与时间轴830平行延伸的输入输出信号的时序图栏832以及在图3中沿上下方向跨越时间轴830、帧条831以及时序图栏832而延伸的时间条833。在此，所述的当前时刻t相当于时间条833在时间轴830上的坐标值。

在帧条831上，沿着时间轴830配置有多张(在图3的例子中为6张)各帧中的机器人3的静止图像。即，在所述动态图像显示栏81中显示的机器人3的动态图像成为连续再生在该帧条831中沿着时间轴830配置的多张静止图像而得的图像。

在时序图栏832中，显示表示由作业者选择的多个输入输出信号DO[1]、AO[1]、DI[1]以及AI[1]的值沿着时间轴830的变化的时序图图像。

作业者通过操作动态图像再生装置7，能够一边固定时间条833的位置，一边使时间轴830、帧条831和时序图栏832一体地向左右方向滚动，或者在固定时间轴830、帧条831和时序图栏832的位置的同时，仅使时间条833在左右方向上滚动。

接下来，参照图4A以及图4B，对通过程序编辑部54对存储于程序存储部52的程序进行编辑的顺序进行说明。另外，以下，对通过程序编辑部54对程序存储部52所存储的多个程序中的、规定控制器51的数字输出信号DO[1]的值的程序进行编辑的情况进行说明。

程序编辑部54在由动态图像再生装置7再生所生成的动态图像的期间由作业者进行了预定的程序编辑开始操作的情况下，停止再生中的动态图像，并且将图4A举例所示的程序编辑图像显示于动态图像再生装置7，转移到对数字输出信号DO[1]的程序进行编辑的程序编辑模式。

如图4A所示，程序编辑部54至少将包含时间线栏83的程序编辑图像显示于动态图像再生装置7。程序编辑图像中的时间线栏83至少包含：显示各帧中的机器人3的静止图像的帧条831；以及通过由程序编辑部54能够编辑的程序而生成的数字输出信号DO[1]的时序图栏832。

程序编辑部54基于图4A所示的程序编辑图像中的操作者对动态图像再生装置7的预定的编辑操作，对规定数字输出信号DO[1]的值的程序进行编辑。作业者能够在程序编辑图像中直接变更数字输出信号DO[1]的值。程序编辑部54在程序编辑图像中接受由作业者进行的编辑操作时，将基于编辑操作的变更后的数字输出信号DO[1]的值与显示于帧条831的机器人3的状态相关联，编辑数字输出信号DO[1]的程序。

参照图4B对程序编辑部54的程序的编辑的一例进行说明。在图4A和图4B中，示出机器人3的手在时刻th～ti之间打开，在时刻ti以后关闭的情况。另外，在图4B中，实线表示按照由程序编辑部54编辑前的程序而生成的数字输出信号DO[1]的值，虚线表示通过由作业者进行的编辑操作而变更后的数字输出信号DO[1]的值。另外，图4B表示进行了将时刻ti以后的数字输出信号DO[1]的值从“0”变更为“1”的编辑操作的情况。程序编辑部54在由作业者进行图4B所示的编辑操作时，将变更后的数字输出信号DO[1]的值与机器人3的状态相关联，编辑数字输出信号DO[1]的程序。更具体而言，程序编辑部54编辑数字输出信号DO[1]的程序，使得在机器人3的手打开的期间输出“0”，在机器人3的手关闭的期间输出“1”。因此，根据基于程序编辑部54的编辑后的程序，控制器51在机器人3的手打开的期间将数字输出信号DO[1]的值设为“0”，在机器人3的手关闭的期间将数字输出信号DO[1]的值设为“1”。

在以上那样的机器人状态监视装置2中，按照以下的顺序监视机器人3、周边设备41、42的状态。首先，通过使用摄像机6拍摄控制器51的控制下的机器人3。接着，使用动态图像生成部53，将由摄像机6取得的影像数据和控制器51的输入输出信号沿着时间轴建立关联，从而生成表示机器人3以及输入输出信号的状态变化的图3所示那样的动态图像，并保存到动态图像保存部55。接着，通过使用动态图像再生装置7来再生动态图像保存部55中保存的动态图像。

根据本实施方式，起到以下的效果。

本实施方式所涉及的机器人状态监视装置2具备：摄像机6，其对控制器51的控制下的机器人3进行拍摄；动态图像生成部53，其将由该摄像机6取得的影像数据与控制器51的输入输出信号沿着共同的时间轴830进行关联，从而生成表示机器人3以及输入输出信号的状态变化的动态图像；以及动态图像再生装置7，其对由该动态图像生成部53生成并保存于动态图像保存部55的动态图像进行再生。根据本实施方式，通过生成这样的动态图像，作业者仅通过观看由动态图像再生装置7再生的动态图像，就能够同时确认机器人3的动作状态和控制器51的输入输出信号的状态，进而能够沿着时间轴830容易地明确机器人3的动作状态与控制器51的输入输出信号的状态之间的相关性。

另外，在本实施方式的机器人状态监视装置2中，动态图像生成部53在与由摄像机6拍摄到的影像数据的帧速率相同的周期下，取得各帧的记录时刻的控制器51的输入输出信号的值。根据本实施方式，通过将各帧的拍摄周期设为输入输出信号的更新周期以下，能够将控制器51的输入输出信号的状态变化全部取得。

另外，在本实施方式的机器人状态监视装置2中，动态图像生成部53生成动态图像，该动态图像包含显示机器人3的动态图像的动态图像显示栏81、显示包含沿着时间轴830配置有多个的各帧中的机器人3的静止图像的帧条831以及沿着时间轴830的输入输出信号的时序图图像的时间线栏83。根据本实施方式，通过生成这样的包含动态图像显示栏81和时间线栏83的动态图像，作业者仅通过观看由动态图像再生装置7再生的动态图像，就能够同时确认机器人3的动作状态和控制器51的输入输出信号的状态，进而能够沿着时间轴830容易地明确机器人3的动作状态与控制器51的输入输出信号的状态之间的相关性。

另外，在本实施方式的机器人状态监视装置2中，程序编辑部54基于包含时间线栏83的程序编辑图像中的由作业者进行的编辑操作，对存储于程序存储部52的程序进行编辑。由此，作业者能够配合时间线栏83所显示的机器人3的状态而在视觉上容易地编辑程序，因此是便利的。

本公开并不限定于所述实施方式，能够进行各种变更以及变形。

例如在所述实施方式中，将本公开的工业机械的状态监视装置应用于机器人状态监视装置2，但并不限定于此。除了机器人3以外，还能够应用于各种机床等工业机械的状态监视装置。

另外，例如在所述实施方式中，对将动态图像再生装置7设为具备通信功能以及动态图像显示功能的平板终端等便携通信终端的情况进行了说明，但并不限定于此。动态图像再生装置7也可以是为了对机器人3示教预定的动作而具备能够供作业者操作的操作键和能够显示动态图像的显示器的便携性的示教装置。由此，在作业者想要同时使用示教装置和动态图像再生装置这两者的情况下，能够减轻更换设备的负担。

附图标记说明

1…机器人系统、

2…机器人状态监视装置(工业机械的状态监视装置)、

3…机器人(工业机械)、

41…第一周边设备、

42…第二周边设备、

43…通信线、

5…机器人控制装置、

51…控制器、

53…动态图像生成部、

54…程序编辑部、

55…动态图像保存部、

6…摄像机(摄像装置)、

7…动态图像再生装置(动态图像再生装置、工业机械的示教装置)、

81…动态图像显示栏、

82…信号状态显示栏、

83…时间线栏。

Claims (6)

1.一种工业机械的状态监视装置，其特征在于，

该工业机械的状态监视装置具备：

拍摄装置，其拍摄控制器的控制下的工业机械；

动态图像生成部，其将由所述摄像装置取得的影像数据和作为所述控制器的输入信号及输出信号中的至少任意一个的输入输出信号沿着时间轴建立关联，从而生成表示所述工业机械及所述输入输出信号的状态变化的动态图像；以及

动态图像再生装置，其对由所述动态图像生成部生成的动态图像进行再生。

2.根据权利要求1所述的工业机械的状态监视装置，其特征在于，

所述动态图像生成部在与所述影像数据的帧速率相同的周期下，取得各帧的记录时刻的所述输入输出信号的值。

3.根据权利要求1或2所述的工业机械的状态监视装置，其特征在于，

所述动态图像生成部生成动态图像，该动态图像包含：

显示所述工业机械的动态图像的动态图像显示栏；以及

显示沿所述时间轴配置有多个的各帧中的所述工业机械的静止图像以及沿所述时间轴的所述输入输出信号的时序图图像的时间线栏。

4.根据权利要求3所述的工业机械的状态监视装置，其特征在于，

该工业机械的状态监视装置具备：

程序存储部，其存储用于在所述控制器中规定输出信号的值的程序；以及

程序编辑部，其基于包含所述时间线栏的编辑图像中的作业者的操作来编辑所述程序。

5.根据权利要求1至4中任一项所述的工业机械的状态监视装置，其特征在于，

所述动态图像再生装置是所述工业机械的示教装置。

6.一种工业机械的状态监视方法，其特征在于，

通过摄像装置拍摄控制器的控制下的工业机械，

将由所述摄像装置取得的影像数据和作为所述控制器的输入信号及输出信号中的至少任意一个的输入输出信号沿着时间轴建立关联，从而生成表示所述工业机械及所述输入输出信号的状态变化的动态图像，

通过动态图像再生装置再生所述动态图像。

Images