CN118019622A - 示教装置以及机器人系统 - Google Patents

Abstract

一种用于工业机械的系统的示教装置(10)，所述工业机械的系统使用传感器取得信息并对工件进行作业，该示教装置(10)具备：执行履历画面显示部(152)，其显示执行履历画面，并受理选择一个执行履历的操作，该执行履历画面提示与进行使用了传感器的处理的程序的执行结果有关的一个以上的执行履历；以及调整画面显示部，其将所选择的一个执行履历复原为程序，并且显示用于调整复原了执行履历的状态的程序的设定参数的调整画面。

Description

示教装置以及机器人系统

技术领域

本发明涉及示教装置以及机器人系统。

背景技术

已知有构成为利用搭载于机器人的视觉传感器进行工件的检测，并执行工件的取出等预定的作业的机器人系统。在这样的系统中，若发生工件的未检出或误检出，则系统不会正确地动作。在该情况下，需要进行设定参数的调整(示教)以进行正确的检测。

专利文献1涉及显示机器人的3D模型的装置的结构，记载了“设置有模型显示部140，该模型显示部140根据预先存储的机器人装置1的模型数据，以3D模型显示机器人装置1的姿势的(段落0097)”以及“在模型显示部140的下部设置有播放条141，具备用于使示教的实际的机器人装置1动作的播放按钮144、暂时停止按钮145(段落0099)”。

现有技术文献

专利文献

专利文献1：日本特开2020-75354号公报

发明内容

发明所要解决的课题

在想要根据过去的图像进行参数调整的情况下，通常用户需要采取如下步骤：首先打开视觉传感器的检测程序，确认执行履历来进行参数调整。当在工件的检测中发生问题时，打开检测程序画面来确认执行履历并进行调整的作业对于用户来说是麻烦且负担大的作业。要求可用性的改善。

用于解决课题的手段

本公开的一个方式是一种用于工业机械的系统的示教装置，所述工业机械的系统使用传感器取得信息并对工件进行作业，该示教装置具备：执行履历画面显示部，其显示执行履历画面，并受理选择一个执行履历的操作，该执行履历画面提示与进行使用了所述传感器的处理的程序的执行结果有关的一个以上的所述执行履历；以及调整画面显示部，其将所选择的一个所述执行履历恢复为所述程序，并且显示用于调整恢复了所述执行履历的状态下的所述程序的设定参数的调整画面。

本公开的另一方式是一种机器人系统，具备：传感器；机器人；机器人控制装置，其从所述传感器取得信息，使所述机器人执行针对工件的预定的作业；以及上述示教装置，其与所述机器人控制装置连接，所述机器人控制装置控制进行使用所述传感器的处理的程序的执行。

发明效果

根据上述结构，通过选择执行履历，能够将执行履历恢复为程序来进行设定参数的调整，能够高效地进行设定参数的调整，并且可用性提高。

根据附图所示的本发明的典型的实施方式的详细说明，本发明的这些目的、特征和优点以及其他目的、特征和优点将变得更加明确。

附图说明

图1是表示包含一实施方式的示教装置的机器人系统的整体结构的图。

图2是表示机器人控制装置以及示教装置的硬件结构例的图。

图3是示教装置、机器人控制装置以及视觉传感器控制装置的功能框图。

图4是表示通过执行履历画面显示部在示教装置的显示部显示的执行履历画面的例子的图。

图5是表示在图4的显示状态下通过操作播放按钮而显示的参数调整画面的例子的图。

图6是表示与多个视点下的检测相关的执行履历画面的例子的图。

图7是表示在图6的显示状态下通过操作播放按钮而显示的参数调整画面的例子的图。

图8是用于说明在选择与多个视点的检测有关的执行履历的情况下对单一视点的履历图像执行图像播放功能的情况下的操作例的图。

图9是表示从生成检测程序到执行图像播放的一系列处理的流程图。

具体实施方式

接着，参照附图对本公开的实施方式进行说明。在参照的附图中，对相同的结构部分或功能部分标注相同的参照符号。为了容易理解，这些附图适当变更了比例尺。另外，附图所示的方式是用于实施本发明的一个例子，本发明并不限定于图示的方式。

图1是表示包含一实施方式的示教装置10的机器人系统100的整体结构的图。机器人系统100构成为使用传感器取得信息，并基于该信息对对象物(以下，也记载为工件)进行预定的作业。在本实施方式中，传感器是视觉传感器。在该情况下，使用视觉传感器的处理可以包括用于检测、判定的各种处理。在以下的说明中，说明作为视觉传感器的处理而进行工件的检测的情况。

机器人系统100包括：机器人30，其在臂前端部搭载有手部33；机器人控制装置50，其控制机器人30；示教装置10，其与机器人控制装置50连接；视觉传感器70，其安装于机器人30的臂前端部；以及视觉传感器控制装置20，其控制视觉传感器70。视觉传感器控制装置20与机器人控制装置50连接。机器人系统100能够通过视觉传感器70进行作业台2上的工件1的检测，通过搭载于机器人30的手部33进行工件1的处理。

视觉传感器控制装置20具有控制视觉传感器70的功能和对由视觉传感器70拍摄到的图像进行图像处理的功能。视觉传感器控制装置20根据由视觉传感器70拍摄到的图像来检测工件1的位置，并将检测出的工件1的位置提供给机器人控制装置50。由此，机器人控制装置50能够校正示教位置来执行工件1的取出等。

视觉传感器70可以是拍摄灰度图像、彩色图像的照相机，也可以是能够取得距离图像、三维点群的立体照相机、三维传感器。在机器人系统100中也可以配置有多台视觉传感器。视觉传感器控制装置20保持对象物的模型图案，执行通过拍摄图像中的对象物的图像与模型图案的图案匹配来检测对象物的图像处理。此外，在图1中，视觉传感器控制装置20构成为与机器人控制装置50不同的装置，但作为视觉传感器控制装置20的功能也可以搭载于机器人控制装置50内。

如以下详细说明的那样，示教装置10提供如下功能：通过从显示使用了视觉传感器70的检测程序的执行履历的执行履历画面中选择执行履历并进行预定的操作，对检测程序复原该选择出的执行履历内的预定的参数，转移到用于进行该检测程序的参数调整的参数调整画面。在本说明书中，有时将执行履历(图像、参数等)复原为检测程序来进行参数调整的功能称为图像播放。根据这样的结构，能够从执行履历画面直接执行图像播放，能够高效地进行检测程序的参数调整，用户的易用性(可用性)提高。

图2是表示机器人控制装置50以及示教装置10的硬件结构例的图。机器人控制装置50也可以具有经由总线将存储器52(ROM、RAM、非易失性存储器等)、输入输出接口53、包括各种操作开关的操作部54等与处理器51连接的作为一般的计算机的结构。示教装置10也可以具有经由总线将存储器12(ROM、RAM、非易失性存储器等)、显示部13、由键盘(或者软件键)等输入装置构成的操作部14、输入输出接口15等与处理器11连接的作为一般的计算机的结构。此外，作为示教装置，能够使用示教操作盘、平板终端、个人计算机等各种信息处理装置。

此外，视觉传感器控制装置20也可以具有作为一般的计算机的结构，该一般的计算机具有处理器、存储器(ROM、RAM、非易失性存储器等)、输入输出接口等。

图3是示教装置10、机器人控制装置50以及视觉传感器控制装置20的功能框图。

视觉传感器控制装置20具有控制部21、图像处理部22以及存储部23。控制部21按照从机器人控制装置50发送来的指令，统一进行与视觉传感器70的功能相关的控制。控制部21的控制包括控制视觉传感器70、使图像处理部22执行图像处理。图像处理部22进行图案匹配及其他各种图像处理。在存储部23中存储视觉传感器70进行各种处理所需的各种信息(图案匹配的模型数据、校准数据、各种设定信息等)、拍摄图像、后述的履历信息。

如图3所示，机器人控制装置50具有按照动作程序控制机器人30的动作的动作控制部151、以及存储动作程序、设定信息等各种信息的存储部152。此外，动作程序包括用于进行基于视觉传感器70的检测的检测程序。动作控制部151向视觉传感器控制装置20发送检测程序的指令。

存储于视觉传感器20的存储部23的信息中包含与视觉传感器70的检测程序的执行结果有关的执行履历。执行履历包括拍摄图像、测量时的机器人30的位置/姿势、视觉传感器70的处理结果、与未检出或误检出有关的信息、检测程序的各种参数中的至少任一个。执行履历存储在构成存储部23的非易失性存储器或易失性存储器中。

示教装置10能够经由机器人控制装置50取得或收集存储在视觉传感器控制装置20中的履历信息。

此外，履历信息也可以存储于机器人控制装置50的存储部152。

示教装置10具有用于生成动作程序的程序生成部111、执行履历画面显示部112以及调整画面显示部113。程序生成部111提供用于用户生成、编辑动作程序的各种辅助功能。作为一例，程序生成部111提供对使用图标的动作程序的生成进行辅助的功能。

执行履历画面显示部112从视觉传感器控制装置20取得每次执行进行视觉传感器的处理的程序(在此，设为检测程序)的执行履历，并显示包含每次执行检测程序的执行履历的列表的执行履历画面(用户界面)。另外，执行履历画面显示部112受理选择执行履历的用户操作。

调整画面显示部113根据针对在执行履历画面中显示的执行履历的选择操作，针对视觉传感器的检测程序恢复所选择的执行履历中包含的预定的参数信息，并且显示用于调整恢复了该预定的参数的状态的检测程序的参数调整画面(用户界面)。

图4是表示通过执行履历画面显示部112显示于示教装置10的显示部13的执行履历画面200的例子的图。如图4所示，执行履历画面200包括履历一览显示区域211、履历图像显示区域212、程序显示区域213和显示各种操作按钮的操作按钮显示区域214。

履历一览显示区域211显示每次执行检测程序时的执行履历的列表。作为一例，在图4中图示了包含11个执行履历的情况。在履历图像显示区域212中，显示在履历一览显示区域211中选择的执行履历中包括的履历图像(拍摄图像)。在此，示出了显示在履历一览显示区域211中选择的执行履历251中包括的履历图像252的状态。

在程序显示区域213中显示检测程序的内容。在操作按钮显示区域214中，包括用于将当前选择中的执行履历恢复为检测程序并转移到用于进行参数调整的调整画面的播放按钮221。用户通过选择所希望的执行履历并操作播放按钮221，能够将所选择的执行履历恢复为检测程序并转移到用于进行参数调整(示教)的参数调整画面。

图5表示在图4的显示状态下通过操作播放按钮221而显示的参数调整画面300的例子。如图5所示，参数调整画面300包括显示检测程序的检测程序显示区域311、用于显示履历图像(或拍摄图像)的拍摄图像显示区域312、参数显示区域313、检测结果显示区域314以及显示各种操作按钮的操作按钮显示区域315。

作为一例，在检测程序显示区域311中，显示有“1台照相机的二维校正”这一名称的检测程序。该检测程序包含快照图标331、图案匹配图标332以及校正数据计算图标333。快照图标331表示执行视觉传感器70的拍摄的命令。图案匹配图标332表示对拍摄图像进行基于图案匹配的工件检测的命令。校正数据计算图标333表示根据通过图案匹配得到的工件位置来计算用于校正示教位置的校正数据的命令。

在从图4的执行履历画面200转移为参数调整画面300的初始状态下，将在执行履历画面200上选择的执行履历251的履历图像252显示在拍摄图像显示区域312中。

作为检测程序的各种参数，在参数显示区域313中显示恢复了在图4的执行履历画面200中选择的执行履历251中的参数的值的状态的参数。在此，表示在检测程序显示区域311中选择检测程序中的图案匹配图标332，在参数显示区域313中显示与该图案匹配图标332相关的各种参数的状态。除了得分阈值和对比度阈值之外，图案匹配图标332的参数还包括各种参数。通过在检测程序显示区域311中选择其他图标，能够使参数显示区域313显示并调整针对该图标的参数(复原后的参数)。

在检测结果显示区域314中显示检测程序的处理结果。在此，示出了将在图4的执行履历画面200中选择的执行履历251中包含的处理结果(检测个数、得分100.0、对比度195.8等)复原的状态。

在操作按钮显示区域315中显示用于进行各种操作的操作按钮。通过在参数显示区域313中进行各种参数的调整之后按下检测按钮341，能够用新的参数执行检测程序，确认其结果。

图6表示执行履历画面的另一例。图6所示的执行履历画面400表示作为检测程序以多个视点进行对象部的检测的情况下的执行履历。在此，说明使用从两个视点检测对象物的立体检测法的检测程序的情况的例子。如图6所示，执行履历画面400包括履历一览显示区域411、履历图像显示区域412、程序显示区域413和显示各种操作按钮的操作按钮显示区域414。

履历一览显示区域411显示每次执行检测程序时的执行履历的列表。作为一例，在图6中，图示了包含19个执行履历的情况。在履历图像显示区域412中，显示在履历一览显示区域411中选择的执行履历中包括的履历图像(拍摄图像)。在此，示出了将在履历一览显示区域411中选择的执行履历451中包括的两个履历图像461、462(通过从两个视点分别拍摄对象物而得的履历图像)从执行履历451加载并显示的状态。这样，在本例中，在选择多个视点的执行履历来执行图像播放的情况下，多个视点的履历图像被集中加载并显示在同一画面上，因此容易确认针对工件的视点的整体，容易进行参数的调整、确认。

在程序显示区域413中显示检测程序的内容。在操作按钮显示区域414中，包括用于将当前选择中的执行履历恢复为检测程序并转移到用于进行参数调整的画面的播放按钮421。用户通过选择所期望的执行履历并操作播放按钮421，能够将选择中的执行履历恢复为检测程序而转移到用于进行参数调整的参数调整画面。

图7表示在图6的显示状态下通过操作播放按钮421而显示的参数调整画面500的例子。如图7所示，参数调整画面500包括显示检测程序的检测程序显示区域511、用于显示履历图像(或拍摄图像)的拍摄图像显示区域512、参数显示区域513、检测结果显示区域514以及显示各种操作按钮的操作按钮显示区域515。

在检测程序显示区域511中，作为一例，显示有“多台照相机的二维校正”的名称的检测程序。该检测程序从两个视点捕捉对象物并进行位置校正，因此构成为包含两组包含快照图标和图案匹配图标的检测处理。

在从图6的执行履历画面400转移为参数调整画面500的初始状态下，在执行履历画面400上选择的执行履历451的两个履历图像461、462显示在拍摄图像显示区域512中。

在参数显示区域513中，作为检测程序的各种参数，显示恢复了在图6的执行履历画面400中选择的执行履历451中的参数的值的状态的参数。这里，示出了在参数显示区域513中显示与在检测程序显示区域511中选择的图标(“多台照相机的二维校正”图标)有关的各种参数的状态。通过在检测程序显示区域511中选择其他图标，能够使参数显示区域513显示并调整针对该图标的参数(复原后的参数)。

在检测结果显示区域514中显示检测程序的处理结果。在此，示出了在图6的执行履历画面400中选择的执行履历451中包含的处理结果(得分100.0、对比度195.8等)被复原的状态。

在操作按钮显示区域515中显示用于进行各种操作的操作按钮。通过在参数显示区域513中进行了各种参数的调整之后按下检测按钮541或“拍摄+检测”按钮452，能够以新的参数执行检测程序，确认其结果。

接下来，参照图8说明在选择与多个视点的检测有关的执行履历的情况下对单一视点的履历图像执行图像播放功能的情况下的操作例。图8示出了在图6所示的执行履历画面400的程序显示区域413中选择了从两个视点进行检测的检测程序中的从一个视点进行检测的程序(在图8中为“照相机视图1”图标)的状态。

在程序显示区域413中选择了从一个视点进行检测的程序(在本例中由符号471所示的“照相机视图1”)时，成为在履历图像显示区域412中仅显示从该一个视点进行检测的程序的履历图像461的状态。用户通过在该状态下按下播放按钮421，能够将与当前显示在履历图像显示区域412中的从一个视点的履历图像461相关的参数复原为检测程序而转移到用于进行参数调整的参数调整画面(例如，图5所示的参数调整画面300)。

图9是表示从生成检测程序起到执行图像播放为止的一系列处理的一例的流程图。参照图9，对这些一系列的处理的流程进行说明。

首先，由用户生成用于通过视觉传感器70检测工件的程序(以下，也记载为视觉程序)。用户使用示教装置10生成视觉程序(步骤S1)。并且，用户使用示教装置10来生成调用视觉程序的机器人30的动作程序(步骤S2)。

接着，用户对示教装置10进行预定的操作，由此，动作程序被发送到机器人控制装置50来执行动作程序。通过执行动作程序，调用并执行视觉程序(步骤S3)。随着视觉程序的执行完成，其执行履历被存储在视觉传感器控制装置20的存储部23中(步骤S4)。

接着，判定视觉程序的检测结果是否失败(步骤S5)。该判定可以由用户观察执行履历来进行，也可以构成为示教装置10根据执行履历自动地进行。在检测失败的情况下(S5：是)，处理进入步骤S6。在检测成功的情况下(S5：否)，处理进入步骤S11。在步骤S6中，用户从执行履历画面上显示的执行履历列表中选择检测失败的执行履历(履历图像)，并按下播放按钮(步骤S6)。由此，示教装置10的显示画面转移到用于调整(示教)视觉程序的各种参数的参数调整画面(步骤S7)。在该参数调整画面中，复原了在步骤S6中选择的执行履历的各种参数。用户确认该执行履历的参数值，进行参数值的调整(步骤S8)。

在进行单一视点下的检测的视觉程序的情况下，针对所选择的执行履历的图像执行图像播放(步骤S9)。另一方面，在视觉程序进行多个视点的检测的情况下，如参照图7说明的那样，集中加载多个视点的履历图像来执行图像播放，或者如参照图8说明的那样，对从多个视点中选择的单一视点的履历图像执行图像播放(步骤S10)。

接着，判定动作程序是否结束，如果动作程序结束(S11：是)，则结束本处理。在动作程序未结束的情况下(S11：否)，通过调整后的新的参数来执行从步骤S3起的处理。

根据上述实施方式，通过选择执行履历，能够将执行履历复原为程序来进行设定参数的调整，能够高效地进行设定参数的调整，并且可用性提高。

以上，使用典型的实施方式对本发明进行了说明，但本领域技术人员能够理解，在不脱离本发明的范围的情况下，能够对上述的各实施方式进行变更以及各种其他变更、省略、追加。

在上述的实施方式中，记载了将执行履历画面(200、400)和参数调整画面(300、500)作为不同的画面来提示的例子，但这些执行履历画面和参数调整画面也可以显示在同一画面内。

上述的图1或图3所示的系统结构、功能块的配置是例示，关于系统结构、功能块的配置，能够从各种观点进行变形。例如，视觉传感器也可以是固定在配置机器人系统的作业空间内的固定照相机。在上述实施方式中，说明了将执行履历存储在视觉传感器控制装置中的例子，但是也可以由示教装置收集并存储执行履历。

另外，上述的实施方式所示的结构能够应用于包括使用来自各种传感器的信息来执行作业的机器人、机床等工业机械的系统。例如，也可以将在上述的实施方式中说明的作为示教装置的功能(执行履历画面的显示、图像播放功能等)搭载于机床的控制装置(NC控制装置)或者与该控制装置连接的信息处理装置。

图3所示的视觉传感器控制装置、机器人控制装置以及示教装置的功能块可以通过这些装置的处理器执行存储在存储装置中的各种软件来实现，或者也可以通过以ASIC(Application Specific Integrated Circuit：专用集成电路)等硬件为主体的结构来实现。

执行上述实施方式中的图像播放的处理(图9所示的处理)等各种处理的程序能够记录于计算机可读取的各种记录介质(例如，ROM、EEPROM、闪存等半导体存储器、磁记录介质、CD-ROM、DVD-ROM等光盘)。

符号说明

1工件；

2作业台；

10示教装置；

11处理器；

12存储器；

13显示部；

14操作部；

15输入输出接口；

20视觉传感器控制装置；

21控制部；

22图像处理部；

23存储部；

30机器人；

33手部；

50机器人控制装置；

51处理器；

52存储器；

53输入输出接口；

54操作部；

70视觉传感器；

100机器人系统；

111程序生成部；

112执行履历画面显示部；

113调整画面显示部；

151动作控制部；

152存储部；

200、400执行履历画面；

211、411履历一览显示区域；

212、412履历图像显示区域；

213、413程序显示区域；

214、414操作按钮显示区域；

221、421播放按钮；

300、500参数调整画面；

311、511检测程序显示区域；

312、512拍摄图像显示区域；

313、513参数显示区域；

314、514检测结果显示区域；

315、515操作按钮显示区域；

341、541检测按钮。

Claims (9)

1.一种用于工业机械的系统的示教装置，所述工业机械的系统使用传感器取得信息并对工件进行作业，其特征在于，

所述示教装置具备：

执行履历画面显示部，其显示执行履历画面，并受理选择一个执行履历的操作，所述执行履历画面提示与进行使用了所述传感器的处理的程序的执行结果有关的一个以上的所述执行履历；以及

调整画面显示部，其将所选择的一个所述执行履历复原为所述程序，并且显示用于调整复原了所述执行履历的状态的所述程序的设定参数的调整画面。

2.根据权利要求1所述的示教装置，其特征在于，

所述调整画面显示部根据在所述执行履历画面中选择了一个所述执行履历的状态下进行预定的用户操作，进行向所述调整画面的转移。

3.根据权利要求1或2所述的示教装置，其特征在于，

所述传感器是视觉传感器，

所述执行履历包括拍摄图像、测量时的机器人的位置姿势、工件的检测结果、与未检出或误检出有关的信息、所述程序的设定参数中的至少任一个。

4.根据权利要求3所述的示教装置，其特征在于，

在所选择的一个所述执行履历与所述视觉传感器从多个视点对工件进行的检测有关的情况下，所述执行履历画面显示部将从所述多个视点拍摄所述工件而得到的多个履历图像显示在同一画面内。

5.根据权利要求4所述的示教装置，其特征在于，

所述调整画面显示部在所述调整画面中同时显示所述多个履历图像。

6.根据权利要求4所述的示教装置，其特征在于，

所述执行履历画面显示部受理用于选择所述多个履历图像中的一个履历图像的操作，

所述调整画面显示部显示用于调整与所选择的所述一个履历图像有关的设定参数的所述调整画面。

7.根据权利要求1所述的示教装置，其特征在于，

将所述执行履历画面和所述调整画面显示在同一画面内。

8.一种机器人系统，其特征在于，具备：

传感器；

机器人；

机器人控制装置，其从所述传感器取得信息，使所述机器人执行针对工件的预定的作业；以及

权利要求1至7中的任一项所述的示教装置，其与所述机器人控制装置连接，

所述机器人控制装置控制进行使用了所述传感器的处理的程序的执行。

9.根据权利要求8所述的机器人系统，其特征在于，

所述传感器是视觉传感器，

所述程序是用于通过所述视觉传感器检测所述工件的检测程序。