CN116867619A - 示教装置 - Google Patents

Abstract

示教装置(30)具备：设定信息存储部(301)，其存储设定信息，该设定信息用于设定力传感器相对于对机器人设定的坐标系的位置和姿势；虚拟图像重叠显示部(304)，其在包含机器人或支承力传感器的预定物体的实际空间、或者包含机器人的模型或预定物体的模型的虚拟空间中，以使表示力传感器的虚拟图像成为按照设定信息的位置和姿势的方式，在实际空间或虚拟空间重叠显示虚拟图像。

Description

示教装置

技术领域

本发明涉及一种示教装置。

背景技术

在通过机器人进行精密的嵌合或齿轮的啮合、使工件的面对齐的作业等时，大多使用力传感器。在这样的作业中，通过搭载在机器人的力传感器检测作业中的力或力矩，进行控制使得检测出的力或力矩成为预定值。在专利文献1中记载了执行这样的力控制的机器人系统的一例。

现有技术文献

专利文献

专利文献1：日本专利第5338297号公报

发明内容

发明所要解决的课题

在上述那样的使用力传感器的机器人系统中，保有力传感器的位置信息来作为机器人控制装置或示教装置的内部数据，有时难以确认用户或示教者是否正确地设定了力传感器的位置信息(位置或姿势)。另外，当错误地设定了力传感器的位置信息时，有时力控制不正确地进行动作，但机器人不正确地进行动作时的原因查明(故障排除)是需要高度知识的困难作业。

用于解决课题的手段

本公开的一个方式是一种示教装置，具备：设定信息存储部，其存储设定信息，该设定信息用于设定力传感器相对于对机器人设定的坐标系的位置和姿势；虚拟图像重叠显示部，其在包含所述机器人或支承所述力传感器的预定物体的实际空间、或者包含所述机器人的模型或所述预定物体的模型的虚拟空间中，以使表示所述力传感器的虚拟图像成为按照所述设定信息的位置和姿势的方式，在所述实际空间或所述虚拟空间重叠显示所述虚拟图像。

发明效果

根据上述结构，根据在实际空间或虚拟空间重叠显示的力传感器的虚拟图像，用户在力传感器的设定位置和姿势存在错误的情况下能够在视觉上迅速且容易地掌握该情况。

根据附图所示的本发明的典型实施方式的详细说明，本发明的这些目的、特征和优点以及其他目的、特征和优点将变得更明确。

附图说明

图1表示第一实施方式的机器人系统的设备结构。

图2表示对机器人设定的坐标系以及力传感器的坐标系。

图3表示机器人控制装置以及示教装置的硬件结构例。

图4是机器人控制装置及示教装置的功能框图。

图5A表示力传感器的配置的第一例。

图5B用于说明图5A的力传感器的位置信息存在错误的情况。

图6表示在图5A的力传感器的位置信息存在错误的情况下，在实际空间或虚拟空间中重叠了力传感器的虚拟图像的状态的图像。

图7A表示力传感器的配置的第二例。

图7B用于说明图7A的力传感器的位置信息存在错误的情况。

图8表示在图7A的力传感器的位置信息存在错误的情况下，在实际空间或虚拟空间中重叠了力传感器的虚拟图像的状态的图像。

图9表示第二实施方式的机器人系统的设备结构。

图10用于说明在图10的机器人系统中在力传感器的位置信息中存在错误的情况。

图11表示在图10的机器人系统的力传感器的位置信息存在错误的情况下，在实际空间或虚拟空间中重叠了力传感器的虚拟图像的状态的图像。

图12表示关于力传感器的具有非对称性的虚拟图像的例子。

具体实施方式

接下来，参照附图对本公开的实施方式进行说明。在参照的附图中，对相同的结构部分或功能部分标注相同的参照附图标记。为了便于理解，这些附图适当变更了比例尺。另外，附图所示的方式是用于实施本发明的一个例子，本发明并不限于图示的方式。

第一实施方式

图1表示包含第一实施方式的示教装置30的机器人系统100的设备结构。机器人系统100包含机器人10、控制机器人10的机器人控制装置50、以及用于进行机器人10的示教(编程)的示教装置30。

机器人10构成为搭载力传感器21，能够执行基于力控制的各种作业(嵌合、按压、相位对准、研磨、去毛刺等)。例如，如图1中用圆圈包围的放大图所示，力传感器21经由托架15安装在机器人10的臂前端部的凸缘11上。在图1中，作为例示，示出了在力传感器21的前端侧安装了手41的结构。在该结构中，例如，能够使机器人10执行将手41抓持的工件W嵌入对象工件(未图示)的嵌合孔的嵌合作业。

将力传感器21的输出值(力/力矩)作为图2所示的力传感器21的坐标系201中的值而输出，因此在机器人控制装置50内为了求出在力的作用点的力/力矩，需要将力传感器21的输出值转换为对机器人10设定的坐标系中的值。此外，作为对机器人10设定的坐标系，可以有在机器人10的基部设定的机器人坐标系101或者在凸缘面设定的凸缘坐标系102等(参照图2)。

为了将力传感器21的输出值转换为对机器人10设定的坐标系中的值，机器人系统100保持以下的设定信息来作为内部数据，该设定信息定义了力传感器21的坐标系201与对机器人10设定的坐标系之间的关系。例如，将定义了力传感器21的坐标系201与对机器人10设定的坐标系之间的关系的设定信息如下那样设定为以对机器人10设定的坐标系为基准的力传感器21(坐标系201)的位置、姿势。

力传感器位置信息(设定信息)＝(x1，y1，z1，th1，th2，th3)

在此，x1、y1、z1是机器人10的坐标系中的力传感器21的X、Y、Z坐标，th1、th2、th3分别是绕机器人10的坐标系中的X轴、Y轴、Z轴的力传感器21的旋转角度。

力传感器21的位置信息例如经由示教装置30的设定值输入用的接口来进行设定、输入，并反映到机器人控制装置50。在这样的力传感器21的位置信息存在错误的情况下，可能产生机器人10不按意图进行动作的情况，但机器人10的动作设定极其复杂，因此，用户通常难以查明其原因(力传感器的位置信息存在错误)。鉴于这样的情况，如以下说明的那样，本实施方式的示教装置30基于定义力传感器的位置和姿势的设定信息在虚拟空间或实际空间中重叠显示表示力传感器的虚拟图像，由此，在设定信息存在错误的情况下，用户能够在视觉上迅速且容易地掌握该情况。

图3表示机器人控制装置50以及示教装置30的硬件结构例。如图3所示，机器人控制装置50可以具有作为一般的计算机的结构，在该结构中对于处理器51经由总线连接了存储器52(ROM、RAM、非易失性存储器等)、输入输出接口53、包含各种操作开关的操作部54等。示教装置30可以具有作为一般的计算机的结构，在该结构中对于处理器31经由总线连接了存储器32(ROM、RAM、非易失性存储器等)、显示部(显示器)33、由键盘(或者软件按键)等输入装置构成的操作部34、输入输出接口35等。本实施方式的示教装置30还可以具有照相机36和惯性传感器37。作为一例，照相机36是拍摄二维图像的照相机，但也可以使用其他类型的照相机(立体相机等)。惯性传感器37是通过测程法技术进行位置推定的传感器(陀螺仪、加速度传感器等)。

示教装置30通过有线或无线与机器人控制装置50连接。在此，使示教装置30为平板型终端，但是作为示教装置30，能够使用示教操作盘、智能手机、个人计算机等各种信息处理装置。

图4表示机器人控制装置50及示教装置30的功能框图。如图4所示，机器人控制装置50具备：存储部501，其存储了机器人的动作程序以及与坐标系相关的设定及其他各种设定信息；动作控制部502，其基于动作程序和各种设定信息来控制机器人的动作。动作控制部502基于力传感器21的检测值来执行力控制。另外，动作控制部502根据来自示教装置30的请求向示教装置30提供机器人10(机器人的控制部位)的位置和姿态信息、示教装置30执行该功能所需的信息。

示教装置30具备：设定信息存储部301，其存储力传感器的位置信息(设定信息)；模型数据存储部302，其存储构成机器人系统100的各物体的3D模型、力传感器21的虚拟图像的数据；照相机位置姿势推定部303，其推定照相机36的位置姿势；以及虚拟图像重叠显示部304。设定信息存储部301可以由非易失性存储器构成，或者也可以是在RAM内构成的临时的缓存器。此外，设定信息存储部301可以存储与机器人10的设定相关的其他各种信息。

虚拟图像重叠显示部304具有如下功能：在包含机器人10或支承力传感器21的预定物体的实际空间、或者包含机器人10的模型或预定物体的模型的虚拟空间中，以表示力传感器21的虚拟图像成为按照设定信息的位置及姿势的方式，在实际空间或虚拟空间重叠显示表示力传感器21的虚拟图像。因此，虚拟图像重叠显示部304构成为具备增强现实图像处理部305或虚拟现实图像处理部306，其中，增强现实图像处理部305具有生成增强现实图像的功能，虚拟现实图像处理部306具有生成虚拟现实图像的功能。

作为一例，照相机位置姿势推定部303通过以下的步骤，求出在机器人10的作业空间中固定的坐标系(以下，将该坐标系设为机器人坐标系101)中的照相机36(示教装置30)的位置姿势，并进行在作业空间中固定的坐标系(机器人坐标系101)中的照相机36(示教装置30)的位置和姿势的追踪。

(A1)照相机位置姿势推定部303从机器人控制装置50或示教装置30内的存储部取得作业空间(机器人坐标系101)中的机器人10的配置位置。

(A2)照相机位置姿势推定部303例如利用照相机36拍摄在机器人10的基部粘贴的视觉标记(促使用户拍摄视觉标记)。视觉标记例如是具有能够从拍摄视觉标记而得到的二维图像中测量照相机的位置和姿势的视觉图案的本领域已知的标记。

(A3)照相机位置姿势推定部303通过对拍摄视觉标记而得到的图像进行图像处理，掌握照相机36(示教装置30)在机器人坐标系中的位置和姿势，将照相机36(示教装置30)的位置和姿势登记在机器人坐标系101中。

(A4)以后，照相机位置姿势推定部303基于惯性传感器37的输出值，通过测程法技术求出照相机36(示教装置30)的动作，持续更新机器人坐标系101中的照相机36(示教装置30)的位置和姿势。

增强现实图像处理部305具有如下功能：基于从照相机位置姿势推定部303取得的照相机36(示教装置30)的位置和姿势，在由照相机36拍摄到的图像(影像)上以按照力传感器21的位置信息(设定信息)的位置和姿势来重叠显示力传感器21的虚拟图像。

虚拟现实图像处理部306具有如下功能：基于实际的配置位置信息，在虚拟空间内配置构成机器人系统100的各物体的模型，另外，在该虚拟空间内以按照力传感器21的位置信息(设定信息)的位置和姿态重叠力传感器21的虚拟图像。

以下，说明虚拟图像重叠显示部304按照力传感器21的位置信息(设定信息)显示力传感器21的虚拟图像的两个例子。此外，在以下的显示例中，将力传感器21的位置信息(设定信息)设定为相对于对机器人10设定的凸缘坐标系102的位置信息。

(显示例1)

在显示例1中，如图5A所示，将力传感器21以力传感器21的中心轴与凸缘11的中心轴一致的方式经由托架15安装在凸缘面。即，凸缘坐标系102的Z轴与力传感器21的坐标系的Z轴一致。在该情况下，将力传感器21的位置信息(设定信息)作为机器人10的凸缘坐标系102上的值而设定为(0，0，dz，0，0，0)即可。

在此，假设将力传感器21的位置信息(设定信息)错误地设定为(dx，dy，dz2，0，0，0)、dx≠0、dy≠0、dz2≠dz。在该情况下，机器人控制装置50视为力传感器21处于例如图5B所示的位置，求出在力的作用点的力或力矩。如图6所示，示教装置30的虚拟图像重叠显示部304在由示教装置30的照相机36拍摄机器人10而得到的图像上，以按照力传感器21的位置信息(dx，dy，dz2，0，0，0)的位置和姿态来显示力传感器21的虚拟图像(3D模型)21M。由增强现实图像处理部305承担这样的显示增强现实图像的功能。

如此，通过在显示部33以按照该设定信息的位置、姿势，在拍摄出机器人10的实际空间的图像中显示力传感器21的虚拟图像21M，用户能够根据显示画面上的机器人10与虚拟图像21M的位置对比、或者显示画面上的力传感器21的实物与虚拟图像21M的位置对比，立刻掌握力传感器21的位置信息(设定信息)的错误。

此外，如图6所示，除了力传感器21的虚拟图像21M之外，还可以按照力传感器21的位置信息(设定信息)重叠显示表示力传感器21的坐标系201的图像。在该情况下，容易在视觉上识别力传感器21的位置信息(设定信息)的方向(姿势)，能够在视觉上更准确地识别设定信息的错误。或者，也可以代替力传感器21的虚拟图像21M，作为力传感器21的虚拟图像而重叠显示表示力传感器21的坐标系201的图像。

(显示例2)

如图7A所示，显示例2是将力传感器21经由具有在图中横向较长的形状的托架15A安装在凸缘11时的例子。在该情况下，力传感器21的中心轴与凸缘11的中心轴不一致，力传感器21在图中横向(在Y轴方向上)偏移而安装在托架15A上。在本例中，将力传感器21的位置信息(设定信息)作为机器人10的凸缘坐标系102上的值，设定为(Dx，Dy，Dz，0，0，0)即可。

在此，设为将力传感器21的位置信息(设定信息)错误地设定为(Dx2、Dy2、Dz2、th1、th2、th3)、Dx2≠Dx、Dy2≠Dy、Dz2≠Dz、th1≠0、th2≠0、th3≠0。在该情况下，机器人控制装置50视为力传感器21处于例如图7B所示的位置，求出在力的作用点的力或力矩。如图8所示，示教装置30的虚拟图像重叠显示部304(增强现实图像处理部305)在由示教装置30的照相机36对机器人10进行拍摄而得到的图像上，以按照力传感器21的位置信息(Dx2、Dy2、Dz2、th1、th2、th3)的位置、姿势来显示力传感器21的虚拟图像(3D模型)21M。

这样，通过在显示部33以按照该设定信息的位置、姿势，在拍摄出机器人10的实际空间的图像中显示力传感器21的虚拟图像21M，用户能够根据机器人10(或者托架15A)与虚拟图像21M的位置对比、或者力传感器21的实物与虚拟图像21M的位置对比，立刻掌握力传感器21的位置信息(设定信息)的错误。

此外，如图8所示，除了力传感器21的虚拟图像21M之外，还可以按照力传感器21的位置信息(设定信息)重叠显示表示力传感器21的坐标系201的图像。在该情况下，容易在视觉上识别力传感器21的位置信息(设定信息)的方向(姿势)，能够在视觉上更加准确地识别设定信息的错误。或者，也可以代替力传感器21的虚拟图像21M，作为力传感器21的虚拟图像而重叠显示表示力传感器21的坐标系201的图像。

上述的显示例1以及显示例2是在实际空间的图像上重叠显示力传感器21的虚拟图像21M的基于增强现实的显示例，但示教装置30也可以将图6、图8所示的图像显示为基于虚拟现实的图像。由虚拟现实图像处理部306承担这样的基于虚拟现实的显示的功能。在该情况下，虚拟现实图像处理部306生成基于实际的配置信息在虚拟空间中配置了构成机器人系统100的各物体的图像。然后，虚拟现实图像处理部306以力传感器21的虚拟图像21M在虚拟空间内采取按照力传感器21的位置信息(设定信息)的位置和姿态的方式重叠显示虚拟图像21M。在该情况下，用户也能够根据机器人10的模型(或者托架的模型)与虚拟图像21M的位置对比，瞬间掌握力传感器21的位置信息(设定信息)的错误。

此外，关于生成基于虚拟现实的图像时的视点位置，可以使用由照相机位置姿势推定部303得到的照相机位置，或者，视点位置可以固定在作业空间内的任意位置。在将视点位置固定在作业空间内的任意位置时，在示教装置30中能够省略照相机36、惯性传感器37、照相机位置姿势推定部303。

第二实施方式

第二实施方式与上述第一实施方式相比，是力传感器的配置位置不同的例子。图9表示第二实施方式的机器人系统100A的结构。在第一实施方式中，力传感器22搭载在机器人10，但在第二实施方式中，力传感器22经由台座82安装在作业台81上。即，在第一实施方式中，支承力传感器21的物体是机器人10，另一方面，在第二实施方式中，支承力传感器22的物体是作业台81(或者台座82)。

如图9所示，机器人系统100A包含机器人10、机器人控制装置50以及示教装置30。机器人控制装置50以及示教装置30的功能与第一实施方式相同。在机器人10的臂前端部的凸缘11上安装有手41。手41抓持了工件W1。机器人10执行如下作业：将工件W1嵌入经由力传感器22固定在作业台81的工件W2上的嵌合孔。

在将力传感器22经由台座82安装在作业台81上时，将力传感器22的位置信息(设定信息)例如设定为机器人坐标系101中的坐标位置和姿势。在此，作为一例，假设力传感器22的本来的位置姿势为(x1，y1，z1，0，0，0)。在此，假设将力传感器22的位置信息(设定信息)错误地设定为(x2，y2，z2，th1，th2，th3)，x2≠x1，y2≠y1，z2≠z1，th1≠0，th2≠0，th3≠0。在该情况下，机器人控制装置50视为力传感器22处于图10所示的位置，求出在力的作用点的力或力矩。如图11所示，示教装置30的虚拟图像重叠显示部304(增强现实图像处理部305)在由示教装置30的照相机36拍摄机器人10而得到的图像上，以按照力传感器22的位置信息(x2、y2、z2、th1、th2、th3)的位置和姿势显示力传感器22的虚拟图像(3D模型)22M。

如此，通过在拍摄出支承力传感器22的预定物体即作业台81(或者台座82)、机器人10等的实际空间的图像中，以按照该设定信息的位置、姿势重叠显示力传感器22的虚拟图像22M，用户能够根据显示画面上的作业台81(或者台座82)与虚拟图像22M的位置对比、或者显示画面上的力传感器22的实物与虚拟图像22M的位置对比，立刻掌握力传感器22的位置信息(设定信息)的错误。

此外，如图11所示，除了力传感器22的虚拟图像22M之外，还可以重叠显示表示力传感器22的坐标系201的图像。在该情况下，容易在视觉上识别力传感器22的位置信息(设定信息)的方向(姿势)，能够在视觉上更准确地识别设定信息的错误。或者，也可以代替力传感器22的虚拟图像22M，作为力传感器22的虚拟图像而重叠显示表示力传感器22的坐标系201的图像。

上述的显示例是在实际空间的图像上重叠显示力传感器22的虚拟图像22M的基于增强现实的显示例，但是示教装置30也可以将图11所示的图像显示为基于虚拟现实的图像。在该情况下，虚拟现实图像处理部306生成基于实际的配置信息在虚拟空间中配置了构成机器人系统100A的各物体的图像。然后，虚拟现实图像处理部306以力传感器22的虚拟图像22M在虚拟空间内采取按照力传感器22的位置信息(设定信息)的位置和姿态的方式重叠显示虚拟图像22M。在该情况下，用户也能够根据支承力传感器22的预定物体即作业台81的模型(或者台座82的模型)与虚拟图像22M的位置对比，瞬间掌握力传感器22的位置信息(设定信息)的错误。

如以上说明的那样，根据各实施方式，根据在实际空间或虚拟空间重叠显示的力传感器的虚拟图像，用户在力传感器的设定位置和姿势存在错误的情况下能够在视觉上迅速且容易地掌握该情况。

此外，在上述第一实施方式以及第二实施方式中，作为力传感器的虚拟图像的例子，示出了力传感器的3D模型或力传感器的坐标系，但作为力传感器的虚拟图像能够有各种方式。在此，参照图12，表示力传感器的虚拟图像的其他例子。图12所示的力传感器的虚拟图像23M是具有非对称性的虚拟图像的例示。通过使力传感器的虚拟图像具有非对称性，能够特别容易地识别姿势设定的错误。

具体而言，以在圆筒状的躯体部24的侧面具有连接器25以及连接器安装部26的方式设定了虚拟图像23M的形状。由此，虚拟图像23M成为绕Z轴也具有非旋转对称性的形状。通过将力传感器的虚拟图像23M设为这样的绕Z轴也非旋转对称的形状，即使在力传感器的位置信息(设定信息)的绕Z轴的姿势(角度位置)存在错误的情况下，能够根据力传感器的虚拟图像23M容易地识别该情况。

此外，如图12所示，可以在虚拟图像23M上形成用于表示力传感器的坐标系的各轴位置的标记211、212、213。标记211表示为“X﹣”，表示存在标记211的方向相对于设定在中心轴上的原点位置为X轴负侧。标记212表示为“Y+”，表示存在标记212的一侧相对于原点位置为Y轴正方向。标记213成为以将“Z+”配置在下侧的方式对“Z﹣”和“Z+”进行了排列的显示，表示了中心轴线的下侧为Z轴正侧。通过这样的标记211、212、213，能够识别对力传感器设定的坐标系，从而能够更容易地识别虚拟图像23M的姿势的错误。此外，在图12中图示了通过标记211、212、213指定的坐标系201。

以上使用典型的实施方式对本发明进行了说明，但本领域技术人员能够理解在不脱离本发明的范围的情况下能够进行上述各实施方式的变更和各种其他变更、省略、追加。

在上述的各实施方式中，示出了在作为平板型终端的示教装置的显示装置上显示增强现实图像或虚拟现实图像的例子，但是，例如也可以在头部佩戴型的显示装置上显示这样的增强现实图像或虚拟现实图像。在重叠显示基于增强现实的虚拟图像时，可以使用在现实场景上重叠虚拟图像的眼镜型AR显示装置。

图4所示的示教装置的功能块可以通过由示教装置的处理器执行存储在存储装置的各种软件来实现，或者也可以通过以ASIC(Application Specific IntegratedCircuit，专用集成电路)等硬件为主体的结构来实现。

附图标记的说明

10机器人

11凸缘

15、15A托架

21、22力传感器

21M、22M、23M虚拟图像

24躯体部

25连接器

26连接器安装部

30示教装置

31处理器

32存储器

33显示部

34操作部

35输入输出接口

36照相机

37惯性传感器

50机器人控制装置

51处理器

52存储器

53输入输出接口

54操作部

81作业台

82台座

100、100A机器人系统

101机器人坐标系

102凸缘坐标系

201坐标系

211、212、213标记

501存储部

502动作控制部

301设定信息存储部

302模型数据存储部

303照相机位置姿势推定单元

304虚拟图像重叠显示部

305增强现实图像处理部

306虚拟现实图像处理部。

Claims (5)

1.一种示教装置，其特征在于，具备：

设定信息存储部，其存储设定信息，该设定信息用于设定力传感器相对于对机器人设定的坐标系的位置和姿势；

虚拟图像重叠显示部，其在包含所述机器人或支承所述力传感器的预定物体的实际空间、或者包含所述机器人的模型或所述预定物体的模型的虚拟空间中，以使表示所述力传感器的虚拟图像成为按照所述设定信息的位置和姿势的方式，在所述实际空间或所述虚拟空间重叠显示所述虚拟图像。

2.根据权利要求1所述的示教装置，其特征在于，

所述虚拟图像是所述力传感器的3D模型的图像。

3.根据权利要求1或2所述的示教装置，其特征在于，

所述虚拟图像具有非对称性。

4.根据权利要求3所述的示教装置，其特征在于，

所述虚拟图像围绕对所述力传感器设定的坐标系的预定的坐标轴为非旋转对称。

5.根据权利要求1至4中的任意一项所述的示教装置，其特征在于，

所述虚拟图像具有用于表示对所述力传感器设定的坐标系的图像。