CN110394779A

CN110394779A - 机器人的模拟装置

Info

Publication number: CN110394779A
Application number: CN201910328534.XA
Authority: CN
Inventors: 后平宽之
Original assignee: Fanuc Corp
Current assignee: Fanuc Corp
Priority date: 2018-04-25
Filing date: 2019-04-23
Publication date: 2019-11-01
Also published as: US20190329411A1; JP2019188531A; DE102019002928B4; DE102019002928A1; US11192249B2; JP6863927B2

Abstract

一种机器人的模拟装置，用于协作机器人与人协作来进行的协作作业的模拟，该模拟装置具备：佩戴于模拟地执行协作作业的操作人员的头部佩戴型显示装置、检测操作人员在实际空间中的位置的检测部、在头部佩戴型显示装置显示在三维虚拟空间中配置了包含协作机器人模型的机器人系统模型的图像的三维模型显示部、和基于执行协作作业的协作机器人的动作程序与检测出的操作人员的位置在三维虚拟空间内使协作机器人模型模拟地进行动作的模拟执行部。

Description

机器人的模拟装置

技术领域

本发明涉及执行由协作机器人与人协作来进行的协作作业的模拟的模拟装置。

背景技术

公知有在画面中配置三维地表现协作机器人、工件、人以及周边设备的协作机器人模型、工件模型、人模型以及周边设备模型并进行模拟的系统(例如，参照日本特开2017－024113号公报)。

日本特开2017－024113号公报的模拟装置在虚拟空间内配置机器人、工件、周边设备以及人的模型并进行模拟。在协作机器人与人协作来进行的协作作业的模拟中，期望通过模拟可靠地发现协作机器人与人接触或成为过近的状态的可能性。

发明内容

本公开的一个方式为一种模拟装置，用于协作机器人与人协作来进行的协作作业的模拟，该模拟装置具备：头部佩戴型显示装置，其佩戴于模拟地执行上述协作作业的操作人员；检测部，其检测上述操作人员在实际空间中的位置；三维模型显示部，其在上述头部佩戴型显示装置中显示在三维虚拟空间中配置了包含协作机器人模型的机器人系统模型的图像；和模拟执行部，其基于执行上述协作作业的上述协作机器人的动作程序与由上述检测部检测出的上述操作人员的位置，在上述三维虚拟空间内使上述协作机器人模型模拟地进行动作。

附图说明

本发明的目的、特征以及优点，通过与附图相关的以下的实施方式的说明进一步变得清楚。其中，

图1是表示一个实施方式的机器人模拟系统的整体结构的结构图，

图2是机器人模拟系统的功能框图，

图3是本实施方式的模拟动作的流程图，

图4是表示开始模拟动作时的虚拟空间内的机器人系统模型的显示状态的图，

图5是表示作为动作路径信息而显示表示协作机器人模型的接下来的动作方向以及速度的图像的例子的图，

图6是表示作为动作路径信息而显示表示协作机器人模型的接下来的动作的动作轨迹的例子的图，

图7是表示作为动作路径信息而显示图形表示协作机器人模型的动作程序(示教点)的图像的例子的图，

图8是表示作为动作路径信息而显示表示协作机器人模型的接下来的动作的预览图像的例子的图，

图9是表示在模拟动作中，操作人员与机器人模型过近的情况下显示警告消息的状态的图，

图10是表示作为检测操作人员的位置、动作的检测装置使用穿戴型检测装置的情况下的机器人模拟系统的结构的构成图。

具体实施方式

以下，参照附图，对本发明的实施方式进行说明。在全部附图中，对对应的构成要素标注相同的附图标记。为了使理解变得容易，这些附图适当地变更了比例尺。另外，附图所示的形态是用于实施本发明的一个例子，本发明不限定于图示的形态。

图1是表示一个实施方式的机器人模拟系统100的整体结构的构成图。机器人模拟系统100是用于进行协作机器人与人的协作作业的模拟的系统。如图1所示，机器人模拟系统100具备作为佩戴于操作人员90的头部的头部佩戴型显示装置的头戴式显示器80、执行模拟动作的模拟装置50、和检测操作人员90的位置、动作的检测装置70。头戴式显示器80以及检测装置70通过无线连接或者有线连接连接于模拟装置50。

模拟装置50具有包含协作机器人、工件以及周边装置的机器人系统的三维模型数据，具有生成将这些机器人系统模型配置于三维虚拟空间的图像并显示于头戴式显示器80的显示部83(参照图2)的功能。图1的虚线的框线图示了在虚拟空间(头戴式显示器80的显示部83)作为模拟立体物显示协作机器人模型20M、工件模型10M以及周边装置模型11M的图像的例子。此外，模拟装置50能够由具有CPU、ROM、RAM、存储装置、有线或者无线的网络接口、外部设备接口、操作部、显示部等的通常的计算机构成。以下说明的模拟装置50的各种功能通过模拟装置50的CPU执行模拟程序等各种程序而被实现。检测装置70检测实际空间内的操作人员70的位置、动作。通过该结构，模拟装置50能够根据实际空间内的操作人员90的位置、动作，求得虚拟空间内的协作机器人模型20M与操作人员90的相对位置关系，根据该相对位置关系生成机器人系统模型的显示图像。因此，操作人员90在实际空间内移动，由此能够在显示于头戴式显示器80的虚拟空间内接近机器人系统模型、或者远离机器人系统模型。

图2是机器人模拟系统100的功能框图。如图2所示，模拟装置50具备位置计算部501、三维模型显示部502、模拟执行部503、动作路径信息显示部506以及警告报告部507。

检测装置70例如是以视觉方式检测操作人员的视觉传感器，发挥拍摄操作人员90来检测操作人员90的位置、动作的功能。具体而言，检测装置70具有对拍摄到的图像进行解析，检测图像内的操作人员90的位置、动作、以及操作人员90的手的动作的功能。作为检测图像内的人体、手的位置的方法，能够使用进行与模型图像的匹配等本领域中公知的各种检测方法。检测装置70向模拟装置50提供检测出的操作人员90的位置、动作。

位置计算部501基于从检测装置70提供的操作人员90在实际空间中的位置、动作，计算虚拟空间中的协作机器人模型20M与操作人员90的相对位置。位置计算部501也具有作为计算虚拟空间中的协作机器人模型20M与操作人员90的相对距离的距离计算部的功能。协作机器人模型20M、工件模型10M以及周边装置模型11M通过三维模型显示部502配置于在虚拟空间内设定的坐标系上的预定的位置。位置计算部501将从检测装置70提供的操作人员90的位置(在实际空间内设定的坐标系上的位置)转换成在虚拟空间内设定的坐标系上的位置，由此，计算虚拟空间内的协作机器人模型20M与操作人员90的相对位置。

三维模型显示部502基于由位置计算部501计算出的虚拟空间内的操作人员90与协作机器人模型20M的相对位置，生成将协作机器人模型20M、工件模型10M以及周边装置模型11M配置于虚拟空间内的图像数据。三维模型显示部502将生成的图像数据发送至头戴式显示器80，在头戴式显示器80的显示部83显示基于图像数据的图像(将机器人系统模型配置于虚拟空间的图像)。

模拟执行部502执行机器人系统模型的模拟动作。在本说明书中，模拟动作是指根据动作程序、操作人员的示教输入，使机器人系统模型模拟地进行动作。模拟执行部502从位置计算部501取得虚拟空间内的操作人员90与协作机器人模型20M的相对位置，使用于协作的作业的模拟动作。通过使用该相对位置，也能够在模拟动作过程中在操作人员90与协作机器人模型20M过近的情况下，在虚拟空间内显示警告。

另外，模拟执行部502也可以使用操作人员90与协作机器人模型20M的相对位置，由此对协作机器人模型20M给予接下来的安全动作的至少一个。

(M1)在模拟动作过程中，在操作人员90接近协作机器人模型20M的情况下，使协作机器人模型20M的动作速度降低。

(M2)在模拟动作过程中，在操作人员90与协作机器人模型20M接触的情况下，使协作机器人模型20M停止。

(M3)在模拟动作过程中，在操作人员90按压协作机器人模型20M的情况下，使协作机器人模型20M与操作人员90的动作一致地动作。

此外，上述的动作能够通过对由检测装置70拍摄到的操作人员90的动作进行解析，检测操作人员90的手的动作而实现。

动作路径信息显示部506从动作程序取得作为与机器人模型20M的动作有关的信息的动作路径信息。动作路径信息也可以包含协作机器人模型20M的动作履历。动作路径信息显示部506具有将动作路径信息作为图像显示于虚拟空间(头戴式显示器80的显示部83)的功能。作为一个例子，动作路径信息显示部506在协作机器人模型20M进行接下来的动作前(例如，即将进行接下来的动作前)，显示该动作的动作路径信息。由此，操作人员90能够知晓协作机器人模型20M接下来要采取的行动，能够识别接下来应该进行的作业。

警告报告部507基于虚拟空间内的操作人员90与协作机器人模型20M的相对距离，对于操作人员90警告与协作机器人模型20M过近。例如，当在虚拟区间内协作机器人模型20M与操作人员90的相对距离变为预定值以下的情况下，警告报告部507在头戴式显示器80的显示部83显示警告消息。此外，这样的警告也可以通过警告音而进行。在该情况下，警告报告部507也可以从设置于头戴式显示器80或者模拟装置50的扬声器发出警告音。

头戴式显示器80具有进行对从三维模型显示部502提供的图像数据进行处理而显示于显示部83的图像处理的图像处理部81、和与操作人员90的双眼对应地设置的显示部83。作为一个例子，图像处理部81生成双眼视差图像并显示于显示部83。由此，操作人员90能够将机器人系统模型识别为伪立体物。

图3是本实施方式的模拟动作的流程图。图3的模拟动作通过模拟装置50的CPU执行存储于模拟装置50内的存储装置的模拟程序而实现。此外，模拟程序能够储存于能够由计算机读取的各种存储介质(ROM、RAM、闪存、HDD、CD－ROM、DVD－ROM等)。作为一个例子，通过使预先准备的协作机器人的暂定的动作程序在图1的机器人模拟系统100中运行，以发现动作程序、协作作业中的改善点为目的来执行图3的模拟动作。在模拟动作过程中，协作机器人模型20M也可以根据状况，设定为进行上述的(M1)～(M3)的安全动作。

若操作模拟装置50，启动模拟程序，则首先通过三维模型显示部502将机器人模型20M、工件模型10M以及周边装置模型11M显示于虚拟空间(头戴式显示器80的显示部83)(步骤S1)。这里，图1的虚线框线内所示的图像显示于头戴式显示器80的显示部83。

接下来，开始通过检测装置70检测操作人员90的位置、动作的动作(步骤S2)。由检测装置70检测的操作人员90的位置、动作被提供至模拟装置50。接下来，模拟执行部503使用由检测装置70检测出的操作人员90的位置、动作，开始模拟动作(步骤S3)。在模拟动作中，协作机器人模型20M根据动作程序进行动作。另外，操作人员90模拟执行协作作业中的人的作业。这里，作为协作作业的一个例子，协作机器人模型20M进行搬运工件模型10M并交给人的动作，操作人员90进行从协作机器人模型20M接受工件模型10M的动作。

图4示出了开始模拟动作时的虚拟空间内的机器人系统模型的显示状态。如图4所示，在操作人员90佩戴的头戴式显示器80的显示部83中，显示机器人模型20M开始把持并搬运工件模型10M的状态的图像。操作人员90根据作业步骤，进行从机器人模型20M接受工件模型10M的动作。

在模拟动作的执行过程中，动作路径信息显示部506基于虚拟空间中的操作人员90与协作机器人模型20M的相对位置，生成表示协作机器人模型20M的动作路径信息的图像，并显示于虚拟空间(步骤S4)。通过显示动作路径信息，能够使操作人员90掌握协作机器人模型20M接下来如何动作。因此，操作人员90不必掌握作业步骤，也能够适当地执行模拟。以下，对动作路径信息的显示例子进行说明。

图5示出了作为动作路径信息而显示表示协作机器人模型20M的接下来的动作方向以及速度的图像101的例子。作为一个例子，图像101在抓完工件模型10M的协作机器人模型20M即将开始移动前被显示。由此，操作人员90能够瞬时掌握协作机器人20M接下来动作的方向以及速度。

图6示出了作为动作路径信息而显示表示协作机器人模型20M的动作的动作轨迹102的例子。作为一个例子，动作轨迹102在协作机器人模型20M即将开始移动前或者移动过程中被显示。由此，操作人员90能够在协作机器人20M开始动作前掌握轨迹整体。

图7示出了作为动作路径信息而显示图形表示协作机器人模型20M的动作程序(示教点)的图像103的例子。此外，图像103中的P1～P4表示示教点，连结示教点P1～P4之间的直线表示路径。作为一个例子，图像103在协作机器人模型20M即将开始移动前或者移动过程中被显示。由此，操作人员90能够在协作机器人20M开始动作前掌握路径整体。

图8示出了作为动作路径信息而显示表示协作机器人模型20M的接下来的动作的预览图像104的例子。预览图像104是配置于协作机器人模型20M的接下来的动作位置的协作机器人模型20M的伪图像。作为一个例子，预览图像104在抓完工件模型10M的协作机器人模型20M即将开始移动前被显示。由此，操作人员90能够可靠地识别协作机器人20M接下来采取的动作。此外，作为预览图像，也可以显示机器人模型20M移动至接下来的位置的动画。

返回图3的说明，在模拟动作过程中，在操作人员90与机器人模型20M过近的情况下(即，在虚拟空间内的机器人模型20M与操作人员90的相对距离变为预定值以下的情况下)，警告报告部507显示警告(步骤S5)。图9示出了警告信息的显示例。在图9的例子中，警告消息106与机器人系统模型的图像一同显示于头戴式显示器80的显示部83。通过在模拟动作中显示这样的警告，能够避免模拟执行过程中的操作人员90与协作机器人模型20M的接触、接近。

此外，由于在模拟动作过程中掌握了虚拟空间内的操作人员90的位置，因此模拟执行部503例如也可以在模拟动作中进行确认在协作机器人模型20M将工件模型10M搬运至目的位置时，操作人员90是否在接受工件模型10M的位置的处理。或者，当在协作作业中包含有协作机器人模型20M从操作人员90接受工件模型10M的动作的情况下，模拟执行部503也可以确认在协作机器人模型20M进行接受工件模型10M的动作时，操作人员90是否存在于能够交接工件模型10M的位置。即，模拟执行部503也可以执行以操作人员90的协作动作与协作机器人模型20M的基于动作程序的动作是否容易地协调的观点进行确认的处理。

能够将上述的通过模拟动作发现的协作机器人模型20M与作业人员的接触的可能性等利用于动作程序的变更、作业步骤的重新考虑。例如，考虑为了避免协作机器人模型20M与作业人员的接触而变更动作程序(示教点)，或者对作业人员的作业步骤添加用于等待协作机器人移动的步骤。或者，也能够重新考虑周边装置、工件的配置。模拟执行部503也可以具有基于操作人员90与协作机器人模型20M的相对距离，例如以避免操作人员90与协作机器人模型20M的接触的方式，自动地变更协作机器人模型20M的动作路径的功能。此外，也可以同时显示上述的动作路径信息的图像101(动作方向以及速度)、动作轨迹102、图像103(动作程序)、预览图像104中的二个以上。

如以上说明的那样，根据本实施方式，操作人员能够边模拟体验人与协作机器人协作的作业边执行模拟，因此能够更进一步高效地制作准确的动作程序、作业步骤。

以上，对本发明的实施方式进行了说明，但本领域技术人员知晓能够不脱离后述的请求专利保护的范围的公开范围而进行各种修正以及变更。

在上述的实施方式中，示出了作为检测操作人员90的位置、动作的检测装置使用视觉传感器的例子，但检测装置不限定于这样的例子。图10是表示作为检测操作人员90的位置、动作的检测装置使用穿戴型检测装置170的情况下的机器人模拟系统100a的结构的构成图。此外，图10中作为参考，在括弧内示出了穿戴型检测装置170的功能框图。机器人模拟系统100a除了作为检测操作人员90的位置、动作的检测装置使用穿戴型检测装置170这点以外，具有与上述的机器人模拟系统100相同的结构。穿戴型检测装置170具有在与身体的多个部位(手指部、臂部、躯体部、脚部等)对应的部分设置例如由加速度传感器、角速度传感器等构成的动作传感器75的结构，通过无线通信向模拟装置50提供由各动作传感器75捕捉到的操作人员90的身体的各部位的动作、位置。在操作人员90穿戴这样的穿戴型检测装置170的结构的情况下，也能够与上述的实施方式的情况相同地执行在图3中说明的模拟动作。在机器人模拟系统100a的情况下，也能够获得与上述的实施方式相同的效果。

此外，穿戴型检测装置170也可以是具有分别配置于与身体的多个动作部位对应的位置的电动执行器76的驱动机构(例如，辅助身体的各关节部分的动作的电动执行器的驱动机构)的结构。此时，在检测到操作人员90的身体部位与协作机器人模型20M在虚拟空间内的接触的情况下，穿戴型检测装置170能够使与该身体部位对应的位置的电动执行器76动作而对操作人员90的动作产生载荷。例如，在操作人员90用手按压协作机器人模型20M的动作的情况下，穿戴型检测装置170也可以使操作人员90的手的部分的电动执行器76动作而对操作人员90的手的动作施加载荷。作为一个例子，模拟执行部503也可以基于操作人员90的三维虚拟空间内的位置，在检测到操作人员90的身体部位与协作机器人模型20M在三维虚拟空间内的接触的情况下，向穿戴型检测装置170发送检测信号。穿戴型检测装置170根据来自模拟执行部503的检测信号，使与该身体部位对应的位置的电动执行器76动作而对操作人员90的动作产生载荷。

图1所示的机器人模拟系统100也能够用于由操作人员90进行对于协作机器人模型20M的示教输入来制作动作程序的模拟动作。例如，形成将操作人员90能够手持操作的外部控制器连接于模拟装置50的结构。在该情况下，操作人员90边观察显示于头戴式显示器80的显示部83的协作机器人模型20M的图像，边手动操作外部控制器来进行示教输入。

另外，为了解决本公开的课题，能够提供以下的各种方式及其效果。此外，以下的方式的说明中的编号与本公开的附图的附图标记对应。

例如，本公开的第一方式为一种模拟装置50，用于协作机器人与人协作来进行的协作作业的模拟，该模拟装置50具备：头部佩戴型显示装置80，其佩戴于模拟地执行上述协作作业的操作人员90；检测部70，其检测上述操作人员90在实际空间中的位置；三维模型显示部502，其在上述头部佩戴型显示装置80中显示在三维虚拟空间中配置了包含协作机器人模型20M的机器人系统模型的图像；和模拟执行部503，其基于执行上述协作作业的上述协作机器人的动作程序与由上述检测部检测出的上述操作人员90的位置，在上述三维虚拟空间内使上述协作机器人模型模拟地进行动作。

根据上述第一方式，操作人员能够边模拟体验人与协作机器人协作的作业边执行模拟，因此能够更进一步高效地制作可靠的动作程序、作业步骤。

另外，本公开的第二方式在上述第一方式的模拟装置50的基础上，进一步具备动作路径信息显示部506，该动作路径信息显示部506从上述动作程序取得表示上述协作机器人模型20M的动作的动作路径信息，在上述协作机器人模型20M开始上述动作前使上述动作路径信息作为图像显示于上述三维虚拟空间。

另外，本公开的第三方式在上述第二方式的模拟装置50的基础上，上述动作路径信息包含上述协作机器人模型的动作方向以及速度的至少某一个。

另外，本公开的第四方式在上述第二方式或者第三方式的模拟装置50的基础上，上述动作路径信息包含上述协作机器人模型的动作轨迹。

另外，本公开的第五方式在上述第二方式～第四方式中任一个的模拟装置50的基础上，上述动作路径信息包含上述协作机器人模型的示教点。

另外，本公开的第六方式在上述第二方式～第五方式中任一个的模拟装置50的基础上，上述动作路径信息包含上述协作机器人模型的上述动作的预览图像。

另外，本公开的第七方式在上述第一方式～第六方式中任一个的模拟装置50的基础上，进一步具备：距离计算部501，其基于由上述检测部检测出的上述操作人员的位置，计算上述协作机器人模型与上述操作人员在上述三维虚拟空间内的距离；和警告报告部507，其在由上述距离计算部计算出的上述距离变为预定值以下的情况下，进行警告的报告。

另外，本公开的第八方式在上述第一方式～第七方式中任一个的模拟装置50的基础上，上述检测部70是以视觉方式检测上述操作人员的视觉传感器。

另外，本公开的第九方式在上述第一方式～第七方式中任一个的模拟装置50的基础上，上述检测部是以物理方式检测上述操作人员的身体的运动的穿戴型检测装置170。

另外，本公开的第十方式在上述第九方式的模拟装置50的基础上，上述穿戴型检测装置170具备分别配置于与身体的多个动作部位对应的位置的执行器，在基于由上述检测部70检测出的上述操作人员90的位置检测到上述操作人员90的身体部位与上述协作机器人模型在上述三维虚拟空间内的接触的情况下，上述模拟执行部503向上述穿戴型检测装置170发送检测信号，上述穿戴型检测装置170根据来自上述模拟执行部503的上述检测信号，使与上述身体部位对应的位置的上述执行器动作来对上述操作人员的动作产生载荷。

Claims

1.一种模拟装置，用于协作机器人与人协作来进行的协作作业的模拟，其特征在于，

所述模拟装置具备：

头部佩戴型显示装置，其佩戴于模拟地执行所述协作作业的操作人员；

检测部，其检测所述操作人员在实际空间中的位置；

三维模型显示部，其在所述头部佩戴型显示装置中显示在三维虚拟空间中配置了包含协作机器人模型的机器人系统模型的图像；和

模拟执行部，其基于执行所述协作作业的所述协作机器人的动作程序与由所述检测部检测出的所述操作人员的位置，在所述三维虚拟空间内使所述协作机器人模型模拟地进行动作。

2.根据权利要求1所述的模拟装置，其中，

所述模拟装置进一步具备动作路径信息显示部，所述动作路径信息显示部从所述动作程序取得表示所述协作机器人模型的动作的动作路径信息，在所述协作机器人模型开始所述动作前使所述动作路径信息作为图像显示于所述三维虚拟空间。

3.根据权利要求2所述的模拟装置，其中，

所述动作路径信息包含所述协作机器人模型的动作方向以及速度的至少某一个。

4.根据权利要求2或3所述的模拟装置，其中，

所述动作路径信息包含所述协作机器人模型的动作轨迹。

5.根据权利要求2～4中任一项所述的模拟装置，其中，

所述动作路径信息包含所述协作机器人模型的示教点。

6.根据权利要求2～5中任一项所述的模拟装置，其中，

所述动作路径信息包含所述协作机器人模型的所述动作的预览图像。

7.根据权利要求1～6中任一项所述的模拟装置，其中，

所述模拟装置进一步具备：

距离计算部，其基于由所述检测部检测出的所述操作人员的位置，计算所述协作机器人模型与所述操作人员在所述三维虚拟空间内的距离；和

警告报告部，其在由所述距离计算部计算出的所述距离变为预定值以下的情况下，进行警告的报告。

8.根据权利要求1～7中任一项所述的模拟装置，其中，

所述检测部是以视觉方式检测所述操作人员的视觉传感器。

9.根据权利要求1～7中任一项所述的模拟装置，其中，

所述检测部是以物理方式检测所述操作人员的身体的运动的穿戴型检测装置。

10.根据权利要求9所述的模拟装置，其中，

所述穿戴型检测装置具备分别配置于与身体的多个动作部位对应的位置的执行器，

在基于由所述检测部检测出的所述操作人员的位置检测到所述操作人员的身体部位与所述协作机器人模型在所述三维虚拟空间内的接触的情况下，所述模拟执行部向所述穿戴型检测装置发送检测信号，

所述穿戴型检测装置根据来自所述模拟执行部的所述检测信号，使与所述身体部位对应的位置的所述执行器动作来对所述操作人员的动作产生载荷。