CN116917090A - 使用从视觉传感器的输出得到的三维位置信息的模拟装置 - Google Patents

Abstract

模拟装置具有实施机器人装置的动作的模拟来推定机器人的动作路径的模拟执行部。模拟装置具有根据拍摄实际的工件的视觉传感器的输出，生成工件的表面的三维位置信息的位置信息生成部。显示部将工件的表面的三维位置信息与机器人装置模型的图像、工件模型的图像以及机器人的动作路径重叠地显示。

Description

使用从视觉传感器的输出得到的三维位置信息的模拟装置

技术领域

本发明涉及使用从视觉传感器的输出得到的三维位置信息的模拟装置。

背景技术

具有机器人以及作业工具的机器人装置通过变更机器人的位置以及姿势来变更作业工具的位置以及姿势。机器人装置能够进行变更作业工具的位置以及姿势的各种作业。机器人的位置以及姿势根据在进行作业之前生成的动作程序变更。在动作程序中设定有确定了机器人的位置以及姿势的示教点。

在通过机器人装置进行新的作业的情况下，需要制作动作程序。关于示教点处的机器人的位置以及机器人的姿势，能够驱动实际的机器人来进行示教。另外，已知有实施机器人装置的动作的模拟的模拟装置(例如，日本特开2015-93345号公报)。在模拟装置中，能够通过图像来确认机器人装置的动作。作业者利用模拟装置进行机器人装置的动作的模拟，由此能够对示教点进行示教。

另外，在以往的技术中，已知如下内容：在机器人安装三维视觉传感器，对由三维视觉传感器取得的位置的信息进行处理，由此，检测对象物相对于机器人的位置来进行各种作业(例如，日本特开2006-35384号公报)。

并且，已知有如下控制：在机器人安装二维视觉传感器或三维视觉传感器，实际驱动机器人装置来修正示教点(例如，日本特开平7-84631号公报及日本特开2004-255547号公报)。在这样的装置中，例如在实际的工件配置标记。根据视觉传感器的输出来取得实际的工件中的标记的位置。能够根据实际的标记的位置来修正动作程序中的示教点的位置。

现有技术文献

专利文献

专利文献1：日本特开2015-93345号公报

专利文献2：日本特开2006-35384号公报

专利文献3：日本特开平7-84631号公报

专利文献4：日本特开2004-255547号公报

发明内容

发明要解决的课题

在模拟装置中，优选针对成为作业对象的工件确定准确的机器人的位置以及姿势。然而，机器人装置配置于设置面时的设置位置以及支承工件的架台等周边设备的设置位置成为期望的设计值的情况较少。特别是，周边设备的设置位置的偏移与配置工件的位置的偏移对应。实际的机器人的设置位置以及配置工件的位置大多从模拟中的位置偏移。因此，优选示教点的位置以及示教点处的机器人的姿势也偏移。

在现有技术中，将由模拟装置制作出的动作程序输入到实际的机器人装置的控制装置。作业者实际驱动机器人，修正动作程序中的示教点的位置以及示教点处的机器人的姿势。

另一方面，在模拟装置中，难以考虑实际的机器人的设置位置以及配置工件的位置来调整示教点的位置以及示教点处的机器人的姿势。即，存在如下问题：难以预测机器人的设置位置或固定工件的周边设备的设置位置如何偏移，在模拟装置中难以修正动作程序。

在对实际的工件的表面配置标记并利用视觉传感器检测标记的位置的控制中，存在必须使对模拟中的工件设定的标记位置与对实际的工件配置的标记位置一致的问题。另外，在标记的检测失败的情况下，无法判别工件的位置。因此，需要以容易通过视觉传感器的输出来检测工件的方式制作标记。

用于解决课题的手段

本公开的第一方式的模拟装置实施具有机器人的机器人装置的动作的模拟。模拟装置具有：模型生成部，其根据机器人装置的三维形状数据和工件的三维形状数据，生成模拟中的机器人装置模型和工件模型。模拟装置具有：显示部，其显示机器人装置模型的图像以及工件模型的图像。模拟装置具有：动作信息设定部，其生成包含示教点的动作程序。模拟装置具有：模拟执行部，其根据示教点实施机器人装置的动作的模拟来推定机器人的动作路径。模拟装置具有：位置信息生成部，其根据拍摄实际的工件的视觉传感器的输出，生成工件的表面的三维位置信息。显示部将工件的表面的三维位置信息与机器人装置模型的图像、工件模型的图像以及机器人的动作路径重叠地显示。

本公开的第二方式的模拟装置实施具有机器人的机器人装置的动作的模拟。模拟装置具有：模型生成部，其根据机器人装置的三维形状数据和工件的三维形状数据，生成模拟中的机器人装置模型和工件模型。模拟装置具有：模拟执行部，其实施机器人装置的动作的模拟。模拟装置具有：动作信息设定部，其根据机器人装置的动作的模拟来设定由动作程序确定的动作信息。模拟装置具有：位置信息生成部，其根据拍摄实际的工件的视觉传感器的输出，生成工件的表面的三维位置信息；以及位置检测部，其通过进行工件的基准数据与工件的表面的三维位置信息的匹配，检测实际的工件的位置。动作信息设定部根据模拟中的工件模型的位置和由位置检测部检测出的实际的工件的位置，修正动作程序中包含的动作信息以与实际的工件的位置对应。

发明效果

根据本公开的一方式，能够提供一种能够容易地判别或修正机器人的位置以及姿势的偏移的模拟装置。

附图说明

图1是实施方式中的第一机器人装置的立体图。

图2是实施方式中的具有第一机器人装置以及第一模拟装置的第一机器人系统的框图。

图3是通过动作程序实施模拟时的图像。

图4是通过视觉传感器拍摄工件时的机器人装置以及工件的立体图。

图5是显示机器人装置模型的图像以及由视觉传感器检测出的三维点的点群的图像。

图6是显示机器人装置模型的图像、工件模型的图像以及由视觉传感器检测出的三维点的点群的图像。

图7是实施方式中的具有第一机器人装置以及第二模拟装置的第二机器人系统的框图。

图8是显示用于说明对工件模型设定的工件坐标系的机器人装置模型的图像、工件模型的图像以及三维点的点群的图像。

图9是显示修正动作程序中的动作信息后的动作路径、机器人装置模型的图像、工件模型的图像以及三维点的点群的图像。

图10是实施方式中的第二机器人装置的立体图。

具体实施方式

参照图1至图10，对实施方式中的模拟装置进行说明。本实施方式的模拟装置实施具有机器人的机器人装置的动作的模拟。本实施方式的模拟装置处理三维视觉传感器的输出。三维视觉传感器取得与作为作业对象物的工件的表面相关的信息。本实施方式的模拟装置将工件的表面的位置信息与模拟的模型一起显示，或根据工件的表面的位置信息来修正在模拟中确定的示教点。

图1是本实施方式中的第一机器人装置的立体图。图2是本实施方式中的第一机器人系统的框图。参照图1以及图2，第一机器人系统具有第一机器人装置3以及第一模拟装置4。第一机器人装置3实施点焊。第一机器人装置3具有作为作业工具的焊枪5和变更焊枪5的位置以及姿势的机器人1。机器人装置3具有控制机器人1以及焊枪5的控制装置2。第一机器人系统具有取得与作为作业对象物的工件65的表面相关的信息的视觉传感器30。

本实施方式的第一工件65是板状的部件。第一工件65具有与焊接点68a～68c对应地形成的凸部65a。第一工件65具有表面65b。第二工件66是具有与第一工件65相同的平面形状的板状的部件。机器人装置3在3处焊接点68a～68c实施点焊。第一工件65与第二工件66相互固定。工件65、66支承于架台69。

本实施方式的机器人1是包含多个关节部的多关节机器人。机器人1包含上部臂11和下部臂12。下部臂12支承于回转基座13。回转基座13支承于基座14。机器人1包含与上部臂11的端部连结的腕部15。腕部15包含固定焊枪5的凸缘16。本实施方式的机器人1具有6个驱动轴，但不限于该方式。机器人能够采用能够移动作业工具的任意的机器人。

本实施方式的机器人1包含驱动上部臂11等构成部件的机器人驱动装置21。机器人驱动装置21包含用于驱动上部臂11、下部臂12、回转基座13以及腕部15的多个驱动马达。焊枪5包含驱动焊枪5的工具驱动装置22。本实施方式的工具驱动装置22包含相对于焊枪5的固定电极驱动可动电极的马达。

控制装置2具有包含作为处理器的CPU(Central Processing Unit)的运算处理装置24(计算机)。运算处理装置24具有经由总线与CPU相互连接的RAM(Random AccessMemory)以及ROM(Read Only Memory)等。机器人装置3根据预先制作出的动作程序来驱动机器人1和焊枪5。本实施方式的机器人装置3在焊接点68a～68c处自动地对工件65、66实施点焊。

控制装置2的运算处理装置24包含存储与机器人装置3的控制相关的信息的存储部42。存储部42能够由能够存储信息的非暂时性的存储介质构成。例如，存储部42能够由易失性存储器、非易失性存储器、磁存储介质或光存储介质等存储介质构成。用于机器人装置3进行点焊作业的动作程序存储在存储部42中。

运算处理装置24包含输送动作指令的动作控制部43。动作控制部43根据动作程序向机器人驱动部44输送用于驱动机器人1的动作指令。机器人驱动部44包含对驱动马达进行驱动的电路。机器人驱动部44根据动作指令向机器人驱动装置21供电。另外，动作控制部43向作业工具驱动部45输送驱动工具驱动装置22的动作指令。作业工具驱动部45包含向电极通电的电路以及驱动可动电极的马达的电路。作业工具驱动部45根据动作指令向工具驱动装置22供电。

动作控制部43相当于按照机器人装置的动作程序进行驱动的处理器。处理器读入动作程序，实施由动作程序确定的控制，由此，作为动作控制部43发挥功能。

机器人1包含用于检测机器人1的位置以及姿势的状态检测器。本实施方式中的状态检测器包含安装于机器人驱动装置21的各驱动轴的驱动马达的旋转角检测器23。旋转角检测器23例如由编码器构成。通过旋转角检测器23的输出，检测机器人1的位置以及姿势。

控制装置2包含作为操作盘的示教操作盘49，该操作盘使作业者手动操作机器人装置3。示教操作盘49包含输入与机器人1、焊枪5以及视觉传感器30相关的信息的输入部49a。输入部49a由键盘和拨盘等操作部件构成。示教操作盘49包含显示与机器人装置3的控制相关的信息的显示部49b。显示部49b由液晶显示面板等显示面板构成。

对本实施方式的机器人装置3设定在机器人1的位置以及姿势变化时不动的机器人坐标系71。在图1所示的例子中，在机器人1的基座14配置机器人坐标系71的原点。机器人坐标系71也称为世界坐标系或者基准坐标系。机器人坐标系71的原点的位置固定，坐标轴的朝向固定。即使机器人1的位置以及姿势变化，机器人坐标系71的位置以及姿势也不变化。

对机器人装置3设定具有设定于作业工具的任意位置的原点的工具坐标系72。工具坐标系72的位置以及姿势与焊枪5一起变化。在本实施方式中，工具坐标系72的原点设定在工具前端点(固定电极的前端点)。机器人1的位置与工具前端点的位置(工具坐标系72的原点的位置)对应。另外，机器人1的姿势对应于工具坐标系72相对于机器人坐标系71的姿势。

本实施方式的视觉传感器30是能够取得对象物的表面的三维位置信息的三维照相机。本实施方式的视觉传感器30是包含第一照相机31和第二照相机32的立体照相机。各个照相机31、32是能够拍摄二维图像的二维照相机。2台照相机31、32的相对位置预先确定。本实施方式的视觉传感器30包含朝向工件65的表面65b投影条纹图案等图案光的投影仪33。

第一模拟装置4模拟机器人装置3的动作。模拟装置4将机器人1的三维模型、焊枪5的三维模型以及工件65、66的三维模型配置在同一虚拟空间中，实施机器人装置3的动作的模拟。

本实施方式中的模拟装置4由包含作为处理器的CPU的运算处理装置构成。模拟装置4具有存储与机器人装置3的模拟相关的任意信息的存储部53。存储部53能够由能够存储信息的非暂时性的存储介质构成。例如，存储部53能够由易失性存储器、非易失性存储器、磁存储介质或光存储介质等存储介质构成。用于实施机器人装置的模拟的程序存储在存储部53中。

向模拟装置4输入机器人1、焊枪5以及工件65、66的三维形状数据50。三维形状数据50中包含用于进行机器人装置的模拟的机器人、作业工具、周边设备以及工件的三维形状数据。作为三维形状数据50，例如能够使用从CAD(Computer Aided Design)装置输出的数据。三维形状数据50存储在存储部53中。

模拟装置4包含输入与机器人装置3的模拟相关的信息的输入部51。输入部51由键盘、鼠标以及拨盘等操作部件构成。模拟装置4包含显示与机器人装置3的模拟相关的信息的显示部52。如后所述，显示部52显示机器人装置3的模型的图像和工件65、66的模型的图像。显示部52由液晶显示面板等显示面板构成。此外，在模拟装置具有触摸面板方式的显示面板的情况下，显示面板作为输入部以及显示部发挥功能。

模拟装置4包含为了机器人装置3的模拟而进行运算处理的处理部54。另外，处理部54具有对由视觉传感器30取得的信息进行处理的功能。处理部54包含模型生成部55，该模型生成部55根据包含机器人装置3的三维形状数据和工件65、66的三维形状数据的三维形状数据50，生成作为机器人装置的模型的机器人装置模型和作为工件的模型的工件模型。

处理部54包含实施机器人装置3的动作的模拟的模拟执行部56。模拟执行部56具有根据作业者对输入部51的操作而在画面上活动机器人装置模型的功能。或者，模拟执行部56根据预先生成的示教点，实施机器人装置3的动作的模拟。例如，模拟执行部56根据包含示教点的动作程序41来实施机器人装置3的动作的模拟。

处理部54包含根据拍摄实际的工件65、66的视觉传感器30的输出来生成工件65的表面的三维位置信息的位置信息生成部59。处理部54包含根据机器人装置3的动作的模拟来设定由机器人装置3的动作程序41确定的动作信息的动作信息设定部57。动作信息设定部57生成包含示教点的动作程序。机器人装置3的动作信息包含示教点的位置以及示教点处的机器人1的姿势。

处理部54包含控制显示于显示部52的图像的显示控制部58。处理部54包含通过在显示于显示部52的图像中指定任意的两点从而计算两点彼此之间的距离的距离计算部60。距离计算部60能够计算工件模型的图像中的点与配置于工件的表面的三维点的点群中包含的一个三维点之间的距离。

处理部54相当于按照模拟的程序进行驱动的处理器。模拟的程序预先制作并存储在存储部53中。处理器读入模拟的程序，实施由程序确定的控制，由此，作为处理部54发挥功能。另外，处理部54中包含的模型生成部55、模拟执行部56、动作信息设定部57、显示控制部58、位置信息生成部59以及距离计算部60相当于按照模拟的程序进行驱动的处理器。处理器实施由程序确定的控制，由此，作为各个单元发挥功能。

图3表示显示于模拟装置的显示部的图像的例子。在图像81中表示实施了机器人装置3的模拟后的状态。模型生成部55生成三维的模型。模型生成部55生成机器人装置模型3M。模型生成部55根据机器人1的三维形状数据生成机器人模型1M。模型生成部55根据焊枪5的三维形状数据生成焊枪模型5M。模型生成部55根据工件65、66的三维形状数据，生成工件模型65M、66M。

显示控制部58显示机器人模型1M、焊枪模型5M以及工件模型65M、66M的图像。处理部54能够在配置机器人装置模型3M以及工件模型65M、66M的虚拟空间中设定对实际的机器人装置3设定的机器人坐标系71。与实际的机器人装置3一样，能够使用机器人坐标系71在模拟中指定机器人的位置以及姿势和工件的位置以及姿势。

关于设置机器人1的设置位置以及配置工件65、66的位置，能够由作业者利用输入部51输入设计值。或者，机器人1的设置位置以及工件65、66的位置也可以包含于三维形状数据50。在此，作为工件的位置，也可以输入架台的设置位置以及工件相对于架台的位置。

模拟执行部56根据输入部51的操作，使图像81中的机器人模型1M的位置以及姿势变化。作业者操作输入部51使焊枪模型5M成为期望的位置以及姿势。作业者指定用于进行焊接作业的示教点89a～89h。在各个示教点89a～89h处，调整机器人模型1M的位置以及姿势。在此，在三个部位实施点焊。示教点89b、89e、89g与实施点焊的焊接点68a、68b、68c对应。

如箭头101所示，作业者以焊枪模型5M朝向实施第一个点焊的点的方式设定示教点89a、89b。如箭头102所示，作业者以朝向实施第二个点焊的点的方式设定示教点89c、89d、89e。如箭头103所示，作业者以朝向实施第三个点焊的点的方式设定示教点89f、89g。如箭头104所示，作业者以焊枪模型5M从实施第三个点焊的点退避的方式设定示教点89h。作业者指定在示教点89a～89h彼此之间移动的机器人的位置的移动方法。在此，机器人的位置以在示教点彼此之间直线移动的方式进行指定。

模拟执行部56按照由作业者指定的示教点89a～89h的位置、各个示教点89a～89h处的机器人的姿势以及机器人的位置的移动方法来实施模拟。模拟执行部56能够根据示教点89a～89h，使图像81中的机器人模型1M的位置以及姿势变化。并且，模拟执行部56能够根据模拟的结果来推定动作路径86a。动作路径86a是机器人装置3的工具前端点移动的路径。显示控制部58将动作路径86a与机器人装置模型3M以及工件模型65M、66M的图像重叠地显示。

这样，作业者能够操作输入部51，变更图像81中的机器人模型1M的位置以及姿势来设定示教点89a～89h。另外，作业者能够预先制作确定了示教点的动作程序41，并输入到模拟装置4。模拟执行部56根据动作程序41，实施机器人模型1M进行动作的模拟来计算动作路径86a。并且，显示控制部58除了机器人装置模型3M以及工件模型65M、66M的图像以外，还能够显示动作路径86a。

作业者在图像81中使机器人装置模型3M运动来确认机器人装置的状态。并且，作业者能够修正示教点的位置以及示教点处的机器人的姿势。在能够确认机器人装置模型3M以期望的状态进行驱动时，动作信息设定部57在动作程序中设定示教点的位置以及示教点处的机器人的姿势作为动作信息。即，动作信息设定部57能够生成动作程序。

但是，虚拟空间中的机器人模型1M的位置以及工件模型65M、66M的位置由作为期望的值的设计值指定。例如，作业者能够使用机器人坐标系71将机器人模型1M的位置以及工件模型65M、66M的位置指定为期望的值。

在此，实际的机器人1的设置位置以及固定于架台69的工件65、66的位置大多从期望的设计值偏移。其结果，工件65、66相对于机器人1的设置位置的位置大多从期望的位置偏移。在模拟中，难以推定工件模型65M、66M相对于机器人装置模型3M的准确的位置。这样，在模拟中，在配置各个装置以及部件的位置产生误差。

第一模拟装置4实施如下控制：利用视觉传感器30拍摄实际的工件65、66，以与实际的工件65的位置对应的方式将工件65的表面的三维位置信息显示于模拟的图像。显示工件65的表面的三维位置信息，以知晓配置有工件65的位置相对于机器人1的设置位置的偏移。

图4表示使用视觉传感器拍摄实际的工件时的机器人以及工件的立体图。参照图2和图4，在本实施方式中，在生成动作程序时将视觉传感器30安装于机器人1。在机器人装置3实际实施点焊时，卸下视觉传感器30。视觉传感器30能够固定于机器人1的任意位置。在本实施方式中，视觉传感器30经由支承部件固定于凸缘16。视觉传感器30以位置以及姿势变化的方式支承于机器人1。

作业者将成为基准的工件65、66固定于架台69。成为基准的工件65、66优选选定制造误差小的工件。另外，作业者将工件65、66固定于架台69中的成为基准的位置。优选以架台69中的工件65、66的位置的误差小的方式固定工件65、66。

在机器人装置3中，对视觉传感器30设定传感器坐标系73。传感器坐标系73是原点固定于视觉传感器30的任意位置的坐标系。传感器坐标系73的位置以及姿势与视觉传感器30一起变化。本实施方式的传感器坐标系73设定为Z轴与视觉传感器30中包含的照相机的光轴平行。

视觉传感器30能够在拍摄范围35内进行拍摄。在本实施方式中，视觉传感器30从工件65、66的上方拍摄工件65、66。视觉传感器30拍摄与视觉传感器30对置的工件65的表面65b。处理部54的位置信息生成部59能够根据视觉传感器30的输出，在拍摄范围35中的配置于视觉传感器30对焦的范围的工件65的表面65b设定多个三维点。

位置信息生成部59根据由第一照相机31拍摄到的图像与由第二照相机32拍摄到的图像的视差，计算从视觉传感器30到对象物的表面上的一点的距离。对由第一照相机31得到的图像的像素全域进行该计算来得到距离图像。位置信息生成部59针对距离图像的各点，根据视觉传感器的位置信息得到三维点作为任意坐标系上的坐标值。在此处的例子中，位置信息生成部59在传感器坐标系73中设定三维点。

当机器人1的位置以及姿势变化时，传感器坐标系73的位置以及姿势变化。根据机器人1的位置以及姿势，以将传感器坐标系73中的三维点的位置的坐标值转换为机器人坐标系71中的坐标值的方式对本实施方式的模拟装置4进行校正。即，根据视觉传感器30的输出，以能够计算设定于工件65的表面65b的三维点的机器人坐标系71的坐标值的方式进行校正。

位置信息生成部59能够以三维地图的形式生成对象物的表面的三维位置信息。三维地图是指通过对象物的表面的三维点的坐标值(x，y，z)的集合来表现对象物的表面的位置信息。此时的坐标值能够通过传感器坐标系或者机器人坐标系等任意坐标系来表现。另外，位置信息生成部59能够通过距离图像生成三维位置信息。距离图像通过二维图像来表现对象物的表面的位置信息。在距离图像中，能够通过各个像素的浓度或颜色来表示从视觉传感器30到三维点的距离。

本实施方式的位置信息生成部59配置于运算处理装置24的处理部54，但不限于该方式。位置信息生成部也可以配置在视觉传感器的内部。即，也可以是，视觉传感器包含具有CPU等处理器的运算处理装置，视觉传感器的处理器作为位置信息生成部发挥功能。该情况下，从视觉传感器输出三维位置信息。

在本实施方式中，工件65具有在将视觉传感器30配置于拍摄位置时比拍摄范围大的形状。由于相对于视觉传感器30的拍摄范围35而言工件65大，所以无法通过一次拍摄来拍摄工件65的表面65b的整体。因此，在本实施方式中，机器人1通过变更位置以及姿势来变更视觉传感器30的位置，分多次拍摄工件65的表面65b的整体。

如箭头105所示，使工件65中的拍摄范围35的位置变化来实施多次拍摄。此时，以前次拍摄中的拍摄范围35的一部分与本次拍摄中的拍摄范围35的一部分重叠的方式进行拍摄。即，以在前次的拍摄和本次的拍摄中拍摄工件65的相同部分的方式，一点一点地错开拍摄范围35的位置的同时进行拍摄。在通过前次的拍摄取得的三维位置信息以及通过本次的拍摄取得的三维位置信息中也包含共同的部分。

位置信息生成部59以三维位置信息的共同的部分重叠的方式，将通过视觉传感器30的输出取得的多个三维位置信息连接。位置信息生成部59生成工件65的表面65b的整体的三维位置信息。特别是，位置信息生成部59在从视觉传感器30看到的表面65b生成三维位置信息。通过进行该控制，能够使用拍摄范围比工件的大小小的视觉传感器30来取得工件65的整体的三维位置信息。

关于视觉传感器的移动，能够为了拍摄而预先制作机器人装置的动作程序，自动地驱动机器人来实施多次拍摄。另外，作业者也可以手动变更机器人的位置以及姿势来进行多次拍摄。例如，作业者能够通过操作示教操作盘，变更机器人的位置以及姿势。另外，能够如直接示教那样，实施如下控制：在机器人安装力觉传感器，以追随施加于机器人的外力的方式变更机器人的位置以及姿势。作业者也可以通过直接推或拉机器人来经由力觉传感器变更机器人的位置以及姿势。

图5表示显示作为由视觉传感器取得的三维位置信息的三维点的点群时的图像。显示控制部58用三维点87a表示工件65的表面65b的三维位置信息。在图像82中，除了多个三维点87a以外，还以包围三维点87a的方式用虚线表示三维点的点群87。显示控制部58能够根据位置信息生成部59取得的三维点87a的坐标值，显示三维点87a。三维点87a与实际的工件65的表面65b的位置对应。三维点87a配置在相对于机器人的实际的相对位置。

在此处的例子中，显示控制部58显示通过模拟计算出的动作路径86a。可知动作路径86a从与工件65的表面65b对应的点群87的位置偏移。作业者能够对各个示教点89a～89h的位置以及各个示教点89a～89h处的机器人的姿势进行修正，以与点群87的位置以及姿势对应。作业者能够操作输入部51，一边改变机器人模型1M的位置以及姿势一边修正示教点。

例如，作业者能够操作输入部51，将与焊接点68a对应的示教点89b修正为示教点90b。能够将与焊接点68b对应的示教点89e修正为示教点90e。另外，能够将与焊接点68c对应的示教点89g修正为示教点90g。其他的示教点89a、89c、89d、89f、89h也能够与点群87的位置以及姿势匹配地进行修正。

这样，在本实施方式中的模拟装置中，能够在模拟中显示的机器人模型和工件模型的图像上重叠显示实际的工件的三维位置信息。因此，能够容易地确认对实际的工件设定的示教点的偏移。并且，能够使用模拟装置来修正示教点的位置以及示教点处的机器人的姿势。

动作信息设定部57能够修正动作程序41中的动作信息。即，动作信息设定部57能够修正示教点的位置以及示教点处的机器人的姿势。这样，动作信息设定部57能够根据修正后的示教点来修正动作程序。

此外，作业者除了修正动作程序中的示教点以外，也可以修正实际的机器人的设置位置、支承工件的周边设备的设置位置、或者周边设备中的工件的位置。例如，作业者也可以修正固定工件65、66的架台69的设置位置、或者架台69中的成为工件65、66的基准的位置。

图6表示显示了本实施方式中的机器人装置模型、工件模型以及三维点的点群的图像。作业者能够选定机器人等的模型、动作路径以及三维位置信息中的显示于显示部52的信息。在图像83中，通过作业者的操作，显示机器人装置模型3M、三维点87a的点群87、工件模型65M、66M。

处理部54的距离计算部60能够计算模拟图像中包含的工件模型65M、66M中的任意点与一个三维点87a之间的实际距离。在此处的例子中，作业者指定工件模型65M的表面的角的点65Ma和配置于点群87的角的三维点87aa。点65Ma和三维点87aa彼此对应。点65Ma和三维点87aa是与工件65的表面65b的角对应的点。

距离计算部60取得点65Ma的坐标值和三维点87aa的坐标值。例如，取得机器人坐标系71中的坐标值。并且，距离计算部60计算点65Ma与三维点87aa之间的距离。显示控制部58能够将由距离计算部60计算出的距离显示于图像83。这样，距离计算部60能够计算并显示模型中的任意点与三维位置信息中的任意点之间的距离。作业者能够取得模拟中的任意的两点彼此的距离。例如，作业者能够知道工件模型相对于机器人模型的位置从工件相对于实际的机器人的位置偏移了何种程度。

上述实施方式中的位置信息生成部能够取得从视觉传感器看到的架台的表面和设置面的三维点。在本实施方式中，位置信息生成部从对象物的表面的三维点中排除在架台的表面以及设置面设定的三维点。例如，位置信息生成部能够根据距视觉传感器的距离的判定值来选择配置于工件的表面的三维点。

作为显示于显示部的三维点，不限于该方式。例如，也可以在模拟的图像中显示配置于架台的表面的三维点。即，也可以将设定于机器人的周边设备的表面的三维点显示于模拟的图像。

并且，在上述的实施方式中，取得工件65的上表面中的三维位置信息，但不限于该方式。通过变更机器人1的位置以及姿势，能够从各个方向拍摄工件65、66，取得表面的三维位置信息。例如，也可以取得设定于工件65、66的侧面的三维点的位置。并且，显示控制部58也可以将设定于工件65、66的侧面的三维点显示于显示部。

在上述实施方式中，相对于视觉传感器的拍摄范围而言工件大，因此，变更机器人的位置以及姿势来进行多次拍摄，但不限于该方式。在相对于拍摄范围而言工件小的情况下，能够通过视觉传感器的一次拍摄来拍摄工件的整体。该情况下，也可以利用架台等固定视觉传感器。例如，也可以在工件的上方固定视觉传感器，通过一次拍摄来取得工件的上表面整体的三维位置信息。

图7表示本实施方式中的第二机器人系统的框图。第二机器人系统具有第一机器人装置3以及第二模拟装置8。第二模拟装置8根据从视觉传感器30的输出取得的三维位置信息来检测实际的工件的位置。并且，第二模拟装置8自动地修正动作程序中包含的动作信息，以与实际的工件的位置对应。

第二模拟装置8的处理部63的结构与第一模拟装置4的处理部54的结构不同。第二模拟装置8的处理部63具有通过进行工件的基准数据与工件的表面的三维位置信息的匹配来检测实际的工件的位置的位置检测部61。位置检测部61相当于按照模拟的程序进行驱动的处理器。处理器通过实施由程序确定的控制，作为位置检测部61发挥功能。

另外，动作信息设定部57在动作程序中修正包含示教点的信息的动作信息。动作信息设定部57根据模拟中的工件模型的位置和由位置检测部61检测出的实际的工件的位置，修正动作信息以与实际的工件的位置对应。

图8表示显示了从视觉传感器的输出取得的三维点的点群的图像。参照图7和图8，在图像84中，利用视觉传感器30拍摄工件65、66，由此显示作为三维位置信息的三维点87a的点群87。在图像84中显示有机器人装置模型3M、工件模型65M、66M、三维点87a的点群87以及动作路径86a。动作路径86a是根据工件模型65M、66M的位置通过模拟生成的路径。与实际的工件65的表面65b的位置对应的点群87从工件模型65M的上表面偏移。其结果，动作路径86a也从三维点87a的点群87的位置偏移。

位置检测部61通过对工件65的基准数据进行点群87的匹配，来检测与点群87对应的实际的工件的位置。在匹配中，作为工件的基准数据，能够使用从CAD装置等输出的工件的三维形状数据。

作为匹配，例如，位置检测部61根据多个三维点87a生成多个网格的信息。也可以通过对该网格的信息匹配根据工件的三维形状数据生成的网格的信息，来检测实际的工件的位置。

另外，能够选定工件中的具有特征性形状的特征部位，对三维点的点群进行特征部位的三维形状数据的匹配。能够确定三维点的点群中的特征部位，检测特征部位的位置。能够根据多个特征部位的位置，检测实际的工件的位置。例如，选定工件65的凸部65a作为特征部位。通过将凸部65a的三维形状数据作为基准数据，对三维点的点群进行匹配，能够确定点群中的多个凸部的位置。或者，也可以根据三维点的点群推定工件的轮廓，进行与工件的三维形状数据中的轮廓的匹配。

在本实施方式中，为了确定工件的位置以及姿势，预先设定了在工件的表面具有原点且相对于工件具有预先确定的姿势的坐标系(用户坐标系)。在本实施方式中，将该坐标系称为工件坐标系。工件坐标系是固定于工件的坐标系。

对工件模型65M的上表面设定工件坐标系74a。在本实施方式中，在工件65的表面65b的一个角配置工件坐标系的原点。并且，沿着表面65b的缘延伸的方向设定工件坐标系的X轴和Y轴。例如，工件的位置相当于工件坐标系的原点的位置，能够用机器人坐标系71的坐标值(x，y，z)表示。另外，工件的姿势相当于工件坐标系的朝向，能够用机器人坐标系71的坐标值(w，p，r)表示。

由动作程序确定的动作信息能够通过由机器人坐标系表现的工件坐标系的位置以及姿势、由工件坐标系表现的示教点的位置以及示教点处的机器人的姿势来指定。

位置检测部61通过进行包含三维点87a的点群87与工件的基准数据的匹配，来检测与点群87对应的工件65的位置。位置检测部61计算与工件的上表面的角对应的点，以该点成为原点的方式设定工件坐标系74b。另外，以X轴和Y轴沿着点群87的缘延伸的方式设定工件坐标系74b。与实际的工件65的位置以及姿势对应的工件坐标系74b的位置以及姿势能够通过机器人坐标系71来计算。另外，显示控制部58能够显示由位置检测部61设定的工件坐标系74b。

动作信息设定部57在动作程序中实施如下控制：以与通过三维点87a的点群87计算出的工件坐标系74b的位置以及姿势对应的方式，通过模拟来修正对工件模型65M设定的工件坐标系74a的位置以及姿势。这样，动作信息设定部57能够修正动作程序中的动作信息。在此，能够修正动作信息中的、工件坐标系的位置以及姿势。

图9表示显示了在动作程序中修正了动作信息后的动作路径、机器人模型、工件模型以及三维点的点群的图像。通过修正作为动作信息的工件坐标系的位置以及姿势，来修正各个示教点的位置以及示教点处的机器人的姿势。各个示教点89b、89e、89g如箭头106所示那样移动，设定修正后的示教点90b、90e、90g。另外，通过模拟执行部56实施模拟，显示修正后的动作路径86b。

在第二模拟装置中，能够自动地修正工件65、66相对于机器人1的相对位置和相对姿势的偏移。更具体而言，能够根据从视觉传感器的输出取得的三维位置信息，自动地修正动作程序中包含的动作信息以与实际的工件的位置对应。

另外，对工件的表面设定工件坐标系，在工件坐标系中确定示教点的位置以及示教点处的机器人的姿势，由此，能够简化修正动作程序的控制。在动作程序中，不需要变更由工件坐标系表现的示教点的位置以及示教点处的机器人的姿势，能够通过变更工件坐标系的位置以及姿势来修正动作信息。

在上述的实施方式中，动作信息设定部实施修正动作程序中的工件坐标系的位置以及姿势的控制，但不限于该方式。动作信息设定部能够通过任意的控制来修正动作程序中的动作信息。

例如，作为由动作程序确定的动作信息的示教点的位置以及示教点处的机器人的姿势能够通过机器人坐标系的坐标值来指定。该情况下，动作信息设定部计算对三维点的点群设定的工件坐标系相对于对工件模型设定的工件坐标系的相对位置和相对姿势。工件坐标系的移动方向和移动量相当于工件的位置以及姿势的误差。因此，动作信息设定部能够根据工件坐标系的相对位置以及相对姿势，修正由机器人坐标系表现的示教点的位置以及示教点处的机器人的姿势。

在此，动作信息设定部57能够具有针对模拟中的一个点将一个坐标系的坐标值转换为其他坐标系的坐标值的功能。例如，能够根据机器人的位置以及姿势，将由对工件模型设定的工件坐标系表现的一个点的坐标值转换为由机器人坐标系表现的坐标值。或者，能够将由机器人坐标系表现的一个坐标值转换为由工件坐标系表现的坐标值。或者，也可以根据机器人的位置以及姿势，将传感器坐标系的坐标值转换为机器人坐标系的坐标值。

在上述实施方式中，焊枪作为作业工具安装于机器人，但不限于该方式。能够采用与机器人装置进行的作业对应的任意的作业工具。本实施方式的模拟装置能够应用于进行任意作业的机器人装置。接着，对进行点焊以外的作业的机器人装置的例子进行说明。

图10表示本实施方式的第二机器人装置的立体图。第二机器人装置9具有安装于机器人1的作为作业工具的机械手6。机械手6形成为能够把持或释放工件67。第二机器人装置9具有搬送工件67的输送机7作为机器人1的周边设备。输送机7向箭头107所示的方向搬送工件67。第二机器人装置9实施如下作业：将工件67从预先确定的位置搬送并载置于输送机7上。

即使在第二机器人装置9中，也有在机器人1的设置位置以及输送机7的设置位置产生误差的情况。在第二机器人装置9的模拟装置中，也将成为基准的工件67载置于输送机7的成为基准的位置。通过利用安装于机器人等的视觉传感器拍摄工件，取得工件的表面的三维位置信息。在模拟装置中，除了机器人装置模型以及工件模型等的图像之外，还能够显示三维位置信息。作业者能够在模拟装置中修正动作程序的动作信息。另外，模拟装置能够根据从视觉传感器的输出取得的三维位置信息来修正动作程序中包含的动作信息。例如，机器人装置能够修正用于在输送机上释放工件的示教点。

本实施方式的视觉传感器是包含多个二维照相机的立体照相机，但不限于该方式。作为视觉传感器，能够采用能够取得对象物的表面的三维位置信息的任意的传感器。作为视觉传感器，例如能够采用根据光的飞行时间来取得三维点的位置信息的TOF(Time ofFlight)照相机。或者，作为视觉传感器，也可以采用使激光测距仪在规定的区域进行扫描来检测对象物的表面的位置的装置等。

本实施方式的模拟装置的处理部由与机器人的控制装置不同的运算处理装置构成，但不限于该方式。机器人的控制装置也可以具有模拟装置的功能。即，控制装置的运算处理装置的处理器也可以作为处理部发挥功能。并且，在示教操作盘包含具有处理器的运算处理装置的情况下，示教操作盘也可以具有模拟装置的功能。即，示教操作盘的处理器也可以作为处理部发挥功能。

上述的实施方式能够适当组合。在上述的各个控制中，能够在不变更功能以及作用的范围内适当地变更步骤的顺序。在上述各图中，对相同或相等的部分标注相同的符号。此外，上述的实施方式是例示，并不限定发明。另外，在实施方式中，包含请求专利权的范围所示的实施方式的变更。

符号说明

1 机器人

1M 机器人模型

3、9 机器人装置

3M 机器人装置模型

4、8 模拟装置

30 视觉传感器

35 拍摄范围

50 三维形状数据

52 显示部

54、63 处理部

55 模型生成部

56 模拟执行部

57 动作信息设定部

59 位置信息生成部

60 距离计算部

61 位置检测部

65、66、67工件

65M、66M工件模型

65b 表面

71 机器人坐标系

73 传感器坐标系

74a、74b工件坐标系

81～84图像

86a、86b动作路径

87点群

87a、87aa三维点

89a～89h示教点

90b、90e、90g示教点。

Claims (6)

1.一种模拟装置，其实施具有机器人的机器人装置的动作的模拟，其特征在于，

所述模拟装置具有：

模型生成部，其根据机器人装置的三维形状数据以及工件的三维形状数据，生成模拟中的机器人装置模型以及工件模型；

显示部，其显示机器人装置模型的图像以及工件模型的图像；

动作信息设定部，其生成包含示教点的动作程序；

模拟执行部，其根据示教点实施机器人装置的动作的模拟来推定机器人的动作路径；以及

位置信息生成部，其根据拍摄实际的工件的视觉传感器的输出，生成工件的表面的三维位置信息，

所述显示部将工件的表面的三维位置信息与机器人装置模型的图像、工件模型的图像以及机器人的动作路径重叠地显示。

2.根据权利要求1所述的模拟装置，其特征在于，

三维位置信息由设定于工件的表面的多个三维点构成，

所述模拟装置还具有：距离计算部，其计算工件模型中的点与一个三维点的距离。

3.根据权利要求1或2所述的模拟装置，其特征在于，

工件具有在将视觉传感器配置于拍摄位置时比拍摄范围大的形状，

所述位置信息生成部生成通过使拍摄位置变化的多次拍摄而取得的多个三维位置信息，将多个三维位置信息连接，由此生成工件的表面的三维位置信息。

4.一种模拟装置，其实施具有机器人的机器人装置的动作的模拟，其特征在于，

所述模拟装置具有：

模型生成部，其根据机器人装置的三维形状数据以及工件的三维形状数据，生成模拟中的机器人装置模型以及工件模型；

模拟执行部，其实施机器人装置的动作的模拟；

动作信息设定部，其根据机器人装置的动作的模拟，设定由动作程序确定的动作信息；

位置信息生成部，其根据拍摄实际的工件的视觉传感器的输出，生成工件的表面的三维位置信息；以及

位置检测部，其通过进行工件的基准数据与工件的表面的三维位置信息的匹配，来检测实际的工件的位置，

所述动作信息设定部根据模拟中的工件模型的位置和由位置检测部检测出的实际的工件的位置，修正动作程序中包含的动作信息以与实际的工件的位置对应。

5.根据权利要求4所述的模拟装置，其特征在于，

预先设定对工件设定了原点的工件坐标系，

由动作程序确定的动作信息包含工件坐标系的位置及姿势、以及由工件坐标系确定的示教点的位置及示教点处的机器人的姿势，

所述动作信息设定部修正通过模拟对工件模型设定的工件坐标系的位置以及姿势，以使与根据三维位置信息计算出的实际的工件在工件坐标系的位置以及姿势对应。

6.根据权利要求4或5所述的模拟装置，其特征在于，

所述动作信息设定部具有针对模拟中的一个点，将一个坐标系中的坐标值转换为其他坐标系中的坐标值的功能。