CN110170982A - 模拟机器人的动作的模拟装置 - Google Patents

Abstract

本发明的模拟装置实施机器人装置的模拟，该机器人装置包括2台二维照相机。模拟装置具备：设定点配置部，其将多个设定点配置到工件模型的表面；距离计算部，其计算从三维传感器模型到设定点为止的距离。模拟装置具备：三维信息生成部，其生成三维信息，该三维信息包括设定点的位置和从三维传感器模型到设定点为止的距离。模拟装置具备：排除部，其排除从照相机模型看不到的设定点。模拟装置根据三维信息，变更机器人模型的位置和姿势。

Description

模拟机器人的动作的模拟装置

技术领域

本发明涉及对机器人的动作进行模拟模拟装置。

背景技术

具备机器人和工作工具的机器人装置通过使机器人变更位置和姿势，能够进行工件的输送等的工作。例如，已知一种取出堆积在容器中的工件的机器人装置(例如，日本特开2017-170567号公报和日本特开2010-71743号公报)。在这样的机器人装置中，能够使用通过照相机拍摄的工件的图像来检测工件的位置和姿势。机器人装置能够根据工件的位置和姿势来变更机器人的位置和姿势，对工件进行工作。

另外，已知一种在具备用于检测工件的位置和姿势的照相机的机器人装置中，在机器人装置进行实际的工作之前实施模拟的模拟装置(例如专利第5897624号公报)。

发明内容

通过模拟装置来实施机器人装置的模拟，由此能够判别机器人装置是否进行希望的工作。另外，能够在进行实际的工作之前对驱动机器人装置的动作程序进行评价。操作者能够根据模拟的结果，变更进行工作的空间中的装置的位置、或变更工作工具、或修正动作程序。

但是，现有技术的模拟装置能够将与机器人对应的机器人模型和与工件对应的工件模型等模型配置在虚拟空间中而实施模拟。因此，模拟装置有时甚至检测出无法实际上从照相机看的工件的部分而实施模拟。其结果是存在以下的问题，即通过模拟得到的距离图像与通过实际的机器人装置得到的距离图像不同，模拟的精度低。

例如，在实际的机器人装置中，有时通过照相机无法拍摄工件的一部分，因此无法检测工件的位置和姿势。其结果是有时无法通过机器人装置输送工件。但是，在模拟装置中，有时甚至计算出无法通过照相机拍摄的部分，因此以机器人装置能够输送工件的方式实施模拟。

本发明的一个实施例的模拟装置根据通过包括2台二维照相机的三维传感器取得的工件的三维信息，模拟机器人对工件进行的工作。模拟装置具备：模型生成部，其在虚拟空间中生成三维地表现机器人的机器人模型、三维地表现工件的工件模型、以及包括三维地表现二维照相机的照相机模型的三维传感器模型。模拟装置具备：设定点配置部，其将多个设定点配置到工件模型的表面；距离计算部，其计算从三维传感器模型到各个设定点为止的距离。模拟装置具备：三维信息生成部，其生成三维信息，该三维信息包括设定点的位置和从三维传感器模型到设定点为止的距离。模拟装置具备：排除部，其排除配置在工件模型的表面的设定点中的从至少一个照相机模型看不到的设定点。模拟装置具备：工件位置计算部，其根据三维信息，计算工件模型的位置和姿势。模拟装置具备：模拟执行部，其根据工件模型的位置和姿势，变更机器人模型的位置和姿势，实施对工件模型进行的工作的模拟。

附图说明

图1是实施方式的机器人装置和模拟装置的概要图。

图2是实施方式的模拟装置的框图。

图3是实施方式的设定点配置部的框图。

图4是实施方式的模拟的控制的流程图。

图5是显示在模拟装置的显示部的图像的例子。

图6是说明在模拟中用于计算设定点的第一平面的模型的立体图。

图7是说明在模拟中用于计算设定点的第二平面的模型的立体图。

图8是说明第一平面和第二平面的交线的立体图。

图9是说明测量区域与第一平面的交线、以及测量区域与第二平面的交线的图。

图10是说明通过设定点配置部配置在工件的表面的设定点的工件模型的立体图。

图11是说明从范围传感器模型到工件模型为止的距离的计算的概要图。

图12是说明配置在工件的表面的设定点的第一概要图。

图13是说明配置在工件的表面的设定点的第二概要图。

图14是通过排除部排除了一部分设定点时的工件模型的立体图。

图15是通过模拟装置得到的距离图像的例子。

图16是说明检测工件模型的表面的控制的工件模型的立体图。

图17是在执行模拟时显示在显示部的图像的例子。

图18是说明通过排除部排除设定点时的重复区域的概要图。

图19是说明配置在工件模型的表面的设定点的距离的修正的概要图。

具体实施方式

参照图1～图19说明实施方式的模拟装置。在本实施方式中，由包括机器人和安装在机器人上的工作工具的机器人装置实施预先规定的工作。本实施方式的模拟装置模拟机器人对工件进行的工作。另外，在本实施方式中，列举进行工件的输送的机器人装置为例子进行说明。

图1是本实施方式的机器人装置和模拟装置的概要图。机器人装置9具备把持工件85的机器手5、移动机器手5的机器人1。机器人装置9具备为了检测工件85的位置和姿势而对工件85进行拍摄的作为三维传感器的范围传感器6。机器人装置9具备控制机器人1和机器手5的控制装置2。本实施方式的控制装置2也控制范围传感器6。

本实施方式的机器手5是把持或释放工件85的工作工具(末端执行器)。作为安装于机器人1的工作工具，并不限于该形式，也可以采用与机器人装置9进行的工作对应的任意的工作工具。例如，可以采用实施工件的焊接的工作工具、或将密封材料配置在工件的表面的工作工具等。

本实施方式的机器人1是包括多个关节部18的多关节机器人。机器人1包括上部机器臂11和下部机器臂12。下部机器臂12被转动基座13支承。转动基座13被基座14支承。机器人1包括与上部机器臂11的端部连结的腕15。机器人1的各个构成部件形成为围绕预先规定的驱动轴旋转。作为机器人，并不限于本形式，能够采用可以移动工作工具的任意的机器人。

控制装置2包括具备CPU(Central Processing Unit，中央处理单元)、经由总线与CPU相互连接的RAM(Random Access Memory，随机存取存储器)及ROM(Read Only Memory，只读存储器)等的运算处理装置(计算机)。为了控制机器人装置9和范围传感器6，向控制装置2输入预先制作的动作程序。机器人1根据控制装置2的动作指令进行驱动。机器人装置9根据动作程序自动地输送工件85。

工件85被配置在架台81的表面。范围传感器6被配置在能够拍摄工件85的位置。在本实施方式中，范围传感器6被配置在架台81的上方。范围传感器6被支承构件83支承。

本实施方式的范围传感器6包括2台二维照相机61、62。2台二维照相机61、62相互离开地配置。2台二维照相机61、62是能够拍摄二维的图像的照相机。作为2台二维照相机61、62，可以采用具备CCD(Charge-Coupled Device，电荷耦合器件)传感器或CMOS(Complementary Metal-Oxide Semiconductor，互补金属氧化物半导体)传感器等拍摄元件的任意的照相机。预先规定2台二维照相机61、62的相对位置。

本实施方式的范围传感器6包括向工件85投影图案光的投影仪63。投影仪63具备激光二极管或发光二极管等光源。本实施方式的投影仪63向工件85投影条纹图案的图案光。

本实施方式的范围传感器6通过2台二维照相机61、62拍摄工件85的图像。控制装置2具有处理通过2台二维照相机61、62拍摄所得的图像的功能。控制装置2能够通过立体法生成工件85的三维信息。控制装置2根据通过2台二维照相机61、62拍摄的2个图像的视差，来计算到工件85的规定部分为止的距离。此外，处理通过2台二维照相机61、62取得的图像的运算处理装置也可以与控制装置2分别地配置。

三维信息包括与规定的点的位置、从范围传感器到规定的点为止的距离有关的信息。三维信息包括距离图像、或三维图。距离图像是根据距离而使图像的像素的亮度或颜色变化所得的图像。三维图将测定点表现为预先规定的坐标系的坐标值(x，y，z)和距离的集合。这样，在本实施方式中，将通过三维传感器的输出得到的三维地表现的工件85的信息称为三维信息。

控制装置2根据从范围传感器6的图像取得的三维信息，检测工件85的位置和姿势。另外，控制装置2根据工件85的位置和姿势来变更机器人1的位置和姿势。然后，机器手5把持工件85。接着，控制装置2变更机器人1的位置和姿势而将工件85输送到希望的位置。

本实施方式的模拟装置3包括运算处理装置(计算机)，该运算处理装置包括CPU和RAM等。模拟装置3包括显示模拟的执行中的状态或结果等的显示部32。显示部32能够由液晶显示屏等构成。本实施方式的模拟装置3通过通信线连接成能够与控制装置2相互通信。或者，模拟装置3能够向控制装置2发送通过模拟装置3修正后的动作程序。此外，模拟装置3也可以不与控制装置2连接。本实施方式3的模拟装置3被装载在架台82。

在图2中表示本实施方式的模拟装置的框图。在图3中表示本实施方式的模拟装置的设定点配置部的框图。在图4中表示本实施方式的进行模拟的控制的流程图。

参照图2～图4，模拟装置3包括生成机器人装置9中包含的构件的模型和工件85的模型的模型生成部34。在步骤91中，模型生成部34生成配置了成为模拟的对象的构件的虚拟空间。模型生成部34将与模拟相关联的构件的模型配置在虚拟空间中。模拟装置3将该虚拟空间显示在显示部32。另外，显示部32显示模拟的结果。例如，将机器人的位置和姿势所变化的动作显示在显示部32。

操作者预先将机器人装置9和工件85的三维模型输入到模拟装置3中。作为三维模型，例如能够使用通过CAD(Computer Aided Design，计算机辅助设计)装置生成的三维数据。三维数据中例如包含构件的形状数据。模型生成部34使用预先输入的三维数据，生成各个构件的模型。

在图5中表示本实施方式的显示在模拟装置的显示部的虚拟空间的图像的例子。模型生成部34生成三维地表现机器人装置9的机器人装置模型9M。模型生成部34生成三维地表现机器人1的机器人模型1M。模型生成部34生成三维地表现机器手5的作为工作工具模型的机器手模型5M。模型生成部34生成范围传感器模型6M作为三维地表现范围传感器6的三维传感器模型。范围传感器模型6M包括三维地表现二维照相机61、62的照相机模型61M、62M、三维地表现投影仪63的投影仪模型63M。

模型生成部34生成三维地表现工件85的工件模型85M、三维地表现承载工件85的架台81的架台模型81M。模型生成部34将这些机器人装置模型9M和工件模型85M配置在虚拟空间中。机器人装置的构件的模型和工件模型85M的相对位置与实际的机器人装置9的构件和工件85的相对位置对应。

模型生成部34在虚拟空间中设定具有原点101的世界坐标系。世界坐标系是即使机器人模型1M的位置和姿势变化而原点101和坐标轴的方向也不变化的坐标系。例如，可以用世界坐标系的坐标值表示虚拟空间中的机器人装置模型9M的位置和工件模型85M的位置。

此外，在图5中，显示部32以二维的图像显示机器人装置模型9M和工件模型85M等，但并不限于该形式。也可以由操作者使用输入装置来变更视点，由此显示部形成为能够通过三维图像确认构件的模型的位置关系等。

参照图2～图4，模拟装置3包括在工件模型85的表面配置多个设定点的设定点配置部35。在步骤92中，设定点配置部35在工件模型85M的全部的表面配置设定点。

在图6中表示说明用于配置设定点的第一平面的立体图。参照图3和图6，设定点配置部35包括计算第一平面的第一平面计算部45。设定点配置部35针对范围传感器模型6M设定测量区域TA。测量区域TA例如设定有与将2个照相机模型61M、62M的透镜中心点相互连接起来的线平行且与照相机模型61M、62M的光轴垂直的平面。或者，能够通过与投影仪模型63M的光轴垂直的平面来生成测量区域TA。在本实施方式中，将测量区域TA形成在从范围传感器模型6M离开预先规定的距离的位置。另外，将测量区域TA形成为预先规定的大小。

本实施方式的测量区域TA被与将2个照相机模型61M、62M的透镜中心点相互连接起来的线平行的线分割。测量区域TA通过多个分割线等间隔地分割。本实施方式的第一平面P1包括将2个照相机模型61M、62M的透镜中心点相互连接起来的线和分割线。第一平面计算部45根据各个分割线来生成多个第一平面P1。

在图7中表示说明用于配置设定点的第二平面的立体图。参照图3和图7，设定点配置部35包括计算第二平面的第二平面计算部46。本实施方式的投影仪模型63M投影条纹图案的图案光。在测量区域TA中，形成亮部分和暗部分的分界线。第二平面P2是穿过该分界线和投影仪模型63M的透镜中心点的平面。第二平面计算部46对每个条纹图案的边界线生成第二平面P2。第二平面计算部46生成多个第二平面P2。此外，将图6所示的测量区域TA的分割线被确定成与投影仪模型6M所投影的条纹图案的边界线垂直。

在图8中表示说明第一平面和第二平面的交线的概要图。参照图3和图8，设定点配置部35具备计算第一平面P1和第二平面P2的交线的交线计算部47。交线计算部47计算第一平面P1和第二平面P2所交叉的线即交线L1。例如用基于世界坐标系的公式来表示交线L1。

设定点配置部35具备计算工件模型85M与交线L1的交点的交点计算部48。交点计算部48计算交线L1与工件模型85M的表面的交点。设定点配置部35能够将交点确定为设定点PC1、PC11。设定点PC1、PC11例如可以用世界坐标系的坐标值来表示。

在图9中表示说明测量区域与第一平面交叉的线、以及测量区域与第二平面交叉的线的平面图。在本实施方式中，在测量区域TA中，将第一平面P1和第二平面P2生成为相互垂直相交。生成第一平面P1与第二平面P2的多个交点。交线计算部47以穿过这些交点的方式计算多个交线L1。另外，交点计算部48可以计算多个交线L1与工件模型85M的表面相交的交点，并将这些交点确定为设定点。

在图10中表示说明配置在工件模型的表面上的设定点的工件模型的立体图。设定点配置部35在工件模型85M的全部表面配置设定点PC1。在本实施方式中，设定点配置部35将设定点PC1配置在工件模型85M的上面、侧面、以及底面。在存在多个工件模型的情况下，设定点配置部35将设定点配置在全部工件模型的表面。

在图11中表示从范围传感器模型到工件模型的设定点为止的距离的计算的概要图。参照图2、图4、图11，模拟装置3具备计算从范围传感器模型6M到设定点PC1为止的距离Z的距离计算部36。在步骤93中，距离计算部36针对各个设定点PC1，计算从范围传感器模型6M到设定点PC1为止的距离Z。

在虚拟空间中，预先规定照相机模型61M、62M的位置。预先规定2个照相机模型61M、62M之间的距离D。另外，也预先规定照相机模型61M的光轴LA1、照相机模型62M的光轴LA2。因此，距离计算部36能够计算从照相机模型61M朝向设定点PC1的视线LV1与光轴LA1所成的角度θ1。同样地，距离计算部36能够计算从照相机模型62M朝向设定点PC1的视线LV2与光轴LA2所成的角度θ2。能够使用这些距离D、角度θ1、θ2，根据以下的公式(1)，计算从范围传感器模型6M到设定点PC1为止的距离Z。

Z tanθ₂＝D+Z tanθ₁…(1)

如图10所示，在工件模型85M的表面配置有多个设定点PC1。本实施方式的距离计算部36针对全部的设定点PC1计算距离Z。参照图2和图4，模拟装置3包括生成三维信息的三维信息生成部37，该三维信息包括设定点的位置和从范围传感器模型6M到设定点PC1为止的距离。在步骤94中，三维信息生成部37根据设定点PC1的位置及从范围传感器模型6M到设定点PC1为止的距离Z，生成与工件模型85M有关的三维信息。

本实施方式的设定点配置部35在工件模型85M的全部表面上配置设定点PC1。在虚拟空间中，在工件模型85M的全部表面上配置设定点PC1。但是，在实际的工作空间中，存在从二维照相机61、62的至少一方无法看到的工件85的部分。

本实施方式的模拟装置3实施控制，该控制为排除配置在从二维照相机61、62的至少一方无法看到的部分上的设定点。参照图2和图4，模拟装置3包括排除部38，该排除部排除配置在工件模型85M的表面的多个设定点PC1中的从至少一个照相机61M、62M无法看到的设定点。在步骤95中，排除部38从三维信息中排除从至少一个照相机模型61M、62M无法看到的设定点PC1。即，排除部38排除配置在通过实际的二维照相机61、62无法拍摄的部分上的设定点PC1。

在图12中表示用于说明排除设定点的步骤的范围传感器模型和工件模型的概要图。在图12所示的例子中，从照相机模型61M和照相机模型62M的双方能够看到设定点PC1。即，在通过二维照相机61和二维照相机62拍摄工件85时，在双方的图像中拍摄有设定点PC1。设定点PC11被配置在工件模型85M的侧面。从照相机模型61M能够看到设定点PC11，但从照相机模型62M无法看到设定点PC11。设定点PC11被配置在工件模型85M的上面的死角。设定点PC11被配置在没有反映到通过与照相机模型62M对应的实际的二维照相机62拍摄所得的图像中的部分。

排除部38将从照相机模型62M无法看到的设定点PC11排除。在本实施方式中，排除部38针对设定点PC11，计算从照相机模型61M朝向设定点PC11的视线LV1、从照相机模型62M朝向设定点PC11的视线LV2。排除部38能够检测出视线LV2与工件模型85M的表面的交点PX11。排除部38在设定点PC11与照相机模型62M之间存在交点PX11的情况下，能够排除设定点PC11。

或者，在存在各个视线与工件模型的表面的交点，而设定点是与照相机模型最接近的点的情况下，排除部38能够保留该设定点。另一方面，在视线LV2与工件模型85M的表面的交点PX11比设定点PC11更接近照相机模型62M的情况下，排除部38能够排除该设定点PC11。排除部38从通过三维信息生成部37生成的三维信息中，排除包含距离Z的信息的设定点PC11。

在图13中表示说明排除设定点的其他例子的范围传感器模型和工件模型的概要图。在图13所示的例子中，在工件模型85M上堆积有工件模型86M。工件模型86M的上面是曲面。例如，由于在照相机模型62M与设定点PC12之间存在交点PX12，所以将设定点PC12排除。另外，由于在照相机61M与设定点PC13之间存在交点PX13，所以将设定点PC13排除。

这样，能够针对任意形状的工件模型，实施本实施方式的控制。即使在堆积有多个工件的情况下，也能够实施本实施方式的控制。本实施方式的排除部38在通过实际的二维照相机61、62拍摄二维图像时，能够排除配置在图像没有反映的部分的设定点。另外，排除部38除了排除从一个照相机无法看到的设定点以外，还可以排除从双方的照相机模型无法看到的设定点。

在图14中表示排除部排除了一部分的设定点后的工件模型的立体图。图14是从图10所示的工件模型85M排除了一部分的设定点PC1后的图。在该例子中，删除了配置在工件模型85M的侧面和底面的设定点PC1。另外，保留了配置在工件模型85M的上面的设定点PC1。

在图15中，表示通过排除部排除了设定点后的三维信息的例子。在图15中，表示出堆积了2层的工件模型的距离图像67。根据从范围传感器模型6M到工件模型85M为止的距离Z，确定各个像素的浓度。例如，越是接近范围传感器模型6M，则能够将像素设定得越淡。通过改变这样的像素的浓淡，能够在视觉上显示三维信息。此外，如上述那样，作为三维信息，并不限于距离图像，也可以是包含设定点的位置和距离之间的信息的文本形式的信息。

参照图2和图4，模拟装置3包括表面检测部40，该表面检测部检测工件模型85M的各个表面。在步骤96中，表面检测部40根据配置在工件模型85M的表面的设定点PC1，检测工件模型85M的各个表面。

在图16中表示说明检测工件的表面的控制的工件模型的立体图。在图16所示的例子中，配置有多个工件模型85M。表面检测部40制作多个设定点PC1中的相互接近的设定点PC1的集合GPC1、GPC2、GPC3。例如，表面检测部40生成相互相邻的设定点PC1的距离小于判定值的设定点PC1的集合。在图16所示的例子中，形成有集合GPC1、GPC2、GPC3。表面检测部40检测1个集合作为工件模型的1个表面。在存在多个工件模型85M的情况下，表面检测部40能够生成多个集合。

参照图2和图4，模拟装置3包括工件位置计算部41，该工件位置计算部根据工件模型85M的三维信息计算工件模型85M的位置和姿势。在步骤97中，工件位置计算部41能够根据配置在各个工件模型85M的表面的设定点PC1的集合GPC1、GPC2、GPC3，计算工件模型85M的位置和姿势。作为工件模型的位置，例如能够采用工件模型的重心位置。另外，作为工件模型的姿势，例如可以采用工件的表面的法线的方向。

在图17中表示执行机器人装置模型的模拟时的显示部的图像的例子。参照图2、图4、以及图17，模拟装置3包括实施对工件模型进行的工作的模拟的模拟执行部42。在步骤98中，模拟执行部42执行机器人装置模型9M的模拟。模拟执行部42根据通过工件位置计算部41计算出的工件模型85M的位置和姿势，变更机器人模型1M的位置和姿势。通过机器人模型1M改变位置和姿势，从而机器手模型5M移动到工件模型85M的近旁。接着，机器手模型5M把持工件模型85M。然后，机器人模型1M变更位置和姿势，将工件模型85M输送到希望的位置。由此，能够实施机器人装置的模拟。

在实际的机器人装置中，存在通过二维照相机无法拍摄的工件的部分。在现有技术的模拟装置中，由于对从二维照相机无法看到的工件的部分也进行计算，所以有时实际的机器人装置的工作与模拟中的机器人装置的工作不同。对此，本实施方式的模拟装置将配置在通过实际的照相机无法拍摄的部分的设定点排除，因此能够实施与实际的机器人装置的动作接近的模拟。即，本实施方式的模拟装置能够提高模拟的精度。

在上述实施方式中，排除部38通过计算各个照相机模型61M、62M的视线LV1、LV2，而排除通过照相机无法拍摄的设定点。作为排除设定点的控制，并不限于该形式，可以实施排除从照相机模型无法看到的设定点、即通过实际的照相机无法拍摄的设定点的任意的控制。另外，排除部能够排除从照相机模型无法看到的多个设定点中的至少一部分的设定点。

例如，作为排除部38的控制，能够实施使用如图8所示那样从投影仪模型63M的透镜中心点延伸的交线L1的控制。排除部38计算工件模型85M的表面的交点。这时，在一个交线L1检测出作为交点的2个设定点PC1、PC11的情况下，能够排除与投影仪模型63M最接近的设定点PC1以外的设定点PC11。或者，在设定点PC11和投影仪模型63M之间存在其他设定点PC1的情况下，排除部38能够实施从三维信息中排除设定点PC11的控制。在该控制中，能够排除从至少一方的二维照相机61、62无法看到的设定点中的大部分的设定点。

本实施方式的排除部38从三维信息中排除从照相机模型无法看到的设定点，但并不限于该形式。排除部也可以在生成三维信息之前，排除从照相机模型无法看到的设定点。例如，也可以作为将设定点配置在工件模型的表面的下一个工序，而排除一部分的设定点。

但是，配置在二维照相机61、62的视野外侧的工件无法通过二维照相机61、62拍摄。另外，针对配置在投影仪63的图案没有被投影的区域的工件，有时无法正确地检测工件的位置和姿势。本实施方式的排除部38能够排除配置在2个照相机模型的视野与投影仪模型的投影范围重叠的区域的外侧的设定点。

在图18中表示说明设定点的排除的工件模型和范围传感器模型的概要图。在图18中，在架台上配置有多个工件模型85M、87M、88M。投影仪模型63M向投影范围RA的内部投影图案光。投影范围RA与实际的投影仪63所投影图案光的区域对应。另外，照相机模型61M具有与实际的二维照相机61的视野对应的拍摄范围RC1。照相机模型62M具有与实际的二维照相机62的视野对应的拍摄范围RC2。预先规定拍摄范围RC1、RC2以及投影范围RA。

排除部38计算拍摄范围RC1、拍摄范围RC2、投影范围RA重叠的区域即重叠区域RD。由于工件模型85M被配置在重叠区域RD的内部，所以排除部38不排除配置在工件模型85M的表面的设定点PC1。由于工件模型88M被配置在重叠区域RD的外侧，所以排除部38排除配置在工件模型88M的表面的设定点PC11。

工件模型87M的一部分被配置在重叠区域RD的内部。因此，排除部38实施控制，该控制为不排除在工件模型87M的表面配置的设定点中的配置在重叠区域RD的内部的设定点PC2。另一方面，排除部38实施控制，该控制为排除配置在重叠区域RD的外侧的设定点PC12。

参照图4，该控制能够在步骤92的将设定点配置在工件模型85M的表面之后实施。例如，能够在步骤95中在排除了从照相机模型61M、62M的至少一方无法看到的设定点之后实施。或者，该控制能够在排除从照相机模型61M、62M的至少一方无法看到的设定点之前实施。或者，也可以作为步骤92的之后的步骤实施。

这样，排除部38能够考虑二维照相机61、62的视野和投影仪63的图案光的投影范围来排除设定点。因此，能够排除配置在从实际的二维照相机61、62无法看到的部分的设定点、配置在没有投影图案光的区域的设定点，能够实施更正确的模拟。

此外，在图18所示的例子中，存在配置在重叠区域RD的外侧的工件模型87M、88M，但并不限于该形式。在实际的机器人装置中，能够以将全部的工件85配置在重叠区域RD的内部方式将范围传感器6配置在充分分离的位置。或者，也可以使用具有将全部的工件配置在重叠区域的内部的性能的照相机和范围传感器。在这些情况下，由于不存在配置在重叠区域的外侧的设定点，因此排除部也可以不实施将配置在重叠区域的外侧的设定点排除的控制。

参照图1，在实际的二维照相机61、62中，能够在拍摄的图像的中央部拍摄与实际的物体的形状对应的图像。但是，依赖于二维照相机61、62的性能，在图像的端部的部分有时图像会失真。例如，依赖于照相机的镜头的性能，有时在图像的周边部成为从实际的形状变形了的形状。本实施方式的模拟装置能够根据这样的实际的图像的特征来修正图像。模拟装置实施越是从图像的中心偏离而赋予越大的噪声的控制。例如，模拟装置3的距离修正部39实施在配置于拍摄的图像的端部的设定点处对距离赋予大的误差的控制。

参照图2，本实施方式的模拟装置3包括距离修正部39，该距离修正部39修正三维信息中包含的从三维传感器模型到设定点为止的距离。距离修正部39修正三维信息中包含的设定点PC1的距离Z。距离修正部39能够实施以下的控制，即从一个照相机模型的光轴到设定点为止的长度越长，则越是增大修正量。

在图19中表示说明距离修正部的控制的概要图。在图19中，表示出2个照相机模型61M、62M中的一个照相机模型61M。距离修正部39选择三维信息中包含的一个设定点PC1。距离修正部39计算照相机模型61M的光轴LA1和设定点PC1之间的长度DX1。然后，距离修正部39根据长度DX1，修正设定点PC1与范围传感器模型6M之间的距离Z(参照图11)。例如，能够将设定点PC1的距离Z乘以与长度DX1对应的系数。距离修正部39可以实施以下的控制，即从光轴LA1到设定点为止的长度越长，则越是增大修正量(噪声)。例如，工件模型85M的设定点PC2距离光轴LA1的长度DX2大于长度DX1。因此，距离修正部39将设定点PC2的距离Z的修正量设为比设定点PC1的距离Z的修正量大。

在距离修正部39进行的距离的修正中，并不限于将从范围传感器模型6M到设定点为止的距离Z乘以系数的方法，能够实施任意的修正的控制。例如，能够预先规定与距离光轴LA1的长度对应的修正量。另外，也可以将设定点的距离Z加上或减去修正量。此种系数或修正量能够根据照相机的性能预先规定。

距离修正部39能够针对1个设定点实施与照相机模型61M有关的修正和与照相机模型62M有关的修正。即，距离修正部39能够针对照相机模型61M和照相机模型62M实施距离Z的修正的控制。例如，距离修正部39能够在对照相机模型61M实施距离Z的修正后，对照相机模型62M实施距离Z的修正。

参照图4，距离修正部39进行的距离Z的修正能够在步骤96的检测工件模型的表面的步骤之前实施。例如，距离Z的修正能够作为步骤95的排除一部分设定点的步骤的之后的步骤来实施。或者，距离Z的修正能够也可以作为步骤93的计算设定点的距离Z的步骤的之后的步骤来实施。

本实施方式的投影仪投影条纹图案的图案光，但并不限于该形式。投影仪所投影的光的图案能够采用点图案或狭缝图案等任意的图案。另外，本实施方式的三维传感器具备投影仪，但也可以不具备投影仪。

在工件模型的表面上配置设定点的控制并不限于上述使用第一平面和第二平面的交线的方法，能够采用任意的控制。例如，在投影仪所投影的光的图案是点图案的情况下，能够计算穿过测量区域中投影的点的位置和投影仪的透镜中心点的直线。然后，能够将该直线与工件模型的表面的交点确定为设定点。另外，在三维传感器不具备投影仪的情况下，能够通过与本实施方式同样的方法来设定测量区域，在该测量区域上等间隔地确定通过点。然后，计算穿过该通过点和投影仪模型的透镜中心点的直线。能够将该直线与工件模型的表面的交点确定为设定点。

在本实施方式中，作为机器人装置进行的工作示例了工件的输送，但并不限于该形式。能够将本发明应用于需要取得工件的位置和姿势的任意的工作。例如，能够将本发明应用于工件的组装、或工件的焊接等。

根据本发明的一个实施例，在模拟机器人的动作的模拟装置中，能够提高模拟的精度。

在上述各个控制中，在不变更功能和作用的范围内能够适当地变更步骤的顺序。

能够适当地将上述实施方式组合。在上述各个图中，对相同或等同的部分赋予了相同的符号。此外，上述实施方式是示例，并不限定发明。另外，在实施方式中，包含权利要求所示的实施方式的变更。

Claims (4)

1.一种模拟装置，其根据由包括2台二维照相机的三维传感器取得的工件的三维信息，来模拟机器人对上述工件进行的工作，其特征在于，

所述模拟装置具备：

模型生成部，其在虚拟空间中生成三维地表现上述机器人的机器人模型、三维地表现上述工件的工件模型、以及包括三维地表现上述二维照相机的照相机模型的三维传感器模型；

设定点配置部，其将多个设定点配置到上述工件模型的表面；

距离计算部，其计算从上述三维传感器模型到各个上述设定点为止的距离；

三维信息生成部，其生成三维信息，该三维信息包括上述设定点的位置和从上述三维传感器模型到上述设定点为止的距离；

排除部，其排除配置在上述工件模型的表面的上述设定点中的从至少一个上述照相机模型看不到的上述设定点；

工件位置计算部，其根据上述三维信息，计算上述工件模型的位置及姿势；

模拟执行部，其根据上述工件模型的位置及姿势，变更上述机器人模型的位置及姿势，实施对上述工件模型进行的工作的模拟。

2.根据权利要求1所述的模拟装置，其特征在于，

上述三维传感器包括投影仪，该投影仪向上述工件投影图案光，

上述模型生成部在虚拟空间中生成三维地表现上述投影仪的投影仪模型，

上述排除部排除配置在与上述二维照相机的视野对应的上述照相机模型的拍摄范围和与上述投影仪投影图案光的区域对应的上述投影仪模型的投影范围重叠的区域的外侧的上述设定点。

3.根据权利要求1或2所述的模拟装置，其特征在于，

上述模拟装置具备距离修正部，该距离修正部修正从上述三维传感器模型到上述设定点为止的距离，

上述距离修正部以从上述照相机模型的光轴到上述设定点为止的长度越长则修正量越大的方式对距离进行修正。

4.根据权利要求1～3的任意一项所述的模拟装置，其特征在于，

上述排除部计算从上述照相机模型朝向上述设定点的视线，在上述设定点和上述照相机模型之间存在上述工件模型的表面与上述视线的交点的情况下，排除上述设定点。