CN106873550B - 模拟装置以及模拟方法 - Google Patents

Abstract

在工件等图像数据预先存在的情况下，期望高效地实现模拟的结构。模拟装置包括：构筑机构，其用于在三维假想空间内假想地构筑模拟对象的系统；测量机构，其通过对预先获取的图像数据进行由视觉传感器执行的图像测量处理，输出测量结果；接受机构，其接受视觉传感器的拍摄区域的设定，所述视觉传感器的拍摄区域与构筑的系统相关联；计算机构，其基于构筑的系统与设定的拍摄区域之间的相对位置关系计算出变换参数；执行机构，其将通过变换参数变换由测量机构生成的测量结果所得到的结果作为输入，并按照与系统相关联的控制程序执行控制运算。

Description

模拟装置以及模拟方法

技术领域

本发明涉及用于推定包括视觉传感器的系统的动作的模拟装置以及模拟方法。

背景技术

在工厂自动化(FA：Factory Automation)领域中，使用视觉传感器的自动控制技术被广泛的利用。例如，通过对工件等的对象物进行拍摄并对该拍摄的图像执行图形匹配等的图像测量处理，实现用于操作各种的控制设备的自动化处理。

在使用这样的视觉传感器的情况下，为了将视觉传感器的测量结果向控制装置输出，需要进行校准。例如，日本特开2007-017424号公报(专利文献1)公开了如下技术，即，一边测量装载于XYθ工作台的工件上的基准标记，一边自动地进行位置校正。

但是，在上述那样的自动控制技术的对象的系统的设计或检讨等阶段，需要预先评价系统整体的性能。针对这样的需求，假想地构筑系统来实现模拟动作的技术。例如，日本特开2013-191128号公报(专利文献2)公开了进行包含与假想拍摄部对应的实际空间的视觉传感器的机械系统的综合模拟的技术。在专利文献2公开的技术中，通过联合3D模拟器与视觉传感器模拟器，假想地生成各时刻的3D空间内的工件的拍摄图像。在专利文献2公开的技术中，假想地拍摄配置于规定校准位置的样品对象来执行校准。

日本特开2015-136770号公报(专利文献3)公开了如下技术，与专利文献2相同，通过在假想空间内规定机械手、视觉传感器、对象物的三维模型，并且利用视觉传感器假想地拍摄对象物，来生成对象物的计算机图形图像。在专利文献3公开的技术中，通过计算出机械手坐标系与传感器坐标系之间的位置关系，而不进行机械手与视觉传感器相关联的校准。

专利文献1：日本特开2007-017424号公报

专利文献2：日本特开2013-191128号公报

专利文献3：日本特开2015-136770号公报

在上述的专利文献2以及专利文献3公开的技术中，需要对工件或对象物预先定义。因此，例如，在检讨现有的系统等的改造的情况、检讨现有的系统的替换等的情况下，包括工件都需要模型化。

因此，在工件等的图像数据预先存在的情况下，期望高效地实现模拟的结构。

发明内容

本发明的一个技术方案，提供一种推定包括视觉传感器的系统的动作的模拟装置。模拟装置包括：构筑机构，其用于在三维假想空间内假想地构筑模拟对象的系统；测量机构，其通过对预先获取的图像数据进行由视觉传感器执行的图像测量处理，输出测量结果；接受机构，其接受视觉传感器的拍摄区域的设定，所述视觉传感器的拍摄区域与构筑的系统相关联；计算机构，其基于构筑的系统与设定的拍摄区域之间的相对位置关系计算出变换参数；执行机构，其将通过变换参数变换由测量机构生成的测量结果所得到的结果作为输入，并按照与系统相关联的控制程序执行控制运算。

优选地，构筑的系统包括根据控制运算的结果进行动作的机械手，变换参数是将作为测量结果输出的摄像头坐标系的坐标值变换为定义机械手的动作的机械手坐标系坐标值的参数。

优选地，模拟装置还具有再现机构，该再现机构使用由执行机构输出的涉及控制运算的时间序列数据，再现构筑的系统的动作。在本说明书中“再现”是指，模拟装置进行在假想空间所构筑的系统的运算而使系统假想地动作。“再现”包括模拟。

更优选地，图像测量处理包括基于预先登记的图像图形来识别工件的处理，再现机构将由测量机构识别而存在的各个工件显示在构筑的系统上，并且伴随着时间的经过更新各个工件的位置。

更优选地，再现机构将经过图像测量处理所得的工件的坐标值变换为定义构筑的系统的世界坐标系的坐标值，并将各个工件显示在构筑的系统上。

更优选地，计算机构计算构筑的系统中使工件移动的装置的单位移动量与构筑的系统中的工件的移动速度的换算系数。

更优选地，图像测量处理包括判断被输入的图像数据是否适合预先登记的条件的处理，再现机构附加用于表示在构筑的系统上所显示的各个工件是否适合预先登记的条件的信息。

优选地，再现机构将测量机构的测量结果与构筑的系统的动作一同，在输出该测量结果的时刻相对应地输出。

更优选地，再现机构一同输出测量机构的测量结果和该测量结果的对象的图像数据。

本发明的其他技术方案提供一种模拟方法，由计算机来执行，该模拟方法用于推定包括视觉传感器的系统的动作。模拟方法包括：用于在三维假想空间内假想地构筑模拟对象的系统的步骤；通过对预先获取的图像数据进行由视觉传感器执行的图像测量处理，输出测量结果的步骤；接受视觉传感器的拍摄区域的设定的步骤，其中，所述视觉传感器的拍摄区域与构筑的系统相关联；基于构筑的系统与设定的拍摄区域之间的相对位置关系计算出变换参数的步骤；将由变换参数变换测量结果所得到的结果作为输入，并按照与系统相关联的控制程序执行控制运算的步骤。

根据本发明，在工件等的图像数据预先存在的情况下，能够高效地实现模拟。

附图说明

图1是表示成为本实施方式的模拟装置中的模拟的前提的系统结构例的示意图。

图2是表示对图1所示的制造系统添加新的机械手的制造系统的结构例的示意图。

图3是用于说明使用了本实施方式的模拟装置的模拟方法的示意图。

图4是表示本实施方式的模拟装置的硬件结构的示意图。

图5是表示本实施方式的模拟装置的功能结构的一个例子示意图。

图6是表示本实施方式的模拟装置的功能结构的变形例的示意图。

图7是表示使用了本实施方式的模拟装置的模拟的处理顺序的流程图。

图8是表示本实施方式的模拟装置提供的系统模型的构筑的用户界面画面的一个例子的图。

图9是用于说明由本实施方式的模拟装置提供的三维假想空间内定义的坐标系的示意图。

图10是表示对本实施方式的模拟装置提供的系统模型设定拍摄区域的用户界面画面的一个例子图。

图11是表示本实施方式的模拟装置的视觉传感器模拟器的测量结果的一个例子的图。

图12是表示本实施方式的模拟装置提供的三维假想空间内定义的拍摄区域的摄像头坐标系以及基准坐标系的关系例的示意图。

图13是表示本实施方式的模拟装置中的校准参数的计算顺序的流程图。

图14是用于说明图13所示的校准参数的计算顺序的步骤S81中的处理内容的示意图。

图15是用于说明图13所示的校准参数的计算顺序的步骤S82中的处理内容的示意图。

图16是用于说明本实施方式的模拟装置中的每个脉冲的移动量的计算顺序的示意图。

图17是表示再现本实施方式的模拟装置提供的系统的动作的用户界面画面的一个例子的图。

图18是用于说明与本实施方式的模拟装置中的摄像头坐标系相对应的工件的姿势的显示方式的图。

图19是表示再现本实施方式的模拟装置提供的系统的动作的用户界面画面的其他例子的图。

图20是用于说明图19所示的用户界面画面中的显示时刻的图。

图21是表示再现本实施方式的模拟装置提供的系统的动作的用户界面画面的另一其他例子的图。

其中，附图标记说明如下：

1、2 制造系统

100 模拟装置

102 处理器

104 主存储器

106 输入部

108 显示部

110 网络接口

112 光驱

114 光盘

116 通信接口

118 内部总线

120 硬盘

122 操作系统(OS)

124 模拟程序

140 图像数据群

150 视觉传感器模拟器

152 设定参数

160 控制模拟器

162 控制程序

170 再现模块

172 三维设计数据

180 用户界面模块

182 模型构筑模块

184 拍摄区域设定接受模块

186 校准参数计算模块

200 控制装置

202 网络

210、311、313 机械手

220 视觉传感器

222 拍摄部

230、301、302 传送带

232、350、352、354 工件

234 驱动辊

236 编码器

303 传送带坐标系

312 机械手坐标系

320 世界坐标系

330 拍摄区域

360 测量结果

具体实施方式

一边参照附图，一边详细地说明本发明的实施方式。此外，对图中的同一或相当部分标注同一附图标记，并省略其说明。

＜A.概要＞

本实施方式的模拟装置用于推定包括视觉传感器的系统的动作。更具体地说，本实施方式的模拟装置能够使用由拍摄部实际拍摄的图像数据来推定与该拍摄部的拍摄独立的系统的动作等。在下面的说明中，将包含一个或多个装置的制造系统等作为模拟对象，但并不限定于此，也能够应用于任意的系统。

首先，对本实施方式的模拟装置中的模拟的概要进行说明。

图1是表示本实施方式的模拟装置中的模拟的前提的系统结构例的示意图。参照图1，作为一个例子，在制造系统1中，利用机械手210把持在传送带230上连续地被运送的工件232并运送至规定位置进行配置。利用这样的机械手210的把持、运送、配置的一系列动作也称为“拾取和放置动作”。在利用机械手210的拾取和放置动作中，通过利用拍摄部222对设置于传送带230的一部分的拍摄区域进行拍摄，并且视觉传感器220对由拍摄部222的拍摄所获得的图像数据进行图像测量处理等的图像测量处理，来获取包括工件232的位置以及朝向等信息的测量结果。并且，控制装置200基于来自视觉传感器220的测量结果执行预定的控制逻辑，从而生成针对机械手210的控制指令。在生成针对机械手210的控制指令时，控制装置200参照机械手210的状态值和来自与用于驱动传送带230的驱动辊234结合的编码器236的编码值。控制装置200以及视觉传感器220经由网络202可数据通信地连接，来自视觉传感器220的测量结果经由网络202向控制装置200传送。典型地，作为控制装置200使用了可编程控制器(下面，称为“PLC”)。

在图1所示的制造系统1中，存在如下情况，即，例如，提高传送带230的移动速度并且添加机械手210来想要检讨处理能力是否充分。

图2是表示对图1所示的制造系统1添加新的机械手210的制造系统2的结构例的示意图。如图2所示，能够实际添加机械手210来验证制造系统1的处理能力最好，但因成本或时间的制约，不能进行这样的验证的情况较多。即，存在更简单地推定伴随着图2所示那样的设备添加的系统的变化的需求。

针对这样的需求，本实施方式的模拟装置在三维假想空间内假想地构筑模拟对象的系统，并且，通过使实际拍摄的图像数据与该假想地构筑的系统相融合，实现更加高效的模拟。

图3是用于说明使用了本实施方式的模拟装置的模拟方法的示意图。参照图3，模拟装置将模拟对象的制造系统2整体模型化，并且将由拍摄部222的拍摄所获取的图像数据赋予该模型。即，在制造系统1的模型中利用实际拍摄的图像数据。

通过采用这样的结构，既能够反映实际的制造系统的状态，又能够模拟任意的制造系统的性能。

此外，作为“实际拍摄的图像数据”，并不限定于图1以及图2所示那样的在改良前的制造系统1中所拍摄的图像，也能够使用在任意的系统以及状况中所拍摄的图像。即，若是包括模拟的对象物(典型地为工件232)的时间变化的信息的数据，则可以使用任何数据。

作为“图像数据”，可以是动态图像数据，也可以是按时间序列排列的多个静态图像数据。此外，通过合适地调整动态图像数据的播放速度或多个静态图像数据的更新速度，也能够调整成为控制对象的工件的时间变化(即，移动速度)。这样，通过调整赋予系统的模型的图像数据，也能够利用模拟求得控制对象的时间变化的最佳值等。

而且，作为多个静态图像，不仅是实际连续地拍摄的图像，也可以通过将在不同场景所拍摄的多个图像合适地排列而变为随时间变化的数据来当作动态图像数据。在该情况下，生成的多个图像之间没有重叠，而且事实上也不存在这种问题。

＜B.模拟装置的硬件结构＞

接着，对本实施方式的模拟装置100的硬件结构进行说明。典型地，本实施方式的模拟装置100通过一个或多个计算机执行程序来实现。

图4是表示本实施方式的模拟装置100的硬件结构的示意图。参照图4，作为一个例子，模拟装置100包括以通用的计算机体系结构为标准构成的计算机。模拟装置100包括处理器102、主存储器104、输入部106、显示部108、网络接口110、硬盘(HDD：Hard Disk Drive)120、光驱112、通信接口116。上述部件经由内部总线118相互可通信地连接。

处理器102通过将存储于硬盘120的程序在主存储器104中展开执行，实现后述那样的功能以及处理。主存储器104由挥发性存储器构成，作为利用处理器102执行程序所必需的工件存储器发挥作用。

典型地，输入部106包括键盘、鼠标、触摸面板、触摸板等，接受来自用户的操作。显示部108包括显示器、指示器等，对用户提示各种信息。

网络接口110在伺服装置等外部设备之间经由网络交换数据。光驱112从光盘114等读取存储于其中的各种程序，并安装于硬盘120。通信接口116包括例如USB(UniversalSerial Bus)等通信接口，在与辅助存储装置等外部设备之间经由本地通信交换数据。

硬盘120为了作为操作系统(OS：Operating System)122以及模拟程序124等的模拟装置发挥作用，存储必要的程序，并且也存储用于模拟的预先获取的图像数据群140。

图4示出了经由光驱112将必要的程序安装于模拟装置100的结构例，但并不限定于此，也可以从网络上的伺服装置等下载。

这样，在使用通用的计算机实现的情况下，除了用于提供本实施方式的功能的程序以外，还可以安装有用于提供计算机的基本功能的操作系统(OS：Operating System)。在该情况下，本实施方式的模拟程序也可以是如下程序，即，将作为OS的一部分所提供的程序模块中的必要的模块按照规定的顺序和/或时刻调出来执行处理。即，就本实施方式的程序而言，也存在不包括上述那样的模块而与OS协作来执行处理的情况。因此，作为本实施方式的程序也可以是不包括这样的一部分的模块的方式。

另外，本实施方式的程序也可以是编入为其他程序的一部分的程序。在该情况下，程序自身不具有包含于上述那样组合的其他程序的模块，而是与该其他程序协作来执行处理。即，作为本实施方式的模拟程序，也可以是编入这样的其他程序的方式。

另外，图4示出了由通用的计算机实现模拟装置100的例子，但并不限定于此，也可以使用专用电路(例如，ASIC(Application Specific Integrated Circuit)等)来实现其全部或一部分。而且，也可以由外部装置来承担一部分的处理。

＜C.模拟装置的功能结构＞

接着，对本实施方式的模拟装置的功能结构进行说明。

(c1：基本的结构例)

图5是表示本实施方式的模拟装置的功能结构的一个例子的示意图。参照图5，模拟装置100作为软件功能包括视觉传感器模拟器150、控制模拟器160、再现模块170、用户界面模块180。典型地，上述功能模块群通过处理器102执行模拟程序124(均参照图4)来实现。

视觉传感器模拟器150通过对预先获取的图像数据进行由视觉传感器220(参照图1～图3)执行的图像测量处理来输出测量结果。即，视觉传感器模拟器150是模拟视觉传感器220中的处理的模块，对预先获取的图像数据群140执行各种图像测量处理。视觉传感器模拟器150中的图像测量处理按照预先设定的设定参数152来执行。由视觉传感器模拟器150中的图像测量处理所得的测量结果向控制模拟器160输出。即，执行相当于图1～图3所示的制造系统中的经由网络202从视觉传感器220向控制装置200传送测量结果的处理。

控制模拟器160是模拟控制装置200(参照图1～图3)中的处理的模块，按照预先制作的控制程序162执行控制运算(顺序指令、动作指令、各种功能指令等)。控制模拟器160中的控制运算的输入以及输出作为时间序列数据向再现模块170输出。

再现模块170使用由控制模拟器160输出的涉及控制运算的时间序列数据，再现构筑的系统的动作。更具体地说，再现模块170基于作为定义文件的三维设计数据172使在三维假想空间内假想地构筑的系统视觉化，并且基于来自控制模拟器160的时间序列数据，再现系统中的工件或机械手的时间变化等。这样，再现模块170将模拟结果的时间变化以动画的状态显示在模拟装置100的显示部108(图4)上。

用户界面模块180提供关于设定参数152、控制程序162以及三维设计数据172的用于支援用户的设定、制作的操作画面等。另外，在利用再现模块170显示模拟结果时，用户界面模块180也提供必要的用户界面。

更具体地说，用户界面模块180包括模型构筑模块182、拍摄区域设定接受模块184、校准参数计算模块186。

模型构筑模块182在三维假想空间内假想地构筑模拟对象的系统。更具体地说，模型构筑模块182提供用于显示三维假想空间并且在该三维假想空间内构筑模拟对象的系统的设定及操作画面。

拍摄区域设定接受模块184接受视觉传感器220的拍摄区域的设定，所述视觉传感器220的拍摄区域与构筑的系统相关联。更具体地说，拍摄区域设定接受模块184根据用户对三维假想空间内所表示的模拟对象的系统的操作来确定拍摄区域的范围。此外，优选地，叠加于模拟对象的系统中来接受拍摄区域的范围设定。

校准参数计算模块186基于构筑的系统与设定的拍摄区域之间的相对位置关系，来计算用于将来自视觉传感器模拟器150的测量结果变换为控制模拟器160中的控制运算的输入值的变换参数。控制模拟器160将通过变换参数对由视觉传感器模拟器150所生成的测量结果进行变换所得到的结果作为输入，来按照与系统相关联的控制程序执行控制运算。

此外，在图5中示出了再现模块170使用由控制模拟器160输出的时间序列数据再现构筑的系统的动作的结构例，但作为模拟装置100，再现模块170不是必需的。例如，也可以将由控制模拟器160输出的时间序列数据向外部装置或外部应用输出，由该外部装置或外部应用再现系统的动作。或者，再现模块170也可以只生成用于再现系统的动作的动态图像数据并存储于任意的存储介质，由其他应用播放该动态图像数据。

(c2：变形例)

图6是表示本实施方式的模拟装置的功能结构的变形例的示意图。参照图6，模拟装置100A作为软件功能包括视觉传感器模拟器150A、控制模拟器160、再现模块170、用户界面模块180A。与图5所示的模拟装置100相比较，校准参数计算模块186未安装于用户界面模块180A，而是安装于视觉传感器模拟器150A。除此之外的结构相同，因此，不重复详细的说明。

从图5以及图6可以推测出，校准参数计算模块186是计算用于将来自视觉传感器模拟器150的测量结果变换为控制模拟器160中的控制运算的输入值的变换参数的功能模块，可以作为任一功能模块的一部分进行安装，或者，也可以作为独立的功能模块进行安装。

＜D.处理顺序＞

接着，对使用了本实施方式的模拟装置100的模拟的处理顺序进行说明。

图7是表示使用了本实施方式的模拟装置100的模拟的处理顺序的流程图。参照图7，首先，模拟装置100接受系统模型的设定(步骤S2)。系统模型的设定包括构成系统的各个装置的配置位置、动作速度等的设定。基于系统模型的设定，模拟装置100在三维假想空间内假想地构筑模拟对象的系统。

模拟装置100接受设定于系统模型内的视觉传感器的拍摄区域(步骤S4)。即，模拟装置100接受视觉传感器的拍摄区域的设定，所述视觉传感器的拍摄区域与构筑的系统相关联。

接着，模拟装置100接受用于控制系统模型的控制程序(步骤S6)。该控制程序是与系统相关联的程序，由控制模拟器160来执行。

之后，模拟装置100基于构筑的系统与设定的拍摄区域之间的相对位置关系，来计算用于将测量结果变换为控制运算的输入值的变换参数即校准参数。更具体地说，模拟装置100基于设定的拍摄区域的范围，来计算用于在视觉传感器模拟器150中的坐标系、系统模型中的传送带的坐标系、系统模型中的机械手的坐标系之间相互地变换视觉传感器模拟器150的测量结果的校准参数(步骤S8)。

另外，模拟装置100接受视觉传感器模拟器150中应执行的图像测量处理的内容设定(步骤S10)。

通过上面的处理，完成用于进行模拟的设定。

在指示开始模拟时，模拟装置100(图5所示的视觉传感器模拟器150)以读取预先获取的图像数据群140中的被指定的图像数据并由视觉传感器220执行的方式，执行所指定的图像测量处理(步骤S12)。接着，模拟装置100(图5所示的控制模拟器160)基于由图像测量处理输出的测量结果，并按照控制程序执行控制运算(步骤S14)。此时，模拟装置100将利用校准参数(变换参数)对所生成的测量结果进行变换所得到的结果作为输入，并按照与系统相关联的控制程序执行控制运算。

模拟装置100将由该控制运算的执行所计算出的各个值与时间信息相关联地保存(步骤S16)。模拟装置100判断预先获取的图像数据群140中的被指定的全部的图像数据的读取是否已完成(步骤S18)。若被指定的全部的图像数据的读取未完成(在步骤S18中为NO的情况下)，反复进行步骤S12以下的处理。

相对于此，若被指定的全部的图像数据的读取已完成(在步骤S18中为YES的情况下)，模拟装置100使用在步骤S16中依次保存的时间序列数据，再现系统模型的动作(步骤S20)。模拟装置100能够根据用户操作合适地变更再现的系统模型的动作的时间间隔以及更新间隔等。

通过上面那样的处理顺序，能够评价系统模型中的生产节拍、性能。

此外，在预先获取的图像数据群140的时长或帧数不足以进行模拟的情况下，也可以反复输入图像数据群140。即，在步骤S18中，在被指定的全部的图像数据的读取完成时，也可以返回至最先的图像数据反复进行输入。并且，在预先指定的时间或预先指定的帧数的模拟完成的时刻，也可以结束模拟。即，作为模拟的结束条件，除了上述那样的图像数据的读取完成以外，还能够设定任意的条件。

＜E.系统模型的构筑＞

接着，对模拟对象的系统模型的构筑处理进行说明。系统模型的构筑处理主要是由模型构筑模块182(图5)所提供的功能，与上述的图7所示的系统模型的设定的接受(步骤S2)相对应。

用户也可以在模拟装置100提供的编辑画面中，直接构筑成为模拟对象的系统模型，也可以通过读取预先制作的设计数据(CAD(Computer Aided Design)数据等)来构筑系统模型。而且，也能够在读取过去制作的系统模型的数据并进行编辑的基础上来使用。

即，在本实施方式的模拟装置100中，模型系统的构筑能够采取任意的方法。

图8是表示本实施方式的模拟装置100提供的系统模型的构筑的用户界面画面的一个例子的图。为了便于说明，图8示出了进行简单的拾取和放置动作的系统模型。

更具体地说，在图8所示的用户界面画面中，在三维假想空间300内，两条传送带301以及302相互平行地配置。两个机械手311以及313对应于传送带302的规定位置配置。在该系统模型中假设成如下的应用系统，即，利用传送带301从纸面左侧向纸面右侧运送工件，机械手311以及13拾取成为对象的工件并放置于传送带302上。这样，图8所示的系统模型包括传送带以及机械手。机械手根据控制模拟器160中的控制运算的结果进行动作。

在图8所示的用户界面画面中，能够从任意方向渲染三维假想空间300内的对象。即，用户界面画面所描绘的视点可以由用户任意变更。

在此，对图8所示的系统模型中的坐标系进行说明。图9是用于说明在由本实施方式的模拟装置100提供的三维假想空间内定义的坐标系的示意图。

参照图9，三维假想空间300内的X、Y、Z轴定义为世界坐标系320。世界坐标系320相当于用于定义系统模型的各个部分的位置的作为基准的坐标系。

另一方面，为了进行在传送带301以及302上被运送的工件的跟踪等，在控制装置(图5所示的控制模拟器160)中，定义将传送带301以及302的初始位置作为原点的传送带坐标系303。传送带坐标系303是关于系统模型中的传送带的坐标系，将传送带301以及302的运送方向、与运送方向正交的方向、与传送带301以及302的运送表面正交的方向这三个方向作为各个轴。

而且，也可以分别独立地定义用于分别控制机械手311以及313的机械手坐标系312以及314。机械手坐标系312以及314是关于系统模型中的机械手311以及313的坐标系，将机械手311以及313的固定架的中心作为原点。机械手坐标系312以及314从机械手控制器来看，用于控制机械手311以及313的动作。

而且，在机械手311以及313的顶端安装有把持用的夹具等的情况下，还可以定义将机械手311以及313的顶端作为原点的工具坐标系。

＜F.拍摄区域的设定以及校准参数的计算＞

接着，对系统模型所设定的拍摄区域以及根据拍摄区域计算出的校准参数进行说明。为了有效地将由实际的拍摄所获取的图像数据群140和系统模型中的模拟相结合，本实施方式的模拟装置100具有如下功能，即，基于针对系统模型所设定的拍摄区域自动地计算出必要的校准参数。

即，在本实施方式的模拟装置100中，用户也可以针对构筑的系统模型只设定用于拍摄向视觉传感器输入的图像数据的拍摄部222的拍摄区域。此外，自动地计算出校准参数的功能是任意的结构，可以是与模拟装置100不同的装置，或由用户来设定。

(f1：拍摄区域的设定)

图10是表示针对本实施方式的模拟装置100提供的系统模型设定拍摄区域的用户界面画面的一个例子的图。参照图10，用户通过鼠标操作等对构筑的系统模型设定拍摄区域330。在此，将拍摄区域330的各个顶点的坐标值设为(Xa，Ya，Za)、(Xb，Yb，Zb)、(Xc，Yc，Zc)、(Xd，Yd，Zd)。

图11是表示本实施方式的模拟装置100的视觉传感器模拟器150的测量结果的一个例子的图。参照图11，模拟视觉传感器220的视觉传感器模拟器150针对像素的集合体即图像数据进行图像测量处理，因此，该测量结果利用像素值进行定义。图11是表示与预先登记的图像图形之间的图形匹配的结果例的图。图像数据内的两个对象与登记的图像图形一致，(x1、y1、θ1)以及(x2、y2、θ2)作为测量结果输出。该测量结果包括与登记的图像图形一致的对象存在的位置(全为像素值)和距登记的图像图形的旋转角(姿势)。

为了使这样的作为图像数据内的坐标值输出的测量结果适合于在三维假想空间内构筑的系统模型，本实施方式的模拟装置100使用校准参数来变换其他坐标系中的值。

在下面的说明中，将定义图11所示的图像数据上的坐标值的坐标系称为“摄像头坐标系”。若能够进行模拟，则可以从摄像头坐标系变换为任一坐标系(世界坐标系或机械手坐标系)，但在下面的说明中，作为典型例，对变换为机械手坐标系的值的情况进行说明。即，在下面的说明中，将机械手坐标系指定为基准的坐标系，将摄像头坐标系的值变换为机械手坐标系的值。并且，利用机械手坐标系计算出工件的位置以及姿势。

在本实施方式的模拟装置100中，校准参数包括下面所示的系数A～F。系数A～F相当于用于将视觉传感器模拟器150的测量结果变换为控制模拟器160中的控制运算的输入值的变换参数。即，变换参数(系数A～F)是将作为测量结果输出的摄像头坐标系的坐标值变换为定义机械手的动作的基准坐标系(机械手坐标系)的坐标值的参数。

按照下面的变换式，由摄像头坐标系的坐标值(x、y)计算出机械手坐标系的坐标值(X、Y)。此外，在一般的视觉传感器中，由于在高度方向(Z轴方向)上无法检测，因此，在摄像头坐标系中，也可以不存在Z轴。

X＝A·x+B·y+C

Y＝D·x+E·y+F

如上所述，本实施方式的模拟装置100基于在三维假想空间内构筑的系统与设定的拍摄区域之间的相对位置关系来计算出变换参数。

(f2：系数A～F的计算)

校准参数中的系数A～F是从摄像头坐标系变换为基准坐标系所需的参数。系数A～F基于在三维假想空间内设定的摄像头坐标系以及基准坐标系的信息进行计算。

图12是表示在本实施方式的模拟装置100提供的三维假想空间内定义的拍摄区域的摄像头坐标系以及基准坐标系的关系例的示意图。

参照图12，首先，针对拍摄区域330的各个顶点c1、c2、c3、c4，计算出摄像头坐标系的坐标值以及基准坐标系的坐标值。在图12所示的例子中，摄像头坐标系中的各个顶点c1、c2、c3、c4的坐标值的计算如下。此外，单位全为像素。

c1＝(0，0)

c2＝(640，0)

c3＝(640，480)

c4＝(0，480)

与此相对，在基准坐标系(机械手坐标系)中，计算如下。此外，单位全为mm。

c1＝(-250，-30)

c2＝(-100，-30)

c3＝(-100，-130)

c4＝(-250，-130)

针对上述相同绝对坐标的四个点，通过由两个坐标系计算出各自的坐标值，能够按照下面的顺序计算出用于坐标变换的参数即系数A～F。

本实施方式的模拟装置100提供的三维假想空间定义为世界坐标系。因此，一旦将摄像头坐标系以及基准坐标系(机械手坐标系)的坐标值变换为世界坐标系的坐标值，就能够计算出校准参数即系数A～F。

但是，并不限定于下面那样的顺序，也可以由上述的两个坐标值组计算出用于相互变换的参数。

图13是表示本实施方式的模拟装置100中的校准参数的计算顺序的流程图。参照图13，模拟装置100将拍摄区域330的各个顶点的坐标值变换为世界坐标系的坐标值(步骤S81)。接着，模拟装置100计算出用于将世界坐标系变换为基准坐标系(机械手坐标系)的参数(步骤S82)。模拟装置100使用在步骤S82中计算出的参数，将拍摄区域330的摄像头坐标系的各个顶点的坐标值变换为基准坐标系(机械手坐标系)的坐标值(步骤S83)。

最终，模拟装置100计算出校准参数(系数A～F)(步骤S84)。

下面，说明图13的各个步骤中的详细处理。

(1)将拍摄区域330的各个顶点的坐标值变换为世界坐标系的坐标值(步骤S81)

图14是用于说明图13所示的校准参数的计算顺序的步骤S81中的处理内容的示意图。参照图14，以与拍摄区域330的原点相同的位置以及角度设定放大率1的对象BOX。接着，确定与摄像头原点相关的任意四个点。

在对拍摄区域330的各个顶点Oc、Ac、Bc、Cc进行检讨时，将拍摄区域330的长度设为L，将宽度设为W，与对象BOX相关的顶点Oc、Ac、Bc、Cc的各个局部坐标值的计算如下。

Oc＝(0，0，0)

Ac＝(L，0，0)

Bc＝(L，W，0)

Cc＝(0，W，0)

在此，顶点Oc与放大率1的对象BOX的中心坐标一致。若放大率1的对象BOX设为与摄像头坐标值完全相同的坐标系，则能够由对象BOX的旋转矩阵以及平行移动矩阵计算出各个顶点Oc、Ac、Bc、Cc的世界坐标系的坐标值。

更具体地说，若将各个顶点Oc、Ac、Bc、Cc的世界坐标系的坐标值分别设为WOc、WAc、WBc、WCc，则各个坐标值的计算如下。在此，R是放大率1的对象BOX的旋转矩阵，M是平行移动矩阵。

WOc＝R×Oc+M

WAc＝R×Ac+M

WBc＝R×Bc+M

WCc＝R×Cc+M

(2)用于将世界坐标系变换为基准坐标系(机械手坐标系)的参数的计算(步骤S82)

计算出用于将在上述的步骤S81中计算出的坐标值WOc、WAc、WBc、WCc变换为基准坐标系(机械手坐标系)的坐标值的参数。

图15是用于说明图13所示的校准参数的计算顺序的步骤S82中的处理内容的示意图。参照图15，与上述的(1)相同，在与基准坐标系(机械手坐标系)相同的坐标系中设定放大率1的对象BOX，来确定任意的四个点。

图15中的各个点Or、Ar、Br、Cr是拍摄区域的任意四个点。点Or与放大率1的对象BOX的中心坐标一致。若放大率1的对象BOX设为与基准坐标系(机械手坐标系)完全相同的坐标系，则能够由对象BOX的旋转矩阵和平行移动矩阵计算出各个点Or、Ar、Br、Cr的世界坐标系的坐标值。

更具体地说，若将各个点Or、Ar、Br、Cr的世界坐标系的坐标值分别设为WOr、WAr、WBr、WCr，则各个坐标值的计算如下。在此，R是放大率1的对象BOX的旋转矩阵，M是平行移动矩阵。

WOr＝R×Or+MWAr＝R×Ar+M

WBr＝R×Br+MWCr＝R×Cr+M

通过上述的(1)以及(2)的计算处理，计算出以基准坐标系(机械手坐标系)为基准的各个点Or、Ar、Br、Cr的坐标值和以世界坐标系的原点为基准的各个点的坐标值。使用这些坐标值能够计算出用于从世界坐标系变换为基准坐标系(机械手坐标系)的参数。即，能够计算出满足下面的变换式的系数a、b、c、d、e、f。

(基准坐标系的X)＝(世界坐标系的X)×a+(世界坐标系的Y)×b+c

(基准坐标系的Y)＝(世界坐标系的Y)×d+(世界坐标系的Y)×e+f

(3)将摄像头坐标系的各个顶点的坐标值变换为基准坐标系(机械手坐标系)的坐标值(步骤S83)。

使用由上述的(2)的计算处理所确定的系数a～f，分别将WOc、WAc、WBc、WCc变换为基准坐标系(机械手坐标系)的坐标值MOc、MAc、MBc、MCc。

(4)校准参数(系数A～F)的计算(步骤S84)。

若分别将顶点Oc、Ac、Bc、Cc的摄像头坐标系的坐标值设为COc、CAc、CBc、CC，则各个坐标值的计算如下。在此，CV是用户设定的摄像头拍摄图像的纵侧的析像度，CH为横侧的析像度。

COc＝(0，0，0)

CAc＝(CH，0，0)

CBc＝(CH，CV，0)

CCc＝(0，CV，0)

使用上述四个坐标值和基准坐标系(机械手坐标系)的坐标值MOc、MAc、MBc、MCc，能够计算出校准参数(系数A～F)。即，能够计算出满足下面的变换式的系数A、B、C、D、E、F。

(基准坐标系的X)＝(摄像头坐标系的X)×A+(摄像头坐标系的Y)×B+C

(基准坐标系的Y)＝(摄像头坐标系的X)×D+(摄像头坐标系的Y)×E+F

由上面的计算处理所确定的系数A～F作为校准参数输出。

(f3：每个脉冲的移动量的计算)

作为校准参数，除了上述的系数A～F以外，还可以包括在构筑的系统中使工件移动的装置(传送带230)的单位移动量与构筑的系统中的工件的移动速度的换算系数。该换算系数包括关于传送带230的单位移动量(典型地，来自编码器236的每个脉冲)的工件的X轴方向的移动量以及Y轴方向的移动量。

在再现构筑的系统的动作的情况下，上述的移动量用于计算工件的时间变化。即，包含于校准参数的每个脉冲的移动量需要基于来自编码器236的编码值来计算出工件的各个时刻的位置。本实施方式的模拟装置100通过用于计算出相对于基准坐标系(机械手坐标系)的传送带的倾斜以及移动量的变换系数，计算出每个脉冲的移动量。

图16是用于说明本实施方式的模拟装置100中的每个脉冲的移动量的计算顺序的示意图。图16是表示以世界坐标系额Z轴为中心使传送带以及机械手旋转时的例子的图。若使传送带以Z轴为中心只旋转旋转角θ且使机械手以Z轴为中心只旋转旋转角α，则每个脉冲的移动量的计算如下。在此，1是传送带行进方向的每个脉冲的移动量。

每个脉冲的X轴方向的移动量(X)＝1×cos(θ-α)

每个脉冲的Y轴方向的移动量(Y)＝1×sin(θ-α)

这样，针对传送带行进方向的每个脉冲的移动量，通过应用(θ-α)能够计算出每个脉冲的移动量。

在图16中，为了便于说明，示出了只以世界坐标系的Z轴为中心使传送带以及机械手旋转的例子，但在实际的系统模型中，不仅以Z轴为中心，还存在以X轴以及Y轴为中心旋转的情况。因此，考虑各个轴的旋转角，以下面的方式进行计算。

在实际的系统模型中，一般为，例如，传送带设定为，以世界坐标系的X轴为中心倾斜旋转角θx、以Y轴为中心倾斜旋转角θy、以Z轴为中心倾斜旋转角θz。另外，机械手设定为，以世界坐标系的X轴为中心倾斜旋转角αx、以Y轴为中心倾斜旋转角αy、以Z轴为中心倾斜旋转角αz。

首先，针对3×3的单位矩阵，通过以X轴为中心旋转(θx-αx)、以Y轴为中心旋转(θy-αy)、以Z轴为中心旋转(θz-αz)，来制作旋转矩阵。

相对于传送带的行进方向的每个脉冲的移动量1能够由初始设定值获取，因此，如下面所述，通过使旋转矩阵与系统模型的局部坐标轴(1，0，0)相乘计算出的坐标值X以及Y分别相当于每个脉冲的X轴方向的移动量(X)以及每个脉冲的Y轴方向的移动量(Y)。在此，移动量的单位为mm。

移动量(x，y，z)＝旋转矩阵×(1，0，0)

每个脉冲的X轴方向的移动量(X)＝移动量(x)[mm]

每个脉冲的Y轴方向的移动量(Y)＝移动量(y)[mm]

由上面的计算处理所确定的每个脉冲的X轴方向的移动量(X)以及每个脉冲的Y轴方向的移动量(Y)作为校准参数被计算出。

＜G.模拟结果的显示＞

接着，说明模拟结果的显示处理。模拟结果的显示处理即再现系统模型的动作的处理主要是由再现模块170(图5)提供的功能，与上述的图7所示的系统模型的设定的接受(步骤S20)相对应。

图17是表示再现本实施方式的模拟装置100提供的系统的动作的用户界面画面的一个例子的图。参照图17，基于将视觉传感器模拟器150的测量结果作为输入的控制运算的结果，再现构筑的系统的动作。即，基于由控制模拟器160中的控制运算所计算出的控制指令，机械手311以及313依次更新其位置以及姿势。由此，能够观察机械手311以及313的动作。

另外，在用户界面画面中，基于由视觉传感器模拟器150识别的工件的信息，在构筑的系统模型上显示工件350。在该系统模型上显示工件350包括在构筑的系统的视觉传感器的拍摄区域内根据被识别的位置配置工件350。工件350显示为，根据传送带301以及303的移动而移动。另外，根据机械手311以及313的拾取和放置动作，其位置也变化。这样，在由视觉传感器模拟器150执行的图像测量处理包括基于预先登记的图像图形识别工件的处理的情况下，再现模块170也可以使由视觉传感器模拟器150识别而存在的各个工件显示在构筑的系统上，并且伴随着时间的经过而更新各个工件的位置。

通过对这样的工件350跟踪显示，用户能够更加容易地识别构筑的系统的动作。

在图17所示的用户界面画面中，能够从任意方向渲染三维假想空间内的对象。即，用户界面画面中所描绘的视点可以由用户任意地变更。另外，也能够任意地指定再现的时间宽度以及再现速度等。

＜H.工件的显示位置以及姿势＞

在此，对用于实现图17所示的工件的跟踪显示的处理进行说明。即，对工件的显示位置以及姿势的计算顺序进行说明。

从视觉传感器模拟器150输出的测量结果(包括被识别的工件的位置)变换为基准坐标系(机械手坐标系)的坐标值并输入至控制模拟器160。另一方面，系统模型按照三维假想空间300内的世界坐标系设定，因此，在再现构筑的系统的动作的情况下，将基准坐标系(机械手坐标系)的坐标值变换为世界坐标系的坐标值。即，再现模块170将由视觉传感器模拟器150中的图像测量处理所得的工件的坐标值变换为定义构筑的系统的世界坐标系的坐标值，并将各个工件显示在构筑的系统上。

用于将基准坐标系(机械手坐标系)的坐标值变换为世界坐标系的坐标值的参数能够利用与上述那样的用于将摄像头坐标系的坐标值变换为基准坐标系(机械手坐标系)的坐标值的参数的计算相同的顺序进行计算。

具体地说，首先，针对关于基准坐标系(机械手坐标系)的任意四个点，分别计算出基准坐标系(机械手坐标系)的坐标值和世界坐标系的坐标值。并且，通过上述的坐标值组，能够计算出用于将基准坐标系(机械手坐标系)的坐标值变换为世界坐标系的坐标值的系数A1、B1、C1、D1、E1、F1。使用上述的用于变换的系数，若将由视觉传感器模拟器150所检测的工件的坐标值设为x，y，则输入控制模拟器160时的初始显示位置能够以下面的方式计算出。

工件的初始显示位置(X)＝A1×x+B1×y+C1

工件的初始显示位置(Y)＝D1×x+E1×y+F1

在采用图5所示的功能结构的模拟装置100中，拍摄工件而生成图像数据，并利用视觉传感器模拟器150对该图像数据进行图像测量处理，在测量结果输入至控制模拟器160为止的期间，也会产生一定程度的延时。另一方面，由于工件由传送带运送，因此，也需要修正该延时期间移动的距离。

在从获取工件的图像数据到计算出工件的坐标值的期间，作为计算出工件移动的距离的方法的一个例子，采用了评价来自编码器236(图1)的编码值的差的方法。如上所述，由于预先计算出每个脉冲的移动量，因此，能够通过各个时刻与拍摄时之间的编码值的差计算出移动距离。即，若将目前时刻的编码值设为Ec、将拍摄时的编码值设为Et、将传送带的局部坐标系的变换系数设为C，则在初始显示工件之后，在传送带的局部坐标系的X轴方向上，加上下面的修正距离。

修正距离＝(Ec-Et)×C

并且，在初始显示以后，各个工件的显示位置根据编码值的变化依次被更新。通过这样的显示位置的更新处理，能够再现工件在传送带上流动的情况。

图18是用于说明与本实施方式的模拟装置100中的摄像头坐标系相对应的工件的姿势的显示方式的图。参照图18，与针对图像数据的摄像头坐标系的设定相依存，包含于从视觉传感器模拟器150输出的测量结果的工件的旋转角(姿势)反映于三维假想空间内的工件上。

＜I.显示例＞

也可以在再现图17所示的系统的动作的用户界面上同时显示附加的信息。下面，对显示附加的信息的例子进行说明。

(i1：显示例1)

图19是表示再现本实施方式的模拟装置100提供的系统的动作的用户界面画面的其他例子的图。在图19所示的用户界面画面中，与图17所示的用户界面画面相比较，包括用于由视觉传感器模拟器150所执行的图像测量处理的输入图像的测量结果360被显示。测量结果360与系统的动作的再现结合来显示。即，再现模块170将视觉传感器模拟器150的测量结果与构筑的系统的动作一同，在输出该测量结果的时刻相对应地输出。此时，也可以同时输出视觉传感器模拟器150的测量结果与该测量结果的对象的图像数据。在该情况下，也可以在图像数据上重叠显示测量结果，也可以排列显示输入图像数据和测量结果。

图20是用于说明图19所示的用户界面画面中的显示时刻的图。参照图20，通过图像数据被周期性地向视觉传感器模拟器150输入并执行图像测量处理，输出图像测量结果。例如，与图像测量结果的输出时刻相对应，图19所示的测量结果360被更新。除了与模拟的执行并行来再现上述结果的情况以外，也可以在模拟的执行完成后再现该结果。在该情况下，也可以在图20所示的时刻依次切换图像数据进行显示。

通过将这样的测量结果360的显示及更新时刻与系统的动作相对应，能够容易追究具有某种问题的情况的原因，从而能够更准确地评价系统模型中的生产节拍、性能。

(i2：显示例2)

图21是表示再现本实施方式的模拟装置100提供的系统的动作的用户界面画面的另一其他例子的图。在图21所示的用户界面画面中，与图17所示的用户界面画面相比较，三维假想空间内显示的各个工件付加有表示相对应的图像测量处理的结果的信息。

作为该附加的信息，在图像测量处理中，可以包括是否与预先登记的合格品的条件一致那样的信息。例如，也可以利用不同的显示方式假想地显示判断为合格品的工件352和判断为不合格品的工件354。

即，在由视觉传感器模拟器150所执行的图像测量处理包括判断被输入图像数据是否适合预先登记的条件的处理的情况下，再现模块170也可以附加有表示在构筑的系统上所显示的各个工件是否适合预先登记的条件的信息。

通过采用这样的显示方式，能够容易追究具有某种问题的情况的原因，从而能够更准确地评价系统模型中的生产节拍、性能。

＜J.利点＞

根据本实施方式的模拟装置100，在工件等的图像数据预先存在的情况下，基于该现有的信息，既能够进一步减少用于进行必要的设定的时间，又能够更准确地评价对象的系统的性能等。

本次公开的实施方式在所有方面均为例示，并不用于限制。本发明的范围不是由上述说明而是由权利要求的范围示出，旨在包含与权利要求的范围均等的含义以及范围内的全部变更。

Claims (10)

1.一种模拟装置，用于推定包括视觉传感器的系统的动作，其中，

具有：

构筑机构，其用于在三维假想空间内假想地构筑模拟对象的系统，

测量机构，其通过对预先获取的图像数据进行由所述视觉传感器执行的图像测量处理，输出测量结果，

接受机构，其接受所述视觉传感器的拍摄区域的设定，所述视觉传感器的拍摄区域与构筑的所述系统相关联，

计算机构，其基于构筑的所述系统与设定的所述拍摄区域之间的相对位置关系计算出变换参数，

执行机构，其将通过所述变换参数变换由所述测量机构生成的测量结果所得到的结果作为输入，并按照与所述系统相关联的控制程序执行控制运算。

2.如权利要求1所述的模拟装置，其中，

构筑的所述系统包括根据所述控制运算的结果进行动作的机械手，

所述变换参数是将作为所述测量结果输出的摄像头坐标系的坐标值变换为定义所述机械手的动作的机械手坐标系坐标值的参数。

3.如权利要求1或2所述的模拟装置，其中，

还具有再现机构，该再现机构使用由所述执行机构输出的涉及所述控制运算的时间序列数据，再现构筑的所述系统的动作。

4.如权利要求3所述的模拟装置，其中，

所述图像测量处理包括基于预先登记的图像图形来识别工件的处理，

所述再现机构将由所述测量机构识别而存在的各个所述工件显示在构筑的所述系统上，并且伴随着时间的经过更新各个所述工件的位置。

5.如权利要求4所述的模拟装置，其中，

所述再现机构将经过所述图像测量处理所得的所述工件的坐标值变换为定义构筑的所述系统的世界坐标系的坐标值，并将各个所述工件显示在构筑的所述系统上。

6.如权利要求4或5所述的模拟装置，其中，

所述计算机构计算构筑的所述系统中使所述工件移动的装置的单位移动量与构筑的所述系统中的所述工件的移动速度的换算系数。

7.如权利要求6所述的模拟装置，其中，

所述图像测量处理包括判断被输入的图像数据是否适合预先登记的条件的处理，

所述再现机构附加用于表示在构筑的所述系统上所显示的各个所述工件是否适合预先登记的条件的信息。

8.如权利要求4所述的模拟装置，其中，

所述再现机构将所述测量机构的测量结果与构筑的所述系统的动作一同，在输出该测量结果的时刻相对应地输出。

9.如权利要求8所述的模拟装置，其中，

所述再现机构一同输出所述测量机构的测量结果和该测量结果的对象的图像数据。

10.一种模拟方法，由计算机来执行，该模拟方法用于推定包括视觉传感器的系统的动作，其中，

具有：

用于在三维假想空间内假想地构筑模拟对象的系统的步骤，

通过对预先获取的图像数据进行由所述视觉传感器执行的图像测量处理，输出测量结果的步骤，

接受所述视觉传感器的拍摄区域的设定的步骤，其中，所述视觉传感器的拍摄区域与构筑的所述系统相关联，

基于构筑的所述系统与设定的所述拍摄区域之间的相对位置关系计算出变换参数的步骤，

将由所述变换参数变换所述测量结果所得到的结果作为输入，并按照与所述系统相关联的控制程序执行控制运算的步骤。

Images