CN108214488A - 控制装置、机器人以及机器人系统 - Google Patents

Abstract

本发明提供了能够简单且适当地进行用于进行校准的设定的控制装置、机器人以及机器人系统。控制装置能够基于输入部的输入来控制机器人、拍摄部以及显示部的驱动，其特征在于，具备：显示控制部，使用于输入作为控制对象的机器人的输入画面显示于所述显示部，并使拍摄部输入部显示于所述显示部，其中，所述拍摄部输入部对与输入的所述机器人对应的所述拍摄部的安装位置的输入进行引导；校准控制部，基于输入的所述拍摄部的安装位置，进行将所述机器人的坐标系和所述拍摄部的坐标系对应的校准。

Description

控制装置、机器人以及机器人系统

技术领域

本发明涉及控制装置、机器人以及机器人系统。

背景技术

先前以来，已知有一种机器人系统，其具备拍摄工件(word)的照相机、基于来自照相机的拍摄图像对工件进行操作的机器人、控制照相机以及机器人的驱动的控制装置。并且，近年来，为了以高精度控制机器人的驱动，开发了对拍摄图像的坐标系和机器人的坐标系的校准进行设定的方法。

作为进行这种校准的机器人系统的一例，例如在专利文献1中公开了图像处理系统，其具有机器人、控制机器人的驱动的机器人控制器、能够与机器人控制器进行数据通信的通信装置、以及拍摄工件的拍摄装置。在该图像处理系统中，使用者利用鼠标点击在监视器上显示的设定画面，来决定校准中的设定内容。

【现有技术文献】

【专利文献】

专利文献1：日本特开2016-120564号公报

但是，在专利文献1中记载的图像处理系统中的校准的设定中，使用者所决定的设定内容较多，因此，校准的设定内容的决定(选择)和执行必须熟练。

在这里，设定内容例如因照相机的设定位置等而不同。因此，对于初学者来说，从设定画面中显示的全部项目选择对于照相机的设置位置最适合的设定内容是困难的。结果，如果不是熟练者就不能进行用于进行校准的最适合的设定。

并且，在现有的设定画面中，设定的办法难以理解，校准的设定所花费的时间以及劳力巨大。

发明内容

本发明是为了解决上述技术问题中的至少一种而完成的，能够通过以下来实现。

本发明的控制装置，能够基于输入部的输入来控制机器人、拍摄部以及显示部的驱动，其特征在于，具备：显示控制部，使用于输入作为控制对象的机器人的输入画面显示于所述显示部，并使拍摄部输入部显示于所述显示部，其中，所述拍摄部输入部对与输入的所述机器人对应的所述拍摄部的安装位置的输入进行引导；校准控制部，基于输入的所述拍摄部的安装位置，进行将所述机器人的坐标系和所述拍摄部的坐标系对应的校准。

根据这样的本发明的控制装置，能够使与输入的机器人对应的拍摄部的安装位置显示于显示部。即，与输入的机器人不对应的拍摄部的安装位置是非显示的。因此，能够简单地进行与输入的机器人对应的拍摄部的安装位置的选择。结果，能够简单并且适当地进行用于进行校准的设定。

在本发明的控制装置中，优选的是，所述显示控制部使垂直多关节机器人以及水平多关节机器人显示于所述输入画面，关于所述拍摄部输入部的显示形式，输入所述垂直多关节机器人的情况和输入所述水平多关节机器人的情况不同。

由此，能够简单地分别进行与水平多关节机器人对应的拍摄部的安装位置的选择以及与垂直多关节机器人对应的拍摄部的安装位置的选择。

在本发明的控制装置中，优选的是，所述显示控制部使校准用引导画面显示于所述显示部，其中，所述校准用引导画面对用于进行所述校准的信息的输入进行引导。

由此，使用者通过按照校准用引导画面来选择信息(设定内容)，无需复杂的操作就能够简单并且轻易地完成校准的设定。

在本发明的控制装置中，优选的是，具有接收输入的接收部，所述显示控制部基于所述接收部接收的所述输入，使多个所述校准用引导画面依次显示于所述显示部。

由此，使用者通过按照依次显示的校准用引导画面(向导画面)以对话形式来选择信息(设定内容)，无需复杂的操作就能够简单并且轻易地完成校准的设定。

在本发明的控制装置中，优选的是，所述显示控制部使用于调出局部设定用引导画面的局部设定调出部显示于所述校准用引导画面中，其中，所述局部设定用引导画面对用于设定与所述机器人的坐标系不同的局部坐标系的信息的输入进行引导。

由此，由于使用者能够经由局部设定调出部来调出局部设定用引导画面，因此，能够节省在为了进行局部设定而取消一次校准制作并进行局部设定之后，从开始重新再次进行校准制作的劳力。

在本发明的控制装置中，优选的是，所述显示控制部使用于调出工具设定用引导画面的工具设定调出部显示于所述校准用引导画面中，其中，所述工具设定用引导画面对用于求出安装于所述机器人的工具的偏移的信息的输入进行引导。

由此，由于使用者能够经由工具设定调出部来调出工具设定用引导画面，因此，能够节省在为了进行工具设定而取消一次校准制作并进行工具设定之后，从开始重新再次进行校准制作的劳力。

在本发明的控制装置中，优选的是，所述显示控制部使校准点选择部显示于所述校准用引导画面中，其中，所述校准点选择部用于选择是否进行所述校准中使用的校准点的自动生成。

由此，使用者能够经由校准点选择部简单地并且根据使用者的目的来选择是否进行校准点的自动生成。

在本发明的控制装置中，优选的是，所述显示控制部使接近点选择部显示于所述校准用引导画面中，其中，所述接近点选择部用于选择是否进行接近点的自动生成，所述接近点为所述机器人的规定部位向所述校准点的移动的基点。

由此，使用者能够经由接近点选择部简单地并且根据使用者的目的来选择是否进行接近点的自动生成。

在本发明的控制装置中，优选的是，具备控制程序执行部，所述控制程序执行部能够执行对所述机器人进行驱动的控制程序，所述控制程序执行部通过能够设定与所述机器人的坐标系不同的局部坐标系的指令，来执行该局部坐标系的设定。

由此，能够更加迅速地进行局部坐标系的设定。并且，在执行校准之后，基于该执行结果反复多次进行对包含局部坐标系的设定等的校准的各种设定进行修正的情况下，使用指令特别有效。

在本发明的控制装置中，优选的是，具备控制程序执行部，所述控制程序执行部能够执行对所述机器人进行驱动的控制程序，所述控制程序执行部通过能够进行求出安装于所述机器人的工具的偏移的工具设定的指令，来执行该工具设定。

由此，能够更加迅速地进行工具设定。并且，在执行校准之后，基于该执行结果反复多次进行对包含工具设定等的校准的各种设定进行修正的情况下，使用指令特别有效。

本发明的机器人，其特征在于，被本发明的控制装置控制。

根据这样的机器人，能够在控制装置的控制下可靠地进行涉及校准的动作。

本发明的机器人系统，其特征在于，具备：本发明的控制装置、被该控制装置控制的机器人以及拍摄部。

根据这样的机器人系统，基于来自拍摄部的拍摄图像(图像数据)，机器人能够可靠地进行涉及校准的动作。因此，能够提高校准的精度。结果，能够提高机器人的操作的精度。

附图说明

图1是本发明的第一实施方式涉及的机器人视觉系统的网络图。

图2是示出图1中示出的机器人视觉系统所具有的机器人的一例的立体图。

图3是示出图1中示出的机器人视觉系统所具有的机器人的一例的立体图。

图4是图2或者图3中示出的机器人的系统构成图。

图5是示出图1中示出的机器人系统所具有的计算机的系统构成图。

图6是示出图1中示出的机器人系统所具有的机器人控制装置的系统构成图。

图7是示出图1中示出的机器人系统所具有的图像处理装置的系统构成图。

图8是示出利用图1中示出的控制系统进行的操作程序的制作的流程的流程图。

图9是示出利用图1中示出的控制系统进行的操作程序的制作的流程的流程图。

图10是用于说明图8的步骤S111的图。

图11是用于说明图8的步骤S113的图。

图12是用于说明图8的步骤S116的图。

图13是用于说明图8的步骤S118的图。

图14是用于说明图9的步骤S126的图。

图15是用于说明图9的步骤S128以及步骤S129的图。

图16是示出基于图8以及图9中示出的流程图制作的操作程序的执行的流程的流程图。

图17是示出图1中示出的显示装置上显示的主窗口以及机器人操作用的子窗口的图。

图18是示出图1中示出的显示装置上显示的主窗口以及图像处理用用的子窗口的图。

图19是示出图8中示出的局部坐标系的设定的流程的流程图。

图20是图1中示出的显示装置上显示的局部设定画面。

图21是图1中示出的显示装置上显示的局部设定画面。

图22是图1中示出的显示装置上显示的示教用的画面。

图23是图1中示出的显示装置上显示的局部设定画面。

图24是示出图8中示出的工具设定的流程的流程图。

图25是图1中示出的显示装置上显示的工具设定画面。

图26是图1中示出的显示装置上显示的工具设定画面。

图27是图1中示出的显示装置上显示的工具设定画面。

图28是示出图9中示出的校准的流程的流程图。

图29是示出图9中示出的校准的流程的流程图。

图30是图1中示出的显示装置上显示的校准制作画面。

图31是图1中示出的显示装置上显示的校准制作画面。

图32是图1中示出的显示装置上显示的校准制作画面。

图33是图1中示出的显示装置上显示的校准制作画面。

图34是图1中示出的显示装置上显示的校准制作画面。

图35是图1中示出的显示装置上显示的校准制作画面。

图36是图1中示出的显示装置上显示的校准制作画面。

图37是图1中示出的显示装置上显示的校准制作画面。

图38是图1中示出的显示装置上显示的示教用的画面。

图39是示出在图18中示出的子窗口中显示属性设定窗口的状态的图。

图40是示出在图18中示出的子窗口中显示示教的流程的状态的图。

图41是示出在图18中示出的子窗口中显示示教的流程的状态的图。

图42是示出在图18中示出的子窗口中显示校准执行按钮的状态的图。

图43是在图29中示出的步骤S545中显示装置上显示的画面。

图44是示出图8中示出的图像处理序列(次序)的制作中的显示处理的流程的流程图。

图45是示出图1中示出的显示装置上显示的子窗口的图。

图46是示出图1中示出的显示装置上显示的目录的图。

图47是示出图1中示出的显示装置上显示的目录的图。

图48是示出图1中示出的显示装置上显示的目录的图。

图49是示出图1中示出的显示装置上显示的目录的图。

图50是示出图1中示出的显示装置上显示的目录的图。

图51是图1中示出的显示装置上显示的子窗口中的引导画面。

图52是图1中示出的显示装置上显示的子窗口中的引导画面。

图53是图1中示出的显示装置上显示的子窗口中的引导画面。

图54是图1中示出的显示装置上显示的子窗口，是示出与图45不同的显示的图。

图55是图1中示出的显示装置上显示的子窗口，是示出与图45不同的显示的图。

符号说明

1、机器人；2、机器人；2a机器人；2b、机器人；3、拍摄部；6、自由度；10控制系统；11计算机；12、机器人控制装置；13、图像处理装置；20、机器人臂部；21第一臂部；22第二臂部；23第三臂部；24、第四臂部；25第五臂部；26第六臂部；31移动照相机；32固定照相机；41显示装置；42输入装置；50主窗口；51、子窗口；52、面板；53、标签；54、点动面板；56、标签；57、目录；60、属性设定窗口；61、子窗口；62、流程图显示部；63、阅览部；68、画面；71、工具设定画面；71a工具设定画面；71b、工具设定画面；71c、工具设定画面；72、局部设定画面；72a、局部设定画面；72b、局部设定画面；72c、局部设定画面；73、校准制作画面；73a、校准制作画面；73b、校准制作画面；73c、校准制作画面；73d、校准制作画面；73e、校准制作画面；73f、校准制作画面；73g、校准制作画面；90、操作台；91、供料台；92、校准板；93、工件；94、合格用除料台；95、不合格用除料台；100、机器人视觉系统；110、处理部；111、控制部；112、主存储器；113、储存部；114、显示控制部；115、输入控制部；116、通信部；121、控制部；122、主存储器；123、储存部；126、通信部；131、控制部；132、主存储器；133、储存部；136、通信部；201、第一臂部；202、第二臂部；203、花键轴；210、基台；270、手部；280、驱动部；281、位置传感器；283、电机驱动器；290、力检测部；502、工具栏；521、点动动作组；522、示教组；601、图标；612、图像影像显示部；613、执行组；614、按钮；615、工具栏；616、示教组；621、显示部；622、显示部；651、边框；652、边框；653、窗口；660、流程图；660a、流程图；660b、流程图；661、流程；662、流程；662a、流程；662b、流程；663、对话框；671、图标；672、图标；680、标记；681、区域；682、区域；683、确定按钮；684、取消按钮；701、工具设定用图标；702、局部设定用图标；703、校准制作用图标；711、单选按钮；712、下拉目录；713、文本框；714、下拉目录；720、画面；721、单选按钮；722、下拉目录；723、单选按钮；724、点动组；725、图像影像显示部；726、点动和示教面板；727、文本框；728、下拉目录；729、复选框；730、画面；733、下拉目录；736、复选框；801、指令输入图标；1110、校准控制部；1111、控制程序编辑部；1112、控制程序生成部；1113、校准编辑部；1114、校准执行部；1115、图像处理序列编辑部；1211、控制程序执行部；1212、机器人控制部；1311、图像处理序列执行部；1312、图像处理部；1313、拍摄部控制部；5212、按钮；6151、示教按钮；6152、校准执行按钮；6221、图标；6501、按钮；6502、按钮；6503、按钮；6504、按钮；6511、项目；6521、项目；6540、目录；6541、图标；6542、字符串；7101、按钮；7102、按钮；7103、按钮；7104、按钮；7105、按钮；7106、按钮；7201、按钮；7202、按钮；7203、按钮；7204、按钮；7205、按钮；7206、示教按钮；7208、按钮；7241、按钮；7301、按钮；7302、按钮；7303、按钮；7304、按钮；7305、确认按钮；7306、取消按钮；7307、按钮；7311、下拉目录；7312、下拉目录；7313、下拉目录；7321、单选按钮；7322、下拉目录；7323、组；7324、单选按钮；7331、下拉目录；7341、局部向导按钮；7342、下拉目录；7351、工具向导按钮；7352、下拉目录；7353、单选按钮；7354、复选框；7361、复选框；7371、文本框；7372、复选框；7373、示教按钮；A31、光轴；A32、光轴；J3、轴；O6、转动轴；P、工具中心点；S111、步骤；S112、步骤；S113、步骤；S114、步骤；S115、步骤；S116、步骤；S117、步骤；S118、步骤；S119、步骤；S120、步骤；S121、步骤；S122、步骤；S123、步骤；S124、步骤；S125、步骤；S126、步骤；S127、步骤；S128、步骤；S129、步骤；S130、步骤；S131、步骤；S132、步骤；S211、步骤；S212、步骤；S213、步骤；S214、步骤；S215、步骤；S216、步骤；S217、步骤；S218、步骤；S219、步骤；S220、步骤；S221、步骤；S222、步骤；S223、步骤；S224、步骤；S225、步骤；S226a、步骤；S226b、步骤；S227、步骤；S228、步骤；S229、步骤；S31、步骤；S311、步骤；S312、步骤；S313、步骤；S314、步骤；S315、步骤；S316、步骤；S317、步骤；S318、步骤；S319、步骤；S320、步骤；S321、步骤；S322、步骤；S323、步骤；S324、步骤；S325、步骤；S326、步骤；S327、步骤；S328、步骤；S329、步骤；S33、步骤；S330、步骤；S41、步骤；S411、步骤；S412、步骤；S413、步骤；S414、步骤；S415、步骤；S416、步骤；S417、步骤；S418、步骤；S419、步骤；S420、步骤；S421、步骤；S422、步骤；S423、步骤；S424、步骤；S425、步骤；S426、步骤；S427、步骤；S428、步骤；S429、步骤；S43、步骤；S430、步骤；S51、步骤；S511、步骤；S512、步骤；S513、步骤；S514、步骤；S515、步骤；S516、步骤；S517、步骤；S518、步骤；S519、步骤；S52、步骤；S520、步骤；S521、步骤；S522、步骤；S523、步骤；S524、步骤；S525、步骤；S526、步骤；S527、步骤；S528、步骤；S529、步骤；S530、步骤；S531、步骤；S532、步骤；S533、步骤；S534、步骤；S535、步骤；S536、步骤；S537、步骤；S538、步骤；S539、步骤；S54、步骤；S540、步骤；S541、步骤；S542、步骤；S543、步骤；S544、步骤；S545、步骤；S546、步骤；S547、步骤；S611、步骤；S612、步骤；S613、步骤；S614、步骤；S615、步骤；S616、步骤；S617、步骤；S618、步骤；S619、步骤；S620、步骤；S621、步骤；S622、步骤；S623、步骤；S624、步骤；S625、步骤；S626、步骤；S627、步骤；S628、步骤；S629、步骤。

具体实施方式

以下，基于附图中示出的适合的实施方式，对本发明的控制装置、机器人以及机器人系统进行详细说明。

<机器人视觉系统(机器人系统)的构成>

图1是本发明的第一实施方式涉及的机器人视觉系统的网络图。图2是示出图1中示出的机器人视觉系统所具有的机器人的一例的立体图。图3是示出图1中示出的机器人视觉系统所具有的机器人的一例的立体图。图4是图2或者图3中示出的机器人的系统构成图。图5是示出图1中示出的机器人系统所具有的计算机的系统构成图。图6是示出图1中示出的机器人系统所具有的机器人控制装置的系统构成图。图7是示出图1中示出的机器人系统所具有的图像处理装置的系统构成图。

并且，以下，为了便于说明，将图2以及图3中的上侧称为“上”，将下侧称为“下”。并且，将图2以及图3中的基台210侧称为“基端”，将其相反侧(作为末端执行器的手部270侧)称为“前端”。并且，图2或者图3中的上下方向为“垂直方向”，左右方向为“水平方向”。在本说明书中，“水平”不仅包含完全水平的情况，而且还包含相对于水平在±5°以内倾斜的情况。同样，在本说明书中，“铅直”不仅包含完全铅直的情况，而且还包含相对于铅直在±5°以内倾斜的情况。并且，在本说明书中，“平行”不仅包含两个线(包含轴)或者面相互完全平行的情况，而且还包含在±5°以内倾斜的情况。并且，在本说明书中，“正交”不仅包含两个线(包含轴)或者面相互完全正交的情况，而且还包含在±5°以内倾斜的情况。

图1中示出的机器人视觉系统100(机器人系统)例如是在电子部件以及电子设备等的工件的保持、搬送、组装以及检查等的操作中使用的装置。机器人视觉系统100具有控制系统10(控制装置)、至少一个机器人2、具有拍摄功能的多个拍摄部3、显示装置41(显示部)、输入装置42(输入部)。控制系统10具有计算机11(主控制装置、第一控制装置)、机器人控制装置12(第二控制装置)、图像处理装置13(第三控制装置)。在机器人视觉系统100具有多个机器人2的情况下，可以具有多个同类型(同种类)的机器人2(例如，机器人2a或者机器人2b中的任一个)，并且，也可以具有多个不同类型(不同种类)的机器人2(例如，机器人2a和机器人2b)。

计算机11和机器人控制装置12和图像处理装置13相互被有线或者无线通信连接(以下，简称为“连接”)。并且，在计算机11上分别有线或者无线通信连接显示装置41以及输入装置42。并且，在机器人控制装置12上分别有线或者无线通信连接机器人2。并且，在图像处理装置13上分别有线或者无线通信连接多个拍摄部3。并且，拍摄部3、显示装置41以及输入装置42也可以分别连接于图像处理装置13。

在该机器人视觉系统100中，例如在控制系统10的控制下，拍摄部3对工件等进行拍摄，机器人2基于拍摄部3拍摄到的拍摄图像(图像数据)对工件等进行操作。并且，在该机器人视觉系统100中，为了使机器人2能够进行适当的操作，在控制系统10的控制下，例如为了利用拍摄部3对工件进行识别而进行图像处理序列0037的制作等、或进行将拍摄坐标系和机器人坐标系(前端坐标系或者基坐标系)对应的校准。

以下，对构成机器人视觉系统100的各部进行说明。

<机器人>

如图1所示，机器人2连接于机器人控制装置12。能够连接于机器人控制装置12的机器人2的种类没有特别限定。例如，可以是如图2所示的作为垂直多关节机器人的机器人2a(机器人2)、或如图3所示的作为水平多关节机器人的机器人2b(机器人2)。在这里，“水平多关节机器人”是指臂部(除了花键轴203)在水平方向上进行动作的机器人。并且，“垂直多关节机器人”是指轴数(臂部数)为三个以上并且三个轴中的两个轴相互交叉(正交)的机器人。

以下，对机器人2a、2b进行简单说明。

(机器人2a)

如图2所示，机器人2a(机器人2)例如设置在操作台90上。机器人2a是所谓的六轴垂直多关节机器人(自由度六)。机器人2a具有安装于操作台90的基台210、连接于基台210的机器人臂部20、安装于机器人臂部20的前端的力检测部290、安装于力检测部290的前端的手部270(末端执行器)。

机器人2a所具有的机器人臂部20具有第一臂部21(臂部)、第二臂部22(臂部)、第三臂部23(臂部)、第四臂部24(臂部)、第五臂部25(臂部)、第六臂部26(臂部)。这些臂部21～26从基端侧朝向前端侧以该顺序连结。并且，力检测部290例如由检测施加于手部270的力(包含力矩)的力觉传感器(例如，六轴力觉传感器)等构成。并且，手部270具有能够把持工件的两个指部，伴随臂部26的转动而进行转动。该手部270在设计上以手部270的中心轴与臂部26(前端臂部)的转动轴O6一致的方式安装。在这里，将手部270的前端中心称为工具中心点P。在本实施方式中，工具中心点P为手部270所具有的两个指部之间的区域的中心。并且，机器人臂部20的前端中心为“前端轴坐标”。

并且，如图4所示，机器人2a具有使一个臂部相对于另一个臂部(或者基台210)转动(驱动)的驱动部280。驱动部280具有产生驱动力的电机(未图示)和将电机的驱动力减速的减速机(未图示)。作为驱动部280所具有的电机，例如能够使用AC伺服电机、DC伺服电机等伺服电机。作为减速机，例如能够使用行星齿轮型的减速机、波动齿轮装置等。并且，在各驱动部280上设置有检测电机或者减速机的旋转轴的旋转角度的位置传感器281(角度传感器)。在本实施方式中，机器人2a具有与六个臂部21～26相同数量的六个驱动部280以及位置传感器281。并且，各驱动部280电性连接于电机驱动器283，经由电机驱动器283被机器人控制装置12控制。

如图2所示，在这样构成的机器人2a中，设定三维的正交坐标系作为以基台210为基准的基坐标系，该正交坐标系由相对于水平方向分别平行的xr轴和yr轴、相对于水平方向正交且铅直朝上为正方向的zr轴确定。在本实施方式中，基坐标系将基台210的下端面的中心点作为原点。将相对于xr轴的平移成分记为“成分xr”，将相对于yr轴的平移成分记为“成分yr”，将相对于zr轴的平移成分记为“成分zr”，将围绕zr轴的旋转成分记为“成分ur”，将围绕yr轴的旋转成分记为“成分vr”，将围绕xr轴的旋转成分记为“成分wr”。成分xr、成分yr以及成分zr的长度(大小)的单位为“mm”，成分ur、成分vr以及成分wr的角度(大小)的单位为“°”。

并且，在机器人2a中，设定以手部270的前端部为基准的前端坐标系。前端坐标系是由相互正交的xa轴、ya轴以及za轴确定的三维的正交坐标系。在本实施方式中，前端坐标系将机器人2a的前端轴坐标作为原点。并且，基坐标系和前端坐标系的校正(校准)结束，成为能够算出以基坐标系为基准的前端坐标系的坐标的状态。并且，将相对于xa轴的平移成分记为“成分xa”，将相对于ya轴的平移成分记为“成分ya”，将相对于za轴的平移成分记为“成分za”，将围绕za轴的旋转成分记为“成分ua”，将围绕ya轴的旋转成分记为“成分va”，将围绕xa轴的旋转成分记为“成分wa”。成分xa、成分ya以及成分za的长度(大小)的单位为“mm”，成分ua、成分va以及成分wa的角度(大小)的单位为“°”。

在这里，在本说明书中，将基坐标系以及前端坐标系也分别称为机器人坐标系。即，在本说明书中，将以机器人2的任一部位作为基准而设定的坐标称为“机器人的坐标系(机器人坐标系)”。

(机器人2b)

如图3所示，机器人2b(机器人2)与机器人2a同样，例如也设置在操作台90上。机器人2b与机器人2a同样，也具有安装于操作台90的基台210、连接于基台210的机器人臂部20、安装于机器人臂部20的前端的力检测部290、安装于力检测部290的前端并且能够把持工件的手部270(末端执行器)。并且，关于机器人2b，对于与机器人2a同样的构成省略其说明，以与机器人2a的不同点为中心进行说明。

机器人2b具有的机器人臂部20具有第一臂部201(臂部)、设置于臂部201的前端部的第二臂部202(臂部)、设置于第二臂部202的前端部的花键轴203(臂部)。并且，手部270在设计上以手部270的中心轴与花键轴203的轴J3一致的方式安装。手部270伴随花键轴203的转动而进行转动。

机器人2b与机器人2a同样，也具有与三个臂部相同数量的三个驱动部280以及位置传感器281(参照图3以及图4)。并且，虽未图示，但是花键轴203连接于作为传递驱动部280的动力的动力转递机构的花键螺母以及滚珠丝杠螺母。因此，花键轴203能够围绕其轴J3转动，并且，在上下方向上能够移动(升降)。

并且，机器人2b与机器人2a同样，也设定有基坐标系(由xr轴、yr轴以及zr轴确定的三维的正交坐标系)、前端坐标系(由xa轴、ya轴以及za轴确定的三维的正交坐标系)。

以上，对机器人2(机器人2a、2b)的构成进行了简单说明。并且，作为被控制系统10控制的机器人2不限定于图2以及图3中示出的构成。例如，臂部的数量不限定于上述数量，可以是任意的。并且，作为对工件进行操作的末端执行器不限定于手部270，可以是任意构成。

<拍摄部>

如图1所示，多个拍摄部3分别连接于图像处理装置13。在本实施方式中，如图2以及图3所示，机器人视觉系统100具有配置在机器人2的周边的固定照相机32(拍摄部3)、固定于机器人2具有的机器人臂部20的移动照相机31(拍摄部3)。并且，在图2以及图3中，移动照相机31安装于机器人臂部20的前端部。具体来说，如果是图2中示出的机器人2a，移动照相机31安装于第六臂部26，如果是图3中示出的机器人2b，移动照相机31安装于花键轴203的前端部。

以下，对固定照相机32以及移动照相机31进行简单说明。

(固定照相机32)

图2以及图3中示出的固定照相机32固定于操作台90，设置于机器人2的手部270的可动范围内。固定照相机32具有拍摄功能，且以能够拍摄垂直方向上方的方式设置。

虽未图示，但是固定照相机32例如具有拍摄元件和透镜(光学系统)，该拍摄元件由具有多个像素的CCD(Charge Coupled Device，电荷耦合器件)影像传感器构成。该固定照相机32使被拍摄对象反射的光通过透镜在拍摄元件的受光面(传感器面)成像，将光变换成电信号，并将该电信号输出至控制系统10(在本实施方式中是图像处理装置13)。在这里，受光面是拍摄元件的表面，是光成像的面。并且，固定照相机32在设计上以其光轴A32(透镜的光轴)沿着操作台90的平面(上面)的垂直方向的方式设置。

在固定照相机32中，作为图像坐标系(从固定照相机32输出的拍摄图像的坐标系)，虽未图示，但是设定有由相对于拍摄图像的面内方向分别平行的xc轴和yc轴确定的二维的正交坐标系。并且，将相对于xc轴的平移成分记为“成分xc”，将相对于yc轴的平移成分记为“成分yc”，将围绕xc-yc平面的法线的旋转成分记为“成分uc”。成分xc以及成分yc的长度(大小)的单位为“像素”，成分uc的角度(大小)的单位为“°”。并且，固定照相机32的图像坐标系是通过加入透镜的光学特性(焦点距离、畸变等)将固定照相机32的照相机视野中呈现的三维正交坐标非线性变换而成的二维的正交坐标系。

(移动照相机31)

图2以及图3中示出的移动照相机31如上述固定于机器人臂部20。移动照相机31具有拍摄功能，在本实施方式中，以能够拍摄机器人臂部20的前端侧的方式设置。

虽未图示，但是移动照相机31例如具有拍摄元件和透镜(光学系统)，该拍摄元件由具有多个像素的CCD影像传感器构成。该移动照相机31使被拍摄对象反射的光通过透镜在拍摄元件的受光面(传感器面)成像，将光变换成电信号，并将该电信号输出至控制系统10(在本实施方式中是图像处理装置13)。在这里，受光面是拍摄元件的表面，是光所成像的面。并且，移动照相机31在设计上以其光轴A31(透镜的光轴)沿着与机器人臂部20的前端轴(在机器人2a的情况下是第六臂部26的转动轴O6，在机器人2b的情况下是花键轴203的轴J3)相同的方向的方式设置。

在移动照相机31中，作为移动照相机31的图像坐标系(从移动照相机31输出的拍摄图像的坐标系)，虽未图示，但是设定有由相对于拍摄图像的面内方向分别平行的xb轴和yb轴确定的二维的正交坐标系。并且，将相对于xb轴的平移成分记为“成分xb”，将相对于yb轴的平移成分记为“成分yb”，将围绕xb-yb平面的法线的旋转成分记为“成分ub”。成分xb以及成分yb的长度(大小)的单位为“像素”，成分ub的角度(大小)的单位为“°”。并且，移动照相机31的图像坐标系是通过加入透镜的光学特性(焦点距离、畸变等)将移动照相机31的照相机视野中呈现的三维正交坐标非线性变换而成的二维的正交坐标系。

以上，对拍摄部3的构成进行了简单说明。并且，被控制系统10控制的拍摄部3不限定于图示的方式。并且，被控制系统10控制的拍摄部3的安装部位(设置部位)不限定于图示的部位。例如，移动照相机31的安装部位可以是图2中示出的机器人2a的第五臂部25或图3中示出的机器人2b的第二臂部202等。并且，虽未图示，但是固定照相机32可以设置在位于机器人2的上方的顶棚，并且，也可以在横向上设置于机器人2和在周边设置的壁/柱等。并且，拍摄部3的拍摄方向不限定于上述方向，可以是任意的。并且，拍摄部3的数量在图2以及图3中分别是两个，但是拍摄部3的数量没有特别限定，可以是一个，也可以是三个以上。

<显示装置41>

图1中示出的显示装置41(显示部)例如具备由液晶显示器等构成的监视器(未图示)，例如具有显示由拍摄部3拍摄到的拍摄图像和各种画面(例如关于操作窗口和关于处理结果的画面)等的功能。因此，使用者能够掌握拍摄图像和机器人2的操作等。

<输入装置42>

输入装置43(输入部)例如由鼠标和键盘等构成。因此，使用者通过操作输入装置42而能够对控制系统10进行各种处理等的指示。

并且，在本实施方式中，也可以设置兼备显示装置41以及输入装置42的显示输入装置(未图示)，而代替显示装置41以及输入装置42。作为显示输入装置，例如能够使用触摸面板(静电式触摸面板或赶鸭式触摸面板)等。并且，输入装置42也可以是识别响声(包含声音)的构成。

<控制系统(控制装置)>

如上所述，控制系统10具有计算机11和机器人控制装置12以及图像处理装置13(参照图1)。该控制系统10控制机器人2、多个拍摄部3以及显示装置41的驱动。并且，虽然图2以及图3中未图示，但是控制系统10例如设置于操作台90的外部。

以下，对控制系统10、计算机11和机器人控制装置12进行依次说明。

<计算机>

计算机11例如由安装有程序(OS：Operating System，操作系统)的计算机(例如PC(Personal Computer，个人电脑)、PLC(Programmable Logic Controller，可编程逻辑控制器)等)构成。该计算机11例如具有作为处理器的CPU(Central Processing Unit，中央处理器)以及GPU(Graphics Processing Unit，图形处理器)、RAM(Random Access Memory，随机存取存储器)、储存有程序的ROM(Read Only Memory，只读存储器)。

以下，对计算机11所具备的各功能(功能部)进行说明。

如图5所示，计算机11被构成为具有控制部111、主存储器112、储存部113、显示控制部114、输入控制部115(接收部)、通信部116，并且能够在这些部件之间相互进行数据的交换(通信)。在这里，在本说明书中，控制部111以及显示控制部114构成处理部110。

控制部111的功能例如能够通过利用CPU以及GPU来执行储存于主存储器112和储存部113的各种程序而实现。该控制部111例如具有控制程序编辑部1111、控制程序生成部1112、校准编辑部1113、校准执行部1114、图像处理序列编辑部1115。并且，控制部111所具有的功能部(要素)不限定于此。可以省略这些功能部的任一个，也可以增加其他功能部。

控制程序编辑部1111制作并编辑用于驱动机器人2的控制程序(机器人2进行各种操作的操作程序)。并且，例如，控制程序编辑部1111(计算机11)能够指定在控制程序中具有规定的自变量的各种指令。控制程序生成部1112生成控制程序，并变换为能够被机器人控制装置12理解的语言(数据列)。

校准编辑部1113制作并编辑与校准有关的校准程序。即，校准编辑部1113具有编辑与校准有关的设定内容的功能。校准执行部1114执行校准程序。详细来说，校准执行部1114将基于校准程序的指示传送至机器人控制装置12以及图像处理装置13，使机器人1以及拍摄部3进行与校准有关的动作。在这里，在本说明书中，校准编辑部1113以及校准执行部1114构成校准控制部1110。

图像处理序列编辑部1115制作并编辑与拍摄部3产生的图像处理序列有关的图像处理程序。即，图像处理序列编辑部1115具有编辑与图像处理序列有关的设定内容。

此外，控制部111根据输入控制部115收到的使用者的指示，进行各种运算、判断、对计算机11所具有的各功能部的指示、对机器人控制装置12的指示、以及对图像处理装置13的指示等。

主存储器112是控制部111的操作区域。主存储器112的功能例如能够通过RAM来实现。

储存部113具有记录各种数据(包含程序)的功能。储存部113的功能能够通过ROM等所谓的外部储存装置(未图示)来实现。储存部113例如储存用于驱动机器人2的控制程序、与校准有关的校准程序、包含与拍摄部3产生的图像处理序列有关的图像处理程序等的软件(例如应用软件)。换而言之，在计算机11中安装上述软件。并且，在该软件中，包含与工具设定有关的程序、与局部设定(局部坐标系的设定)有关的程序、通过各种指令使各种机器人2驱动并使各种处理(例如，工具设定、局部设定、校准制作/执行(校准)以及图像处理序列制作/执行(图像处理序列的制作)等)执行的程序、以及设定基于来自力检测部290的输出的力控制中的各种参数的程序。并且，上述软件例如可以储存于CD-ROM等记录介质(未图示)并从该记录介质提供，也可以经由网络提供。

显示控制部114连接于显示装置41，具有使拍摄图像和各种画面(例如操作窗口和与处理结果有关的画面)显示于显示装置41的监视器的功能。即，显示控制部114控制显示装置41的驱动。该显示控制部114的功能例如能够通过GPU来实现。例如，显示控制部114使与图像处理序列有关的多个引导画面以与使用者的对话形式(对话式)依次显示于显示装置41。并且，显示控制部114使与校准有关的多个校准制作画面、与工具设定有关的多个工具设定画面、以及与局部坐标系的设定有关的多个局部设定画面分别以与使用者的对话形式依次显示于显示装置41。

输入控制部115连接于输入装置42，具有接收来自输入装置42的输入的功能。该输入控制部115的功能例如能够通过接口电路来实现。并且，例如在使用触摸面板的情况下，输入控制部115具有作为检测使用者的手指对触摸面板的接触等的输入检测部的功能。

通信部116具有进行机器人控制装置12以及图像处理装置13等与外部的数据交换的功能。通信部116的功能例如能够通过接口电路等来实现。

(机器人控制装置)

机器人控制装置12例如基于来自计算机11的指示来控制机器人2的驱动。机器人控制装置12是安装有程序(OS等)的计算机。该机器人控制装置12例如具有作为处理器的CPU、RAM、储存有程序的ROM。

以下，对机器人控制装置12所具备的各功能(功能部)进行说明。

如图6所示，机器人控制装置12被构成为具有控制部121(机器人控制部)、主存储器122、储存部123、通信部126，且能够在这些部件之间相互进行数据的交换。

控制部121的功能例如能够通过利用CPU来执行储存于主存储器122和储存部123的各种程序而实现。该控制部121例如具有控制程序执行部1211和机器人控制部1212。并且，控制部121所具有的功能部(要件)不限定于此。可以省略这些功能部的任一个，也可以增加其他功能部。

控制程序执行部1211基于来自计算机11的指示来执行用于驱动机器人2的控制程序。例如，控制程序执行部1211通过各种指令使机器人2执行各种处理(例如，工具设定、局部设定、校准处理(校准)以及图像处理序列执行指示等)。机器人控制部1212控制各驱动部280的驱动，使机器人臂部20驱动或停止。例如，为了基于从位置传感器281和力检测部290输出的信息使手部270移动到目标位置，控制部121导出各驱动部280所具有的电机(未图示)的目标值。此外，控制部121具有进行各种运算以及判断等的处理的功能、进行机器人控制装置12所具有的指示的功能等。

主存储器122是控制部121的操作区域。主存储器122的功能例如能够通过RAM来实现。储存部123具有记录各种数据(包含程序)的功能。储存部123例如记录控制程序等。储存部123的功能能够通过ROM等所谓的外部储存装置(未图示)来实现。通信部126具有进行机器人2、计算机11以及图像处理装置13等与外部的数据交换的功能。通信部126的功能例如能够通过接口电路等来实现。

(图像处理装置)

图像处理装置13例如基于来自计算机11的指示来控制拍摄部3的驱动，进行利用拍摄部3拍摄到的拍摄图像的处理(图像处理)。图像处理装置13例如是安装有程序(OS等)的计算机。该图像处理装置13例如具有作为处理器的CPU以及GPU、RAM、储存有程序的ROM。

以下，对图像处理装置13所具备的各功能(功能部)进行说明。

如图7所示，图像处理装置13被构成为具有控制部131(拍摄部控制部)、主存储器132、储存部133、通信部136，且能够在这些部件之间相互进行数据的交换。

控制部131的功能例如能够通过利用CPU以及GPU来执行储存于主存储器132和储存部133的各种程序而实现。该控制部131例如具有图像处理序列执行部1311、图像处理部1312、拍摄部控制部1313。并且，控制部131具有的功能部(要件)不限定于此。可以省略这些功能部的任一个，也可以增加其他功能部。

图像处理序列执行部1311具有基于来自计算机11的指令(命令)来执行图像处理序列的功能。图像处理部1312例如具有从拍摄图像提取各种信息等的图像处理的功能。具体来说，图像处理部1312例如基于来自拍摄部3等的拍摄图像(图像数据)来进行各种运算、各种判断等。例如，图像处理装置1312基于拍摄图像来运算图像坐标系中的拍摄对象的坐标(成分xb、yb、ub或者成分xc、yc、uc)。并且，例如，图像处理部1312将图像坐标系中的坐标(图像坐标)变换为机器人2的前端坐标系中的坐标(前端坐标)或者机器人2的基坐标系中的坐标(基坐标)。例如计算机11或者机器人控制装置12求出该变换中使用的修正参数。并且，也可以是图像处理装置13求出上述变换中使用的修正参数。并且，拍摄部控制部1313例如具有控制拍摄部3的驱动并从拍摄部3取得拍摄图像(图像数据)的功能。

此外，控制部131具有收到来自计算机11的指示而进行各种运算以及判断等处理的功能、进行对图像处理装置13所具有的各功能部的指示的功能等。

主存储器132是控制部131的操作区域。主存储器132的功能例如能够通过RAM来实现。

储存部133具有记录各种数据(包含程序)的功能。储存部133例如记录与图像处理序列有关的程序等。储存部133的功能能够通过ROM等所谓的外部储存装置(未图示)来实现。

通信部136具有进行机器人控制装置12以及计算机11等与外部的数据交换的功能。通信部136的功能例如能够通过接口电路等来实现。

以上，对控制系统10的构成以及功能进行了说明。并且，计算机11、机器人控制装置12以及图像处理装置13中的任一个可以具有上述计算机11、机器人控制装置12以及图像处理装置13分别具有的各功能。并且，计算机11、机器人控制装置12以及图像处理装置13可以是一体的。例如，计算机11的控制部111可以具有图像处理装置13所具有的图像处理序列执行部1311、图像处理部1312、拍摄部控制部1313。并且，图像处理装置13可以具有计算机11所具有的显示控制部114以及输入控制部115。并且，控制系统10可以具备图像处理装置13，在该情况下，计算机11能够具备图像处理装置13所具有的各功能。并且，机器人控制装置12的控制部121可以具有计算机11所具有的校准执行部1114。

以上，对机器人视觉系统100的基本构成进行了简单说明。

接着，对操作程序制作以及示教的一例进行说明。并且，以下主要以使用图2中示出的机器人2a作为机器人2的情况为例进行说明。

<操作程序的制作>

图8以及图9分别是示出利用图1中示出的控制系统进行的操作程序的制作的流程的流程图。图10是用于说明图8的步骤S111的图。图11是用于说明图8的步骤S113的图。图12是用于说明图8的步骤S116的图。图13是用于说明图8的步骤S118的图。图14是用于说明图9的步骤S126的图。图15是用于说明图9的步骤S128以及步骤S129的图。

以下，例如，图2中示出的机器人2a把持设置于操作台90上的供料台91上的工件(在图2中未图示)，在固定照相机32上进行工件的检查(例如，外观检查)，基于检查结果，生成将工件载置于合格用除料台94或者不合格用除料台95的操作的操作程序。并且，在制作该操作程序时，进行需要的各种处理。作为各种处理，例如，进行移动照相机31的图像坐标系和机器人2a的机器人坐标系(前端坐标系或者基坐标系)的校准、固定照相机32的图像坐标系和机器人2a的机器人坐标系(前端坐标系或者基坐标系)的校准。并且，例如，进行对于机器人2a的各部位的示教。并且，例如，进行求出机器人2a的工具中心点P和前端轴坐标中的偏移(工具中心点P和前端轴坐标中的一个相对于另一个的偏移)的工具设定。并且，进行与机器人坐标系不同的局部坐标系的设定(局部设定)。并且，进行图像处理序列制作、执行以及结果的反映等图像处理序列的制作(图像处理序列)。

在这里，使用者在执行操作程序的制作之前，如图2所示，在设置于操作台90上的供料台91上载置校准板92(校正用部件)。并且，显示控制部114使主窗口50(指示画面)显示于显示装置41(参照图17或者图18)。并且，关于主窗口50在后面详述。

之后，使用者通过对显示于显示装置41的各种画面(窗口)利用输入装置42的鼠标进行点击的操作、对显示于显示装置41的指示画面利用输入装置42的键盘输入文字和数字等的操作，进行对于控制系统10的指示。即，以下的操作程序的制作中的控制系统10的控制，基于使用者使用输入装置42的指示来进行。以下，将该使用者使用输入装置42的指示(即利用输入装置42的输入)称为“操作指示”。该操作指示包含通过输入装置42从显示于指示画面的内容选择期望的内容的选择操作、包含通过输入装置42将文字、数字等输入指示画面的输入指示等的操作指示。

以下，基于图8以及图9中示出的流程图，对操作程序制作进行说明。

首先，计算机11对机器人控制装置12发出使移动照相机31位于校准板92上的移动指示(图8：步骤S111)。收到该移动指示，机器人控制装置12使机器人臂部20移动，使移动照相机31位于校准板92上(参照图10)。在本实施方式中，以移动照相机31的光轴A31与校准板92大致垂直的方式使移动照相机31与校准板92正对。并且，使移动照相机31的焦点与附于校准板92的标记(未图示)一致。

接着，计算机11进行局部坐标系的设定，即局部设定(图8：步骤S112)。局部坐标系是与机器人坐标系(基坐标系或者前端坐标系)不同的坐标系，是由被机器人坐标系定义的原点、xd轴、yd轴以及zd轴确定的三维的正交坐标系。在本实施方式中，作为与操作台90平行的平面，使用移动照相机31向与校准板92的上面平行的面设定包含局部坐标系的xd轴以及yd轴的局部平面(假想的面)。由此，例如，即使在供料台91的上面相对于平面倾斜的情况下，机器人2a也能够在供料台91的上面进行准确的操作。并且，在使用图3中示出的机器人2b的情况下，可以省略局部坐标系的设定。并且，上述局部设定是设定上述局部坐标系，意思是包含通过反映局部设定中的各种设定(包含显示处理)、局部设定的处理的执行、以及局部设定结果来设定局部坐标系。

局部设定的具体的设定方法没有特别限定，例如列举出如下方法：基于将附于校准板92的至少三个标记(未图示)一个个拍摄而得到的拍摄图像、拍摄时的工具中心点P的前端坐标来求出。

并且，局部设定通过使用后述的指示画面的显示处理来进行。并且，关于局部设定中的显示处理在后面详述。

并且，在局部坐标系的设定结束后，使用者将校准板92从供料台91去除，将工件载置于供料台91上(参照图11)。

接着，计算机11能够对机器人控制装置12发出使移动照相机31位于能够拍摄工件93的位置的移动指示(图8：步骤S113)。收到该移动指示，机器人控制装置12使机器人臂部20驱动，使移动照相机31位于能够拍摄工件93的位置(参照图11)。该移动通过在使移动照相机31移动至其光轴A31(机器人2a的前端轴)与局部平面正交的姿势后，不变更移动照相机31的姿势，使移动照相机31在局部平面内移动来进行。并且，也使其以焦点相对于工件93的上面一致的方式想与局部平面正交的方向移动。

接着，计算机11将步骤S113中的机器人2a的前端轴坐标(成分xr、yr、zr、ur、vr、wr)设定为第一点，储存于储存部113(图8：步骤S114)。

接着，计算机11对机器人控制装置12以及图像处理装置13发出指示(命令)，进行与附于工件93的上面中心的标记(未图示)有关的第一图像处理序列的制作(图8：步骤S115)。

在这里，图像处理序列是从拍摄部3拍摄图像，处理拍摄图像，将对拍摄图像中呈现的规定的零件103进行检测、检查等的方法和顺序进行整理。并且，图像处理序列的制作的意思是包含图像处理序列的各种设定、零件的示教、图像处理序列的执行以及反映。并且，第一图像处理序列表示与作为零件附于工件93的上面中心的标记有关的图像处理序列。

并且，第一图像处理序列的制作等通过使用后述的指示画面的显示处理来进行。并且，关于第一图像处理序列中的显示处理在后面进行说明。

接着，计算机11对机器人控制装置12发出把持工件93的把持指示(图8：步骤S116)。收到该把持指示，机器人控制部1212对于机器人2a使机器人臂部20驱动，通过手部270把持工件93(参照图12)。接着，计算机11将步骤S116中的机器人2a的前端轴坐标(成分xr、yr、zr、ur、vr、wr)设定为第二点，储存于储存部113(图8：步骤S117)。在这里，工具中心点P的位置(成分za)使用把持工件93的位置。

接着，计算机11对机器人控制装置12发出使工件93位于固定照相机32上的移动指示(图8：步骤S118)。收到该移动指示，机器人控制装置12使机器人臂部20驱动，使工件93位于在固定照相机32的视野内焦点与工件93一致的位置(参照图13)。接着，计算机11将步骤S118中的机器人2a的前端轴坐标(成分xr、yr、zr、ur、vr、wr)设定为第三点，储存于储存部113(图8：步骤S119)。

接着，计算机11对机器人控制装置12以及图像处理装置13发出指示，进行附于工件93的下面中心的标记(未图示)的第二图像处理序列(第二视觉序列)的制作(图8：步骤S120)。在这里，第二图像处理序列表示与作为零件附于工件93的下面中心的标记有关的图像处理序列。

并且，由于在工件93的上面中心和下面中心的完全相同的位置分别设置标记较难，因此，例如通过设置于工件93的贯通孔等，从工件93的上下识别相同的目标。

并且，第二图像处理序列的制作等通过使用后述的指示画面的显示处理来进行。并且，关于第二图像处理序列中的显示处理在后面进行说明。

接着，计算机11对机器人控制装置12以及图像处理装置13发出指示，进行工具设定(图8：步骤S121)。在这里，工具设定是求出机器人的前端轴等的轴坐标和工具的规定的部位的坐标的偏移(位置姿势的关系)，意思是包含反映工具设定中的各种设定(包含显示处理)、工具设定的处理的执行、以及工具设定结果。由此，得到工具的规定的部位的机器人坐标。并且，就工具而言，只要是设置于机器人2a的物体，可以是任何物体，例如列举出拍摄部3和工件93。在步骤S121中，工具为工件93，求出机器人2a的前端轴坐标和工件93的中心的偏移。由此，由于能够计算各种机器人姿势中的工件93的中心的机器人坐标，因此，能够准确地进行其他工件93的把持、以及把持的工件93的移动和检查等。

作为求出偏移的方法，没有特别限定，例如列举出如下方法：在将机器人2a的前端轴坐标以及工件93的中心中的任一个的位置固定的状态下使另一个的位置移动(例如转动)，基于其移动前后(例如转动前后)中的工具中心点P以及工件93的中心的前端坐标和移动量(例如转动角度)来求出。

并且，工具设定通过使用后述的指示画面的显示处理来进行。并且，关于工具设定中的显示处理在后面详述。

接着，计算机11对机器人控制装置12以及图像处理装置13发出指示，使用附于工件93的下面中心的标记，进行将固定照相机32的图像坐标系和局部坐标(机器人坐标系)对应的校准(图8：步骤S122)。在这里，校准是将图像坐标系和机器人坐标系对应，意思是包含通过反映校准中的各种设定(包含显示处理)即校准制作、照相机点的示教、校准的执行、以及校准结果来将图像坐标系和机器人坐标系对应。在这里，将机器人坐标系中的平行设定于操作台90的局部坐标和图像坐标系对应。

校准的具体的方法没有特别限定，例如列举出如下方法：使一个标记等的目标(拍摄对象)位于拍摄图像内的至少三个以上的照相机点，使用以基于该各照相机点的拍摄图像的图像坐标、拍摄时的标记等的目标的机器人坐标为基础而求出的图像坐标和机器人坐标的变换行列。各照相机点中的标记等的机器人坐标能够使用机器人的前端轴等的轴坐标的位置姿势、上述工具设定(偏移)来算出。由此，能够将图像坐标系和机器人坐标系对应，将图像坐标变换为机器人坐标。因此，能够求出拍摄图像中呈现的拍摄对象的机器人坐标。并且，在步骤S122中，设定九个照相机点。

并且，固定照相机32的校准通过使用后述的指示画面的显示处理来进行。并且，关于校准中的显示处理在后面详述。

接着，计算机11对机器人控制装置12以及图像处理装置13发出指示，进行用于检测附于工件93的下面的两个A点(未图示)以及B点(未图示)的第三图像处理序列(第三视觉序列)的制作等(图8：步骤S123)。在这里，第三图像处理序列表示与附于工件93的下面的A点(零件)以及B点(零件)的检测有关的图像处理序列。并且，在步骤S123中，将第三图像处理序列和固定照相机32的校准结果关联，执行使用被制作的图像处理序列的图像处理而进行检查。在这里，就检查而言，进行如下检查：计测A点和B点之间的距离，如果在规定阈值内则判断为合格，如果在规定阈值外，则判断为不合格。在这里，通过将使用图像坐标和机器人坐标的校准(校准结果)关联，不仅能够利用图像上的长度的单位(像素)，还能够利用机器人坐标的单位(mm等)判断A点和B点之间的距离。

并且，第三图像处理序列的制作通过使用后述的指示画面的显示处理来进行。并且，关于第三图像处理序列中的显示处理在后面进行说明。

接着，计算机11对机器人控制装置12发出在步骤S117设定的向第二点的移动指示，并发出将工件93载置于供料台91上的载置指示(图9：步骤S124)。收到该移动指示，机器人控制装置12对于机器人2a使机器人臂部20驱动，使机器人2a的前端轴坐标(成分xr、yr、zr、ur、vr、wr)位于第二点，通过手部270使工件93载置于供料台91上(参照图14)。接着，计算机11以步骤S121中工具设定为基础，将工件93的中心的位置(成分xr、yr、zr、ur、vr、wr)设定为第四点，储存于储存部113(图9：步骤S125)。

接着，计算机11对机器人控制装置12发出如下移动指示：在供料台91中使工件93脱离之后，移动至在步骤S114求出的第一点，使移动照相机31位于能够拍摄载置于供料台91上的工件93的位置(图9：步骤S126)。收到这样的移动指示，机器人控制装置12对于机器人2a在通过手部270使工件93在供料台91上脱离之后，使工具中心点P位于第一点，使移动照相机31位于能够拍摄工件93的位置。

接着，计算机11对机器人控制装置12以及图像处理装置13发出指示，使用附于工件93的上面中心的标记以及作为第四点(在第四点)保存的机器人坐标，进行移动照相机31的图像坐标系和机器人坐标系的校准(图9：步骤S127)。

在步骤S127中的校准中，作为一个目标(拍摄对象)使用附于工件93的上面中心的标记，以在拍摄图像内的九个照相机点拍摄该标记的方式，使移动照相机31相对于工件93移动。并且，使用基于在九个照相机点的拍摄图像的图像坐标、作为第四点(在第四点)保存的附于工件93的上面的标记的机器人坐标而求出图像坐标和前端坐标的变换行列。由此，能够将移动照相机31的图像坐标变换为机器人坐标。

并且，在步骤S127中的校准中，为了对于机器人2a准确地把持工件93，进行第一图像处理序列和移动照相机31的校准结果的关联。

并且，移动照相机31的校准通过使用后述的指示画面的显示处理来进行。并且，关于校准中的显示处理在后面进行说明。

接着，计算机11对机器人控制装置12发出使工具中心点P位于合格用除料台94上的移动指示，载置工件93，将机器人2a的前端轴坐标(成分xr、yr、zr、ur、vr、wr)设定为第五点，储存于储存部113(图9：步骤S128)。收到该移动指示，机器人控制部1212在对于机器人2a使机器人臂部20驱动而使机器人2a的前端轴位于合格用除料台94上之后，使工件93载置于合格用除料台94上(参照图15)。

接着，计算机11对机器人控制装置12发出使机器人2a的前端轴位于不合格用除料台95上的移动指示，载置工件93，将机器人2a的前端轴坐标(成分xr、yr、zr、ur、vr、wr)设定为第六点，储存于储存部113(图9：步骤S129)。收到该移动指示，机器人控制部1212在对于机器人2a使机器人臂部20驱动而使机器人2a的前端轴位于不合格用除料台95上之后，使工件93载置于不合格用除料台95上(参照图2、图15)。

接着，计算机11(控制程序编辑部1111)基于步骤S111～S129，制作机器人2a的操作程序(图9：步骤S130)。接着，计算机11(控制程序生成部1112)生成在步骤S113制作的操作程序，并变换(编译)为能够被机器人控制装置12理解的语言(数据列)(图9：步骤S131)。接着，计算机11将编译的操作程序传送至机器人控制装置12、图像处理装置13，对机器人控制装置12以及图像处理装置13发出操作程序的执行指示(图9：步骤S132)。

通过以上，操作程序的制作结束。

在这里，先前以来，当进行通常的操作坐标的示教时，在使手部270把持工件93之后，使用者点动进给手部270，将工件93向操作对象的组装位置等插入/设置，示教其操作坐标，但是，在这样的视角操作中存在以下(1)、(2)这样的问题。

(1)在需要以高精度将工件93向操作位置插入/设置的情况下，使用者以手动操作将工件93向该场所点动进给，以高精度将工件插入/设置需要较长的时间。

(2)在示教多个操作位置的情况下，在现有的手法中，对于全部的示教点(指教点)，使用者从最初到最后以手动操作将工件93点动进给并进行插入/设置，因此，难以自动化。

为了解决上述问题，在从步骤S116到步骤S125的处理中，除了步骤S122、步骤S123以外的处理分别能够在进行操作的操作位置(操作坐标)的示教中利用。在这样的示教操作中，通过使用者利用手部270从后面把持以手动操作高精度设置的工件93并抽出，能够省略在精密的定位中需要时间的手部270的点动进给，从而能够大幅缩短示教时间。并且，即使在示教多个操作坐标的情况下，通过预先将工件93向各操作位置设置，并示教把持各工件93的坐标，能够将其后的操作坐标的取得处理简单地自动化。

并且，在进行反复示教的情况下，在从步骤S116到步骤S125的处理中，步骤S119、步骤S120仅在第一次执行(实施)，在其后的示教中，能够利用第一次的值。此外，步骤S124、步骤S125不一定是必要的处理，也可以从在第二点设定的坐标和在工具设定中取得的工具偏移中计算第四点的坐标。

接着，基于步骤S132的执行指示，对利用机器人控制装置12以及图像处理装置13进行的操作程序的执行进行说明。

<操作程序的执行>

图16是示出基于图8以及图9中示出的流程图制作的操作程序的执行的流程的流程图。

首先，当执行操作程序时，将工件93载置于供料台91上。

如图16所示，机器人控制装置12收到操作程序的执行指示(步骤S211)，使机器人臂部20驱动，使机器人2a的前端轴移动至第一点(步骤S212)。

接着，机器人控制装置12对图像处理装置13发出第一图像处理序列的执行指示(步骤S213)。图像处理装置13收到该执行指示，执行用于利用移动照相机31检测工件93的第一图像处理序列(步骤S214)。在步骤S214中，图像处理装置13执行第一图像处理序列，基于利用移动照相机31拍摄工件93而得到的拍摄图像(图像数据)进行图像处理，检测工件93的中心位置。并且，图像处理装置13利用移动照相机31的校准，将拍摄图像中呈现的工件93的中心位置变换为局部坐标(成分xd、yd、ud)。

接着，图像处理装置13对机器人控制装置12发送第一图像处理序列结果(图像检测点的机器人坐标等)(步骤S215)。如果机器人控制装置12收到第一图像处理序列结果的话(步骤S216)，就基于该结果将基于局部坐标系的工作93的中心的位置(成分xd、yd、ud)设定为第七点，储存于储存部113(步骤S217)。在这里，工件93的位置(成分zd)使用第二点的位置(成分zd)。

接着，机器人控制装置12使机器人臂部20驱动，基于工具设定将工具中心点P移动至第七点，通过手部270把持工件93(步骤S218)。接着，机器人控制装置12使机器人臂部20驱动，使机器人2a的前端轴移动至第三点(步骤S219)。接着，机器人控制装置12对图像处理装置13发出第三图像处理序列的执行指示(步骤S220)。图像处理装置13收到该执行指示，执行用于利用固定照相机32检测工件93的第三图像处理序列(步骤S221)。在步骤S221中，图像处理装置13执行第三图像处理序列，基于利用固定照相机32拍摄工件93而得到的拍摄图像(图像数据)进行图像处理，检测工件93的点A、点B。并且，图像处理装置13利用固定照相机32的校准结果，将拍摄图像中呈现的工件93的点A以及点B的位置变换为机器人坐标(基坐标)。接着，图像处理装置13对机器人控制装置12发送第三图像处理序列结果(点A以及点B的各机器人坐标等)(步骤S222)。如果机器人控制装置12收到第三图像处理序列结果的话(步骤S223)，就基于该结果进行将基于局部坐标系的工件93的点A和点B之间的距离进行计测的检查(步骤S224)。

接着，机器人控制装置12进行如下合格与否判断：点A和点B之间的距离如果在规定阈值内则为合格，如果在规定阈值外则为不合格(步骤225)。在合格的情况下，机器人控制装置12转换至步骤S226a，使机器人臂部20驱动，使机器人2a的前端轴移动至第五点。另一方面，在不合格的情况下，机器人控制装置12转换至步骤S226b，使机器人臂部20驱动，使机器人2a的前端轴移动至第六点。

接着，机器人控制装置12进行计数(步骤S227)，判断工件93是否达到规定数(步骤S228)。如果达到规定数的话，机器人控制装置12就转换至步骤S229，将操作结束发送至计算机11(步骤S229)，操作结束。另一方面，在未达到规定数的情况下，返回步骤S211，反复进行步骤S211～S228，直至达到规定数。

如以上这样，操作结束。并且，计算机11基于操作的结果(例如，工件93的把持的成功与否、把持位置的偏差和图像序列执行成功与否等)重新制作上述操作程序。例如，如果计算机11判断到工件93的把持频繁失败，就重新制作操作程序(改写)，进行再次操作。这样，通过进行操作程序的制作(更新)以及基于该操作程序的操作，直至工件93的把持稳定，能够提高机器人2a的操作精度。并且，计算机11也可以不重新制作操作程序的全部，而仅重新制作操作程序的一部分。例如，在工件93的把持的精度不在规定阈值内的情况下，也可以仅重新再次制作移动照相机31的校准(图9：步骤S127)。这样，通过仅重新制作操作程序的一部分，能够高效率地进行操作程序的再设定(编辑)。

用于进行这样的操作的操作程序的制作及其所需要的各种处理的设定，如上所述，基于使用各种指示画面的使用者进行的操作指示(输入装置42进行的输入)通过控制系统10来执行。以下，对各种指示画面、使用者进行的指示画面的操作(输入装置42进行的输入)以及计算机11(显示控制部114)进行的显示处理等进行说明。并且，以下，将基于使用各种指示画面的使用者进行的操作指示(输入装置42进行的输入)的控制系统10进行的各种设定等称为“显示处理”。

<主窗口以及显示处理>

图17是示出图1中示出的显示装置上显示的主窗口以及机器人操作用的子窗口的图。图18是示出图1中示出的显示装置上显示的主窗口以及图像处理用用的子窗口的图。

如图17所示，主窗口50至少具有工具栏502。工具栏502具有工具设定用图标701、局部设定用图标702、校准制作用图标703、用于显示图像处理用的子窗口61的图标601、指令输入图标801。这些图标的显示(图等)没有特别限定，优选是使用者容易识别用途的显示。关于各图标的用途在后面进行说明。

并且，显示控制部114能够使图17中示出的机器人操作用的子窗口51、图18中示出的图像处理用的子窗口61与主窗口50同时显示于显示装置41。此外，虽未图示，但是显示控制部114能够使指令输入用的子窗口、设定力控制中的各种参数的子窗口与主窗口50同时显示于显示装置41。显示控制部114通过使用者的操作指示，使这些子窗口(包含子窗口51、61)中的期望的子窗口显示在最前面。并且，也可以将这些子窗口并排显示。

146图17中示出的机器人操作用的子窗口51具备面板52，该面板52具有点动动作组521(区域)、示教组522。并且，虽未图示，但是子窗口51除了具备面板52以外，还具备设定机器人2的各种参数(例如移动速度等)的面板等多个面板。并且，子窗口51具有用于使期望的面板显示在最前面的多个标签53。

点动动作组521具有接收使用者使机器人2的规定部位点动动作的操作指示的多个按钮5212。这样，由于点动动作组521具有视觉上容易理解的按钮5212，因此，使用者能够简单地指示机器人2的点动进给。该点动动作组521在上述操作程序的制作中的步骤S111、S113、S116、S118、S124、S126、S128、S129中使用。具体来说，例如，在步骤S111中，如果输入控制部115收到来自使用者的对多个按钮5212的操作指示，则控制部111对机器人控制装置12发出使移动照相机31位于校准板92上的移动命令(图8：步骤S111)。

并且，示教组522用于使用者进行示教点的设定。该示教组522在上述操作程序的制作中的步骤S114、S117、S119、S125、S128、S129中使用。具体来说，例如，在步骤S114中，如果输入控制部115进行使用者对示教按钮的操作指示，则控制部111设定第一点，使第一点记录于储存部113(图8：步骤S114)。

图18中示出的图像处理用的子窗口61具有工具栏615、图像影像显示部612、执行组613、流程图显示部62。该图像处理用的子窗口61通过使用者的操作指示而显示主窗口50中的图标601。

工具栏615具有用于显示图像处理序列的制作用的画面组的图标671。图像影像显示部612显示拍摄部3拍摄的拍摄图像、图像处理结果。执行组613具有接收使用者执行图像处理序列的操作指示的各种按钮。流程图显示部62显示图像处理序列的图像处理顺序、校准的示教顺序等。

并且，子窗口61具有与点动动作组521同样构成的点动面板54、设定机器人2的各种参数(例如移动速度等)的面板(未图示)。子窗口61具有用于使设定机器人2的各种参数的面板和点动面板54中的任一个显示在最前面的两个标签56。并且，也可以将这些面板并排显示。

这样，通过子窗口61具有点动面板54，使用者能够利用图像处理用的子窗口61进行机器人操作。并且，同样，通过子窗口61具有设定机器人2的各种参数的面板，使用者能够利用图像处理用的子窗口61设定机器人2的各种参数。

并且，虽然图18中未图示，但是子窗口61具有对校准设定(制作的校准的名称以及各种设定内容)和图像处理序列设定(制作的图像处理序列的名称以及各种设定内容)进行显示、编辑的属性设定窗口60(参照图39)。该属性设定窗口60在显示有点动面板54的区域中显示(参照图18)。关于该属性设定窗口60在后面详述。

如以上说明，显示控制部114在控制部111的控制下，能够将多种子窗口(包含子窗口51、61)与一个主窗口50重叠或者并排显示，因此，使用者能够高效率地进行多种操作。特别地，如上所述，在本实施方式中，能够在显示装置41上显示机器人操作用的子窗口51、图像处理用的子窗口61、指令输入用的子窗口、与力控制有关的子窗口，因此便利性特别高。

并且，如上所述，显示控制部114能够在图像处理用的子窗口61中将用于进行机器人2的各种参数的设定的面板(未图示)、用于进行机器人2的点动动作的点动面板54重叠或者并排显示。因此，使用者能够在图像处理序列的执行时准确并且高效率地进行机器人2的操作。

接着，对上述操作程序中的局部设定以及该局部设定中的显示处理进行说明。

<局部设定以及显示处理>

图19是示出图8中示出的局部坐标系的设定的流程的流程图。图20、图21以及图23分别是图1中示出的显示装置上显示的局部设定画面。图22是图1中示出的显示装置上显示的示教用的画面。

以下，参照图19中示出的流程图对上述操作程序的制作中的局部坐标系的设定(步骤S112)进行说明。局部坐标系的设定(局部设定)具有[1A]局部设定中的各种设定(步骤S31)、[2A]局部设定的处理的执行(步骤S32(未图示))、[3A]局部设定结果的反映(步骤S33)。在这里，如上所述，局部设定的意思是包含局部设定中的各种设定(包含显示处理)、局部设定的处理的执行、以及通过反映局部设定结果而设定局部坐标系。

[1A]局部设定中的各种设定(步骤S31)

首先，控制系统10基于输入装置42的输入，执行局部设定中的各种设定。

具体来说，首先，如果使用者对图17中示出的主窗口50的局部设定用图标702进行操作指示(点击)，则输入控制部115收到该操作指示(局部设定开始的指示)(图19：步骤S311)。由此，控制部111开始以与使用者的对话形式使多个(在本实施方式中是五个)局部设定画面72(指示画面)显示的局部设定用的画面组的显示处理，对显示控制部114发出图20中示出的第一个局部设定画面72a(局部设定画面72)的输出指示(图19：步骤S312)。收到该输出指示，显示控制部114使第一个局部设定画面72a显示于显示装置41。

(第一个局部设定画面)

如图20所示，第一个局部设定画面72a是用于局部设定模式(局部校准类型)的选择的画面。局部设定模式示出局部坐标系的设定的方法。即，局部设定模式示出以怎样的手段进行局部设定，或者进行怎样种类的(例如，以手动操作进行局部设定或者与固定照相机32平行的局部设定等)局部设定。在本实施方式中，局部设定画面72a被构成为具有多个单选按钮721，能够收到图20中示出的三个局部设定模式中的任意一个的选择。这样，通过局部设定画面72a为从多个模式引导一个选择的构成，能够防止使用者选择两种以上的模式。并且，局部设定模式的种类不限定于图20中示出的三个模式，可以进一步增加其他模式，也可以省略图20中示出的三个模式中的任一个。

并且，局部设定画面72a具有显示“取消”的按钮7201、显示“返回”的按钮7202、显示“下一步”的按钮7203、显示“示教”的按钮7204(示教按钮)、显示“完成”的按钮7205。按钮7201用于局部设定向导的取消。按钮7202用于在依次显示的局部设定画面72中返回到前一个局部设定画面72。按钮7203用于在依次显示的局部设定画面72中前进到下一个局部设定画面72。并且，由于局部设定画面72a是依次显示的局部设定画面72中的第一个，因此，按钮7202成为灰色。并且，按钮7204、7205也成为灰色。

对于这样的局部设定画面72a，如果使用者进行选择期望的模式的操作指示(点击或者触摸期望的一个单选按钮721)，并对显示“下一步”的按钮7203进行操作指示，则输入控制部115收到局部设定模式的选择(图19：步骤S313)。由此，控制部111使选择的局部设定模式储存于储存部113，对显示控制部114发出第二个局部设定画面(未图示)的输出指示(图19：步骤S314)。收到该输出指示，显示控制部114使第二个局部设定画面(未图示)显示于显示装置41。

(第二个局部设定画面)

第二个局部设定画面虽然未图示，但是为用于选择(设定)保存局部设定结果的保存编号(局部编号)的画面。并且，第二个局部设定画面除了代替局部设定模式的选择的显示而显示保存编号的选择以外，是与第一个局部设定画面72a大致同样的显示方式。

选择第二个局部设定画面中的保存编号的显示例如能够使用目录框等。通过这样的第二个局部设定画面为接收保存编号的选择的构成，能够防止使用者输入错误。并且，关于所选择的，代替保存编号也可以是保存名。并且，虽未图示，但是第二个局部设定画面也具有与第一个局部设定画面72a所具备的按钮7201-7205同样的按钮。

在使用者对这样的第二个局部设定画面进行选择期望的保存编号的操作指示之后，如果对显示“下一步”的按钮(对应于按钮7203的按钮)进行操作指示，则输入控制部115收到局部设定的结果的保存编号的选择(图19：步骤S315)。由此，控制部111使选择的保存编号储存于储存部113，对显示控制部114发出图21中示出的第三个局部设定画面72b(局部设定画面72)的输出指示(图19：步骤S316)。如果收到该输出指示，则显示控制部114使第三个局部设定画面72b显示于显示装置41。

(第三个局部设定画面)

如图21所示，第三个局部设定画面72b是用于选择各种视觉成分的内容的画面。局部设定中的视觉成分表示在局部坐标系的设定中使用的拍摄部3的种类、设置位置(照相机工具)、图像处理方法等与图像处理有关的要素。在本实施方式中，如图21所示，局部设定画面72b被构成为选择拍摄部3、拍摄部3的设置部位、图像处理序列、照相机工具、以及校准板这五个视觉成分的各内容。具体来说，局部设定画面72b具有多个用于从与视觉成分有关的多个内容(信息)选择一个内容的下拉目录722和单选按钮723。并且，下拉目录722的目录的图示省略(其他附图也同样)。局部设定中的视觉成分不限定于上述五个视觉成分，可以进行一步增加其他视觉成分，也可以省略上述视觉成分的任一个。

并且，局部设定画面具有选择是否示教局部基准点的复选框729。如果收到该选择，则控制部111将包含局部坐标系的局部平面设定在通过指定的示教的点的位置。由此，在机器人2a利用设定的局部坐标时的便利性提高。

在这里，第三个局部设定画面72b的显示内容根据第一个局部设定画面72a的拍摄部3的种类(选择)而改变。具体来说，下拉目录722的显示内容根据第一个局部设定画面72a的拍摄部3的种类(选择)而改变。例如，在上述操作程序的生成中的步骤S112中，使用移动照相机31进行局部设定。因此，如果输入控制部115收到使用者从第一个局部设定画面72a的图中上方选择第二个单选按钮721，则显示控制部114使具有与移动照相机31关联的显示内容的下拉目录722的局部设定画面72b显示于显示装置41。并且，例如，如果输入控制部115收到从第一个局部设定画面72a的图中上方选择第三个单选按钮721，则显示控制部114使具有与固定照相机32关联的显示内容的下拉目录722的局部设定画面72b显示于显示装置41。

这样，由于在后显示的局部设定画面72b中显示根据在先显示的局部设定画面72a中的选择的限定的内容，因此能够降低使用者的选择失误。

如果使用者对这样的第三个局部设定画面72b进行选择各视觉成分的内容的操作指示，并对显示“下一步”的按钮7203进行操作指示，则输入控制部115收到各视觉成分的内容的选择(图19：步骤S317)。由此，控制部111使选择的视觉成分储存于储存部113，对显示控制部114发出第四个局部设定画面(未图示)的输出指示(图19：步骤S318)。收到该输出指示，显示控制部114使第四个局部设定画面(未图示)显示于显示装置41。

(第四个局部设定画面)

第四个局部设定画面虽然未图示，但是为用于开始局部设定的照相机点(开始位置)、局部基准点的设定的画面。局部基准点仅在第三个局部设定画面中进行示教局部基准点的选择的情况下进行设定。并且，第四个局部设定画面除了选择内容(设定内容)不同以外，是与第一个局部设定画面72a大致同样的显示方式。并且，第四个局部设定画面具有与第一个局部设定画面72a所具备的按钮7201-7205同样的按钮。

如果使用者对这样的第四个局部设定画面操作指示示教按钮(对应于解除灰色的按钮7204的按钮)，则输入控制部115收到该操作指示(图19：步骤S319)。由此，控制部111对显示控制部114发出示教用的画面720的输出指示(图19：步骤S320)。收到该输出指示，显示控制部114使示教用的画面720显示于显示装置41。

[示教用的画面]

如图22所示，示教用的画面720是用于对开始局部设定的照相机点、以及决定所设定的局部平面的高度的局部基准点的位置进行示教的画面。该画面至少具有点动和示教面板726、示教按钮7206。点动和示教面板726具有点动组724和图像影像显示部725，该点动组724具有接收使机器人2a的规定部位点动动作的操作指示的多个按钮7241，图像影像显示部725显示拍摄部3的拍摄图像。

使用这样的画面720，使用者例如使用多个按钮7241进行使机器人2a的规定部位移动的指示(操作指示)，使得校准板位于图像影像显示部725的中心(拍摄图像的中心)。如果输入控制部115收到该使用者的操作指示，则控制部111基于该操作指示对机器人控制装置12发出使手部270移动的移动指示。并且，在移动指示的同时，通过对图像处理装置13发出使拍摄部3的图像拍摄的拍摄指示并显示于图像影像显示部725，使用者将拍摄部向拍摄对象适合呈现的位置移动，对开始局部设定的照相机点进行示教(图19：步骤S321)。接着，在第三个局部设定画面中以示教局部基准点的方式选择的情况下，在将机器人2a的手部270向设定的局部平面所通过的点移动之后，如果使用者对示教按钮7206进行操作指示，则输入控制部115收到该使用者的示教按钮7206的操作指示。由此，控制部111设定被局部设定的局部平面所通过的局部基准点(基准点)(图19：步骤S322)。并且，控制部111使照相机点、局部基准点储存于储存部113。之后，控制部111对显示控制部114发出使示教用的画面720消除的指示，显示控制部114使示教用的画面720从显示装置41消除。

接着，如果使用者对第四个局部设定画面(未图示)的显示“下一步”的按钮(对应于按钮7203)进行操作指示，则输入控制部115收到该使用者的操作指示(图19：步骤S323)。接着，控制部111对显示控制部114发出第五个局部设定画面72c的输出指示(图19：步骤S324)。由此，显示控制部114使第五个局部设定画面72c显示于显示装置41。

(第五个局部设定画面)

如图23所示，第五个局部设定画面72c是用于选择自动执行局部设定的各种参数的内容的画面。在本实施方式中，如图23所示，局部设定画面72c被构成为选择目标的允许量、最大移动距离、最大的姿势变化量(角度)以及LJM电机的四个参数的各内容。具体来说，局部设定画面72c具有用于输入与参数有关的内容的文本框727、用于从与参数有关的多个内容(信息)选择一个内容的下拉目录728。并且，参数不限定于上述四个参数，可以进一步增加其他参数，也可以省略上述参数中的任一个。

并且，局部设定画面72c与第一个局部设定画面72a同样具有按钮7201-7205，按钮7203-7205成为灰色。由于该第五个局部设定画面72c是局部设定用的画面组中最后的局部设定画面，因此，按钮7203成为灰色。

并且，局部设定画面72c具有显示“执行”的按钮7208。

如果使用者对这样的局部设定画面72c进行选择各种参数的内容的操作指示，并对显示“执行”的按钮7208进行操作指示，则输入控制部115收到各参数的内容的选择、来自使用者的局部设定的执行指示(图19：步骤S325)。由此，控制部111使选择的参数的内容储存于储存部113，对机器人控制装置12以及图像处理装置13发出进行局部设定的执行指示(图19：步骤S326)。以上，利用局部设定的显示处理进行的局部设定的各种设定完成。

[2A]局部设定的处理的执行(步骤S32)

接着，控制系统10执行局部设定的处理。

具体来说，机器人控制装置12以及图像处理装置13基于来自步骤S326的控制部111的执行指示来执行局部设定的处理。

首先，如果机器人控制装置12收到执行指示，则从机器人2a取得机器人2a的状态(例如驱动部280的电机是否被接通等)。接着，为了使校准板进入移动照相机31的视野，机器人控制装置12对机器人2a发出移动指示，使得移动照相机31向被示教成局部设定的开始位置的照相机点移动。此时，机器人2a对机器人控制装置12每次返还与机器人臂部20的移动有关的信息(位置传感器的值)等。接着，机器人控制装置12对图像处理装置13发出图像处理序列的执行指示。图像处理装置13收到该执行指示，执行用于利用移动照相机31(拍摄部3)来检测校准板的图像处理序列。该图像处理序列通过上述局部设定画面72b来执行收到的图像处理序列。图像处理装置13执行图像处理序列，基于移动照相机31拍摄校准板而得到的拍摄图像(图像数据)进行图像处理，检测校准板相对于移动照相机31的相对的位置姿势。接着，如果图像处理结束，图像处理装置13将图像处理序列的执行结果(校准板的位置姿势)发送至机器人控制装置12。接着，机器人控制装置12基于取得的校准板的位置姿势和拍摄时的移动照相机31的机器人坐标(基坐标)，计算局部坐标系。并且，机器人控制装置12对计算机11发送局部坐标系的设定结果(局部设定结果)。并且，如上所述，关于局部设定的执行内容等，具体的方法没有特别限定。在储存部113中对于每种设定储存处理(程序)，控制部111执行对应于所选择的设定的处理(程序)。

[3A]局部设定结果的反映(步骤S33)

接着，控制系统10反映局部设定结果。

具体来说，首先，如果计算机11的通信部116收到局部设定结果(图19：步骤S327)，则控制部111对显示控制部114发出显示局部设定结果的画面的输出指示(图19：步骤S328)。由此，显示控制部114使显示有局部设定结果的画面(未图示)显示于显示装置41。该画面虽未图示，但是被构成为使用者能够选择是否使局部设定结果反映。

如果输入控制部115收到使用者使局部设定结果反映的选择(图19：步骤S329)，则控制部111对机器人控制装置12发出设定局部设定结果的画面的指示(图19：步骤S330)。收到该指示，机器人控制装置12设定局部设定并储存。由此，局部设定被反映。

另一方面，如果使用者选择不反映局部设定的结果，则虽然图19中未图示，但是控制部111例如再次进行[1A]局部设定中的各种设定(步骤S31)、[2A]局部设定的处理的执行(步骤S32)。并且，至少再次进行[2A]局部设定的处理的执行(步骤S32)即可。这样，通过根据需要反复进行[2A]局部设定的处理的执行(步骤S32)等，能够提高局部设定结果的精度。

在以上说明的局部设定中，如上所述，在[1A]局部设定中的各种设定中，显示控制部114输出以与使用者的对话形式使多个(在本实施方式中是五个)局部设定画面72显示的局部设定用的画面组。并且，使用者使用多个局部设定画面72对控制系统10进行各种设定的指示。由此，使用者能够按照规定的顺序以对话形式选择设定内容(信息)，因此，无需复杂的操作就能够简单并且轻易地完成局部设定中的各种设定。因此，能够节省目前那样对各种设定进行编程的劳力。并且，通过在局部设定中显示需要的设定内容，即使是初学者也能够降低产生局部设定中需要的设定内容的设定不足，在局部设定的执行中例如能够降低产生错误等。

并且，如上所述，局部设定用的画面组具有五个局部设定画面72，但是局部设定画面72的数量不限定于此。可以进一步增加其他局部设定画面，也可以省略五个局部设定画面72中的任一个。并且，显示五个局部设定画面72的顺序不限定于上述顺序，可以是任意的。但是，优选的是，在后显示的局部设定画面72的显示内容，根据在先显示的局部设定画面72的选择内容而改变。即，优选的是，在后显示的局部设定画面72的显示内容是根据在先显示的局部设定画面72的选择内容的限定的内容。因此，优选的是，在上述局部设定画面72a之后显示局部设定画面72b。并且，通过以如上述说明的顺序显示上述五个局部设定画面72，由于使用者特别容易掌握设定内容，因此能够提高对于使用者的便利性。

接着，对上述操作程序中的工具设定以及该工具设定中的显示处理进行说明。

<工具设定以及显示处理>

图24是示出图8中示出的工具设定的流程的流程图。图25、图26以及图27分别是图1中示出的显示装置上显示的工具设定画面。

以下，参照图24中示出的流程图，对上述操作程序的制作中的工具设定(步骤S121)进行说明。工具设定具有[1B]工具设定中的各种设定(步骤S41)、[2B]工具设定的处理的执行(步骤S42(未图示))、[3B]工具设定结果的反映(步骤S43)。在这里，工具设定的意思是包含工具设定中的各种设定(包含显示处理)、工具设定的处理的执行、以及反映工具设定结果。

[1B]工具设定中的各种设定(步骤S41)

首先，控制系统10基于使用者的操作指示，执行工具设定中的各种设定。

具体来说，首先，如果使用者对图17中示出的主窗口50的工具设定用图标701进行操作指示，则输入控制部115收到该操作指示(工具设定开始的指示)(图24：步骤S411)。由此，控制部111开始以与使用者的对话形式使多个(在本实施方式中是五个)工具设定画面71(指示画面)显示的工具设定用的画面组的显示处理，对显示控制部114发出图25中示出的第一个工具设定画面71a(工具设定画面71)的输出指示(图14：步骤S412)。由此，显示控制部114使第一个工具设定画面71a显示于显示装置41。

(第一个工具设定画面)

如图25所示，第一个工具设定画面71a是用于工具设定模式(校准工具类型)的选择的画面。工具设定模式示出工具设定的种类、方法。即，工具设定模式示出设定怎样的工具的偏移，以怎样的手段进行工具设定。在本实施方式中，工具设定画面71a被构成为具有多个单选按钮711，能够收到图25中示出的四个工具设定模式中的任意一个。这样，通过工具设定画面71a为从多个模式引导一个选择的构成，能够防止使用者选择两种以上的模式。并且，工具设定模式的种类不限定于图25中示出的四个模式，可以进一步增加其他模式，也可以省略图25中示出的四个模式中的任一个。

并且，工具设定画面71a与上述局部设定画面72a同样，具有显示“取消”的按钮7101、显示“返回”的按钮7102、显示“下一步”的按钮7103、显示“示教”的按钮7104、显示“完成”的按钮7105。

对于这样的工具设定画面71a，如果使用者进行选择期望的模式的操作指示，并对按钮7103进行操作指示，则输入控制部115收到工具设定模式的选择(图24：步骤S413)。由此，控制部111使选择的工具设定模式储存于储存部113，对显示控制部114发出第二个工具设定画面(未图示)的输出指示(图24：步骤S414)。收到该输出指示，显示控制部114使第二个局部设定画面(未图示)显示于显示装置41。

(第二个工具设定画面)

第二个工具设定画面虽然未图示，但是为用于选择(设定)保存工具设定结果的保存编号(工具编号)的画面。并且，第二个工具设定画面除了选择内容(设定内容)不同以外，是与第一个工具设定画面71a大致同样的显示方式。

选择第二个工具设定画面中的保存编号的显示例如能够使用目录框等。通过这样的第二个工具设定画面为接收保存编号的选择的构成，能够防止使用者输入错误。并且，关于所选择的，代替保存编号也可以是保存名。并且，虽未图示，但是第二个工具设定画面也具有与第一个工具设定画面71a所具备的按钮7101-7105同样的按钮。

在使用者对这样的第二个工具设定画面进行选择期望的保存编号的操作指示之后，如果对显示“下一步”的按钮(对应于按钮7103的按钮)进行操作指示，则输入控制部115收到工具设定的结果的保存编号的选择(图24：步骤S415)。由此，控制部111使选择的保存编号储存于储存部113，对显示控制部114发出图26中示出的第三个工具设定画面71b(工具设定画面71)的输出指示(图24：步骤S416)。如果收到该输出指示，则显示控制部114使第三个工具设定画面71b显示于显示装置41。

(第三个工具设定画面)

如图26所示，第三个工具设定画面71b是用于选择各种视觉成分的内容的画面。工具设定中的视觉成分表示在工具设定中用于检测工具的拍摄部3的种类、图像处理的对象、方法等要素。在本实施方式中，如图26所示，工具设定画面71b被构成为选择用于检测工具的拍摄部3、以及用于检测工具的图像处理序列这两个视觉成分的各内容。具体来说，工具设定画面71b具有多个用于从与视觉成分有关的多个内容(信息)选择一个内容的下拉目录712。并且，工具设定中的视觉成分不限定于上述两个视觉成分，可以进行一步增加其他视觉成分，也可以省略上述视觉成分的任一个。

在这里，第三个工具设定画面71b的显示内容根据第一个工具设定画面71a的拍摄部3的种类(选择)而改变。具体来说，下拉目录712的显示内容根据第一个工具设定画面71a的拍摄部3的种类(选择)而改变。例如，在上述操作程序的生成中的步骤S121中，使用未校准的固定照相机32进行工具设定。因此，如果输入控制部115收到从第一个工具设定画面71a的图中上方选择第三个单选按钮711，则显示控制部114使具有与固定照相机32关联的显示内容的下拉目录712的工具设定画面71b显示于显示装置41。

这样，由于在后显示的工具设定画面71b中显示根据在先显示的工具设定画面71a中的选择的限定的内容，因此能够降低使用者的选择失误。

如果使用者对这样的第三个工具设定画面71b进行选择各视觉成分的内容的操作指示，并对显示“下一步”的按钮7103进行操作指示，则输入控制部115收到各视觉成分的内容的选择(图24：步骤S417)。由此，控制部111使选择的视觉成分储存于储存部113，对显示控制部114发出第四个工具设定画面(未图示)的输出指示(图24：步骤S418)。收到该输出指示，显示控制部114使第四个工具设定画面(未图示)显示于显示装置41。

(第四个工具设定画面)

第四个工具设定画面虽然未图示，但是为收到开始工具设定的照相机点的示教的画面。并且，第四个工具设定画面除了选择内容(设定内容)不同以外，是与第一个工具设定画面71a大致同样的显示方式。并且，第四个工具设定画面也具有与第一个工具设定画面71a所具备的按钮7101-7105同样的按钮。

如果使用者对这样的第四个工具设定画面(未图示)操作指示示教按钮(对应于解除灰色的按钮7104的按钮)，则输入控制部115收到该操作指示(图24：步骤S419)。由此，控制部111对显示控制部114发出示教用的画面(未图示)的输出指示(图24：步骤S420)。收到该输出指示，显示控制部114使示教用的画面显示于显示装置41。并且，该示教用的画面是与上述局部设定中的示教用的画面720同样的显示方式(参照图24)。

使用该示教用的画面，使用者进行例如使附于作为工具的手部270所把持的工件93的标记(目标)位于拍摄图像的中心附近的指示(操作指示)。如果输入控制部115收到该使用者的指示，则控制部111基于该指示对机器人控制装置12发出使手部270移动的移动指示，并对图像处理装置13发出使拍摄部3拍摄标记的拍摄指示(图24：步骤S421)。接着，在标记位于拍摄图像的中心附近之后，输入控制部115收到该使用者的示教按钮(对应于示教按钮710的按钮)的操作指示。由此，控制部111将标记位于拍摄图像的中心时的机器人2a的前端轴坐标设定为工具设定开始时的照相机点(图24：步骤S422)。并且，控制部111使照相机点储存于储存部113。之后，控制部111对显示控制部114发出使示教用的画面消除的指示，显示控制部114使示教用的画面从显示装置41消除。

接着，如果使用者对上述第四个工具设定画面(未图示)的显示“下一步”的按钮(对应于按钮7103)进行操作指示，则输入控制部115收到该使用者的操作指示(图24：步骤S423)。接着，控制部111对显示控制部114发出第五个工具设定画面71c的输出指示(图24：步骤S424)。由此，显示控制部114使第五个工具设定画面71c显示于显示装置41。

(第五个工具设定画面)

如图27所示，第五个工具设定画面71c是用于选择自动执行工具设定的各种参数的内容的画面。在本实施方式中，如图27所示，工具设定画面71c被构成为选择初期旋转、最终旋转、目标的允许量、最大移动距离以及LJM电机的五个参数的各内容。具体来说，工具设定画面71c具有用于输入与参数有关的内容的文本框713、用于从与参数有关的多个内容(信息)选择一个内容的下拉目录714。并且，参数不限定于上述五个参数，可以进一步增加其他参数，也可以省略上述参数中的任一个。

并且，工具设定画面71c与第一个工具设定画面71a同样具有按钮7101-7105。并且，工具设定画面71c具有显示“执行”的按钮7106。

如果使用者对这样的工具设定画面71c进行选择各种参数的内容的操作指示，并对显示“执行”的按钮7106进行操作指示，则输入控制部115收到各参数的内容的选择、来自使用者的工具设定的执行指示(图24：步骤S425)。由此，控制部111使选择的参数的内容储存于储存部113，对机器人控制装置12以及图像处理装置13发出进行工具设定的执行指示(图24：步骤S426)。以上，利用工具设定的显示处理进行的工具设定的各种设定完成。

[2B]工具设定的处理的执行(步骤S42)

接着，控制系统10执行工具设定的处理。

具体来说，机器人控制装置12以及图像处理装置13基于来自步骤S425的控制部111的执行指示来执行工具设定的处理。

首先，如果机器人控制装置12收到执行指示，则从机器人2a取得机器人2a的状态。接着，为了进行工具设定，机器人控制装置12对机器人2a发出移动指示，使得能够利用固定照相机32拍摄赋予工件93的标记。此时，机器人2a对机器人控制装置12每次返还与机器人臂部20的移动有关的信息(位置传感器的值)等。接着，机器人控制装置12对图像处理装置13发出图像处理序列的执行指示。图像处理装置13收到该执行指示，利用固定照相机32检测标记，执行图像处理序列。在这里，通过上述工具设定画面71b来执行收到的图像处理序列。图像处理装置13执行图像处理序列，基于固定照相机32拍摄标记而得到的拍摄图像(图像数据)进行图像处理。接着，机器人控制装置12例如对机器人2a发出移动指示，以将拍摄图像的中心作为转动中心而使轴坐标转动。接着，图像处理装置13收到该执行指示，利用固定照相机32检测标记，执行图像处理序列。并且，除了上述处理之外，机器人控制装置12例如可以进行使标记相对于轴坐标转动的操作，并且也可以使轴坐标进一步转动。接着，图像处理装置13将图像处理序列的执行结果(标记的检测结果)发送至机器人控制装置12。接着，机器人控制装置12基于取得的标记的检测结果、拍摄时的机器人坐标等，计算偏移。并且，机器人控制装置12对计算机11发送工具设定的结果。并且，如上所述，关于工具设定的执行内容等，具体的方法没有特别限定。在储存部113中对于每种设定储存处理(程序)，控制部111执行对应于所选择的设定的处理(程序)。

[3B]工具设定结果的反映(步骤S43)

接着，控制系统10反映工具设定结果以及执行设定。

具体来说，首先，如果计算机11的通信部116收到工具设定的结果(图24：步骤S427)，则控制部111对显示控制部114发出显示工具设定的结果的画面的输出指示(图24：步骤S428)。由此，显示控制部114使显示有工具设定的结果的画面显示于显示装置41。该画面虽未图示，但是被构成为使用者能够选择是否使工具设定的结果反映。

如果输入控制部115收到使用者使工具设定的结果反映的选择(图24：步骤S429)，则控制部111对机器人控制装置12发出使工具设定的结果反映并进行储存的指示(图24：步骤S430)。收到该指示，机器人控制装置12使工具设定反映并进行储存。

另一方面，如果使用者选择不反映工具设定的结果，则虽然图24中未图示，但是控制部111例如再次进行[1B]工具设定中的各种设定(步骤S41)、[2B]工具设定的处理的执行(步骤S42)。并且，至少再次进行[2B]工具设定的处理的执行(步骤S42)即可。这样，通过根据需要反复进行[2B]工具设定的处理的执行(步骤S42)等，能够提高工具设定结果的精度。

在以上说明的工具设定中，如上所述，在[1B]工具设定中的各种设定中，显示控制部114显示以与使用者的对话形式使多个(在本实施方式中是五个)工具设定画面71显示的工具设定用的画面组。并且，使用者使用多个工具设定画面71对控制系统10进行各种设定的指示。由此，使用者能够按照规定的顺序以对话形式选择设定内容(信息)，因此，无需复杂的操作就能够简单并且轻易地完成工具设定中的各种设定。因此，能够节省目前那样对各种设定进行编程的劳力。并且，通过在工具设定中显示需要的设定内容，即使是初学者也能够降低产生工具设定中需要的设定内容的设定不足，在工具设定的执行中例如能够降低产生错误等。

并且，如上所述，工具设定用的画面组具有五个工具设定画面71，但是工具设定画面71的数量不限定于此。可以进一步增加其他工具设定画面，也可以省略五个工具设定画面71中的任一个。并且，显示五个工具设定画面71的顺序不限定于上述顺序，可以是任意的。但是，优选的是，在后显示的工具设定画面71的显示内容，根据在先显示的工具设定画面71的选择内容而改变。即，优选的是，在后显示的工具设定画面71的显示内容是根据在先显示的工具设定画面71的选择内容的限定的内容。因此，优选的是，在上述工具设定画面71a之后显示工具设定画面71b。并且，通过以如上述说明的顺序显示上述五个工具设定画面71，由于使用者特别容易掌握设定内容，因此能够提高对于使用者的便利性。

接着，对上述操作程序中的校准以及该校准中的显示处理进行说明。

<校准制作以及显示处理>

图28以及图29分别是示出图9中示出的校准的流程的流程图。图30-图37分别是图1中示出的显示装置上显示的校准制作画面。图38是图1中示出的显示装置上显示的示教用的画面。图39是示出在图18中示出的子窗口中显示属性设定窗口的状态的图。图40以及图41是示出在图18中示出的子窗口中显示示教的流程的状态的图。图42是示出在图18中示出的子窗口中显示校准执行按钮的状态的图。图43是在图29中示出的步骤S545中显示装置上显示的画面。

以下，参照图28以及图29中示出的流程图对上述操作程序的制作中的校准(步骤S122、S127)进行说明。校准主要具有[1C]校准中的各种设定(步骤S51)、[2C]照相机点的示教(步骤S52)、[3C]校准的执行(步骤S53(未图示))、[4C]校准结果的反映(步骤S54)。在这里，如上所述，校准的意思是包含校准中的各种设定(包含显示处理)即校准制作、照相机点或基准点的示教、校准的执行、以及通过反映校准结果而将拍摄部3的坐标系(图像坐标系)和机器人坐标系对应。

[1C]校准中的各种设定(步骤S51)

首先，控制系统10基于使用者的操作指示，执行校准中的各种设定，即校准的制作。

具体来说，首先，如果使用者对图17中示出的主窗口50的校准制作用图标703进行操作指示，则输入控制部115收到该操作指示(校准的制作开始的指示)(图28：步骤S511)。由此，控制部111开始以与使用者的对话形式使多个(在本实施方式中是十个)校准制作画面73(指示画面)显示的校准制作用的画面组的显示处理，对显示控制部114发出图30中示出的第一个校准制作画面73a(校准制作画面73)的输出指示(图28：步骤S512)。由此，显示控制部114使第一个校准制作画面73a显示于显示装置41。

(第一个校准制作画面)

如图30所示，第一个校准制作画面73a是用于选择以后设定的校准名的设定、以及成为校准的对象的拍摄部3的种类的画面。在本实施方式中，校准制作画面73a具有用于选择校准名的下拉目录7311、用于选择拍摄部3的下拉目录7312、用于选择复制源的校准的下拉目录7313。

在保存有已经设定的校准的情况下，通过使用下拉目录7313，能够将复制源的校准的设定进行复制。由此，在校准制作画面73a以后显示的多个校准制作画面73中显示有复制源的校准的设定内容。因此，在使用者想要略微修正已经设定的校准的各种内容而制作新的校准的情况下，通过指定复制源的校准，能够简单地进行修正。

并且，校准制作画面73a与上述局部设定画面72a同样具有显示“取消”的按钮7301、显示“返回”的按钮7302、显示“下一步”的按钮7303、显示“完成”的按钮7204。

对于这样的校准制作画面73a，如果使用者进行校准名的输入等操作指示，并对按钮7303进行操作指示，则输入控制部115收到校准名的输入等(图28：步骤S513)。由此，控制部111使校准名等储存于储存部113，对显示控制部114发出图31或者图32中示出的第二个校准制作画面的输出指示(图28：步骤S514)。收到该输出指示，显示控制部114使第二个校准制作画面73b(校准制作画面73)显示于显示装置41。

(第二个校准制作画面)

如图31或者图32所示，第二个校准制作画面73b是用于选择独立照相机或者自动照相机的画面，具有接收独立照相机以及自动照相机中的任一方的选择的两个单选按钮7321。“独立照相机的选择”是进行将真实空间中的坐标系和拍摄部3的坐标系(图像坐标系)对应的校准。“自动照相机的选择”是执行将拍摄部3的坐标系(图像坐标系)和机器人2的坐标系对应的校准。

并且，校准制作画面73b具有用于从多个机器人2的种类选择一个机器人2的下拉目录7322、接收拍摄部3的安装部位的选择的组7323(区域)。在这里，在本说明书中，拍摄部3的安装部位包含拍摄部3所设置的设置部位、拍摄部3的拍摄方向(朝向)。

在本实施方式中，下拉目录7322的显示内容是作为垂直多关节机器人的机器人2a以及作为水平多关节机器人的机器人2b。校准制作画面73b被构成为能够选择这些机器人2a、2b中的任一个。并且，在本实施方式中，组7323被构成为具有四个单选按钮7324，并且能够接收图31或者图32中示出的四个拍摄部3的安装部位中的任意一个。由此，能够防止使用者选择两种以上的安装部位。并且，该机器人2的种类的选择以及拍摄部3的安装部位的选择在选择自动照相机的情况下使用。

在这里，第二个校准制作画面73b的显示内容根据机器人2的选择内容(种类)而改变。具体来说，第二个校准制作画面73b的组7323的安装部位根据机器人2的选择内容而改变(参照图31以及图32)。例如，如果输入控制部115收到作为垂直多关节机器人的机器人2a的选择，则显示控制部114使具有与机器人2a关联的安装部位的组7323显示于显示装置41(参照图31)。并且，例如，如果输入控制部115收到作为水平多关节机器人的机器人2b的选择，则显示控制部114使具有与机器人2b关联的安装部位的组7323显示于显示装置41(参照图32)。

例如，在上述操作程序的生成中的步骤S122中，进行作为垂直多关节机器人的机器人2a的机器人坐标系和固定照相机32的图像坐标系的校准。因此，如果输入控制部115收到机器人2a的选择，则显示控制部114在校准制作画面73b中使具有与图31中示出的机器人2a关联的安装部位的组7323显示于显示装置41。

这样，通过组7323的显示内容即拍摄部3的设置部位等信息因机器人2的种类而被限定地显示，因此能够降低使用者的选择失误。

如果使用者对这样的第二个校准制作画面73b如上所述进行选择期望的机器人2以及拍摄部3的安装部位的操作指示，并对显示“下一步”的按钮7303进行操作指示，则输入控制部115收到机器人2以及拍摄部3的设置部位的选择(图28：步骤S515)。由此，控制部111使选择的拍摄部3的设置部位储存于储存部113，对显示控制部114发出图33中示出的第三个校准制作画面73c的输出指示(图28：步骤S516)。收到该输出指示，显示控制部114使第三个校准制作画面73c显示于显示装置41。

在这里，以下以步骤S122中的校准的设定为中心进行说明。即，以与固定照相机32有关的校准为中心进行说明。因此，以下，对在上述图31的校准制作画面73b中使用者选择机器人2a并且选择向上的固定照相机32(固定向上：Fixed upward)的情况进行说明。并且，在以下说明的第三-第十个校准制作画面73中，显示根据校准制作画面73a、73b的选择内容的内容。因此，在第三-第十个校准制作画面73中，显示对应于向上的固定照相机32的内容。

(第三个校准制作画面)

如图33所示，第三个校准制作画面73c是用于选择目标序列的内容的画面。目标序列表示在校准的执行时与拍摄部3所拍摄的标记等目标有关的图像处理序列。在本实施方式中，校准制作画面73c具有用于从多个目标序列的种类选择一个目标序列的下拉目录733。

下拉目录733的显示内容根据第一个校准制作画面73a的拍摄部3的种类(选择)而改变。例如，如果输入控制部115在第一个校准制作画面73a中收到固定照相机32的选择，则显示控制部114使具有与固定照相机32关联的显示内容的下拉目录733的校准制作画面73c显示于显示装置41。并且，在第一个校准制作画面73a中选择移动照相机31的情况下，在下拉目录733中显示与移动照相机31关联的内容。这样，由于在后显示的校准制作画面73c的下拉目录733的显示内容是与在先显示的校准制作画面73a中的选择对应的限定的内容，因此能够降低使用者的选择失误。

如果使用者对这样的校准制作画面73c进行选择目标序列的操作指示，并对显示“下一步”的按钮7303进行操作指示，则输入控制部115收到目标序列的选择(图28：步骤S517)。由此，控制部111使选择的目标序列储存于储存部113。并且，此时，控制部111将选择的目标序列和现在设定的校准关联并储存于储存部113。并且，控制部111对显示控制部114发出图34中示出的第四个校准制作画面73d(校准制作画面73)的输出指示(图28：步骤S518)。收到该输出指示，显示控制部114使第四个校准制作画面73d显示于显示装置41。

(第四个校准制作画面)

如图34所示，第四个校准制作画面73d是用于选择校准中与图像坐标对应的局部坐标系(机器人局部)的画面。在本实施方式中，校准制作画面73d具有用于选择局部设定的保存编号的下拉目录7342、局部向导按钮7341。

在下拉目录7342中显示已经设定的局部设定的保存编号、以后设定并保存的局部设定的保存编号(未设定的局部设定的保存编号)。并且，局部向导按钮7341用于使具有上述多个局部设定画面72的局部设定用的画面组起动。

对于这样的校准制作画面73d，例如，如果使用者不对局部向导按钮7341进行操作指示，而是进行从下拉目录7342选择设定完成的局部设定的保存编号的操作指示，并对显示“下一步”的按钮7303进行操作指示，则输入控制部115收到局部设定的保存编号的选择(图28：步骤S519)。由此，控制部111判断为未进行局部设定(图28：步骤S520)，使选择的局部坐标系储存于储存部113，对显示控制部114发出图35中示出的第五个校准制作画面73e(校准制作画面73)的输出指示(图28：步骤S522)。收到该输出指示，显示控制部114使第五个校准制作画面73e显示于显示装置41。

另一方面，对于这样的校准制作画面73d，如果使用者从下拉目录7342选择未设定的局部设定的保存编号，对局部向导按钮7341进行操作指示，则输入控制部115收到该使用者的操作指示(图28：步骤S519)。由此，控制部111判断为进行局部设定(图28：步骤S520)，转换至上述局部设定，使具有多个局部设定画面72的局部设定用的画面组起动(图28：步骤S521)。接着，上述局部设定结束之后，如果输入控制部115收到使用者对校准制作画面73d的显示“下一步”的按钮7303的操作指示，则控制部111使设定的局部设定储存于储存部113，对显示控制部114发出图35中示出的第五个校准制作画面73e的输出指示(图28：步骤S522)。

(第五个校准制作画面)

如图35所示，第五个校准制作画面73e是接收校准的执行时使用的基准点的取得类型的设定(选择)的画面。在向上照相机(固定照相机32)的校准的情况下，能够仅选择末端执行器作为基准点的取得类型。即，在向上校准中，将附于末端执行器的标记等目标的局部坐标(机器人坐标)、检测该目标的图像坐标对应。校准制作画面73e是接收将附于末端执行器的目标的机器人2a的前端轴坐标中的偏移进行保持的工具设定(机器人工具)的设定的画面。

校准制作画面73e具有接收末端执行器的选择的单选按钮7353、用于选择工具设定的保存编号的下拉目录7352、工具向导按钮7351、接收使用两个基准点的复选框7354。

单选按钮7353在进行与固定照相机32有关的校准的情况下显示。并且，在下拉目录7352中显示已经设定的工具设定的保存编号、以后设定并保存的工具设定的保存编号(未设定的工具设定的保存编号)。在本实施方式中，不限于设置在作为末端执行器的手部270的目标，例如能够将附于手部270所把持的工件的目标设定为基准点。在下拉目录7352中，选择将成为目标的基准点的机器人2a的前端轴坐标中的偏移进行保持的工具设定的保存编号。并且，在成为上述目标的基准点的工具设定尚未设定的情况下，工具向导按钮7351用于将具有上述多个工具设定画面71的工具设定用的画面组起动并进行工具设定。

对于这样的校准制作画面73e，例如，如果使用者不对工件向导按钮7351进行操作指示，而是进行从下拉目录7352选择设定完成的基准点的取得类型(末端执行器和工具设定的保存编号)的操作指示，并对显示“下一步”的按钮7303进行操作指示，则输入控制部115收到基准点的取得类型(末端执行器和工具设定的保存编号)的选择(图28：步骤S523)。由此，控制部111判断为未进行工件设定(图28：步骤S524)，使选择的工具设定储存于储存部113，对显示控制部114发出图36中示出的第六个校准制作画面73f(校准制作画面73)的输出指示(图28：步骤S526)。收到该输出指示，显示控制部114使第六个校准制作画面73f显示于显示装置41。

另一方面，对于这样的校准制作画面73e，如果使用者从下拉目录7352选择未设定的工具设定的保存编号，对工具向导按钮7351进行操作指示，则输入控制部115收到该使用者的操作指示(图28：步骤S523)。由此，控制部111判断为进行工具设定(图28：步骤S524)，转换至上述工具设定，使具有多个工具设定画面71的工具设定用的画面组起动(图28：步骤S525)。接着，上述工具设定结束之后，如果输入控制部115收到使用者对校准制作画面73e的显示“下一步”的按钮7303的操作指示，则控制部111使设定的工具设定储存于储存部113，对显示控制部114发出图36中示出的第六个校准制作画面73f的输出指示(图28：步骤S526)。

(第六个校准制作画面)

如图36所示，第六个校准制作画面73f是用于选择是否进行照相机点的自动生成的画面，具有复选框736。照相机点是拍摄图像内的点，是校准执行时使目标(基准点)或者拍摄部3位于的点。该照相机点的数量没有特别限定，优选是三个以上，在本实施方式中设定九个。

对于这样的校准制作画面73f，如果使用者在复选框736中加入复选，并对显示“下一步”的按钮7303进行操作指示，则输入控制部115收到进行照相机点的自动生成的选择(图28：步骤S527)。另一方面，如果使用者不在复选框736中加入复选，并对显示“下一步”的按钮7303进行操作指示，则输入控制部115收到不进行照相机点的自动生成的选择(图28：步骤S527)。并且，控制部111使照相机点的自动生成的有无储存于储存部113，对显示控制部114发出第七个校准制作画面(未图示)的输出指示(图28：步骤S528)。收到该输出指示，显示控制部114使第七个校准制作画面显示于显示装置41。

(第七个校准制作画面)

第七个校准制作画面虽未图示，但是为是否进行拍摄部3的透镜的畸变修正的选择、以及用于设定进行畸变修正的情况下的图像处理序列的画面。并且，该第七个校准制作画面除了选择内容(设定内容)不同以外，是与第一个校准制作画面73a大致同样的构成。

对于这样的第七个校准制作画面(未图示)，如果使用者选择透镜的畸变修正的有无，在进行畸变修正的情况下选择图像处理序列，并对显示“下一步”的按钮7303进行操作指示，则输入控制部115收到透镜的畸变修正的有无(图28：步骤S529)。控制部111使透镜的畸变修正的有无储存于储存部113，对显示控制部114发出第八个校准制作画面(未图示)的输出指示(图28：步骤S530)。收到该输出指示，显示控制部114使第八个校准制作画面显示于显示装置41。

(第八个校准制作画面)

第八个校准制作画面虽未图示，但是为用于设定执行校准时的照明的画面。第八个校准制作画面例如能够设定直到照明接通的待机时间和接通照明的输出位等。并且，该第八个校准制作画面除了选择内容(设定内容)不同以外，是与第一个校准制作画面73a大致同样的构成。

对于这样的第八个校准制作画面(未图示)，如果设定照明，并对显示“下一步”的按钮7303进行操作指示，则输入控制部115收到照明的设定(图28：步骤S531)。控制部111使照明的设定储存于储存部113，对显示控制部114发出图37中示出的第九个校准制作画面73g(校准制作画面73)的输出指示(图29：步骤S532)。收到该输出指示，显示控制部114使第九个校准制作画面显示于显示装置41。

(第九个校准制作画面)

如图37所示，第九个校准制作画面73g是用于选择与校准中的机器人动作有关的各种参数的内容的画面。在本实施方式中，如图37所示，校准制作画面73g被构成为选择机器人速度(机器人2的规定的部位的移动速度)、机器人加速度(机器人2的规定的部位的移动加速度)、以及运动延迟(机器人2的规定的部位停止之后在几秒后进行拍摄)这三个参数的各内容。具体来说，校准制作画面73g具有多个用于输入与参数有关的内容(信息)的文本框7371。并且，参数不限定于上述三个参数，可以进一步增加其他参数，也可以省略上述参数中的任一个。

并且，校准制作画面73g具有选择接近点的使用的有无的复选框7372、示教按钮7373。接近点是校准的执行时成为照相机点的移动的基点的部位。通过使用接近点，在校准执行时，使机器人2的规定的部位总是从接近点向照相机点移动。因此，能够提高机器人2在照相机点的位置的稳定性，结果，能够更加提高校准结果的精度。

对于这样的校准制作画面73g，例如，如果使用者在复选框7372中加入复选，并对示教按钮7373进行操作指示，则输入控制部115收到该使用者的操作指示。由此，控制部111判断为进行接近点的设定(图29：步骤S533)，对显示控制部114发出用于设定接近点的画面730的输出指示(图29：步骤S534)。由此，显示控制部114使画面730弹出显示于显示装置41。

如果使用者使用收到这样的画面730以及点动动作的操作指示的画面(未图示)来进行接近点的设定，并对画面730的确认按钮7305进行操作指示，则输入控制部115收到接近点的设定(图29：步骤S335)。由此，控制部111使接近点储存于储存部113，对显示控制部114发出使画面730消除的指示，显示控制部114使画面730从显示装置41消除。

接着，如果使用者对图37中示出的校准制作画面73g的显示“下一步”的按钮7303进行操作指示，则输入控制部115收到该操作指示。由此，控制部111对显示控制部114发出第十个校准制作画面(未图示)的输出指示(图29：步骤S536)。收到该输出指示，显示控制部114使第十个校准制作画面显示于显示装置41。

并且，对于校准制作画面73g，如果使用者不在复选框7372中加入复选，并对显示“下一步”的按钮7303进行操作指示，则输入控制部115收到该使用者的操作指示。由此，控制部111判断为不进行接近点的设定(图29：步骤S533)，对显示控制部114发出第十个校准制作画面(未图示)的输出指示(图29：步骤S536)。

(第十个校准制作画面)

第十个校准制作画面虽未图示，但是为罗列第一-第九个校准制作画面中设定的内容的画面。并且，该第十个校准制作画面除了选择内容(设定内容)不同以外，是与第一个校准制作画面73a大致同样的构成。通过识别这样的第十个校准制作画面，使用者能够一眼(一目了然地)识别校准的设定内容。

并且，第十个校准制作画面与第一个校准制作画面73a同样，具有与按钮7301-7304对应的按钮。因此，如果输入控制部115收到对显示“返回”的按钮的操作指示，则控制部111重新进行再次设定。并且，如果输入控制部115收到对显示“取消”的按钮的操作指示，则控制部111放弃设定的校准。并且，如果输入控制部115收到对显示“完成”的按钮的操作指示，则控制部115使通过使用第一-第十个校准制作画面的显示处理而设定的校准储存于储存部113。

并且，如果输入控制部115收到对显示“取消”的按钮或者显示“完成”的按钮的操作指示，则控制部111结束校准制作用的画面组的显示处理，对显示控制部114发出使校准制作画面73从显示装置41消除的指示。由此，显示控制部114使校准制作画面73从显示装置41消除。

以上，利用校准的显示处理进行的校准的各种设定(校准的制作)完成。

[2C]照相机点的示教(步骤S52)

接着，控制系统10执行多个照相机点的示教。

如上所述，如果输入控制部115收到使用者对显示“完成”的按钮的操作指示(图29：步骤S537)，则控制部111对显示控制部114发出使校准制作画面73从显示装置41消除的指示，同时，发出具有属性设定窗口60的子窗口61的输出指示(图29：步骤S538)。由此，显示控制部114使具有属性设定窗口60的子窗口61显示于显示装置41。

(子窗口)

如果校准的各种设定完成，则在子窗口61中显示属性设定窗口60、示教按钮6151、图像影像显示部612。并且，在图39中示出的图像影像显示部612中呈现工件93的一例(图40-图42也同样)。

属性设定窗口60具有阅览部63、目录57(属性目录)。

阅览部63是将制作的校准设定(校准名)和通过后述的显示处理而制作的图像处理序列(图像处理序列名)一起显示的区域。在本实施方式中，阅览部63的显示方式是将校准设定以及图像处理序列设定分别分层显示的树状(树形)显示。由此，使用者容易一眼掌握多个校准设定、多个图像处理序列。因此，容易选择期望的校准设定和图像处理序列。并且，阅览部63的显示方式不限定于此，例如可以是分别并列地列举校准设定以及图像处理序列设定的目录显示等。

并且，目录57是显示在阅览部63选择的校准设定和图像处理序列的各种设定内容的区域。该属性目录被构成为接收使用者的操作指示(输入)。因此，使用者能够使用该属性目录来设定(变更)校准设定的详细的设定内容。

对于这样的子窗口61，如果使用者对示教按钮6151进行操作指示，则输入控制部115收到该操作指示(示教的执行指示)(图29：步骤S539)。由此，控制部111对机器人控制装置12以及图像处理装置13发出进行一个或者多个照相机点、基准点的示教的执行指示(图29：步骤S540)。并且，控制部111对显示控制部114发出示教组616的输出指示。由此，显示控制部114使具有图40或者图41中示出的示教组616的子窗口61显示于显示装置41。

例如，在计算机11在上述步骤S527中收到进行照相机点的自动生成的选择的情况下，对机器人控制装置12以及图像处理装置13发出对一个照相机点进行示教的执行指示。并且，在该情况下，控制部111对显示控制部114发出使流程图660a(流程图660)以及点动面板54显示的输出指示(参照图40)。由此，在子窗口61的流程图显示部62上显示设定一个照相机点的流程图660a(参照图40)。接着，对于图40中示出的子窗口61，如果使用者对示教组616所具有的各种按钮以及点动面板54所具有的各种按钮等进行操作指示，则计算机11收到该使用者的操作指示。并且，机器人控制装置12以及图像处理装置13使拍摄部3以及机器人2驱动，例如使附于手部270把持的工件的目标位于图40中示出的图像影像显示部612的中心(照相机点)。

另一方面，在计算机11在上述步骤S527中收到不进行照相机点的自动生成的选择的情况下，对机器人控制装置12以及图像处理装置13发出对固定的全部照相机点(在本实施方式中为九个照相机点)进行示教的执行指示。并且，在该情况下，控制部111对显示控制部114发出使流程图660b(流程图660)以及点动面板54显示的输出指示(参照图41)。由此，在子窗口61的流程图显示部62上显示设定九个照相机点的流程图660b(参照图41)。接着，对于图41中示出的子窗口61，如果使用者对示教组616所具有的各种按钮以及点动面板54所具有的各种按钮等进行操作指示，则计算机11收到该使用者的操作指示。并且，机器人控制装置12以及图像处理装置13使拍摄部3以及机器人2驱动，例如使附于手部270把持的工件的目标位于图41中示出的图像影像显示部612内的规定的九个部位(照相机点)。

在这里，流程图660a、660b分别示出示教的处理的流程，示出选择先头的流程661的校准设定(校准名)。并且，从图中上方第二行以下的流程662示出所选择的校准设定中包含的示教步骤。

并且，例如，如图41所示，示教完成的流程662a(流程662)的显示样式和示教尚未完成的流程662b(流程662)的显示样式不同。在本实施方式中，在流程662a和流程662b变更背景色。由此，使用者能够一眼辨别示教完成的基准点、示教尚未完成的基准点。

如果流程图660a或者流程图660b所具有的全部流程662的示教完成，即全部基准点的示教完成，控制部111对显示控制部114发出图42中示出的校准执行按钮6152的显示的输出命令(图29：步骤S541)。由此，通过显示控制部114使校准执行按钮6152显示于子窗口61(参照图42)。

接着，如果使用者对校准执行按钮6152进行操作指示，则输入控制部115收到该操作指示(校准的执行指示)(图29：步骤S542)。由此，控制部111对机器人控制装置12以及图像处理装置13发出校准的执行指示。

以上，照相机点的校准完成。

[3C]校准的执行(步骤S53)

接着，控制系统10执行校准。

具体来说，机器人控制装置12以及图像处理装置13基于步骤S543中来自控制部11的执行指示来执行校准。

首先，机器人控制装置12如果收到执行指示，则从机器人2a取得机器人2a的状态。接着，机器人控制装置12对机器人2a发出移动指示，使目标位于第一个照相机点。此时，机器人2a对机器人控制装置12每次返还与机器人臂部20的移动有关的信息(位置传感器的值)等。接着，机器人控制装置12对图像处理装置13发出图像处理序列的执行指示。图像处理装置13收到该执行指示，利用固定照相机32(拍摄部3)来检测目标(例如标记)，执行图像处理序列。图像处理装置13执行图像处理序列，基于固定照相机32拍摄目标而得到的拍摄图像(图像数据)进行图像处理。接着，如果图像处理结束，图像处理装置13将图像处理序列的执行结果(目标的检测结果)发送至机器人控制装置12。由此，机器人控制装置12取得第一个照相机点的图像处理序列的执行结果。接着，关于剩下的第二个到第九个照相机点，机器人控制装置12进行与直至取得上述第一个照相机点的图像处理序列的执行结果的一系列的处理同样的处理。接着，机器人控制装置12基于第一个到第九个基准点的图像处理序列的执行结果、第一个到第九个照相机点的目标的局部坐标(机器人坐标)，算出将固定照相机32(拍摄部3)的图像坐标系和机器人2a(机器人2)的局部坐标(机器人坐标)对应的校准结果。并且，机器人控制装置12将算出的校准结果发送至计算机11。并且，如上所述，关于校准的执行内容等，具体的方法没有特别限定。在储存部113中对于每种设定储存处理(程序)，控制部111执行对应于所选择的设定的处理(程序)。

以上，校准的执行完成。

[4C]校准结果的反映(步骤S54)

接着，控制系统10执行校准结果的反映以及设定。

具体来说，首先，如果计算机11的通信部116收到校准结果(图29：步骤S544)，则控制部111对显示控制部114发出显示校准结果的画面68的输出指示(图29：步骤S545)。由此，显示控制部114使画面68显示于显示装置41。

画面68具有显示上次的校准结果的区域681、显示此次的校准结果的区域682、确认按钮683、取消按钮684。通过具有确认按钮683以及取消按钮684，在想要反映校准结果的情况下，使用者能够选择确认按钮683，在不想反映校准结果的情况下，使用者能够选择取消按钮684。这样，画面68被构成为使用者能够选择是否使校准结果反映。并且，通过具有区域681、682，使用者能够一边比较上次的校准结果的内容，一边选择是否使此次的校准结果反映。

对于这样的画面68，如果输入控制部115收到使用者使校准结果反映的选择，即对确认按钮683的操作指示(图29：步骤S546)，则控制部111对机器人控制装置12发出使校准结果反映并进行储存的指示(图29：步骤S547)。收到该指示，计算机11使校准结果反映并进行储存。并且，也可以是机器人控制装置12使校准结果反映并进行储存。

另一方面，如果使用者选择不反映校准结果，则虽然图29中未图示，但是控制部111例如再次进行[1C]校准中的各种设定(步骤S51)、[2C]照相机点的示教(步骤S52)、[3C]校准的执行(步骤S53)。并且，至少再次进行[3C]校准的执行(步骤S53)即可。这样，通过根据需要反复进行[3C]校准的执行(步骤S53)等，能够提高校准结果的精度。并且，如上所述，由于使用者能够使用画面68来比较上次的校准结果和此次的校准结果，因此能够简单地进行是否反映的判断。

如以上说明，在[1C]校准中的各种设定中，显示控制部114使引导进行校准的信息的输入的作为“校准用引导画面”的校准制作画面73显示于作为“显示部”的显示装置41。由此，使用者通过按照显示于校准制作画面73的内容来选择信息(设定内容)，无需复杂的操作就能够简单并且轻易地完成校准的设定。因此，即使是初学者也能够容易地进行校准的设定。

并且，如上所述，本实施方式的控制系统10具有接收输入的作为“接收部”的输入装置42。并且，显示控制部114基于输入装置42接收到的输入，使多个作为“校准用引导画面”的校准制作画面73依次显示于作为“显示部”的显示装置41。在本实施方式中，显示控制部114显示以与使用者的对话形式使多个(在本实施方式中是十个)局部设定画面72显示的局部设定用的画面组。由此，使用者能够按照依次显示的校准制作画面73(向导画面)以对话形式(向导形式)选择信息(设定内容)。这样，由于使用者能够按照规定的顺序以对话形式选择设定内容，因此，无需复杂的操作就能够简单并且轻易地完成校准的设定。因此，能够降低产生输入错误或输入不足等。并且，能够节省目前那样对各种设定进行编程的劳力。并且，通过在校准制作中仅限定地显示需要的设定内容，即使是初学者也能够降低产生校准制作中需要的设定内容的设定不足。因此，在校准的执行中例如能够降低产生错误等。

并且，如上所述，校准制作用的画面组具有十个校准制作画面73，但是校准制作画面73的数量不限定于此。可以进一步增加其他校准制作画面，也可以省略十个校准制作画面73中的任一个。并且，显示十个校准制作画面73的顺序不限定于上述顺序，可以是任意的。但是，优选的是，在后显示的校准制作画面73的显示内容，根据在先显示的校准制作画面73的选择内容而改变。即，优选的是，在后显示的校准制作画面73的显示内容是根据在先显示的校准制作画面73的选择内容的限定的内容。特别地，通过以如上述说明的顺序显示上述十个校准制作画面73，由于使用者特别容易掌握设定内容，因此能够提高对于使用者的便利性。

在这里，如上所述，控制系统10是基于作为“输入部”的输入装置42的输入而能够控制机器人2、拍摄部3以及作为“显示部”的显示装置41的驱动的“控制装置”。并且，如上所述，控制系统10具备：显示控制部114，使用于输入控制对象即机器人2的作为“输入画面”的校准制作画面73b显示于显示装置41，使引导与输入的机器人2(例如机器人2a)对应的拍摄部3的安装位置(设置位置)的输入的作为“拍摄部输入部”的组7323(区域)显示于显示装置41；作为“校准控制部”的校准编辑部1113以及校准执行部1114，基于输入的拍摄部3的安装位置，进行将机器人2的坐标系(机器人坐标系)和拍摄部3的坐标系(图像坐标系)对应的校准。即，控制部111的校准编辑部1113以及校准执行部1114主要进行上述校准的各处理(步骤S51-S54)。

根据这样的控制系统10，在显示装置41上显示与输入(选择)的机器人2对应的拍摄部3的安装位置。即，与输入的机器人2a不对应的拍摄部3的安装位置是非显示的。例如，如上所述，在校准制作画面73b的组7323中，仅显示与使用下拉目录7322选择的机器人2对应的拍摄部3的安装位置，不对应的拍摄部3的安装位置是非显示的。由此，使用者能够简单地进行与输入的机器人2对应的拍摄部3的安装位置的选择。结果，能够简单并且适当地进行用于进行校准的各种设定。

在这里，“输入”包含“选择”。并且，在机器人2的输入中，例如，使用者可以利用键盘等输入机器人2，并且也可以选择机器人2。

特别地，如上所述，显示控制部114能够使垂直多关节机器人以及水平多关节机器人显示于作为“输入画面”的校准制作画面73b，在作为“拍摄部输入部”的组7323(区域)的显示方式中，输入作为“垂直多关节机器人”的一例的机器人2a的情况和输入作为“水平多关节机器人”的一例的机器人2b的情况不同。由此，能够简单地分别进行与机器人2a对应的拍摄部3的安装位置的选择以及与机器人2b对应的拍摄部3的安装位置的选择。并且，根据控制系统10(安装于控制系统10的应用软件)，不用准备分别对应于机器人2a以及机器人2b的控制系统(应用软件)，使用一个控制系统10(一个应用软件)就能够进行关于多种机器人2的校准，便利性优异。

并且，如上所述，显示控制部114使调出作为“局部设定用引导画面”的局部设定画面72的作为“局部设定调出部”的局部向导按钮7341显示于作为“校准用引导画面”的校准制作画面73d中，其中，作为“局部设定用引导画面”的局部设定画面72引导用于设定与机器人2的坐标系(机器人坐标系)不同的局部坐标系的信息的输入。由此，使用者通过经由局部向导按钮7341进行调出局部设定画面72的操作指示(通过点击或者触摸)，能够简单地调出局部设定画面72。因此，例如，能够节省在为了进行局部设定而取消一次校准制作画面73的设定并进行局部设定之后，从开始重新再次进行校准的设定的劳力。因此，能够大幅节省使用者的劳力。

特别地，在本实施方式中，显示控制部114基于输入控制部115收到的对局部向导按钮7341的操作指示，使多个局部设定画面72依次显示于显示装置41。由此，使用者通过按照依次显示的局部设定画面72以对话形式选择信息(设定内容)，无需复杂的操作就能够简单并且轻易地进行局部设定。

并且，如上所述，显示控制部114使调出作为“工具设定用引导画面”的工具设定画面71的作为“工具设定调出部”的工具向导按钮7351显示于作为“校准用引导画面”的校准制作画面73e中，其中，作为“工具设定用引导画面”的工具设定画面71引导用于求出安装于机器人2的工具(例如工件93)的偏移的信息(用于求出偏移的工具设定用的信息)的输入。由此，使用者通过经由工件向导按钮7351进行调出工件设定画面71的指示，能够简单地调出工件设定画面71。因此，例如，能够节省在为了进行工件设定而取消一次校准制作画面73的设定并进行工件设定之后，从开始重新再次进行校准的设定的劳力。因此，能够大幅节省使用者的劳力。

特别地，在本实施方式中，显示控制部114基于输入控制部115收到的对工件向导按钮7351的操作指示，使多个工件设定画面71依次显示于显示装置41。由此，使用者通过按照依次显示的工件设定画面71以对话形式选择信息(设定内容)，无需复杂的操作就能够简单并且轻易地进行工件设定。

并且，如上所述，显示控制部114使作为“校准点选择部”的复选框736显示于作为“校准用引导画面”的校准制作画面73f中，其中，作为“校准点选择部”的复选框736用于选择是否进行在校准中使用的作为“校准点”的照相机点的自动生成。由此，使用者能够经由复选框736简单地并且根据使用者的目的来选择是否进行照相机点的自动生成。例如，通过进行照相机点的自动生成，使用者能够减轻进行多个照相机点的设定的劳力。另一方面，在机器人臂部20被限定驱动范围的情况下，不进行照相机点的自动生成也是有效的。通过不进行照相机点的自动生成，使用者能够在机器人臂部20不与周边机器干涉的区域内进行各照相机点的设定。这样，通过校准制作画面73f具有复选框736，能够简单地进行根据使用者的目的的设定。

并且，如上所述，显示控制部114使选择是否进行接近点的自动生成的作为“接近点选择部”的复选框7372显示于作为“校准用引导画面”的校准制作画面73g中，其中，接近点成为机器人2的规定部位(例如工具中心点P)向作为“校准点”的照相机点移动的基点。由此，使用者能够通过进行经由复选框7372的操作指示，简单地并且根据使用者的目的来选择是否进行接近点的自动生成。例如，通过进行接近点的自动生成，由于机器人2总是从接近点向照相机点移动。因此，能够提高机器人2在照相机点的位置的稳定性，结果，能够更加提高校准结果的精度。另一方面，在不进行接近点的自动生成的情况下，能够更加迅速地进行校准的执行。这样，通过校准制作画面73g具有复选框7372，能够简单地进行根据使用者的目的的设定。

特别地，如上所述，处理部110具有控制作为“显示部”的显示装置41的驱动的显示控制部114，显示控制部114在对关于校准的设定内容的输入进行引导的作为“校准用引导画面”的校准制作画面73c中，调出(示出)通过图像处理序列编辑部1115编辑的多个图像处理序列。在本实施方式中，显示控制部114使编辑的(已有的)多个图像处理序列显示于校准制作画面73c的下拉目录733。由此，使用者能够经由下拉目录733从多个图像处理序列选择期望的图像处理序列。即，在使用校准制作画面73的校准的设定中，使用者能够调出编辑的已有的图像处理序列。因此，例如，在想要进行多个校准的设定的情况下，能够节省各校准的设定中进行图像处理序列的制作的劳力，因此，(0300)在每次校准的设定中能够节省每次制作图像处理序列。结果，校准的设定简便，能够大幅提高使用者的使用便利性。

并且，如上所述，在本实施方式中，即使在图39中示出的属性设定窗口60的目录57中，也能够选择(变更)期望的图像处理序列。因此，即使在进行使用多个校准制作画面73的校准制作之后，使用者也能够变更校准中的图像处理序列。

这样，控制系统10是能够控制机器人2以及拍摄部3的驱动的“控制装置”，具备处理部110，该处理部110具有：图像处理序列编辑部1115，编辑与包含拍摄部3拍摄的拍摄图像(图像数据)的图像处理的图像处理序列有关的设定内容；校准编辑部1113，编辑与将机器人2的坐标系(机器人坐标系)和拍摄部3的坐标系(图像坐标系)对应的校准有关的设定内容。处理部110能够在与校准编辑部1113进行的校准有关的设定内容的编辑(校准制作)中(时)，调出通过图像处理序列编辑部1115编辑的图像处理序列。根据这样的控制系统10，在想要进行多个校准的情况下，能够在各校准的设定中调出已有的(编辑的)图像处理序列，因此，在每次校准的设定中能够节省制作图像处理序列的劳力。因此，能够降低校准的设定所花费的时间以及劳力。并且，即使在后述的使用命令的处理中，也能够调出编辑的图像处理序列。并且，在本说明书中，“调出图像处理序列”包含显示于显示部以及在控制程序中能够执行图像处理序列。

并且，处理部110具有控制作为“显示部”的显示装置41的驱动的显示控制部114，显示控制部114使编辑与校准有关的设定内容的校准设定和编辑与图像处理序列有关的设定内容的图像处理序列设定，在同一作为“画面”的属性设定窗口60中显示于显示装置41(参照图39、图42的阅览部63)。由此，使用者能够一眼掌握已有的校准设定和已有的图像处理序列设定。

特别地，显示控制部114使校准设定以及图像处理序列设定树状显示(参照图39、图42的阅览部63)。由此，使用者能够一眼掌握已有的校准设定的种类和数量、已有的图像处理序列设定的种类和数量。

此外，显示控制部114显示相互关联的校准设定和图像处理序列设定(参照图39、图42的阅览部63)。由此，使用者容易掌握关联的校准设定以及图像处理序列设定。因此，能够根据需要容易进行校准设定以及图像处理序列设定的至少一方。

接着，对图像处理序列(视觉处理序列)的制作进行说明

<图像处理序列的制作>

图44是示出图8中示出的图像处理序列的制作中的显示处理的流程的流程图。图45是示出图1中示出的显示装置上显示的子窗口的图。图46-图50分别是示出图1中示出的显示装置上显示的目录的图。图51-图53分别是图1中示出的显示装置上显示的子窗口中的引导画面。图54以及图55分别是图1中示出的显示装置上显示的子窗口，是示出与图45不同的显示的图。

并且，以下，为了便于说明，将图45-图55中的上侧称为“上”，将下侧称为“下”。

在图像处理序列的制作中，依次执行图像处理序列的项目的输入、图像处理对象向图像处理序列的追加、图像处理序列的执行、图像处理序列的执行结果(检测结果)的反映。通过进行图像处理序列的项目的输入、图像处理对象向图像处理序列的追加，进行图像处理序列的各种设定，实现用于检测标记等目标的图像检测(图像处理)。以下，对图像处理序列的制作进行说明。

(图像处理序列的项目的输入)

当进行图像处理序列的制作时，输入图像处理序列的项目。

使用者在图17中示出的主窗口50中对图标601进行操作指示。并且，如果计算机11的输入控制部115(接收部)收到使用者对图标601的操作指示(图像处理序列制作指示)(步骤S611)，则图像处理序列编辑部1115进行子窗口61的输出命令(指示)(步骤S612)，显示控制部114在图17中示出的主窗口50中换成机器人操作用的子窗口51，使图45中示出的子窗口61显示于显示装置41(显示部)。

如图45所示，在子窗口61中，显示流程图显示部62、两个标签56、56、目录57、图像影像显示部612、用于显示图像处理序列的制作用的画面组的图标671、向导选择用的图标672、工具栏615。工具栏615由示出“检测”、“计数”、“检查”、“图像”、“读取”以及“全工具”的图标构成。

接着，在显示装置41上显示的图45中示出的子窗口61中，对图标671进行操作指示。并且，如果输入控制部115收到使用者对图标671的操作指示，则显示控制部114使对话框663显示于显示装置41。

接着，使用者在子窗口61中使用对话框663，例如，输入“序列名”、“序列中使用的照相机”、“复制源的序列”等各项目中必要的项目(进行操作指示)。关于“复制源的序列”，在复制已有的图像处理序列的情况下进行输入(指定)。

如果计算机11的输入控制部115收到使用者的操作指示，则图像处理序列编辑部1115开始图像处理序列的制作。

在该阶段，制作图像处理序列直到中途。并且，如果复制源的图像处理序列被指定，则复制源的图像处理序列的设定被复制。因此，在子窗口61、引导画面65等中，显示复制源的图像处理序列的设定内容。因此，使用者在想要制作将已经设定的图像处理序列的各种内容略微变更的图像处理序列的情况下，通过指定复制源的图像处理序列，能够简单地进行制作。

在这里，在流程图显示部62中显示流程图。在该流程图的先头(最上部)的显示部621中显示现在选择的序列。并且，在流程图的第二行的显示部622(参照图54)及其以后的显示部(未图示)中显示现在选择的图像处理序列中包含的图像处理对象。

并且，在阅览部63中，分别树状显示进行与图像处理序列有关的设定内容的编辑的图像处理序列设定、进行与校准有关的设定内容的编辑的校准设定。由此，使用者能够一眼掌握校准设定的种类和数量、图像处理序列设定的种类和数量。

并且，在阅览部63中，显示相互关联的图像处理序列设定和校准设定。并且，在本实施方式中，图像处理序列设定显示于阅览部63的上侧，校准设定显示于图像处理序列设定的下侧。

并且，在图像处理序列设定的树中，显示被编辑(设定)的全部的序列，在校准设定的树中，显示被编辑(设定)的全部的校准。

并且，如果输入控制部115收到使用者对关于图像处理序列(图像处理序列的制作)的流程图的“序列”或者树状的“序列”的操作指示，则显示控制部114使目录57(序列窗口)显示于显示装置41。在目录57中，例如，显示关于图像处理序列的属性、图像处理序列的执行结果等。并且，能够使用目录57进行关于图像处理序列的属性的设定等。

并且，如果输入控制部115收到使用者对关于图像处理序列的流程图的“对象”或者树状的“对象”的操作指示，则显示控制部114使目录57(对象窗口)显示于显示装置41。在目录57中，例如，显示关于图像处理对象的属性、执行图像处理对象或者图像处理序列时的图像处理对象的执行结果。并且，能够使用目录57进行关于图像处理对象的属性的设定等。

并且，如果输入控制部115收到使用者对关于校准的树状的操作指示，则显示控制部114使目录57(校准窗口)显示于显示装置41。在目录57中，例如，显示关于校准的设定、校准执行结果等。并且，也可以使用目录57进行校准的属性的设定等。

(图像处理对象向图像处理序列的追加)

为了指定图像处理序列中的图像处理，在图像处理序列中追加规定的图像处理对象。

在该情况下，作为追加图像处理对象的方法，具有两个方法，即，使用工具栏615的方法(第一方法)和使用对信息的输入进行引导的引导画面的方法(第二方法)，即，使用图像处理选择向导(步骤向导)的方法。

首先，对第一方法进行说明。

第一方法是使用工具栏615来追加图像处理对象的方法。

在使用第一方法的情况下，在显示装置41上显示的图45中示出的子窗口中，使用者不对图标672进行操作指示。并且，在输入控制部115没有收到使用者对图标672的操作指示的情况下，即，后述的收到使用者从工具栏615的多个工具栏项目中选择规定的工具栏项目的指示的情况下，图像处理序列编辑部1115执行第一方法。即，图像处理序列编辑部1115判断是否使用图像处理选择向导(步骤S613)，在判断为未使用图像处理选择向导的情况下，执行第一方法。

在第一方法中，首先，使用者从示出图像处理(图像检测)的种类(操作类型)的图像处理引导的菜单(工具栏615的多个工具栏项目)选择规定的图像处理的种类，接着，从该选择的图像处理的种类中的多个图像处理对象选择规定的图像处理对象(与图像处理有关的功能)。

具体来说，首先，使用者进行从子窗口61中的工具栏615的多个工具栏项目中选择规定的工具栏项目的操作。并且，如果输入控制部115收到使用者对规定的工具栏项目的操作指示(图像处理的种类的选择)(步骤S621)，则图像处理序列编辑部1115进行根据选择的种类的目录6540的输出命令(步骤S622)。显示控制部114收到该输出命令，使图46、图47、图48、图49以及图50中示出的对应的目录6540显示于显示装置41。该目录6540中列举的各项目(以字符串6542表示)是图像处理对象的具体例。

在选择“检测”的情况下，图46中示出的目录6540显示于显示装置41。并且，在选择“计数”的情况下，图47中示出的目录6540显示于显示装置41。并且，在选择“图像”的情况下，图48中示出的目录6540显示于显示装置41。并且，在选择“读取”的情况下，图49中示出的目录6540显示于显示装置41。并且，在选择“全工具”的情况下，图50中示出的目录6540显示于显示装置41。

在各目录6540中，分别示出将图标6541和字符串6542对应而成的项目。列举一例，在选择“检测”的情况下，在目录6540中例如将“几何”的字符串6542和由规定的图像构成的图标6541对应而显示。

使用者通过使用各目录6540中的必要的目录6540，选择(指定)将规定的图标6541和字符串6542对应而成的项目，进行追加与该项目对应的图像处理对象的操作。并且，如果输入控制部115收到使用者的操作指示(图像处理对象的选择)(步骤S623)，则图像处理序列编辑部1115在现在的图像处理序列中追加指定的图像处理对象。以上，图像处理序列的设定完成。并且，在追加图像处理对象的工序中，例如，进行标记680(记号)的模型创建(示教)等。

接着，对第二方法进行说明。

第二方法是使用图像处理选择向导(步骤向导)来追加图像处理对象的方法。作为图像处理(图像检测)的种类，例如列举出检测、计数、检查、读取、图像处理(图像)、全工具等。

在使用第二方法的情况下，在子窗口61中，使用者对图标672进行操作指示。并且，如果输入控制部115收到使用者对图标672的操作指示，则图像处理序列编辑部1115执行第二方法。即，图像处理序列编辑部1115判断是否使用图像处理选择向导(步骤S613)，在判断为使用图像处理选择向导的情况下，执行第二方法。

在第二方法中，首先，图像处理序列编辑部1115进行第一个引导画面的输出命令(步骤S614)，显示控制部114使图51中示出的引导画面65(窗口)显示于显示装置41的图像影像显示部612。在引导画面65中显示边框651。在该边框651中显示图像处理的种类(操作的类型)，能够利用边框651选择图像处理的种类。图像处理的种类与第一方法同样。

并且，在引导画面65的下部，具有显示“取消”的按钮6501(图标)、显示“返回(B)”的按钮6502(图标)、显示“下一步(N)＞”的按钮6503(图标)、显示“完成(F)”的按钮6504(图标)。在本实施方式中，能够对按钮6501、6502、6503、6504中的按钮6501、6503进行操作指示(选择)。

虽然使用者从多个图像处理的种类中选择规定的图像处理的种类，但是在以下，代表性地对选择“检测”的情况进行说明。

如果输入控制部115收到使用者选择“‘检测’，‘设定零件的坐标值’”的项目6511的操作指示(图像处理的种类的选择)(步骤S615)，则显示控制部114将边框651中该选择的项目6511的部分的颜色变更为与其他部分的颜色不同的颜色。

接着，如果输入控制部115收到使用者对显示“下一步(N)＞”的按钮6503的操作指示，则图像处理序列编辑部1115进行第二个引导画面的输出命令(步骤S616)，显示控制部114使图52中示出的引导画面65显示于显示装置41的图像影像显示部612。在引导画面65中显示边框652。在该边框652中显示零件检测工具的类型(图像处理对象)，能够利用边框652选择零件检测工具的类型。零件检测工具的类型与第一方法中的“检测”的目录6540的项目同样。即，各目录6540的图像处理对象分别与第二方法同样。

并且，在本实施方式中，能够对按钮6501、6502、6503、6504中的按钮6501、6502、6503进行操作指示(选择)。

虽然使用者从多个零件检测工具的类型中选择规定的零件检测工具的类型，但是在以下，代表性地对选择“几何”的情况进行说明。

如果输入控制部115收到使用者选择“‘几何’，‘使用基于边的几何学的模型来检测零件’”的项目6521的操作指示(图像处理对象的选择)(步骤S617)，则显示控制部114将边框652中该选择的项目6521的部分的颜色变更为与其他部分的颜色不同的颜色。

接着，如果输入控制部115收到使用者对显示“下一步(N)＞”的按钮6503的操作指示，则图像处理序列编辑部1115进行第三个引导画面的输出命令(步骤S618)，显示控制部114使图53中示出的引导画面65显示于显示装置41的图像影像显示部612。在引导画面65中显示设置有输入对话的窗口653。在该窗口653中能够设定新的步骤。

这样，显示控制部114基于输入控制部115收到的输入，使三个引导画面65以与使用者的对话形式依次显示于显示装置14。由此，使用者通过按照依次显示的引导画面65以对话形式选择信息(项目)，无需复杂的操作就能够简单、轻易并且迅速地进行追加图像处理对象的操作。

并且，在本实施方式中，能够对按钮6501、6502、6503、6504中的按钮6501、6502、6504进行操作指示(选择)。

使用者在“输入新的步骤的名称”的输入对话中记载规定的名称，进行指定插入场所的操作。

接着，如果输入控制部115收到使用者对显示“完成(F)”的按钮6504的操作指示(图像处理对象的追加完成指示)(步骤S619)，则图像处理序列编辑部1115在现在的图像处理序列中追加指定的图像处理对象。

如果图像处理对象向图像处理序列的追加完成，则图像处理序列编辑部1115进行追加的图像处理对象的显示的输出命令(步骤S620)，显示控制部114在显示于阅览部63的图像处理序列的树、显示于流程图显示部62的流程图中，分别显示追加的图像处理对象。

在这里，如上所述，图像处理序列至少具有一个图像处理对象。显示控制部114能够显示图像处理对象，未被示教的情况下的图像处理对象的显示样式和被示教的情况下的图像处理对象的显示样式不同。

由此，使用者能够一眼掌握图像处理对象是否被示教。以下，进行具体说明。

图像处理序列编辑部1115判断关于追加的图像处理对象是否进行示教(步骤S624)，在判断为不进行示教(未示教)的情况下，进行未示教的显示的输出命令(步骤S625)。并且，显示控制部114对追加的未示教的图像处理对象进行未示教的显示。即，使流程图的未示教的部分的显示样式与示教完成的部分不同。在本实施方式中，使“！”的图标6221显示于流程图的未示教的部分。由此，使用者能够一眼辨别未示教的图像处理对象。

并且，代替“！”的图标6221的显示，也可以在进行“！”的图标6221的显示的同时，使流程图的未示教的部分的颜色例如背景色与示教完成的部分不同。

在追加的图像处理对象未示教的情况下，即需要示教的情况下，关于追加的图像处理对象，使用者对显示“示教”的按钮614(图标)进行操作指示，进行规定的示教。

如果输入控制部115收到使用者对按钮614的操作指示，并且关于追加的未示教的图像处理对象，指示的示教完成，则图像处理序列编辑部1115追加完成的示教的内容。由此，能够执行追加的图像处理对象。以上，图像处理序列的设定完成。

并且，作为示教的一例，在“几何搜索”的情况下，列举出进行标记680的模型创建等。

图像处理序列编辑部1115在步骤S624中判断为进行示教(示教完成)的情况下，进行示教完成的显示的输出命令(步骤S626)。并且，显示控制部114对追加的未示教的图像处理对象进行示教完成的显示。在本实施方式中，将流程图中显示的“！”的图标6221消除。由此，使用者能够一眼辨别未示教的图像处理对象的示教完成。

(图像处理序列的执行)

图像处理序列(图像处理序列的制作)包含基于拍摄部3拍摄的图像来进行检查的工序。

由此，能够通过图像处理序列对拍摄部3拍摄的对象物进行检查。以下，进行具体说明。

首先，如果输入控制部115收到使用者的“图像处理序列的执行”的操作指示(图像处理序列的执行命令)(步骤S627)，首先，图像处理序列编辑部1115将图像处理序列的设定内容发送至图像处理装置13。在该情况下，机器人控制装置12可以进行中转，并且也可以不进行中转。

接着，图像处理装置13收到图像处理序列的设定内容。并且，图像处理序列执行部1311反映图像处理序列的设定内容。

接着，图像处理序列编辑部1115将使图像处理序列执行的图像处理序列执行命令发送至图像处理装置13。在该情况下，机器人控制装置12可以进行中转，并且也可以不进行中转。

接着，图像处理装置13收到图像处理序列执行命令。并且，图像处理序列执行部1311执行图像处理序列。

在该情况下，首先，通过拍摄部控制部1313来驱动拍摄部3。拍摄部3例如拍摄标记等规定的对象物，将拍摄图像的图像数据发送至图像处理装置13。接着，图像处理装置13收到图像数据。并且，图像处理部1312基于图像数据来进行规定的图像处理。

作为具体例，例如，作为对象物的一例，拍摄图54中示出的标记680(几何学的模型：图形)，进行该标记680的图像识别等各种图像处理。并且，进行使用标记680的检查的一部分或者全部。即，在图像处理序列的制作中，包含有进行使用作为对象物的一例的标记680的检查的工序(检查工序)。

在本实施方式中，在第一图像处理序列的制作的情况下，通过移动照相机31拍摄附于工件93的上面中心的标记680，进行规定的处理。作为上述处理，例如列举出检测精度的确认等。

并且，在第二图像处理序列的制作的情况下，通过固定照相机32拍摄附于工件93的下面中心的标记680，进行规定的处理。

并且，在第三图像处理序列的制作的情况下，通过固定照相机32拍摄附于工件93的下面的两个标记(未图示)，例如，将标记680以规定间隔配置两个而成的标记(对象物)，并进行规定的处理。作为上述处理，例如列举出第三图像处理序列和固定照相机的校准结果的关联、检查等。

并且，作为检查的具体例，列举出A点和B点之间的距离是否在规定阈值内的检查等。在该情况下，两个标记680相当于上述A点和B点之间的距离是否在规定阈值内的检查中的A点以及B点。在该检查中，基于固定照相机32的校准的结果和拍摄图像，计测A点和B点之间的距离，判断计测的A点和B点之间的距离是否在规定阈值内。并且，如果计测的A点和B点之间的距离在规定阈值内，则判断为“合格”，如果不在规定阈值内(如果在规定阈值外)，则判断为不合格。

(图像处理序列的执行结果(检测结果)的反映)

通信部116收到从图像处理装置13发送的图像处理序列的执行结果(检测结果)(步骤S628)，计算机11反映该图像处理序列的执行结果。

具体来说，首先，图像处理序列编辑部1115将发送图像处理序列的执行结果的图像处理序列执行结果发送命令发送至图像处理装置13。在该情况下，机器人控制装置12可以进行中转，并且也可以不进行中转。

接着，图像处理装置13将图像处理序列的执行结果发送至计算机11。在该情况下，机器人控制装置12可以进行中转，并且也可以不进行中转。

接着，计算机11通过通信部116收到图像处理序列的执行结果。并且，图像处理序列编辑部1115反映图像处理序列的执行结果。

即，图像处理序列编辑部1115进行与图像处理序列的执行结果有关的显示等输出命令(步骤S629)，显示控制部114使图像处理序列的执行结果显示于显示装置41(在在显示中反映)。并且，图像处理序列的执行结果也在属性中反映。作为图像处理序列的执行结果，例如列举出检测标记的图像坐标等。

并且，在图像处理序列的制作中，也可以设置有设定移动照相机31、固定照相机32等的畸变修正的窗口、设定拍摄时的照明条件的窗口。

接着，对使用指令的工具设定、局部设定、校准以及图像处理序列的制作等处理进行说明。

首先，对应于权利要求的范围，对概要进行简单说明，之后详细说明。

处理部110具有能够对驱动机器人2的控制程序进行编辑的控制程序编辑部1111。控制程序编辑部1111能够在控制程序中插入调出被编辑的图像处理序列的命令(在本实施方式中，指令的引数)。

由此，例如，在使机器人2进行规定的动作并进行规定的操作的控制程序中，能够调出已有的(被编辑)的图像处理序列。因此，在每次制作控制程序中能够节省制作图像处理序列的劳力。

并且，控制系统10(控制装置)的机器人控制装置12具备能够执行对机器人2进行驱动的控制程序的控制程序执行部1211。控制程序执行部1211通过能够设定与机器人2的坐标系不同的局部坐标系的指令，来执行局部坐标系的设定。

由此，能够更加迅速地进行局部坐标系的设定。并且，在定期地反复执行校准，并在执行校准之后，基于该执行结果反复多次进行对包含局部坐标系的设定等的校准的各种设定进行修正的情况下，使用指令特别有效。能够容易并且迅速地进行基于执行结果的修正。

并且，控制程序执行部1211通过求出安装于机器人2的工具的偏移的能够工具设定的指令的一例即“指令VDefTool”，来执行该工具设定。

由此，能够更加迅速地进行工具设定。并且，在定期地反复执行校准，并在执行校准之后，基于该执行结果反复多次进行对包含工具设定等的校准的各种设定进行修正的情况下，使用指令特别有效。能够容易并且迅速地进行基于执行结果的修正。以下，进行具体说明。

<使用指令的处理>

代替上述使用各种操作画面的显示处理，控制系统10能够进行使用指令的处理。

指令包含用于执行目的的处理的动作命令。例如，作为指令，列举出使用图像处理序列的执行结果进行工具设定(算出偏移)的工具设定用的处理指令、使用图像处理序列的执行结果进行局部设定的局部设定用的处理指令、使用图像处理序列的执行结果进行校准的校准用的处理指令、使用图像处理序列的执行结果来驱动机器人臂部20以将拍摄部3的拍摄图像内的例如目标向规定的位置移动的指令等。

并且，指令例如具有指定参数的引数。

并且，以下，代表性地以工具设定为例进行说明，但是关于局部设定、校准以及图像处理序列的制作也能够同样地进行。

(程序制作、输入)

使用者使用指令来制作程序，使用输入装置42而输入至计算机11(一边制作一边输入)。计算机11的输入控制部115(接收部)收到从输入装置42输入的程序，储存于储存部113。并且，在程序的制作中，包含重新制作程序的情况、改写已有的程序并追加的情况。

程序的一例如下。并且，该程序进行与上述工具设定同样的设定。

Function Main

Reset

Motor On

VDefTool 1，VISION_DEFTOOL_FIXEDNOCAL，TestVisSeq，180，5

Fend

上述程序的“VDefTool 1，VISION_DEFTOOL_FIXEDNOCAL，TestVisSeq，180，5”是指令(各引数是一例)。

在指令中，“VDefTool”是指令名。

并且，作为指令VDefTool中的引数(引数名)，例如列举出与上述工具设定中的第一个工具设定画面71a、第二个工具设定画面(未图示)、第三个工具设定画面71c、第四个工具设定画面(未图示)、第五个工具设定画面71c中能够设定的参数同样的参数等。作为具体例，例如列举出“工具编号”、“工具缺省类型”、“序列”、“[最终角度]”、“[初始角度]”、“[目标公差]”等。

“工具编号”是保存工具设定结果的保存编号(工具编号)。作为具体例，是1-15。

并且，“工具缺省类型”是工具类型。具体例如下。

VISION_DEFTOOL_FIXEDNOCAL：使用不进行校准的固定照相机，进行工具设定。

VISION_DEFTOOL_J4CAM：算出设置于第四臂部的移动照相机的图像中心。

VISION_DEFTOOL_J6CAM：算出设置于第六臂部的移动照相机的图像中心。

并且，“序列”是用于检测工具(对象)的图像处理序列。

并且，“最终角度”是旋转工具/照相机工具的角度(最终旋转角度)。

并且，“初始角度”是旋转临时设定时的工具/照相机工具的角度(最终旋转角度)。

并且，“目标公差”是图像处理序列的执行结果(检测结果)与对象位置视为一致的像素距离(目标的允许量)。

(将方案生成、发送)

生成制作的程序(方案)，变换(编译)为能够被机器人控制装置12理解的语言(数据列)。

在该情况下，首先，如果输入控制部115收到使用者的“生成”的操作指示，则计算机11的控制程序生成部1112生成程序，编译为能够被机器人控制装置12理解的语言。

接着，计算机11将编译的程序发送至机器人控制装置12。机器人控制装置12收到从计算机11发送的程序，储存于储存部123。

并且，计算机11将图像处理检测设定等必要的各信息发送至图像处理装置13。在该情况下，机器人控制装置12可以进行中转，并且也可以不进行中转。图像处理装置13收到从计算机11发送的图像处理检测设定，储存于储存部133。

(工具设定的处理的执行(程序的执行))

在使用者在机器人视觉系统100中进行工具设定的处理的情况下，对显示装置41上显示的规定的图标(未图示)进行操作指示。

如果输入控制部115收到使用者的“程序的主函数的选择、执行开始”的操作指示(工具设定的处理的执行命令)，首先，计算机11将程序的执行处理的命令发送至机器人控制装置12。

接着，图像处理装置13收到程序的执行处理的命令(指示)。并且，图像处理装置13的控制程序执行部1211开始程序的主函数的执行处理。并且，如果控制程序执行部1211发现指令VDefTool的执行处理，则与指令VDefTool的引数一起将指令VDefTool的执行处理的命令(工具设定的处理的执行命令)发送至计算机11。

接着，计算机11收到指令VDefTool的执行处理的命令，执行(开始)指令VDefTool的执行处理，即工具设定的处理。并且，工具设定的处理的执行与上述[2B]同样，因此省略其说明。并且，工具设定结果的反映与上述[3B]同样，因此省略其说明。

通过使用这样的指令，能够容易并且迅速地执行工具设定等各处理。

在上述使用工具设定画面的工具设定中，在执行工具设定的处理的情况下，每次使五个工具设定画面依次显示于显示装置41，进行工具设定中的各种设定，之后能够执行工具设定的处理，因此，每次准备需要时间以及劳力。对此，通过使用指令，一次设定指令的引数的话，下次之后就不需要该设定，因此，能够容易并且迅速地执行工具设定的处理。

并且，例如，在执行工具设定的处理之后，在执行校准的情况下，通过使用指令，能够连续自动地执行工具设定的处理和校准，便利性高。

并且，在变更工具设定中的各种设定的情况下，通过进行将指令的对应的引数部分变更的简单的操作，能够变更各种设定。

以上，以工具设定为例进行说明，但是关于局部设定、校准以及图像处理序列的制作也能够分别同样地通过指令来执行。

例如，在局部设定中，制作能够设定与机器人2的坐标系不同的局部坐标系的指令。并且，控制程序执行部1211通过该指令来执行局部坐标系的设定。并且，局部坐标系的设定(局部设定的处理的执行)与上述[2A]同样，因此省略其说明。并且，局部设定结果的反映与上述[3A]同样，因此分别省略其说明。

以上说明的机器人视觉系统100具备作为“控制装置”的控制系统10、被控制系统10控制的机器人2以及拍摄部3。根据这样的机器人视觉系统100，通过具备上述控制系统10，基于来自拍摄部3的拍摄图像(图像数据)，机器人2能够可靠地进行涉及校准的动作。因此，能够提高校准的精度。结果，能够提高机器人2的操作的精度。

并且，机器人2被作为“控制装置”的控制系统10控制。因此，在控制系统10的控制下，机器人2能够可靠地进行涉及校准的动作。

以上，基于图示的实施方式对本发明的控制装置、机器人以及机器人系统进行说明，但是本发明不限定于此，各部的构成能够置换为具有同样功能的任意构成。并且，本发明中也可以附加其他任意的构成物。

Claims (12)

1.一种控制装置，其特征在于，能基于输入部的输入来控制机器人、拍摄部以及显示部的驱动，所述控制装置具备：

显示控制部，使用于输入作为控制对象的机器人的输入画面显示于所述显示部，并使拍摄部输入部显示于所述显示部，其中，所述拍摄部输入部对与输入的所述机器人对应的所述拍摄部的安装位置的输入进行引导；以及

校准控制部，基于输入的所述拍摄部的安装位置，进行将所述机器人的坐标系和所述拍摄部的坐标系对应的校准。

2.根据权利要求1所述的控制装置，其特征在于，

所述显示控制部使垂直多关节机器人以及水平多关节机器人显示于所述输入画面，

关于所述拍摄部输入部的显示形式，输入所述垂直多关节机器人的情况和输入所述水平多关节机器人的情况不同。

3.根据权利要求1或2所述的控制装置，其特征在于，

所述显示控制部使校准用引导画面显示于所述显示部，其中，

所述校准用引导画面对用于进行所述校准的信息的输入进行引导。

4.根据权利要求3所述的控制装置，其特征在于，

所述控制装置具有：接受输入的接受部，

所述显示控制部基于所述接受部接受的所述输入，使多个所述校准用引导画面依次显示于所述显示部。

5.根据权利要求3或4所述的控制装置，其特征在于，

所述显示控制部使用于调出局部设定用引导画面的局部设定调出部显示于所述校准用引导画面中，其中，所述局部设定用引导画面对用于设定与所述机器人的坐标系不同的局部坐标系的信息的输入进行引导。

6.根据权利要求3至5中任一项所述的控制装置，其特征在于，

所述显示控制部使用于调出工具设定用引导画面的工具设定调出部显示于所述校准用引导画面中，其中，所述工具设定用引导画面对用于求出安装于所述机器人的工具的偏移的信息的输入进行引导。

7.根据权利要求3至6中任一项所述的控制装置，其特征在于，

所述显示控制部使校准点选择部显示于所述校准用引导画面中，其中，所述校准点选择部用于选择是否进行所述校准中使用的校准点的自动生成。

8.根据权利要求3至7中任一项所述的控制装置，其特征在于，

所述显示控制部使接近点选择部显示于所述校准用引导画面中，其中，所述接近点选择部用于选择是否进行接近点的自动生成，所述接近点为所述机器人的规定部位向所述校准点的移动的基点。

9.根据权利要求1至8中任一项所述的控制装置，其特征在于，

所述控制装置具备控制程序执行部，所述控制程序执行部能执行对所述机器人进行驱动的控制程序，

所述控制程序执行部通过能设定与所述机器人的坐标系不同的局部坐标系的指令，执行该局部坐标系的设定。

10.根据权利要求1至9中任一项所述的控制装置，其特征在于，

所述控制装置具备控制程序执行部，所述控制程序执行部能执行对所述机器人进行驱动的控制程序，

所述控制程序执行部通过能进行求出安装于所述机器人的工具的偏移的工具设定的指令，执行该工具设定。

11.一种机器人，其特征在于，被权利要求1至10中任一项所述的控制装置控制。

12.一种机器人系统，其特征在于，具备：权利要求1至10中任一项所述的控制装置、以及被该控制装置控制的机器人以及拍摄部。