CN102674073A - 图像处理装置及图像处理系统和引导装置 - Google Patents

Abstract

提供一种即使是配置有通用的机械手的生产流水线也能够容易地实现输送机跟踪等处理的图像处理装置及图像处理系统和适用于这些装置及系统的引导装置。图像处理装置具有：管理单元，其对搬运装置上的工件的位置信息进行管理；取得单元，其对拍摄部拍摄得到的图像进行计测处理，从而取得与图像中的事先登记的工件相对应的区域的位置信息；更新单元，其将管理单元所管理的工件的位置信息更新为与拍摄部进行了拍摄的时刻相对应的值；决定单元，其对通过更新单元来更新后的位置信息和通过计测处理来取得的工件的位置信息进行比较，从而确定新搬运至拍摄部的拍摄范围内的工件；发送单元，其将决定单元所确定的工件的位置信息发送至控制装置。

Description

图像处理装置及图像处理系统和引导装置

技术领域

本发明涉及适用于输送机跟踪等的图像处理装置及图像处理系统和适用于这些装置及系统的引导装置。

背景技术

在工厂自动化(FA)领域中，为了节省劳力，多利用通过图像处理来控制各种工序的技术。作为这样的图像处理技术的适用例，存在如下的操作工序：利用带式输送机等搬运装置搬运工件，并利用移动机械(以下称之为“产业用机械手”，或简称为“机械手”)对搬运中的该工件进行追踪(跟踪)和把持。将这样的操作工序称为输送机跟踪等。

在该输送机跟踪技术中，利用拍摄装置对搬运装置上的工件进行拍摄，并利用图像处理装置对通过摄像得到的其图像进行图案匹配或二值化处理等计测处理，由此确定各工件的存在位置(坐标值)。然后，机械手基于所确定的各工件的该存在位置(坐标值)，对各工件进行追踪和把持。

例如，专利文献1(JP特开2002-113679号公报)中公开了如下的跟踪方法：对由搬运体搬运的多个工件进行拍摄，并基于根据该拍摄结果识别出的各工件的位置坐标，对多个工件的处理操作(handling)进行控制。更具体地讲，在专利文献1中记载的跟踪方法采用了如下方法：通过拍摄单元连续进行拍摄，并使拍摄单元的某一时间点的拍摄区域和与该拍摄区域紧接着的下一个拍摄区域以能够包括工件的全体形状的规定宽度在前进方向上重叠，而且，只对全体形状包括在拍摄区域内的工件进行位置坐标的识别。

然而，如果根据工件尺寸和拍摄区域的大小之间的关系，则有时在被重复拍摄的两个拍摄区域上会重复拍摄同一个工件。在这样的情况下，同一个工件会被重复识别。因此，每当识别出工件位置坐标时，都需要核对是否与在先识别的工件相重复。此外，以下也将这样的核对功能称为“重复排除功能”或者“重复排除”。

专利文献2(JP特开2002-283257号公报)中公开了用于防止如上所述那样同一个工件被重复识别的技术。即，专利文献2中公开了在不使装置变复杂的情况下能够防止移动物体被重复登记的移动物体的位置管理方法和适用该方法的机械手控制装置。更具体地讲，在机械手控制装置中设置用于管理位置数据的队列(queue)，在队列中登记位置数据并基于输送机的工作量逐次进行更新，而且，在将位置数据登记在队列时，对要登记的该位置数据和已登记在队列中的位置数据进行比较，在用于表示相同工件的位置数据已登记在队列中的情况下不进行登记。

现有技术文献(专利文献)

专利文献1：JP特开2002-113679号公报

专利文献2：JP特开2002-283257号公报

若采用专利文献2所公开的结构，则必须在机械手控制装置中安装用于实现重复排除功能的专用的逻辑。然而，在通用的机械手控制装置上并没有安装这样的用于实现重复排除功能的专用的逻辑。因此，根据不同用途(作为适用目标的生产流水线)而需要定制用于实现重复排除功能的程序，所以在工时及成本方面变得不利。

发明内容

于是，本发明是为了解决如上所述的课题而做出的，其目的在于，即使是配置有通用的机械手的生产流水线也能够容易地实现输送机跟踪等处理的图像处理装置及图像处理系统和适用于这些装置及系统的引导装置。

根据本发明的某一方面，提供一种与配置成能够拍摄被搬运装置搬运的工件的拍摄部相连接的图像处理装置。图像处理装置具有：管理单元，其对搬运装置上的工件的位置信息进行管理；第一接口，其接收用于表示搬运装置的搬运路径上的移动量的信号；第二接口，其用于与控制装置进行通信，该控制装置在搬运路径上配置于拍摄部的拍摄范围的下游侧，用于控制对工件进行处理操作的移动机械；取得单元，其对拍摄部拍摄得到的图像进行计测处理，从而取得与图像中的事先登记的工件相对应的区域的位置信息；更新单元，其将管理单元所管理的工件的位置信息更新为与拍摄部进行了拍摄的时刻相对应的值；决定单元，其对通过更新单元来更新后的位置信息和通过计测处理来取得的工件的位置信息进行比较，从而确定新搬运至拍摄部的拍摄范围内的工件；发送单元，其将决定单元所确定的工件的位置信息发送至控制装置。

优选地，发送单元以通过移动机械的坐标系来定义的值的形式发送工件的位置信息。

优选地，发送单元将工件的位置信息和对应的搬运路径上的移动量发送至控制装置。

优选地，管理单元将工件的位置信息和搬运路径上的移动量建立对应关系来进行管理，更新单元利用拍摄部进行了拍摄的时刻的搬运路径上的移动量和与各工件的位置信息相对应的搬运路径上的移动量之间的差分，对工件的位置信息进行校正。

优选地，图像处理装置还具有用于显示引导画面的引导单元，该引导画面用于设定参数组，该参数组用于将拍摄部的拍摄范围内的坐标值变换为移动机械的坐标系的坐标值。

优选地，拍摄部的拍摄周期设定为，在时间上连续的两个拍摄时刻的拍摄范围彼此相重叠。

优选地，在更新后的位置信息和通过计测处理来取得的工件的位置信息之间的偏差小于事先决定的值的情况下，决定单元判断为比较对象的位置信息是同一个工件的位置信息。

根据本发明的其他方面的图像处理系统具有：拍摄部，其配置为能够拍着被搬运装置搬运的工件；控制装置，其在搬运装置的搬运路径上配置于拍摄部的拍摄范围的下游侧，用于控制对工件进行处理操作的移动机械；图像处理装置，其与拍摄部及控制装置相连接。图像处理装置具有：管理单元，其对搬运装置上的工件的位置信息进行管理；第一接口，其接收用于表示搬运装置的搬运路径上的移动量的信号；第二接口，其用于与控制装置进行通信；取得单元，其对拍摄部拍摄得到的图像进行计测处理，从而取得与图像中的事先登记的工件相对应的区域的位置信息；更新单元，其将管理单元所管理的工件的位置信息更新为与拍摄部进行了拍摄的时刻相对应的值；决定单元，其对通过更新单元来更新后的位置信息和通过计测处理来取得的工件的位置信息进行比较，从而确定新搬运至拍摄部的拍摄范围内的工件；发送单元，其将决定单元所确定的工件的位置信息发送至控制装置。

根据本发明的另外的其他方面，提供一种适用于图像处理装置的引导装置，该图像处理装置与配置成能够拍摄被搬运装置搬运的工件的拍摄部相连接。图像处理装置能够与控制装置进行通信，该控制装置在搬运装置的搬运路径上配置于拍摄部的拍摄范围的下游侧，用于控制对工件进行处理操作的移动机械。引导装置具有：显示单元；第一画面显示用单元，其用于将第一画面显示在显示单元，该第一画面促使用户将包含校准用图案的薄片配置在拍摄部的视场内；第二画面显示用单元，其用于将第二画面显示在显示单元，该第二画面促使用户将薄片配置在移动机械的工作范围的上游侧并将移动机械定位至薄片中的特定的图案；第三画面显示用单元，其用于将第三画面显示在显示单元，该第三画面促使用户将薄片配置在移动机械的工作范围的下游侧并将移动机械定位至薄片中的特定的图案；接受输入单元，其分别与第一～第三画面的各画面相对应地接受对搬运装置的搬运路径上的移动量的输入动作；计算单元，其基于所输入的信息来计算参数组，该参数组用于将拍摄部的拍摄范围内的坐标值变换为移动机械的坐标系的坐标值。

如果根据本发明，则即使是配置有通用的机械手的生产流水线，也能够容易地实现输送机跟踪等处理。

附图说明

图1是表示利用了本发明实施方式的视觉传感器的输送机跟踪系统的结构的示意图。

图2是用于说明利用了本发明实施方式的视觉传感器的输送机跟踪系统的定位以及跟踪处理的图。

图3是表示利用了本发明实施方式的视觉传感器的输送机跟踪系统的硬件结构的示意图。

图4是用于说明本发明实施方式的输送机跟踪系统的重复排除功能的图。

图5是表示本发明实施方式的跟踪系统的控制动作的时序图。

图6是用于说明本发明实施方式的校准处理的图。

图7是表示通过图6所示的校准处理来得到的参数组的一例的图。

图8是用于说明本发明实施方式的校准处理的步骤的图。

图9是用于说明本发明实施方式的校准处理的步骤的图。

图10是用于说明本发明实施方式的校准处理的步骤的图。

图11是表示能够与本发明实施方式的视觉传感器相连接的操作显示装置的硬件结构的示意图。

图12是表示利用了本发明实施方式的视觉传感器的输送机跟踪系统所提供的用于用户引导处理中的画面例的图。

图13是表示利用了本发明实施方式的视觉传感器的输送机跟踪系统所提供的用于用户引导处理中的画面例的图。

图14是表示利用了本发明实施方式的视觉传感器的输送机跟踪系统所提供的用于用户引导处理中的画面例的图。

图15是表示利用了本发明实施方式的视觉传感器的输送机跟踪系统所提供的用于用户引导处理中的画面例的图。

图16是表示利用了本发明实施方式的视觉传感器的输送机跟踪系统所提供的用于用户引导处理中的画面例的图。

图17是表示利用了本发明实施方式的视觉传感器的输送机跟踪系统所提供的用于用户引导处理中的画面例的图。

图18是表示利用了本发明实施方式的视觉传感器的输送机跟踪系统所提供的用于用户引导处理中的画面例的图。

图19是表示利用了本发明实施方式的视觉传感器的输送机跟踪系统的变形例的硬件结构的示意图。

图20A～图20D是表示本发明实施方式的机械手控制装置的处理的流程图。

图21是用于说明利用了本发明实施方式的变形例的视觉传感器的输送机跟踪系统的定位以及跟踪处理的图。

图22是表示利用了本发明实施方式的变形例的视觉传感器的输送机跟踪系统的硬件结构的示意图。

图23是表示能够与本发明实施方式的视觉传感器100相连接的辅助装置的硬件结构的示意图。

具体实施方式

参照附图，对本发明实施方式进行详细说明。而且，对附图中的同一个部分或者相当部分，标注相同的附图标记并不再重复其说明。

<A.系统结构>

图1是表示利用了本发明实施方式的视觉传感器100的输送机跟踪系统的结构的示意图。图1所示的输送机跟踪系统包括两个搬运装置(输送机)10和20。输送机10和20分别借助驱动辊12和22来旋转驱动。下面，将输送机10和20分别称为流水线1和流水线2。在图1所示的例子中，流水线1向纸面右侧移动，流水线2向纸面左侧移动。工件W通过搬出装置30等从纸面左侧随机地被提供至流水线1上。该流水线1上的工件W从纸面左侧向纸面右侧移动。典型的工件W可以是点心等食品或各种片剂等。

本实施方式的视觉传感器100设置在流水线1上的规定位置。如后所述，视觉传感器100是一体构成拍摄部和图像处理部的传感器，该拍摄部用于拍摄工件等被拍摄物，该图像处理部用于处理由该拍摄部拍摄得到的图像。但是，也可以分体构成拍摄部和图像处理部。

视觉传感器100设定成其拍摄范围包括流水线1的整个宽度方向(与搬运方向相垂直的方向)。而且，视觉传感器100以规定周期进行拍摄，由此能够对在流水线1上随机流动的工件W顺次进行拍摄。视觉传感器100对顺次拍摄得到的该图像进行图案匹配等计测处理，由此对各工件进行定位及跟踪处理。这样，视觉传感器100的拍摄部(图3所示的拍摄部110)配置成能够拍摄被作为搬运装置的输送机10搬运的工件W。而且，该拍摄部与图像处理装置(图3所示的图像处理部120)相连接。

在流水线1的搬运方向上的视觉传感器100的下游侧配置有机械手300，该机械手300用于把持工件W移动至流水线2。该机械手300具有用于把持工件W的手部前端，通过使该手部前端移动至目标位置来把持流水线1上的工件。即，机械手300在作为搬运装置的输送机10(流水线1)的搬运路径上，配置于视觉传感器100的拍摄部的拍摄范围的下游侧，而且该机械手300相当于对工件W进行处理操作的移动机械。更具体地讲，机械手300将其手部前端定位于作为目标的工件W，并拾取该工件W后排列在流水线2上。

进而，机械手300配置在沿着流水线1移动的移动机构400(参照图2)上，所以能够在规定的工作范围内移动。该机械手300的工作范围也称之为跟踪范围。

关于机械手300的跟踪处理以及定位处理，利用设置于流水线1的编码器14的检测结果来进行控制。典型的该编码器14采用回转式编码器，伴随着旋转而产生脉冲信号。通过对所产生的脉冲信号的脉冲数进行计数，能够得到与输送机10(流水线1)相连结的辊子的转数，即，编码器14所产生的脉冲信号相当于表示作为搬运装置的输送机10的搬运路径上的移动量的信号，所以基于该脉冲信号，能够计算输送机10的移动量。

机械手300按照来自机械手控制装置200的指示来进行动作。即，机械手控制装置200是用于控制作为移动机械的机械手300的控制装置。机械手控制装置200经由网络NW与视觉传感器100相连接，基于由视觉传感器100检测到的各工件W的位置，对机械手300发出把持工件W的把持动作所需要的指示。

机械手控制装置200与用于对机械手300进行校准等的示教盒(teachingpendant)2100相连接。用户通过对示教盒2100进行操作，来将机械手300移动至校准等所需的位置。

网络NW除了与视觉传感器100以及机械手控制装置200相连接之外，还可以与操作显示装置500以及辅助装置600相连接。操作显示装置500显示来自视觉传感器100的处理结果和来自机械手控制装置200的机械手300的动作状态等，并响应于用户所作出的操作，向视觉传感器100以及/或者机械手控制装置200发出各种指示。

图1所示的输送机跟踪系统具有重复排除功能，以避免工件在以使拍摄范围重叠的方式进行拍摄时被重复检测。尤其是，在视觉传感器100内安装用于实现该重复排除功能的重复排除逻辑。而且，视觉传感器100在进行了重复排除处理后，将通过视觉方式检测到的工件的位置信息发送至机械手控制装置200。如果如上所述那样将重复排除逻辑安装在视觉传感器100上，那么即使使用通用的机械手控制装置，也能够更加正确地进行输送机跟踪等处理。关于该重复排除功能的详细内容，在后面进行说明。

<B.定位以及跟踪处理>

接下来，对图1所示的输送机系统的定位以及跟踪处理进行详细说明。

图2是用于说明利用了本发明实施方式的视觉传感器100的输送机跟踪系统的定位以及跟踪处理的图。参照图2，视觉传感器100使用内置的拍摄部来对流水线1进行拍摄。视觉传感器100响应于来自机械手控制装置200的拍摄指示，来开始进行拍摄动作。该拍摄指示经由用于连接视觉传感器100和机械手控制装置200的网络NW来被传输。典型的该网络NW可以采用以太网(注册商标)等通用的网络。

视觉传感器100从机械手控制装置200接收拍摄指示，并响应于该拍摄指示而开始进行拍摄。由此，视觉传感器100顺次取得拍摄范围内的图像。然后，视觉传感器100对该图像执行计测处理(典型地，基于事先登记的工件W的模型图像，来进行图案匹配处理或二值化处理)。进而，视觉传感器100将通过该计测处理得到的各工件W的拍摄时的位置信息(X，Y，θ)发送至机械手控制装置200。

这样，视觉传感器100对拍摄部拍摄得到的图像进行计测处理，由此取得图像中的与事先登记的工件相对应的区域的位置信息。此时，视觉传感器100对搬运装置(输送机)10上的工件W的位置信息进行管理。即，视觉传感器100具有对搬运装置(输送机)上的工件的位置信息进行管理的管理单元。视觉传感器100执行了在新取得的工件W的位置信息中排除掉已取得了其位置信息的信息的处理(重复排除处理)后，仅将新取得的工件W的位置信息发送至机械手控制装置200。

这样，从视觉传感器100发送至机械手控制装置200的工件W的位置信息为已执行了重复排除处理后的信息，所以在机械手控制装置200侧无需进行特别的处理，而只要直接利用接收到的位置信息来进行把持动作即可。

从视觉传感器100发送的位置信息包括输送机10上的工件W的位置(X，Y)以及工件W的转动角度(θ)。

另外，为了使机械手控制装置200的处理变得简单，工件W的坐标值(X，Y)使用换算成用于控制机械手300的坐标系的值。即，视觉传感器100将工件W的位置信息以利用机械手300的坐标系来定义的值的形式发送至机械手控制装置200。

例如，如图2所示，利用X坐标(输送机的搬运方向)以及Y坐标(与输送机的搬运方向相垂直的方向)来定义机械手300的手部前端(拾取)位置，并利用该XY坐标系(以下，也称之为“机械手坐标系”)来确定通过图案匹配处理来检测到的各工件的位置。这样，位置信息包括特定坐标值，该特定坐标值是指，将拍摄取得的图像中的与事先登记的工件相对应的区域，利用作为移动机械的机械手300的坐标系“机械手坐标系”来表示的坐标值。另外，视觉传感器100以及机械手控制装置200事先被进行校准处理，使得能够将所计测的各工件W的位置信息以机械手坐标系的值的形式进行输出。关于该校准处理，在后面进行说明。

另外，工件W的转动角度(θ)意味着将工件W的模型图像作为基准时的转动角度。即，位置信息还包括转动角度，该转动角度是指，图像中的与该工件相对应的区域，在将事先登记的工件的姿势作为基准时的转动角度。就工件W的有些形状而言，会基于该转动角度的信息，来适当地控制机械手300的手部前端的转动角度等。

机械手控制装置200对来自编码器14的脉冲信号所包含的脉冲数进行计数，并在事先决定的值以上数量的脉冲被输入的时刻，经由网络NW来将拍摄指示发送至视觉传感器100。

来自视觉传感器100的各工件的位置信息经由网络NW发送至机械手控制装置200，并存储在机械手控制装置200的内部的存储器中。另外，机械手控制装置200每当从编码器14接收到脉冲信号时，对存储器内存储的全部的工件W的坐标值(X，Y)进行更新。这是因为，在机械手控制装置200的存储器上对实际被带式输送机搬运的工件W进行跟踪。另外，如果任一个工件W的更新后的位置信息(坐标值)进入机械手300的跟踪范围，则对机械手300提供把持动作所需的指示。

根据设置在流水线1上的编码器14的检测结果来生成的脉冲信号，输入至视觉传感器100以及机械手控制装置200。视觉传感器100以及机械手控制装置200分别具有用于对包含在脉冲信号中的脉冲数进行计数的编码计数器。来自编码器14的脉冲信号并行输入至视觉传感器100以及机械手控制装置200，因此只要在同一时刻对各个编码计数器进行初始化(计数器复位)，则对其后所输入的脉冲信号的计数值会变成彼此相同的值，从而能够使计数值同步。

更具体地讲，在视觉传感器100以及机械手控制装置200中，均事先设定有与来自编码器14的脉冲信号所包含的一个脉冲相对应的输送机的移动量。进而，在视觉传感器100以及机械手控制装置200各自的编码计数器中，也设定有彼此相同的参数(计数器最大值、计数器最小值、与一个脉冲相对应的增加值等)。即，关于计数，在视觉传感器100的编码计数器和机械手控制装置200的编码计数器中设定有相同的参数。

另外，这些编码计数器的计数值在生产流水线开始运转之前被初始化为0。即，在开始对包含在脉冲信号中的脉冲数进行计数之前，视觉传感器100的编码计数器和机械手控制装置200的编码计数器一起被复位。

如上所述，在本实施方式中实现了一种单元，该单元使视觉传感器100和机械手控制装置200同步保持输送机10的搬运路径上的移动量。

在采用如上所述的结构的情况下，视觉传感器100将按照来自机械手控制装置200的拍摄指示来实际进行了拍摄时的计数值附加于各工件的位置信息，并发送至机械手控制装置200。即，视觉传感器100将与工件W的位置信息相对应的输送机10的移动量发送至机械手控制装置200。

如上所述，由于视觉传感器100和机械手控制装置200同步保持计数值，因此即使在机械手控制装置200发出拍摄指示的时刻和视觉传感器100响应于拍摄指示而实际进行了拍摄的时刻之间存在时滞，也能够在共同的时间轴上即利用同步的计数值，来确定实际进行了拍摄的时刻。

这样，视觉传感器100将如下信息发送至机械手控制装置200，该信息包括：检测到的工件W的位置信息；当拍摄得到用于取得该位置信息的图像时的输送机10的移动量。在拍摄得到用于取得该工件W的位置信息的图像时的移动量，利用计数器的计数值来表示。

机械手控制装置200利用从视觉传感器100接收的拍摄时的计数值，对对应的位置信息进行校正，并将其存储于装置自身的存储器中。由此，能够避免发生如下情况：因为流水线速度高，所以拍摄指示的输出和实际拍摄之间的时滞对机械手300的定位以及跟踪处理产生影响。

<C.硬件结构>

图3是表示利用了本发明实施方式的视觉传感器100的输送机跟踪系统的硬件结构的示意图。参照图3，视觉传感器100包括拍摄部110和图像处理部120。

拍摄部110是用于拍摄在拍摄范围内存在的被拍摄物的装置，其主要的结构要素包括：透镜和光圈等光学系统；CCD(Charge Coupled Device：电荷耦合器件)图像传感器或CMOS(Complementary Metal OxideSemiconductor：互补金属氧化物半导体)图像传感器等受光元件。拍摄部110按照来自图像处理部120的指令来进行拍摄，并将拍摄得到的图像数据输出至图像处理部120。

图像处理部120包括CPU(Central Processing Unit：中央处理单元)122、存储器124、拍摄控制部126、通信接口(I/F)128、输入输出接口(I/F)130以及编码计数器132。这些零部件经由总线134以能够进行数据通信的方式相连接。

CPU122是在图像处理部120中进行主要运算的处理器。存储器124用于存储由CPU122执行的各种程序、由拍摄部110拍摄得到的图像数据、各种参数等。典型地，存储器124包括DRAM(Dynamic Random Access Memory：动态随机存取存储器)等易失性记忆装置、FLASH存储器等非易失性记忆装置。

尤其是，在本实施方式的视觉传感器100中，通过由CPU122执行程序来实现重复排除逻辑122a。理所当然地，也可以以硬件方式实现重复排除逻辑122a的全部或者一部分。另外，存储器124包括重复排除逻辑122a所利用的前一次检测缓冲器124a和最新检测缓冲器124b。该缓冲器124a及124b用于保持对于通过连续的2次拍摄得到的图像的计测处理结果。即，前一次检测缓冲器124a用于存储通过前一次的计测处理来检测到的坐标值及对应的计数值(编码器值)，而且，最新检测缓冲器124b用于存储通过最新的计测处理来检测到的坐标值及对应的计数值(编码器值)。通过将这些缓冲器124a及124b所保持的坐标值的彼此进行比较，来避免同一个工件的坐标被重复检测到。在存储器124中的这些缓冲器124a及124b，还设置有用于重复检查处理中的区域(未图示)。即，通过前一次检测缓冲器124a及最新检测缓冲器124b来实现对输送机10上的工件的位置信息进行管理的管理单元。

进而，存储器124保持参数组124c，该参数组124c用于将拍摄部110拍摄得到的图像的坐标系(以下，也称之为“图像坐标系”)上的坐标值以机械手坐标系上的坐标值的形式输出。关于该参数组124c的取得方法，在后面进行说明。

拍摄控制部126按照来自CPU122等的内部指令，对相连接的拍摄部110的拍摄动作进行控制。拍摄控制部126具有：用于向拍摄部110发送各种指令的接口；用于从拍摄部110接收图像数据的接口。

通信接口128和机械手控制装置200之间互相交换各种数据。典型地，视觉传感器100以及机械手控制装置200经由以太网(注册商标)相连接，通信接口128是遵循这样的以太网(注册商标)的硬件。

输入输出接口130从图像处理部120向外部输出各种信号，或者向图像处理部120输入来自外部的各种信号。尤其是，输入输出接口130接收由编码器14生成的脉冲信号，并将该信号变换为数字信号后输出至编码计数器132。

编码计数器132对包含在来自编码器14的脉冲信号中的脉冲数进行计数。该编码计数器132基本上与CPU122的运算周期相独立地进行动作，因此不会遗漏对来自编码器14的脉冲信号所包含的脉冲数的计数。

0061

另一方面，机械手控制装置200包括运算处理部210、通信接口(I/F)228、输入输出接口(I/F)230、编码计数器232、拾取控制部240以及移动控制部250。

运算处理部210是基于来自视觉传感器100的位置信息来进行用于向机械手300及移动机构400输出指令的运算的处理器，包括用于跟踪各个工件W的存储器220。存储器220中存储有通过利用视觉传感器100的计测处理来检测到的各个工件W的位置信息。运算处理部210响应于对象输送机的移动(基于来自编码器14的脉冲信号来进行检测)，顺次更新各个工件W的位置信息。

通信接口(I/F)228和视觉传感器100的图像处理部120之间交换各种数据。典型地，视觉传感器100以及机械手控制装置200经由以太网(注册商标)相连接，通信接口228是遵循这样的以太网(注册商标)的硬件。

输入输出接口230从机械手控制装置200向外部输出各种信号，或者向机械手控制装置200输入来自外部的各种信号。尤其是，输入输出接口230接收由编码器14生成的脉冲信号，并将该信号变换为数字信号后向编码计数器232输出。

编码计数器232对来自编码器14的脉冲信号所包含的脉冲数进行计数。该编码计数器232基本上与运算处理部210的运算周期相独立地进行动作，因此不会遗漏对来自编码器14的脉冲信号所包含的脉冲数的计数。

拾取控制部240按照来自运算处理部210等的内部指令，对相连接的机械手300的把持动作进行控制。拾取控制部240具有用于发送机械手300在各可动轴上的目标位置等的接口和用于接收机械手300在各可动轴上的当前位置的接口。

移动机构400按照来自运算处理部210等的内部指令，对用于驱动相连接的机械手300的移动机构400的跟踪动作进行控制。移动机构400具有用于发送移动机构400的目标位置及目标速度等的接口和用于接收移动机构400在移动轴上的当前位置的接口。

<D.重复排除逻辑>

(d1：概要)

接下来，对本实施方式的输送机跟踪系统中的重复排除逻辑进行说明。

图4是用于说明本发明实施方式的输送机跟踪系统中的重复排除功能的图。参照图4的(a)部分，每隔输送机10移动了规定距离，视觉传感器100都进行拍摄。此时，该拍摄间隔被设定为，与某一时刻的拍摄相对应的拍摄范围和与其后续的时刻的拍摄相对应的拍摄范围以某一程度的宽度相重叠。即，拍摄部110的拍摄周期被设定为，使在时间上连续的两个拍摄时刻的拍摄范围彼此相重叠。优选将该重叠范围设定为比检测对象的工件的大小(最大值)更大。由此，能够使位于拍摄范围的下游侧的边界线上的工件完全进入下次的拍摄范围内，所以能够消除在图案匹配等检查处理中未被检测的工件。此外，就拍摄动作而言，可以响应于来自机械手控制装置200的拍摄指示来执行拍摄动作，但也可以在视觉传感器100的内部产生用于指示拍摄时刻的触发信号。

但是，如果如上所述那样设定了拍摄范围及拍摄时刻，则在连续的2次拍摄动作以及对于通过这些拍摄得到的图像的计测处理中，同一个工件W可能会被检测2次(重复检测)。在这样的情况下，使第2次检测结果变得无效不进行输出的处理就是重复排除功能。

如图4的(a)部分所示，工件W4及W5既包含在这次的拍摄范围又包含在前一次的拍摄范围，其结果，在各计测结果中均输出工件W4及W5的坐标值。

即，如图4的(b)部分所示，在前一次的拍摄范围内包含有工件W1～W5，而且将各自的坐标值(x1，y1)、(x2，y2)、(x3，y3)、(x4，y4)、(x5，y5)与拍摄时刻的计数值Cb(相当于输送机10的移动量)相对应地存储于前一次检测缓冲器124a中。在这样的状态下进行了这次的拍摄。此时，在这次的拍摄范围内包含有工件W4～W7，而且各自的坐标值(xa，ya)、(xb，yb)、(xc，yc)、(xd，yd)与拍摄时刻的计数值Cn(相当于输送机10的移动量)相对应地存储于最新检测缓冲器124b中。

这样，用作为管理单元的前一次检测缓冲器124a及最新检测缓冲器124b将工件的位置信息与输送机10的移动量(计数值)建立对应关系来进行管理。

进而，将存储在前一次检测缓冲器124a中的坐标值更新为与当前的计数值相对应的坐标值，并判断是否与存储在最新检测缓冲器124b中的坐标值相重复。在图4所示的例子中，对通过连续的2次拍摄来得到的图像进行计测处理，由此检测出工件W3及W4的坐标值，并执行如上所述的重复排除处理，使得不输出第2次的检测结果。

如图4所示，在视觉传感器100中，将作为计测结果的坐标值与拍摄时的计数值(在搬运路径上的移动量)建立对应来进行管理。此外，在图4所示的例子中，示出了将最新2次的计测结果与对应的计数值建立关联来进行管理的例子，但也可以对更多的拍摄次数的计测结果进行存储。另外，虽在图4中未示出，但也可以通过缓冲器124a及124b来对工件的转动角度进行管理。

(d2：对于坐标值的更新处理以及重复判断处理)

接下来，对如上所述的重复排除处理进行更加详细的说明。

首先，通过校准处理，事先已取得了与来自编码器14的1个计数相对应的工件的移动量dX(X方向)以及dY(Y方向)。由于事先已取得了与来自编码器14的1个计数相对应的该工件的移动量dX和dY，所以在通过连续的2次拍摄来得到的计测结果之间，能够判断两者处于彼此偏离多少距离的位置关系。另外，已设定有用于判断工件重复的重复判断距离阈值T。

利用这些参数，能够确定同一个工件被重复检测的坐标值，由此能够防止向发送至机械手控制装置200的位置信息中混入这些重复的坐标值。

具体的的处理步骤如下。

(1)响应于来自机械手控制装置200的拍摄指示，拍摄部110对拍摄范围进行拍摄来取得图像。

(2)多所取得的图像执行计测处理。

(3)将通过计测处理来得到的检测结果(工件在图像坐标系上的坐标值)变换为机械手坐标系上的坐标值。

(4)将所取得的检测结果(机械手坐标系上的坐标值)以及对应的计数值存储于最新检测缓冲器124b中。

(5)若在前一次检测缓冲器124a中存储有一些坐标值，则根据前一次的拍摄时刻和最新的拍摄时刻的计数值之差，来将存储在前一次检测缓冲器124a中的所有工件的坐标值，更新为与最新的拍摄时刻相对应的坐标值。即，CPU122(重复排除逻辑122a)将作为管理单元的前一次检测缓冲器124a所管理的工件的位置信息，更新为与拍摄部110进行了拍摄的时刻相对应的值。更具体地讲，若将与最新的拍摄时刻相对应的计数值设为Cn，将与前一次的拍摄时刻相对应的计数值设为Cb，则利用如下所述的公式，对存储在前一次检测缓冲器124a中的坐标值(X，Y)进行变换。

X←X+dX·(Cn-Cb)

Y←Y+dY·(Cn-Cb)

即，CPU122(重复排除逻辑122a)利用在拍摄部110进行了拍摄的时刻的输送机10的移动量和与各工件的位置信息相对应的输送机10的移动量之间的差分，来对工件的位置信息进行校正。

(6)分别对存储在最新检测缓冲器124b中的所有的坐标值和(5)中变换得到的所有的坐标值之间的距离进行计算，若计算出得该距离小于重复判断距离阈值T，则在最新检测缓冲器124b的对应的行的确认栏中记入标记(标注)(参照图4的(b)部分)。即，CPU122(重复排除逻辑122a)对更新后的位置信息和通过伴随着这次的拍摄动作的计测处理来取得的工件的位置信息进行比较，由此确定出新搬运至拍摄部110的拍摄范围内的工件W。此时，若更新后的位置信息和通过计测处理来取得的工件的位置信息之间的偏差小于事先决定的值(重复判断距离阈值T)，则CPU122(重复排除逻辑122a)判断为比较对象的位置信息是表示同一个工件的信息。

(7)在最新检测缓冲器124b中存储的坐标值中，只对在确认栏中未标有标记的坐标值进行顺次输出。即，CPU122(重复排除逻辑122a)将确定为新搬运至拍摄部110的拍摄范围内的工件的工件的位置信息，发送至机械手控制装置200。

(8)清除前一次检测缓冲器124a的值，并利用存储在当前的最新检测缓冲器124b中的值来覆盖前一次检测缓冲器124a。

(d3：跟踪系统的控制动作)

接下来，对本实施方式的跟踪系统的控制动作进行更加详细的说明。图5是表示本发明实施方式的跟踪系统的控制动作的时序图。

参照图5，首先，对视觉传感器100及机械手控制装置200，均设定彼此相同的参数(计数器最大值、计数器最小值、与1个脉冲相对应的增加值等)(步骤S1和S2)。然后，对视觉传感器100和机械手控制装置200，均执行对各编码计数器的复位(计数器复位)(步骤S3和S4)。

步骤S1～S4所示的处理，是为了使视觉传感器100和机械手控制装置200实质上同步保持计数值而执行的处理。即，关于编码计数器执行了共同参数的设定以及计数器复位处理，使得对来自编码器14的脉冲信号所包含的脉冲的数目的计数动作，在视觉传感器100和机械手控制装置200之间相同步。

接着，机械手控制装置200的运算处理部210判断来自编码器14的脉冲信号所包含的脉冲数是否从前一次拍摄时的值起增加了规定值以上(步骤S5)。图5所示的时序图示出了如下的处理例，即，每当输送机10移动了规定距离时，机械手控制装置200对视觉传感器100发出拍摄指示时的处理例。在该步骤S5的判断处理中，判断编码计数器232的当前计数值是否增加为相当于拍摄时刻的距离以上。

若来自编码器14的脉冲信号所包含的脉冲数达到规定值以上的值，则机械手控制装置200的运算处理部210将拍摄指示发送至视觉传感器100(步骤S6)。该拍摄指示是经由网络NW来传输至视觉传感器100的。视觉传感器100的图像处理部120响应于来自机械手控制装置200的拍摄指示，参照编码计数器132来取得拍摄时的计数值(Cn)(步骤S7)。此外，代替步骤5及步骤6，而在视觉传感器100中利用计数器132来判断拍摄时刻也可。

接着，视觉传感器100的图像处理部120使拍摄部110执行拍摄(步骤S8)。拍摄部110拍摄得到的图像传送至图像处理部120。图像处理部120对来自拍摄部110的图像执行计测处理(步骤S9)。进而，图像处理部120将通过步骤S9的计测处理来得到的计测结果(图像坐标系上的工件的坐标值(xi，yi))变换为机械手坐标系上的工件的坐标值(X，Y)(步骤S10)。进而，图像处理部120将在步骤S10中变换得到的检测结果(机械手坐标系上的坐标值)及对应的计数值(Cn)存储在最新检测缓冲器124b中(步骤S11)。

接着，图像处理部120判断在前一次检测缓冲器124a中是否存储有一些检测结果(机械手坐标系上的坐标值)(步骤S12)，若在前一次检测缓冲器124a中存储有一些检测结果(机械手坐标系上的坐标值)(在步骤S12中为“是”)，则根据前一次的拍摄时刻和最新的拍摄时刻的计数值之差，将存储在前一次检测缓冲器124a中的所有的工件的坐标值更新为与最新的拍摄时刻相对应的坐标值(步骤S13)。

接着，图像处理部120分别对存储在最新检测缓冲器124b中的所有的坐标值和在步骤S13中更新得到的所有的坐标值之间的距离进行计算(步骤S14)，并在最新检测缓冲器124b中的与计算出的该距离小于重复判断距离阈值T的坐标值相对应的行进行标注(check)(步骤S15)。

接着，图像处理部120在最新检测缓冲器124b中存储的坐标值中，仅将未被标注的坐标值与在步骤S7中取得的计数值C0一起发送至机械手控制装置200(步骤S16)。

最终，图像处理部120清除前一次检测缓冲器124a中的值，并利用存储在当前的最新检测缓冲器124b中的值来覆盖前一次检测缓冲器124a(步骤S17)。

机械手控制装置200的运算处理部210对来自视觉传感器100的工件W的计测结果(位置信息及转动角度)以及对应的计数值进行存储(步骤S18)。然后，处理返回至步骤S5。

此外，会接收到附加有用于表示视觉传感器100的拍摄时刻的计数值的计测结果，所以在机械手控制装置200中，能够基于与各计测值相对应的计数值来进行正确的跟踪处理。即，在本实施方式的输送机跟踪系统中，机械手控制装置200无需严格地控制拍摄指示的发送时刻(换言之，只要以与输送机的搬运速度相对应的周期接收到拍摄指示就足够了)，而且，即使从视觉传感器100向机械手控制装置200发送计测结果时发生了的延迟也不会成问题。

<E.校准处理>

接下来，对于用于取得如上所述那样的参数(图3所示的参数组124c)的校准处理进行说明。

图6是用于说明本发明实施方式的校准处理的图。图7是表示通过图6所示的校准处理来取得的参数组的一例的图。图8～图10是用于说明本发明实施方式的校准处理的步骤的图。

参照图6，在本实施方式的校准处理中，主要根据以下两个观点来进行校准处理。

(1)机械手-输送机间之间的校准：

在该校准处理中，取得与来自编码器14的脉冲信号所包含1个脉冲相对应的输送机的移动量。该输送机的移动量相当于图7中倒数第二栏中示出的dX和dY。如图7所示，输送机的移动量为矢量，所以取得关于机械手坐标系上的各个轴的值。该输送机的移动量是，机械手300从编码器14接收脉冲信号来跟踪工件在输送机10上的工件位置所需的参数。

(2)视觉传感器-机械手间之间的校准：

取得用于将视觉传感器100所计测的工件的位置信息(图像坐标系上的坐标值(xi，yi)[pixel])变换成机械手坐标系上的坐标值(X，Y)[mm]的关系式。该关系式通过在图7的最下栏中示出的6个参数A～F来被定义。

此外，如图6所示，要进行校准处理，则需要机械手300的位置信息(机械手坐标值)，因此经由网络NW从机械手控制装置200向视觉传感器100传送这些位置信息。

接下来，对于校准处理的步骤进行更详细的说明。此外，如后所述，在本实施方式的输送机系统中，用户即使不理解如上所述那样的校准处理的含义，但只要按照指定的步骤进行操作，就能够容易地进行校准处理。更具体地讲，本实施方式的校准处理是通过图8～图10所示的3个阶段的步骤来实现的。

此外，在本实施方式的校准处理中，使用描画有在图7的最上栏中示出的目标图案的校准用薄片S。该校准用薄片S上的目标图案包括5个圆(标记)，这些5个圆(标记)的内部以约90°为单位被涂敷区分开。此外，如后所述，基本上使用4个标记来进行校准处理，追加配置的1个标记用于将校准用薄片S的配置方向统一为规定方向。

(第一阶段)

在第一阶段中，如图8所示，用户将描画有目标图案的校准用薄片S配置于视觉传感器100(拍摄部110)的视场内。然后，用户向视觉传感器100发出拍摄指示。那么，视觉传感器100对拍摄得到的图像(包括作为被拍摄物的目标图案的图像)进行计测处理，决定目标图案所包含的配置于四角处的4个标记的各中心点的坐标值。由此分别取得目标图案所包含的4个标记在图像坐标系上的坐标值[pixel]。所取得的这些4个坐标值相当于在图7最上栏示出的(xi1，yi1)、(xi2，yi2)、(xi3，yi3)、(xi4，yi4)。

(第二阶段)

在第二阶段中，如图9所示，用户通过移动输送机10来将描画有目标图案的移动薄片S配置在机械手300的跟踪范围(工作范围)内，并通过操作机械手300来使目标图案所包含的4个标记和机械手300之间的位置关系建立对应。

更具体地讲，首先，用户通过移动输送机10，将校准用薄片S配置于机械手300的跟踪范围(工作范围)内。此外，已事先取得了该输送机10移动前(校准开始时)的计数值。该计数值相当于在图7的从上第二栏中示出的编码器计数值E1(校准处理开始时)。

接着，用户通过操作附属于机械手控制装置200上的示教盒2100等，来以使机械手300的手部前端与校准用薄片S上的一个标记相对应的方式对机械手300的手部前端进行定位。用户在该定位的状态下发出指示，由此使机械手控制装置200所掌握的机械手300的位置信息(用于表示机械手300的手部前端位置的机械手坐标系上的坐标值)发送至视觉传感器100。对目标图案所包含的4个标记都反复进行上述处理，即，对该机械手300的手部前端进行定位，并将在定位状态下的机械手300的位置信息发送至视觉传感器100的处理。

通过这样的步骤，分别取得与目标图案所包括的4个标记相对应的机械手300的位置信息。这些所取得的与4个标记相对应的机械手300的位置信息相当于在图7的从上第三栏中示出的(X1，Y1)、(X2，Y2)、(X3，Y3)、(X4，Y4)。

此外，如图9所示，一直维持校准用薄片S配置于机械手300的跟踪范围(工作范围)内的状态，直到分别与4个标记相对应的机械手300的位置信息都发送至视觉传感器100为止。

另外，视觉传感器100也存储图9所示的状态下的计数值。该计数值相当于在图7的从上第二栏中示出的编码器计数值E2(将输送机移动至机械手工作范围(上游)时)。

(第三阶段)

在第三阶段中，如图10所示，用户通过进一步移动输送机10来将校准用薄片S配置于机械手300的跟踪范围(工作范围)的最下游的位置，并通过操作机械手300来使目标图案所包含的1个标记和机械手300之间的位置关系建立对应。

更具体地讲，首先，用户通过移动输送机10，将校准用薄片S配置于机械手300的跟踪范围(工作范围)的下游侧的端部。

接着，用户通过操作示教盒2100等，来以使机械手300的手部前端与校准用薄片S上的第一个标记(在第二阶段中取得了坐标值(X1，Y1)的标记)相对应的方式对机械手300的手部前端进行定位。用户在该定位的状态下发出指示，由此使机械手控制装置200所掌握的机械手300的位置信息(用于表示机械手300的手部前端位置的机械手坐标系上的坐标值)发送至视觉传感器100。

通过这样的步骤，取得与目标图案所包含的第一个标记相对应的机械手300的位置信息。所取得的与该第一个标记相对应的机械手300的位置信息相当于在图7的从上第四栏中示出的(X5，Y5)。

另外，视觉传感器100也存储图10所示的状态下的计数值。该计数值相当于在图7的从上第二栏中示出的编码器计数值E3(将输送机移动至机械手工作范围(下游)时)。

(参数计算处理)

利用通过如上所述的第一～第三阶段的处理来取得的参数，首先，计算与来自编码器14的1个计数相对应的工件的移动量dX和dY。更具体地讲，根据以下公式进行计算。

dX＝(X5-X1)/(E3-E2)

dY＝(Y5-Y1)/(E3-E2)

这些公式意味着计算特定的变化量，该变化量是指，在图9所示的状态和图10所示的状态下分别使机械手300的手部前端定位至校准用薄片S内的同一个标记的情况下，这两个状态之间所产生的机械手300的位置信息相对于计数值的变化量的变化量。通过这些计算公式，能够决定与1个计数值相对应的工件的移动量dX及dY。即，能够实现机械手-输送机间的校准处理。

另外，基于在图8所示的状态下取得的摄像头坐标系上的坐标值(xi1，yi1)、(xi2，yi2)、(xi3，yi3)、(xi4，yi4)和在图9的状态下取得的机械手坐标系上的坐标值(X1，Y1)、(X2，Y2)、(X3，Y3)、(X4，Y4)的对应关系，能够决定与坐标系的变换相关的变换公式的6个参数A～F。即，使用公知的方法，能够决定满足以下公式的(或者，误差最小的)参数A～F。

X＝A·xi+B·yi+C

Y＝D·xi+E·yi+F

由此，能够实现视觉传感器-机械手间的校准处理。

<F.引导功能>

利用了本发明实施方式的视觉传感器的输送机跟踪系统提供引导功能，使得用户能够容易地进行如上所述的校准处理。这样的引导功能，可以如后所述那样由视觉传感器100提供，也可以通过图1所示的操作显示装置500与视觉传感器100的协作动作来提供。在以下的说明中，对操作显示装置500提供引导功能的结构进行例示。即，示出操作显示装置500发挥引导装置的功能的例子。但是，在视觉传感器100单独提供引导功能的情况下，也可以将视觉传感器100视为引导装置。而且，也可以利用如后所述的辅助装置600来实现引导功能。在这样的情况下，也可以将辅助装置600视为引导装置。

(f1：硬件结构)

图11是表示能够与本发明实施方式的视觉传感器100相连接的操作显示装置500的硬件结构的示意图。参照图11，操作显示装置500包括显示部510、触摸屏520、CPU(Central Processing Unit：中央处理单元)522、存储器524、硬盘(HDD)526、通信接口(I/F)528、输入控制器530及显示控制器532。这些零部件经由总线534以能够进行数据通信的方式相连接。

操作显示装置500是一种能够进行触摸操作的显示设备，在该显示器上显示用于实现如上所述的由用户的校准处理的引导画面，用户在引导画面上进行所需的操作来进行校准处理。

典型的显示部510由液晶显示器构成。该显示部510的显示面安装有触摸屏520作为用于接受用户的操作的输入器件。

CPU522是在操作显示装置500中进行主要运算的处理器。存储器524用于存储由CPU522执行的各种程序、显示部510所显示的图像数据、各种参数等。典型地，存储器524包括DRAM(Dynamic Random Access Memory：动态随机存取存储器)等易失性记忆装置、FLASH存储器等非易失性记忆装置。

尤其是，CPU522执行程序，由此使本实施方式的操作显示装置500实现用于提供如后所述的引导功能的引导逻辑522a。理所当然地，也可以以硬件的方式实现引导逻辑522a的全部或者一部分。

通信接口128用于在视觉传感器100和机械手控制装置200之间交换各种数据。典型地，通信接口128是遵顺以太网(注册商标)的硬件。

输入控制器530检测用户对相连接的触摸屏520的操作，并将检测到的坐标值等输出至CPU522。

显示控制器532是一种在相连接的显示部510上显示图像的驱动器，按照来自CPU522的指令等，对显示部510进行描画处理。

(f2：画面例)

接下来，参照图12～图18，对用于用户引导处理中的画面例进行说明。图12～图18是表示利用了本发明实施方式的视觉传感器的输送机跟踪系统所提供的用于用户引导处理中的画面例的图。这些图，会根据上述校准处理的各阶段而顺次进行转移。

若用户对坐标系进行了初始设定等后再指示了开始执行校准处理，则显示图12所示的引导画面550。该图12所示的引导画面550是与图8所示的校准处理的第一阶段相对应的画面。即，CPU522(引导逻辑522a)将引导画面550显示在显示部510，其中，该引导画面550是促使用户将包括校准用图案(目标图案)的薄片(校准用薄片S)配置在拍摄部110的视场内的画面。

更具体地讲，引导画面550包括：整体进行标记570，其表示校准处理整体的进程；详细进行标记572，其表示在整体进行标记570中被激活的工序内的更加详细的处理的进程。另外，引导画面550包括用于显示拍摄部110拍摄得到的图像的输入图像显示区域560。此外，通过对包含在图标组576中的图标的操作动作，来对显示在输入图像显示区域560的图像的显示倍率等进行适当变更。此外，显示在输入图像显示区域560的图像还能够以拍摄部110的拍摄周期随时被更新，或者，也可以以用户所希望的定时将该图像变更为静止画。

在图12所示的引导画面550上，显示有“请定位至5个校准用标记都被显示的位置”的提示信息581。用户按照该提示信息581，将配置在输送机10上的校准用薄片S定位至位于拍摄部110的视场范围内。

若结束了对校准用薄片S的定位，则用户选择“下一页”按钮。那么，计测处理被执行，并显示图13所示的引导画面551。此外，计测处理包括所使用的模型形状的登记及选择处理、检测条件的设定等。

在该图13所示的引导画面551上，显示有对拍摄描画有目标图案的校准用薄片S所得到的图像执行了计测处理的结果。即，将目标图案所包含的标记作为模型图像，来检测出与该模型图像一致的区域561～565以及各区域的中心点。检测出的这些中心点相对于上述的坐标(xi1，yi1)、(xi2，yi2)、(xi3，yi3)、(xi4，yi4)。

图13所示的引导画面551包括用于接受对编码器值(计数值)的输入动作的窗590。用户读取计数值并进行输入，或者，在能够直接取得来自编码器14(或者、编码计数器132)的信息的情况下，选择“读取”按钮592。那么，能够取得编码器计数值E1(校准处理开始时)。

若取得目标图案所包含的各标记的坐标值及对应的编码器计数值E1的取得处理结束，则用户选择“下一页”按钮。那么，显示图14所示的引导画面552。

该图14所示的引导画面552包括用于指示将校准用薄片S(目标薄片)定位至机械手300的工作范围的上游的提示信息583以及向导画面593。若结束了将校准用薄片S定位至机械手300的工作范围的上游的定位处理，则用户选择“下一页”按钮。那么，显示图15所示的引导画面553。该引导画面553是与图9所示的校准处理的第二阶段相对应的画面。

即，CPU522(引导逻辑522a)将引导画面552及553显示在显示部510，该引导画面552及553是，促使用户将校准用薄片S配置在机械手300的工作范围的上游侧，并将移动机械定位至薄片中的特定的图案的画面。

用户将机械手300的手部前端定位至在引导画面553的输入图像显示区域560内所显示的目标图案中的指定的标记(在图15所示的例子中为第一个检测区域568)。进而，用户对在这样的状态下的机械手坐标系上的坐标值进行输入。即，引导画面553包括用于接受对编码器值(计数值)的输入动作的窗595，用户读取在机械手控制装置200中所显示的机械手坐标系上的坐标值并进行输入，或者，在能够直接取得来自机械手控制装置200的信息的情况下，选择“读取”按钮598。那么，能够取得用于表示手部前端的机械手坐标系上的坐标值。

窗595包括：输入框596，其用于输入对象标记在图像坐标系上的坐标值；输入框597，其用于输入定位至对象标记的机械手坐标系上的坐标值。根据在这些输入框中所设定的值之间的关系，来决定变换公式(即，参数A～F)。

若对目标图案所包含的4个标记都取得了坐标值，则用户选择“下一页”按钮。那么，显示图16所示的引导画面554。

该图16所示的引导画面554包括用于指示将校准用薄片S定位至机械手300的工作范围的下游的提示信息585及向导画面594。若结束了将校准用薄片S定位至机械手300的工作范围的下游的定位处理，则用户选择“下一页”按钮。那么，显示引导画面555。该图17所示的引导画面555是与图10所示的校准处理的第三阶段相对应的画面。

即，CPU522(引导逻辑522a)将引导画面554及555显示在显示部510，该引导画面554及555促使用户将校准用薄片S配置在机械手300的工作范围的下游侧，并将移动机械定位至薄片中的特定的图案的画面。

图17所示的引导画面555基本上与图15所示的引导画面553相同。用户将机械手300的手部前端定位至指定的标记。进而，用户对在这样的状态下的机械手坐标系上的坐标值进行输入。与图15同样地，图17所示的引导画面555包括用于接受对编码器值(计数值)的输入动作的窗595，用户读取在机械手控制装置200中所显示的机械手坐标系上的坐标值并进行输入，或者，在能够直接取得来自机械手控制装置200的信息的情况下，选择“读取”按钮598。那么，能够取得用于表示手部前端的机械手坐标系上的坐标值。

另外，CPU522(引导逻辑522a)与引导画面551、553、555的各画面相对应地接受对输送机10的搬运路径上的移动量(计数值)的输入动作。

CPU522(引导逻辑522a)根据在按照图15所示的引导画面553来将校准用薄片S配置于机械手工作范围(上游)的情况下所得到的位置信息、在按照图17所示的引导画面555来将校准用薄片S配置于机械手工作范围(下游)的情况下所得到的位置信息，计算出与来自编码器14的1个计数相对应的工件的移动量dX和dY。另外，CPU522(引导逻辑522a)基于所输入的信息，计算用于将拍摄部110的拍摄范围内的坐标值变换为机械手300的坐标系上的坐标值的参数组。

若如上所述的一连串的校准处理结束，则显示图18所示的引导画面556。在该引导画面556上，不仅显示校准处理已结束的通知，还显示通过校准处理所取得的参数组的名称等。

如上所述，在本实施方式中提供了一种显示用于设定参数组的引导画面的功能，该参数组用于将拍摄部110的拍摄范围内的坐标值变换为机械手300的坐标系(机械手坐标系)的坐标值。由此，即使是不具有校准处理的知识的用户，也能够容易地进行校准处理。

(f3：变形例)

此外，在上述说明中，主要对操作显示装置500提供引导功能的结构进行了例示。然而，也可以由视觉传感器100单独提供用于提供该引导功能的结构。在这样的情况下的硬件结构，例如为如下。

图19是表示利用了本发明实施方式的视觉传感器的输送机跟踪系统的变形例的硬件结构的示意图。在图19所示的视觉传感器100的图像处理部120A中，还追加了引导逻辑122b。而且，通过引导逻辑122b来提供的引导画面等，显示在与视觉传感器100经由显示接口(I/F)172相连接的显示器170等上。

其他结构与上述的说明相同，所以不再重复其详细说明。

<G.机械手控制装置的处理>

接下来，对于机械手控制装置200的处理进行说明。

图20A～图20D是表示本发明实施方式的机械手控制装置200的处理的流程图。在图20A～图20D中例示了机械手控制装置200所执行的主要的处理，但机械手控制装置200的处理并不仅限定于图20A～图20D所示的处理。

图20A示出了在编码器14发出了脉冲信号的情况下所进行的处理。更具体地讲，图20A的处理，将编码器14发出脉冲信号且编码计数器232完成计数作为事件而被起动(步骤S50)。如果编码计数器232完成计数(countup)，则存储在机械手控制装置200的存储器中的各工件的位置信息被更新(步骤S51)。该位置信息的更新方法如下。

如图2所示，工件在X方向上被搬运，而且将机械手300的跟踪范围的右端设为X方向的原点。此时，如果将与编码器14的1个脉冲相对应的输送机的移动量(移动矢量)设为(dX，dY)，则更新前的位置信息为(X0，Y0，θ0)的工件W的位置信息，在输入了n个脉冲的情况下，更新后的位置信息变为(X0-dX×n，Y0-dY×n，θ0)。即，对与1个脉冲相对应的输送机上的单位移动量乘以脉冲数得到的值，就是工件W的移动量(dX×n，dY×n)。而且，如果工件W向原点方向移动，则工件的位置信息与该移动量(移动矢量)相对应地被更新。

然后，等待至编码计数器232重新完成计数为止。

图20B示出了在编码器14发出了脉冲信号的情况下所进行的其他处理。更具体地讲，图20B的处理，将编码器14发出脉冲信号且编码计数器232完成计数(步骤S50)作为事件而被起动。若编码计数器232完成计数，则判断发出拍摄指示的条件是否成立(步骤S52)。例如，在上述例子中，判断来自编码器14的脉冲信号所包含的脉冲数是否与前一次拍摄时的值相比增加了规定值以上。然后，在发出拍摄指示的条件成立的情况下(在步骤S52中为“是”的情况下)，机械手控制装置200向视觉传感器100发出拍摄指示。

图20C是用于说明机械手300的把持动作的图。图20C的处理，将工件的位置信息被更新(步骤S60)作为事件而被起动。更具体地讲，如果工件的位置信息被更新，则判断在机械手300的跟踪范围内是否存在任意的工件W(步骤S61)。在机械手300的跟踪范围内存在任意工件W的情况下(在步骤S61中为“是”的情况下)，开始控制机械手300对工件W的把持动作。具体地讲，反复以下步骤：取得位于跟踪范围内的把持对象工件的位置信息(步骤S62)；计算把持对象工件和机械手300之间的偏差(步骤S63)；基于在步骤S63中计算出的偏差，来生成对机械手300和移动机构400的指示(步骤S64)；对工件W的位置信息的更新(步骤S65)。然后，如果机械手300移动至能够把持工件W的位置，则机械手控制装置200向机械手300发出把持动作的指示(步骤S66)。接着，向把持状态的机械手300发出移动动作的指示，该移动动作是用于将所把持的工件W移动至目标位置的动作(步骤S67)。然后，处理被返回。

图20D示出了对位置信息的登记处理。图20D的处理，将接收到计测结果作为事件而被起动。更具体地讲，计算当前的位置信息(步骤S69)，并将计算出的位置信息存储在存储器中(步骤S70)。

就本步骤S69所示的工件W的当前位置信息而言，将计算出拍摄时的计数值和各时间点的计数值之间的差分，并对该差分乘以与1个脉冲相对应的输送机的单位移动量而得到的值，作为校正量。通过将该校正量适用于计测结果(从视觉传感器100接收到的工件的位置信息)，能够计算当前位置信息。

通过如上所述的处理步骤，能够实现本实施方式的输送机跟踪处理。

<H.系统结构的变形例>

在上述的实施方式中例示了如下的结构：对视觉传感器100及机械手控制装置200都输入来自编码器14的脉冲信号，并利用分别设定为相同的参数的编码计数器132及232来对该脉冲信号所包含的脉冲的数目进行计数，由此同步保持输送机的移动量(计数值)。对此，举例说明经由网络来同步保持输送机的移动量(计数值)的结构。

图21是用于说明利用了本发明实施方式的变形例的视觉传感器的输送机跟踪系统中的定位及跟踪处理的图。利用了本变形例的视觉传感器的输送机跟踪系统与利用了图2所示的实施方式的视觉传感器的输送机跟踪系统的区别点在于，参照图21，来自编码器14的脉冲信号仅输入至视觉传感器100#，而且在视觉传感器100#和机械手控制装置200#之间设置有现场网络(field network)FN。其他的结构与实施方式相同，所以在下面仅对区别点进行说明。

图22是表示利用了本发明实施方式的变形例的视觉传感器的输送机跟踪系统的硬件结构的示意图。参照图22，与图3所示的图像处理部120相比，用于构成本变形例的视觉传感器100#的图像处理部120#还具有现场网络接口(I/F)160。另外，与图3所示的机械手控制装置200相比，本变形例的机械手控制装置200#设置有现场网络接口(I/F)260来取代编码计数器232及输入输出接口(I/F)230。其他结构与图2所示的实施方式相同。

用于构成视觉传感器100#的图像处理部120#和机械手控制装置200#，经由现场网络FN来共享通过图像处理部120#内的编码计数器132计数得到的计数值。

典型地，现场网络FN可以采用各种产业用以太网(注册商标)。产业用以太网(注册商标)例如有EtherCAT(注册商标)、Profinet IRT、MECHATROLINK(注册商标)-III、Powerlink、SERCOS(注册商标)-III、CIP Motion等，可以采用其中的任一个。进而，也可以采用产业用以太网(注册商标)以外的现场网络。例如，在不进行动作(motion)控制的情况下，可以采用DeviceNet、CompoNet/IP(注册商标)等。典型地，在本实施方式中，作为现场网络FN而采用作为产业用以太网(注册商标)的EtherCAT(注册商标)。

一般的现场网络构成为使与接收/发送相关的延迟时间恒定，能够将该延迟时间控制在几ns的程度。因此，该延迟时间与如上所述的从机械手控制装置200#发出拍摄指示起到实际进行拍摄为止的延迟(时滞)相比足够小，所以能够视为视觉传感器100#和机械手控制装置200#实质上同步保持计数值。

因此，无需分别设置如在实施方式中所说明的设定有共同的参数的编码计数器，所以能够通过更加简单的结构来使两个装置同步保持计数值。即，用于使视觉传感器100#和机械手控制装置200#同步保持输送机10的搬运路径上的移动量的单元，是由计数器132和现场网络FN来实现的，该计数器132设置在视觉传感器100#(或者，机械手控制装置200#)上，并用于对脉冲信号所包含的脉冲数进行计数，该现场网络FN用于使装置之间实质上同步共享由该计数器132计数的计数值。

此外，即使在现场网络FN内的延迟时间的长短无法忽视的情况下，由于现场网络FN内的延迟时间会控制为恒定的值，所以也能够通过如下所述的方法来同步保持计数值。即，假设在视觉传感器100#中所更新的计数值传递至机械手控制装置200#时被延迟了延迟时间ΔD。那么，由于该延迟时间ΔD为基本上恒定(能够预测)的值，所以可以采用如下对策：考虑该延迟时间ΔD来对控制时刻等进行延迟。

例如，若将视觉传感器100#基于计数值来开始执行的控制动作的开始时刻延迟延迟时间ΔD，则能够实质上抵消其与机械手控制装置200#之间的延迟时间ΔD。

或者，在延迟时间ΔD比计数值的更新周期更长的情况下，可以在控制中使用对计数值加上校正量(计数器校正值)得到的值，该校正量(计数器校正值)是指，对来自编码器14的脉冲信号所包含的脉冲周期乘以延迟时间ΔD而得到的值。

此外，在上述本变形例中，例示了视觉传感器100#为现场网络FN的主装置且机械手控制装置200#为现场网络FN的辅助装置的例子，但也可以使主装置和辅助装置的关系相反。在这样的情况下，仅对机械手控制装置200#侧输入来自编码器14的脉冲信号，并在机械手控制装置200#内设置有编码计数器。

<I.辅助装置>

接下来，对经由网络NW来与视觉传感器100及机械手控制装置200相连接的辅助装置600进行说明。

图23是表示能够与本发明实施方式的视觉传感器100相连接的辅助装置600的硬件结构的示意图。典型地，辅助装置600由通用计算机构成。此外，从维修的角度来说，优选采用便携特性优异的笔记本式个人计算机。

参照图23，辅助装置600具有：CPU61，其用于执行包括OS在内的各种程序；ROM(Read Only Memory：只读存储器)62，其用于存储BIOS和各种数据；存储器RAM63，其提供用于存储CPU61执行程序所需的数据的工作区域；硬盘(HDD)64，其用于非易失性地存储CPU61所执行的程序等。

辅助装置600还包括：键盘65及鼠标66，用于接受用户所作出的操作；显示器67，用于将信息提示给用户。

如后所述，辅助装置600所执行的各种程序存储在CD-ROM69中，并在市场上流通。存储在该CD-ROM69中的程序可由CD-ROM(CompactDisk-Read Only Memory：只读光盘存储器)驱动器68来读取，并存储于硬盘(HDD)64等中。或者，也可以经由网络从上位的主机(host computer)等下载程序。

如上所述，辅助装置600是使用通用的计算机来实现的，因此不作进一步详细的说明。

这样的辅助装置600与视觉传感器100及机械手控制装置200均能够进行数据通信，所以能够收集各种数据。于是，本实施方式的辅助装置600也可以从视觉传感器100收集当进行调整时作为计测处理的对象的图像。

在从该视觉传感器100收集作为计测处理对象的图像的情况下，将各图像与所对应的计数值及计测值(坐标值以及角度等)相关联地进行存储。这些信息会经由网络NW从视觉传感器100发送至辅助装置600。然后，存储于辅助装置600的硬盘64等中。

尤其是，将所对应的计数值作为关键字(key)，来将图像和计测结果相关联地进行存储，由此能够使用与所期望的时刻相对应的计数值来容易地检索所需要的图像和计测结果。

通过准备这样的图像和计测结果的数据库，能够提供如下所述的功能。即，在机械手300中，通过将机械手动作(定位和跟踪处理)与计数值相关联地进行记录，能够使机械手动作与所对应的图像处理相关联。这样，例如在把持动作失败等情况下，为了追查失败原因，能够在辅助装置600上再现作为把持对象的工件的图像和计测结果。因此，能够更加容易地对不良原因进行解析。

<J.优点>

根据本实施方式，则在视觉传感器100(图像处理部120)的内部对工件的位置信息执行重复排除处理，该工件的位置信息是通过对拍摄部110拍摄得到的图像进行计测处理来得到的。因此，在从视觉传感器100输出至外部的工件的检测结果中，部存在同一个工件的重复的位置信息。因此，在接收该工件的检测结果的机械手控制装置200(以及机械手300)中，能够省略掉用于排除重复的位置信息的特别处理。因此，即使采用不具有与重复排除处理相关的功能的通用的机械手300以及用于操作该机械手300的机械手控制装置200，也无需花费工时及成本，就能够容易地实现高精度的输送机跟踪等处理。

另外，根据本实施方式，则视觉传感器100(图像处理部120)直接接受对来自编码器14的脉冲信号的输入动作，所以拍摄动作以及对通过该拍摄动作来得到的图像的计测处理，不会受到机械手控制装置200的程序执行周期的影响。

另外，根据本实施方式，则不管机械手控制装置200在什么时刻发出了拍摄指示，都能够在视觉传感器100(拍摄部110)上正确地取得拍摄时的计数值。由此，即使在拍摄指示和实际的拍摄动作之间发生了无法忽视的延迟时间，也能够实现正确的跟踪处理以及对机械手300的正确的控制。进而，即使在输送机的速度发生了变化的情况下，也能够正确地取得拍摄时的计数值，所以无需依赖于输送机速度来调整与计数器的动作相关的参数。

这次公开的实施方式在所有方面应视为例示，而不可视为限定。本发明的范围会通过权利要求书来示出而不是上述的说明，其包括与权利要求书等同的含义和其范围内的全部变更。

Claims (9)

1.一种图像处理装置，与配置成能够拍摄被搬运装置搬运的工件的拍摄部相连接，其特征在于，具有：

管理单元，其对所述搬运装置上的工件的位置信息进行管理；

第一接口，其接收用于表示所述搬运装置的搬运路径上的移动量的信号；

第二接口，其用于与控制装置进行通信，该控制装置在所述搬运路径上配置于所述拍摄部的拍摄范围的下游侧，用于控制对所述工件进行处理操作的移动机械；

取得单元，其对所述拍摄部拍摄得到的图像进行计测处理，从而取得与图像中的事先登记的工件相对应的区域的位置信息；

更新单元，其将所述管理单元所管理的工件的位置信息更新为与所述拍摄部进行了拍摄的时刻相对应的值；

决定单元，其对通过所述更新单元来更新后的位置信息和通过所述计测处理来取得的工件的位置信息进行比较，从而确定新搬运至所述拍摄部的拍摄范围内的工件；

发送单元，其将所述决定单元所确定的工件的位置信息发送至所述控制装置。

2.如权利要求1所述的图像处理装置，其特征在于，所述发送单元以通过所述移动机械的坐标系来定义的值的形式发送所述工件的位置信息。

3.如权利要求1或2所述的图像处理装置，其特征在于，所述发送单元将所述工件的位置信息和对应的所述搬运路径上的移动量发送至所述控制装置。

4.如权利要求1或2所述的图像处理装置，其特征在于，

所述管理单元将所述工件的位置信息和所述搬运路径上的移动量建立对应关系来进行管理，

所述更新单元利用所述拍摄部进行了拍摄的时刻的所述搬运路径上的移动量和与各工件的位置信息相对应的搬运路径上的移动量之间的差分，对所述工件的位置信息进行校正。

5.如权利要求1或2所述的图像处理装置，其特征在于，还具有用于显示引导画面的引导单元，该引导画面用于设定参数组，该参数组用于将所述拍摄部的拍摄范围内的坐标值变换为所述移动机械的坐标系的坐标值。

6.如权利要求1所述的图像处理装置，其特征在于，所述拍摄部的拍摄周期设定为，在时间上连续的两个拍摄时刻的拍摄范围彼此相重叠。

7.如权利要求1所述的图像处理装置，其特征在于，在更新后的所述位置信息和通过所述计测处理来取得的工件的位置信息之间的偏差小于事先决定的值的情况下，所述决定单元判断为比较对象的位置信息是同一个工件的位置信息。

8.一种图像处理系统，其特征在于，

具有：

拍摄部，其配置成能够拍摄被搬运装置搬运的工件，

控制装置，其在所述搬运装置的搬运路径上配置于所述拍摄部的拍摄范围的下游侧，用于控制对所述工件进行处理操作的移动机械，

图像处理装置，其与所述拍摄部及所述控制装置相连接；

所述图像处理装置具有：

管理单元，其对所述搬运装置上的工件的位置信息进行管理，

第一接口，其接收用于表示所述搬运装置的搬运路径上的移动量的信号，

第二接口，其用于与所述控制装置进行通信，

取得单元，其对所述拍摄部拍摄得到的图像进行计测处理，从而取得与图像中的事先登记的工件相对应的区域的位置信息，

更新单元，其将所述管理单元所管理的工件的位置信息更新为与所述拍摄部进行了拍摄的时刻相对应的值，

决定单元，其对通过所述更新单元来更新后的位置信息和通过所述计测处理来取得的工件的位置信息进行性比较，从而确定新搬运至所述拍摄部的拍摄范围内的工件，

发送单元，其将所述决定单元所确定的工件的位置信息发送至所述控制装置。

9.一种引导装置，适用于与配置成能够拍摄被搬运装置搬运的工件的拍摄部相连接的图像处理装置，其特征在于，

所述图像处理装置能够与控制装置进行通信，

所述图像处理装置能够与控制装置进行通信，该控制装置在所述搬运装置的搬运路径上配置于所述拍摄部的拍摄范围的下游侧，用于控制对所述工件进行处理操作的移动机械，

所述引导装置具有：

显示单元，

第一画面显示用单元，其用于将第一画面显示在所述显示单元，该第一画面促使用户将包含校准用图案的薄片配置在所述拍摄部的视场内，

第二画面显示用单元，其用于将第二画面显示在所述显示单元，该第二画面促使用户将所述薄片配置在所述移动机械的工作范围的上游侧并将所述移动机械定位至所述薄片中的特定的图案，

第三画面显示用单元，其用于将第三画面显示在所述显示单元，该第三画面促使用户将所述薄片配置在所述移动机械的工作范围的下游侧并将所述移动机械定位至所述薄片中的特定的图案，

接受输入单元，其分别与所述第一～第三画面的各画面相对应地接受对所述搬运装置的搬运路径上的移动量的输入动作，

计算单元，其基于所输入的信息来计算参数组，该参数组用于将所述拍摄部的拍摄范围内的坐标值变换为所述移动机械的坐标系的坐标值。

Images