CN103313921A - 图像处理装置及图像处理系统 - Google Patents

Abstract

本发明的图像处理装置包括：第一接口（14），接收表示搬运装置（10）在搬运路径上的移动量的信号；第二接口（NW），与用于控制移动设备（300）的控制装置（200）通信，移动设备（300）在搬运路径中配置在拍摄部的拍摄范围的下游一侧，并且处理工件；获取单元（100），对通过拍摄部（100）拍摄而获得的图像进行计测处理，来获取图像中与事先登记的工件对应的区域的位置信息；保持单元，与控制装置（200）同步地保持搬运路径的移动量；开始单元（100），响应拍摄指示，使进行拍摄部开始拍摄；发送单元，向控制装置发送位置信息和拍摄出用于获取该位置信息的图像时的移动量。

Description

图像处理装置及图像处理系统

技术领域

本发明涉及一种面向输送机跟踪等的图像处理装置及图像处理系统。

背景技术

在工厂自动化（FA）领域，为了实现节能，大多采用利用图像处理来控制各种工序的技术。作为这种图像处理技术的应用例之一，有如下的作业工序：利用带式输送机（传送带）等的搬运装置搬运工件，并且利用移动设备（下面，称为“工业用机械手”或简称为“机械手”）来追踪（跟踪）及把持（抓住，握住）处于搬运过程中的工件。这种作业工序也被称为输送机跟踪等。

在该输送机跟踪的技术中，通过利用拍摄装置对搬运装置上的工件进行拍摄（拍摄），并且利用图像处理装置对通过上述拍摄而获取的图像进行图案匹配或二值化处理等的计测处理，来确定各工件的存在位置（坐标）。然后，基于所确定的各工件的存在位置（坐标），使机械手追踪及把持各工件。

例如，在专利文献1（日本特开平09-072717号公报）中，公开了如下的结构：通过利用视觉传感器以简单的系统获取/处理图像，来应用于机械手的跟踪处理等。

另外，虽然不是面向输送机跟踪，但作为与视觉传感器相关的现有技术文献，列举有专利文献2（日本特开2005-293567号公报）、专利文献3（日本特开2005-063176号公报）及专利文献4（国际公开WO2006/075354小册子）。

在专利文献2中，公开了如下的计测装置：该计测装置能够向外部控制设备一并输出计测对象物的计测值以及与获取计测值的时间相关的信息。

在专利文献3中，公开了如下的物体识别装置：对像输送机上的工件这样的相对于拍摄单元移动的物体进行拍摄处理，对该拍摄处理的拍摄结果进行图像处理，来识别工件的状态。特别是，专利文献3公开了如下的物体识别装置：高精度地获得在拍摄时间点的拍摄单元与工件之间的位置关系，从而能够获得高精度的图像处理结果。

在专利文献4中，公开了如下的结构：该结构虽然不是面向输送机跟踪，但在以没有对作为半导体芯片的工件进行定位的方式将其载置在XY台上的情况下，该结构用于通过利用拍摄头（照相机）对工件进行拍摄，来将工件定位在事先指定的位置。

现有技术文献

专利文献

专利文献1：日本特开平09-072717号公报

专利文献2：日本特开2005-293567号公报

专利文献3：日本特开2005-063176号公报

专利文献4：国际公开WO2006/075354小册子

发明内容

发明要解决的问题

在上述的专利文献1的结构中，为了检测移动量，在输送机安装有脉冲编码器，并将从脉冲编码器输出的检测结果输入至机械手控制部。图像处理装置及具有拍摄头的视觉传感器利用脉冲编码器输出的检测结果，来进行拍摄或跟踪。

然而，在专利文献1的结构中，在判断为从脉冲编码器输出的检测满足规定条件的时间点，图像处理装置向视觉传感器发出拍摄指示，向该视觉传感器发出拍摄指示的时间点与在实际上视觉传感器进行拍摄的时间点不完全一致，而是生成少许的时滞。与该时滞的长度相比，在输送机的搬运速度相对较低的情况下，不会产生什么大问题，但若输送机的搬运速度高速化，则该时滞会导致产生跟踪偏离等。

于是，在专利文献2中，公开了用于排除这种时滞的一个方法。更具体来说，专利文献2公开了如下的结构：在信号处理部设置有计测控制部，通过测定计测时的时间，来将计测时的时间信息添加到计测结果中并输出添加后的计测结果。在将这种结构应用到上述的输送机跟踪的情况下，在搬运装置的搬运速度恒定的情况下，通过基于该计测时的时间信息，计算移动量，能够减少上述这样的时滞带来的影响。

然而，在现实的生产线中，由于搬运装置的搬运速度发生变化，所以有时仅是直接利用专利文献2的方法，不能可靠地进行跟踪处理。

另外，专利文献3公开了如下的结构：不利用由编码器计测的计测结果，而是利用独立于编码器之外设置的触发传感器，来生成拍摄时间点。此时，由于在利用触发传感器检测出工件到达的时间点与拍摄的时间点之间产生时滞，所以利用由编码器计测的计测结果，来生成在拍摄时的工件与拍摄单元之间的位置关系的信息，并利用该位置关系的信息来进行图像识别。

然而，在现实的生产线中，在多数的情况下，在搬运路径上配置多个工件，利用在专利文献3中公开的触发传感器检测工件到达并不现实。因此，应用专利文献3的方法，也不能可靠地进行跟踪处理。

而且，在专利文献4中，将来自位置检测器的位置检测信号经由马达控制装置发送至图像处理装置。图像处理装置一边利用拍摄头对导体芯片进行拍摄，一边基于来自主控装置的位置指令信号和来自位置检测器的位置检测信号，控制马达控制装置。在专利文献4中公开的结构中，以如下情况为前提：将来自位置检测器的位置检测信号经由马达控制装置向图像处理装置进行发送会有延迟，该延迟与对XY台进行定位控制的周期相比，能够忽略该发送延迟。由此，专利文献4的方法不能直接应用于输送机跟踪等。因此，即使采用专利文献4的方法，也不能可靠地进行跟踪处理。

于是，本发明是为了解决上述的问题而提出的，目的在于，提供一种视觉传感器，即使在对拍摄装置发出拍摄指示开始到在实际进行拍摄为止的期间内存在时滞的情况下，也能够准确地进行跟踪处理。

用于解决问题的手段

根据本发明的一个技术方案，提供一种图像处理装置，其与拍摄部连接，拍摄部被配置为对在搬运装置上被搬运的工件进行拍摄，该图像处理装置的特征在于，具有：第一接口，其接收表示搬运装置在搬运路径上的移动量的信号；第二接口，其用于与用于控制移动设备的控制装置进行通信，移动设备在搬运路径中配置在拍摄部的拍摄范围的下游一侧，并且处理工件；获取单元，其通过对由拍摄部进行拍摄而获得的图像进行计测处理，来获取图像中的与事先登记的工件对应的区域的位置信息；保持单元，其与控制装置同步地保持在搬运路径上的移动量；开始单元，其响应拍摄指示，使拍摄部开始拍摄；发送单元，其向控制装置发送位置信息和拍摄出用于获取该位置信息的图像时的移动量。

优选地，位置信息包括坐标值，该坐标值用移动设备的坐标系，来表示图像中的与事先登记的工件对应的区域。

更优选地，位置信息还包括旋转角度，旋转角度是指，以事先登记的工件的姿势为基准，表示图像中的与该工件对应的区域相对于基准的旋转角度。

优选地，表示搬运装置在搬运路径上的移动量的信号，是脉冲信号。

更优选地，脉冲信号，被输入至图像处理装置及控制装置；同步进行保持的保持单元包括第一计数器，第一计数器用于对脉冲信号所含的脉冲数进行计数；针对计数，第一计数器和第二计数器设定有相同的参数，第二计数器用于由控制装置对脉冲信号所含的脉冲数进行计数。

更优选地，第一计数器，在开始对脉冲信号所含的脉冲数进行计数之前，与第二计数器一起被重置。

或者，优选地，脉冲信号被输入至图像处理装置；同步进行保持的保持单元包括计数器，计数器用于对脉冲信号所含的脉冲数进行计数；向控制装置发送的发送单元，其用于发送/接收的延迟时间为恒定。

优选地，用计数器的计数值，表示拍摄出用于获取位置信息的图像时的移动量。

优选地，图像处理装置从控制装置接收拍摄指示。

根据本发明的另一个技术方案，提供一种图像处理系统，其具有：具有：拍摄部，其被配置为对在搬运装置上被搬运的工件进行拍摄；控制装置，其用于控制移动设备，移动设备在搬运装置的搬运路径中被配置在拍摄部的拍摄范围的下游一侧，并且处理工件；图像处理装置，其与拍摄部及控制装置连接。图像处理装置具有：接口，其接收表示搬运装置在搬运路径上的移动量的信号；获取单元，其通过对由拍摄部进行拍摄而获得的图像进行计测处理，来获取图像中的与事先登记的工件对应的区域的位置信息；保持单元，其与控制装置同步地保持在搬运路径上的移动量；开始单元，其响应拍摄指示，使进行拍摄部开始拍摄；发送单元，其向控制装置发送位置信息和拍摄出用于获取该位置信息的图像时的移动量。

发明的效果

根据本发明，提供一种图像处理装置及包括该图像处理装置的图像处理系统，即使在从对拍摄装置发出拍摄指示开始到在实际进行拍摄为止的期间内存在时滞的情况下，也能够准确地进行跟踪处理。

附图说明

图1是表示利用了本发明的第一实施方式的视觉传感器的输送机跟踪系统的结构的示意图。

图2是用于说明利用了本发明的第一实施方式的视觉传感器的输送机跟踪系统的定位及跟踪处理的图。

图3是表示针对利用了本发明的第一实施方式的视觉传感器的输送机跟踪系统的硬件结构的示意图。

图4是表示比较本发明的实施方式的输送机跟踪系统与相关的结构的图。

图5是表示与本发明相关的跟踪系统的控制动作的流程图（Sequencediagram）。

图6是表示与本发明相关的跟踪系统的控制动作的时序图。

图7是表示本发明的第一实施方式的跟踪系统的控制动作的流程图。

图8是表示在本发明的第一实施方式的跟踪系统中所发送的计测结果的格式例子的图。

图9是表示本发明的第一实施方式的跟踪系统的控制动作的时序图。

图10是表示本发明的第一实施方式的变形例的跟踪系统的控制动作的时序图。

图11是表示本发明的第一实施方式的另一个变形例的跟踪系统的控制动作的时序图。

图12是表示本发明的第一实施方式的机械手控制装置的处理的流程图。

图13是表示本发明的第一实施方式的跟踪系统的整体控制动作的时序图。

图14是用于说明利用了本发明的第二实施方式的视觉传感器的输送机跟踪系统的定位及跟踪处理的图。

图15是表示针对利用了本发明的第二实施方式的视觉传感器的输送机跟踪系统的硬件结构的示意图。

图16是用于说明本发明的第二实施方式的现场网络（Field Netwrok）的延迟时间的影响的图。

图17是表示本发明的第三实施方式的支持装置的硬件结构的示意图。

具体实施方式

在本发明的实施方式中，参照附图进行详细说明。此外，针对图中的相同或相当的部分，标注相同的附图标记，并不重复进行说明。

［第一实施方式］

＜A.系统结构＞

图1是表示利用了本发明的第一实施方式的视觉传感器的输送机跟踪系统的结构的示意图。图1示出的输送机跟踪系统，包括两个搬运装置（输送机）10及20。输送机10及20分别由驱动辊12及22旋转驱动。以下，输送机10及20还分别称为输送线1及输送线2。在图1示出的例子中，输送线1向纸面右侧移动，输送线2向纸面左侧移动。搬出装置30等从纸面左侧向输送线1随机地提供工件W。该输送线1上的工件W从纸面左侧向纸面右侧移动。作为工件W，典型地，假设有点心等的食品、各种药片等。

本实施方式的视觉传感器100设置在输送线1上的规定位置。如后述的那样，视觉传感器100是由拍摄部和图像处理部一体构成的，拍摄部用于对工件等的拍摄对象进行拍摄，图像处理部用于对通过该拍摄部拍摄的图像进行处理。此外，还可以分别构成拍摄部和图像处理部。

视觉传感器100设定为其拍摄视野（拍摄视场）包括输送线1在宽度方向（与搬运方向正交的方向）上的整体。然后，通过使视觉传感器100以规定周期进行拍摄，能够对在输送线1上随机搬运的工件W依次进行拍摄。视觉传感器100通过对依次拍摄的图像进行图案匹配等的计测处理，从而对各工件进行定位及跟踪处理。这样，视觉传感器100的拍摄部（图3示出的拍摄部110）配置为对在作为搬运装置的输送机10上被搬运的工件W进行拍摄。然后，该拍摄部与图像处理装置（图3示出的图像处理部120）连接。

在输送线1的搬运方向上，在视觉传感器100的下游一侧配置有机械手300，该机械手300把持工件W并使工件W向输送线2移动。该机械手300具有用于把持工件W的手臂，通过使该手臂向目的位置移动，来把持输送线2上的工件。即，机械手300沿着作为搬运装置的输送机10（输送线1）的搬运路径，配置在视觉传感器100的拍摄部的拍摄范围的下游一侧，相当于处理（取、放）工件W的移动设备。更具体来说，机械手300将该手臂定位于目的的工件W上，拾起（picking）工件W并将其排列在输送线2上。

机械手300还配置在移动机构400（参照图2）上，移动机构400用于使机械手300沿着输送线1移动，在规定的范围内移动。将该机械手300的移动范围也称为跟踪范围。

利用设置于输送线1的编码器14得出的检测结果，来对机械手300的跟踪处理及定位处理进行控制。典型地，该编码器14采用旋转编码器（rotaryencoder），伴随着旋转而产生脉冲信号。对所产生的脉冲信号的脉冲数进行计数，由此，与输送机10（输送线1）连接的辊的旋转数（转速），即编码器14所产生的脉冲信号，相当于表示作为搬运装置的输送机10在搬运路径上的移动量的信号，基于该脉冲信号，计算输送机10的移动量。

机械手300根据来自机械手控制装置200的指示进行动作。即，机械手控制装置200为用于控制作为移动设备的机械手300的控制装置。机械手控制装置200经由网络NW而与视觉传感器100连接，基于由视觉传感器100检测出的各工件W的位置，向机械手300发出工件W的把持动作所需的指示。

机械手控制装置200与控制器（Teaching pendant，编程器）2100连接，控制器用于进行机械手300的校准等。用户操作控制器2100，使机械手300移动至校准等所需的位置。

在网络NW上除了连接有视觉传感器100及机械手控制装置200以外，还可以将操作显示装置500及支持装置600与网络NW连接。操作显示装置500显示来自视觉传感器100的处理结果或来自机械手控制装置200的机械手300的动作状态等，并且响应于来自用户的操作，向视觉传感器100及/或机械手控制装置200发出各种指示。

在图1示出的输送机跟踪系统中，为了提高生产率，存在进一步提高输送线速度（搬运速度）的潜在需要。为了满足这种需要，在本实施方式的输送机跟踪系统中，采用如下的结构：不仅向机械手控制装置200输入编码器14所产生的脉冲信号，还向视觉传感器100输入该脉冲信号。像这样，通过使视觉传感器100及机械手控制装置200同步获取作为对象的搬运装置（输送机）的位置信息，即使在因经由机械手控制装置200与视觉传感器100之间的网络NW的通信而引起的延迟时间成为问题情况下，也能够避免该延迟时间带来的影响。针对详细的内容，在后面进行说明。

＜B.定位及跟踪处理＞

接着，针对图1示出的输送机系统的定位及跟踪处理，进行详细的说明。

图2是用于说明利用了本发明的第一实施方式的视觉传感器的输送机跟踪系统的定位及跟踪处理的图。参照图2，视觉传感器100利用内置的拍摄部对输送线1进行拍摄。根据来自机械手控制装置200的拍摄指示，开始视觉传感器100的拍摄动作。经由连接视觉传感器100和机械手控制装置200的网络NW，传送该拍摄指示。典型地，该网络NW能够采用以太网（注册商标）等的通用的网络。

视觉传感器100从机械手控制装置200接收拍摄指示，响应于该拍摄指示而开始拍摄。由此，视觉传感器100依次获取拍摄了拍摄视野的图像。然后，视觉传感器100对该图像执行计测处理（典型地，基于针对事先登记的工件W的模型图像进行图案匹配处理或二值化处理）。视觉传感器100还将通过上述计测处理获得的各工件W在拍摄时的位置信息（X，Y，θ），发送至机械手控制装置200。这样，视觉传感器100对通过拍摄部拍摄而获得的图像进行计测处理，从而获取图像中的与事先登记的工件对应的区域的位置信息。

位置信息包括输送机10上的工件W的位置（X，Y）及工件W的旋转角度（θ）。此外，从简化机械手控制装置200的重复排除处理等的观点来看，工件W的位置（X，Y）能够使用换算成用于控制机械手300的坐标系的值。例如，如图2所示，用X坐标（输送机的搬运方向）及Y坐标（与输送机的搬运方向正交的方向），定义机械手300的手臂（拾起）位置，利用该XY坐标系（下面，还称为机械手坐标系），来确定通过图案匹配处理检测出的各工件的位置。即，位置信息包括坐标值，该坐标值利用作为移动设备的机械手300的坐标系“机械手坐标系”，来表示通过拍摄获取的图像中的与事先登记的工件对应的区域。如上所述，事先对视觉传感器100及机械手控制装置200进行校准，从而能够输出各工件W的计测出的位置信息，来作为机械手坐标系的值。

另外，工件W的旋转角度（θ）是指，以工件W的模型图像为基准的情况的旋转角度。即，位置信息还包括旋转角度，该旋转角度是指，以事先登记的工件的姿势为基准，表示图像中的与该工件对应的区域相对于该基准的旋转角度。能够根据工件W的形状，基于该旋转角度的信息，适当地控制机械手300的手臂的旋转角度等。

更具体来说，机械手控制装置200对来自编码器14的脉冲信号所含的脉冲数进行计数，在输入了在事先规定的值以上个数的脉冲的时间点，经由网络NW向视觉传感器100发送拍摄指示。

经由网络NW将来自视觉传感器100的各工件的位置信息发送至机械手控制装置200，并将该位置信息保存在位于机械手控制装置200内部的存储器。对视觉传感器100依次进行拍摄，由此，会在不同时间点对相同的工件W进行拍摄。在该情况下，重复向机械手控制装置200发送针对相同工件W的位置信息，但该机械手控制装置200排除这种重复，并将上述位置信息存储到存储器内。另外，每当接收到来自编码器14的脉冲信号时，机械手控制装置200更新保存在存储器内的全部工件W的位置信息（坐标值X，Y）。这是因为，在机械手控制装置200的存储器内，要跟踪实际在带式输送机上搬运的工件W。并且，若任意一个工件W在更新之后的位置信息（坐标值）落入机械手300的跟踪范围，则对机械手300发出把持动作所需的指示。

向视觉传感器100及机械手控制装置200输入根据设置于输送线1的编码器14的检测结果而生成的脉冲信号。视觉传感器100及机械手控制装置200分别具有编码计数器，该编码计数器用于对脉冲信号所含的脉冲数进行计数。与此同时，向视觉传感器100及机械手控制装置200输入来自编码器14的脉冲信号，因此，若在相同时间点将各编码计数器初始化（计数器重置），则针对在此后输入的脉冲信号的计数值为彼此相同的值，即，能够实现计数值的同步。

更具体来说，在视觉传感器100及机械手控制装置200中，都事先设定有输送机的移动量，该输送机的移动量是指，与来自编码器14的脉冲信号所含的一个脉冲相对应的输送机的移动量。进而，针对视觉传感器100及机械手控制装置200的各自的编码计数器，也设定有彼此相同的参数（计数器最大值、计数器最小值、与一个脉冲对应的增加值等）。即，就计数而言，对视觉传感器100的编码计数器和机械手控制装置200的编码计数器设定相同的参数。

另外，在运转生产线之前，将这些编码计数器的计数值初始化为0。即，在开始对脉冲信号所含的脉冲数进行计数之前，一并重置视觉传感器100的编码计数器和机械手控制装置200的编码计数器。

这样，在本实施方式中，能够实现在视觉传感器100和机械手控制装置200之间同步保持输送机10的搬运路径的移动量的方式（单元）。

特别是，本实施方式的视觉传感器100按照来自机械手控制装置200的拍摄指示，将实际进行拍摄时的计数值添加到各工件的位置信息中，并将其发送至机械手控制装置200。如上所述，由于视觉传感器100与机械手控制装置200同步地保持计数值，因此，即使在从机械手控制装置200发送拍摄指示的时间点与视觉传感器100响应拍摄指示而实际进行了拍摄的时间点之间存在时滞，也能够在共同（通用）的时间轴上确定实际进行了拍摄的时间点，即，利用同步了的计数值来确定实际进行了拍摄的时间点。

这样，视觉传感器100向机械手控制装置200发送检测出的工件W的位置信息和在拍摄出用于获取该位置信息的图像时的输送机10的移动量。用计数器的计数值来表示在拍摄出用于获取该工件W的位置信息的图像时的移动量。

机械手控制装置200利用从视觉传感器100接收的在拍摄时的计数值，修正了所对应的位置信息之后，将修正后的位置信息保存在装置自身的存储器内。由此，输送线速度很快，能够避免从输出拍摄指示到实际的拍摄为止的时滞对机械手300的定位及跟踪处理造成影响的情况。

＜C.硬件结构＞

图3是表示针对利用了本发明的第一实施方式的视觉传感器的输送机跟踪系统的硬件结构的示意图。参照图3，视觉传感器100包括拍摄部110和图像处理部120。

拍摄部110为对存在于拍摄视野的拍摄对象进行拍摄的装置，作为主体的结构要素，包括透镜或光圈等的光学系统、CCD（Charge Coupled Device：电荷耦合元件）图像传感器或CMOS（Complementary Metal OxideSemiconductor：互补金属氧化物半导体）图像传感器等的受光元件。拍摄部110按照来自图像处理部120的指令，进行拍摄，并且向图像处理部120输出通过上述拍摄而获得的图像数据。

图像处理部120包括CPU（Central Processing Unit：中央处理器）122、存储器124、拍摄控制部126、通信接口（I/F）128、输入/输出接口（I/F）130、编码计数器132。经由总线134以能够彼此之间进行数据通信的方式连接这些组件。

CPU122为在图像处理部120中进行主要计算的处理器。存储器124保存由CPU122执行的各种程序、由拍摄部110拍摄的图像数据、各种参数等。典型地，存储器124由DRAM（Dynamic Random Access Memory：动态随机存储器）等的易失性存储装置和FLASH（快闪）存储器等的非易失性存储装置构成。

拍摄控制部126按照来自CPU122等的内部指令，对所连接的拍摄部110的拍摄动作进行控制。拍摄控制部126具有向拍摄部110发送各种指令的接口、接收来自拍摄部110的图像数据的接口。

通信接口128与机械手控制装置200之间交换各种数据。典型地，经由以太网（注册商标）连接视觉传感器100及机械手控制装置200，通信接口128为遵照这种以太网（注册商标）协议的硬件。

输入/输出接口130从图像处理部120向外部输出各种信号，或输入来自外部的各种信号。特别是，输入/输出接口130接收在编码器14中生成的脉冲信号，将该信号转换成数字信号，并将其输出至编码计数器132。

编码计数器132对来自编码器14的脉冲信号所含的脉冲数进行计数。由于该编码计数器132基本上与CPU122的计算周期相独立地动作，所以不会漏掉来自编码器14的脉冲信号所含的脉冲数。

另一方面，机械手控制装置200包括计算处理部210、通信接口（I/F）228、输入/输出接口（I/F）230、编码计数器232、拾起控制部240、移动控制部250。

计算处理部210为如下的处理器：基于来自视觉传感器100的位置信息，进行用于对机械手300及移动机构400输出指令的计算，该计算处理部210包括用于跟踪各个工件W的存储器220。在存储器220内保存有通过视觉传感器100的计测处理而检测出的各个工件W的位置信息。计算处理部210按照作为对象的输送机的移动（基于来自编码器14的脉冲信号进行检测），依次更新各个工件W的位置信息。

通信接口（I/F）228与视觉传感器100的图像处理部120之间交换各种数据。典型地，经由以太网（注册商标）连接视觉传感器100及机械手控制装置200，通信接口228为遵照这种以太网（注册商标）协议的硬件。

输入/输出接口230从机械手控制装置200向外部输出各种信号，或输入来自外部的各种信号。特别是，输入/输出接口230接收在编码器14生成的脉冲信号，将该信号转换成数字信号，并将其输出至编码计数器232。

编码计数器232对来自编码器14的脉冲信号所含的脉冲数进行计数。由于该编码计数器232基本上与计算处理部210的计算周期相独立地动作，所以不会漏掉来自编码器14的脉冲信号所含的脉冲数。

拾起控制部240按照来自计算处理部210等的内部指令，对所连接的机械手300的把持动作进行控制。拾起控制部240具有发送机械手300的各个可动轴的目标位置等的接口、接收机械手300的各个可动轴的当前位置的接口。

移动机构400按照来自计算处理部210等的内部指令，对驱动所连接的机械手300的移动机构400的跟踪进行控制。移动机构400具有发送移动机构400的目标位置及目标速度等的接口、接收移动机构400的移动轴的当前位置的接口。

＜D.本发明的课题＞

接着，针对本发明的课题等，进行更加详细的说明。

图4是表示对比本发明的实施方式的输送机跟踪系统和相关的结构的图。即，图4（a）示意性地表示与本发明相关的输送机跟踪系统的结构，图4（b）示意性地表示本实施方式的输送机跟踪系统的结构。

在图4（a）示出的与本发明相关的输送机跟踪系统中，仅将来自检测输送机10的移动量的编码器14的脉冲信号输入至机械手控制装置200。在该结构中，机械手控制装置200基于来自编码器14的脉冲信号，每当输送机10仅移动规定距离时，就向图像处理部120A发出拍摄指示。图像处理部120A响应来自机械手控制装置200的拍摄指示，对拍摄对象进行拍摄，对通过上述拍摄获得的图像数据执行计测处理。然后，从图像处理部120A将上述计测处理的结果返回至机械手控制装置200。

此外，以使拍摄部110的上次拍摄的拍摄范围与本次拍摄的拍摄范围之间至少有一部分重复的方式，设定拍摄部110的拍摄时间点。这是因为，为了能够对在输送机10上传送的全部工件W进行拍摄，需要在各拍摄的拍摄范围之间设定一定程度的余量。

在采用了如图4（a）所示的系统结构的情况下，若输送机的搬运速度（输送线速度）升高，则会产生不能准确进行跟踪处理的情况。下面，针对产生这种情况的理由，参照图5及图6，进行说明。

图5是表示本发明相关的跟踪系统的控制动作的流程图。图6是表示本发明相关的跟踪系统的控制动作的时序图。

图5表示每当输送机10仅移动规定距离时，机械手控制装置200即向拍摄部110（经由图像处理部120A）发出拍摄指示的情况的处理。参照图5，机械手控制装置200的计算处理部210，判断来自编码器14的脉冲信号所含的脉冲数是否从在上次拍摄时的值增加了规定值以上（步骤S100）。即，判断编码计数器232的当前的计数值是否增加了与拍摄时间相当的距离以上。

若来自编码器14的脉冲信号所含的脉冲数到达规定值以上，则机械手控制装置200的计算处理部210参照编码计数器232，获取当前的计数值（C0’）（步骤S102）。接着，机械手控制装置200的计算处理部210向图像处理部120A发送拍摄指示（步骤S104）。经由网络NW，向该拍摄指示传送图像处理部120A。图像处理部120A响应来自机械手控制装置200的拍摄指示，使拍摄部110执行拍摄（步骤S106）。向图像处理部120A传送通过拍摄部110进行拍摄而获得的图像。图像处理部120A对来自拍摄部110的图像执行计测处理（步骤S108）。图像处理部120A还向机械手控制装置200发送通过步骤S108的计测处理而获得的计测结果（各个工件的位置信息（X，Y，θ））（步骤S110）。

机械手控制装置200基于来自图像处理部120A的计测结果，执行重复排除处理（步骤S112）。如上所述，以使在连续进行的拍摄之间，各个拍摄范围重复的方式控制拍摄部110的拍摄时间点。因此，相同的工件W会被包括在多个图像中。为了防止因这种包括在多个图像中的相同的工件W而引起跟踪的不良，针对重复获取的位置信息进行削除，这种处理为重复排除处理。

机械手控制装置200的计算处理部210判断是否获取了针对新的工件W的位置信息（步骤S114），在获取了针对新的工件W的位置信息的情况（在步骤S114中判断为是的情况）下，在存储器内保存该新的位置信息（步骤S116）。然后，返回处理。

此时，在步骤S110中，就从图像处理部120A发送来的计测结果而言，机械手控制装置200将在对应的步骤S102中获取的计数值C0’所对应的上述计测结果，作为所获取的值。因此，在伴随输送机10的移动的工件W的位置信息（坐标值X，Y）的更新处理中，基于计数值C0’与在更新时间点获取的计数值C1之间的差分，计算更新量ΔX、ΔY。因此，与各个工件W的位置信息相关联的表示拍摄时间点的计数值C0’必须准确地反映实际的拍摄时间点。

然而，在图4（a）示出的结构中，有时在步骤S102中获取的计数值C0’不能准确地反映实际的拍摄时间点。即，出于以下示出的（1）及（2）的主要原因，有致使在从机械手控制装置200发送拍摄指示到在实际上进行拍摄为止的期间内产生延迟（时滞）的可能性，因此，在输送机10的搬运速度很高的情况下，由于获取的计数值与表示本来的拍摄时间点的计数值相乖离（背离），所以所产生的延迟（时滞）有可能会成为在定位及跟踪处理中不能忽略的误差。

（1）由于机械手控制装置200在接收了来自编码器14的脉冲信号之后，产生拍摄指示，所以从脉冲信号的输入时间点到在实际上输出拍摄指示为止，机械手控制装置200所执行的程序会产生一个周期的延迟。

（2）在经由网络（例如，以太网（注册商标））连接机械手控制装置200和图像处理部120A之间的情况下，会产生拍摄指示的传送延迟。

参照图6，针对更具体的控制动作，进行说明。在图6示出的时序图中，机械手控制装置200构成为每当从编码器14产生三个脉冲数时，即产生拍摄指示。将编码计数器232初始化（计数器重置），首先，当编码计数器232的计数值到达“3”时，向图像处理部120A输出拍摄指示。但是，由于机械手控制装置200的计算处理部210能够判断计数值到达“3”的时间点在计数值在实际上到达了“3”之后，所以在输送机10的搬运速度相对较大的情况下，有可能已经输入了下一个脉冲。即，如图6所示，在机械手控制装置200输出拍摄指示的时间点中，编码计数器232的计数值有可能已经变为“4”。

而且，在从机械手控制装置200经由网络NW向图像处理部120A发送拍摄指示的情况下，会产生传送延迟，进而，连续地执行拍摄部110的拍摄动作及图像处理部120A的计测处理，此后，再次经由网络，将计测结果返回机械手控制装置200。

由于经过上述的一系列的处理，所以，例如，即使设定为在编码计数器232到达“3”的时间点输出拍摄指示，仍然有可能实际进行拍摄的时间点为编码计数器232到达“5”的时间点。

在本实施方式的视觉传感器100中，采用极力消除这种延迟（时滞）对定位处理及跟踪处理造成影响的方法。

此外，为了减少因上述的延迟而引起的误差，还能够考虑利用固定量的偏移量对计数值进行修正的对应方法，但由于每当输送机10的移动速度变化时，都需要改变该偏移量，所以并不实用。

＜Ｅ.本实施方式的动作＞

接着，针对本第一实施方式的输送机跟踪系统，进行说明。在图4（b）示出的本实施方式的输送机跟踪系统中，向机械手控制装置200输入来自检测输送机10的移动量的编码器14的脉冲信号，并且还向视觉传感器100输入来自检测输送机10的移动量的编码器14的脉冲信号。视觉传感器100及机械手控制装置200分别具有编码计数器132及232。各个编码计数器彼此独立地对来自编码器14的脉冲信号所含的脉冲进行计数。此外，这些编码计数器132及232都会在动作之前都被重置计数，并且将这些编码计数器132及232的计数动作的参数设定为彼此相同。因此，由编码计数器132计数的计数值及由编码计数器232计数的计数值彼此同步，表示相同的值。

像这样，实现了视觉传感器100与机械手控制装置200同步地保持计数值的环境，并且视觉传感器100向机械手控制装置200一并发送在进行拍摄时的计数值和通过该拍摄而获得的计测结果（各个工件的位置信息）。像这样，本实施方式的视觉传感器100相关联地输出表示实际进行了拍摄的时间点的计数值和通过该拍摄而获得的计测结果。由此，能够准确地进行机械手控制装置200执行的定位及跟踪系统处理。而且，在机械手控制装置200中执行重复排除处理的情况下，也能够准确地执行该重复排除处理。

参照图7～图9，针对本实施方式的跟踪系统的控制动作，进行更加详细的说明。

图7是表示本发明的第一实施方式的跟踪系统的控制动作的流程图。图8是表示在本发明的第一实施方式的跟踪系统中所发送的计测结果的格式例的图。图9是表示本发明的第一实施方式的跟踪系统的控制动作的时序图。

与上述的图5同样地，图7表示每当输送机10仅移动规定距离时，机械手控制装置200都向拍摄部110发出拍摄指示的情况的处理。

参照图7，首先，对视觉传感器100及机械手控制装置200的任一个都设定彼此相同的参数（计数器最大值、计数器最小值、相对于一个脉冲的增加值等）（步骤S1及S2）。然后，对视觉传感器100及机械手控制装置200的编码计数器都执行重置（计数器重置）（步骤S3及S4）。针对这种编码计数器设定共同参数及执行计数器重置，能够使视觉传感器100及机械手控制装置200同步进行针对来自编码器14的脉冲信号所含的脉冲的个数的计数动作。

接着，机械手控制装置200的计算处理部210判断来自编码器14的脉冲信号所含的脉冲数是否从在上次拍摄时的值开始增加了规定值以上（步骤S5）。即，判断编码计数器232的当前的计数值是否增加了与拍摄时间相当的距离以上。

若来自编码器14的脉冲信号所含的脉冲数到达规定值以上，则机械手控制装置200的计算处理部210向视觉传感器100发送拍摄指示（步骤S6）。经由网络NW向视觉传感器100传送该拍摄指示。视觉传感器100的图像处理部120响应来自机械手控制装置200的拍摄指示，视觉传感器100的图像处理部120参照编码计数器132，获取拍摄时的计数值（C0）（步骤S7）。

接着，视觉传感器100的图像处理部120使拍摄部110执行拍摄（步骤S8）。向图像处理部120传送通过拍摄部110进行拍摄而获得的图像。图像处理部120对来自拍摄部110的图像执行计测处理（步骤S9）。而且，图像处理部120向机械手控制装置200一并发送通过步骤S9的计测处理而获得的计测结果（各个工件的位置信息（X，Y，θ））和在步骤S7中获取的计数值C0（步骤S10）。

机械手控制装置200基于来自图像处理部120的计测结果，执行重复排除处理（步骤S11）。该重复排除处理也为与上述的处理同样的处理。

机械手控制装置200的计算处理部210判断是否获取了针对新的工件W的位置信息（步骤S12），在获取了针对新的工件W的位置信息的情况（在步骤S12中判断为是的情况）下，在存储器内保存该新的位置信息（步骤S13）。然后，返回处理。

根据如图8所示的格式，发送在图7的流程图的步骤S10中发送的计测结果。作为一个例子，图8表示检测出三个与模型图像一致的工件W的情况的数据例。

即，在第一个项目栏内保存有检测出的工件W的个数即“3”，接着，在从第二到第十个项目栏内保存有针对检测出的三个工件W的位置信息（X坐标值，Y坐标值，旋转角度θ）。而且，在最后的项目栏内保存有表示特定时间点的计数值，特定时间点是指，拍摄出用于生成该检测结果的图像的时间点。图8示出的例子表示在计数值为“100”时，进行了拍摄的例子。

此外，可以易于理解到：能够根据检测个数，扩展图8示出的格式。此外，在没有检测出与事先规定的模型图像一致的工件W的情况下，可以发送“null”来作为检测结果。

参照图9，针对本实施方式的输送机跟踪系统的更加具体的控制动作进行说明。在图9示出的时序图中，机械手控制装置200构成为每当从编码器14产生三个脉冲数，即产生拍摄指示。

如上所述，针对编码计数器，对视觉传感器100及机械手控制装置200的任一个都设定共同参数，并且，事先对任一个编码计数器都进行初始化（计数器重置），因此，各个编码计数器响应从编码器14产生的脉冲信号，在实质上同步地累加计数。

在开始处理之后，首先，当编码计数器232的计数值到达“3”时，向视觉传感器100输出拍摄指示。与图6示出的时序图同样地，在机械手控制装置200输出拍摄指示的时间点，有编码计数器232的计数值已经变为“4”的可能性。而且，在从机械手控制装置200经由网络NW向视觉传感器100发送拍摄指示的情况下，会产生传送延迟。

另一方面，从视觉传感器100来看，当在某个时间点接收拍摄指示时，执行利用了拍摄部110的拍摄动作及图像处理部120A的计测处理。在进行拍摄及计测处理的同时，利用视觉传感器100获取拍摄时的计数值。然后，视觉传感器100向机械手控制装置200一并发送在拍摄时的计数值和计测结果。

以后同样地，从机械手控制装置200向视觉传感器100输出拍摄指示，视觉传感器100响应该拍摄指示，执行拍摄及计测处理。

如上所述，由于接收到添加了表示视觉传感器100的拍摄时间点的计数值的计测结果，所以机械手控制装置200能够基于与各计测值对应的计数值，进行准确的跟踪处理。

即，在本实施方式的输送机跟踪系统中，不需要严格地控制机械手控制装置200发送拍摄指示的时间点（换言之，只要以按照输送机的搬运速度的周期发送拍摄指示即可），并且，从视觉传感器100向机械手控制装置200发送的计测结果的送信延迟不会引起问题。

＜F.拍摄时计数值的决定方法的变形例＞

在上述的图9示出的时序图中，示出了在进行视觉传感器100的拍摄动作之前获取计数值的例子，但由于与编码器14发生脉冲信号的时间点相独立地进行拍摄动作，所以有时也在拍摄动作中更新计数值。特别是，只要是搬运速度高的带式输送机，则上述的可能性变得更高。

另外，根据不同的拍摄环境，还可能有需要使拍摄比编码器14发生脉冲信号的周期更长的期间的情况。

在这种情况下，在拍摄动作中（包括在开始之前及结束之后）的多个时间点分别获取计数值，可以基于所获取的多个计数值，决定表示拍摄时间点的计数值。

图10是表示本发明的第一实施方式的变形例的跟踪系统的控制动作的时序图。在图10示出的时序图中，作为一个例子，在拍摄动作的前后，分别获取计数值，通过求出该获取的两个计数值的平均值，来作为拍摄动作的计数值。

通过采用这种处理，即使在拍摄动作所需的时间比脉冲信号的产生周期长的情况下，也能够准确地获取表示拍摄时间点的计数值。

＜G.产生拍摄指示的变形例＞

如上所述，在本实施方式的输送机跟踪系统中，不需要严格地控制机械手控制装置200产生拍摄指示的时间点。因此，还可以使视觉传感器100自身在内部产生拍摄指示，来取代机械手控制装置200产生拍摄指示的方式。

图11是表示本发明的第一实施方式的另一个变形例的跟踪系统的控制动作的时序图。在图11示出的例子中，视觉传感器100参照自身的编码计数器132的计数值，每当从编码器14产生三个脉冲数时，就在内部产生拍摄指示。

从机械手控制装置200来看，由于能够获取表示进行了拍摄动作的时间点的计数值，所以即使采用这种结构，也能够没有问题地实现工件的定位及跟踪处理。而且，由于不在网络NW上传送拍摄指示，所以有能够减轻网络NW上的负担的优点。

＜H.机械手控制装置的处理＞

接着，针对机械手控制装置200的处理，进行说明。

图12是表示本发明的第一实施方式的机械手控制装置200的处理的流程图。在图12（a）～图12（d）中，例示了在机械手控制装置200中执行的主要的处理，但机械手控制装置200的处理不限于图12示出的处理。

图12（a）表示在编码器14产生了脉冲信号的情况下产生的处理。更具体来说，用于起动图12（a）的处理的事件（触发事件）为：编码器14产生脉冲信号，编码计数器232累加计数（步骤S50）。若编码计数器232累加计数，则更新保存在机械手控制装置200的存储器内的各个工件的位置信息（步骤S51）。针对该位置信息的更新方法，如下所述。

如图2所示，沿着X方向搬运工件，将机械手300的跟踪范围的右端作为X方向的原点。此时，若将编码器14的每个脉冲对应的输送机的移动量（移动矢量）作为（ΔMx，ΔMy），则当输入n个脉冲时，更新之前的位置信息为（X0，Y0，θ0）的工件W的位置信息，在更新之后的位置信息变为（X0-ΔMx×n，Y0-ΔMy×n，θ0）。即，将每个脉冲对应的输送机上的单位移动量乘以脉冲的个数而获得的值为工件W的移动量（ΔMx×n，My×n）。然后，若工件W向原点方向移动，则在更新工件的位置信息时，仅更新该移动量（移动矢量）的大小。

然后，编码计数器232直到重新累加计数为止等待。

图12（b）也表示在编码器14产生了脉冲信号的情况下产生的处理。更具体来说，用于起动图12（b）的处理的事件（触发事件）为：编码器14产生脉冲信号，编码计数器232的累加计数（步骤S50）。若编码计数器232累加计数，则判断产生拍摄指示的条件是否成立。例如，在上述的例子中，判断来自编码器14的脉冲信号所含的脉冲数是否从在上次拍摄时的值增加了规定值以上。然后，在产生拍摄指示的条件成立的情况（在步骤S50中判断为是的情况）下，从机械手控制装置200向视觉传感器100发送拍摄指示。

图12（c）是针对机械手300的把持动作进行说明的图。图12（c）的流程为：作为事件，更新了工件的位置信息（步骤S60）。更具体来说，若更新工件的位置信息，则判断在机械手300的跟踪范围内是否存在某一个工件W（步骤S61）。在机械手300的跟踪范围内存在某一个工件W的情况（在步骤S61中判断为是的情况）下，开始控制机械手300把持工件W的把持动作。具体来说，重复以下的步骤：获取在跟踪范围内的把持对象工件的位置信息（步骤S62）；计算把持对象工件与机械手300之间的偏差（步骤S63）；基于在步骤S63中计算出的偏差，生成针对机械手300及移动机构400的指示（步骤S64）；更新工件W的位置信息（步骤S65）。然后，若机械手300移动至能够把持工件W的位置，则机械手控制装置200向机械手300输出把持动作的指示（步骤S66）。接着，向把持状态的机械手300输出移动动作的指示，该移动动作的指示用于使所把持的工件W移动至目的的位置为止（步骤S67）。然后，返回处理。

用于起动图12（d）（的处理）的事件是，接收到其它位置信息。更具体来说，计算当前的位置信息（步骤S69），而且，执行重复排除处理（步骤S70）。此后，将位置信息保存到存储器内（步骤S71）。

针对步骤S69示出的计算工件W的当前的位置信息的方法，计算在拍摄时的计数值与各时点的计数值之间的差分，将该差分乘以每个脉冲对应的输送机上的单位移动量而获得的值，来作为修正量。通过将该修正量应用于计测结果（从视觉传感器100接收的工件的位置信息），来计算当前的位置信息。

图13是表示本发明的第一实施方式的跟踪系统的整体的控制动作的时序图。参照图13，例如，在机械手控制装置200的编码计数器232的计数值变为“7”的时间点，生成拍摄指示。向视觉传感器100发送该拍摄指示，执行拍摄及计测处理。然后，视觉传感器100的编码计数器132在拍摄时的计数值为“9”，并且向机械手控制装置200发送上述计测结果。

机械手控制装置200若从视觉传感器100接收到计测结果，则在重复排除处理等之后，对建立了关联的（拍摄时的）计数值（在该例子中为“9”）和当前的计数值（在该例子中为“12”）进行比较，仅对计测结果修正上述两者的差分即计数值“3”（计算坐标）。而且，每当编码计数器232累加计数时，机械手控制装置200就更新所保存的位置信息（各个工件的坐标位置）（坐标更新）。

此后，若作为对象的工件W进入机械手300的跟踪范围，则机械手控制装置200指示机械手300进行把持动作。当机械手300的把持动作结束时，删除保存在机械手控制装置200内的工件的位置信息。

通过上述的处理顺序，实现本实施方式的输送机跟踪。

＜I.优点＞

根据本实施方式，由于视觉传感器100（图像处理部120）直接接收所输入的来自编码器14的脉冲信号，所以对通过拍摄动作及该拍摄动作而获得的图像进行的计测处理，不会受到机械手控制装置200的程序执行周期的影响。

另外，无论在任何时间点发送来自机械手控制装置200的拍摄指示，都能够准确地获取视觉传感器100（拍摄部110）的在拍摄时的计数值。由此，即使在拍摄指示与实际的拍摄动作之间生成不能够忽略的延迟时间，也能够进行准确的跟踪处理及机械手300能够进行准确的控制。

而且，即使在输送机的速度变化的情况下，由于能够准确地获取在拍摄时的计数值，所以不需要根据输送机速度来调整计数器动作的参数。

［第二实施方式］

在上述的第一实施方式中，向视觉传感器100及机械手控制装置200都输入来自编码器14的脉冲信号，各个主体利用设定为相同的参数的编码计数器132及232对该脉冲信号所含的脉冲的个数进行计数，由此，同步地保持输送机的移动量（计数值）。与此相对地，在第二实施方式中，例示了经由网络，同步地保持输送机的移动量（计数值）的结构。

图14是用于说明利用了本发明的第二实施方式的视觉传感器的输送机跟踪系统的定位及跟踪处理的图。参照图14，利用了第二实施方式的视觉传感器的输送机跟踪系统，仅向视觉传感器100#输入来自编码器14的脉冲信号，并且，就视觉传感器100#与机械手控制装置200#之间设定现场网络FN这一点而言，与利用了图2示出的第一实施方式的视觉传感器的输送机跟踪系统不同。就其它的结构而言，由于与第一实施方式相同，所以在下面，主要仅针对不同点，进行说明。

图15是表示针对利用了本发明的第二实施方式的视觉传感器的输送机跟踪系统的硬件结构的示意图。参照图15，与图3示出的图像处理部120相比，构成第二实施方式的视觉传感器100#的图像处理部120#还具有现场网络接口（I/F）160。另外，与图3示出的机械手控制装置200相比，第二实施方式的机械手控制装置200#设置有现场网络接口（I/F）260，来取代编码计数器232及输入/输出接口（I/F）230。就其它的结构而言，由于与第一实施方式相同，所以在下面，主要仅针对不同点进行说明。

在构成视觉传感器100#的图像处理部120#与机械手控制装置200#之间，经由现场网络FN，共用由图像处理部120#内的编码计数器132计数的计数值。

典型地，能够利用各种工业用以太网（注册商标），来作为现场网络FN。作为工业用以太网（注册商标），已知有例如，EtherCAT（注册商标）、ProfinetIRT、MECHATROLINK（注册商标）-III、Powerlink、SERCOS（注册商标）-III、CIP Motion（工业协定）等，可以利用这些中的某一个。还可以利用工业用以太网（注册商标）以外的现场网络。例如，若在不进行动作控制的情况下，还可以利用DeviceNet、CompoNet/IP（注册商标）等。在本实施方式中，典型地，采用工业用以太网（注册商标）的EtherCAT（注册商标），来作为现场网络FN。

在通常的现场网络中，发送/接收的延迟时间为恒定，该延迟时间能够控制在数ns程度。因此，与如上所述的从机械手控制装置200发送拍摄指示开始到实际进行拍摄为止的延迟（时滞）相比，该延迟时间足够小，从而能够看作视觉传感器100#与机械手控制装置200#在实质上同步地保持计数值。

因此，在第一实施方式中，不需要分别设置如上所述的设定有共同的参数的编码计数器，能够通过更简单的结构，使两个装置同步地保持计数值。即，作为视觉传感器100与机械手控制装置200同步地保持输送机10的搬运路径的移动量的单元，由设置于视觉传感器100（或机械手控制装置200）的计数器和现场网络FN来实现，计数器用于对脉冲信号所含的脉冲数进行计数，现场网络FN在装置之间在实质上同步地共用上述计数器的计数值。

此外，即使在不能忽略在现场网络FN内的延迟时间的大小的情况下，由于将现场网络FN的延迟时间控制为恒定值，所以也能够利用下面的方法，同步地保持计数值。

图16是用于说明本发明的第二实施方式的现场网络FN的延迟时间的影响的图。参照图16，例如，向机械手控制装置200#传送的由视觉传感器100#更新的计数值，仅延迟了延迟时间ΔD。由于该延迟时间ΔD基本上为恒定（能够预测），所以可以考虑基于该延迟时间ΔD来使控制时间点等偏移之类的对策。

例如，若视觉传感器100#基于计数值，仅使开始控制动作的开始时间点延迟了延迟时间ΔD，则能够在实质上抵消与机械手控制装置200#之间的延迟时间ΔD。

另外，在延迟时间ΔD比计数值的更新周期长的情况下，可以将修正量加到计数值上，以用于控制，该修正量是指，将来自编码器14的脉冲信号所含的脉冲周期乘以延迟时间ΔD而获得的修正量（计数器修正值）。

此外，在上述的第二实施方式中，示出了构成为视觉传感器100#为现场网络FN的主机，机械手控制装置200#作为现场网络FN的从机的例子，但也可使主机与从机的关系相反。在该情况下，向机械手控制装置200#一侧仅输入来自编码器14的脉冲信号，并且在机械手控制装置200#内设置编码计数器。

［第三实施方式］

接着，针对经由网络NW与视觉传感器100及机械手控制装置200连接的支持装置600进行说明。

图17是表示本发明的第三实施方式的支持装置600的硬件结构的示意图。典型地，支持装置600由通用的计算机构成。此外，从维护性的观点来看，优选可搬性良好的笔记本型的个人计算机。

参照图17，支持装置600包括：CPU61，其执行包括OS的各种程序；ROM（Read Only Memory：只读存储器）62，其包括BIOS（Basic Input OutputSystem：基本输入输出系统）或各种数据；存储器RAM（随机存储器）63，其提供用于保存在CPU61执行程序所需的数据的作业区域；硬盘（HDD：硬盘驱动器）64，非易失地保存在CPU61执行的程序等。

支持装置600还包括：键盘65及鼠标66，其接受来自用户的操作；监视器67，其用于向用于提示信息。

如后述的那样，支持装置600执行的各种程序保存在CD-ROM69内，以便于流通。通过CD-ROM（Compact Disk-Read Only Memory：只读光盘）驱动器68读取保存在该CD-ROM69内的程序，并保存至硬盘（HDD）64等。另外，可以构成为从上位的主计算机等经由网络下载程序。

如上所述，由于利用通用的计算机来实现支持装置600，所以不进行更详细的说明。

由于这种支持装置600与视觉传感器100及机械手控制装置200两者都能够进行数据通信，所以能够收集各种数据。于是，本实施方式的支持装置600构成为：在调整时，从视觉传感器100收集作为计测处理的对象的图像。

在从该视觉传感器100收集作为计测处理的对象的图像的情况下，建立对应的计数值及计测值（坐标信息及角度等）和各图像之间的关联，并保存。从视觉传感器100经由网络NW向支持装置600发送上述信息。然后，保存到支持装置600的硬盘64等。

特别是，通过将对应的计数值作为关键字（键），与图像及计测结果相关联地保存，能够利用与期望的时间点对应的计数值，容易地检索必要的图像及计测结果。

通过准备这种图像及计测结果的数据库，能够提供如下的功能。即，在机械手300中，通过相关联地记录计数值和记录机械手动作（定位及跟踪处理），能够与机械手动作对应的图像处理建立关联。由此，例如，在把持动作失败的情况下等，能够在支持装置600上再现曾作为把持对象的工件的图像及计测结果，以追究其失败的原因。因此，能够更易于分析不良原因。

应该注意的是，本次公开的实施方式在所有方面只是例示，而非限定。本发明的范围不限于上述的说明，而是由权利要求书来示出，包括与权利要求书的范围等同的含义以及在该范围内的所有变更的内容。

附图标记说明

10输送机，

12驱动辊，

14编码器，

30搬出装置，

61、122CPU，

63RAM，

64硬盘，

65键盘，

66鼠标，

67监视器，

68驱动器，

69CD-ROM，

100视觉传感器，

110拍摄部，

120、120A图像处理部，

124、220存储器，

126拍摄控制部，

128、228通信接口，

130、230输入/输出接口，

132、232编码计数器，

134总线，

200机械手控制装置，

210计算处理部，

240拾起控制部，

250移动控制部，

300机械手，

400移动机构，

500操作显示装置，

600支持装置，

2100控制器，

FN现场网络，

NW网络，

W工件。

Claims (10)

1.一种图像处理装置，其与拍摄部连接，所述拍摄部被配置为对在搬运装置上被搬运的工件进行拍摄，该图像处理装置的特征在于，

具有：

第一接口，其接收表示所述搬运装置在搬运路径上的移动量的信号，

第二接口，其用于与用于控制移动设备的控制装置进行通信，所述移动设备在所述搬运路径中配置在所述拍摄部的拍摄范围的下游一侧，并且处理所述工件，

获取单元，其通过对由所述拍摄部进行拍摄而获得的图像进行计测处理，来获取图像中的与事先登记的工件对应的区域的位置信息，

保持单元，其与所述控制装置同步地保持在所述搬运路径上的移动量，

开始单元，其响应拍摄指示，使所述拍摄部开始拍摄，

发送单元，其向所述控制装置发送所述位置信息和拍摄出用于获取该位置信息的图像时的移动量。

2.如权利要求1所述的图像处理装置，其特征在于，

所述位置信息包括坐标值，

所述坐标值，用所述移动设备的坐标系，来表示所述图像中的与事先登记的工件对应的区域。

3.如权利要求2所述的图像处理装置，其特征在于，

所述位置信息还包括旋转角度，

所述旋转角度是指，以事先登记的工件的姿势为基准，表示所述图像中的与该工件对应的区域相对于所述基准的旋转角度。

4.如权利要求1～3中任一项所述的图像处理装置，其特征在于，

表示所述搬运装置在搬运路径上的移动量的信号，是脉冲信号。

5.如权利要求4所述的图像处理装置，其特征在于，

所述脉冲信号，被输入至所述图像处理装置及所述控制装置，

同步进行保持的所述保持单元包括第一计数器，所述第一计数器用于对所述脉冲信号所含的脉冲数进行计数，

针对计数，所述第一计数器和第二计数器设定有相同的参数，所述第二计数器用于由所述控制装置对所述脉冲信号所含的脉冲数进行计数。

6.如权利要求5所述的图像处理装置，其特征在于，

所述第一计数器，在开始对所述脉冲信号所含的脉冲数进行计数之前，与所述第二计数器一起被重置。

7.如权利要求4所述的图像处理装置，其特征在于，

所述脉冲信号被输入至所述图像处理装置，

同步进行保持的所述保持单元包括计数器，所述计数器用于对所述脉冲信号所含的脉冲数进行计数，

向所述控制装置发送的发送单元，其用于发送/接收的延迟时间为恒定。

8.如权利要求5～7中任一项所述的图像处理装置，其特征在于，

用计数器的计数值，表示拍摄出用于获取所述位置信息的图像时的移动量。

9.如权利要求1所述的图像处理装置，其特征在于，

所述图像处理装置从所述控制装置接收所述拍摄指示。

10.一种图像处理系统，其特征在于，

具有：

拍摄部，其被配置为对在搬运装置上被搬运的工件进行拍摄，

控制装置，其用于控制移动设备，所述移动设备在所述搬运装置的搬运路径中被配置在所述拍摄部的拍摄范围的下游一侧，并且处理所述工件，

图像处理装置，其与所述拍摄部及所述控制装置连接；

所述图像处理装置具有：

接口，其接收表示所述搬运装置在搬运路径上的移动量的信号，

获取单元，其通过对由所述拍摄部进行拍摄而获得的图像进行计测处理，来获取图像中的与事先登记的工件对应的区域的位置信息，

保持单元，其与所述控制装置同步地保持在所述搬运路径上的移动量，

开始单元，其响应拍摄指示，使进行所述拍摄部开始拍摄，

发送单元，其向所述控制装置发送所述位置信息和拍摄出用于获取该位置信息的图像时的移动量。

Images