CN104052926A

CN104052926A - 图像处理装置以及图像处理方法

Info

Publication number: CN104052926A
Application number: CN201410096426.1A
Authority: CN
Inventors: 山田和范; 松井达矢; 今野贵史
Original assignee: Juki Corp
Current assignee: Juki Corp
Priority date: 2013-03-14
Filing date: 2014-03-14
Publication date: 2014-09-17
Anticipated expiration: 2034-03-14
Also published as: CN104052926B; JP6075912B2; JP2014178801A

Abstract

本发明提供一种图像处理装置以及图像处理方法，其使在并行地处理多个照相机的图像数据的情况下的图像处理效率提高。具有：运算处理部；多个系统的图像输入部；以及图像存储器，运算处理部具有：拍摄要求部，其进行使照相机拍摄的拍摄要求；以及任务分配单元，该图像处理装置具有：设定单元，其在多个拍摄完成时，对识别处理任务的优先顺序进行设定或更新；进展管理单元，其在每个识别处理任务的识别结束时，根据优先顺序，选定下一个应执行的识别处理任务，并向该下一个识别处理任务转移；以及优先级设定单元，其将针对确定连续拍摄的识别处理的优先级的可执行队列的、识别处理任务的连接顺序，以硬件运算占有率越高而优先级越高的方式排序。

Description

图像处理装置以及图像处理方法

技术领域

本发明涉及一种图像处理装置及方法，其在图像拍摄中并行地处理已经输入的图像数据。

背景技术

作为现有技术，例如提出了一种部件识别方法，在该方法中，在用于部件安装装置的图像处理装置中，对多个部件连续地进行拍摄，针对通过拍摄得到的图像数据，按照优先顺序，并行地执行识别处理（例如，参照专利文献1）。

在该图像处理装置中，将拍摄结束作为触发，根据预先设定的优先顺序，重新选定进行识别处理的图像数据，向优先顺序高的图像数据进行识别处理切换。此时的优先顺序设为向电路基板安装电子部件的顺序或者被检查物的大小顺序。

图18示出上述图像处理装置进行的处理的时序图。

首先，在现有的图像处理装置中，如果接收到拍摄的要求，则为了将图像数据向规定的存储器中存储，而从时刻t1执行针对规定的存储器的总线连接处理。

然后，时刻t2开始第1图像数据的拍摄。然后，在时刻t3结束图像拍摄，从与存储器同时设置的控制器向用于进行装置控制以及图像处理的CPU发送中断信号。

由此，CPU利用中断处理执行用于第2图像数据的拍摄的设定及图像数据的存储区域的确保等。然后，在中断处理后，CPU针对已经存储的第1图像数据，执行第1图像识别处理。

另一方面，照相机与第1图像识别处理并行地执行第2图像数据的拍摄。从时刻t4开始第2图像数据的拍摄，在时刻t5图像拍摄结束，从存储器的控制器向CPU发送中断信号。

由此，CPU暂时中断处理中的第1图像识别处理。另外，CPU利用中断处理执行用于第3图像数据的拍摄的设定。然后，针对已经存储的第1图像数据以及第2图像数据，判定预先设定的图像识别处理的优先顺序，执行优先顺序较高的图像数据的图像识别处理。如果图像识别处理的优先顺序为例如第3图像数据、第2图像数据、第1图像数据的顺序，则CPU使图像拍摄动作结束，针对处于未处理状态的第1图像数据以及第2图像数据，优先于第1图像数据，对优先顺序高的第2图像数据执行图像识别处理。

由此，针对第1图像数据的图像识别处理，直至与该第1图像数据的图像识别处理相比优先顺序较高的图像数据的图像识别处理全部结束为止，暂时中断。

在上述中断处理结束后，利用照相机执行第3图像数据的拍摄。从时刻t6开始第3图像数据的拍摄，在时刻t7结束图像拍摄，从存储器的控制器向CPU发送中断信号。CPU使第2图像识别处理暂时中断，如上述所示判定优先顺序。

如上述所示，由于第3图像数据的优先顺序最高，所以首先执行针对该第3图像数据的图像识别处理。如果该处理结束，则在时刻t8，针对接下来的第2图像数据中的暂时中断后的剩余数据，执行图像识别处理，并且，如果该处理结束，则在时刻t9，针对第1图像数据中的暂时中断后的剩余数据，执行图像识别处理，在时刻t10结束。

在这样针对所有图像数据结束图像识别处理后，一系列的图像拍摄以及图像识别处理的作业结束。

此外，对于执行这种图像识别处理的图像数据的变更功能，如果CPU的操作系统支持多任务功能，则可以简单地实现。

专利文献1：日本专利第3762519号公报

但是，在现有的图像处理装置的图像处理方法中，在搭载多个照相机，使上述照相机分别非同步且连续地进行拍摄，对这些拍摄图像数据进行图像处理的情况下，不适合。

即，在搭载多个照相机的情况下，来自多个系统的非同步的处理要求的组合增加，难以预先设定适当的优先顺序。例如，由于处理要求的重叠问题，使得某一时间点的处理的重叠度增加，负载加重，另外，耗费处理时间的处理混杂等，使CPU的负载状态随时变化。在这种环境下，根据预先确定的优先顺序使处理进展的情况下，存在下述情况，即，顺序不转回至低优先顺序的处理，产生大于或等于设想的延迟，因超时而产生错误。

另外，针对每次图像拍摄结束而使各识别处理暂时中断，对优先顺序进行评价，确定优先执行的识别处理的调度处理的负载、即数据开销，也成为使作业效率降低的一个原因。特别地，在搭载多个照相机的情况下，调度处理增加，因数据开销引起的负载增大。

另外，对于近年的通过缓存控制而实现高速化的CPU，由于任务的切换被最小限度地抑制而更能保持缓存的目标率，所以在速度方面有利。

如上述所示，在现有方法中，随着优先顺序的设定的不同，可能产生无用的调度处理，能够以根据优先顺序设想的顺序使处理进展，但总计的作业效率产生降低。

发明内容

技术方案1记载的发明是一种图像处理装置，其具有：

运算处理部；

图像输入部，其能够与该运算处理部并行处理，且连接多个照相机；以及

图像存储器，其存储图像数据，

所述运算处理部具有：

拍摄要求部，其与执行拍摄和拍摄后的图像的识别处理的多个要求相对应，而进行使所述照相机拍摄的拍摄要求；以及

任务分配单元，其针对所述多个要求而分配识别处理任务，

该图像处理装置对所述多个照相机非同步地连续拍摄而得到的多个图像数据进行处理，

其特征在于，具有：

设定单元，其在基于所述多个要求的各自的拍摄完成时，对所述识别处理任务的优先顺序进行设定或者更新；

进展管理单元，其在每个所述识别处理任务的识别结束时，根据所述优先顺序，选定下一个应执行的识别处理任务，并向该下一个识别处理任务转移；以及

优先级设定单元，其进一步确定所述优先顺序内的识别处理的优先级，与所述优先级相对应，对针对存储识别处理任务的执行顺序的可执行队列的、识别处理任务的连接顺序进行排序，

所述优先级设定单元在对针对所述可执行队列的识别处理任务的连接顺序进行排序时，判定识别处理任务是否包含硬件运算，对于包含硬件运算并能够实现与所述运算处理部的并行处理的识别处理任务，以硬件运算占有率越高而优先级越高的方式排序。

技术方案2记载的发明是一种图像处理装置，其具有：

运算处理部；

图像存储器，其存储图像数据，

所述运算处理部具有：

任务分配单元，其针对所述多个要求而分配识别处理任务，

其特征在于，具有：

连接顺序校正单元，其对针对存储识别处理任务的执行顺序的可执行队列的、识别处理任务的连接顺序进行排序，

所述连接顺序校正单元，根据基于所述多个要求的各自的拍摄图像的识别处理所需的图像识别处理时间、以及针对基于所述多个要求的各自的拍摄图像的识别处理而作为目标的图像识别处理结束时刻，求出基于所述多个要求的各自的拍摄图像的识别处理的延迟时间，以使各自的所述延迟时间的合计减少的方式，对识别处理任务进行排序。

技术方案3记载的发明的特征在于，具有与技术方案2记载的发明相同的结构，并且，所述连接顺序校正单元，将所述多个照相机中以第2个及第2个以后的顺序进行连续拍摄的照相机的连续拍摄中的、最初的拍摄的曝光完成作为触发，执行识别处理任务的排序。

技术方案4记载的发明是一种图像处理方法，其由图像处理装置执行，该图像处理装置具有：

运算处理部；

图像存储器，其存储图像数据，

该图像处理方法的特征在于，具有下述工序：

拍摄要求工序，在该工序中，与执行拍摄和拍摄后的图像的识别处理的多个要求相对应，而进行使所述照相机拍摄的拍摄要求；

任务分配工序，在该工序中，针对所述多个要求而分配识别处理任务；

设定工序，在该工序中，在基于所述多个要求的每次拍摄完成时，对所述识别处理任务的优先顺序进行设定或者更新；

进展管理工序，在该工序中，在每个所述识别处理任务的识别结束时，根据所述优先顺序，选定下一个应执行的识别处理任务，并向该下一个识别处理任务转移；以及

优先级设定工序，在该工序中，进一步确定所述优先顺序内的识别处理的优先级，与所述优先级相对应，对针对存储识别处理任务的执行顺序的可执行队列的、识别处理任务的连接顺序进行排序，

在所述优先级设定工序中，在对针对所述可执行队列的识别处理任务的连接顺序进行排序时，判定识别处理任务是否包含硬件运算，对于包含硬件运算并能够实现与所述运算处理部的并行处理的识别处理任务，以硬件运算占有率而越高优先级越高的方式排序。

技术方案5记载的发明是一种图像处理方法，其由图像处理装置执行，该图像处理装置具有：

运算处理部；

图像存储器，其存储图像数据，

该图像处理方法的特征在于，具有下述工序：

连接顺序校正工序，在该工序中，对针对存储识别处理任务的执行顺序的可执行队列的、识别处理任务的连接顺序进行排序，

在所述连接顺序校正工序中，根据基于所述多个要求的各自的拍摄图像的识别处理所需的图像识别处理时间、以及针对基于所述多个要求的各自的拍摄图像的识别处理而作为目标的图像识别处理结束时刻，求出基于所述多个要求的各自的拍摄图像的识别处理的延迟时间，以使各自的所述延迟时间的合计减少的方式，对识别处理任务进行排序。

技术方案6记载的发明的特征在于，具有与技术方案5记载的发明相同的结构，并且，在所述连接顺序校正工序中，将所述多个照相机中以第2个及第2个以后的顺序进行连续拍摄的照相机的连续拍摄中的、最初的拍摄的曝光完成作为触发，执行识别处理任务的排序。

发明的效果

在技术方案1、2、4或5中，在基于多个要求而进行拍摄及其拍摄图像的识别处理时，在拍摄结束时对识别处理任务的优先顺序进行更新，在每次识别处理任务的识别结束时，根据优先顺序，选定下一个应执行的识别处理任务，并向该下一个识别处理任务转移。

由此，在一个识别处理结束时，如果存在下一个可执行的识别处理任务，则不进行中断处理，可以继续下一个识别处理，可以减少中断处理的发生频率，消除整体的处理延迟，实现迅速化。

另外，由于在每次识别处理任务的识别处理结束时，向下一个识别处理任务转移，所以可以抑制一个识别处理的完成因多次中断处理而过度延迟的情况。因此，在优先顺序低的识别处理任务的情况下，也可以减少由于等待时间多长引起的超时的发生。

另外，在技术方案1或4中，在识别处理任务包含硬件运算的情况下，进行下述校正，即，以其硬件运算占有率越高，针对可执行队列的识别处理任务的连接顺序的优先级越高的方式进行排序。其结果，下一个识别处理任务可以有效地灵活运用通过硬件运算而得到的运算处理部的空闲时间，可以进一步缩短多个识别处理的总计的处理时间。

在技术方案2或5中，在基于多个要求的各自的拍摄图像的识别处理所需的图像识别处理时间、和针对基于多个要求的各自的拍摄图像的识别处理而作为目标的图像识别处理结束时刻为已知或者能够取得的情况下，可以根据开始各照相机的连续拍摄的时刻、和各自的拍摄图像的识别处理所需的图像识别处理时间，对各个拍摄图像的识别处理的结束时刻进行计算。

并且，通过针对各个拍摄，对计算出的图像识别处理的结束时刻和作为目标的图像识别处理结束时刻进行比较，从而可以求出延迟的产生以及延迟时间。

在利用上述多个照相机进行连续拍摄的情况下，有时各个拍摄中的某一个产生相对于作为目标的图像识别处理结束时刻的富余时间。在此情况下，有时通过对产生富余时间的拍摄的识别处理任务、和产生延迟的拍摄的识别处理任务的连接顺序分别进行替换，从而使任意的识别处理任务均消除延迟。

通过适当检索利用这种替换而消除延迟的识别处理任务的组合，对针对可执行队列的识别处理任务的连接顺序进行排序，从而可以减少或者消除各个拍摄的识别处理的延迟，进一步缩短多个照相机的连续拍摄的识别处理的总计处理时间。

在技术方案3或6中，将多个照相机中以第2个及第2个以后的顺序进行连续拍摄的照相机的连续拍摄中的、最初的拍摄的曝光完成作为触发，执行用于减少延迟时间的合计的识别处理任务的排序。其结果，可以不等待拍摄完成，就开始对排序的识别处理任务的组合进行检索的处理，可以进一步缩短识别处理的总计处理时间。

附图说明

图1是电子部件安装装置的俯视图。

图2是电子部件安装装置的搭载动作的动作流程图。

图3是在电子部件安装装置上搭载的图像处理装置及其周边的装置结构图。

图4是表示与电子部件的拍摄相关的主要结构的说明图。

图5是拍摄方式的说明图，图5（A）是电子部件的停止拍摄中的俯视图，图5（B）是基板标记的停止拍摄中的俯视图，图5（C）是电子部件的非停止拍摄中的俯视图，图5（D）是基板标记的非停止拍摄中的俯视图。

图6是图像处理装置的控制CPU为了图像识别而执行的程序的任务结构图。

图7是表示识别处理任务所执行的每个处理类别的优先顺序的一个例子的图表。

图8是表示输入拍摄识别命令并成为可执行状态的识别处理任务的管理方法的说明图。

图9是利用一个轴表示的部件安装动作的非停止拍摄时的动作的时序图。

图10是识别处理任务的处理的流程图。

图11是计时器处理的流程图。

图12表示二轴时的非停止拍摄的时序图。

图13表示在二轴时的非停止拍摄中，已知搭载时刻（至各搭载点为止的最短的到达时刻）的情况下的时序图。

图14是表示针对低优先顺序的停止拍摄命令和连续拍摄重复时的时序图，仅通过拍摄方法·处理类别而进行优先顺序的设定的情况的图。

图15表示组装有用于根据等待时间的累积时间使低优先顺序的任务的优先顺序动态地变化的计时器处理的情况下的时序图。

图16表示在利用1个轴进行非停止拍摄的情况下、且反映3个电子部件的搭载顺序而执行识别处理的情况下的时序图。

图17表示在二轴时的非停止拍摄中进行硬件运算的情况下的时序图。

图18表示现有的图像处理装置进行的处理的时序图。

符号的说明

4 基板用照相机

6 部件用照相机

7 图像存储器

11 控制CPU

15 图像输入部

18 运算处理部

19 图像处理装置

34 命令接收任务（任务分配单元）

35 图像输入API（拍摄要求部）

37～39 识别处理任务

C 电子部件（对象物）

具体实施方式

［发明的实施方式的整体结构］

基于图1至图17，对本发明的实施方式进行说明。本实施方式示出了下述情况下的例子，即，在电子部件安装装置100上搭载图像处理装置19，该图像处理装置19进行图像处理，以对拍摄图像内的电子部件C的中心位置及倾斜进行检测，本实施方式被利用于将电子部件C向基板K上安装的定位控制中。

［电子部件安装装置］

图1是电子部件安装装置100的俯视图。电子部件安装装置100是向基板K上进行各种电子部件C的搭载的装置。

电子部件安装装置100作为电子部件C的搭载单元，如图1所示具有：多个电子部件供给器101，其供给要搭载的电子部件C；作为电子部件供给部的供给器收容器102，其排列保持多个电子部件供给器101；以及基板输送单元103，其向固定方向输送基板K。

另外，电子部件安装装置100具有：搭载作业部104，其用于对设置在该基板输送单元103的基板输送路径的中途的基板K，进行电子部件搭载作业；作为部件保持单元的搭载头106，其对吸附电子部件C的吸附吸嘴108进行保持，进行电子部件C的保持；作为搭载头移动单元的X－Y龙门架107，其将搭载头106向规定范围内的任意位置驱动输送；以及部件用照相机6，其进行吸附在吸附吸嘴108上的电子部件C的拍摄。

另外，电子部件安装装置100具有：基板用照相机4，其对搭载作业部104的基板K上设置的基板标记M进行拍摄；照明装置（省略图示），其向部件用照相机6的拍摄位置照射照明光；以及照明装置（省略图示），其向基板用照相机4的拍摄位置照射照明光。

另外，电子部件安装装置100具有：设备控制装置13（参照图3），其对电子部件安装装置100的各结构进行控制；人机接口（省略图示），其用于作业人员向设备控制装置13进行各种设定输入以及命令输入；以及图像处理装置19（参照图3），其根据照相机4或6的拍摄图像，执行成为检索对象的电子部件C或者基板标记M的位置识别处理。

另外，上述电子部件安装装置100构成为，在隔着基板输送单元103的两侧，分别各设置一个电子部件供给器101、供给器收容器102、搭载头106、X－Y龙门架107、部件用照相机6以及基板用照相机4。

图像处理装置19用于根据照相机4或6的基板标记M或者电子部件C的拍摄图像，求出它们的准确的位置信息，通过向设备控制装置13输出，从而反映至搭载头106的定位动作中。

照相机4及6均是CCD照相机或者CMOS照相机，部件用照相机6在规定位置从下方对吸附于吸附吸嘴108上的电子部件C进行拍摄，基板用照相机4搭载在搭载头106上，从上方对输送至搭载作业部104的基板K的基板标记M进行拍摄。

在以下的说明中，主要以利用部件用照相机6拍摄电子部件C的情况为例进行说明，但拍摄对象并不限定于电子部件C，当然，在利用基板用照相机4进行基板标记M的拍摄时，也能够应用后述的结构及处理。

另外，在以下的说明中，将沿水平面彼此正交的一个方向称为X轴方向，将另一个方向称为Y轴方向，将垂直上下方向称为Z轴方向。

基板输送单元103具有未图示的输送带，利用该输送带将基板沿X轴方向输送。

另外，如上述所示，在基板输送单元103的基板输送路径的中途，设置有将电子部件向基板K上搭载的搭载作业部104。基板输送单元103将基板K输送至搭载作业部104，并且停止，利用未图示的保持机构进行基板K的保持。即，基板K在由保持机构保持的状态下进行稳定的电子部件C的搭载作业。

各个搭载头106设置有：6根吸附吸嘴108，在其前端部通过空气吸引而保持电子部件C；作为驱动源的Z轴电动机，其将该吸附吸嘴108向Z轴方向驱动；以及作为旋转驱动源的θ轴电动机，其将经由吸附吸嘴108保持的电子部件C以Z轴方向为中心进行旋转驱动。

另外，吸附吸嘴108与负压产生装置连接，在该吸附吸嘴108的前端部通过进行吸气吸引，从而进行电子部件C的吸附及保持。

即，利用上述构造，在搭载作业时，利用吸附吸嘴108的前端部从规定的电子部件供给器101吸附电子部件C，在规定位置使吸附吸嘴108朝向基板下降，并且在使吸附吸嘴108旋转而进行电子部件C的朝向调整的同时，进行搭载作业。

另外，上述的各部件用照相机6固定支撑在基座框架114上。

各X－Y龙门架107具有：X轴导轨107a，其向X轴方向引导搭载头106的移动；2根Y轴导轨107b，其使该X轴导轨107a和搭载头106向Y轴方向引导；作为驱动源的X轴电动机，其沿X轴方向使搭载头106移动；以及作为驱动源的Y轴电动机，其经由X轴导轨107a使搭载头106向Y轴方向移动。并且，能够通过各电动机的驱动，使搭载头106向成为2根Y轴导轨107b之间的区域的大致整体输送。

此外，各X－Y龙门架107共用2根Y轴导轨107b。

另外，在各电动机上，安装有对各自的旋转量进行检测的编码器，其旋转角度被设备控制装置13识别，通过进行控制，以成为期望的旋转量，从而经由搭载头106进行吸附吸嘴108的定位及向照相机6的移动。

在各供给器收容器102上，沿X轴方向以排列的方式载置安装多个电子部件供给器101。

各电子部件供给器101在后端部保持有部件保持带的带盘（省略图示），该部件保持带将电子部件C排列为一列而封装。另外，部件保持带从带盘被抽出至在电子部件供给器101的前端部（基板侧的端部）的上侧设置的部件传递位置101a，在该部件传递位置101a，利用吸附吸嘴108进行电子部件C的吸附。

设备控制装置13记录搭载程序，该搭载程序确定向基板K上搭载的电子部件C的列表、搭载顺序、各电子部件C的部件吸附位置（从哪个电子部件供给器101接收）以及基板K中的搭载位置等，根据该搭载程序，对各X－Y龙门架107的X轴电动机、Y轴电动机以及Z轴电动机进行控制，进行搭载头106的定位控制。另外，该设备控制装置13针对吸附时的电子部件C，驱动θ轴电动机，使吸附吸嘴108旋转，进行角度修正控制，利用X轴电动机以及Y轴电动机进行位置修正控制。

另外，设备控制装置13为了进行上述电子部件C的角度修正控制以及位置修正控制，针对图像处理装置19，执行各照相机6的电子部件C的拍摄控制和用于识别电子部件C的位置及姿态的要求。

由上述结构构成的电子部件安装装置100，根据图2的动作流程图进行电子部件的搭载。

即，设备控制装置13对X－Y龙门架107的X轴电动机、Y轴电动机进行控制，使搭载头106向与规定的电子部件供给器101对应的电子部件C的吸附位置移动（步骤S101），通过对Z轴电动机进行控制，进行规定的吸附吸嘴108的下降，从而进行电子部件C的吸附（步骤S102）。

此外，为了使多个吸附吸嘴108分别吸附多个电子部件C，与电子部件C的吸附数量相对应而反复执行步骤S101和S102的动作。

然后，朝向部件用照相机6的拍摄位置开始搭载头106的移动（步骤S103）。

在上述移动时，首先，使X－Y龙门架107的X轴电动机、Y轴电动机加速至规定的目标速度（步骤S104）。然后，如果达到目标速度，则在维持该目标速度的同时，使各电子部件C通过照相机6的拍摄位置（步骤S105）。此时，在图像处理装置19中，对部件用照相机6进行控制而执行拍摄。

在各电子部件C的拍摄后，设备控制装置13对X－Y龙门架107的X轴电动机、Y轴电动机进行控制，减速至成为规定的低速状态（步骤S106）。然后，使搭载头106向与基板K对应的搭载位置移动（步骤S107）。此时，如果需要，则使搭载头106向基板标记M的拍摄位置移动，执行基板标记M的拍摄。

然后，如果搭载头106定位在搭载位置上，则对Z轴电动机进行控制，使吸附吸嘴108下降，进行电子部件C的搭载（步骤S108）。

另外，判定搭载头106已吸附的所有电子部件C是否搭载完成（步骤S109），直至所有电子部件C搭载完成为止，反复执行步骤S107和S108的动作。

然后，如果所有电子部件C搭载完成，则搭载动作控制结束。

此外，在上述的动作控制中，例示出了后述的非停止拍摄的情况，但在停止拍摄的情况下，在步骤S104中，从各电动机的加速开始进行减速，在步骤S105中，在拍摄位置使搭载头106定位停止而进行拍摄。然后，在步骤S107中从各电动机的加速开始进行减速，在步骤S108中，在搭载位置进行定位停止，进行电子部件的搭载。

另外，在上述的动作控制中，仅对一个搭载头106进行了说明，但实际上，对于各搭载头106，非同步且分别地执行步骤S101～S109的控制。

另外，图像处理装置19在上述步骤S103至步骤S108之间，执行电子部件C的位置及姿态的识别处理。

［图像处理装置］

图3是在电子部件安装装置100上搭载的图像处理装置19及其周边的装置结构图。

图像处理装置19具有：基板用照相机4、4（在图3中省略图示），其分别非同步地进行拍摄；部件用照相机6、6，其分别非同步地进行拍摄；各基板用照相机4、4的照明装置（省略图示）；各部件用照相机6的照明装置8（参照图4）；图像输入部15，其存储各照相机4、6的拍摄控制以及拍摄的图像数据；以及运算处理部18，其根据图像数据，进行用于基板标记M的位置识别、类别的识别、电子部件C的位置以及姿态识别的识别处理。

另外，图像输入部15具有LAN端口20和与该LAN端口20连接的图像存储器7，在该LAN端口20上能够增设追加的部件用照相机6。

例如，在从照相机6利用UDP（User Datagram Protocol）传送图像的情况下，有时必须考虑使得LAN端口20不丢失数据包（信息的传送单位），与其它处理相比更优先地将数据包变换为图像。

此外，基板用照相机4也可以设置LAN端口而能够增设。

图像输入部15能够与运算处理部18的控制CPU11并行地进行动作。

各部件用照相机6（包含增设的部件用照相机6，以下相同），分别能够非同步地进行拍摄，经由各自的输入电路3向各自的图像存储器7存储图像数据。

另外，虽然省略了图示，但基板用照相机4、4也可以非同步地进行拍摄，经由各自的输入电路向各自的图像存储器中存储图像数据。

另外，各图像存储器7经由输出电路5与显示器16连接，可以对由各照相机4、6拍摄的图像数据进行显示。

另外，在图像输入部15中，除了拍摄处理以外，还可以使用运算控制电路9，针对存储在图像存储器7中的图像数据，与控制CPU11并行且高速地使过滤运算及匹配运算等大量的反复运算处理进行动作。即，上述反复运算处理不会对控制CPU11施加负载。

运算处理部18具有：作业用存储器10，其用于由控制CPU11进行图像处理；以及接口12，其将控制CPU11与控制电子部件安装装置100整体的设备控制装置13连接。另外，控制CPU11和图像输入部15由内部总线（PCIe）连接。

另外，来自各照相机6的数据与在各图像存储器7中存储的数据并行地，由运算控制电路9进行数据处理，控制CPU11向可访问的作业用存储器10进行数据传送。

控制CPU11发出图像拍摄的指令。在发出使各照相机6拍摄的拍摄要求后，控制CPU11可以在上述的拍摄以及数据传送处理中进行其它作业。

利用运算控制电路9进行的数据处理，不仅可以在拍摄时进行，而且可以根据控制CPU11的指令，在任意时刻对各图像存储器7的数据执行。

控制CPU11在作业用存储器10的数据处理中，也可以通过对运算控制电路9进行控制，进行并行处理，从而高效地使作业进展。

另外，来自设备控制装置13的处理要求，被作为命令经由接口12向图像处理装置19发送，图像处理装置19的处理结果被作为响应发送回设备控制装置13。

［拍摄控制］

图4是表示与电子部件C的拍摄相关的主要结构的说明图。另外，图5是拍摄方式的说明图，图5（A）是电子部件的停止拍摄中的俯视图，图5（B）是基板标记的停止拍摄中的俯视图，图5（C）是电子部件的非停止拍摄中的俯视图，图5（D）是基板标记的非停止拍摄中的俯视图。

在与图像处理装置19连接的部件用照相机6的上部，设置照明装置8，利用图像处理装置19进行控制，以在拍摄时点灯。

设备控制装置13使各吸附吸嘴108从电子部件供给器101拾取成为拍摄对象的电子部件C，在吸附保持后，对具有各吸附吸嘴108的搭载头106进行控制，向部件用照相机6的上方移动，进行拍摄。

［拍摄方式］

作为拍摄方式，支持作为静止拍摄的停止拍摄和作为移动拍摄的非停止拍摄这2种方式。

如图5（A）所示，在停止拍摄中，在部件用照相机6上方使作为对象物的电子部件C静止，使照明装置8点灯，向图像处理装置19发出拍摄指示。

另外，在非停止拍摄中，预先在图像处理装置19中设置表示拍摄定时的X轴电动机的编码器计数值，将编码器脉冲向图像处理装置19输入，如图5（C）所示，如果通过搭载头106的移动而成为设定的计数值，则图像处理装置19使照明装置8点灯，利用部件用照相机6执行拍摄。

另外，对于基板标记M的拍摄也相同。

即，在停止拍摄中，如图5（B）所示，在基板标记M上使基板用照相机4静止，使照明装置点灯，向图像处理装置19发出拍摄指示。

另外，在非停止拍摄中，预先在图像处理装置19中设置表示拍摄定时的X轴电动机的编码器计数值，将编码器脉冲向图像处理装置19输入，如图5（D）所示，如果通过搭载头106的移动而成为设定的计数值，则图像处理装置19使照明装置点灯，利用基板用照相机4执行拍摄。

在非停止拍摄中，在利用搭载头106使在搭载头106上设置的多个吸附吸嘴108所保持的多个电子部件（在这里，吸嘴108和电子部件C均仅图示出3个），在部件用照相机6上以非停止方式移动时，连续地进行拍摄，并将各个图像数据依次向各个存储器空间中存储。

图像处理装置19使图像拍摄最优先，与设备的动作相对应而不丢失期望的图像。

另外，在非停止拍摄中，假设针对多个电子部件C，分别从设备控制装置13向图像处理装置19发出识别命令，识别命令顺序表示各电子部件C的搭载顺序。

由此，例如在各吸附吸嘴108的排列顺序和各电子部件C的搭载顺序一致的情况下，图像处理装置19在对连续处理的多个电子部件C顺序地进行拍摄后，可以针对各个电子部件C识别其搭载的顺序。然后，例如在根据搭载的顺序确定识别的优先顺序的情况下，可以执行与其对应的识别处理。

另外，在非停止拍摄中，如果假设已知搭载头106的移动速度，则由于在图像处理装置19中预先设置有表示拍摄定时的X轴电动机的编码器计数值，所以图像处理装置19在检测出第1拍摄（最初的电子部件的拍摄）的完成定时后，能够预测以后的拍摄（剩余电子部件的拍摄）的完成定时。

另外，图像处理装置19可以根据识别对象物的类别及端子数量等的数据，预测控制CPU11的拍摄图像识别处理所需的图像识别处理时间。

此时，图像处理装置19针对连续处理的多个电子部件C，从设备控制装置13，不仅交换搭载的顺序，而且还交换从最后的电子部件的图像拍摄完成至各个电子部件C的搭载位置为止的移动时间这一相对的定时信息，由此，能够实现不对搭载头移动造成障碍的程度且具有富余的任务计划。

另外，对于多个照相机的多个图像输入系统的处理，也可以按照各个系统的第1拍摄全部完成的时刻，将多个图像输入系统的处理沿一个时间轴排列。

即，可以根据最后的电子部件C的图像拍摄完成的时刻和相对的定时信息，对各个电子部件C到达各自的搭载位置的时刻（作为目标的图像识别结束时刻）进行计算。

由此，如图3所示，在必须针对多个图像输入系统，非同步地使拍摄定时重叠或者在时间上接近，而进行多个识别处理的情况下，可以尽可能不对前侧的识别处理的计划的富余时间造成影响，而中断后侧的识别处理。另外，可以针对多个图像输入系统高效地执行识别处理。对于该高效的识别处理，通过图13的例子在后面记述。

［任务结构］

下面，在图6中示出在图像处理装置19中为了图像识别而由控制CPU11执行的程序的任务结构。由此，对上述任务结构进行说明。

图6所示的任务结构主要由下述部分构成：作为“任务分配单元”的命令接收任务34，其进行命令管理；3个识别处理任务37～39，其进行识别处理；作为子程序模块的图像输入API（ApplicationProgram Interface）35；作为处理程序的主体部的计时器处理46，其对计时器中断进行处理；以及作为处理程序的主体部的中断处理36，其对拍摄结束中断进行处理。此外，识别处理任务的个数可以与处理数相对应而增减。

另外，图6的标号45表示命令管理程序块，47表示图像输入状态管理程序块。

另外，图6所示的任务结构具有UDP图像变换任务50和UDP图像识别任务51。利用以编码器脉冲等为触发而输入的同步信号，将图像数据32发送至UDP变换任务50。此时，如果假定利用UDP通过连续的多个数据包发送图像数据32，则UDP不进行握手（在确立2点之间的通信路径后，进行真正的通信之前，自动地进行确定参数等事先的数据交换），因此，需要考虑使UDP变换任务50不会丢失连续的多个数据包。为了防止丢失多个数据包而从图像处理装置19频繁发送不必要的数据包再送要求，优选UDP变换任务50与任何处理相比都最优先实施。

如果处理完成，则调用UDP图像识别任务51，在实施图像处理后，取得识别结果。

［任务结构：命令接收任务］

从图3的设备控制装置13向图像处理装置19的、执行拍摄及其拍摄图像的识别处理的要求，作为图6所示的命令30而进行通知。

命令接收任务34如果接收到命令30，则参照命令管理程序块45，获得任务的资源，对接收到的命令进行登录。

然后，针对获得的识别处理任务37（或38或39）发送命令30，使其启动。然后，命令接收任务34成为下一个命令等待状态。

由此，命令接收任务34作为“与上述多个要求相对应而分配识别处理任务的任务分配单元”起作用，通过执行该功能而执行“任务分配工序”。

识别处理任务37（或38或39）对命令的内容进行解析，调用作为拍摄要求部的图像输入API35，进行图像拍摄要求。然后，如果图像拍摄结束，则在非停止部件识别40、停止部件识别41、非停止基板标记M识别48、停止基板标记M识别49、维护命令43、示教44这6个类别的命令模块内，调用与命令30相对应的模块，执行命令处理。

另外，在各自的命令处理中，判定是否进行使用图3的图像输入部15的运算控制电路9的硬件运算处理，并向作业用存储器10（图3）内的命令管理程序块45中保存。

在进行硬件运算处理的情况下，也可以同时求出与命令处理时间对应的硬件运算处理时间的推定值的比例、即硬件运算占有率。命令处理时间、硬件运算处理时间的推定值、以及硬件运算占有率，通过被向作业用存储器10（图3）内的命令管理程序块45中保存。

另外，识别处理任务37～39的优先顺序设定为比命令接收任务34低，在识别处理任务37的执行中，如果接收到下一个命令，则使命令接收任务34再次启动，进行命令30的接收、命令管理程序块45的参照、空闲资源的获得以及接收到的命令的登录。然后，向获得的识别处理任务38（或者39）发送命令30，使其启动。命令接收任务34再次成为下一个命令等待状态。

［任务结构：识别处理任务］

图7是表示识别处理任务37～39所执行的每个处理类别的优先顺序的一个例子的图表。

识别处理任务37～39所执行的每个处理类别的优先顺序以阶梯方式定义为高、中、低这3级别，根据处理类别和拍摄方法的种类而分配优先顺序。优先顺序的级别及分配的规则，可以与使用的RTOS（real time operation system）的规格、安装的应用程序的规格相对应而自由设定，但在这里，对在图像处理装置19中采用的一个例子进行说明。

在搭载于该电子部件安装装置100上的图像处理装置19中，在非停止拍摄中进行部件识别或者标记识别处理的情况下，由于立即发出下一个命令，要求紧密间隔的高速处理的情况较多，所以将优先顺序设为最高的“高”。

与此相比，在搭载头停止的状态下进行拍摄的停止拍摄中，进行部件识别或者标记识别处理的情况下，由于与非停止拍摄相比存在时间上的富余，所以将优先顺序设为“中”。另外，对于不是如部件识别或标记识别所示要求生产中的节拍的处理的与维护命令相关的处理，将优先顺序设为“低”。

此外，在存在多个优先顺序相同的任务的情况下，以能够处理的顺序执行。例如，在非停止拍摄的情况下，以所对应的拍摄完成的顺序执行任务。

在图8中示出输入作为“执行拍摄及其拍摄图像的识别处理的多个要求”的多个拍摄识别命令，对该各命令进行登录而成为可执行状态的识别处理任务37～39的管理方法。

根据图7所示的优先顺序的设定，执行任务的切换是使用RTOS的功能而实现的。

各识别处理任务37～39均在从中止状态向可执行状态转移后，与图8所示的按优先顺序的队列（计算机的基本的数据构造之一。以先进先出的列表构造保存数据）相连接而被管理。对于优先顺序相同的任务，基本上先与成为可执行状态的顺序相连接。即，在该图像处理装置19的例子中，与拍摄结束的顺序相对应而连接队列，进一步确定相同优先顺序中的优先级。

另外，在图8所示的处理中，执行UDP图像变换任务50的最优先处理。与任何识别任务相比均优先执行UDP图像变换任务50。基本上以利用UDP图像变换任务50完成图像的顺序，调用UDP图像识别任务51，成为可执行状态，与队列相连接。

在图8中，图示出将UDP图像识别任务51的优先顺序设为“高”的情况，但并不限于此。例如，也可以在利用非停止拍摄实现的部件或者标记识别任务的优先顺序“高”和UDP图像变换任务50的优先顺序“最优先”之间，新设定新的优先顺序，以该优先顺序对UDP图像识别任务51的队列进行连接，以与其他识别任务相比较高的顺序实施处理（在图8中未图示）。

但是，在对于连续的多个识别处理存在搭载顺序的指示的情况下，对向队列插入的插入位置进行控制，对于同一优先顺序的任务，可以进一步确定更细的优先级。即，基于该搭载顺序的优先级被预先登录至图6的命令管理程序块45中，在将识别处理任务37～39与队列连接时进行参照，对搭载顺序进行比较，判定向与搭载顺序相对应的队列插入的插入位置并进行连接。如果这样，则可以高效地使用等待时间，作为安装装置整体可以高效地使处理进展。

另外，在命令管理程序块45（图6）中保存的是否进行硬件运算的信息，在将识别处理任务37～39与队列连接时进行参照。然后，通过以先执行进行硬件运算的识别处理任务的方式，向队列连接，从而可以在硬件运算中进行此后的识别处理任务的由控制CPU11实现的处理。其结果，相比于直接与后面连接的情况，能够缩短2个识别处理任务的总计处理时间。

另外，越是同时使用在命令管理程序块45（图6）中保存的硬件运算占有率，进行硬件运算且硬件运算占有率（在识别处理内利用运算控制电路9进行硬件运算的比率）高的识别处理任务，越能够通过提高优先级，进行与队列对应的排序，而实现更细致的控制。

例如，不仅可以进行队列的顺序切换，而且还可以在同一优先级别内使优先级具有差距。

由此，上述控制CPU11作为“进一步确定在上述优先顺序内的识别处理的优先级，与上述优先级相对应，对针对存储识别处理任务的执行顺序的可执行队列的、识别处理任务的连接顺序进行排序的优先级设定单元”起作用，进行“在对针对上述可执行队列的识别处理任务的连接顺序进行排序时，判定识别处理任务是否包含硬件运算，对于包含硬件运算并能够实现与上述运算处理部的并行处理的识别处理任务，以硬件运算占有率越高而优先级越高的方式排序”处理。另外，通过执行这些处理，从而执行“优先级设定工序”。

另外，如果存在调度要求（确定执行处理的顺序的要求），则RTOS使优先顺序最高且其中与队列的最开头连接的任务（例如，图8中的左上的任务）转移至执行状态。

在这里，参考图9，对识别处理任务37～39进行说明，图9表示作为基本动作图案的一个轴（利用一个搭载头的部件安装动作）上的非停止拍摄时的动作的时序图。

如果非停止拍摄中的3个拍摄识别的命令要求被连续地发出，则命令接收任务34反复进行命令管理程序块45的参照、任务资源的获得、接收到的命令的登录的处理（时刻t1～t2）。

由此，识别处理任务37、38及39以接收拍摄识别命令的顺序成为可执行状态，根据基于各自任务的执行内容的优先顺序，确定成为执行状态的任务。在所有任务的优先顺序均为相同的情况下，基本上使先成为可执行状态的任务优先。即，各识别处理任务37～39以图像拍摄完成的顺序被处理。

在非停止拍摄中连续地进行多个电子部件的识别的情况下，对于最初搭载的电子部件的识别处理任务，与同一优先顺序的可执行任务队列的开头连接，最优先处理，但在与可执行任务队列的开头连接的任务已经执行中的情况下，如果与下一个连接，则不会中断当前执行中的任务，作为图像处理装置整体可以高效地使处理进展。

另外，对于识别处理任务37～39的优先顺序，为了能够实时地进行图像拍摄，在最初的图像拍摄结束之前，针对全部识别处理任务，相同地设定最高的优先顺序。由此，如果识别处理任务37发出图像拍摄要求，则最优先开始拍摄，排除由于其他处理先执行而使拍摄产生延迟的情况，在适当的定时执行拍摄。另外，先成为执行状态的识别处理任务37发出图像拍摄要求（时刻t2），然后以识别处理任务38、39的顺序发出拍摄要求。

此外，如上述所示，最初针对各识别处理任务37～39设定最高的优先顺序，但如果取得识别处理任务37的图像数据，则再次设定为根据处理类别以及拍摄方法确定的优先顺序。这种优先顺序的再次设定，在使用多个照相机的情况下也相同地进行。即，控制CPU11作为“在基于上述多个要求的各自的拍摄完成时，对上述识别处理任务的优先顺序进行设定或者更新的设定单元”起作用。另外，通过该功能而执行“第一设定工序”。

另外，在如上述所示连续地发出图像拍摄要求的情况下，如果进行作为最初拍摄的第1图像数据拍摄（时刻t3～t4），则仅在其结束时设定中断通知要求（时刻t4），对于第2个及第2个以后的拍摄结束时（时刻t7、t10），不设定中断通知要求。

图像输入API35是作为用于调用图像拍摄、图像数据的传送等图3所示的图像输入部15的硬件所支持的功能的模块而设置的。图像输入API35对依赖硬件的部分进行隐藏，实现可独立性高的应用程序的安装。

图像输入API35中的处理是硬件的启动及其响应等待。图像输入API35由于作为子程序被调用，所以作为识别处理任务进行动作。

如果在调用图像输入API35的时刻图像拍摄已经结束，则直接继续进行处理，但在进行图像拍摄的情况下，识别处理任务直至图像拍摄结束为止成为中止状态。

例如，在图9中，在3个识别处理任务发出拍摄要求后，全部任务成为拍摄结束等待状态。如果第1图像数据拍摄在时刻t4结束，则施加拍摄通知中断33，执行中断处理36（时刻t4）。中断处理36对中断原因进行解析，使正等待相对应的图像的拍摄结束（第1图像数据）的识别处理任务37启动（时刻t5）。

识别处理任务37在取得图像数据而向识别处理转移的时刻，根据处理类别动态地切换为适当的优先顺序。

在该定时使任务的调度处理动作，能够执行多个识别处理任务的情况下，切换为优先顺序高的任务。

在图9的情况下，在时刻t5，不存在其它可执行的任务（识别处理任务38、39没有取得图像数据），因此，不进行上述处理，直接执行识别处理任务37。

另一方面，由于图像输入部15能够实现与控制CPU11并行处理，所以在第1图像识别处理中执行第2图像数据拍摄处理（时刻t6～t7）。

然后，如果生成表示识别处理结果的响应，则发送至命令接收任务34，从图3的图像处理装置19向设备控制装置13传递响应31。

这样，在识别处理任务37结束的时刻，使控制以相同的优先顺序、且向第2图像数据拍摄结束的识别处理任务38转移（时刻t8）。然后，经过相同的处理，在第2图像识别处理中执行第3图像数据拍摄处理（时刻t9～t10），并且，返回识别处理结果的响应，如果识别处理任务38结束（时刻t11），则使控制向识别处理任务39转移（时刻t11～t12）。

在上述过程中，只要图像识别处理不比下一个图像数据拍摄的完成早结束，则在第2图像数据、第3图像数据的拍摄结束时不产生拍摄通知中断，因此，不会引起在相同优先顺序的任务之间的转移。

在该图像处理装置19中，优先顺序高的识别处理进行任务控制，以在中途尽可能不产生无准备的中断处理及通过系统调入引起的调度处理，并考虑以最高速得到图像识别结果。

另外，在图11中，虽然在后面记述，但作为防止低优先顺序的任务经过等待时间，并且提高优先顺序而发生超时错误的方法，按照登录至命令管理程序块45中的各命令，分别对命令经过时间和等待时间进行管理。并且，通过计时器处理，进行时间的更新，对各自的时间进行评价，根据需要，发出优先顺序的再设定以及任务切换的要求。

［识别处理任务的处理］

下面，按照顺序对各任务和处理模块的动作进行说明。在图10中例示出识别处理任务37～39的处理的流程图。

识别处理任务37～39为了能够迅速地进行图像拍摄，针对步骤S1的命令解析和步骤S2的图像拍摄要求，使命令接收任务34接下来以高优先顺序动作。

首先，在命令解析中，对传递的命令字符串进行解析，取得与处理类别对应的优先顺序（步骤S1）。

运算处理部18如上述所示，预先确定并存储每个处理类别的优先顺序（参照图7），并对其进行参照。

然后，在图像拍摄要求的处理中，调用图6的图像输入API35的拍摄开始I/F，使硬件启动（步骤S2）。由此，开始电子部件C或者基板标记M的拍摄。此外，由此，图像输入API35作为“与执行拍摄和拍摄后的图像的识别处理的多个要求相对应，而进行使所述照相机拍摄的拍摄要求的拍摄要求部”起作用，通过执行该功能，从而执行“拍摄要求工序”。

然后，在图像拍摄状态取得的处理中，调用图像输入API35的拍摄状态I/F（步骤S3）。

然后，对有无拍摄完成进行判定（步骤S4），在拍摄没有结束的情况下，等待拍摄完成（步骤S5），成为中止状态。另外，在拍摄结束的情况下，利用图6所示的中断处理36进行启动。如果对有无拍摄完成进行检查（步骤S4），拍摄结束，则直接继续进行处理。

这样，如果在拍摄完成的状态下使控制向识别处理任务转移，则进行任务优先顺序再设定（步骤S6）。设定的优先顺序是在命令解析（步骤S1）中已取得的值。

即，控制CPU11进行作为“在基于多个要求的各自的拍摄完成时，对识别处理任务的优先顺序进行设定或者更新设定单元”的处理。

在这里，暂时发出任务切换要求（步骤S7），然后进行识别处理（步骤S8），在识别处理结束后，再次发出任务切换要求（步骤S9）。此外，步骤S1～S9的处理在使用多个照相机的情况下也基本上相同。另外，通过进行步骤S9的处理，从而控制CPU11作为“在每个所述识别处理任务的识别结束时，根据所述优先顺序，选定下一个应执行的识别处理任务，并向该下一个识别处理任务转移的进展管理单元”起作用，执行“进展管理工序”。

另外，在进行任务切换要求（步骤S7、S9）时，对图6的命令管理程序块45进行参照，在明显是登录命令仅为自身、或者自身是最高的优先顺序等不能发生任务切换的状况的情况下，不进行系统调入的调用。

［计时器处理］

基于图11的流程图，对图6所示的计时器处理46进行说明。在该计时器处理46中，对于因优先顺序低而无论任何时候都轮不上的任务，在其等待时间超过预先设定的时间的情况下，进行提高优先顺序的处理。

该计时器处理46登录在周期计时器处理程序中，以一定周期进行调用。例如，在该图像处理装置19中，如果最初的识别处理任务37的处理开始，则在此之后的每1[ms]进行调用。

首先，参照图6的命令管理程序块45，取得执行中的识别处理任务的ID（步骤S11）。

然后，判定是否以向命令管理程序块45登录的命令登录数的次数量，进行了步骤S13～S20的工序的循环处理（步骤S12）。在完成了命令登录数的次数量的处理的情况下，结束计时器处理46。

另一方面，在没有完成命令登录数的次数量的处理的情况下，针对登录命令，取得分配的识别处理任务37～39的任务ID（步骤S13）。

然后，与步骤S11中取得的ID进行比较，判定是否为执行中（步骤S14）。

如果不是执行中，则对等待时间进行更新（步骤S15），对预先设定的判定时间和更新的等待时间进行比较，并且还考虑接收到命令后的经过时间，判定是否需要优先顺序再设定（步骤S16）。

然后，接收到命令后的经过时间超过判定时间，在需要优先顺序的再设定的情况下，进行任务优先顺序的再设定（步骤S17）。

并且，对设定的优先顺序进行检查（步骤S18），在再设定的结果为优先顺序上升至“高”的情况下，判断为该任务的紧急度变高，在该时刻发出任务切换要求（步骤S19）。

最后，使当前位置向下一个入口进入（步骤S20），返回循环开头的步骤S12。

即，控制CPU11通过上述步骤S13～S15的处理，作为“对接收到执行拍摄及其拍摄图像的识别处理的要求后的经过时间进行计时的计时单元”起作用。此外，作为该“计时单元”的处理也可以构成为，对从拍摄完成至该拍摄图像的识别处理开始为止的等待时间进行计时。

另外，控制CPU11通过上述步骤S16、S17的处理，作为“如果上述经过时间或者等待时间超过规定时间，则以提升等待上述拍摄图像的识别处理开始的识别处理任务的优先顺序的方式再次进行设定的任务再设定单元”起作用。

［2轴时的非停止拍摄的时序图的说明］

下面，对下述情况下的例子进行说明，即，在利用2个搭载头106并行地执行电子部件C的搭载的情况下，进行非停止拍摄的情况。图12表示二轴时的非停止拍摄的时序图。

记载了2个搭载头106、106分别保持3个电子部件，分别向它们进行命令发送以大致同时进行拍摄的情况下的动作。在图12中，将一侧的搭载头106记述为前侧搭载头，将另一侧的搭载头106记述为后侧搭载头。

首先，发送的命令在时刻t1～t2、t2～t3之间由命令接收任务34实时地接收，识别处理任务37～39进行分配，以命令发送顺序发出拍摄要求。如果与全部的拍摄要求相关的设定结束，则将该信息向设备控制装置13通知，开始搭载头106、106的移动。

在各搭载头106、106通过部件用照相机6、6上方的时刻t4的定时，进行各自的图像拍摄。图像输入部15如图3所示，具有2个系统的输入电路3、3以及图像存储器7、7，因此，能够实现各个系统的同时拍摄。另外，由于图像输入部15是与控制CPU11独立的硬件模块，所以可以并行地进行图像拍摄和识别处理。

在此情况下，设定为仅在第1图像数据拍摄结束的情况下，发出拍摄通知中断（时刻t4）。

另外，上述2个系统的拍摄在相同时刻的时刻t4～t5、t7～t9、t10～t12被执行。

识别处理以初次的拍摄结束的时刻t5的拍摄通知中断为触发而开始。

由于是2个轴，所以识别处理任务准备共计6个，优先顺序分别相同。

首先，执行存在中断通知的前侧搭载头的第1图像识别处理（时刻t5）。在该图像处理装置19中，在识别处理结束时（时刻t8），对图像拍摄状况进行调查，将控制转移至下一个应执行的识别处理任务。

在时刻t8，处于可执行状态的仅是后侧搭载头的第1图像识别处理，因此，执行该处理。

在此期间，进行各搭载头106、106的第2图像数据拍摄（时刻t7～t9），在后侧搭载头106的第1图像的识别结束时的时刻t11，前侧、后侧的第2图像识别处理成为可执行状态。在图中，图像拍摄在相同时刻结束，但使先与等待队列连接的处理优先，以前侧的第2图像识别处理（时刻t11～t13）、后侧的第2图像识别处理（时刻t13～t14）的顺序处理。在它们之间，进行各搭载头106、106的第3图像数据拍摄（时刻t10～t12），如果后侧的第2图像识别处理结束，则以前侧的第3图像识别处理（时刻t14～t15）、后侧的第3图像识别处理（时刻t15～t16）的顺序进行处理。

图13表示在二轴时的非停止拍摄中，由于已知照相机6中的拍摄时刻和用于使搭载头106从照相机6向各搭载位置移动的所需时间，所以通过根据移动距离进行的预测而已知搭载时刻（各搭载头106、106至各搭载点的最短的到达时刻）的情况下的时序图。

例如，假设在前侧搭载头、后侧搭载头的各处理中，第2及第3部件的搭载时刻为时刻to13、to14、to15、to16。

在图12中，在前侧搭载头、后侧搭载头的各处理中，可搭载第2及第3部件的时刻为时刻t13、t14、t15、t16。

由于前侧搭载头的可搭载第2及第3部件的时刻t13、t15比到达搭载点的到达时刻早，所以没有问题，但在后侧搭载头的可搭载第2及第3部件的时刻t14、t16，相对于向搭载点搭载的搭载时刻to14、to16产生延迟。

如上述所示，即使进行计划，以按照图像数据的拍摄完成的顺序高效地对识别任务进行处理，使图像处理装置的总计处理时间最短，有时也不一定使作为电子部件安装装置的效率变好。

例如，如果已知各部件的搭载时刻to13～to16和各部件的图像识别处理时间，则在上述的事例中，针对前侧搭载头的第2及第3部件，在赶得上向搭载点搭载的搭载时刻to13～to16的范围内，延迟开始处理，在由此能够挤出的CPU11的富余时间中分配后侧搭载头的第2及第3图像识别处理，可以消除针对时刻to14、to15产生的延迟。

假设各部件的搭载时刻to13～to16作为命令参数，从图3的设备控制装置13进行传递。搭载时刻to13～to16通过将各个搭载头的第1图像数据的拍摄开始时刻设为0的相对时刻而表示。上述搭载时刻to13～to16针对每个命令而保存在图3的作业用存储器10内的命令管理程序块45中（图6）。

各部件的图像识别处理时间可以根据部件的类别或端子数量的数据而推定。上述各部件的图像识别处理时间，如上述所示，作为命令处理时间的推定值而保存在图3的作业用存储器10内的命令管理程序块45中（图6）。例如，也可以预先对图像识别处理时间进行实际测量，进行表格化，并向图3的设备控制装置13的存储装置中保存。在接通图像处理装置19的电源时，从设备控制装置13传递表格化数据，在图3的作业用存储器10内展开。图6的命令接收任务34在每次命令接收时对该表格化数据进行参照，取得相对应的图像识别处理时间（命令处理时间的推定值），并在命令管理程序块45内保存。以后，图3的控制CPU11在需要图像识别处理时间的情况下，可以短时间且简单地取得。

另外，这种计划在前侧搭载头和后侧搭载头非同步地动作的环境下，多个输入系统的要求（例如，利用2个搭载头的识别处理的要求）全部同时产生的情况很少，无法一次使计划全部完成。首先，对于先产生的输入系统（例如，先进行要求的搭载头），例如以上述的图12所示的时序图所示生成最短地完成处理的计划，对于新产生的输入系统（例如，后进行要求的搭载头），在最短的处理中，应该在明显不能遵守搭载时刻的时刻重新进行计划。

例如，在图13所示的时序图中，尝试考虑前侧搭载头的第1部件的拍摄比后侧搭载头的第1部件的拍摄略微提前的情况。

首先，在前侧搭载头的第1部件的拍摄完成时t5，完成前侧搭载头侧的识别处理的计划。此时，由于还不知道后侧搭载头的识别处理是否发生，所以如图12所示的时序图所示，以图像拍摄完成的顺序进行计划。然后可知，接收后侧搭载头的第1部件的拍摄完成的事件（在图中成为t5，但严格来说是比t5略微延迟），必须利用前侧搭载头、后侧搭载头并行地进行动作。

此时，首先由于可以将这两者的搭载头的识别处理以相同的时间轴排列观察，所以将该事件作为重新计划的定时。重新计划的对象是未执行，即，队列化（确定取出数据的顺序）的识别任务。

对于各自的识别任务，根据图像识别处理时间和搭载时刻，推断能够使处理的开始延迟的富余时间。

在以推断出的富余时间量使处理的开始延迟后，其结果，在其他识别任务和处理重叠的情况下，以使相距搭载时刻的延迟时间成为最小的方式，对队列的连接顺序进行替换。进一步根据需要，针对2个任务，在同一优先顺序的级别内使优先级产生差异，进行计划控制。

例如，在图13的例子中，如果仅针对前侧搭载头的第2及第3图像处理，以富余时间量使处理的开始延迟，则处理与后侧搭载头的第2及第3图像处理产生重叠。但是，对于前侧搭载头的第2图像处理和后侧搭载头的第2图像处理、前侧搭载头的第3图像处理和后侧搭载头的第3图像处理，通过分别替换队列的连接顺序，在同一优先级别内使优先级形成差异，从而对处理顺序进行替换，由此，能够使所有图像处理在各个搭载时刻之前结束，消除或者减少搭载头的等待时间。

控制CPU11通过进行上述计划控制，从而作为“对针对存储识别处理任务的执行顺序的可执行队列的、识别处理任务的连接顺序进行排序的连接顺序校正单元”起作用，进行“根据基于所述多个要求的各自的拍摄图像的识别处理所需的图像识别处理时间、以及针对基于所述多个要求的各自的拍摄图像的识别处理而作为目标的图像识别处理结束时刻（搭载时刻），求出基于所述多个要求的各自的拍摄图像的识别处理的延迟时间。并且，使各自的所述延迟时间的合计减少的方式，对识别处理任务进行排序”的处理。另外，通过上述处理而执行“连接顺序校正工序”。

另外，在缩短富余时间，在该时间内无法完全结束处理的情况下，以有效使用该富余时间的方式进行任务的切换。首先，将开始时刻较晚的任务（以下称为后任务）的优先级，设定为比开始时刻较早的任务（以下称为前任务）高。后任务进行警报，以在赶得上搭载时刻的时刻启动，执行前任务。如果成为警报时刻，后任务启动，则由于它的优先级更高，所以切换识别处理任务。如果后任务的处理结束，则再次切换为前任务。由于任务的切换，所以图像处理装置的总计的处理时间增加，但搭载头的等待时间最短即可，作为电子部件安装装置的效率提高。

另外，在上述重新计划处理中，也可以不是拍摄完成事件，而是追加拍摄曝光事件，将其作为触发而动作。

即，如图13所示，优选构成为，将在与后侧搭载头和前侧搭载头对应的多台（2台）照相机6、6中以最后的顺序进行连续拍摄的照相机（后侧搭载头侧）的连续拍摄中的最初的拍摄（后侧搭载头的第1图像数据拍摄）的曝光完成，作为触发而产生中断，执行识别处理任务的排序（重新计划）。此外，在使用大于或等于3台照相机6的情况下，优选将以第2个及第2个以后的顺序进行连续拍摄的照相机的连续拍摄中的、最初的拍摄的曝光完成作为触发而产生中断，执行识别处理任务的排序（重新计划）。

由此，可以有效地灵活运用从曝光完成至数据传送完成为止的控制CPU11的等待时间，可以更快地结束重新计划。

此外，如图13所示，在前侧搭载头侧的第1图像数据拍摄中的曝光时也发生中断，但在该时刻，由于无法判断后侧搭载头侧的搭载时刻以及有无发生延迟，所以不执行重新计划。

另外，在存在大于或等于3台照相机，使它们连续地进行拍摄的情况下（更严格地说，在由于拍摄定时接近而使各照相机的拍摄图像数据的识别处理在定时上产生重合的情况下），在最后进行拍摄的照相机的第1图像数据拍摄中的曝光时，执行重新计划。

［利用2个轴执行停止拍摄和非停止拍摄的时序图的说明（1）］

图14是表示针对低优先顺序的停止拍摄命令和非停止拍摄重复时的时序图，仅通过拍摄方法·处理类别而进行优先顺序的设定的情况的图。

例如记载了前侧搭载头106保持3个电子部件，在与进行非停止拍摄大致相同时刻，利用后侧搭载头106执行停止拍摄命令，使停止拍摄的图像拍摄结束更早地结束的情况下的动作。

首先，发送的命令在时刻t1～t2、t2～t3之间由命令接收任务34实时地接收，识别处理任务进行分配，以命令发送顺序发出拍摄要求。

对于前侧搭载头106，由于是非停止拍摄的要求，所以如果与3个拍摄要求相关的设定结束，则将该信息向设备控制装置13通知，开始前侧搭载头106的移动。

对于后侧搭载头106，是停止拍摄的要求。在命令发送时，由于搭载头106已经位于部件用照相机6上，所以继拍摄要求之后，在与前侧搭载头106相比更早的时刻t4开始拍摄。

另一方面，前侧搭载头的拍摄相比于时刻t4延迟，在时刻t5～t8、t10～t12、t13～t15被执行。

后侧搭载头106中的识别处理，将后侧搭载头106的拍摄结束的时刻t6的拍摄通知中断作为触发而开始。

识别处理任务共计4个，对于优先顺序，前侧搭载头106中的3个设定为“高”，后侧搭载头106中的1个设定为“中”。

另外，将该图14的例子的前侧搭载头106的图像识别处理，与下一个图像拍摄结束相比更早地结束，在下一个图像识别处理开始之前能够形成空闲时间的情况，作为事例。

在时刻t6，可执行状态的识别处理任务仅为后侧搭载头106中的1，所以从时刻t7开始，后侧搭载头106的识别处理任务成为执行中。

然后，在时刻t8，前侧搭载头106的第1图像数据拍摄结束，发生拍摄通知中断。在该时刻，前侧搭载头106的第1图像识别处理任务成为可执行状态。在2个可执行状态的识别处理任务中对优先顺序进行比较，执行任务切换为进行前侧搭载头的第1图像识别处理的识别处理任务。

另外，在第1图像识别处理的执行中，第2图像数据拍摄在时刻t10开始，在时刻t11，前侧搭载头的第1图像识别处理结束，但在该时刻，第2图像数据的拍摄不结束。因此，可执行的后侧搭载头的识别处理任务再次成为执行任务。

在非停止拍摄处理中，在识别处理时花费时间，在识别处理结束时已经准备有下一个识别处理的图像数据的情况下，不在中途产生拍摄通知中断。

但是，如图14所示，在下一个图像处理的图像数据赶不上的情况下（拍摄没有完成的情况下），在前一个识别处理结束时对图像拍摄状况进行检查时，针对下一个识别处理的图像拍摄，确立拍摄通知中断的产生要求。

这样，在第2图像数据拍摄结束的时刻t12产生拍摄通知中断，可以将执行任务从后侧搭载头的识别处理任务，切换为进行前侧搭载头的第2图像识别处理的识别处理任务。

利用相同的方法，在前侧搭载头的第2图像识别处理任务结束时刻t14，引起任务切换，使后侧搭载头的识别处理任务成为执行任务。并且，在前侧搭载头的第3图像数据拍摄结束时刻t15产生拍摄通知中断，使进行前侧搭载头的第3图像识别处理的识别处理任务成为执行任务，在处理结束时刻t17，后侧搭载头的识别处理任务成为唯一的可执行状态的任务，因此，终于使控制返回，执行剩余处理，在时刻t18全部处理结束。

如上述所示，如果优先顺序设定为“中”，则只要其他识别处理任务不全部结束，处理的顺序就不会返回。

［利用2个轴执行停止拍摄和非停止拍摄的时序图的说明（2）］

图15表示组装有用于根据等待时间的累积时间使低优先顺序的任务的优先顺序动态地变化的计时器处理的情况下的时序图。该处理在上述图14的处理中组合图11所示的计时器处理后的处理，各搭载头106、106的动作本身与图14相同。

在该图15的处理中，如果在时刻t8～t11的等待时间之间加入周期性地执行的计时器处理，则使后侧搭载头106的识别处理任务产生大于或等于规定时间的等待时间的情况下，对其优先顺序进行再设定，从“中”切换至“高”。

由此，在前侧搭载头106的第1图像识别处理结束时的时刻t11，对后侧搭载头106的图像识别处理进行任务切换。

然后，在该后侧搭载头106的图像识别处理结束时的时刻t14，执行第2图像识别处理的识别处理任务成为可执行，因此，对该识别处理任务进行任务切换。

另外，在第2图像识别处理结束时的时刻t16，执行第3图像识别处理的识别处理任务成为可执行，因此，对该识别处理任务进行任务切换。

如上述所示，优先顺序为“中”的任务的响应时间因优先顺序的提前而被缩短、改善。

另外，与此相伴，减少中断处理的发生频率，缩短整体的处理时间。

此外，在该处理中，由于使通常执行的、周期性地报告时间经过的计时器处理具有优先顺序的更新功能，所以并不违反作为发明课题的减少中断处理的主旨。

［利用1个轴考虑搭载顺序而执行非停止拍摄的时序图的说明］

在该非停止拍摄中，是最先搭载第3拍摄图像的电子部件C，第二搭载第2拍摄图像的电子部件C，最后搭载第1拍摄图像的电子部件C的情况下的识别处理。在此情况下，如果向搭载中反映顺序，则处理的优先顺序均为“高”，但在其中，优先顺序为第3拍摄图像＞第2拍摄图像＞第1拍摄图像。

在控制为搭载头106的动作与图11的例子相同的情况下，如果使用上述的优选顺序，则首先进行拍摄要求（时刻t1～t2），根据拍摄的顺序，进行第1图像数据拍摄（时刻t3～t4）。

在拍摄结束时，产生拍摄通知中断，进行中断处理，其结果，执行可处理状态的第1图像识别处理的识别处理任务的处理开始（时刻t5）。

此时，在第1图像识别处理的处理时间较长，在其执行中第2图像数据拍摄（时刻t6～t7）和第3图像数据拍摄（时刻t8～t9）完成的情况下，在第3图像数据拍摄结束时的优先顺序的更新中，成为第3图像识别处理的识别处理任务，相对于任务队列，与第2图像识别处理的识别处理任务之前连接的状态。

因此，如果第1图像识别处理结束（时刻t10），则将任务切换为第3图像识别处理的识别处理任务。

然后，如果第3图像识别处理结束（时刻t11），则将任务切换为第2图像识别处理的识别处理任务，在时刻t12，处理整体结束。

［发明的实施方式的效果］

上述图像处理装置19在基于多个拍摄识别命令而进行拍摄及其拍摄图像的识别处理时，在拍摄结束时对识别处理任务的优先顺序进行更新，在每次识别处理任务的识别结束时，根据优先顺序，选定下一个应执行的识别处理任务，并向该下一个识别处理任务转移。

由此，在一个识别处理结束时，如果存在下一个可执行的识别处理任务，则不进行中断处理，可以继续下一个识别处理，最小限度地限制中断通知、任务切换，通过减少OS的数据开销、缓存的替换处理，从而可以提高作业效率。

另外，在图像处理装置19中，通过根据处理类别而动态地切换识别处理任务的优先顺序，从而可以提高作业效率。

另外，通过与处理等待时间的经过相对应而提升识别处理任务的优先顺序，从而可以防止低优先顺序的处理超时。

另外，对于非停止拍摄的对象物，并不限于以拍摄顺序识别的情况，通过设置能够控制识别顺序的任务管理单元，从而可以在包含直至轴的搭载点为止的移动时间在内的范围中，高效地分配各部件的识别时间，作为系统整体，可以实现效率提高。此外，在此情况下，并不限于针对所有电子部件C使识别的顺序按照搭载的顺序的情况，也可以进行下述校正，即，仅针对一部分的电子部件C，例如仅针对最先进行搭载的电子部件，优先识别。

另外，在针对所有电子部件C使识别的顺序按照搭载顺序的情况下，能够实现更细致的识别顺序控制，在理论上，可以最大限度地使用直至最后的搭载点为止的移动时间，可以分配各部件的识别时间，作为系统整体，可以实现效率提高。

另外，在图像处理装置19中，在识别处理任务37～39包含硬件运算的情况下，进行下述校正，即，以其硬件运算占有率越高，针对可执行队列的识别处理任务的连接顺序的优先级越高的方式进行排序。因此，下一个识别处理任务可以有效地灵活运用通过运算控制电路9的硬件运算而得到的运算处理部18的控制CPU11的空闲时间，可以进一步缩短多个识别处理的总计的处理时间。

例如，图17表示图12的后侧搭载头第1图像识别处理变化为包含硬件运算的情况下的时序图。

在后侧搭载头第1图像识别处理（t8～t13）中包含的硬件运算执行区间（t10～t11），成为控制CPU11的空闲时间，可以在该时间（t10～t11）执行前侧搭载头的第2识别处理，可以使t18的结束时间缩短t10～t11的时间。

另外，在图像处理装置19中，在基于多个要求的各自的拍摄图像的识别处理所需的图像识别处理时间、和针对基于多个要求的各自的拍摄图像的识别处理而作为目标的图像识别处理结束时刻为已知或者能够取得的情况下，可以根据开始各照相机6、6的连续拍摄的时刻、和各自的拍摄图像的识别处理所需的图像识别处理时间，对各个拍摄图像的识别处理的结束时刻进行计算。并且，通过针对各个拍摄，对计算出的图像识别处理的结束时刻和作为目标的图像识别处理结束时刻进行比较，从而可以求出延迟的产生以及延迟时间。

在利用上述多个照相机6、6进行连续拍摄的情况下，有时各个拍摄中的某一个产生相对于作为目标的图像识别处理结束时刻的富余时间（例如，图13的前侧搭载头的第2及第3图像识别处理），因此，有时通过对产生富余时间的拍摄的识别处理任务、和产生延迟的拍摄的识别处理任务（例如，图13的后侧搭载头的第2及第3图像识别处理）的连接顺序分别进行替换，从而使任意的识别处理任务均消除延迟。

特别地，在上述的重新计划中，将在多个照相机6、6中以最后的顺序进行连续拍摄的照相机6（后侧搭载头侧）的连续拍摄中的最初的拍摄（第1图像数据拍摄）的曝光完成，作为触发，执行识别处理任务的排序，以减少延迟时间的合计。其结果，可以不等待拍摄完成，就开始对排序的识别处理任务的组合进行检索的处理，可以进一步缩短识别处理的总计处理时间。

Claims

1.一种图像处理装置，其具有：

运算处理部；

图像存储器，其存储图像数据，

所述运算处理部具有：

任务分配单元，其针对所述多个要求而分配识别处理任务，

其特征在于，具有：

2.一种图像处理装置，其具有：

运算处理部；

图像存储器，其存储图像数据，

所述运算处理部具有：

任务分配单元，其针对所述多个要求而分配识别处理任务，

其特征在于，具有：

3.根据权利要求2所述的图像处理装置，其特征在于，

所述连接顺序校正单元，将所述多个照相机中以第2个及第2个以后的顺序进行连续拍摄的照相机的连续拍摄中的、最初的拍摄的曝光完成作为触发，执行识别处理任务的排序。

4.一种图像处理方法，其由图像处理装置执行，该图像处理装置具有：

运算处理部；

图像存储器，其存储图像数据，

该图像处理方法的特征在于，具有下述工序：

5.一种图像处理方法，其由图像处理装置执行，该图像处理装置具有：

运算处理部；

图像存储器，其存储图像数据，

该图像处理方法的特征在于，具有下述工序：

6.根据权利要求5所述的图像处理方法，其特征在于，

在所述连接顺序校正工序中，将所述多个照相机中以第2个及第2个以后的顺序进行连续拍摄的照相机的连续拍摄中的、最初的拍摄的曝光完成作为触发，执行识别处理任务的排序。