CN117337619A - 元件安装系统、图像处理装置、图像处理方法以及图像处理系统 - Google Patents

Abstract

元件安装系统具备：多个生产设备，设置于将元件安装于基板的元件安装线；拍摄部，设置于元件安装线并对多个生产设备和配备于元件安装线的一个或多个作业人员进行拍摄；以及图像处理部，对在利用元件安装线生产产品的预定的生产期间内由拍摄部拍摄到的图像进行图像处理。图像处理部对于一个或多个作业人员中的至少一人而使该作业人员在生产期间内预先设定的多个时刻的各时刻或多个期间的各期间对多个生产设备中的至少一个生产设备的作业状况可视化并显示。

Description

元件安装系统、图像处理装置、图像处理方法以及图像处理 系统

技术领域

本说明书涉及将元件安装于基板的元件安装线。详细而言涉及使配备于元件安装线的作业人员的作业状况可视化的技术。

背景技术

在将元件安装于基板的元件安装线，设置有多个生产设备(例如印刷机、元件安装机、回流炉、基板检查机等)。基板被向多个生产设备按顺序搬运，在各生产设备中对基板进行预定的处理，由此在基板上安装元件。为了将元件安装于基板，各生产设备需要进行准备作业(例如原材料(元件等)的供给等)。因此，在元件安装线配置作业人员，根据生产设备的运转状况而作业人员进行必要的作业。为了提高元件安装线的生产效率，相对于生产设备的运转状况，作业人员的作业状况必须适当。因此，开发了对作业人员的作业状况进行评价的技术(例如日本特开2019-191748号公报)。

发明内容

发明所要解决的课题

在上述公报的技术中，对作为分析对象的生产设备和对该生产设备进行作业的作业人员进行拍摄。并且，通过对拍摄到的图像进行分析，取得生产设备的运转状况和作业人员的位置以及朝向，判定作业人员对该生产设备的作业是否适当。在上述公报的技术中，虽然能够评价作业人员对作为分析对象的生产设备的作业状况是否适当，但是一般在元件安装线设置有多个生产设备，作业人员对这些多个生产设备进行作业。因此，即便对一个生产设备的作业状况适当，对其他的生产设备的作业状况不一定适当。在上述公报的技术中，无法评价相对于在元件安装线设置的多个生产设备而作业人员的作业状况是否适当。

本说明书公开了一种对作业人员的作业状况相对于在元件安装线设置的多个生产设备是否适当进行评价的技术。

用于解决课题的手段

本说明书中公开的元件安装系统具备：多个生产设备，设置于将元件安装于基板的元件安装线；拍摄部，设置于元件安装线，对多个生产设备和配备于元件安装线的一个或多个作业人员进行拍摄；以及显示部，通过对在利用元件安装线生产产品的预定的生产期间内由拍摄部拍摄到的图像进行图像处理，对于一个或多个作业人员中的至少一人，使该作业人员在生产期间内预先设定的多个时刻的各时刻或多个期间的各期间对多个生产设备中的至少一个生产设备的作业状况可视化并显示。

在上述的元件安装系统中，对多个生产设备和配备于元件安装线的一个或多个作业人员进行拍摄，通过对拍摄到的图像进行图像处理而使作业人员的作业状况可视化。通过对多个生产设备进行拍摄，能够评价作业人员的作业相对于这多个生产设备的运转状况是否适当。

附图说明

图1是示出元件安装系统的整体结构的图。

图2是示出图像处理装置中执行的处理的流程图的图。

图3是示出图2的S20中执行的图像处理的流程图的图。

图4是用于说明算出作业人员与生产设备之间的距离的步骤的图。

图5是示出使作业人员的作业状况可视化了的时间图的一例的图。

图6是示出使作业人员的作业状况可视化了的时间图的另一例的图。

具体实施方式

在本说明书所公开的技术中，元件安装系统可以还具备运转状况取得部，所运转状况取得部取得多个时刻的各时刻下或多个期间的各期间中的多个生产设备中的至少一个生产设备的运转状况。显示部也可以使所取得的生产设备的运转状况与作业状况对应并显示。根据这种结构，生产设备的运转状况和作业人员的作业状况对应并显示，因此能够容易地评价作业人员的作业状况是否适当。

在本说明书所公开的技术中，运转状况取得部可以通过图像处理来取得运转状况。例如，生产设备具备向作业人员通知需要特定的作业的信号灯。在这种情况下，在对生产设备进行拍摄时，与生产设备一起拍摄信号灯，由此能够取得该生产设备的运转状况。

在本说明书所公开的技术中，多个生产设备中的至少一个生产设备也可以具备输出自身的状态的状态输出部。运转状况取得部也可以根据从状态输出部输出的状态来取得运转状况。根据这种结构，能够基于从生产设备输出的信息来准确地取得生产设备的运转状况。

在本说明书所公开的技术中，元件安装系统可以还具备判断部，所述判断部根据生产设备的运转状况的推移和作业人员的作业状况的推移来判断作业人员的作业有无迟滞。根据这种结构，通过判断部来判断作业人员的作业是否产生了迟滞，因此能够更容易地进行作业人员的作业状况的评价。

在本说明书所公开的技术中，元件安装系统可以还具备从多个生产设备之中指定作为分析对象的生产设备的第一指定装置。运转状况取得部也可以取得被第一指定装置指定的生产设备的运转状况。根据这种结构，能够评价与指定的生产设备相对的作业人员的作业状况。

在本说明书所公开的技术中，元件安装系统可以还具备从一个或多个作业人员之中指定作为分析对象的作业人员的第二指定装置。显示部也可以使被第二指定装置指定的作业人员的作业状况可视化并显示。根据这种结构，能够评价指定的作业人员的作业状况。

在本说明书所公开的图像处理中，可以在多个时刻中的任一时刻或多个期间中的任一期间，在作业人员的附近拍摄到多个生产设备时，对于该多个生产设备的各生产设备算出作业人员与该生产设备之间的距离，判定为作业人员对所算出的距离中的距离最小的生产设备进行作业。根据这种结构，即便拍摄到的图像中出现多个生产设备，也能够确定作业人员进行作业的生产设备。

在本说明书所公开的图像处理中，可以的是，在判定为作业人员对距离最小的生产设备进行作业的情况下，在对该生产设备进行作业的时间小于预定时间时，废弃作业人员对该生产设备进行作业的判定，在对该生产设备进行作业的时间为预定时间以上时，维持作业人员对该生产设备进行作业的判定。根据这种结构，即便拍摄到只是在生产设备的前方通过的作业人员，也能够避免判定为该作业人员对该生产设备进行作业。

在本说明书所公开的图像处理中，可以的是，在判定为作业人员对特定的生产设备进行作业的情况下，基于特定的生产设备的运转状况来确定作业人员对该生产设备进行的作业的内容。根据这种结构，由于考虑生产设备的运转状况来确定作业人员的作业内容，因此能够准确地评价作业人员的作业状况。

(实施例)以下，参照附图并对实施例1的元件安装系统10进行说明。如图1所示，元件安装系统10具备设置于元件安装线的多个生产设备12～28、对多个生产设备12～28进行管理的管理装置30、设置于元件安装线的拍摄装置(34a、34b)、对由拍摄装置(34a、34b)拍摄的图像进行图像处理的图像处理装置36。

生产设备12～28构成将元件安装于基板的元件安装线。元件安装线向被投入的基板安装元件，制造安装了元件的基板。以下，有时将元件安装后的基板称为电路基板，将元件安装前和元件安装中的基板简称为基板。在本实施例的元件安装线中，制造多个种类的电路基板。在电路基板的种类不同时，基板的大小不同，在被印刷于基板的焊料的图案也不同，安装于基板的元件的种类也不同。因此，在变更元件安装线中生产的电路基板的种类时，各生产设备12～28中需要进行换产调整作业(准备作业)。并且，在利用元件安装线开始电路基板的生产时，伴随于电路基板的生产而使用基板、焊料、元件等，需要对它们进行补充。为此，在元件安装线配备了多个作业人员50a～50c(“作业人员”的一例)。在图1所示的安装线中，配备了三个作业人员50a～50c。

元件安装线具备基板装载机12、印刷机14、印刷检查机(SPI)16、第一元件安装机18、第二元件安装机20、第一基板外观检查机(AOI)22、回流炉24、第二基板外观检查机(AOI)26、基板卸载机28。这些生产设备12～28能够使用在公知的元件安装线中使用的公知的机械，因此简单地进行说明。基板装载机12向元件安装线投入基板。基板装载机12收纳多个基板，将收纳的基板一张一张地向印刷机14搬出。印刷机14将焊料图案印刷于从基板装载机12搬入的基板。图案印刷了焊料的基板从印刷机14向印刷检查机16搬运。印刷检查机16对印刷于基板的焊料图案是否正常进行检查。在已被印刷的焊料图案产生异常的情况(例如产生了由掩模的堵塞引起的印刷不良的情况)下，废弃基板。另一方面，在已被印刷的焊料图案正常的情况下，从印刷检查机16向第一元件安装机18搬出基板。第一元件安装机18向从印刷检查机16搬入的基板安装被预先决定的多个元件。具体而言，第一元件安装机18将多个元件供料器以能够拆装的方式安装，将从这些元件供料器供给的元件安装于基板。利用第一元件安装机18安装了元件的基板向第二元件安装机20搬出。第二元件安装机20与第一元件安装机18一样向从第一元件安装机18搬入的基板安装被预先决定的多个元件。安装了元件的基板向第一基板外观检查机22搬出。第一基板外观检查机22对元件是否被正常地安装于基板进行检查。在元件没有被正常地安装于基板的情况(例如元件被安装于不同的地方的情况)下，废弃基板。另一方面，在元件被正常地安装于基板的情况下，从第一基板外观检查机22向回流炉24搬出基板。回流炉24对搬入的基板进行加热而使焊料熔化，将元件焊接于基板。从回流炉24搬出的基板向第二基板外观检查机26搬入。第二基板外观检查机26对基板是否在正确的位置被焊接进行检查。在元件没有被焊接于基板的正确的位置的情况(例如在由回流炉24加热时因一些原因而元件偏移的情况)下，废弃基板。另一方面，在元件被焊接于基板的正确的位置的情况下，从第二基板外观检查机22向基板卸载机28搬出基板。基板卸载机28将从第二基板外观检查机22搬运的基板(即安装了元件的电路基板)从元件安装线搬出。

需要说明的是，各生产设备12～28分别具备通信电路12a～28a(“状态输出部”的一例)。通信电路12a～28a与管理装置30以能够通信的方式连接。各通信电路12a～28a将表示装备了该通信电路的生产设备12～28的状态的状态信息向管理装置30输出。例如，基板装载机12将收纳的基板的数目向管理装置30输出。由此，管理装置30能够判断是否需要向基板装载机12补充基板。并且，例如第一元件安装机18以及第二元件安装机20按照元件的每个种类将该元件的使用数向管理装置30输出。由此，管理装置30能够判断是否需要向第一元件安装机18以及第二元件安装机20补充元件。

并且，在第一元件安装机18以及第二元件安装机20中安装的元件供料器由供料器机架32搬运。即，使用前的元件供料器在未图示的保管场所装载于供料器机架32，通过供料器机架搬运至第一元件安装机18和/或第二元件安装机20。并且，在第一元件安装机18和/或第二元件安装机20中使用完的元件供料器装入供料器机架32。装载于供料器机架32的使用完的元件供料器向未图示的保管场所搬运，进行用于下次使用的准备作业。

管理装置30由具备CPU和存储器的计算机构成。管理装置30通过对生产设备12～28的动作进行控制来控制电路基板的生产。例如，管理装置30向印刷检查机16发送焊料的印刷图案，印刷检查机16根据接收到的印刷图案来进行基板的检查。并且，例如，管理装置30向第一元件安装机18以及第二元件安装机20发送对安装的元件的种类、安装顺序、安装位置进行规定的安装程序(安装工作)，第一元件安装机18以及第二元件安装机20基于接收到的安装程序来向基板安装元件。

并且，管理装置30基于从各生产设备12～28输出的状态信息来判断各生产设备的运转状态。例如，第一元件安装机18以及第二元件安装机20在需要进行元件供料器的更换时，将该意旨的信息向管理装置30输出。管理装置30基于从第一元件安装机18以及第二元件安装机20输出的信息而能够判断为第一元件安装机18以及第二元件安装机20需要进行元件供料器的更换。

拍摄装置(34a、34b(“拍摄部”的一例))配置于设置有元件安装线的工厂内。拍摄装置(34a、34b)能够对设置于元件安装线的多个生产设备12～28、配备于元件安装线的多个作业人员50a～50c、元件安装线中使用的供料器机架32进行拍摄。具体而言，拍摄装置(34a、34b)具备在元件安装线的上游侧(基板装载机12侧)配置的第一相机34a和在元件安装线的下游侧(基板卸载机28侧)配置的第二相机34b。第一相机34a配置成其光轴相对于元件安装线(生产设备12～28配置的方向)倾斜，能够从元件安装线的上游侧对生产设备12～28的整体进行拍摄。第二相机34b配置成其光轴相对于元件安装线倾斜，能够从元件安装线的下游侧对生产设备12～28的整体进行拍摄。通过第一相机34a和第二相机34b从不同的方向对元件安装线进行拍摄，能够如后述那样确定作业人员50a～50c的位置(x、y)。第一相机34a和第二相机34b与图像处理装置36连接。用第一相机34a和第二相机34b拍摄到的动画数据向图像处理装置36输入。

图像处理装置36由具备CPU和存储器的计算机构成。图像处理装置36通过执行存储器中存储的程序(包括图像处理程序)而能够作为“显示部”和“运转状况取得部”等发挥功能。图像处理装置36与第一相机34a、第二相机34b和管理装置30连接。图像处理装置36被分别输入用第一相机34a拍摄到的动画和用第二相机34b拍摄到的动画，并且从管理装置30输入生产设备12～28的运转状况。图像处理装置36基于所输入的动画以及所输入的生产设备12～28的运转状况来使作业人员50a～50c的作业状况可视化。关于图像处理装置36中进行的处理，后文详述。

需要说明的是，在图像处理装置36还连接有显示装置38、输入装置40和图像登记装置42。显示装置38显示从图像处理装置36输出的各种信息(例如使生产设备12～28的运转状况和作业人员50a～50c的作业状况可视化了的时间图)。显示装置38能够使用公知的显示器。输入装置40能够指定(输入)由图像处理装置36实施的图像处理的条件、作为图像处理的对象的生产设备或作业人员。即，输入装置40是“第一指定装置”的一例，且是“第二指定装置”的一例。从输入装置40输入的信息储存于图像处理装置36的存储器。输入装置40能够使用公知的键盘或鼠标等指示设备。图像登记装置42在由图像处理装置36实施的图像处理中输入(登记)作为识别对象的生产设备12～28和作业人员50a～50c的图像(基准图像)。从图像登记装置42输入的基准图像储存于图像处理装置36的存储器。图像登记装置42能够使用数码相机、带数码相机的智能手机、带数码相机的平板PC、扫描仪等。图像登记装置42是“图像输入部”的一例。

接着，对在基于由拍摄装置(34a、34b)拍摄到的动画来使作业人员50a～50c的作业状况可视化时图像处理装置36执行的处理进行说明。如图2所示，首先图像处理装置36登记(输入)作为图像处理的对象的生产设备12～28以及供料器机架32的基准图像(S10)。在本实施例中，输入构成元件安装线的全部的生产设备12～28的基准图像和元件安装线中使用的供料器机架32的基准图像。这些基准图像的输入使用图像登记装置42。

接着，图像处理装置36登记(输入)作为图像处理的对象的作业人员50a～50c的基准图像(S12)。在本实施例中，输入配备于元件安装线的全部的作业人员50a～50c的基准图像。这些基准图像的输入与S10一样使用图像登记装置42。

接着，图像处理装置36取得用拍摄装置(34a、34b)拍摄到的动画数据(S14)。即，拍摄装置(34a、34b)在利用元件安装线生产电路基板的预定的生产期间内对生产设备12～28、供料器机架32以及作业人员50a～50c进行拍摄。用拍摄装置(34a、34b)拍摄到的动画数据储存于拍摄装置(34a、34b)的存储器。在S14中，将拍摄装置(34a、34b)的存储器中储存的动画数据向图像处理装置36输入。需要说明的是，用拍摄装置(34a、34b)对元件安装线进行拍摄的期间能够由用户任意设定。例如，可以将设置有元件安装线的工厂的工作时间(例如上午9点～下午5点)设为拍摄期间，在设置有元件安装线的工厂为24小时制的情况下，可以将从作业人员交替的时刻起一天设为拍摄期间。

接着，图像处理装置36取得利用拍摄装置(34a、34b)拍摄了动画的期间内的生产设备12～28的运转状况(S16)。即，生产设备12～28经由通信电路12a～28a向管理装置30输出表示自身的状态的状态信息。因此，管理装置30基于从生产设备12～28输出的状态信息来取得该生产设备的运转信息(例如正常运转中、运转停止中(包括错误代码)、维护作业中等)，将该运转信息储存于存储器。在S16中，将管理装置30的存储器中储存的生产设备12～28的运转信息向图像处理装置36输入。

接着，图像处理装置36通过对在S14中已被输入的动画数据进行图像处理来制作使作业人员50a～50c的作业状况可视化了的时间图(S18)。关于S18的图像处理，参照图3来详细地进行说明。

如图3所示，首先图像处理装置36从在S14中已被输入的动画数据中选择作为图像处理的对象(分析对象)的图像数据(一个动画数据)(S22)。即，拍摄装置(34a、34b)以预定的时间间隔(预定的帧率)拍摄动画数据。因此，在S14中已被输入的动画数据由以预定的时间间隔拍摄到的多个图像数据构成。在S22中，选择动画数据所包含的多个图像数据中的作为图像处理的对象的一个图像数据。例如，也可以选择所拍摄的动画数据所包含的全部的图像数据来进行图像处理。在该情况下，对全部的图像数据进行处理，因此能够高精度地使作业人员50a～50c的作业状况可视化。另一方面，也可以仅对从所拍摄的动画数据所包含的图像数据中以预定的时间间隔(即比拍摄装置(34a、34b)的拍摄时间间隔长的时间间隔)选择出的图像数据进行图像处理。在该情况下，实施图像处理的图像数据的数目变少，因此能够缩短图像处理所需要的时间。

接着，图像处理装置36自动识别是否在S22中选择出的图像数据中出现了作为识别对象的生产设备12～18等(S24)。在本实施例中，构成元件安装线的生产设备12～28的全部、元件安装线中使用的供料器机架32和配备于元件安装线的作业人员50a～50c的全员为识别对象。拍摄装置(34a、34b)的第一相机34a和第二相机34b设置成能够拍摄全部的生产设备12～28。因此，在用第一相机34a和第二相机34b拍摄的动画数据中出现了生产设备12～28的全部。另一方面，供料器机架32有时位于拍摄装置(34a、34b)的拍摄范围外，并且作业人员50a～50c也有时位于拍摄装置(34a、34b)的拍摄范围外。因此，在S24中识别S22中选择出的图像数据中出现的生产设备12～28并且供料器机架32、作业人员50a～50c位于拍摄装置(34a、34b)的拍摄范围内时，将识别这些供料器机架32、作业人员50a～50c。需要说明的是，自动识别是否在图像数据内出现识别对象物的方法能够使用公知的自动识别程序。

接着，图像处理装置36判断在S24中是否识别到作业人员50a～50c中的任一个(S26)。在图像处理装置36没有识别到作业人员50a～50c中的任一个的情况(即在元件安装线上没有任何作业人员50a～50c的情况)下，S26为否，进入S36。

在图像处理装置36识别到作业人员50a～50c中的任一个的情况(即在元件安装线上存在任一作业人员50a～50c的情况(S26为是))下，进入S28，选择所识别到的作业人员一人。例如，在识别到作业人员50a～50c三人的情况下，从作业人员50a～50c中选择作为分析对象的一人。

接着，图像处理装置36算出在S28中选择出的作业人员与各生产设备12～28之间的距离(S30)。参照图4来说明计算作业人员与生产设备之间的距离的步骤。在图4中示出了作业人员50a和生产设备22、24。如图4所示，设置有第一相机34a的位置(x1，y1)已知，设置有第二相机34b的位置(x2，y2)也已知。第一相机34a的光轴固定，第二相机34b的光轴也固定。因此，能够根据由第一相机34a拍摄到的图像内的作业人员50a的位置来算出相对于第一相机34a而作业人员50a位于的方向(角度θ1)。同样，能够根据由第二相机34b拍摄到的图像内的作业人员50a的位置来算出相对于第二相机34b而作业人员50a位于的方向(角度θ2)。第一相机34a的位置(x1，y1)和第二相机34b的位置(x2，y2)已知，算出上述的角度θ1和角度θ2，因此能够算出作业人员50a的位置(x3，y3)。在此，生产设备22的正面中央的位置(x4，y4)和生产设备24的正面中央的位置(x5，y5)也已知，因此能够算出作业人员50a与生产设备22之间的距离l1和作业人员50a与生产设备24之间的距离l2。在S30中，按照上述的步骤算出在S28中选择出的作业人员与各生产设备12～28之间的距离。由上述的说明可明确，S30中算出的距离是指俯视生产设备12～28和作业人员50a～50c时的距离。需要说明的是，在S24中识别到供料器机架32的情况下，也算出作业人员与供料器机架32之间的距离。供料器机架32的位置能够与作业人员同样地算出，因此也能够算出供料器机架32与作业人员的距离。

在S30中，图像处理装置36将在S28中选择出的作业人员与距离最近的生产设备(根据情况为供料器机架32)建立对应(S32)。即，由于在S30中分别算出了作业人员与各生产设备12～28之间的距离，所以将这些算出的距离最小的生产设备与S28中选择出的作业人员建立对应。例如，图4所示的情况将作业人员50a与生产设备(第一基板外观检查机)22建立对应。

接着，图像处理装置36判断是否对S24中识别出的全部的作业人员执行了S28～S32的处理(S34)。在没有对S24中识别出的全部的作业人员执行处理的情况下(S34中为否)，返回S28，执行从S28开始的处理。由此，对S24中识别出的全部的作业人员算出与生产设备12～28之间的距离，将各作业人员与距离最短的生产设备建立对应。

在对S24中识别出的全部的作业人员执行了处理的情况下(S34中为是)，进入S36。在S36中，图像处理装置36判断是否对在S14中被输入的动画数据中的作为图像处理的对象的图像数据的全部进行了处理。在没有对全部的图像数据进行处理的情况下(S36中为否)，图像处理装置36返回S22，重复从S22开始的处理。由此，对在S14中被输入的动画数据中的作为图像处理的对象的图像数据的全部进行处理。

在对全部的图像数据进行了处理的情况下(S36中为是)，图像处理装置36选择一个作为分析对象的作业人员(S38)。在本实施例中，配备于元件安装线的三个作业人员50a～50c分别成为分析对象。因此，在S38中，从三个作业人员50a～50c中选择一人(例如作业人员50a)。

接着，图像处理装置36判定S38中选择出的作业人员是否在用拍摄装置(34a、34b)拍摄了动画的期间内具有与相同的生产设备12～28、32连续地对应了预定时间以上的期间(S40)。即，通过上述的S22～S36的处理，对在S14中被输入的动画数据中的作为分析对象的图像数据全部进行了图像处理，在拍摄到各图像数据的时刻将作业人员50a～50c与生产设备12～28、32中的任一者建立对应。(不过，在图像数据中未出现作业人员的情况(即未识别到作业人员的情况)下，在该时刻该作业人员没有与生产设备12～28、32中的任一者建立对应)在作业人员与生产设备建立了对应的情况下，能够判断为作业人员位于该生产设备的附近，并正在对该生产设备进行一些作业。然而，有时在某时刻虽然作业人员位于某一生产设备的附近，但只是在该生产设备的前方通过，没有对该生产设备进行作业。因此，在本实施例中，在作业人员与相同的生产设备连续地对应了预定时间(例如20秒)以上的情况下，判断为该作业人员正在对该生产设备进行作业。因此，在S40中，判定是否具有作业人员与相同的生产设备12～28、32连续地对应了预定时间以上的期间。

需要说明的是，在S40的判定中，能够基于在S22中被选择的图像数据的时间间隔来进行。例如，在S22中被选择的图像数据的时间间隔为5秒且S40的判定中使用的预定时间为20秒的情况下，在作业人员连续5个图像数据与相同的生产设备建立对应时，能够判定为具有作业人员与相同的生产设备连续地对应了预定时间以上的期间。需要说明的是，从减少图像处理的处理量的角度出发，也可以使S22中被选择的图像数据的时间间隔与S40的判定中使用的预定时间一致。在该情况下，在作业人员连续两个图像数据与相同的生产设备建立对应时，能够判定为具有作业人员与相同的生产设备连续地对应了预定时间以上的期间。

在不具有作业人员与相同的生产设备连续地对应了预定时间以上的期间的情况下(S40中为否)，认为该作业人员对任何的生产设备12～28、32都没有进行作业，重置该作业人员和生产设备对应的结果(S44)。另一方面，在具有作业人员与相同的生产设备连续地对应了预定时间以上的期间的情况下(S40中为是)，认定为该作业人员在该期间内正在对该生产设备进行作业，维持该作业人员和该生产设备对应的结果(S42)。需要说明的是，关于除作业人员与相同的生产设备连续地对应了预定时间以上的期间以外的期间，认为该作业人员对任何的生产设备12～28、32都没有进行作业，重置该作业人员与生产设备对应的结果。

接着，图像处理装置36判断是否对成为分析对象的全部的作业人员执行了S40～S44的处理(S46)。在没有对成为分析对象的全部的作业人员执行处理的情况下(S46中为否)，返回S38，执行从S38开始的处理。由此，对成为分析对象的全部的作业人员，执行S40～S44的处理，决定该作业人员对哪个生产设备进行了作业。

在S46结束后，返回到图2的S20，图像处理装置36在显示装置38中显示将作为分析对象的作业人员50a～50c与各生产设备12～28、32建立了对应的时间图(S20)。即，在显示装置38中显示使在用拍摄装置(34a、34b)拍摄了动画的期间(生产期间)内的各时刻作业人员50a～50c对哪个生产设备进行作业的作业状况可视化的时间图。需要说明的是，图像处理装置36在S16中取得各生产设备12～28的运转状况，因此在S20中显示的时间图中也可以一并显示各生产设备12～28的运转状况。通过一并显示各生产设备12～28的运转状况，能够推定作业人员50a～50c对各生产设备12～28进行的作业内容。例如，作业人员对第一元件安装机18进行作业，若为第一元件安装机18发出元件用尽的警告的状态，则能够推定为作业人员正在进行补充元件的作业。

在此，参照图5、6来说明S20中显示于显示装置38的时间图的一例。

图5是示出时刻9：50～时刻11：05下的作业人员50a～50c对生产设备12～28、32的作业状况的时间图。需要说明的是，作业人员50a的作业状况在图中作为“作业人员1”来显示，作业人员50b的作业状况在图中作为“作业人员2”来显示，作业人员50c的作业状况在图中作为“作业人员3”来显示。

在图5中，作业人员50a～50c的作业状况按每一分钟来显示对哪个生产设备进行了作业。例如，在9：50分一栏显示了在从9点50分0秒到9点51分0秒为止的期间内作业人员对哪个生产设备进行了作业。在本实施例中，对生产设备12～28、32的作业在作业人员连续20秒以上与生产设备建立对应时，判断为该作业人员正在对该生产设备进行作业。因此，产生了在一分钟内对多个生产设备进行作业的情况。例如，作业人员50b(作业人员2)在10点08分对第一元件安装机18和第二元件安装机20两者都进行作业。

并且，在图5中，也一并示出了生产设备12～28的运转状况。具体而言，在印刷机14中，在时刻9：51输出换产调整作业的引导，以下同样在印刷检查机(SPI)16中于时刻9：52、在第一元件安装机18和第二元件安装机20中于时刻9：53、在第一基板外观检查机(AOI)22中于时刻9：54、在回流炉24和第二基板外观检查机(AOI)26中于时刻9：55、在基板卸载机28中于时刻9：56分别输出换产调整作业的引导(警报)。因此，图5的时间图成为向生产设备12～28输出换产调整作业的引导并根据该引导而作业人员50a～50c对各生产设备12～28进行换产调整作业时的时间图。

由图5所示的时间图可知，需要用于改善作业人员50a～50c的作业状况的具体的对策。例如，如图5的A所示，作业人员50a(作业人员1)在印刷机14的换产调整中需要长时间。因此，可知为了缩短作业人员50a对印刷机14的换产调整作业的时间，需要例如事先熬炼准备焊料、事先准备更换用掩模等对策。

并且，如图5的B所示，在第一元件安装机18和第二元件安装机20中，从输出换产调整作业的引导起至作业人员50b(作业人员2)实际开始作业为止需要长时间。因此，可知为了缩短到作业人员50b的作业动手为止的时间，需要例如事先准备供料器机架32等对策。

并且，如图5的C所示，该时段的作业人员50b(作业人员2)的作业负荷较高，作业人员50b对多个生产设备18～28、32进行作业。另一方面，在该时段内，作业人员50c(作业人员3)没有进行作业。因此，可知为了减轻作业人员50b的作业负荷，需要其他的作业人员50c分担作业这样的对策。

并且，如图5的D、E所示，从时刻10：44到时刻10：54，作业人员50a(作业人员1)和作业人员50b(作业人员2)共同对第一元件安装机18和第二元件安装机20进行作业，因此作业人员50a对印刷机14的作业被推迟为从时刻10：57起。因此，可知通过变更成作业人员50b和作业人员50c(作业人员3)共同对第一元件安装机18和第二元件安装机20进行作业，能够快速开始作业人员50a对印刷机14的作业。

图6是示出时刻13：15～时刻13：54下的作业人员50a～50c对生产设备12～28、32的作业状况的时间图。在图6中，也一并示出了生产设备12～28的运转状况(具体而言为基于信号塔和监视器的显示)。由图6可明确的是，在图6的时间图中示出了从生产设备产生基于信号塔或监视器的显示而用于应对于此的作业人员50a～50c的作业状况。

根据图6所示的时间图，还能够导出用于改善作业人员50a～50c的作业状况的对策。例如，如图6的F所示，在时刻13：33印刷机14和第一元件安装机18同时产生警报，因此示出了与第一元件安装机18相对的作业人员50a(作业人员1)的作业迟滞。因此，可知在多个生产设备中同时产生警报的情况下，需要用多个作业人员来应对。在上述的例中，只要变更成作业人员50b、50c(作业人员2、3)对第一元件安装机18进行作业即可。

并且，如图6的G所示，从印刷检查机(SPI)16中产生警报起到作业人员50c(作业人员3)完成作业为止需要两分钟左右的作业时间。由此，可考虑作业人员50c不熟练印刷检查机16的处理的可能性。因此，作为该对策，可考虑印刷检查机16的作业的标准化(手册化)或实施对作业人员50c的教育等对策。

如以上说明的那样，在本实施例的元件安装系统10中，对多个生产设备12～28、32和配备于元件安装线的多个作业人员50a～50c进行拍摄，通过对拍摄到的动画进行图像处理来使作业人员50a～50c的作业状况可视化。因此，能够评价作业人员50a～50c的作业相对于设置于元件安装系统的多个生产设备12～28、32的运转状况是否适当。并且，在作业人员50a～50c的作业不适当的情况下，能够容易地推定其原因，其结果是还能够发现改善对策。

以上，详细地说明了本说明书中公开的技术的具体例，不过这些只是示例，并不限定权利要求书。权利要求书中记载的技术包括对以上例示的具体例进行各种变形、变更后的技术方案。

例如，在上述的实施例中，各生产设备12～28输出表示自身的状态的状态信息，管理装置30从该输出的状态信息中取得各生产设备12～28的运转状况，将该取得的运转状况向图像处理装置36输入。然而，本说明书所公开的技术并不限于这种方式。例如，图像处理装置36也可以通过对由拍摄装置拍摄到的动画数据进行图像处理来取得各生产设备的运转状况。即，也可以通过对动画数据进行图像处理，根据在各生产设备中配备的信号塔或监视器的引导来取得各生产设备的运转状况。在该情况下，不需要从管理装置30取得运转状况，因此能够使系统结果简化。

并且，在上述的实施例中，利用元件安装线生产电路基板的生产者和利用图像处理装置36使作业人员的作业状况可视化的人是同一人，不过本说明书所公开的技术并不限于这种方式。例如，利用元件安装线生产电路基板的生产者和利用图像处理装置36使作业人员的作业状况可视化的人也可以是不同的人。在该情况下，利用元件安装线生产电路基板的生产者例如只进行作为图像处理对象的生产设备或作业人员的基准图像的登记和拍摄元件安装线所得到的动画数据的输入。基准图像的登记以及动画的输入能够由生产者从拥有的PC或平板PC进行。另一方面，利用图像处理装置36使作业人员的作业状况可视化的人对已登记的基准图像以及已输入的动画数据进行分析，将使作业人员的作业状况可视化了的时间图向生产者输出。根据这种方式，图像处理装置36的运用者能够远程对利用元件安装线生产电路基板的生产者进行支持。

并且，在上述的实施例中，只判断了作业人员50a～50c是否对各生产设备12～28、32进行作业，不过本说明书所公开的技术并不限于这种方式。例如，图像处理装置也可以形成为从由作业人员进行作业的生产设备的运转状况到作业内容都推定(判断)。通过图像处理装置连作业人员的作业内容都推定，用户能够容易进行作业人员的作业状况的评价。而且，图像处理装置也可以形成为根据生产设备的运转状况的推移和作业人员的作业状况的推移来判断作业人员的作业有无迟滞。根据这种结构，能够容易掌握作业人员的作业的迟滞，能够提高利用元件安装线生产电路基板的生产者的便利性。

并且，在上述的实施例中，将作业人员50a～50c与处于最近距离的生产设备始终建立了对应，不过本说明书所公开的技术并不限于这种方式。例如，在作业人员与处于最近距离的生产设备之间的距离比预定距离长的情况下，也可以不将该作业人员与该生产设备建立对应。即，该作业人员不与任何生产设备建立对应。这是因为在从作业人员到生产设备的距离超过预定距离的情况下，很难考虑该作业人员对该生产设备进行作业。

并且，在上述的实施例中，设置于元件安装线的全部的生产设备和配备于元件安装线的全部的作业人员为分析对象，不过本说明书所公开的技术并不限于这种方式。例如，也可以仅将与特定的生产设备相对的特定的作业人员的作业状况作为分析对象。

并且，在上述的实施例中，通过用两台相机34a、34b对作业人员50a～50c进行拍摄来算出作业人员50a～50c的位置，不过本说明书所公开的技术并不限于这种方式。例如，也可以设置一台相机和对到作业人员为止的距离进行计测的距离传感器(激光传感器)，使用相机的图像和用距离传感器测定到的距离来算出作业人员的位置。

需要说明的是，在上述的实施例中，为了算出作业人员的位置而使用了用相机拍摄到的图像，不过作业人员的位置也可以通过使作业人员携带GPS传感器来取得。在该情况下，不一定需要对设置于元件安装线的生产设备进行拍摄，仅根据作业人员的位置也可以推定作业人员的作业状况。

并且，本说明书或附图中说明的技术要素单独或通过各种组合来发挥技术实用性，并不限定于申请时权利要求记载的组合。并且，本说明书或附图中例示的技术同时达成多个目的，达成其中一个目的本身也具有技术实用性。

Claims (14)

1.一种元件安装系统，具备：

多个生产设备，设置于将元件安装于基板的元件安装线；

拍摄部，设置于所述元件安装线，对所述多个生产设备和配备于所述元件安装线的一个或多个作业人员进行拍摄；以及

显示部，通过对在利用所述元件安装线生产产品的预定的生产期间内由所述拍摄部拍摄的图像进行图像处理，对于所述一个或多个作业人员中的至少一人，使该作业人员在所述生产期间内预先设定的多个时刻的各时刻或多个期间的各期间对所述多个生产设备中的至少一个生产设备的作业状况可视化并显示。

2.根据权利要求1所述的元件安装系统，其中，

所述元件安装系统还具备运转状况取得部，所述运转状况取得部取得所述多个时刻的各时刻下或多个期间的各期间中的所述多个生产设备中的至少一个生产设备的运转状况，

所述显示部使所取得的所述生产设备的所述运转状况与所述作业状况对应并显示。

3.根据权利要求2所述的元件安装系统，其中，

所述运转状况取得部通过所述图像处理来取得所述运转状况。

4.根据权利要求2所述的元件安装系统，其中，

所述多个生产设备中的至少一个生产设备具备输出自身的状态的状态输出部，

所述运转状况取得部根据从所述状态输出部输出的所述状态来取得所述运转状况。

5.根据权利要求2～4中任一项所述的元件安装系统，其中，

所述元件安装系统还具备判断部，所述判断部根据所述生产设备的运转状况的推移和所述作业人员的作业状况的推移来判断所述作业人员的作业有无迟滞。

6.根据权利要求2～5中任一项所述的元件安装系统，其中，

所述元件安装系统还具备从所述多个生产设备之中指定作为分析对象的生产设备的第一指定装置，

所述运转状况取得部取得被所述第一指定装置指定的生产设备的运转状况。

7.根据权利要求2～6中任一项所述的元件安装系统，其中，

所述元件安装系统还具备从所述一个或多个作业人员之中指定作为分析对象的作业人员的第二指定装置，

所述显示部使被所述第二指定装置指定的作业人员的作业状况可视化并显示。

8.根据权利要求2～7中任一项所述的元件安装系统，其中，

在所述图像处理中，

在所述多个时刻中的任一时刻或多个期间中的任一期间，在所述作业人员的附近拍摄到多个生产设备时，对于所述多个生产设备的各生产设备而算出所述作业人员与该生产设备之间的距离，

判定为所述作业人员对所算出的距离中的距离最小的生产设备进行作业。

9.根据权利要求8所述的元件安装系统，其中，

在所述图像处理中，在判定为所述作业人员对所述距离最小的生产设备进行作业的情况下，

在对该生产设备进行作业的时间小于预定时间时，废弃所述作业人员对该生产设备进行作业的判定，

在对该生产设备进行作业的时间为所述预定时间以上时，维持所述作业人员对该生产设备进行作业的判定。

10.根据权利要求2～9中任一项所述的元件安装系统，其中，

在所述图像处理中，在判定为所述作业人员对特定的生产设备进行作业的情况下，基于所述特定的生产设备的运转状况来确定所述作业人员对该生产设备已进行的作业的内容。

11.一种图像处理装置，具备：

图像输入部，输入在利用将元件安装于基板的元件安装线生产产品的预定的生产期间内对设置于所述元件安装线的多个生产设备和配备于所述元件安装线的一个或多个作业人员进行拍摄而得到的图像；以及

图像处理装置，通过对从所述图像输入部输入的图像进行图像处理，对于所述一个或多个作业人员中的至少一人，使该作业人员在所述生产期间内预先设定的多个时刻的各时刻或多个期间的各期间对所述多个生产设备中的至少一个生产设备的作业状况可视化。

12.一种图像处理方法，包括：

图像拍摄步骤，在利用将元件安装于基板的元件安装线生产产品的预定的生产期间内对设置于所述元件安装线的多个生产设备和配备于所述元件安装线的一个或多个作业人员进行拍摄；以及

图像处理步骤，通过对在所述图像拍摄步骤中拍摄到的图像进行图像处理，对于所述一个或多个作业人员中的至少一人，使该作业人员在所述生产期间内预先设定的多个时刻的各时刻或多个期间的各期间对所述多个生产设备中的至少一个生产设备的作业状况可视化。

13.一种程序，用于使计算机执行：

图像拍摄步骤，在利用将元件安装于基板的元件安装线生产产品的预定的生产期间内对设置于所述元件安装线的多个生产设备和配备于所述元件安装线的一个或多个作业人员进行拍摄；以及

图像处理步骤，通过对在所述图像拍摄步骤中拍摄到的图像进行图像处理，对于所述一个或多个作业人员中的至少一人，使该作业人员在所述生产期间内预先设定的多个时刻的各时刻或多个期间的各期间对所述多个生产设备中的至少一个生产设备的作业状况可视化。

14.一种图像处理系统，具备：

输入装置，输入在利用将元件安装于基板的元件安装线生产产品的预定的生产期间内对设置于所述元件安装线的多个生产设备和配备于所述元件安装线的一个或多个作业人员进行拍摄而得到的图像；以及

图像处理装置，与所述输入装置以能够通信的方式连接，通过对从所述输入装置输入的图像进行图像处理，对于所述一个或多个作业人员中的至少一人，使该作业人员在所述生产期间内预先设定的多个时刻的各时刻或多个期间的各期间对所述多个生产设备中的至少一个生产设备的作业状况可视化。