CN113019980A - 注射成形系统 - Google Patents

Abstract

本发明提供一种注射成形系统，具有：视线测量部，测量作业员的视线的移动，所述作业员观察通过注射成形而成形的成形品；视线数据存储部，存储表示由视线测量部测量出的作业员的视线的移动的视线信息与测量视线信息的测量时刻；注视区域确定部，根据视线信息和测量时刻来确定作业员以预定时间以上注视的和/或以预定次数以上视线所对准的成形品的注视区域；注视区域存储部，存储确定出的注视区域的图像；成形不良类别输入部，输入或者选择成形不良类别；机器学习器，根据注视区域的图像对成形不良类别进行机器学习，机器学习器进行以下机器学习：输入成形品所产生的成形不良的类别，根据注视区域的图像学习成形不良的特征量来进行自动识别。

Description

注射成形系统

技术领域

本发明涉及注射成形系统。

背景技术

在注射成形中，在成形品略微产生成形不良现象的缩痕、翘曲、熔接痕、银纹、变色等的情况下，多数情况下，即使只参照一般性地调整注射成形条件时参照的最大注射压、最小缓冲量、测量时间、压力波形等物理量数据也难以捕捉该略微的成形不良现象。为了消除这样的成形不良，需要具有丰富的知识和经验的熟练人员在所述物理量数据的基础上，通过目视来判断成形品的略微异常，从而对成形条件进行微调整。

这方面，已知如下技术：通过机器学习来优化注射成形的成形条件的技术、和生成模拟数据集来进行机器学习的技术。例如，参照专利文献1、2。

但是，有时观测到成形不良的区域是成形品的极小的一部分区域。因此，在利用成形品整体的图像来进行机器学习时，使得机器学习的精度变低，或只有特定的成形品可以使用机器学习结果，因此，可能使得成形条件的优化变得困难或者花费时间。

此外，也能够进行手动加工所取得的成形品的图像而使成形不良部位移动、扩大的作业，但要求基于手动的效率差的作业，并且，难以在数秒至数十秒的连续成形中手动加工各射出的成形品图像。因此，使用成形品图像来优化注射成形条件可能伴随着困难。

专利文献1：日本特开2017-30152号公报

专利文献2：日本特开2019-166702号公报

发明内容

因此，希望即使是熟练人员以外的作业员也可以容易地发现成形品中的容易成为成形不良的部位。

本公开的注射成形系统的一方式具有：视线测量部，其测量作业员的视线的移动，所述作业员观察通过注射成形而成形的成形品；视线数据存储部，其存储表示由所述视线测量部测量出的所述作业员的视线的移动的视线信息和测量所述视线信息的测量时刻；注视区域确定部，其根据所述视线信息和所述测量时刻来确定所述作业员以预定时间以上注视的和/或以预定次数以上视线所对准的所述成形品的注视区域；注视区域存储部，其存储所述成形品的图像中的由所述注视区域确定部确定出的所述注视区域的图像；成形不良类别输入部，其输入或者选择成形不良类别；以及机器学习器，其根据所述注视区域的图像来对所述成形不良类别进行机器学习，所述机器学习器以如下方式进行机器学习：输入所述成形品所产生的成形不良的类别，根据存储在所述注视区域存储部中的所述注视区域的图像学习成形不良的特征量来进行自动识别。

根据一方式，即使是熟练人员以外的作业员也可以容易地发现成形品中的易于成为成形不良的部位。

附图说明

图1是表示第1实施方式的注射成形系统的功能结构例的功能框图。

图2是表示视线测量装置的一例的图。

图3是表示摄像机装配于机器人时的一例的图。

图4A是表示由注视区域确定部确定出的注视区域的一例的图。

图4B是表示由注视区域确定部确定出的注视区域的一例的图。

图5A是表示缩痕的一例的图。

图5B是表示翘曲的一例的图。

图5C是表示空隙的一例的图。

图6是表示由图1的机器学习器生成的学习完成模型的一例的图。

图7是对运用阶段的机器学习器的判定处理进行说明的流程图。

图8是表示第1实施方式的变形例的注射成形系统的功能结构例的功能框图。

图9是表示从整体图像中分割成的分割图像的一例的图。

图10是对运用阶段的机器学习器的判定处理进行说明的流程图。

图11是表示注射成形系统的结构的一例的图。

图12是表示注射成形系统的结构的一例的图。

符号说明

1 注射成形系统；

10 注射成形机；

101 控制装置；

102 显示器；

20 机器学习器；

201 状态观测部；

202 标签取得部；

203 学习部；

204、204a 存储部；

205、205a 输入部；

206、206a 判定部；

207 成形品图像分割部；

240 学习完成模型；

30 视线测量装置；

303 视线测量部；

304 注视区域确定部；

305 存储部。

具体实施方式

以下，使用附图对本公开的第1实施方式进行说明。这里，学习阶段的成形品和注视区域、与运用阶段的成形品和注视区域相同。另外，本发明不限于此，学习阶段的成形品和注视区域、与运用阶段的成形品和注视区域也可以不同。

＜第1实施方式＞

图1是表示第1实施方式的注射成形系统的功能结构例的功能框图。如图1所示，注射成形系统1具有：注射成形机10、机器学习器20和视线测量装置30。

注射成形机10、机器学习器20和视线测量装置30可以通过未图示的连接接口彼此直接连接。此外，注射成形机10、机器学习器20和视线测量装置30也可以通过LAN(LocalArea Network)或因特网等未图示的网络相互连接。该情况下，注射成形机10、机器学习器20和视线测量装置30具有用于通过这样的连接相互进行通信的未图示的通信部。另外，也可以像后面所描述那样，注射成形机10包含机器学习器20。

＜注射成形机10＞

注射成形机10是本领域技术人员公知的注射成形机，通过组装而具有控制装置101和显示器102。注射成形机10根据控制装置101的动作指令来进行动作。另外，控制装置101也可以是与注射成形机10独立的装置。

控制装置101是本领域技术人员公知的数值控制装置，根据控制信息来生成动作指令，将生成的动作指令发送给注射成形机10。由此，控制装置101控制注射成形机10的动作。另外，控制信息包含设定给控制装置101的加工程序和参数的值。

显示器102是液晶显示器等。显示器102显示一种数据，所述数据是表示基于控制装置101的注射成形机10的动作状况的数据。

此外，也可以构成为：像后面所描述那样，在作业员识别出目视的成形品的成形不良时，显示器102经由显示器102所包含的触摸面板等输入装置(未图示)显示使作业员输入成形不良的类别的成形不良类别画面、或者选择成形不良类别的成形不良类别选择画面。于是，可以在作业员识别了成形不良时，像后面所描述那样，将作为机器学习用的标签信息的成形不良的类别例如存储在注射成形机10所包含的存储部(未图示)中。另外，成形不良类别与后述的作业员目视的注视区域对应起来进行存储。

此外，也可以设置成：在显示器102经由显示器102的输入装置(未图示)被输入了在成形不良类别画面中由熟练人员输入的成形品的成形不良类别时，注射成形机10或者控制装置101将输入的成形不良类别与后述的作业员目视的注视区域对应起来，输出给后述的机器学习器20。另外，用于输入成形不良类别的画面例如也可以显示于注射成形系统1具有的个人电脑等的显示器(未图示)。

此外，显示器102也可以显示调整完成输入部(未图示)，所述调整完成输入部是熟练人员进行的成形条件调整完成而合格品可以成形时用于将成形条件调整完成信号输入给机器学习器20的成形条件调整结束按钮。另外，调整完成输入部(未图示)可以由设置于注射成形机10或控制装置101等的操作面板的成形条件调整结束按钮、或者开始连续成形的自动按钮构成，也可以由注射成形机10所包含的声音识别装置(未图示)构成，所述声音识别装置是检测表示调整完成的熟练人员等作业员的声音的装置。于是，能够向机器学习器20报知是成形了合格品的状态。

此外，还可以设置成：显示器102像后面所描述那样，在量产成形开始后，利用作为成形不良判定装置的机器学习器20自动识别出成形品的成形不良时，显示成形不良的类别。该情况下，例如作业员可以停止成形，或者对公知的合格品不合格品区分装置(未图示)输入信号，由此舍弃该不合格品。

作业员停止成形，而对该成形品的成形条件进行微调整，由此，在成形不良消除时，经由显示器102对作业员报知成形不良已消除。另外，显示器102也可以通过消除成形不良的显示，来报知成形不良已消除。

＜视线测量装置30＞

视线测量装置30例如佩戴于熟练人员等作业员，测量作业员的视线。视线测量装置30具有：眼球图像摄像机301、视线方向摄像机302、视线测量部303、注视区域确定部304以及存储部305。

图2是表示视线测量装置30的一例的图。

如图2所示，视线测量装置30例如在眼镜型的构造体上配置眼球图像摄像机301、视线方向摄像机302、视线测量部303、注视区域确定部304和存储部305。另外，图2中省略视线测量部303、注视区域确定部304和存储部305。

眼球图像摄像机301是拍摄作业员的眼球图像的数字摄像机。

视线方向摄像机302是拍摄包含作业员注视的对象在内的作业员的视线方向的图像的数字摄像机。

另外，作为视线测量装置30也可以应用如下方式。

注射成形系统1例如像日本特开平2-185230号公报所记载那样，可以代替视线方向摄像机302而具有与视线测量装置30分开地固定配置，拍摄由注射成形机10注射成形所得的成形品的作为成形品拍摄部的摄像机。该情况下，注射成形系统1能够通信地与所述摄像机和显示器102或计算机的监视器等连接，而将拍摄到的成形品的图像显示于显示器102或计算机的监视器等。

并且，作业员也可以注视由所述摄像机拍摄到的成形品的图像。该情况下，用于测量作业员的眼球视线的注视位置坐标的眼球图像摄像机301，可以测量佩戴的作业员显示在显示器102等的成形品的图像中的、作业员的眼球视线的注视位置坐标(注视位置)。

此外，在自动识别出成形不良时或者后述的注视区域确定部304确定了作业员的注视区域时，可以使显示器102等的监视器扩大显示自动识别出的成形品的成形不良部位或者所述注视区域。由此，能够容易发现成形不良部位从而提升成形条件调整的效率。另外，扩大显示的倍率可以预先设定为2倍、5倍等。此外，可以在包含自动识别出的成形不良的区域或注视区域的整个区域的范围内最大限度地扩大显示。

并且，如图3所示，摄像机可以装配在作为成形品拍摄位置移动部的机器人。通过将摄像机设为能够移动，能够实现从金属模具内的各方向拍摄成形品，或者将成形品从金属模具取出后在传送带上或作业工作台上进行拍摄。在因光的反射等而无法对成形不良进行目视确认等情况下，能够从各方向拍摄成形品，由此，也能够容易地发现成形不良部位。此外，如果摄像机也装配在成形品的取出机器人，则也能够通过1台机器人来实现系统构建。

另外，也可以使用周知的方法来预先校正固定配置的摄像机的坐标系与注射成形机10的机械坐标系、以及摄像机的坐标系与机器人的坐标系。

视线测量部303例如像日本特开2015-123262号公报所记载那样，使用眼球模型根据由眼球图像摄像机301拍摄到的眼球图像生成切面展开图像。视线测量部303通过进行生成的切面展开图像与由视线方向摄像机302拍摄到的图像的匹配，测量作业员的注视点(视线)。并且，视线测量部303将测量出的注视点即视线信息、与测量视线信息的测量时刻输出给后述的存储部305(视线数据存储部350)。

注视区域确定部304从后述的存储部305中读出由视线测量部303测量出的视线信息和测量时刻。

成形不良的症状越小，或越难以分辨，包含熟练人员在内的作业员注视相同位置的时间越长。并且，作业员一边改变成形品的方向来调整光照情况，一边多次注视相同位置。并且，作业员在成形过程中注视各成形品的相同位置，由此，存在视线所对准的次数只在特定位置增加的趋势。因此，通过累计注视时间或视线所对准的次数，能够提取(确定)注视位置。并且，能够在提取多个注视位置时，判定出不同的位置或者不同的成形不良复合地产生。

因此，注视区域确定部304构成为：根据读出的视线信息和测量时刻来确定熟练人员等作业员以预定时间(例如，1秒)以上注视的和/或以预定次数(例如，5次)以上视线所对准的成形品的注视区域。

注视区域确定部304将确定出的注视区域存储在后述的存储部305(注视区域存储部360)中。另外，也可以对应于所要求的成形品的品质或者熟练人员的熟练度等，适当决定预定时间或预定次数。

图4A和图4B是表示由注视区域确定部304确定出的注视区域的一例的图。

如图4A所示，注视区域确定部304可以提取由视线方向摄像机302拍摄到的图像中的、以由视线测量部303测量出的成形不良部位的注视点为中心的预先设定的形状的区域，例如以注视点为中心的长方形区域，确定为注视区域。另外，也可以对应于成形不良部位的大小来适当调整区域的大小。

此外，由于人的视点有些许偏差地注视成形不良，因此有时在包围注视点的区域没有完全包含成形不良图像。因此，如图4B所示，注视区域确定部304也可以将包含包围由视线测量部303测量出的多个(例如，4个)注视点的区域和其周围的区域在内的1～4倍的区域确定为注视区域。另外，注视点已知画面上的坐标，因此，能够简单地进行用于扩大区域的计算。

此外，注视区域确定部304可以提取(确定)多个注视区域。该情况下，注射成形系统1也能够判定出不同的位置或者不同的成形不良复合地产生。

另外，注射成形机10的控制装置101在注视区域确定部304确定了作业员的注视区域时，可以使显示器102扩大显示注视区域。于是，能够容易发现成形不良部位而提升成形条件调整的效率。扩大显示的倍率可以预先设定为2倍、5倍等。此外，可以在包含注视区域的整个区域的范围内最大限度地扩大显示。

存储部305是RAM等存储器，可以存储视线数据和注视区域。

视线数据存储部350存储由视线测量部303测量出的视线信息和测量时间。

注视区域存储部360存储由注视区域确定部304确定出的、由视线方向摄像机302拍摄到的图像中的注视区域的图像。

＜机器学习器20＞

机器学习器20在学习阶段，根据后述的训练数据来进行监督学习而生成学习完成模型。具体来说，将由注视区域确定部304确定出的注视区域的图像作为输入数据，将基于所述图像的成形不良类别(包含“合格”)作为标签数据，进行监督学习。

另一方面，机器学习器20在运用阶段，根据所述学习完成模型来判定成形品是否不良。具体来说，机器学习器20可以将成形品的所述确定出的注视区域的图像输入到在学习阶段由机器学习器20生成的学习完成模型，由此，根据所述确定出的注视区域来判定该成形品是否不良，以及对判定为不良时的成形不良类别进行判定。另外，在运用阶段也可以利用作业员佩戴的视线测量装置30具有的视线方向摄像机302来拍摄成形品的所述确定出的注视区域的图像。另外，也可以利用作为所述成形品拍摄部的摄像机、和装配在机器人上的摄像机来进行拍摄。以下，在记载为“视线方向摄像机302等”时，除非另有说明，包含作为所述成形品拍摄部的摄像机、和装配在机器人上的摄像机。

接下来，对机器学习器20用于生成学习完成模型的机器学习进行说明。

＜学习阶段的机器学习器20＞

学习阶段的机器学习器20例如在成形条件调整时，预先取得输入数据，所述输入数据包含佩戴于熟练人员的视线测量装置30拍摄到的、注射成形所得的成形品的图像中的由注视区域确定部304确定出的注视区域的图像。

此外，机器学习器20取得表示取得的输入数据的注视区域的图像对应的成形品的成形不良类别的数据，作为标签(正确)。

机器学习器20通过取得的输入数据与标签的组的训练数据来进行监督学习，构建后述的学习完成模型。

对学习阶段的作为机器学习装置的机器学习器20进行具体说明。

如图1所示，学习阶段的机器学习器20包含状态观测部201、标签取得部202、学习部203和存储部204而构成。

另外，机器学习器20为了实现图1的功能块的动作而具有CPU(CentralProcessing Unit)等未图示的运算处理装置。此外，机器学习器20具有存储各种控制用程序的ROM(Read Only Memory)或HDD等未图示的辅助存储装置、或存储运算处理装置执行程序时暂时所需的数据的RAM这样的未图示的主存储装置。

并且，在机器学习器20中，运算处理装置从辅助存储装置读入OS或应用软件，一边将读入的OS或应用软件在主存储装置中展开，一边进行基于这些OS或应用软件的运算处理。根据该运算结果，机器学习器20控制各硬件。由此，实现图1的功能块进行的处理。也就是说，机器学习器20可以通过硬件与软件协作来实现。另外，也可以作为电子电路而实现机器学习器20。

状态观测部201在学习阶段，在成形条件调整时，经由未图示的通信部从存储部305(注视区域存储部360)取得熟练人员所佩戴的视线测量装置30拍摄到的、由注射成形机10注射成形所得的成形品的图像中的由注视区域确定部304确定出的注视区域的图像，作为输入数据。

另外，在注视区域有多个部位时，状态观测部201可以取得多个部位各自的注视区域的图像，作为输入数据。

此外，状态观测部201也可以取得在成形条件调整完成而成形合格品时，熟练人员按下显示器102所显示的作为调整完成输入部的成形条件调整完成按钮(未图示)，机器学习器20接收成形条件调整完成信号为止的期间的所述输入数据。另外，优选的是，状态观测部201对于消除所述注视区域的成形不良，判定为成形合格的图像，取得为作为成形合格的输入数据。这样，可以生成无偏的学习完成模型。

状态观测部201将取得的输入数据输出给存储部204。

标签取得部202取得表示针对输入数据所包含的注视区域的各个图像的成形品的成形不良类别的数据作为标签数据(正确数据)，并将取得的标签数据输出给存储部204。

具体来说，标签取得部202例如从将在显示器102所显示的成形不良类别画面中由熟练人员输入的注视区域的各个图像的成形品的成形不良类别作为标签数据(正确数据)而存储的注射成形机10的存储部(未图示)取得。或者，也可以是标签取得部202从在显示器102所显示的成形不良类别选择画面中由熟练人员选择出的注视区域的各个图像的成形品的成形不良类别作为标签数据(正确数据)而存储的注射成形机10的存储部(未图示)取得。

另外，标签中例如包含成形品的变色(色相、明度、饱和度的变化)、毛边、缩痕、翘曲、扭曲、空隙、短射、熔接痕、喷流、流痕、拉丝、充填不足、剥离、银纹、黑点中的至少一个以上。

图5A是表示缩痕的一例的图。图5B是表示翘曲的一例的图。图5C是表示空隙的一例的图。这里，“缩痕”是因塑料等的成形收缩而产生的凹陷、洼陷。“翘曲”因塑料等的残留应力而产生。“空隙”在材料内已经进入了空气时、或内部应力减压(真空空隙)时产生。

此外，标签取得部202可以与状态观测部201一样，取得成形条件调整完成而成形合格品时，由熟练人员按下显示器102所显示的作为调整完成输入部的成形条件调整完成按钮(未图示)，而机器学习器20接收成形条件调整完成信号为止的期间的所述标签数据。另外，标签取得部202与状态观测部201一样，优选针对消除所述注视区域的成形不良，判定为成形合格的图像而取得作为成形合格的标签数据。于是，可以生成无偏的学习完成模型。

此外，标签取得部202可以针对一个注视区域的图像，输入多个成形不良类别。这样，成形不良既能够单独也能够复合地进行机器学习。

学习部203作为训练数据而接受上述输入数据与标签的组，使用接受到的训练数据来进行监督学习，由此构建学习完成模型240，所述学习完成模型240根据成为注视区域的图像的成形品的部分图像来推定成形不良类别。

并且，学习部203将构建出的学习完成模型240存储在后述的存储部204中。

这里，希望准备多个用于进行监督学习的训练数据。因此，例如可以制作在调整成形条件时的所有注视区域的图像中由熟练人员进行了评价的成形品的成形不良类别的训练数据。

图6是表示由图1的机器学习器20生成的学习完成模型240的一例的图。这里，如图6所示，学习完成模型240例示出以成形条件调整后注射成形所得的成形品的部分图像即注视区域的图像为输入层，以表示所述注视区域的图像中的成形品的成形不良类别的数据为输出层的多层神经网络。

这里，成形不良类别中包含变色(色相的变化、明度、饱和度的变化)、毛边、缩痕、翘曲、扭曲、空隙、短射、熔接痕、喷流、流痕、拉丝、充填不足、剥离、银纹、黑点等。

各成形不良类别的输出可以是“0”或者“1”(即，“无”或者“有”)，也可以是“0”～“1”间的值等。另外，在各成形不良类别的输出是“0”～“1”间的值时，机器学习器20可以将预先设定的阈值以上的成形不良类别作为针对输入的注视区域的图像的成形品的判定。

此外，在所有成形不良类别的输出为“0”时，机器学习器20也可以判定为注视区域的图像的成形品是“合格品”。

另外，如上所述，学习部203也存在即使是不同的成形不良也会关联地产生的情况。例如，有时在树脂温度过高的情况下，变色、毛边、拉丝等复合地产生，或在注射速度并非最佳的情况下，喷流或流痕等同时产生，因此，作为成形不良既能够单独也能够复合地进行机器学习。这样，学习完成模型240可以根据一个注视区域的图像的输入来推定多个成形不良类别。

此外，学习部203在构建了学习完成模型240后，在取得新的训练数据时，针对学习完成模型240进一步进行监督学习，由此，可以对一次构建的学习完成模型240进行更新。

此外，机器学习器20可以在与其他注射成形系统1的机器学习器20之间共享学习模型来进行监督学习。这样，能够利用多个注射成形系统1的机器学习器20的每一个分散地进行监督学习，能够提升监督学习的效率。

上述监督学习可以通过在线学习来进行。此外，监督学习也可以通过批量学习来进行。此外，监督学习还可以通过小批量学习来进行。

所谓在线学习是如下学习方法：每当进行注射成形机10的成形品的成形条件的调整并制作训练数据时，立即进行监督学习。此外，所谓批量学习是如下学习方法：在重复进行注射成形机10的成形品的成形条件的调整并制作训练数据的期间，收集重复对应的多个训练数据，使用收集到的所有训练数据来进行监督学习。并且，所谓小批量学习是在线学习与批量学习中间的学习方法，是每当积攒某种程度训练数据时进行监督学习的学习方法。

存储部204是RAM(Random Access Memory)等，存储由状态观测部201取得的输入数据、由标签取得部202取得的标签数据和由学习部203构建出的学习完成模型240等。

以上，对用于生成机器学习器20具有的学习完成模型240的机器学习进行了说明。

接下来，对作为判定装置的机器学习器20进行说明，所述判定装置是运用阶段的、判定量产成形开始后的成形品的成形合格与否的装置。以下的说明中，例示出作为学习完成模型而使用图6所记载的学习完成模型，即以量产成形开始后的成形品的部分图像即所述的注视区域的图像为输入层，以成形品的成形不良类别为输出层的多层神经网络的情况。

＜运用阶段的机器学习器20＞

如图1所示，作为判定装置的机器学习器20包含存储部204、输入部205和判定部206而构成，所述判定装置判定运用阶段的量产成形开始后的成形品的成形合格与否。

输入部205例如从视线方向摄像机302等输入量产成形开始后的成形品的部分图像即所述注视区域的图像。

输入部205将输入的所述注视区域的图像输出给判定部206。

另外，在运用阶段，佩戴视线测量装置30的作业员可以是熟练人员以外的作业员。

判定部206将输入的注视区域的图像输入到图6的学习完成模型240中，判定注视区域的图像的成形品的成形不良类别。并且，判定部206将针对注视区域的图像的成形不良类别的判定结果例如输出给注射成形机10(显示器102)。

并且，注射成形机10的显示器102根据接收到的判定结果，显示由机器学习器20自动识别出的成形不良类别。由此，作业员能够确认自动判定出的成形不良的类别。

该情况下，例如，作业员可以停止成形或者通过对公知的合格品不合格品区分装置(未图示)输入信号而舍弃该不合格品。

作业员停止成形并对该成形品的成形条件进行微调整，由此，在成形不良消除时，可以经由显示器102对作业员报知成形不良已消除。另外，显示器102可以通过消除成形不良的显示，而报知成形不良已消除。

此外，注射成形机10的控制装置101在根据接收到的判定结果自动识别出成形不良时，可以使显示器102扩大显示自动识别出的成形品的成形不良部位。这样，能够容易发现成形不良部位而提升成形合格与否判定的效率。扩大显示的倍率可以预先设定为2倍、5倍等。此外，可以在包含自动识别出的成形不良的区域或注视区域的整个区域的范围内最大限度地扩大显示。

＜运用阶段的机器学习器20的判定处理＞

接下来，对作为判定装置的机器学习器20的判定处理的动作进行说明，所述判定装置是本实施方式的运用阶段的、判定量产成形开始后的成形品的成形合格与否的装置。

图7是对运用阶段的机器学习器20的判定处理进行说明的流程图。

在步骤S11中，输入部205从视线测量装置30取得量产成形开始后的成形品的部分图像即所述的注视区域的图像。

在步骤S12中，判定部206将在步骤S11中取得的注视区域的图像输入到学习完成模型240，判定注视区域的成形品的成形不良类别。

在步骤S13中，判定部206将在步骤S12中判定出的成形不良类别的判定结果输出给注射成形机10。

通过以上，第1实施方式的注射成形系统1提取成形条件调整时熟练人员注视成形品的部分的图像作为注视区域的图像，将提取出的注视区域的图像输入到学习完成模型240，判定注视区域中的成形品的成形不良类别。由此，关于注射成形系统1，即使是熟练人员以外的作业员也可以容易地发现成形品中的容易成为成形不良的部位，可以容易地判定成形不良类别。

以上，对第1实施方式进行了说明。

＜第1实施方式的变形例＞

第1实施方式的变形例中，与第1实施方式的不同点在于学习阶段的成形品与运用阶段的成形品不同。

图8是表示第1实施方式的变形例的注射成形系统的功能结构例的功能框图。另外，对具有与图1一样功能的功能块标注相同的符号，省略其说明。

＜学习阶段的机器学习器20A＞

第1实施方式的变形例的机器学习器20A在学习阶段包含状态观测部201、标签取得部202、学习部203、存储部204a而构成。

状态观测部201、标签取得部202和学习部203具有与第1实施方式中的状态观测部201、标签取得部202和学习部203同等的功能。

即，学习阶段的机器学习器20A与第1实施方式的机器学习器20一样，生成学习完成模型240。

存储部204a与第1实施方式的存储部204一样，存储由状态观测部201取得的输入数据、由标签取得部202取得的标签数据、和由学习部203构建出的学习完成模型240等。

＜运用阶段的机器学习器20A＞

如图8所示，作为判定装置的机器学习器20A包含存储部204a、输入部205a、判定部206a和成形品图像分割部207而结构，所述判定装置是运用阶段的判定成形品的成形合格与否的装置。这里，在第1实施方式的变形例的运用阶段，包含在学习阶段进行了学习的成形品与运用阶段的成形品不同的情况。

由于成形条件调整后由注射成形机10注射成形的成形品与学习阶段的成形品不同，因此运用阶段的注视区域不明，所以输入部205a例如从视线方向摄像机302等取得判定对象的成形品整体的图像(以下，也称为“整体图像”)。输入部205a将取得的整体图像输出给成形品图像分割部207。

成形品图像分割部207将由输入部205a输入的整体图像进行分割。

图9是表示从整体图像分割成的分割图像的一例的图。

如图9所示，成形品图像分割部207例如将由输入部205a输入的整体图像分割成20个分割图像IM(1)-IM(20)。成形品图像分割部207将分割成的分割图像IM(1)-IM(20)存储在存储部204a的分割图像存储部241中。

另外，成形品图像分割部207将整体图像分割成20个分割图像IM(1)-IM(20)，但是不限于此，也可以分割成20以外的多个分割图像。

以下，在不需要将分割图像IM(1)-IM(20)的每一个单独区分时，将它们统一称为“分割图像IM”。

判定部206a从分割图像存储部241读出分割图像IM。判定部206a将读出的分割图像IM分别输入到图6的学习完成模型240，判定分割图像IM的成形品的成形不良类别。并且，判定部206a将判定出的分割图像IM各自的成形不良类别的判定结果输出给注射成形机10。

并且，注射成形机10的显示器102可以根据接收到的分割图像IM各自的判定结果，按分割图像IM显示由机器学习器20自动识别出的成形不良类别。由此，作业员可以确认自动判定出的成形不良的类别，可以确认在成形品的哪一个部分产生了成形不良。

＜运用阶段的机器学习器20A的判定处理＞

接下来，对第1实施方式的变形例的机器学习器20A的判定处理的动作进行说明。

图10是对运用阶段的机器学习器20A的判定处理进行说明的流程图。

在步骤S21中，输入部205a从视线方向摄像机302等取得成形条件调整后注射成形所得的成形品的整体图像。

在步骤S22中，成形品图像分割部207将在步骤S21中取得的整体图像分割成分割图像IM(1)-IM(20)。

在步骤S23中，判定部206a将在步骤S22中分割成的各分割图像IM输入到学习完成模型240，判定各分割图像IM中的成形品的成形不良类别。

在步骤S24中，判定部206a将在步骤S23中判定出的各分割图像IM中的成形不良类别的判定结果输出给注射成形机10。

通过以上，第1实施方式的变形例的注射成形系统1还将成形条件调整时生成的学习完成模型应用于由注射成形机10注射成形的成形品与设为该学习完成模型的对象的(即，学习时使用的)成形品不同的情况。

该情况下，运用阶段的注视区域不明，因此，从视线测量装置30取得判定对象的成形品的整体图像。注射成形系统1将取得的整体图像分割成多个分割图像IM。注射成形系统1将各分割图像IM输入到学习完成模型240，判定各分割图像IM中的成形品的成形不良类别。由此，注射成形系统1，即使在学习阶段的成形品与运用阶段的成形品不同的情况下，即使是熟练人员以外的作业员也可以容易地发现成形品中的容易成为成形不良的部位，可以容易地判定成形不良类别。

另外，在上述的运用阶段，判定部206a针对分割成的所有分割图像IM判定了成形品的成形不良类别，但是不限于此。

例如，判定部206a可以设置成：针对预定数(例如，50个或100个等)相同的成形品的分割图像IM判定成形不良类别，由此，按分割图像IM计算成形不良的产生频度。

这样，判定部206a可以将表示预先设定的阈值以上的产生频度的分割图像IM设定为注视区域的图像。并且，判定部206a也可以设置成：对于此后(预定数以后)的成形品，只将设定为注视区域的图像的分割图像IM输入到学习完成模型240，判定成形不良类别。

这样，注射成形系统1可以高效地判定各成形品的成形不良类别。

另外，也可以对应于要求的周期时间或成形品的品质等适当决定预定数和阈值。

以上，对第1实施方式的变形例进行了说明。

接下来，对使用多种成形品的成形不良关联图像来进行机器学习，从而可以进一步提升成形不良的识别率的第2实施方式进行说明。

＜第2实施方式＞

在第1实施方式和第1实施方式的变形例中，使用一个成形品的成形不良关联图像来进行机器学习，从而生成学习完成模型。并且，使用该学习完成模型，在量产成形开始后利用作为成形不良判定装置的机器学习器20来进行成形品的成形不良判定。

与之相对，第2实施方式中，使用多种成形品的成形不良关联图像来执行机器学习，由此，进一步提升成形不良的识别率。此时，在第2实施方式中，针对多种成形品各自的成形品，与第1实施方式一样，能够在基于熟练人员的成形条件调整时，根据由熟练人员确定出的注视区域的图像、和成形合格与否的标签数据，通过监督学习而进行机器学习。由此，即使是成形品不同的情况，也可以高精度且容易地自动识别成形不良。其原因之一是即使成形品不同，成形不良区域的图像也类似的情况较多。

具体来说，在表示一些基于成形不良的图像的特征时，若产生变色或黑点，则在产生区域中色相、明度、饱和度等明确地发生变化。此外，在产生银纹时在图像中显现变白的扇状的图案。此外，空隙在透明成形品的内部作为球体的气泡图案而显现在图像中。此外，熔接痕在图像中显现出细长的线。另外，作为成形品的形状而存在峰部谷部时，在图像中也看到细长的线，但是该线的两侧来自光源的光的入射角不同，因此色相不同地显现在图像中，但是在熔接痕的情况下不存在该色相的差，因此，能够实现熔接痕与成形品的形状的区分。

这样，使用多种成形品的成形不良关联图像对以往作业员目视确认出的成形不良特征进行机器学习，由此能够提高成形不良的识别精度。

＜学习阶段的机器学习器＞

具体来说，针对多种成形品各自的成形品，与第1实施方式一样，机器学习器20在基于熟练人员的成形条件调整时，使用由熟练人员确定出的注视区域的图像、和成形合格与否的标签数据构成的训练数据来进行监督学习，由此，可以生成学习完成模型，所述学习完成模型能够识别多种成形品的成形不良区域的特征。这样，在运用时，可以针对任意的成形品提升成形不良的识别率。

＜运用阶段的机器学习器＞

运用阶段的机器学习器的功能具有与所述第1实施方式的变形例的运用阶段一样的功能。

具体来说，输入部205a例如从视线方向摄像机302等取得判定对象的成形品整体的图像(以下，也称为“整体图像”)。输入部205a将取得的整体图像输出给成形品图像分割部207。

成形品图像分割部207针对由输入部205a输入的整体图像如图9所示，例如将由输入部205a输入的整体图像分割成20个分割图像IM(1)-IM(20)。成形品图像分割部207将分割成的分割图像IM(1)-IM(20)存储到存储部204a的分割图像存储部241中。

另外，成形品图像分割部207将整体图像分割成20个分割图像IM(1)-IM(20)，但是不限于此，也可以分割成20以外的多个分割图像。

以下，在不需要将分割图像IM(1)-IM(20)的每一个分别区分时，将它们统称为“分割图像IM”。

判定部206a从分割图像存储部241中读出分割图像IM。判定部206a分别将读出的分割图像IM输入到图6的学习完成模型240，判定分割图像IM的成形品的成形不良类别。并且，判定部206a将判定出的分割图像IM各自的成形不良类别的判定结果输出给注射成形机10。

并且，注射成形机10的显示器102可以根据接收到的分割图像IM各自的判定结果，按分割图像IM显示由机器学习器20自动识别出的成形不良类别。由此，作业员可以确认自动判定出的成形不良的类别，可以确认在成形品的哪个部分产生了成形不良。

这样，通过使用多种成形品的成形不良关联图像来执行机器学习，能够进一步提升成形不良的识别率。

另外，与所述第1实施方式的变形例的运用阶段一样，判定部206a可以针对预定数(例如，50个或100个等)的相同的成形品的分割图像IM判定成形不良类别，由此，按分割图像IM计算成形不良的产生频度。

这样，判定部206a可以将表示预先设定的阈值以上的产生频度的分割图像IM设定为注视区域的图像。并且，判定部206a也可以针对此后(预定数以后)的成形品，只将设定为注视区域的图像的分割图像IM输入到学习完成模型240，判定成形不良类别。

这样，在第2实施方式中，注射成形系统1也可以高效地判定各成形品的成形不良类别。

以上，对第1实施方式、第1实施方式的变形例和第2实施方式进行了说明，但是注射成形系统1并非限定于上述实施方式，包含可以达成目的的范围内的变形、改良等。

＜变形例1＞

上述第1实施方式、第1实施方式的变形例和第2实施方式中，例示出机器学习器20(20A)为与注射成形机10不同的装置，但是注射成形机10可以具有机器学习器20(20A)的一部分或者全部的功能。

或者，例如服务器也可以具有机器学习器20的状态观测部201、标签取得部202、学习部203、存储部204、输入部205和判定部206、或者机器学习器20A的状态观测部201、标签取得部202、学习部203、存储部204a、输入部205a、判定部206a和成形品图像分割部207的一部分或者全部。此外，也可以在云端上利用虚拟服务器功能等，实现机器学习器20(20A)的各功能。

并且，机器学习器20(20A)也可以作为将机器学习器20(20A)的各功能适当分散给多个服务器的分散处理系统。

这样，能够通过更多的数据来实现机器学习。此外，即使在相距遥远的工厂间也能够实现信息共享。

＜变形例2＞

又例如，在上述第1实施方式、第1实施方式的变形例和第2实施方式中，在成形条件调整完成并合格品可以成形时，在注射成形机10的显示器102显示作为调整完成输入部的成形条件调整完成按钮(未图示)，对机器学习器20(20A)输入成形条件调整已完成，但是不限于此。例如，注射成形系统1作为调整完成输入部可以具有设置于操作面板的成形条件调整结束按钮、或者开始连续成形的自动按钮的某一个，通过被作业员按下，而对机器学习器20(20A)输入成形条件调整已完成。或者，注射成形系统1也可以具有声音识别装置而利用声音识别来识别成形条件调整完成，从而向机器学习器20(20A)报知是正在成形合格品的状态。

＜变形例3＞

又例如，上述第1实施方式、第1实施方式的变形例和第2实施方式中，注射成形系统1在成形条件调整完成并成形合格品时，由熟练人员按下显示器102所显示的作为调整完成输入部的成形条件调整完成按钮(未图示)，该情况下，对机器学习器20(20A)输出成形条件调整完成信号，通过机器学习而生成学习完成模型240，但是不限于此。

例如，注射成形系统1也可以具有：合格与否判定信号输出部，其根据机器学习的学习结果与成形品图像数据，在判定为正在成形合格品后输出合格品判定信号，还可以具有：量产成形开始信号输出部，其在输入了由合格与否判定信号输出部输出的合格品判定信号后，输出量产成形开始信号。

注射成形系统1可以通过具有合格与否判定信号输出部和量产成形开始信号输出部，在判断为合格品可以成形后开始量产成形。这对于成形开始时等是有效的，以往，作业员在成形开始时一边从几个注射量到数百注射量进行成形一边目视确认成形品，在判断为合格品可以成形后开始量产成形，但是可以自动执行这些作业。并且，在连续成形中合格与否判定信号输出部输出不合格品判定信号后停止成形，或者对公知的合格品不合格品区分装置输入所述信号而舍弃不合格品也是容易的。

＜变形例4＞

又例如，上述第1实施方式、第1实施方式的变形例和第2实施方式中，机器学习器20使用学习完成模型240，根据从一个视线测量装置30取得的注视区域的图像来判定注视区域的成形品的成形不良类别，但是不限于此。例如，如图11所示，服务器50可以存储由机器学习器20生成的学习完成模型240，和与网络60连接的m个机器学习器20B(1)-20B(m)共享学习完成模型240(m是2以上的整数)。由此，即使配置新的注射成形机和机器学习器，也可以应用学习完成模型240。

另外，机器学习器20B(1)-20B(m)的每一个与注射成形机10B(1)-10B(m)的每一个连接。

此外，注射成形机10B(1)-10B(m)的每一个对应于图1的注射成形机10。机器学习器20B(1)-20B(m)的每一个对应于图1的机器学习器20(20A)。

或者，如图12所示，服务器50例如可以作为机器学习器20来进行动作，针对与网络60连接的注射成形机10B(1)-10B(m)的每一个，判定成形品的成形不良类别。由此，即使配置新的注射成形机也可以应用学习完成模型240。

另外，第1实施方式、第1实施方式的变形例和第2实施方式的注射成形系统1所包含的各功能可以通过硬件、软件或者它们的组合来分别实现。这里，所谓通过软件实现是指计算机读入程序来执行从而实现。

此外，注射成形系统1所包含的各结构部可以通过包含电子电路等的硬件、软件或者它们的组合来实现。

可以使用各种类型的非瞬态的计算机可读介质(Non-transitory computerreadable medium)来存储程序并将其提供给计算机。非瞬态的计算机可读介质包含各种类型的有形存储介质(Tangible storage medium)。非瞬态的计算机可读介质的示例包含：磁记录介质(例如，软盘、磁带、硬盘驱动器)、磁-光记录介质(例如，光磁盘)、CD-ROM(ReadOnly Memory，只读存储器)、CD-R、CD-R/W、半导体存储器(例如，掩膜ROM、PROM(Programmable ROM)、EPROM(Erasable PROM)、闪存ROM、RAM)。此外，可以通过各种类型的瞬态的计算机可读介质(Transitory computer readable medium)将程序供给到计算机。瞬态的计算机可读介质的示例包含电信号、光信号以及电磁波。瞬态的计算机可读介质可以经由电线和光纤等有线通信路或无线通信路将程序供给到计算机。

另外，描述在记录介质中记录的程序的步骤，当然包含按其顺序呈时间顺序进行的处理，也包含未必呈时间顺序进行处理而并列地或者个别地执行的处理。

换言之，本公开的注射成形系统可以采取具有如下结构的各种实施方式。

(1)本公开的注射成形系统1具有：视线测量部303，其测量作业员的视线的移动，所述作业员观察通过注射成形而成形的成形品；视线数据存储部350，其存储表示由视线测量部303测量出的作业员的视线的移动的视线信息和测量视线信息的测量时刻；注视区域确定部304，其根据视线信息和测量时刻来确定作业员以预时间以上注视的和/或以预定次数以上视线所对准的成形品的注视区域；注视区域存储部360，其存储成形品的图像中的由注视区域确定部304确定出的注视区域的图像；成形不良类别输入部，其输入或者选择成形不良的类别；以及机器学习器20，其根据注视区域的图像对成形不良类别进行机器学习，机器学习器20以如下方式进行机器学习：输入成形品所产生的成形不良的类别，根据存储在注视区域存储部360中的注视区域的图像学习成形不良的特征量来进行自动识别。

该注射成形系统1，即使是熟练人员以外的作业员也可以容易地发现成形品中的易于成为成形不良的部位。

(2)在(1)所记载的注射成形系统1中，可以具有成形品拍摄部和显示器102，视线测量部303测量作业员对利用成形品拍摄部进行拍摄并显示在显示器102的成形品的图像进行目视确认的视线信息。

这样，可以确定注视区域。

(3)在(1)或者(2)所记载的注射成形系统1中，成形不良可以是成形品的变色(色相、明度、饱和度的变化)、毛边、缩痕、翘曲、扭曲、空隙、短射、熔接痕、喷流、流痕、拉丝、充填不足、剥离、银纹、黑点中的至少一个以上。

这样，成形不良既能够单独也能够复合地进行机器学习。

(4)在(1)～(3)中任一项所记载的注射成形系统1中，机器学习器20可以在自动识别出成形不良时，使显示器102显示成形不良的类别。

这样，作业员能够确认自动判定出的成形不良的类别。此外，在成形不良消除时，通过使显示也消除，能够对作业员报知成形不良已消除。

(5)在(1)～(4)中任一项所记载的注射成形系统1中，可以具有：调整完成输入部，其在成形条件调整完成时将成形条件调整完成信号输入到机器学习器20。

这样，能够向机器学习器20报知是正在成形合格品的状态。

(6)在(5)所记载的注射成形系统1中，调整完成输入部可以检测在注射成形机10的控制器画面上所显示的按钮、操作面板的按钮以及开始连续成形的自动按钮的某一个被按下、或者检测声音识别装置调整完成。

这样，能够向机器学习器20报知是正在成形合格品的状态。

(7)在(1)～(6)中任一项所记载的注射成形系统1中，可以具有：合格与否判定信号输出部，其根据机器学习器20的学习结果与注视区域的图像来进行合格与否判定并输出合格与否判定信号。

这样，能够报知合格品可以成形。

(8)在(7)所记载的注射成形系统1中，可以具有：量产成形开始信号输出部，其在合格与否判定信号输出部判定为正在成形合格品并输出了合格品判别信号时，输出量产成形开始信号，在判定为能够成形合格品时，开始量产成形。

这样，能够在判定为合格品可以成形后自动执行直到开始量产成形为止的作业。

(9)在(7)或者(8)所记载的注射成形系统1中，合格与否判定信号输出部可以在判定为正在成形不合格品并输出了不合格品判定信号时，停止量产成形和/或对合格品不合格品区分装置输入不合格品判定信号来舍弃不合格品。

这样，停止成形，或者对合格品不合格品区分装置输入信号来舍弃不合格品变得容易。

(10)在(1)～(9)中任一项所记载的注射成形系统1中，可以具有：成形品图像分割部207，其分割成形品的图像并生成多个分割图像IM；以及分割图像存储部241，其存储由成形品图像分割部207分割成的多个分割图像IM，机器学习器20利用由成形品图像分割部207分割成的多个分割图像IM来进行机器学习。

这样，即使是细微的成形不良也可以扩大成形不良的特征而容易捕捉，从而可以更高精度地进行合格与否判定。

(11)在(1)～(10)中任一项所记载的注射成形系统1中，可以具有与多个注射成形系统1或者集中管理装置(服务器50)的通信部，共享多个注射成形系统1的成形品图像数据、机器学习结果、学习完成模型240的信息来执行机器学习。

由此，能够利用更多的数据来实现机器学习。并且，集中管理装置也可以处于云端上，该情况下即使在相距遥远的工厂间也能够实现信息共享。

(12)在(2)所记载的注射成形系统1中，显示器102可以在机器学习器20自动识别出成形不良时或者注视区域确定部304确定了作业员的注视区域时，扩大显示自动识别出的成形不良部位或者注视区域。

这样，能够容易发现成形不良部位而提升成形条件调整的效率。

(13)在(2)所记载的注射成形系统1中，可以具有：成形品拍摄位置移动部，其能够移动成形品拍摄部。

这样，在因光的反射等而难以对成形不良进行目视确认时等，能够从各方向拍摄成形品，能够容易发现成形不良部位。

Claims (13)

1.一种注射成形系统，其特征在于，具有：

视线测量部，其测量作业员的视线的移动，所述作业员观察通过注射成形而成形的成形品；

视线数据存储部，其存储表示由所述视线测量部测量出的所述作业员的视线的移动的视线信息和测量所述视线信息的测量时刻；

注视区域确定部，其根据所述视线信息和所述测量时刻来确定所述作业员以预定时间以上注视的和/或以预定次数以上视线所对准的所述成形品的注视区域；

注视区域存储部，其存储所述成形品的图像中的由所述注视区域确定部确定出的所述注视区域的图像；

成形不良类别输入部，其输入或者选择成形不良类别；以及

机器学习器，其根据所述注视区域的图像来对所述成形不良类别进行机器学习，

所述机器学习器以如下方式进行机器学习：输入所述成形品所产生的成形不良的类别，根据存储在所述注视区域存储部中的所述注视区域的图像学习成形不良的特征量来进行自动识别。

2.根据权利要求1所述的注射成形系统，其特征在于，

所述注射成形系统具有：

成形品拍摄部；以及

显示器，

所述视线测量部测量所述作业员对利用所述成形品拍摄部进行拍摄并显示在所述显示器的所述成形品的图像进行目视确认的所述视线信息。

3.根据权利要求1或2所述的注射成形系统，其特征在于，

所述成形不良是成形品的变色、毛边、缩痕、翘曲、扭曲、空隙、短射、熔接痕、喷流、流痕、拉丝、充填不足、剥离、银纹、黑点中的至少一个以上，所述变色是指色相、明度、饱和度的变化。

4.根据权利要求1～3中任一项所述的注射成形系统，其特征在于，

所述机器学习器在自动识别出所述成形不良时，使显示器显示所述成形不良的类别。

5.根据权利要求1～4中任一项所述的注射成形系统，其特征在于，

所述注射成形系统具有：调整完成输入部，其在成形条件调整完成时将成形条件调整完成信号输入到所述机器学习器。

6.根据权利要求5所述的注射成形系统，其特征在于，

所述调整完成输入部检测在注射成形机的控制器画面上显示的按钮、操作面板的按钮以及开始连续成形的自动按钮的某一个被按下，或者检测声音识别装置调整完成。

7.根据权利要求1～6中任一项所述的注射成形系统，其特征在于，

所述注射成形系统具有：合格与否判定信号输出部，其根据所述机器学习器的学习结果与所述注视区域的图像进行合格与否判定，并输出合格与否判定信号。

8.根据权利要求7所述的注射成形系统，其特征在于，

所述注射成形系统具有：量产成形开始信号输出部，其在所述合格与否判定信号输出部判定为正在成形合格品并输出了合格品判别信号时，输出量产成形开始信号，

在判定为能够成形合格品时，开始量产成形。

9.根据权利要求7或8所述的注射成形系统，其特征在于，

所述合格与否判定信号输出部在判定为正在成形不合格品并输出了不合格品判定信号时，停止量产成形和/或对合格品不合格品区分装置输入不合格品判定信号来舍弃不合格品。

10.根据权利要求1～9中任一项所述的注射成形系统，其特征在于，

所述注射成形系统具有：

成形品图像分割部，其分割所述成形品的图像并生成多个分割图像；以及

分割图像存储部，其存储由所述成形品图像分割部分割成的所述多个分割图像，

所述机器学习器利用由所述成形品图像分割部分割成的所述多个分割图像来进行机器学习。

11.根据权利要求1～10中任一项所述的注射成形系统，其特征在于，

所述注射成形系统具有与多个所述注射成形系统或者集中管理装置的通信部，

共享多个所述注射成形系统的成形品图像数据、机器学习结果、学习完成模型的信息来执行机器学习。

12.根据权利要求2所述的注射成形系统，其特征在于，

在所述机器学习器自动识别出所述成形不良时或者所述注视区域确定部确定出所述作业员的所述注视区域时，所述显示器扩大显示自动识别出的所述成形不良的部位或者所述注视区域。

13.根据权利要求2所述的注射成形系统，其特征在于，

所述注射成形系统具有：成形品拍摄位置移动部，其能够移动所述成形品拍摄部。

Images