JP2021100796A - 射出成形システム - Google Patents

Abstract

【課題】熟練者以外の作業者でも成形品のうち成形不良となり易い箇所を容易に見つけられる射出成形システムの提供。
【解決手段】射出成形システム１は、成形品を観察する作業者の視線の動きを計測する視線計測部３０３と、視線計測部により計測された作業者の視線の動きを示す視線情報と視線情報を計測した計測時刻とを記憶する視線データ記憶部３５０と、視線情報及び計測時刻に基づいて作業者が所定の時間以上注視していた及び/又は所定の回数以上視線を向けていた成形品の注視領域を特定する注視領域特定部３０４と、特定された注視領域の画像を記憶する注視領域記憶部３６０と、成形不良種別を入力又は選択する成形不良種別入力部と、注視領域の画像から成形不良種別を機械学習する機械学習器２０と、を備え、機械学習器は、成形品に発生している成形不良の種別を入力して、注視領域の画像から成形不良の特徴量を学習して自動認識するように機械学習する。
【選択図】図１

Description

本発明は、射出成形システムに関する。

射出成形において、成形不良現象のヒケ、ソリ、ウェルドライン、シルバーストリーク、変色等が成形品に僅かに発生するような場合、一般的に射出成形条件を調整する際に参照する最大射出圧、最小クッション量、計量時間、圧力波形等の物理量データのみを参照してもその僅かな成形不良現象を捉えることが困難な場合が多々ある。このような成形不良を解消させるためには、豊富な知識と経験を備えた熟練者が、前記物理量データだけでなく、成形品の僅かな異常を目視によって判断して、成形条件を微調整する必要があった。
この点、射出成形の成形条件を機械学習によって最適化する技術や、疑似データセットを生成させて機械学習する技術が知られている。例えば、特許文献１、２参照。

特開２０１７−３０１５２号公報 特開２０１９−１６６７０２号公報

ところで、成形不良が観測されるのは成形品のごく一部の領域である場合がある。そのため、成形品全体の画像で機械学習を行うと、機械学習の精度が低くなったり、特定の成形品でしか機械学習結果を使うことができなくなったりするため、成形条件の最適化が困難あるいは時間がかかるおそれがあった。
また、取得した成形品の画像を手動で加工して成形不良箇所を移動、拡大させる作業を行うことも可能であるが、手動による効率の悪い作業を強いられ、さらに、数秒から数十秒の連続成形中に各ショットの成形品画像を手動で加工することは困難である。このため、成形品画像を使用して射出成形条件の最適化を行うには困難を伴うおそれがあった。

そこで、熟練者以外の作業者でも成形品のうち成形不良となり易い箇所を容易に見つけられることが望まれている。

本開示の射出成形システムの一態様は、射出成形によって成形された成形品を観察する作業者の視線の動きを計測する視線計測部と、前記視線計測部により計測された前記作業者の視線の動きを示す視線情報と前記視線情報を計測した計測時刻とを記憶する視線データ記憶部と、前記視線情報及び前記計測時刻に基づいて前記作業者が所定の時間以上注視していた及び/又は所定の回数以上視線を向けていた前記成形品の注視領域を特定する注視領域特定部と、前記成形品の画像のうち前記注視領域特定部により特定された前記注視領域の画像を記憶する注視領域記憶部と、成形不良の種別を入力又は選択する成形不良種別入力部と、前記注視領域の画像から前記成形不良種別を機械学習するための機械学習器と、を備え、前記機械学習器は、前記成形品に発生している成形不良の種別を入力して、前記注視領域記憶部に記憶された前記注視領域の画像から成形不良の特徴量を学習して自動認識するように機械学習する。

一態様によれば、熟練者以外の作業者でも成形品のうち成形不良となり易い箇所を容易に見つけられる。

第１実施形態に係る射出成形システムの機能的構成例を示す機能ブロック図である。 視線計測装置の一例を示す図である。 カメラがロボットに装着される場合の一例を示す図である。 注視領域特定部により特定された注視領域の一例を示す図である。 注視領域特定部により特定された注視領域の一例を示す図である。 ヒケの一例を示す図である。 反りの一例を示す図である。 ボイドの一例を示す図である。 図１の機械学習器により生成される学習済みモデルの一例を示す図である。 運用フェーズにおける機械学習器の判定処理について説明するフローチャートである。 第１実施形態の変形例に係る射出成形システムの機能的構成例を示す機能ブロック図である。 全体画像から分割された分割画像の一例を示す図である。 運用フェーズにおける機械学習器の判定処理について説明するフローチャートである。 射出成形システムの構成の一例を示す図である。 射出成形システムの構成の一例を示す図である。

以下、本開示の第１実施形態について、図面を用いて説明する。ここでは、学習フェーズにおける成形品及び注視領域と、運用フェーズにおける成形品及び注視領域は同じであるとする。なお、本発明は、これに限定されず、学習フェーズにおける成形品及び注視領域と、運用フェーズにおける成形品及び注視領域は異なってもよい。
＜第１実施形態＞
図１は、第１実施形態に係る射出成形システムの機能的構成例を示す機能ブロック図である。図１に示すように、射出成形システム１は、射出成形機１０、機械学習器２０、及び視線計測装置３０を有する。

射出成形機１０、機械学習器２０、及び視線計測装置３０は、図示しない接続インタフェースを介して互いに直接接続されてもよい。また、射出成形機１０、機械学習器２０、及び視線計測装置３０は、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）やインターネット等の図示しないネットワークを介して相互に接続されていてもよい。この場合、射出成形機１０、機械学習器２０、及び視線計測装置３０は、かかる接続によって相互に通信を行うための図示しない通信部を備えている。なお、後述するように、射出成形機１０は、機械学習器２０を含むようにしてもよい。

＜射出成形機１０＞
射出成形機１０は、当業者にとって公知の射出成形機であり、制御装置１０１及び表示器１０２を組み込んで有する。射出成形機１０は、制御装置１０１の動作指令に基づいて動作する。なお、制御装置１０１は、射出成形機１０とは独立した装置でもよい。

制御装置１０１は、当業者にとって公知の数値制御装置であり、制御情報に基づいて動作指令を生成し、生成した動作指令を射出成形機１０に送信する。これにより、制御装置１０１は、射出成形機１０の動作を制御する。なお、制御情報は、制御装置１０１に設定される加工プログラム及びパラメータの値を含む。

表示器１０２は、液晶ディスプレイ等である。表示器１０２は、制御装置１０１による射出成形機１０の動作状況を示すデータを表示する。
また、後述するように、作業者が目視した成形品の成形不良を認識した場合に、表示器１０２は、表示器１０２に含まれるタッチパネル等の入力装置（図示しない）を介して、作業者に対して成形不良の種別を入力させるための成形不良種別画面、又は成形不良種別を選択させるための成形不良種別選択画面を表示するように構成してもよい。そうすることで、作業者が成形不良を認識した場合に、後述するように、機械学習のためのラベル情報としての成形不良の種別を、例えば射出成形機１０に含まれる記憶部（図示しない）に記憶することができる。なお、成形不良種別は、後述する作業者が目視した注視領域に対応付けて記憶する。
また、表示器１０２は、表示器１０２の入力装置（図示しない）を介して、成形不良種別画面において熟練者によって入力された成形品の成形不良種別が入力された場合、射出成形機１０又は制御装置１０１は、入力された成形不良種別を、後述する作業者が目視した注視領域に対応付けて、後述する機械学習器２０に出力するようにしてもよい。なお、成形不良種別の入力のための画面は、例えば射出成形システム１の備えるパソコン等の表示器（図示しない）に表示するようにしてもよい。
また、表示器１０２は、熟練者による成形条件調整が完了して良品が成形できるようになった時に成形条件調整完了信号を機械学習器２０に入力するための成形条件調整終了ボタンである調整完了入力部（図示しない）を表示してもよい。なお、調整完了入力部は、射出成形機１０や制御装置１０１等の操作パネルに設置した成形条件調整終了ボタン、又は連続成形を開始する自動ボタンにより構成されてもよく、また射出成形機１０に含まれ調整完了を示す熟練者等の作業者の音声を検出する音声認識装置（図示しない）により構成されてもよい。そうすることで、機械学習器２０に良品を成形している状態であることを報知させることが可能となる。
また、表示器１０２は、後述するように、量産成形開始後に、成形不良判定装置としての機械学習器２０により成形品の成形不良が自動認識された場合、成形不良の種別を表示するようにしてもよい。この場合、例えば、作業者は、成形を停止するか、又は公知の良品不良品分別装置（図示しない）に信号を入力することで当該不良品を廃棄することができる。
作業者が成形を停止して、当該成形品に係る成形条件を微調整することで、成形不良が解消した場合、作業者に対して表示器１０２を介して、成形不良がなくなったことを報知することができる。なお、表示器１０２は、成形不良に係る表示を消去することで、成形不良がなくなったことを報知するようにしてもよい。

＜視線計測装置３０＞
視線計測装置３０は、例えば、熟練者等の作業者に装着され、作業者の視線を計測する。視線計測装置３０は、眼球画像カメラ３０１、視線方向カメラ３０２、視線計測部３０３、注視領域特定部３０４、及び記憶部３０５を有する。
図２は、視線計測装置３０の一例を示す図である。
図２に示すように、視線計測装置３０は、例えば、眼鏡型の構造体に、眼球画像カメラ３０１、視線方向カメラ３０２、視線計測部３０３、注視領域特定部３０４、及び記憶部３０５が配置される。なお、図２では、視線計測部３０３、注視領域特定部３０４、及び記憶部３０５を省略する。

眼球画像カメラ３０１は、作業者の眼球画像を撮影するデジタルカメラである。
視線方向カメラ３０２は、作業者が注視している対象を含む作業者の視線方向の画像を撮影するデジタルカメラである。

なお、視線計測装置３０として、次の形態を適用してもよい。
射出成形システム１は、例えば、特開平２−１８５２３０号公報に記載されているように、視線方向カメラ３０２に替えて、視線計測装置３０とは別に固定して配置され射出成形機１０により射出成形された成形品を撮影する、成形品撮影部としてのカメラを備えてもよい。この場合、射出成形システム１は、前記カメラと表示器１０２やコンピュータのモニタ等と通信可能に接続して、撮影された成形品の画像を表示器１０２やコンピュータのモニタ等に表示してもよい。
そして、作業者は、前記カメラにより撮影された成形品の画像を注視するようにしてもよい。この場合、作業者の眼球の視線の注視位置座標を測定するための眼球画像カメラ３０１は、装着した作業者が表示器１０２等に表示された成形品の画像における、作業者の眼球の視線の注視位置座標（注視位置）を測定するようにしてもよい。

また、成形不良を自動認識した場合又は後述する注視領域特定部３０４が作業者の注視領域を特定した場合に、表示器１０２等のモニタに自動認識した成形品の成形不良箇所又は前記注視領域を拡大表示するようにしてもよい。これにより、成形不良箇所を見易くして成形条件調整の効率を上げることが可能となる。なお、拡大表示の倍率は２倍、５倍等に予め設定しておいてもよい。また、自動認識した成形不良の領域や注視領域の全域が収まる範囲で最も大きく拡大表示するようにしてもよい。

さらに、図３に示すように、カメラが成形品撮影位置移動部としてのロボットに装着されてもよい。カメラを移動可能とすることで、成形品を金型内の各方向から撮影、又は成形品を金型から取り出してからコンベア上や作業テーブル上で撮影することが可能となる。光の反射等で成形不良を視認しづらい場合等に、色々な方向から成形品を撮影可能とすることで、成形不良箇所を見易くすることも可能となる。また、成形品の取出しロボットにカメラも装着すれば、１台のロボットでシステム構築が可能となる。
なお、固定して配置されたカメラの座標系と射出成形機１０の機械座標系、及びカメラの座標系とロボットの座標系とは、周知の手法を用いて、予め校正されていてもよい。

視線計測部３０３は、例えば、特開２０１５−１２３２６２号公報に記載されるように、眼球モデルを用いて、眼球画像カメラ３０１により撮影された眼球画像から接平面展開画像を生成する。視線計測部３０３は、生成した接平面展開画像と、視線方向カメラ３０２により撮影された画像とのマッチングを行うことにより、作業者の注視点（視線）を計測する。そして、視線計測部３０３は、計測した注視点である視線情報と、視線情報を計測した計測時刻とを後述する記憶部３０５（視線データ記憶部３５０）に出力する。

注視領域特定部３０４は、後述する記憶部３０５から視線計測部３０３により計測された視線情報及び計測時刻を読み出す。
熟練者を含む作業者は成形不良の症状が小さかったり、見分けづらかったりする程、同じ位置の注視時間が長くなる。そして、作業者は、成形品の向きを変えて光の当たり具合を調整しながら、同じ位置を何回も注視する。さらに、作業者は、成形中は各成形品の同じ位置を注視することで、視線を向ける回数が特定位置のみ増加する傾向がある。このため、注視時間や視線を向ける回数を積算することによって、注視位置を抽出（特定）することが可能となる。さらに、注視位置が複数抽出された場合、異なる位置あるいは異なる成形不良が複合で発生していることも判定することが可能である。
そこで、注視領域特定部３０４は、読み出した視線情報及び計測時刻に基づいて熟練者等の作業者が所定の時間（例えば、１秒）以上注視していた及び/又は所定の回数（例えば、５回）以上視線を向けていた成形品の注視領域を特定するように構成される。
注視領域特定部３０４は、特定した注視領域を後述する記憶部３０５（注視領域記憶部３６０）に記憶する。なお、所定の時間や所定の回数は、要求される成形品の品質、又は熟練者の熟練度等に応じて適宜決定されてもよい。

図４Ａ及び図４Ｂは、注視領域特定部３０４により特定された注視領域の一例を示す図である。
図４Ａに示すように、注視領域特定部３０４は、視線方向カメラ３０２により撮影された画像のうち、視線計測部３０３により計測された成形不良箇所の注視点を中心とする予め設定された形状の領域、例えば、注視点を中心とする長方形領域を抽出し、注視領域として特定してもよい。なお、領域の大きさは、成形不良箇所の大きさに応じて適宜調整されてもよい。
また、人間の視点は多少ばらつきながら成形不良を注視するため、注視点を囲んだ領域に成形不良画像が収まりきらない場合がある。そこで、図４Ｂに示すように、注視領域特定部３０４は、視線計測部３０３により計測された複数（例えば、４つ）の注視点を囲んだ領域とその周りの領域を含む１〜４倍の領域を、注視領域として特定してもよい。なお、注視点は画面上の座標が分かるため、領域を拡大するための計算は簡単に行うことが可能である。
また、注視領域特定部３０４は、注視領域を複数抽出（特定）してもよい。この場合、射出成形システム１は、異なる位置あるいは異なる成形不良が複合で発生していることも判定することが可能である。
なお、射出成形機１０の制御装置１０１は、注視領域特定部３０４が作業者の注視領域を特定した場合に、注視領域を表示器１０２に拡大表示させるようにしてもよい。そうすることで、成形不良箇所を見易くして成形条件調整の効率を上げることが可能となる。拡大表示の倍率は、２倍、５倍等に予め設定されてもよい。また、注視領域の全域が収まる範囲で最も大きく拡大表示するようにしてもよい。

記憶部３０５は、ＲＡＭ等のメモリであり、視線データ及び注視領域を記憶してもよい。

視線データ記憶部３５０は、視線計測部３０３により計測された視線情報及び計測時間を記憶する。

注視領域記憶部３６０は、注視領域特定部３０４により特定された視線方向カメラ３０２により撮影された画像における注視領域の画像を記憶する。

＜機械学習器２０＞
機械学習器２０は、学習フェーズにおいて、後述する訓練データに基づいて教師あり学習を行うことで学習済みモデルを生成する。具体的には、注視領域特定部３０４により特定された注視領域の画像を入力データとして、当該画像に基づく成形不良種別（「良」であることを含む）をラベルデータとして、教師あり学習を行う。
他方、機械学習器２０は、運用フェーズにおいて、前記学習済みモデルに基づいて、成形品の不良か否かの判定を行う。具体的には、機械学習器２０は、成形品の前記特定された注視領域の画像を、学習フェーズにおいて機械学習器２０により生成された学習済みモデルに入力することにより、前記特定された注視領域に基づいて当該成形品が不良か否かの判定、及び、不良と判定された場合の成形不良種別を判定することができる。なお、運用フェーズにおいて、成形品の前記特定された注視領域の画像を、作業者の装着した視線計測装置３０の備える視線方向カメラ３０２により撮影するようにしてもよい。なお、前述した成形品撮影部としてのカメラ、及びロボットに装着されるカメラにより撮影するようにしてもよい。以下、「視線方向カメラ３０２等」と記載された場合、特に断らない限り、前述した成形品撮影部としてのカメラ、及びロボットに装着されるカメラを含むものとする。

次に、機械学習器２０が学習済みモデルを生成するための機械学習について説明する。

＜学習フェーズにおける機械学習器２０＞
学習フェーズにおける機械学習器２０は、例えば、予め、成形条件調整時において、熟練者に装着された視線計測装置３０が撮影した、射出成形された成形品の画像のうち、注視領域特定部３０４により特定された注視領域の画像、を含む入力データを取得する。
また、機械学習器２０は、取得した入力データの注視領域の画像に対応する成形品の成形不良種別、を示すデータをラベル（正解）として取得する。
機械学習器２０は、取得した入力データとラベルとの組の訓練データにより教師あり学習を行い、後述する学習済みモデルを構築する。
学習フェーズにおける、機械学習装置としての機械学習器２０について、具体的に説明する。

図１に示すように、学習フェーズにおける機械学習器２０は、状態観測部２０１、ラベル取得部２０２、学習部２０３、及び記憶部２０４を含んで構成される。
なお、機械学習器２０は、図１の機能ブロックの動作を実現するために、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等の図示しない演算処理装置を備える。また、機械学習器２０は、各種の制御用プログラムを格納したＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）やＨＤＤ等の図示しない補助記憶装置や、演算処理装置がプログラムを実行する上で一時的に必要とされるデータを格納するためのＲＡＭといった図示しない主記憶装置を備える。
そして、機械学習器２０において、演算処理装置が補助記憶装置からＯＳやアプリケーションソフトウェアを読み込み、読み込んだＯＳやアプリケーションソフトウェアを主記憶装置に展開させながら、これらのＯＳやアプリケーションソフトウェアに基づいた演算処理を行う。この演算結果に基づいて、機械学習器２０が各ハードウェアを制御する。これにより、図１の機能ブロックによる処理は実現される。つまり、機械学習器２０は、ハードウェアとソフトウェアが協働することにより実現することができる。なお、機械学習器２０を電子回路として実現するようにしてもよい。

状態観測部２０１は、学習フェーズにおいて、図示しない通信部を介して、成形条件調整時において、熟練者に装着された視線計測装置３０が撮影した射出成形機１０により射出成形された成形品の画像のうち、注視領域特定部３０４により特定された注視領域の画像を入力データとして、記憶部３０５（注視領域記憶部３６０）から取得する。
なお、注視領域が複数箇所ある場合には、状態観測部２０１は、複数箇所それぞれの注視領域の画像を、入力データとして取得してもよい。
また、状態観測部２０１は、成形条件調整が完了して良品が成形されるようになったときに、表示器１０２に表示された調整完了入力部としての成形条件調整完了ボタン（図示しない）が熟練者により押下され、機械学習器２０が成形条件調整完了信号を受信するまでの間の、前述した入力データを取得してもよい。なお、状態観測部２０１は、当該注視領域における成形不良が解消され、成形良と判定された画像について、成形良としての入力データとして取得することが好ましい。そうすることで、偏りのない学習済みモデルを生成することができる。
状態観測部２０１は、取得した入力データを記憶部２０４に対して出力する。

ラベル取得部２０２は、入力データに含まれる注視領域の画像それぞれに対する成形品の成形不良種別、を示すデータをラベルデータ（正解データ）として取得し、取得したラベルデータを記憶部２０４に対して出力する。
具体的には、ラベル取得部２０２は、例えば、表示器１０２に表示された成形不良種別画面において、熟練者により入力された注視領域の画像それぞれの成形品の成形不良種別を、ラベルデータ（正解データ）として記憶された射出成形機１０の記憶部（図示しない）から取得する。あるいは、ラベル取得部２０２は、表示器１０２に表示された成形不良種別選択画面において、熟練者により選択された注視領域の画像それぞれの成形品の成形不良種別を、ラベルデータ（正解データ）として記憶された射出成形機１０の記憶部（図示しない）から取得してもよい。
なお、ラベルには、例えば成形品の変色（色相、明度、彩度の変化）、バリ、ヒケ、反り、ねじれ、ボイド、ショート、ウェルドライン、ジェッティング、フローマーク、糸引き、充填不足、剥離、シルバーストリーク、黒点のうち少なくとも１つ以上を含む。
図５Ａは、ヒケの一例を示す図である。図５Ｂは、反りの一例を示す図である。図５Ｃは、ボイドの一例を示す図である。ここで、「ヒケ」は、プラスチック等の成形収縮によって生じるへこみ、窪みである。「反り」は、プラスチック等の残留応力により発生する。「ボイド」は、材料内に空気が既に入っている場合や、内部応力が減圧（真空ボイド）になった場合に発生する。
また、ラベル取得部２０２は、状態観測部２０１と同様に、成形条件調整が完了して良品が成形されるようになったときに、表示器１０２に表示された調整完了入力部としての成形条件調整完了ボタン（図示しない）が熟練者により押下され、機械学習器２０が成形条件調整完了信号を受信するまでの間の、前述したラベルデータを取得するようにしてもよい。なお、ラベル取得部２０２は、状態観測部２０１と同様に、当該注視領域における成形不良が解消され、成形良と判定された画像について、成形良としてのレベルデータを取得することが好ましい。そうすることで、偏りのない学習済みモデルを生成することができる。
また、ラベル取得部２０２は、１つの注視領域の画像に対して、複数の成形不良種別が入力されても構わない。そうすることで、成形不良は単独でも複合でも機械学習させることが可能となる。

学習部２０３は、上述の入力データとラベルとの組を訓練データとして受け付け、受け付けた訓練データを用いて、教師あり学習を行うことにより、注視領域の画像となる成形品の部分画像に基づいて成形不良種別を推定する学習済みモデル２４０を構築する。
そして、学習部２０３は、構築した学習済みモデル２４０を後述する記憶部２０４に記憶する。

ここで、教師あり学習を行うための訓練データは、多数用意されることが望ましい。このため、例えば、成形条件の調整時のあらゆる注視領域の画像において熟練者により評価された、成形品の成形不良種別の訓練データが作成されるようにしてもよい。

図６は、図１の機械学習器２０により生成される学習済みモデル２４０の一例を示す図である。ここでは、学習済みモデル２４０は、図６に示すように、成形条件調整後に射出成形された成形品の部分画像である注視領域の画像を入力層として、前記注視領域の画像における成形品の成形不良種別、を示すデータを出力層とする多層ニューラルネットワークを例示する。
ここで、成形不良種別には、変色（色相の変化、明度、彩度の変化）、バリ、ヒケ、反り、ねじれ、ボイド、ショート、ウェルドライン、ジェッティング、フローマーク、糸引き、充填不足、剥離、シルバーストリーク、黒点等が含まれる。
各成形不良種別の出力は、「０」又は「１」（すなわち、「無し」又は「有り」）でもよく、「０」から「１」の間の値等でもよい。なお、各成形不良種別の出力が「０」から「１」の間の値の場合、機械学習器２０は、予め設定された閾値以上となった成形不良種別を、入力された注視領域の画像の成形品に対する判定としてもよい。
また、全ての成形不良種別の出力が「０」の場合、機械学習器２０は、注視領域の画像の成形品は「良品」であると判定してもよい。

なお、上述したように、学習部２０３は、異なる成形不良であっても関連して発生するケースもある。例えば、樹脂温度が高すぎる場合には、変色、バリ、糸引き等が複合で発生したり、射出速度が最適でない場合には、ジェッティングやフローマーク等が同時発生したりすることもあるため、成形不良として単独でも複合でも機械学習させてもよい。そうすることで、学習済みモデル２４０は、１つの注視領域の画像の入力に基づいて、複数の成形不良種別を推定することができる。

また、学習部２０３は、学習済みモデル２４０を構築した後に、新たな訓練データを取得した場合には、学習済みモデル２４０に対してさらに教師あり学習を行うことにより、一度構築した学習済みモデル２４０を更新するようにしてもよい。
また、機械学習器２０は、他の射出成形システム１の機械学習器２０との間で学習モデルを共有して教師あり学習を行うようにしてもよい。そうすることで、複数の射出成形システム１の機械学習器２０それぞれにて分散して教師あり学習を行うことが可能となり、教師あり学習の効率を向上させることが可能となる。

上述した教師あり学習は、オンライン学習で行ってもよく、バッチ学習で行ってもよく、ミニバッチ学習で行ってもよい。
オンライン学習とは、射出成形機１０による成形品の成形条件の調整が行われ、訓練データが作成される都度、即座に教師あり学習を行うという学習方法である。また、バッチ学習とは、射出成形機１０による成形品の成形条件の調整が行われ、訓練データが作成されることが繰り返される間に、繰り返しに応じた複数の訓練データを収集し、収集した全ての訓練データを用いて、教師あり学習を行うという学習方法である。さらに、ミニバッチ学習とは、オンライン学習と、バッチ学習の中間的な、ある程度訓練データが溜まるたびに教師あり学習を行うという学習方法である。

記憶部２０４は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等であり、状態観測部２０１により取得された入力データ、ラベル取得部２０２により取得されたラベルデータ、及び学習部２０３により構築された学習済みモデル２４０等を記憶する。
以上、機械学習器２０が備える学習済みモデル２４０を生成するための機械学習について説明した。
次に、運用フェーズにおける、量産成形開始後の成形品の成形良否を判定する判定装置としての機械学習器２０について説明する。以下の説明では、学習済みモデルとして図６に記載の学習済みモデル、すなわち、量産成形開始後の成形品の部分画像である前述した注視領域の画像を入力層として、成形品の成形不良種別を出力層とする多層ニューラルネットワークを用いる場合を例示する。

＜運用フェーズにおける機械学習器２０＞
図１に示すように、運用フェーズにおける量産成形開始後の成形品の成形良否を判定する判定装置としての機械学習器２０は、記憶部２０４、入力部２０５、及び判定部２０６を含んで構成される。

入力部２０５は、量産成形開始後の成形品の部分画像である前述した注視領域の画像を、例えば、視線方向カメラ３０２等から入力する。
入力部２０５は、入力した前記注視領域の画像を判定部２０６に出力する。
なお、運用フェーズにおいて、視線計測装置３０を装着する作業者は、熟練者以外の作業者でもよい。

判定部２０６は、入力された注視領域の画像を、図６の学習済みモデル２４０に入力し、注視領域の画像の成形品の成形不良種別を判定する。そして、判定部２０６は、注視領域の画像に対する成形不良種別の判定結果を例えば射出成形機１０（表示器１０２）に出力する。

そして、射出成形機１０の表示器１０２は、受信した判定結果に基づいて、機械学習器２０により自動認識された成形不良種別を表示する。これにより、自動判定された成形不良の種別を作業者が確認することが可能となる。
この場合、例えば、作業者は、成形を停止するか、又は公知の良品不良品分別装置（図示しない）に信号を入力することで当該不良品を廃棄することができる。
作業者が成形を停止して、当該成形品に係る成形条件を微調整することで、成形不良が解消した場合、作業者に対して表示器１０２を介して、成形不良がなくなったことを報知することができる。なお、表示器１０２は、成形不良に係る表示を消去することで、成形不良がなくなったことを報知するようにしてもよい。
また、射出成形機１０の制御装置１０１は、受信した判定結果に基づいて成形不良を自動認識した場合、自動認識した成形品の成形不良箇所を表示器１０２に拡大表示させるようにしてもよい。そうすることで、成形不良箇所を見易くして成形良否判定の効率を上げることが可能となる。拡大表示の倍率は、２倍、５倍等に予め設定されてもよい。また、自動認識した成形不良の領域や注視領域の全域が収まる範囲で最も大きく拡大表示するようにしてもよい。

＜運用フェーズにおける機械学習器２０の判定処理＞
次に、本実施形態に係る運用フェーズにおける、量産成形開始後の成形品の成形良否を判定する判定装置としての機械学習器２０の判定処理に係る動作について説明する。
図７は、運用フェーズにおける機械学習器２０の判定処理について説明するフローチャートである。

ステップＳ１１において、入力部２０５は、視線計測装置３０から量産成形開始後の成形品の部分画像である前述した注視領域の画像を取得する。

ステップＳ１２において、判定部２０６は、ステップＳ１１で取得された、注視領域の画像を学習済みモデル２４０に入力し、注視領域の成形品の成形不良種別を判定する。

ステップＳ１３において、判定部２０６は、ステップＳ１２で判定された成形不良種別の判定結果を射出成形機１０に出力する。

以上により、第１実施形態に係る射出成形システム１は、成形条件調整時に熟練者が成形品を注視していた部分の画像を注視領域の画像として抽出し、抽出した注視領域の画像を学習済みモデル２４０に入力し、注視領域における成形品の成形不良種別を判定する。これにより、射出成形システム１は、熟練者以外の作業者でも成形品のうち成形不良となり易い箇所を容易に見つけられ、成形不良種別を容易に判定することができる。
以上、第１実施形態について説明した。

＜第１実施形態の変形例＞
第１実施形態の変形例では、学習フェーズにおける成形品と運用フェーズにおける成形品が異なる点が、第１実施形態と異なる。

図８は、第１実施形態の変形例に係る射出成形システムの機能的構成例を示す機能ブロック図である。なお、図１と同様の機能を有する機能ブロックについては、同じ符号を付し、その説明は省略する。
＜学習フェーズにおける機械学習器２０Ａ＞
第１実施形態の変形例に係る機械学習器２０Ａは、学習フェーズにおいて、状態観測部２０１、ラベル取得部２０２、学習部２０３、記憶部２０４ａを含んで構成される。

状態観測部２０１、ラベル取得部２０２、及び学習部２０３は、第１実施形態における状態観測部２０１、ラベル取得部２０２、及び学習部２０３と同等の機能を有する。
すなわち、学習フェーズにおける機械学習器２０Ａは、第１実施形態の機械学習器２０と同様に、学習済みモデル２４０を生成する。

記憶部２０４ａは、第１実施形態の記憶部２０４と同様に、状態観測部２０１により取得された入力データ、ラベル取得部２０２により取得されたラベルデータ、及び学習部２０３により構築された学習済みモデル２４０等を記憶する。

＜運用フェーズにおける機械学習器２０Ａ＞
図８に示すように、運用フェーズにおける成形品の成形良否を判定する判定装置としての機械学習器２０Ａは、記憶部２０４ａ、入力部２０５ａ、判定部２０６ａ、及び成形品画像分割部２０７を含んで構成される。ここで、第１実施形態の変形例の運用フェーズにおいては、学習フェーズにおいて学習した成形品と、運用フェーズにおける成形品と、が異なる場合を含む。

入力部２０５ａは、成形条件調整後に射出成形機１０により射出成形される成形品が学習フェーズの成形品と異なるため、運用フェーズにおける注視領域が不明となることから、判定対象の成形品全体の画像（以下、「全体画像」ともいう）を、例えば視線方向カメラ３０２等から取得する。入力部２０５ａは、取得した全体画像を成形品画像分割部２０７に出力する。

成形品画像分割部２０７は、入力部２０５ａにより入力された全体画像を分割する。
図９は、全体画像から分割された分割画像の一例を示す図である。
図９に示すように、成形品画像分割部２０７は、例えば、入力部２０５ａにより入力された全体画像を２０個の分割画像ＩＭ（１）−ＩＭ（２０）に分割する。成形品画像分割部２０７は、分割した分割画像ＩＭ（１）−ＩＭ（２０）を記憶部２０４ａの分割画像記憶部２４１に記憶する。
なお、成形品画像分割部２０７は、全体画像を２０個の分割画像ＩＭ（１）−ＩＭ（２０）に分割したが、これに限定されず、２０以外の複数の分割画像に分割してもよい。
以下、分割画像ＩＭ（１）−ＩＭ（２０）のそれぞれを個々に区別する必要がない場合、これらをまとめて「分割画像ＩＭ」ともいう。

判定部２０６ａは、分割画像記憶部２４１から分割画像ＩＭを読み出す。判定部２０６ａは、読み出した分割画像ＩＭそれぞれを図６の学習済みモデル２４０に入力し、分割画像ＩＭの成形品の成形不良種別を判定する。そして、判定部２０６ａは、判定した分割画像ＩＭそれぞれの成形不良種別の判定結果を射出成形機１０に出力する。

そして、射出成形機１０の表示器１０２は、受信した分割画像ＩＭそれぞれの判定結果に基づいて、機械学習器２０により自動認識された成形不良種別を分割画像ＩＭ毎に表示してもよい。これにより、自動判定された成形不良の種別を作業者が確認することができ、成形品のいずれの部分に成形不良が発生したかを確認することができる。

＜運用フェーズにおける機械学習器２０Ａの判定処理＞
次に、第１実施形態の変形例に係る機械学習器２０Ａの判定処理に係る動作について説明する。
図１０は、運用フェーズにおける機械学習器２０Ａの判定処理について説明するフローチャートである。

ステップＳ２１において、入力部２０５ａは、視線方向カメラ３０２等から成形条件調整後に射出成形された成形品の全体画像を取得する。

ステップＳ２２において、成形品画像分割部２０７は、ステップＳ２１で取得された全体画像を分割画像ＩＭ（１）−ＩＭ（２０）に分割する。

ステップＳ２３において、判定部２０６ａは、ステップＳ２２で分割された各分割画像ＩＭを学習済みモデル２４０に入力し、各分割画像ＩＭにおける成形品の成形不良種別を判定する。

ステップＳ２４において、判定部２０６ａは、ステップＳ２３で判定された各分割画像ＩＭにおける成形不良種別の判定結果を射出成形機１０に出力する。

以上により、第１実施形態の変形例に係る射出成形システム１は、成形条件調整時に生成された学習済みモデルを、射出成形機１０により射出成形される成形品が当該学習済みモデルの対象とする（すなわち、学習時に用いた）成形品とは異なる場合にも適用する。
この場合、運用フェーズにおける注視領域が不明となるため、判定対象の成形品の全体画像を視線計測装置３０から取得する。射出成形システム１は、取得した全体画像を複数の分割画像ＩＭに分割する。射出成形システム１は、各分割画像ＩＭを学習済みモデル２４０に入力し、各分割画像ＩＭにおける成形品の成形不良種別を判定する。これにより、射出成形システム１は、学習フェーズにおける成形品と運用フェーズにおける成形品が異なる場合でも、熟練者以外の作業者でも成形品のうち成形不良となり易い箇所を容易に見つけられ、成形不良種別を容易に判定することができる。
なお、上述した運用フェーズでは、判定部２０６ａは、分割された全ての分割画像ＩＭについて成形品の成形不良種別を判定したが、これに限定されない。
例えば、判定部２０６ａは、所定数（例えば、５０個や１００個等）の同じ成形品の分割画像ＩＭについて成形不良種別を判定することで、分割画像ＩＭ毎に成形不良の発生頻度を算出するようにしてもよい。
そうすることで、判定部２０６ａは、予め設定された閾値以上の発生頻度を示す分割画像ＩＭを、注視領域の画像として設定してもよい。そして、判定部２０６ａは、それ以降（所定数以降）の成形品については、注視領域の画像と設定された分割画像ＩＭのみを学習済みモデル２４０に入力し、成形不良種別を判定するようにしてもよい。
そうすることで、射出成形システム１は、効率良く各成形品の成形不良種別を判定することができる。
なお、所定数及び閾値は、要求されるサイクルタイムや成形品の品質等に応じて適宜決定されてもよい。
以上、第１実施形態の変形例について説明した。

次に、多種の成形品の成形不良関連画像を使って、機械学習することにより、さらに成形不良に認識率をアップさせることができる第２実施形態について説明する。

＜第２実施形態＞
第１実施形態及び第１実施形態の変形例においては、１つの成形品の成形不良関連画像を使って機械学習することで、学習済みモデルを生成した。そして、当該学習済みモデルを用いて、量産成形開始後に、成形不良判定装置としての機械学習器２０により成形品の成形不良判定を行った。
これに対して、第２実施形態では、多種の成形品の成形不良関連画像を使って、機械学習を実行することにより、さらに成形不良の認識率をアップさせるものである。この際、第２実施形態では、多種の成形品それぞれの成形品について、第１実施形態と同様に、熟練者による成形条件調整時に、熟練者により特定された注視領域の画像、及び成形良否のラベルデータに基づいて、教師あり学習によって機械学習を進めることが可能である。これにより、成形品が異なる場合でも、成形不良を精度よく自動認識し易くなる。これは、成形品が異なっていても成形不良領域の画像が類似していることが多いことが要因の１つである。
具体的には、成形不良による画像の特徴をいくつか示すと、変色や黒点が発生すると、発生領域では色相、明度、彩度等が明確に変化する。また、シルバーストリークが発生すると白化した扇状の模様が画像に現れる。また、ボイドは透明成形品の内部に球体の泡模様として画像に現れる。また、ウェルドラインは細長い線が画像に現れる。なお、成形品の形状として山部谷部がある場合にも細長い線が画像では見られるがその線の両側は光源に対して光の入射角が異なるため色合いが異なって画像に現れるがウェルドラインの場合はこの色合いの差がないことから、ウェルドラインと成形品の形状との区別が可能である。
このように、従来は作業者が目視確認していたような成形不良の特徴を、多種の成形品の成形不良関連画像を使って機械学習させることによって、成形不良の認識の精度を高めることが可能となる。

＜学習フェーズにおける機械学習器＞
具体的には、多種の成形品それぞれの成形品について、第１実施形態と同様に、熟練者による成形条件調整時に、熟練者により特定された注視領域の画像、及び成形良否のラベルデータからなる訓練データを用いて、機械学習器２０は、教師あり学習を行うことで、多種の成形品に係る成形不良領域の特徴を認識することが可能となる学習済みモデルを生成することができる。そうすることで、運用時において、任意の成形品に対して、成形不良の認識率をアップさせることができる。

＜運用フェーズにおける機械学習器＞
運用フェーズにおける機械学習器の機能については、前述した第１実施形態の変形例の運用フェーズと同様の機能を備える。
具体的には、入力部２０５ａは、判定対象の成形品全体の画像（以下、「全体画像」ともいう）を例えば、視線方向カメラ３０２等から取得する。入力部２０５ａは、取得した全体画像を成形品画像分割部２０７に出力する。

成形品画像分割部２０７は、入力部２０５ａにより入力された全体画像を図９に示すように、例えば、入力部２０５ａにより入力された全体画像を２０個の分割画像ＩＭ（１）−ＩＭ（２０）に分割する。成形品画像分割部２０７は、分割した分割画像ＩＭ（１）−ＩＭ（２０）を記憶部２０４ａの分割画像記憶部２４１に記憶する。
なお、成形品画像分割部２０７は、全体画像を２０個の分割画像ＩＭ（１）−ＩＭ（２０）に分割したが、これに限定されず、２０以外の複数の分割画像に分割してもよい。
以下、分割画像ＩＭ（１）−ＩＭ（２０）のそれぞれを個々に区別する必要がない場合、これらをまとめて「分割画像ＩＭ」ともいう。

判定部２０６ａは、分割画像記憶部２４１から分割画像ＩＭを読み出す。判定部２０６ａは、読み出した分割画像ＩＭそれぞれを図６の学習済みモデル２４０に入力し、分割画像ＩＭの成形品の成形不良種別を判定する。そして、判定部２０６ａは、判定した分割画像ＩＭそれぞれの成形不良種別の判定結果を射出成形機１０に出力する。

そして、射出成形機１０の表示器１０２は、受信した分割画像ＩＭそれぞれの判定結果に基づいて、機械学習器２０により自動認識された成形不良種別を分割画像ＩＭ毎に表示してもよい。これにより、自動判定された成形不良の種別を作業者が確認することができ、成形品のいずれの部分に成形不良が発生したかを確認することができる。
こうすることで、多種の成形品の成形不良関連画像を使って、機械学習を実行することにより、さらに成形不良の認識率をアップさせることが可能となる。
なお、前述した第１実施形態の変形例の運用フェーズと同様に、判定部２０６ａは、所定数（例えば、５０個や１００個等）の同じ成形品の分割画像ＩＭについて成形不良種別を判定することで、分割画像ＩＭ毎に成形不良の発生頻度を算出するようにしてもよい。
そうすることで、判定部２０６ａは、予め設定された閾値以上の発生頻度を示す分割画像ＩＭを、注視領域の画像として設定してもよい。そして、判定部２０６ａは、それ以降（所定数以降）の成形品については、注視領域の画像と設定された分割画像ＩＭのみを学習済みモデル２４０に入力し、成形不良種別を判定するようにしてもよい。
そうすることで、第２実施形態においても、射出成形システム１は、効率良く各成形品の成形不良種別を判定することができる。

以上、第１実施形態、第１実施形態の変形例、及び第２実施形態について説明したが、射出成形システム１は、上述の実施形態に限定されるものではなく、目的を達成できる範囲での変形、改良等を含む。
＜変形例１＞
上述の第１実施形態、第１実施形態の変形例、及び第２実施形態では、機械学習器２０（２０Ａ）は、射出成形機１０と異なる装置として例示したが、機械学習器２０（２０Ａ）の一部又は全部の機能を、射出成形機１０が備えるようにしてもよい。
あるいは、機械学習器２０の状態観測部２０１、ラベル取得部２０２、学習部２０３、記憶部２０４、入力部２０５、及び判定部２０６、又は機械学習器２０Ａの状態観測部２０１、ラベル取得部２０２、学習部２０３、記憶部２０４ａ、入力部２０５ａ、判定部２０６ａ、及び成形品画像分割部２０７の一部又は全部を、例えば、サーバが備えるようにしてもよい。また、クラウド上で仮想サーバ機能等を利用して、機械学習器２０（２０Ａ）の各機能を実現してもよい。
さらに、機械学習器２０（２０Ａ）は、機械学習器２０（２０Ａ）の各機能を適宜複数のサーバに分散される、分散処理システムとしてもよい。
そうすることで、より多くのデータで機械学習が可能になる。また、遠隔地の工場同士でも情報共有が可能となる。

＜変形例２＞
また例えば、上述の第１実施形態、第１実施形態の変形例、及び第２実施形態では、成形条件調整が完了して良品が成形できるようになった時に、射出成形機１０の表示器１０２に調整完了入力部としての成形条件調整完了ボタン（図示しない）を表示し、機械学習器２０（２０Ａ）に成形条件調整が完了したことを入力したが、これに限定されない。例えば、射出成形システム１は、調整完了入力部として、操作パネルに設置した成形条件調整終了ボタン、又は連続成形を開始する自動ボタンのいずれかを有し、作業者に押下されることで、機械学習器２０（２０Ａ）に成形条件調整が完了したことを入力してもよい。あるいは、射出成形システム１は、音声認識装置を備えて音声認識によって成形条件調整完了を認識させて、機械学習器２０（２０Ａ）に良品を成形している状態であることを報知させるようにしてもよい。

＜変形例３＞
また例えば、上述の第１実施形態、第１実施形態の変形例、及び第２実施形態では、射出成形システム１は、成形条件調整が完了して良品が成形されるようになったときに、表示器１０２に表示された調整完了入力手部としての成形条件調整完了ボタン（図示しない）が熟練者により押下された場合、機械学習器２０（２０Ａ）に成形条件調整完了信号を出力し、機械学習により学習済みモデル２４０を生成させたが、これに限定されない。
例えば、射出成形システム１は、機械学習の学習結果と成形品画像データに基づいて、良品を成形していると判定したら良品判定信号を出力する良否判定信号出力部を備えてもよく、良否判定信号出力部が出力した良品判定信号を入力したら、量産成形開始信号を出力する量産成形開始信号出力部を備えてもよい。

射出成形システム１は、良否判定信号出力部と、量産成形開始信号出力部とを備えることで、良品が成形できるようになったと判断したら量産成形を開始するようにしてもよい。これは、成形開始時等に有効であり、従来は、作業者が成形開始時に数ショットから数百ショットを成形しながら成形品を視認して、良品が成形できるようになったと判断してから量産成形を開始していたが、これらの作業を自動で実行できるようになる。さらに、連続成形中に良否判定信号出力部が不良品判定信号を出力したら、成形を停止させたり、又は公知の良品不良品分別装置に前記信号を入力して不良品を廃棄したりすることも容易である。

＜変形例４＞
また例えば、上述の第１実施形態、第１実施形態の変形例、及び第２実施形態では、機械学習器２０は、学習済みモデル２４０を用いて、１つの視線計測装置３０から取得した注視領域の画像から注視領域の成形品の成形不良種別を判定したが、これに限定されない。例えば、図１１に示すように、サーバ５０は、機械学習器２０により生成された学習済みモデル２４０を記憶し、ネットワーク６０に接続されたｍ個の機械学習器２０Ｂ（１）−２０Ｂ（ｍ）と学習済みモデル２４０を共有してもよい（ｍは２以上の整数）。これにより、新たな射出成形機、及び機械学習器が配置されても学習済みモデル２４０を適用することができる。
なお、機械学習器２０Ｂ（１）−２０Ｂ（ｍ）の各々は、射出成形機１０Ｂ（１）−１０Ｂ（ｍ）の各々と接続される。
また、射出成形機１０Ｂ（１）−１０Ｂ（ｍ）の各々は、図１の射出成形機１０に対応する。機械学習器２０Ｂ（１）−２０Ｂ（ｍ）の各々は、図１の機械学習器２０（２０Ａ）に対応する。
あるいは、図１２に示すように、サーバ５０は、例えば、機械学習器２０として動作し、ネットワーク６０に接続された射出成形機１０Ｂ（１）−１０Ｂ（ｍ）の各々に対して、成形品の成形不良種別を判定してもよい。これにより、新たな射出成形機が配置されても学習済みモデル２４０を適用することができる。

なお、第１実施形態、第１実施形態の変形例、及び第２実施形態に係る射出成形システム１に含まれる各機能は、ハードウェア、ソフトウェア又はこれらの組み合わせによりそれぞれ実現することができる。ここで、ソフトウェアによって実現されるとは、コンピュータがプログラムを読み込んで実行することにより実現されることを意味する。
また、射出成形システム１に含まれる各構成部は、電子回路等を含むハードウェア、ソフトウェア又はこれらの組み合わせにより実現することができる。

プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（Ｎｏｎ−ｔｒａｎｓｉｔｏｒｙ ｃｏｍｐｕｔｅｒ ｒｅａｄａｂｌｅ ｍｅｄｉｕｍ）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（Ｔａｎｇｉｂｌｅ ｓｔｏｒａｇｅ ｍｅｄｉｕｍ）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えば、フレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば、光磁気ディスク）、ＣＤ−ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ ＰＲＯＭ）、フラッシュＲＯＭ、ＲＡＭを含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（Ｔｒａｎｓｉｔｏｒｙ ｃｏｍｐｕｔｅｒ ｒｅａｄａｂｌｅ ｍｅｄｉｕｍ）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は、無線通信路を介して、プログラムをコンピュータに供給できる。

なお、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

以上を換言すると、本開示の射出成形システムは、次のような構成を有する各種各様の実施形態を取ることができる。

（１）本開示の射出成形システム１は、射出成形によって成形された成形品を観察する作業者の視線の動きを計測する視線計測部３０３と、視線計測部３０３により計測された作業者の視線の動きを示す視線情報と視線情報を計測した計測時刻とを記憶する視線データ記憶部３５０と、視線情報及び計測時刻に基づいて作業者が所定の時間以上注視していた及び/又は所定の回数以上視線を向けていた成形品の注視領域を特定する注視領域特定部３０４と、成形品の画像のうち注視領域特定部３０４により特定された注視領域の画像を記憶する注視領域記憶部３６０と、成形不良の種別を入力又は選択する成形不良種別入力部と、注視領域の画像から成形不良種別を機械学習するための機械学習器２０と、を備え、機械学習器２０は、成形品に発生している成形不良の種別を入力して、注視領域記憶部３６０に記憶された注視領域の画像から成形不良の特徴量を学習して自動認識するように機械学習する。
この射出成形システム１は、熟練者以外の作業者でも成形品のうち成形不良となり易い箇所を容易に見つけられる。

（２） （１）に記載の射出成形システム１において、成形品撮影部と、表示器１０２と、を備え、視線計測部３０３は、成形品撮影部で撮影して表示器１０２に表示した成形品の画像を作業者が視認する視線情報を計測してもよい。
そうすることで、注視領域を特定することができる。

（３） （１）又は（２）に記載の射出成形システム１において、成形不良は、成形品の変色（色相、明度、彩度の変化）、バリ、ヒケ、反り、ねじれ、ボイド、ショート、ウェルドライン、ジェッティング、フローマーク、糸引き、充填不足、剥離、シルバーストリーク、黒点のうち少なくとも１つ以上であってもよい。
そうすることで、成形不良は単独でも複合でも機械学習させることが可能となる。

（４） （１）から（３）のいずれに記載の射出成形システム１において、機械学習器２０は、成形不良を自動認識した場合、表示器１０２に成形不良の種別を表示させてもよい。
そうすることで、自動判定された成形不良の種別を作業者が確認することが可能となる。また、成形不良が解消した場合、表示も消去させることで、作業者に成形不良が無くなったことを報知することも可能となる。

（５） （１）から（４）のいずれに記載の射出成形システム１において、成形条件調整の完了時に成形条件調整完了信号を機械学習器２０に入力するための調整完了入力部を備えてもよい。
そうすることで、機械学習器２０に良品を成形している状態であることを報知させることが可能となる。

（６） （５）に記載の射出成形システム１において、調整完了入力部は、射出成形機１０のコントローラ画面に表示されたボタン、操作パネルのボタン又は連続成形を開始する自動ボタンのいずれかが押下されたこと、又は音声認識装置が調整完了を検出してもよい。
そうすることで、機械学習器２０に良品を成形している状態であることを報知させることが可能となる。

（７） （１）から（６）のいずれに記載の射出成形システム１において、機械学習器２０の学習結果と注視領域の画像に基づいて、良否判定を行い良否判定信号を出力する良否判定信号出力部を備えてもよい。
そうすることで、良品が成形できるようになった報知することができる。

（８） （７）に記載の射出成形システム１において、良否判定信号出力部が良品を成形していると判定して良品判別信号を出力した場合、量産成形開始信号を出力する量産成形開始信号出力部を備え、良品が成形できるようになったと判断した場合、量産成形を開始してもよい。
そうすることで、良品が成形できるようになったと判断してから量産成形を開始するまでの作業を自動で実行することができる。

（９） （７）又は（８）に記載の射出成形システム１において、良否判定信号出力部は、不良品を成形していると判定して不良品判定信号を出力した場合、量産成形を停止させる及び/又は良品不良品分別装置に不良品判定信号を入力して不良品を廃棄してもよい。
そうすることで、成形を停止させたり、又は良品不良品分別装置に信号を入力して不良品を廃棄したりすることが容易になる。

（１０） （１）から（９）のいずれに記載の射出成形システム１において、成形品の画像を分割し複数の分割画像ＩＭを生成する成形品画像分割部２０７と、成形品画像分割部２０７により分割された複数の分割画像ＩＭを記憶する分割画像記憶部２４１と、を備え、機械学習器２０は、成形品画像分割部２０７により分割された複数の分割画像ＩＭで機械学習を行う。
そうすることで、微細な成形不良であっても成形不良の特徴を拡大して捉え易くして、より精度良く良否判定することができる。

（１１） （１）から（１０）のいずれに記載の射出成形システム１において、複数の射出成形システム１又は集中管理装置（サーバ５０）との通信部を備え、複数の射出成形システム１の成形品画像データ、機械学習結果、学習済みモデル２４０の情報を共有して機械学習を実行してもよい。
そうすることで、これによって、より多くのデータで機械学習が可能となる。さらに、集中管理装置はクラウド上にあってもよく、この場合は遠隔地の工場同士でも情報共有が可能となる。

（１２） （２）に記載の射出成形システム１において、表示器１０２は、機械学習器２０が成形不良を自動認識した場合又は注視領域特定部３０４が作業者の注視領域を特定した場合に、自動認識した成形不良箇所又は注視領域を拡大表示してもよい。
そうすることで、成形不良箇所を見易くして成形条件調整の効率を上げることが可能となる。

（１３） （２）に記載の射出成形システム１において、成形品撮影部を移動可能とする成形品撮影位置移動部を備えてもよい。
そうすることで、光の反射等で成形不良を視認しづらい場合等に、色々な方向から成形品を撮影可能とすることができ、成形不良箇所を見易くすることが可能となる。

１ 射出成形システム
１０ 射出成形機
１０１ 制御装置
１０２ 表示器
２０ 機械学習器
２０１ 状態観測部
２０２ ラベル取得部
２０３ 学習部
２０４、２０４ａ 記憶部
２０５、２０５ａ 入力部
２０６、２０６ａ 判定部
２０７ 成形品画像分割部
２４０ 学習済みモデル
３０ 視線計測装置
３０３ 視線計測部
３０４ 注視領域特定部
３０５ 記憶部

Claims (13)

1. 射出成形によって成形された成形品を観察する作業者の視線の動きを計測する視線計測部と、
   前記視線計測部により計測された前記作業者の視線の動きを示す視線情報と前記視線情報を計測した計測時刻とを記憶する視線データ記憶部と、
   前記視線情報及び前記計測時刻に基づいて前記作業者が所定の時間以上注視していた及び/又は所定の回数以上視線を向けていた前記成形品の注視領域を特定する注視領域特定部と、
   前記成形品の画像のうち前記注視領域特定部により特定された前記注視領域の画像を記憶する注視領域記憶部と、
   成形不良種別を入力又は選択する成形不良種別入力部と、
   前記注視領域の画像から前記成形不良種別を機械学習するための機械学習器と、を備え、
   前記機械学習器は、前記成形品に発生している成形不良の種別を入力して、前記注視領域記憶部に記憶された前記注視領域の画像から成形不良の特徴量を学習して自動認識するように機械学習する、射出成形システム。
2. 成形品撮影部と、
   表示器と、を備え、
   前記視線計測部は、前記成形品撮影部で撮影して前記表示器に表示した前記成形品の画像を前記作業者が視認する前記視線情報を計測する、請求項１に記載の射出成形システム。
3. 前記成形不良は、成形品の変色（色相、明度、彩度の変化）、バリ、ヒケ、反り、ねじれ、ボイド、ショート、ウェルドライン、ジェッティング、フローマーク、糸引き、充填不足、剥離、シルバーストリーク、黒点のうち少なくとも１つ以上である、請求項１又は請求項２に記載の射出成形システム。
4. 前記機械学習器は、前記成形不良を自動認識した場合、表示器に前記成形不良の種別を表示させる、請求項１から請求項３のいずれか１項に記載の射出成形システム。
5. 成形条件調整の完了時に成形条件調整完了信号を機械学習器に入力するための調整完了入力部を備える、請求項１から請求項４のいずれか１項に記載の射出成形システム。
6. 前記調整完了入力部は、射出成形機のコントローラ画面に表示されたボタン、操作パネルのボタン又は連続成形を開始する自動ボタンのいずれかが押下されたこと、又は音声認識装置が調整完了を検出する、請求項５に記載の射出成形システム。
7. 前記機械学習器の学習結果と前記注視領域の画像に基づいて、良否判定を行い良否判定信号を出力する良否判定信号出力部を備える、請求項１から請求項６のいずれか１項に記載の射出成形システム。
8. 前記良否判定信号出力部が良品を成形していると判定して良品判別信号を出力した場合、量産成形開始信号を出力する量産成形開始信号出力部を備え、
   良品が成形できるようになったと判断した場合、量産成形を開始する、請求項７に記載の射出成形システム。
9. 前記良否判定信号出力部は、不良品を成形していると判定して不良品判定信号を出力した場合、量産成形を停止させる及び/又は良品不良品分別装置に不良品判定信号を入力して不良品を廃棄する、請求項７又は請求項８に記載の射出成形システム。
10. 前記成形品の画像を分割し複数の分割画像を生成する成形品画像分割部と、
    前記成形品画像分割部により分割された前記複数の分割画像を記憶する分割画像記憶部と、を備え、
    前記機械学習器は、前記成形品画像分割部により分割された前記複数の分割画像で機械学習を行う、請求項１から請求項９のいずれか１項に記載の射出成形システム。
11. 複数の前記射出成形システム又は集中管理装置との通信部を備え、
    複数の前記射出成形システムの成形品画像データ、機械学習結果、学習済みモデルの情報を共有して機械学習を実行する、請求項１から請求項１０のいずれか１項に記載の射出成形システム。
12. 前記表示器は、前記機械学習器が前記成形不良を自動認識した場合又は前記注視領域特定部が前記作業者の前記注視領域を特定した場合に、自動認識した前記成形不良の箇所又は前記注視領域を拡大表示する、請求項２に記載の射出成形システム。
13. 前記成形品撮影部を移動可能とする成形品撮影位置移動部を備える、請求項２に記載の射出成形システム。

Images