JP2019179494A - 信号エミュレータ、画像認識用学習モデルの機械学習方法、信号エミュレータ用学習モデルの機械学習方法、及び画像認識用学習モデルの機械学習システム - Google Patents

Abstract

【課題】ユーザの操作を画像から判別することが容易な操作判別システムを用いた信号エミュレータ、画像認識用学習モデルの機械学習方法、信号エミュレータ用学習モデルの機械学習方法、及び画像認識用学習モデルの機械学習システムを提供する。【解決手段】ユーザによる操作指示を受け付けて当該操作指示に応じた指示信号を出力する第一モジュール１１０から、その指示信号を受け付けて第一モジュール１１０へ応答信号を出力する第二モジュール１２０をエミュレートする信号エミュレータ１であって、タッチパネルディスプレイ１１２を含む領域の撮像画像を画像認識用学習モデル４３に入力することによって得られた操作情報と指示信号とを信号エミュレータ用学習モデルに入力することによって応答情報を出力させ、その応答情報に基づき応答信号を出力するようにした。【選択図】図４

Description

本発明は、ユーザの操作を画像から判別する操作判別システムを用いた信号エミュレータ、画像認識用学習モデルの機械学習方法、信号エミュレータ用学習モデルの機械学習方法、及び画像認識用学習モデルの機械学習システムに関する。

従来より、自動取引装置の利用者の操作を撮像し、その撮像された画像から、利用者の操作の異常レベルを決定する監視装置が知られている（例えば、特許文献１参照。）。

特開２０１８−１０３３２号公報

しかしながら、上述の技術では、利用者の操作が異常か否かを判断することができるものの、利用者の操作内容を判別することはできなかった。

本発明の目的は、ユーザの操作を画像から判別することが容易な信号エミュレータ、画像認識用学習モデルの機械学習方法、信号エミュレータ用学習モデルの機械学習方法、及び画像認識用学習モデルの機械学習システムを提供することである。

また、本発明に係る信号エミュレータは、ユーザによる操作指示を受け付けて当該操作指示に応じた指示信号を出力する第一モジュールから、その指示信号を受け付けて前記第一モジュールへ応答信号を出力する第二モジュールをエミュレートする信号エミュレータであって、前記ユーザの操作が写った操作画像に基づきその操作を示す操作情報を出力するように学習された画像認識用学習モデルに対して、前記操作指示を受け付ける操作部を含む領域の画像を入力することによって、前記画像認識用学習モデルから前記操作情報を出力する操作判別システムから出力された前記操作情報、及び前記第一モジュールから出力された前記指示信号を受け付ける入力部と、前記第二モジュールを模倣するように学習された学習モデルであり、前記入力部によって受け付けられた、前記指示信号を示す指示情報、及び前記操作情報が入力された場合に応答情報を出力する信号エミュレータ用学習モデルと、前記応答情報に基づいて、前記第一モジュールが受付可能な応答信号を前記第一モジュールへ出力する出力部とを備え、前記第一モジュールは、前記操作部によって前記操作指示を受け付ける。

この構成によれば、ユーザの操作が写った操作画像が画像認識用学習モデルに対して入力される。画像認識用学習モデルは、操作画像に基づきその操作を示す操作情報を出力するように予め学習されているので、ユーザの操作が写った操作画像を画像認識用学習モデルに対して入力することによって、画像認識用学習モデルから操作情報を出力させることができる。これにより、ユーザの操作を画像から容易に判別することができる。そして、第二モジュールを模倣するように学習された信号エミュレータ用学習モデルを用いることによって、操作判別システムで判別された操作情報と第一モジュールから出力された指示信号を示す指示情報とに対応する応答情報を、信号エミュレータ用学習モデルから出力させることができ、この応答情報に基づいて応答信号が第一モジュールへ出力される。従って、第二モジュールを構成する機械装置を模倣することが容易である。また、第二モジュールがステートマシンを含んでいる場合、第二モジュールの状態によって、第二モジュールへの入力に対する応答が異なる場合がある。このような場合であっても、ユーザの操作とステートマシンの状態との間には、相関関係がある。そこで、操作判別システムで操作情報を判別させ、この操作情報を含めて学習させた信号エミュレータ用学習モデルを用いることによって、ステートマシンを備えた第二モジュールを模倣することが可能になる。

また、本発明に係る画像認識用学習モデルの機械学習方法は、ユーザの操作が写った操作画像に基づきその操作を示す操作情報を出力するように学習された画像認識用学習モデルに対して前記操作画像を入力することによって、前記画像認識用学習モデルから前記操作情報を出力する操作判別システムに用いられる画像認識用学習モデルの機械学習方法であって、（１ａ）前記ユーザによる操作指示を受け付ける操作部を含む領域の画像を前記操作画像として撮像する工程と、（１ｂ）前記操作情報を取得する工程と、（１ｃ）前記操作画像と、前記（１ｂ）工程で取得された操作情報とを教師データとし、前記操作画像を前記画像認識用学習モデルに入力し、当該画像認識用学習モデルから前記操作情報を出力させるように、当該画像認識用学習モデルを機械学習する工程とを含む。

また、本発明に係る画像認識用学習モデルの機械学習システムは、ユーザの操作が写った操作画像と、前記ユーザの操作指示を示す操作情報とを教師データとし、前記操作画像を前記画像認識用学習モデルに入力し、当該画像認識用学習モデルから前記操作情報を出力させるように、当該画像認識用学習モデルを機械学習する機械学習部を備える。

これらの方法及びシステムによれば、操作部の操作が写った操作画像が撮像され、操作部によって受け付けられた操作指示を示す操作情報が取得され、その操作画像と操作情報とが教師データとされる。その結果、画像認識用学習モデルを、操作画像が入力された場合に操作情報を出力するように学習することができる。

また、本発明に係る信号エミュレータ用学習モデルの機械学習方法は、上述の信号エミュレータに用いられる信号エミュレータ用学習モデルの機械学習方法であって、（２ａ）前記第一モジュールと前記第二モジュールとを連結して動作させる工程と、（２ｂ）前記操作部を含む領域を操作画像として撮像する工程と、（２ｃ）前記撮像画像を学習済の前記画像認識用学習モデルに入力し、前記画像認識用学習モデルから前記操作情報を出力させる工程と、（２ｄ）前記第一モジュールから出力された指示信号を示す指示情報、前記第二モジュールから出力された応答信号を示す応答情報、及び前記画像認識用学習モデルから出力された操作情報を対応付けた組を、複数組、監視情報として監視情報記憶部に記憶させる工程と、（２ｅ）前記監視情報を教師データとして前記信号エミュレータ用学習モデルの機械学習を実行する工程とを含む。

この構成によれば、第一モジュールと第二モジュールとからなる装置を実際に動作させて、操作部を操作してその操作画像を撮像すると共にその操作に応じた指示信号を第一モジュールから出力させる。操作画像は学習済の画像認識用学習モデルに入力され、画像認識用学習モデルから操作情報が出力される。第二モジュールは第一モジュールの操作指示に応じた応答信号を出力する。そして、第一モジュールから出力された指示信号を示す指示情報、第二モジュールから出力された応答信号を示す応答情報、及び画像認識用学習モデルから出力された操作情報を対応付けた組が、複数組、監視情報として監視情報記憶部に記憶され、その監視情報を教師データとして信号エミュレータ用学習モデルを機械学習することができる。また、第二モジュールがステートマシンを含んでいる場合、第二モジュールの状態によって、第二モジュールへの入力に対する応答が異なる場合がある。このような場合であっても、ユーザの操作とステートマシンの状態との間には、相関関係がある。そこで、第一モジュールから操作指示を表す操作情報を出力させ、この操作情報を含めて信号エミュレータ用学習モデルを学習させる。その結果、ステートマシンを備えた第二モジュールを模倣可能な信号エミュレータ用学習モデルが得られる。

また、前記信号エミュレータ用学習モデルは、前記応答情報と共に前記指示信号に対する前記応答信号の遅延時間を示す遅延情報を出力し、前記出力部は、前記入力部によって前記指示信号が受け付けられてから前記遅延情報で示される遅延時間経過した場合、前記応答情報に応じて前記応答信号を出力することが好ましい。

この構成によれば、信号エミュレータ用学習モデルが、応答情報と共に指示信号に対する応答信号の遅延時間を示す遅延情報を出力するように学習されている。そして、出力部は、入力部によって指示信号が受け付けられてから、信号エミュレータ用学習モデルが出力する遅延情報で示される遅延時間遅らせてから、応答信号を出力する。これにより、信号エミュレータは、第二モジュールの信号出力タイミングも含めて第二モジュールを模倣することができるので、模倣の精度が向上する。

また、前記応答信号の信号波形を複数、それぞれの識別情報と対応付けて予め記憶する応答波形記憶部をさらに備え、前記応答情報は、前記識別情報を示し、前記出力部は、前記応答情報で示される識別情報に対応する信号波形を前記応答波形記憶部から読み出して、その信号波形に応じた信号を、前記応答信号として出力することが好ましい。

この構成によれば、応答波形記憶部に、応答信号の信号波形が複数、それぞれの識別情報と対応付けて予め記憶されている。信号エミュレータ用学習モデルは、信号波形の識別情報を応答情報として出力する。そして、出力部は、その識別情報に対応する信号波形を応答波形記憶部から読み出してその信号波形の応答信号を第一モジュールへ出力する。これにより、信号エミュレータは、応答信号の信号波形も含めて第二モジュールを模倣することができるので、模倣の精度が向上する。

また、前記（２ｄ）工程は、さらに、前記指示信号が検出されてから前記応答信号が検出されるまでの遅延時間を計測し、前記各組は、前記操作情報、前記指示情報、前記応答情報、及び前記遅延情報を対応付け、前記（ｃ）工程は、前記各組の前記操作情報と前記指示情報とをニューラルネットワークに入力し、前記ニューラルネットワークからその指示情報と対応する応答情報とその遅延時間とを出力させるように、前記ニューラルネットワークの機械学習を実行することが好ましい。

この構成によれば、指示信号に対する応答信号の遅延時間を含めてニューラルネットワークを機械学習することができるので、信号エミュレータ用学習モデルを用いた信号エミュレータによる第二モジュールの模倣の精度が向上する。

また、前記（２ｄ）工程は、さらに、前記検出された複数の応答信号の信号波形と、その各応答信号を識別する識別情報とを対応付けて応答波形記憶部に記憶させ、前記応答情報を前記識別情報とすることが好ましい。

この構成によれば、指示信号に対する応答信号の信号波形を含めてニューラルネットワークを機械学習することができるので、信号エミュレータ用学習モデルを用いた信号エミュレータによる第二モジュールの模倣の精度が向上する。

このような構成の信号エミュレータは、操作判別システムによってユーザの操作を画像から判別することが容易である。そのため、操作判別システムによって画像から判別されたユーザの操作を用いて装置を模倣することが容易である。画像認識用学習モデルの機械学習方法及び画像認識用学習モデルの機械学習システムは、操作判別システムに用いられる画像認識用学習モデルを機械学習することができる。そして、信号エミュレータ用学習モデルの機械学習方法は、信号エミュレータに用いられる信号エミュレータ用学習モデルを機械学習することができる。

本発明に係る操作判別システムの適用対象となる基板検査装置の構成を概略的に示す正面図である。 図１に示す基板検査装置の電気的構成の一例を示すブロック図である。 図２に示すタッチパネルディスプレイに表示される画面の一例を示す画面図である。 本発明の一実施形態に係る操作判別システム及び信号エミュレータの、主に電気的構成の一例を示すブロック図である。 図４に示す画像認識用学習モデルとして用いられるニューラルネットワークの一例を示す説明図である。 図４に示す信号エミュレータ用学習モデルとして用いられるニューラルネットワークの一例を示す説明図である。 図４に示す画像認識用学習モデルの機械学習方法を用いる機械学習システムの一例を示すブロック図である。 図７に示す機械学習システムによる画像認識用学習モデルの機械学習方法の一例を示すフローチャートである。 操作画像の一例を示す説明図である。 本発明の第一実施形態に係る信号エミュレータ用学習モデルの機械学習方法を用いる機械学習システムの一例を示すブロック図である。 操作情報、指示信号、及び応答信号の一例を示す信号波形図である。 図１０に示す機械学習システムによる信号エミュレータ用学習モデルの機械学習方法の一例を示すフローチャートである。 図１０に示す機械学習システムによる信号エミュレータ用学習モデルの機械学習方法の一例を示すフローチャートである。 図４に示す信号エミュレータの動作の一例を示すフローチャートである。 図４に示す信号エミュレータ１の構成の別の一例を示すブロック図である。 図１０に示す機械学習システム２の構成の別の一例を示すブロック図である。 図１６に示す信号エミュレータ用学習モデルの機械学習システムの動作の一例を示すフローチャートである。 図１６に示す信号エミュレータ用学習モデルの機械学習システムの動作の一例を示すフローチャートである。 図１５、図１６に示す応答波形記憶部に記憶された信号波形の一例を示す説明図である。 図１５、図１６に示すニューラルネットワークの一例を示す説明図である。 図１５に示す信号エミュレータの動作の一例を示すフローチャートである。

以下、本発明に係る実施形態を図面に基づいて説明する。なお、各図において同一の符号を付した構成は、同一の構成であることを示し、その説明を省略する。図１は、基板を検査する基板検査装置１００の構成を概略的に示す正面図である。

図１に示す基板検査装置１００は、筐体１０１を有している。筐体１０１の内部空間には、基板固定装置１０２と、検査部１０３，１０３と、検査部移動機構１０５とが主に設けられている。基板固定装置１０２は、検査対象となる基板１０４を所定の位置に固定するように構成されている。筐体１０１の側壁には、タッチパネルディスプレイ１１２（操作部）が取り付けられている。

検査部１０３，１０３は、基板固定装置１０２に固定された基板１０４を間に挟んでその上下に位置する。検査部１０３，１０３は、プローブＰｒを基板１０４表面の検査点に接触させることによって、基板１０４を検査する。検査部移動機構１０５は、検査部１０３，１０３を、筐体１０１内で適宜移動させて、プローブＰｒを基板１０４の検査点に接触させる。また、筐体１０１内には、基板１０４を搬送する図略の搬送機構が設けられている。

図１には、後述する操作判別システム４のカメラ４１が記載されている。カメラ４１は、タッチパネルディスプレイ１１２を含む領域を撮影するように設置されている。

図２は、図１に示す基板検査装置１００の電気的構成の一例を示すブロック図である。図２に示す基板検査装置１００は、第一モジュール１１０と、第二モジュール１２０とを備えている。第一モジュール１１０は、例えば、制御部１１１とタッチパネルディスプレイ１１２とを含む。第二モジュール１２０は、例えば、基板搬送用モータ１２１、基板検出センサ１２２、モータドライバ１２３、プローブ駆動用モータ１２４、及びプログラマブルコントローラ（ＰＬＣ）１２５を備えている。

なお、第一モジュール及び第二モジュールは、基板検査装置１００の構成要素に限らない。第一モジュールが第二モジュールへ指示信号を出力し、第二モジュールが指示信号に応じて応答信号を出力するものであればよい。

第一モジュール１１０と第二モジュール１２０との間は信号経路Ｌ１，Ｌ２，・・・によって接続されている。この信号経路Ｌ１，Ｌ２，・・・によって、指示信号ＳＣ１，ＳＣ２，・・・および応答信号ＳＲ１，ＳＲ２，・・・の送受信が行われる。以下、指示信号ＳＣ１，ＳＣ２，・・・を総称して指示信号ＳＣと称し、応答信号ＳＲ１，ＳＲ２，・・・を総称して応答信号ＳＲと称し、信号経路Ｌ１，Ｌ２，・・・を総称して信号経路Ｌと称する。

タッチパネルディスプレイ１１２は、例えば液晶表示パネルとタッチパネルとが組み合わされている。タッチパネルディスプレイ１１２は、いわゆるボタンやアイコン等の、ユーザ（作業者）の操作を受け付ける操作画面を含む所定の画面を表示する。タッチパネルディスプレイ１１２は、ユーザのタッチ操作（操作指示）を受け付けて、そのタッチ操作を示すタッチ信号を制御部１１１へ出力する。

タッチパネルディスプレイ１１２は、操作部の一例に相当している。なお、操作部は、タッチパネルディスプレイに限られず、タッチパネルディスプレイ１１２の代わりに、表示装置と、例えばキーボードやマウス等の操作入力装置（操作部）とを備えてもよい。しかしながら、タッチパネルディスプレイ１１２は、画面に表示されたアイコンやボタンをタッチするというように、操作が単純であるので、カメラ４１で撮像された操作画像から、後述する操作判別システム４によって操作内容を判別することが容易である。従って、タッチパネルディスプレイ１１２は、操作部として好適である。

図３は、図２に示すタッチパネルディスプレイ１１２に表示される画面の一例を示す画面図である。図３に示す操作画面Ｇ１には、例えば、自動運転ボタンＢ１、基板搬入ボタンＢ２、基板検査ボタンＢ３、基板搬出ボタンＢ４、及びプローブ移動ボタンＢ５〜Ｂ８が表示されている。

自動運転ボタンＢ１は基板検査装置１００の自動運転を指示するボタンであり、基板搬入ボタンＢ２は基板を基板検査装置１００の検査位置に搬入させるためのボタンであり、基板検査ボタンＢ３は検査位置の基板を検査させるためのボタンであり、基板搬出ボタンＢ４は検査位置から外部へ基板を搬出させるためのボタンであり、プローブ移動ボタンＢ５〜Ｂ８は、プローブを基板に接触させる位置を移動させるためのボタンである。

自動運転ボタンＢ１、基板搬入ボタンＢ２、基板検査ボタンＢ３、基板搬出ボタンＢ４、及びプローブ移動ボタンＢ５〜Ｂ８は、自動運転、基板搬入、基板検査、基板搬出、移動（−Ｘ）、移動（＋Ｘ）、移動（−Ｙ）、及び移動（＋Ｙ）の各操作指示に対応している。

タッチパネルディスプレイ１１２は、これらのボタンがタッチされた場合、タッチされたボタンを示すタッチ信号を制御部１１１へ出力する。以下、自動運転ボタンＢ１、基板搬入ボタンＢ２、基板検査ボタンＢ３、基板搬出ボタンＢ４、及びプローブ移動ボタンＢ５〜Ｂ８を総称して、操作ボタンＢと称する。

基板検査装置１００は、例えば、量産工程などで基板の検査を行うための運転モードと、基板検査装置１００の調整を行うために試験的に基板検査装置１００を動作させる調整モードとを有している。自動運転ボタンＢ１は、運転モードのときに用いられるボタンであり、基板搬入ボタンＢ２、基板検査ボタンＢ３、基板搬出ボタンＢ４、及びプローブ移動ボタンＢ５〜Ｂ８は、調整モードのときに用いられるボタンである。

なお、自動運転ボタンＢ１は運転モードのときのみ表示され、基板搬入ボタンＢ２、基板検査ボタンＢ３、基板搬出ボタンＢ４、及びプローブ移動ボタンＢ５〜Ｂ８は調整モードのときのみ表示されるようにしてもよい。

制御部１１１は、例えば所定の演算処理を実行するＣＰＵ（Central Processing Unit）、データを一時的に記憶するＲＡＭ（Random Access Memory）、制御プログラム１１４等を記憶する不揮発性の記憶装置、及びこれらの周辺回路等を備えて構成された、いわゆるマイクロコンピュータである。制御部１１１は、制御プログラム１１４を実行することによって、基板検査装置１００の動作を制御する。

また、制御部１１１は、タッチパネルディスプレイ１１２から出力されたタッチ信号に応じた操作指示を受け付ける。そして、制御部１１１は、受け付けられた操作指示に応じた指示信号ＳＣを第二モジュール１２０へ出力することによって、基板検査装置１００の動作を制御する。

第二モジュール１２０は、基板検査装置１００の機構部分に相当している。基板搬送用モータ１２１は、検査対象の基板を、検査位置まで搬送する搬送機構を駆動するモータである。基板搬送用モータ１２１は、例えばプログラマブルコントローラ１２５からの制御信号に応じて回転駆動する。基板検出センサ１２２は、搬送機構によって搬送された基板１０４が、検査位置に配置されたときに、基板１０４の検出信号をプログラマブルコントローラ１２５へ出力する光センサである。

プローブ駆動用モータ１２４は、プローブを移動させて基板に接触させる駆動機構を駆動させるモータである。モータドライバ１２３は、プローブ駆動用モータ１２４の動作を制御するコントローラである。モータドライバ１２３は、例えばプログラマブルコントローラ１２５からの制御信号に応じてプローブ駆動用モータ１２４を駆動させると共に、その制御信号に応じた信号をプログラマブルコントローラ１２５へ出力する。

プログラマブルコントローラ１２５は、第二モジュール１２０内の、基板搬送用モータ１２１、基板検出センサ１２２、及びモータドライバ１２３等の各部を制御したり監視したりするコントローラである。プログラマブルコントローラ１２５は、予め記憶された制御プログラムに基づき動作する。

プログラマブルコントローラ１２５は、その制御プログラムの実行状況に応じた複数の状態を有するいわゆるステートマシンである。そのため、制御部１１１から同じ指示信号ＳＣが出力された場合であっても、その指示信号ＳＣを受け付けたときのプログラマブルコントローラ１２５の状態によって、プログラマブルコントローラ１２５から出力される制御信号や、応答信号ＳＲが異なることになる。

制御部１１１は、制御プログラム１１４を実行することによって、例えばユーザによるタッチパネルディスプレイ１１２のタッチ操作に応じて指示信号ＳＣをプログラマブルコントローラ１２５へ出力する。

プログラマブルコントローラ１２５は、例えば、指示信号ＳＣに応じて、基板搬送用モータ１２１を駆動させて基板を搬送させ、基板検出センサ１２２の検出信号に基づき検査位置に基板が配置されるように位置決めしたり、モータドライバ１２３を制御してプローブ駆動用モータ１２４を駆動させ、プローブを移動させて基板に接触させたりする。

そして、プログラマブルコントローラ１２５は、例えばこのような制御の進捗状況、正常か異常か、といったことを示す応答信号ＳＲを制御部１１１へ出力する。

制御部１１１は、第二モジュール１２０に対して指示信号ＳＣを出力し、その信号に応答して第二モジュール１２０から出力される応答信号ＳＲを受信することによって処理を進行していく。従って、制御プログラム１１４をデバックする場合には、通常、第一モジュール１１０と第二モジュール１２０とを接続して動作させる必要がある。
（第一実施形態）

図４は、本発明の一実施形態に係る操作判別システム４及び信号エミュレータ１の、主に電気的構成の一例を示すブロック図である。図４は、第二モジュール１２０の代わりに信号エミュレータ１を第一モジュール１１０に接続し、操作判別システム４を信号エミュレータ１に接続し、タッチパネルディスプレイ１１２を含む領域を撮像するようにカメラ４１が設置された状態を示している。

このように第一モジュール１１０、操作判別システム４、及び信号エミュレータ１を配設し、信号エミュレータ１が第二モジュール１２０を模倣することによって、第二モジュール１２０が無くても制御プログラム１１４をデバック可能にする。

図４に示す操作判別システム４は、カメラ４１（撮像部）と、第一人工知能処理部４２とを備えている。カメラ４１は、例えばＣＣＤ（Charge Coupled Device）撮像素子等を備えて構成されている。カメラ４１は、作業者（ユーザ）によるタッチパネルディスプレイ１１２の操作を撮像し、その画像データを操作画像として第一人工知能処理部４２へ出力する。操作画像は、動画であってもよく、静止画を所定の時間間隔毎に撮影したものであってもよい。

第一人工知能処理部４２は、例えば所定の演算処理を実行するＣＰＵ、データを一時的に記憶するＲＡＭ、画像認識用学習モデル４３や所定のプログラム等を記憶する不揮発性の記憶装置、及びこれらの周辺回路等を備えて構成された、いわゆるマイクロコンピュータである。第一人工知能処理部４２は、人工知能の演算に適したＡＩ（Artificial Intelligence）チップ等の、人工知能用処理回路を備えていてもよい。

第一人工知能処理部４２は、カメラ４１によって撮像された画像を画像認識用学習モデル４３へ入力することによって、画像認識用学習モデル４３から、その操作を示す操作情報ＳＯＰを出力させる。画像認識用学習モデル４３は、例えばニューラルネットワーク９を用いて構成されており、操作画像に基づきその操作を示す操作情報ＳＯＰを出力するように、予め学習されている。

画像認識用学習モデル４３は、例えば、ニューラルネットワーク９として機能する人工知能プログラムと、ニューラルネットワーク９の各ニューロンに対して学習された重み情報とが組み合わされて構成されている。画像認識用学習モデル４３は、例えば後述する画像認識用学習モデルの機械学習方法によって生成することができる。上記人工知能プログラムには、ニューラルネットワークとして機能する、プログラムに準ずる実行可能な形式を有するデータ構造のものを含む。

画像認識用学習モデル４３は、ＡＩチップ等の人工知能用処理回路によって構成されるニューラルネットワーク９と、学習で得られた重み情報とによって構成されていてもよい。その場合、記憶装置には、重み情報のみが記憶されていてもよい。そして、第二人工知能処理部１１が記憶装置に記憶された重み情報を読み出して、ニューラルネットワーク９に設定することによって、信号エミュレータ用学習モデル１０が構成されるようにしてもよい。

図５は、図４に示す画像認識用学習モデル４３として用いられるニューラルネットワーク９の一例を示す説明図である。図４に示すニューラルネットワーク９は、画像処理部９１と、操作判定部９２とが連結されて構成されている。画像処理部９１は、いわゆるＣＮＮ（Convolutional Neural Network）として知られているニューラルネットワークから構成することができる。画像処理部９１は、例えば、プーリング層９１０、畳み込み層９１１、正規化層９１２、プーリング層９１３、及び全結合層９１４が連結されて構成されている。

画像処理部９１は、ＣＮＮによって、入力された操作画像の特徴を抽出し、その特徴を示す特徴データを操作判定部９２へ出力する。なお、画像処理部９１は、正規化層９１２及び／又はプーリング層９１３を、必ずしも備えていなくてもよい。

このようなＣＮＮによる画像処理については、例えば「畳み込みニューラルネットワークの仕組み（https://postd.cc/how-do-convolutional-neural-networks-work/）」、「あたらしい人工知能の教科書（多田智史著、株式会社翔泳社発行）」、特開２０１８−１０３３２号公報等に記載の方法を適用することができる。

操作判定部９２は、例えば多層パーセプトロンとされている。操作判定部９２は、例えば全結合層９２１，９２２、及び出力層９２３が連結されて構成されている。画像処理部９１及び操作判定部９２としては、種々のニューラルネットワークを用いることができ、その層数やニューロン数も適宜変更可能である。

プーリング層９１０には、カメラ４１で撮像された操作画像が入力される。操作画像は、例えば操作画面Ｇ１に表示された操作ボタンＢのいずれかを作業者の指がタッチしている画像、すなわち操作ボタンＢのいずれかと作業者の指とが重なった画像である。

出力層９２３は、例えば図３に示す自動運転ボタンＢ１、基板搬入ボタンＢ２、基板検査ボタンＢ３、基板搬出ボタンＢ４、及びプローブ移動ボタンＢ５〜Ｂ８によって受け付けられる自動運転、基板搬入、基板検査、基板搬出、移動（−Ｘ）、移動（＋Ｘ）、移動（−Ｙ）、及び移動（＋Ｙ）の各操作指示に対応するニューロンを備えている。

そして、例えば自動運転ボタンＢ１と指が重なった操作画像がプーリング層９１０に入力されると、出力層９２３の自動運転に対応するニューロンがオンし、例えば基板搬入ボタンＢ２と指が重なった操作画像がプーリング層９１０に入力されると出力層９２３の基板搬入に対応するニューロンがオンする。このように、出力層９２３の各ニューロンのオン、オフによって操作の判定結果が表されており、この各ニューロンのオン、オフを示す信号が、例えば８ビットの操作情報ＳＯＰとして信号エミュレータ１へ出力される。

操作情報ＳＯＰのデータ長は、操作の数に応じて適宜設定すればよい。あるいは、出力層９２３の各ニューロンの出力をそのまま信号エミュレータ１へ出力してもよく、ニューラルネットワーク９とニューラルネットワーク３とを連結し、出力層９２３の各ニューロンが、そのままニューラルネットワーク３の入力層３１の各ニューロンに接続されていてもよい。

図４に示す信号エミュレータ１は、第二人工知能処理部１１と、入出力部１２（入力部、出力部）とを備えている。入出力部１２は、入力部及び出力部の一例に相当している。第二人工知能処理部１１は、信号エミュレータ用学習モデル１０を含む。

入出力部１２は、第一モジュール１１０から出力された指示信号ＳＣ１，ＳＣ２，・・・と、操作判別システム４から出力された操作情報ＳＯＰとを受け付けて、受け付けられた各指示信号を表す指示情報ＤＣ１，ＤＣ２，・・・と、操作情報ＳＯＰとを第二人工知能処理部１１へ出力する。以下、指示情報ＤＣ１，ＤＣ２，・・・を総称して指示情報ＤＣと称する。また、入出力部１２は、図略のタイマ回路等によって、各指示信号ＳＣが受け付けられた後の経過時間を、それぞれ計時する。

第二人工知能処理部１１は、例えば所定の演算処理を実行するＣＰＵ、データを一時的に記憶するＲＡＭ、信号エミュレータ用学習モデル１０や所定のプログラム等を記憶する不揮発性の記憶装置、及びこれらの周辺回路等を備えて構成された、いわゆるマイクロコンピュータである。第二人工知能処理部１１は、人工知能の演算に適したＡＩチップ等の、人工知能用処理回路を備えていてもよい。

第二人工知能処理部１１は、操作情報ＳＯＰと指示情報ＤＣとを信号エミュレータ用学習モデル１０へ入力し、信号エミュレータ用学習モデル１０から応答情報ＤＲ１，ＤＲ２，・・・と、遅延情報ＤＤ１，ＤＤ２，・・・とを出力させる。以下、応答情報ＤＲ１，ＤＲ２，・・・を総称して応答情報ＤＲと称し、遅延情報ＤＤ１，ＤＤ２，・・・を総称して遅延情報ＤＤと称する。

入出力部１２は、信号エミュレータ用学習モデル１０から出力された応答情報ＤＲと遅延情報ＤＤとに基づいて、応答情報ＤＲに対応する指示信号ＳＣが受け付けられてから遅延情報ＤＤで示される遅延時間経過したとき、応答情報ＤＲに応じた応答信号ＳＲを第一モジュール１１０へ出力する。

信号エミュレータ用学習モデル１０は、例えば、ニューラルネットワーク３として機能する人工知能プログラムと、そのニューラルネットワーク３のニューロンに対して学習された重み情報とが組み合わされて構成されている。信号エミュレータ用学習モデル１０は、例えば後述する信号エミュレータ用学習モデルの機械学習方法によって生成することができる。上記人工知能プログラムには、ニューラルネットワーク３として機能する、プログラムに準ずる実行可能な形式を有するデータ構造のものを含む。

信号エミュレータ用学習モデル１０は、ＡＩチップ等の人工知能用処理回路によって構成されるニューラルネットワーク３と、学習で得られた重み情報とによって構成されていてもよい。その場合、記憶装置には、重み情報のみが記憶されていてもよい。そして、第二人工知能処理部１１が記憶装置に記憶された重み情報を読み出して、ニューラルネットワーク３に設定することによって、信号エミュレータ用学習モデル１０が構成されるようにしてもよい。

図６は、図４に示す信号エミュレータ用学習モデル１０として用いられるニューラルネットワークの一例を示す説明図である。図６に示すニューラルネットワーク３は、例えば入力層３１、中間層３２、及び出力層３３を含む、多層パーセプトロンとされている。なお、ニューラルネットワーク３として、中間層３２の出力を入力層３１に入力する、いわゆるリカレントニューラルネットワーク（ＲＮＮ：Recurrent Neural Network）を用いてもよい。ニューラルネットワーク３としてリカレントニューラルネットワークを用いることによって、時間変化を学習することが可能となる。

入力層３１及び中間層３２のニューロン数は、例えば第一モジュール１１０から出力される指示信号ＳＣ（指示情報ＤＣ）の数に、操作情報ＳＯＰの数を加えた数にされている。なお、操作情報ＳＯＰをデータとして扱う例を示したが、ニューラルネットワーク９の出力層９２３の各ニューロンと接続されるニューロンを入力層３１に設けてもよい。

出力層３３には、各指示情報ＤＣに対応する応答情報ＤＲと遅延情報ＤＤとを出力するニューロンが設けられている。なお、ニューラルネットワークの層数や各層のニューロン数は、適宜設定すればよく、図６に示す例に限らない。

入力層３１の各ニューロンには、操作情報ＳＯＰと、各指示情報ＤＣとが入力される。指示情報ＤＣは、指示信号ＳＣを１，０の二値で表したデータであってもよく、指示信号ＳＣをコード化したデータであってもよい。応答情報ＤＲは、応答信号ＳＲを１，０の二値で表したデータであってもよく、応答信号ＳＲをコード化したデータであってもよい。遅延情報ＤＤは、指示信号ＳＣが受信されてから応答信号ＳＲを送信するまでの遅延時間を示すデータである。

図６に示す例では、操作情報ＳＯＰ及び各指示情報ＤＣが、入力層３１の全てのニューロンに入力される。入力層３１の各ニューロンの出力は、それぞれ、中間層３２の全てのニューロンに入力され、中間層３２の各ニューロンの出力は、それぞれ、出力層３３の全てのニューロンに入力される。図６では、ニューロン及び結線の記載を部分的に省略している。

ニューラルネットワーク９，３の各ニューロンへの入力に対しては、それぞれ重みｗが設定される。出力層９２３，３３以外のニューロンの活性化関数としては、例えばＲｅＬＵ（Rectified Linear Unit：正規化線形関数、ランプ関数）として知られている関数を用いることができる。ＲｅＬＵは、ｙ＝φ（ｘ）＝ｘ （ｘ＞０）、ｙ＝φ（ｘ）＝０ （ｘ＜０）のように表される関数である。

出力層９２３，３３のニューロンの活性化関数としては、例えばｙ＝φ（ｘ）＝ｘのような関数を用いることができる。

図７は、図４に示す画像認識用学習モデル４３の機械学習方法を用いる機械学習システム５の一例を示すブロック図である。図７では、機械学習システム５に、第一モジュール１１０ａが接続されている。

第一モジュール１１０ａは、制御部１１１ａが、タッチパネルディスプレイ１１２から出力されたタッチ信号を受信し、そのタッチ信号に対応する操作情報ＳＯＰを生成して機械学習システム５の機械学習部４４へ出力するようにされている。なお、必ずしも制御部１１１ａを用いる必要はない。例えば、作業者がタッチパネルディスプレイ１１２をタッチして、そのタッチした操作ボタンＢに対応する操作情報ＳＯＰを機械学習部４４へ入力するようにしてもよい。

機械学習システム５は、カメラ４１と、機械学習部４４とを備えている。機械学習部４４は、例えば所定の演算処理を実行するＣＰＵ、データを一時的に記憶するＲＡＭ、画像認識用学習モデル４３や所定のプログラム等を記憶する不揮発性の記憶装置、及びこれらの周辺回路等を備えて構成された、いわゆるコンピュータシステムである。機械学習システム５は、人工知能の演算に適したＡＩチップ等の、人工知能用処理回路を備えていてもよい。

機械学習部４４は、操作判別システム４と一体に構成されていてもよい。すなわち、操作判別システム４が、機械学習部４４の構成を含んでいてもよい。また、信号エミュレータ１が、第一人工知能処理部４２及び／又は機械学習部４４を含み、信号エミュレータ１とカメラ４１とで操作判別システム４及び／又は機械学習システム５が構成されてもよい。

機械学習部４４は、カメラ４１によって撮像された操作画像と、第一モジュール１１０ａ等から得られた操作情報ＳＯＰとを教師データとし、操作画像を画像認識用学習モデル４３に入力し、画像認識用学習モデル４３から操作情報ＳＯＰを出力させるように、ニューラルネットワーク９を機械学習する。

ニューラルネットワーク９の機械学習には、例えば、誤差逆伝播法（バックプロパゲーション）、Boot Strap法、Feedback Alignment法、Synthetic Gradient法、Target Prop法等の、種々の学習方式を用いることができる。

図８は、図７に示す機械学習システム５による画像認識用学習モデル４３の機械学習方法の一例を示すフローチャートである。まず、作業者は、タッチパネルディスプレイ１１２をタッチ操作しつつ、カメラ４１によってタッチパネルディスプレイ１１２及びタッチ操作している手指が写った操作画像を撮像させる（ステップＳ１０１）。

図９は、操作画像の一例を示す説明図である。図９では、基板搬入ボタンＢ２をタッチした場合の操作画像Ｇ２を示している。このようなタッチ操作を、各操作ボタンＢに対して、タッチの仕方を様々に変化させつつ、カメラ４１によって操作画像を撮像させる。

機械学習部４４は、各タッチ操作が行われる都度、第一モジュール１１０ａ等から操作情報ＳＯＰを取得する（ステップＳ１０２）。そして、このようにして得られた操作画像と操作情報ＳＯＰとを教師データとし、操作画像をニューラルネットワーク９に入力し、ニューラルネットワーク９の出力が操作情報ＳＯＰと一致するように、すなわちニューラルネットワーク９から操作情報ＳＯＰを出力させるように各ニューロンの重み情報ｗを調整することによって、画像認識用学習モデル４３を機械学習する（ステップＳ１０３）。

このようにして学習された学習済の画像認識用学習モデル４３、又はその重み情報ｗを、図４、図１０に示す第一人工知能処理部４２に記憶させる。これにより、上述したように、操作判別システム４は、カメラ４１によって撮像された画像を画像認識用学習モデル４３へ入力することによって、画像認識用学習モデル４３から、その操作を示す操作情報ＳＯＰを出力することが可能になる。

図１０は、本発明の第一実施形態に係る信号エミュレータ用学習モデルの機械学習方法を用いる機械学習システム２の一例を示すブロック図である。図１０では、第一モジュール１１０と第二モジュール１２０とが連結されて動作可能にされた基板検査装置１００と、機械学習システム２とが接続され、さらに機械学習システム２に操作判別システム４が接続された状態を示している。

図１０に示す機械学習システム２は、例えば所定の演算処理を実行するＣＰＵ、データを一時的に記憶するＲＡＭ、信号エミュレータ用学習モデル１０や所定のプログラム等を記憶したり、監視情報記憶部２２として用いられたりする不揮発性の記憶装置、及びこれらの周辺回路等を備えて構成された、いわゆるコンピュータシステムである。機械学習システム２は、人工知能の演算に適したＡＩチップ等の、人工知能用処理回路を備えていてもよい。

機械学習システム２は、信号エミュレータ用学習モデル１０を備え、例えば記憶装置に記憶されたプログラムを実行することによって、監視情報取得部２１、及び機械学習部２３として機能する。

なお、機械学習システム２は、必ずしも一体に構成された装置で有る必要はなく、機械学習システム２の各部が複数の装置に分散されて構成されていてもよい。また、機械学習システム２は、信号エミュレータ１と一体に構成されていてもよい。すなわち、信号エミュレータ１が、機械学習システム２の構成を含んでいてもよい。

監視情報取得部２１は、第一モジュール１１０と第二モジュール１２０との間で信号を伝達するための信号経路Ｌと、操作判別システム４から出力される操作情報ＳＯＰとを監視し、操作判別システム４から出力された操作情報ＳＯＰと、第一モジュール１１０から出力された指示信号ＳＣと、第二モジュールから出力された応答信号ＳＲとを検出し、指示信号ＳＣに対する応答信号ＳＲの遅延時間Ｔｄを計測し、指示信号ＳＣ、応答信号ＳＲ、及び遅延時間Ｔｄを表す指示情報ＤＣ、応答情報ＤＲ、及び遅延情報ＤＤと、操作情報ＳＯＰとを対応付けた組を、複数組、監視情報として監視情報記憶部２２に記憶させる。

機械学習部２３は、監視情報記憶部２２に記憶された監視情報を教師データとして、各組の操作情報ＳＯＰと指示情報ＤＣとをニューラルネットワーク３に入力し、ニューラルネットワーク３からその指示情報ＤＣと対応する応答情報ＤＲとその遅延時間Ｔｄを示す遅延情報ＤＤとを出力させるように、ニューラルネットワーク３の機械学習を実行する。

ニューラルネットワーク３の機械学習には、例えば、誤差逆伝播法（バックプロパゲーション）、Boot Strap法、Feedback Alignment法、Synthetic Gradient法、Target Prop法等の、種々の学習方式を用いることができる。

次に、図１０に示す機械学習システム２による信号エミュレータ用学習モデル１０の機械学習方法について説明する。図１１は、操作情報ＳＯＰ、指示信号ＳＣ、及び応答信号ＳＲの一例を示す信号波形図である。信号エミュレータ用学習モデル１０を機械学習する場合、まず、作業者は、基板検査装置１００の信号経路Ｌを機械学習システム２に接続し、制御部１１１によって制御プログラム１１４を実行させて基板検査装置１００を動作させる（工程（２ａ））。

そして、例えば作業者が、いずれかの操作ボタンＢをタッチすると、その操作画像がカメラ４１によって撮像される（工程（２ｂ））。第一人工知能処理部４２は、その操作画像を学習済の画像認識用学習モデル４３へ入力し、画像認識用学習モデル４３から操作情報ＳＯＰを機械学習システム２へ出力させる（工程（２ｃ））。

制御部１１１は、タッチされた操作ボタンＢに対応する動作を第二モジュール１２０に指示するための指示信号ＳＣを出力し、その指示信号ＳＣに応じて第二モジュール１２０から応答信号ＳＲが出力される。以下、操作の都度得られる操作情報ＳＯＰに番号を付して、操作情報ＳＯＰ１，ＳＯＰ２，ＳＯＰ３・・・のように表記する。

例えば、作業者が自動運転ボタンＢ１をタッチすると、操作判別システム４は、自動運転ボタンＢ１に対応する操作情報ＳＯＰ１を出力し、制御部１１１は、自動運転を開始して基板を検査位置に搬送させるべく、基板搬送用モータ１２１の駆動を要求する指示信号ＳＣ１をプログラマブルコントローラ１２５へ出力する。作業者が自動運転ボタンＢ１をタッチする状況では、プログラマブルコントローラ１２５は、自動運転を受付可能な状態になっている。すなわち、作業者の操作とプログラマブルコントローラ１２５の状態との間には、相関関係がある。そして、プログラマブルコントローラ１２５は、指示信号ＳＣ１に応じて、自動運転のために基板を検査位置に搬送させるように基板搬送用モータ１２１を駆動させ、その制御動作に応じた応答信号ＳＲ１を出力する。

作業者が他の操作ボタンＢをタッチした場合、その操作ボタンＢに対応する操作情報ＳＯＰ２が操作判別システム４から機械学習システム２へ出力され、指示信号ＳＣ２が制御部１１１からプログラマブルコントローラ１２５へ出力される。プログラマブルコントローラ１２５は、そのときのプログラマブルコントローラ１２５の状態と、指示信号ＳＣ２とに応じた制御動作を行うと共に、その制御動作に応じた応答信号ＳＲ２を出力する。

作業者が基板搬入ボタンＢ２をタッチした場合、操作判別システム４は、基板搬入ボタンＢ２に対応する操作情報ＳＯＰ３を機械学習システム２へ出力し、制御部１１１は、基板を検査位置に搬送させるべく、基板搬送用モータ１２１の駆動を要求する指示信号ＳＣ３をプログラマブルコントローラ１２５へ出力する。基板搬入ボタンＢ２は、上述した調整モードのときに用いられるボタンであるから、作業者が基板搬入ボタンＢ２をタッチする状況では、プログラマブルコントローラ１２５は、基板検査装置１００の調整を受付可能な状態になっている。すなわち、作業者の操作とプログラマブルコントローラ１２５の状態との間には、相関関係がある。そして、プログラマブルコントローラ１２５は、指示信号ＳＣ３に応じて、装置の調整のために基板を検査位置に搬送させるように基板搬送用モータ１２１を駆動させ、その制御動作に応じた応答信号ＳＲ３を出力する。

ここで、指示信号ＳＣ１と指示信号ＳＣ３とは、いずれも基板搬送用モータ１２１の駆動を要求する同じ信号である。しかしながら、指示信号ＳＣ１を受け付けたときと、指示信号ＳＣ３を受け付けたときとでは、プログラマブルコントローラ１２５の状態が異なるため、応答信号ＳＲ１と応答信号ＳＲ３とは、異なる信号になっている。

このように、プログラマブルコントローラ１２５のようなステートマシンを備えた第二モジュール１２０は、ステートマシンの状態に応じて、同じ指示信号ＳＣに対して異なる応答信号ＳＲを出力する場合がある。ステートマシンの状態を外部から知ることはできないため、指示信号ＳＣと応答信号ＳＲとを用いてニューラルネットワーク３を機械学習したとしても、このようなステートマシンを備えた第二モジュール１２０を模倣することは困難である。

一方、上述したように、作業者の操作とステートマシンであるプログラマブルコントローラ１２５の状態との間には、相関関係がある。そこで、操作判別システム４から操作情報ＳＯＰを出力させ、この操作情報ＳＯＰを含めてニューラルネットワーク３を学習させることによって、ステートマシンを備えた第二モジュール１２０を模倣することが可能になる。

図１２、図１３は、図１０に示す機械学習システム２による信号エミュレータ用学習モデルの機械学習方法の一例を示すフローチャートである。以下のフローチャートにおいて、同一の処理には同一のステップ番号を付してその説明を省略する。

まず、作業者が操作ボタンＢのタッチ操作を行うと、操作判別システム４から操作情報ＳＯＰが出力され、制御部１１１から指示信号ＳＣが出力され、第二モジュール１２０から応答信号ＳＲが出力される。監視情報取得部２１は、操作判別システム４の出力及び信号経路Ｌを監視し、操作情報ＳＯＰ、指示信号ＳＣ、及び応答信号ＳＲの組を複数組検出する（ステップＳ１：工程（２ｂ）（２ｃ））。監視情報取得部２１は、指示信号ＳＣ及び応答信号ＳＲを検出する際に、指示信号ＳＣに対する応答信号ＳＲの遅延時間Ｔｄを計測する（ステップＳ２）。

次に、監視情報取得部２１は、指示信号ＳＣ、応答信号ＳＲ、及び遅延時間Ｔｄを示す、指示情報ＤＣ、応答情報ＤＲ、及び遅延情報ＤＤと、操作情報ＳＯＰとを対応付けた組を、複数、ここではＮ組、監視情報として監視情報記憶部２２に記憶させる（ステップＳ３：工程（２ｄ））。

ここで、監視情報には、正常時の指示情報ＤＣ、応答情報ＤＲ、及び遅延情報ＤＤの組と、異常時の指示情報ＤＣ、応答情報ＤＲ、及び遅延情報ＤＤの組とが含まれていることが好ましい。

次に、機械学習部２３は、Ｎ組のデータの中から、例えばランダムに任意の組数のデータ、例えばＮ／２組のデータを教師データとして選択し、残りのデータ、例えば残りのＮ／２組のデータを評価データとして選択する（ステップＳ４）。

次に、まだ学習していない教師データの中から、操作情報ＳＯＰｉ、指示情報ＤＣｉ、応答情報ＤＲｉ、及び遅延情報ＤＤｉの組を学習対象として選択し（ステップＳ５）、教師データの操作情報ＳＯＰｉ及び指示情報ＤＣｉを、ニューラルネットワーク３の入力層３１における、操作情報ＳＯＰ及び指示情報ＤＣｉに対応するニューロンへ入力し（ステップＳ６）、ニューラルネットワーク３を実行する（ステップＳ７）。

次に、機械学習部２３は、出力層３３から出力された応答情報ＤＲｉ及び遅延情報ＤＤｉと、教師データの応答情報ＤＲｉ及び遅延情報ＤＤｉとの差異を減少させるように、例えば誤差逆伝播法等の学習方法によって、各ニューロンの各入力に対応する重みｗを調節する（ステップＳ８）。ステップＳ５〜Ｓ８は、工程（２ｅ）の一例に相当している。

次に、機械学習部２３は、全ての教師データの学習が終了したか否かをチェックし（ステップＳ９）、まだ学習していないデータがあれば（ステップＳ９でＮＯ）、残りの教師データを学習するべくステップＳ５〜Ｓ９を繰り返し、全ての教師データが学習済であれば（ステップＳ９でＹＥＳ）、学習結果を評価するべくステップＳ１１へ移行する。

次に、ステップＳ１１において、機械学習部２３は、まだ評価していない評価データの中から、操作情報ＳＯＰｉ、指示情報ＤＣｉ、応答情報ＤＲｉ、及び遅延情報ＤＤｉの組を評価対象として選択し（ステップＳ１１）、評価データの操作情報ＳＯＰｉと指示情報ＤＣｉとを、ニューラルネットワーク３の入力層３１における、操作情報ＳＯＰ及び指示情報ＤＣｉに対応するニューロンへ入力し（ステップＳ１２）、ニューラルネットワーク３を実行する（ステップＳ１３）。

次に、機械学習部２３は、出力層３３から出力された応答情報ＤＲｉ及び遅延情報ＤＤｉと、評価データの応答情報ＤＲｉ及び遅延情報ＤＤｉとを比較することにより評価する（ステップＳ１４）。

そして、比較結果が一致しなければ（ステップＳ１５でＮＯ）、ステップＳ４〜Ｓ９の機械学習が不充分であると考えられるから、機械学習部２３は、Ｎ組のデータの中から、ステップＳ４とは異なる選び方で新たな任意の組数のデータ、例えばＮ／２組のデータを教師データとして選択し、残りのデータ、例えばＮ／２組のデータを評価データとして選択し（ステップＳ１６）、再びステップＳ５以降の処理を繰り返す。

一方、比較結果が一致すれば（ステップＳ１５でＹＥＳ）、機械学習部２３は、全ての評価データの評価が終了したか否かをチェックし（ステップＳ１７）、まだ評価していないデータがあれば（ステップＳ１７でＮＯ）、残りの評価データを評価するべくステップＳ１１〜Ｓ１７を繰り返し、全ての評価データが評価済であれば（ステップＳ１７でＹＥＳ）ニューラルネットワーク３の学習が終了したことになるから、機械学習を終了する。これにより、学習済の信号エミュレータ用学習モデル１０が、機械学習システム２の記憶装置に記憶されたことになる。ステップＳ４〜Ｓ１７は、工程（２ｅ）の一例に相当している。

以上、ステップＳ１〜Ｓ１７の処理により、信号エミュレータ用学習モデル１０を機械学習することができる。なお、一つの指示信号ＳＣに対して一つの応答信号ＳＲが出力される例を示したが、複数の指示信号ＳＣに対して複数の応答信号ＳＲが出力されてもよく、一つの指示信号ＳＣに対して複数の応答信号ＳＲが出力されてもよく、複数の指示信号ＳＣに対して一つの応答信号ＳＲが出力されてもよい。また、必ずしもステップＳ１１〜Ｓ１７を実行する必要はなく、ステップＳ９で全ての教師データが学習済であれば（ステップＳ９でＹＥＳ）、そこで学習を終了してもよい。

このようにして得られた信号エミュレータ用学習モデル１０、又は信号エミュレータ用学習モデル１０の重み情報を、例えば図略の通信回路を用いて信号エミュレータ１へ送信することにより信号エミュレータ１に記憶させてもよく、例えば図略の記憶媒体に記憶させ、信号エミュレータ１によってその記憶媒体から信号エミュレータ用学習モデル１０又はその重み情報を読み出させ、その信号エミュレータ用学習モデル１０又は重み情報を信号エミュレータ１に記憶させてもよい。

機械学習システム２で用いられるニューラルネットワーク３の構造と、信号エミュレータ１が備える人工知能用処理回路や人工知能プログラムによって構成されるニューラルネットワーク３の構造とを同一構造とすれば、あるいは、機械学習システム２と信号エミュレータ１とで同一のニューラルネットワーク３を用いる構成とすれば、機械学習システム２での学習で得られる信号エミュレータ用学習モデル１０の重み情報のみを信号エミュレータ１に記憶させ、その重み情報を信号エミュレータ１のニューラルネットワーク３と組み合わせることによって、機械学習方法で学習された信号エミュレータ用学習モデル１０を信号エミュレータ１において再現することができる。このようにして再現された学習済モデルを信号エミュレータ用学習モデル１０としてもよい。

基板検査装置１００の製造メーカは、例えば基板検査装置１００の出荷時に、基板検査装置１００を実際に動作させて学習させた信号エミュレータ用学習モデル１０、又はその重み情報を、サーバ装置や記憶媒体等に記憶させて保管しておく。そして、例えばプログラムのアップデート等のために制御プログラム１１４に新機能を追加したり、改造したりした際に、保管していた信号エミュレータ用学習モデル１０、又はその重み情報を信号エミュレータ１に読み込ませればよい。そして、第二モジュール１２０の代わりに信号エミュレータ１を第一モジュール１１０に接続し、操作判別システム４を信号エミュレータ１に接続することによって、第二モジュール１２０が無くても、制御プログラム１１４のデバッグを行うことが可能になる。

次に、図４に示す信号エミュレータ１の動作について説明する。図１４は、図４に示す信号エミュレータ１の動作の一例を示すフローチャートである。まず、作業者が、図４に示すように第一モジュール１１０の信号経路Ｌに信号エミュレータ１を取り付け、操作判別システム４を信号エミュレータ１に接続し、カメラ４１でタッチパネルディスプレイ１１２を撮像させ、第一モジュール１１０を動作させて制御部１１１によって制御プログラム１１４を実行させる。

入出力部１２は、操作判別システム４及び第一モジュール１１０の出力信号を監視する。そして、作業者による操作ボタンＢのタッチ操作に応じて操作判別システム４から操作情報ＳＯＰが出力され、制御部１１１から指示信号ＳＣが出力されると、その操作情報ＳＯＰ及び指示信号ＳＣが入出力部１２によって検出される（ステップＳ２１）。

そして、入出力部１２は、指示信号ＳＣから指示情報ＤＣを生成し、操作情報ＳＯＰ及び指示情報ＤＣを信号エミュレータ用学習モデル１０へ出力する（ステップＳ２２）。また、入出力部１２は、指示信号ＳＣが検出された後の経過時間を計時する（ステップＳ２３）。

第二人工知能処理部１１は、信号エミュレータ用学習モデル１０を実行する（ステップＳ２４）。そうすると、信号エミュレータ用学習モデル１０から、操作情報ＳＯＰ及び指示情報ＤＣに応じた応答情報ＤＲと遅延情報ＤＤとが入出力部１２へ出力される（ステップＳ２５）。

次に、入出力部１２は、出力された指示情報ＤＣに対応する指示信号ＳＣが検出されてから、遅延情報ＤＤで示される遅延時間Ｔｄが経過したタイミングで、応答情報ＤＲで示される応答信号ＳＲを第一モジュール１１０へ出力し（ステップＳ２６）、以後、ステップＳ２１〜Ｓ２６を繰り返す。

これにより、信号エミュレータ１は、第一モジュール１１０から出力された操作情報ＳＯＰ及び指示信号ＳＣに対し、図１１に示すような、第二モジュール１２０が出力する応答信号ＳＲと同様の信号を第一モジュール１１０へ出力することができる。

ここで、信号エミュレータ用学習モデル１０は、操作情報ＳＯＰと指示信号ＳＣとの組合せに基づいて第二モジュール１２０の出力を学習しており、操作情報ＳＯＰとプログラマブルコントローラ１２５の動作状態との間には相関関係がある。従って、第二モジュール１２０がプログラマブルコントローラ１２５のようなステートマシンを備えている場合であっても、信号エミュレータ１は、第二モジュール１２０を模倣することが可能になる。

また、基板検査装置１００を実際に動作させ、機械学習システム２によって信号エミュレータ用学習モデル１０を機械学習させることによって、信号エミュレータ１による第二モジュール１２０の模倣が可能となるので、信号エミュレータ１は、第二モジュール１２０等の機械装置を模倣することが容易である。

なお、操作判別システム４を、信号エミュレータ１と組み合わせて用いる例を示したが、操作判別システム４の用途はこれに限定されるものではない。例えば、操作ボタンやキーボードの画像を、シートに印刷、又はプロジェクタによって映写し、この画像を操作判別システム４のカメラ４１で撮像し、操作判別システム４によってタッチされたボタンやキーを判別することによって、シートやプロジェクタをキーボードとして機能させることが可能となる。
（第二実施形態）

図１５は、図４に示す信号エミュレータ１の構成の別の一例を示すブロック図である。図１６は、図１０に示す機械学習システム２の構成の別の一例を示すブロック図である。

図１５に示す信号エミュレータ１ａは、信号エミュレータ１とは、第二人工知能処理部１１ａ及び入出力部１２ａが、応答情報ＤＲ及び遅延情報ＤＤの代わりに信号波形の波形番号ＩＤ（識別情報）を用いる点、信号エミュレータ用学習モデル１０の代わりに信号エミュレータ用学習モデル１０ａを用いる点、及び応答波形記憶部１３をさらに備える点が異なる。

図１６に示す機械学習システム２ａは、機械学習システム２とは、信号エミュレータ用学習モデル１０の代わりに信号エミュレータ用学習モデル１０ａを用いる点、監視情報取得部２１ａ、監視情報記憶部２２ａ、及び機械学習部２３ａが応答情報ＤＲ及び遅延情報ＤＤの代わりに信号波形の波形番号ＩＤを用いる点、及び応答波形記憶部１３をさらに備える点が異なる。波形番号ＩＤ（識別情報）は、応答情報の一例に相当している。

また、信号エミュレータ用学習モデル１０ａは、信号エミュレータ用学習モデル１０とは、ニューラルネットワーク３の代わりにニューラルネットワーク３ａを用いる点でことなる。ニューラルネットワーク３ａは、ニューラルネットワーク３とは、応答情報ＤＲ及び遅延情報ＤＤの代わりに波形番号ＩＤを出力する点でことなる。

その他の点については信号エミュレータ１及び機械学習システム２と同様に構成されているのでその説明を省略し、以下、信号エミュレータ１ａ及び機械学習システム２ａの特徴的な点について説明する。

図１７、図１８は、図１６に示す信号エミュレータ用学習モデル１０ａの機械学習システム２ａの動作の一例を示すフローチャートである。作業者が操作ボタンＢのタッチ操作を行うと、操作判別システム４から操作情報ＳＯＰが出力され、制御部１１１から指示信号ＳＣが出力され、第二モジュール１２０から応答信号ＳＲが出力される。監視情報取得部２１ａは、操作判別システム４の出力及び信号経路Ｌを監視し、操作情報ＳＯＰ、指示信号ＳＣ、及び応答信号ＳＲの組を複数組検出する（ステップＳ１：工程（２ｂ）（２ｃ））。

監視情報取得部２１ａは、検出された応答信号ＳＲの信号波形に波形番号ＩＤを付与して応答波形記憶部１３に記憶する（ステップＳ２ａ）。

図１９は、図１５、図１６に示す応答波形記憶部１３に記憶された信号波形の一例を示す説明図である。各信号波形には、ＩＤ１，ＩＤ２・・・の波形番号が対応付けられている。監視情報取得部２１ａは、例えば、応答信号ＳＲを所定時間の間、一定のサンプリング間隔でサンプリングすることによって、応答信号ＳＲの信号波形を取得することができる。

次に、監視情報取得部２１ａは、指示信号ＳＣを表す指示情報ＤＣと、操作情報ＳＯＰと、波形番号ＩＤとを対応付けた組を、複数、ここではＮ組、監視情報として監視情報記憶部２２に記憶させる（ステップＳ３ａ）。ステップＳ１〜Ｓ３ａは、工程（２ｄ）の一例に相当している。

ここで、監視情報には、正常時の指示情報ＤＣ及び波形番号ＩＤの組と、異常時の指示情報ＤＣ及び波形番号ＩＤの組とが含まれていることが好ましい。

次に、ステップＳ４を実行し、まだ学習していない教師データの中から、操作情報ＳＯＰｉ、指示情報ＤＣｉ、及び波形番号ＩＤｉの組を学習対象として選択し（ステップＳ５ａ）、教師データの操作情報ＳＯＰｉ及び指示情報ＤＣｉを、ニューラルネットワーク３ａの入力層３１における、操作情報ＳＯＰ及び指示情報ＤＣｉに対応するニューロンへ入力し（ステップＳ６ａ）、ニューラルネットワーク３ａを実行する（ステップＳ７ａ）。

図２０は、図１５、図１６に示すニューラルネットワーク３ａの一例を示す説明図である。図２０に示すニューラルネットワーク３ａは、図６に示すニューラルネットワーク３とは、出力層３３ａのニューロンが、波形番号ＩＤに対応して設けられている点でことなる。出力層３３ａのニューロンがオンした場合、そのオンしたニューロンに対応する波形番号ＩＤが、信号エミュレータ用学習モデル１０ａの出力となる。

次に、機械学習部２３ａは、信号エミュレータ用学習モデル１０ａから出力された波形番号ＩＤｉと、教師データの波形番号ＩＤｉとの差異を減少させるように、例えば誤差逆伝播法等の学習方法によって、各ニューロンの各入力に対応する重みｗを調節する（ステップＳ８ａ）。

次に、機械学習部２３ａは、全ての教師データの学習が終了したか否かをチェックし（ステップＳ９）、まだ学習していないデータがあれば（ステップＳ９でＮＯ）、残りの教師データを学習するべくステップＳ５ａ〜Ｓ９を繰り返し、全ての教師データが学習済であれば（ステップＳ９でＹＥＳ）、学習結果を評価するべくステップＳ１１ａへ移行する。

次に、ステップＳ１１ａにおいて、機械学習部２３ａは、まだ評価していない評価データの中から、操作情報ＳＯＰｉ、指示情報ＤＣｉ、及び波形番号ＩＤｉの組を評価対象として選択し（ステップＳ１１ａ）、評価データの操作情報ＳＯＰｉ及び指示情報ＤＣｉを、ニューラルネットワーク３ａの入力層３１における、操作情報ＳＯＰ及び指示情報ＤＣｉに対応するニューロンへ入力し（ステップＳ１２ａ）、ニューラルネットワーク３ａを実行する（ステップＳ１３ａ）。

次に、機械学習部２３ａは、出力層３３から出力された波形番号ＩＤｉと、評価データの波形番号ＩＤｉとを比較することにより評価する（ステップＳ１４ａ）。

そして、比較結果が一致しなければ（ステップＳ１５でＮＯ）、ステップＳ４〜Ｓ９の機械学習が不充分であると考えられるから、機械学習部２３ａは、Ｎ組のデータの中から、ステップＳ４とは異なる選び方で新たな任意の組数のデータ、例えばＮ／２組のデータを教師データとして選択し、残りのデータ、例えばＮ／２組のデータを評価データとして選択し（ステップＳ１６）、再びステップＳ５ａ以降の処理を繰り返す。

一方、比較結果が一致すれば（ステップＳ１５でＹＥＳ）、機械学習部２３ａは、全ての評価データの評価が終了したか否かをチェックし（ステップＳ１７）、まだ評価していないデータがあれば（ステップＳ１７でＮＯ）、残りの評価データを評価するべくステップＳ１１ａ〜Ｓ１７を繰り返し、全ての評価データが評価済であれば（ステップＳ１７でＹＥＳ）ニューラルネットワーク３ａの学習が終了したことになるから、機械学習を終了する。

これにより、学習済の信号エミュレータ用学習モデル１０ａが、機械学習システム２ａの記憶装置に記憶されたことになる。ステップＳ４〜Ｓ１７は、工程（２ｅ）の一例に相当している。

以上、図１７、図１８に示すステップＳ１〜Ｓ１７の処理により、信号エミュレータ用学習モデル１０ａを機械学習することができる。

次に、図１５に示す信号エミュレータ１ａの動作について説明する。図２１は、図１５に示す信号エミュレータ１ａの動作の一例を示すフローチャートである。まず、作業者が、図１５に示すように第一モジュール１１０の信号経路Ｌに信号エミュレータ１ａを取り付けて、第一モジュール１１０を動作させ、制御部１１１によって制御プログラム１１４を実行させる。また、応答波形記憶部１３には、ステップＳ２ａで記憶された信号波形が記憶されている。入出力部１２ａは、応答波形記憶部１３に記憶された信号波形を示すデータから、その信号波形の信号を生成するシグナルジェネレータを備えている。

入出力部１２ａは、操作判別システム４及び第一モジュール１１０の出力信号を監視する。そして、作業者による操作ボタンＢのタッチ操作に応じて操作判別システム４から操作情報ＳＯＰが出力され、制御部１１１から指示信号ＳＣが出力されると、その操作情報ＳＯＰ及び指示信号ＳＣが入出力部１２によって検出される（ステップＳ２１）。

そして、入出力部１２ａは、指示信号ＳＣから指示情報ＤＣを生成し、操作情報ＳＯＰ及び指示情報ＤＣを信号エミュレータ用学習モデル１０ａへ出力する（ステップＳ２２ａ）。

第二人工知能処理部１１ａは、信号エミュレータ用学習モデル１０ａを実行する（ステップＳ２４ａ）。そうすると、信号エミュレータ用学習モデル１０ａから、操作情報ＳＯＰ及び指示情報ＤＣに応じた波形番号ＩＤが応答情報として入出力部１２ａへ出力される（ステップＳ２５ａ）。

次に、入出力部１２ａは、応答情報として出力された波形番号ＩＤの信号波形を、応答波形記憶部１３から読み出す（ステップＳ２７）。そして、入出力部１２ａは、読み出された信号波形の応答信号ＳＲを生成し、その応答信号ＳＲを信号経路Ｌへ出力する（ステップＳ２６ａ）。以後、ステップＳ２１〜Ｓ２６ａを繰り返す。

これにより、信号エミュレータ１ａは、第一モジュール１１０から出力された操作情報ＳＯＰ及び指示信号ＳＣに対し、図１１に示すような、第二モジュール１２０が出力する応答信号ＳＲと同様の信号を第一モジュール１１０へ出力することができる。従って、信号エミュレータ１ａは、第二モジュール１２０がステートマシンを備えている場合であっても、第二モジュール１２０を模倣することができる。

また、操作判別システム４によってタッチパネルディスプレイ１１２を撮像しつつ、基板検査装置１００を実際に動作させ、機械学習システム２ａによって信号エミュレータ用学習モデル１０ａを機械学習させると共に波形番号ＩＤと対応付けた信号波形を取得することによって、信号エミュレータ１ａによる第二モジュール１２０の模倣が可能となるので、信号エミュレータ１ａは、第二モジュール１２０等の機械装置を模倣することが容易である。

なお、機械学習システム２ａは、必ずしも一体に構成された装置で有る必要はなく、機械学習システム２ａの各部が複数の装置に分散されて構成されていてもよい。また、機械学習システム２ａは、信号エミュレータ１ａと一体に構成されていてもよい。すなわち、信号エミュレータ１ａが、機械学習システム２ａの構成を含んでいてもよい。

１，１ａ 信号エミュレータ
２，２ａ 機械学習システム
３，３ａ，９ ニューラルネットワーク
４ 操作判別システム
５ 機械学習システム
１０，１０ａ 信号エミュレータ用学習モデル
１１，１１ａ 第二人工知能処理部
１２，１２ａ 入出力部（入力部、出力部）
１３ 応答波形記憶部
２１，２１ａ 監視情報取得部
２２，２２ａ 監視情報記憶部
２３，２３ａ 機械学習部
３１ 入力層
３２ 中間層
３３，３３ａ，９２３ 出力層
４１ カメラ
４２ 第一人工知能処理部
４３ 画像認識用学習モデル
４４ 機械学習部
９１ 画像処理部
９２ 操作判定部
１００ 基板検査装置
１０１ 筐体
１０２ 基板固定装置
１０３，１０３ 検査部
１０４ 基板
１０５ 検査部移動機構
１１０，１１０ａ 第一モジュール
１１１，１１１ａ 制御部
１１２ タッチパネルディスプレイ
１１４ 制御プログラム
１２０ 第二モジュール
１２１ 基板搬送用モータ
１２２ 基板検出センサ
１２３ モータドライバ
１２４ プローブ駆動用モータ
１２５ プログラマブルコントローラ
９１０，９１３ プーリング層
９１１ 畳み込み層
９１２ 正規化層
９１４，９２１，９２２ 全結合層
Ｂ 操作ボタン
Ｂ１ 自動運転ボタン
Ｂ２ 基板搬入ボタン
Ｂ３ 基板検査ボタン
Ｂ４ 基板搬出ボタン
Ｂ５〜Ｂ８ プローブ移動ボタン
ＤＣ，ＤＣ１，ＤＣ２，・・・ 指示情報
ＤＤ，ＤＤ１，ＤＤ２，・・・ 遅延情報
ＤＲ，ＤＲ１，ＤＲ２，・・・ 応答情報
Ｇ１ 操作画面
Ｇ２ 操作画像
ＩＤ 波形番号（識別情報）
Ｌ，Ｌ１，Ｌ２，・・・ 信号経路
Ｐｒ プローブ
ＳＣ，ＳＣ１，ＳＣ２，・・・ 指示信号
ＳＯＰ，ＳＯＰ１，ＳＯＰ２，ＳＯＰ３・・・ 操作情報
ＳＲ，ＳＲ１，ＳＲ２，・・・ 応答信号
Ｔｄ 遅延時間

Claims (4)

1. ユーザによる操作指示を受け付けて当該操作指示に応じた指示信号を出力する第一モジュールから、その指示信号を受け付けて前記第一モジュールへ応答信号を出力する第二モジュールをエミュレートする信号エミュレータであって、
   前記ユーザの操作が写った操作画像に基づきその操作を示す操作情報を出力するように学習された画像認識用学習モデルに対して、前記操作指示を受け付ける操作部を含む領域の画像を入力することによって、前記画像認識用学習モデルから前記操作情報を出力する操作判別システムから出力された前記操作情報、及び前記第一モジュールから出力された前記指示信号を受け付ける入力部と、
   前記第二モジュールを模倣するように学習された学習モデルであり、前記入力部によって受け付けられた、前記指示信号を示す指示情報、及び前記操作情報が入力された場合に応答情報を出力する信号エミュレータ用学習モデルと、
   前記応答情報に基づいて、前記第一モジュールが受付可能な応答信号を前記第一モジュールへ出力する出力部とを備え、
   前記第一モジュールは、前記操作部によって前記操作指示を受け付ける信号エミュレータ。
2. ユーザの操作が写った操作画像に基づきその操作を示す操作情報を出力するように学習された画像認識用学習モデルに対して前記操作画像を入力することによって、前記画像認識用学習モデルから前記操作情報を出力する操作判別システムに用いられる画像認識用学習モデルの機械学習方法であって、
   （１ａ）前記ユーザによる操作指示を受け付ける操作部を含む領域の画像を前記操作画像として撮像する工程と、
   （１ｂ）前記操作情報を取得する工程と、
   （１ｃ）前記操作画像と、前記（１ｂ）工程で取得された操作情報とを教師データとし、前記操作画像を前記画像認識用学習モデルに入力し、当該画像認識用学習モデルから前記操作情報を出力させるように、当該画像認識用学習モデルを機械学習する工程とを含む画像認識用学習モデルの機械学習方法。
3. 請求項１に記載の信号エミュレータに用いられる信号エミュレータ用学習モデルの機械学習方法であって、
   （２ａ）前記第一モジュールと前記第二モジュールとを連結して動作させる工程と、
   （２ｂ）前記操作部を含む領域を操作画像として撮像する工程と、
   （２ｃ）前記撮像画像を学習済の前記画像認識用学習モデルに入力し、前記画像認識用学習モデルから前記操作情報を出力させる工程と、
   （２ｄ）前記第一モジュールから出力された指示信号を示す指示情報、前記第二モジュールから出力された応答信号を示す応答情報、及び前記画像認識用学習モデルから出力された操作情報を対応付けた組を、複数組、監視情報として監視情報記憶部に記憶させる工程と、
   （２ｅ）前記監視情報を教師データとして前記信号エミュレータ用学習モデルの機械学習を実行する工程とを含む信号エミュレータ用学習モデルの機械学習方法。
4. ユーザの操作が写った操作画像と、前記ユーザの操作指示を示す操作情報とを教師データとし、前記操作画像を前記画像認識用学習モデルに入力し、当該画像認識用学習モデルから前記操作情報を出力させるように、当該画像認識用学習モデルを機械学習する機械学習部を備える画像認識用学習モデルの機械学習システム。

Images