JP2021015437A - プログラム、情報処理方法及び情報処理装置 - Google Patents

Abstract

【課題】操作画面に表示するグラフ領域内の画像等に対して解析することが可能なプログラム等を提供すること。【解決手段】一つの側面にプログラムは、装置に関する情報を表示するモニタ画面をキャプチャした画面情報を取得し、取得した前記画面情報内の対象物の画像またはグラフ領域内の画像を抽出し、抽出した前記対象物の画像またはグラフ領域内の画像に基づき、対象物に対する異常の有無を判断する処理をコンピュータに実行させる。これにより、操作画面に表示するグラフ領域内の画像等に対して解析することが可能となる。【選択図】図１

Description

本発明は、プログラム、情報処理方法及び情報処理装置に関する。

近年、画像認識技術等を用いた生産ラインの自動化が進められている。特許文献１には、コンピュータ上で動作する操作対象アプリケーションのＧＵＩ（Graphical User Interface）に対するユーザの操作を記録し、記録した操作を再演することで自動操作を実現する画像認識による自動操作装置が開示されている。

特許第５９３１８０６号公報

しかしながら、特許文献１に係る発明は、操作画面に表示するグラフ領域内の画像等に対して解析することができないという問題がある。

一つの側面では、操作画面に表示するグラフ領域内の画像等に対して解析することが可能なプログラム等を提供することにある。

一つの側面に係るプログラムは、装置に関する情報を表示するモニタ画面をキャプチャした画面情報を取得し、取得した前記画面情報内の対象物の画像またはグラフ領域内の画像を抽出し、抽出した前記対象物の画像またはグラフ領域内の画像に基づき、対象物に対する異常の有無を判断する処理をコンピュータに実行させる。

一つの側面では、操作画面に表示するグラフ領域内の画像等に対して解析することが可能となる。

検査装置の自動化システムの概要を示す説明図である。 サーバの構成例を示すブロック図である。 検査結果ＤＢのレコードレイアウトの一例を示す説明図である。 検査装置の構成例を示すブロック図である。 測定データＤＢのレコードレイアウトの一例を示す説明図である。 検査対象物に対する異常の有無を判断する動作を説明する説明図である。 画面情報から抽出されたグラフ領域内の画像を説明する説明図である。 検査対象物に対する異常の有無を判断する際の処理手順を示すフローチャートである。 良否判定モデルを用いて異常の有無の認識結果を出力する説明図である。 実施形態２のサーバの構成例を示すブロック図である。 第２良否判定モデルを用いて異常の有無の認識結果を出力する説明図である。 実施形態３のサーバの構成例を示すブロック図である。 ボタン配置ＤＢのレコードレイアウトの一例を示す説明図である。 検査装置の操作を実行する際の処理手順を示すフローチャートである。 検査装置の操作を実行する際の処理手順を示すフローチャートである。 検査装置のモニタ画面を示すイメージ図である。 実施形態４の検査装置の構成例を示すブロック図である。 メッセージＤＢのレコードレイアウトの一例を示す説明図である。 実施形態４のボタン配置ＤＢのレコードレイアウトの一例を示す説明図である。 アラートメッセージの内容により操作対象のボタンを特定する際の処理手順を示すフローチャートである。 アラートメッセージを表示する検査装置のモニタ画面を示すイメージ図である。 実施形態５の検査装置の自動化システムの概要を示す説明図である。 画面情報と撮像画像とを出力する際の処理手順を示すフローチャートである。 画面情報と撮像画像とを表示する画面のイメージ図である。 実施形態６のサーバの構成例を示すブロック図である。 材料情報ＤＢのレコードレイアウトの一例を示す説明図である。 運転条件ＤＢのレコードレイアウトの一例を示す説明図である。 スコアＤＢのレコードレイアウトの一例を示す説明図である。 設定値学習モデルを用いて運転条件の設定値を出力する説明図である。 運転条件の設定値を含む操作信号を出力する際の処理手順を示すフローチャートである。 第２設定値学習モデルを用いて生産装置の設定値を出力する説明図である。

以下、本発明をその実施形態を示す図面に基づいて詳述する。

（実施形態１）
実施形態１は、検査装置の検査結果を表示するモニタ画面をキャプチャした画面情報に基づき、検査対象物に対する異常の有無を判断する形態に関する。なお、本実施形態では、一例として検査装置を用いて説明するが、これに限るものではない。例えば、生産装置、製造装置、計測装置、試験装置、またはその他各種のカスタム装置等の装置であっても良い。図１は、検査装置の自動化システムの概要を示す説明図である。本実施形態のシステムは、情報処理装置１及び検査装置２を含み、各装置はインターネット等のネットワークＮを介して情報の送受信を行う。

情報処理装置１は、種々の情報に対する処理、記憶及び送受信を行う情報処理装置である。情報処理装置１は、例えばサーバ装置、パーソナルコンピュータ等である。本実施形態において、情報処理装置１はサーバ装置であるものとし、以下では簡潔のためサーバ１と読み替える。

検査装置２は、生産ラインで検査対象物に対する状態、形状、方向、大小及び高さ等の検査を行う装置である。検査対象物は、例えばプリント基板（電子基板）、液晶表示装置に使用される光学フィルム若しくは光学シート、または絵柄印刷物（紙やフィルム等のシート状物に絵柄が印刷されたもの）等であっても良い。検査装置２は、例えば加工設備へのワーク搬入、または工程間のワーク搬送におけるワークの高さの測定、ワークに対する異常の有無の検査等を行う検査装置であっても良い。ワークは、生産ラインの加工対象物（被加工物）である。生産ラインでは、１個のワークを持ち、複数の工程で組立を行って完成品に仕上げる。

本実施形態に係るサーバ１は、リモートデスクトップ等の遠隔操作機能を有する情報処理装置である。サーバ１は、遠隔操作機能を用いて、検査装置２の検査結果を表示するモニタ画面をキャプチャし、キャプチャしたモニタ画面から画面情報を取得する。なお、本実施形態では、モニタと検査装置２とが一体型である例を示すが、これに限らず、検査装置２に接続されたパーソナルコンピュータのモニタを用いても良い。

サーバ１は、取得した画面情報内の検査対象物の画像（例えば、撮影画像等）、または検査結果を示すグラフ（例えば、波形データ等）領域内の画像を抽出する。サーバ１は、抽出した検査対象物の画像またはグラフ領域内の画像に基づき、検査対象物に対する異常の有無を判断する。サーバ１は、取得した画面情報から、異常の有無を入力するボタン（例えば、「ＯＫ」または「ＮＧ」ボタン）を認識する。

サーバ１は、検査対象物に対する異常の有無を判断した結果に応じて、該当するボタンの操作信号を検査装置２に送信（出力）する。検査装置２は、サーバ１から受信したボタンの操作信号に応じて、該当する操作を実行する。例えば、良品または不良品の検査において、サーバ１は検査装置２に「ＮＧ」ボタンの操作信号を出力した場合、検査装置２は不良品のラインにワークを排出させる操作を実行しても良い。これにより、オペレータの操作、または検査装置２に対する改造（例えば、自動運転させるソフトの導入）等が不要となる。遠隔地のサーバ１は、検査装置２の画面情報を解析して操作指示を遠隔で出力することで、検査装置２を自動運転させる。

図２は、サーバ１の構成例を示すブロック図である。サーバ１は、制御部１１、記憶部１２、通信部１３、入力部１４、表示部１５、読取部１６及び大容量記憶部１７を含む。各構成はバスＢで接続されている。

制御部１１はＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro-Processing Unit）、ＧＰＵ（Graphics Processing Unit）等の演算処理装置を含み、記憶部１２に記憶された制御プログラム１Ｐを読み出して実行することにより、サーバ１に係る種々の情報処理、制御処理等を行う。なお、図２では制御部１１を単一のプロセッサであるものとして説明するが、マルチプロセッサであっても良い。

記憶部１２はＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）等のメモリ素子を含み、制御部１１が処理を実行するために必要な制御プログラム１Ｐ又はデータ等を記憶している。また、記憶部１２は、制御部１１が演算処理を実行するために必要なデータ等を一時的に記憶する。通信部１３は通信に関する処理を行うための通信モジュールであり、ネットワークＮを介して、検査装置２との間で情報の送受信を行う。

入力部１４は、マウス、キーボード、タッチパネル、ボタン等の入力デバイスであり、受け付けた操作情報を制御部１１へ出力する。表示部１５は、液晶ディスプレイ又は有機ＥＬ（electroluminescence）ディスプレイ等であり、制御部１１の指示に従い各種情報を表示する。

読取部１６は、ＣＤ（Compact Disc）−ＲＯＭ又はＤＶＤ（Digital Versatile Disc）−ＲＯＭを含む可搬型記憶媒体１ａを読み取る。制御部１１が読取部１６を介して、制御プログラム１Ｐを可搬型記憶媒体１ａより読み取り、大容量記憶部１７に記憶しても良い。また、ネットワークＮ等を介して他のコンピュータから制御部１１が制御プログラム１Ｐをダウンロードし、大容量記憶部１７に記憶しても良い。さらにまた、半導体メモリ１ｂから、制御部１１が制御プログラム１Ｐを読み込んでも良い。

大容量記憶部１７は、例えばＨＤＤ（Hard disk drive:ハードディスク）、ＳＳＤ(Solid State Drive:ソリッドステートドライブ)等の記録媒体を備える。大容量記憶部１７は、検査結果ＤＢ１７１及び良否判定モデル１７２を含む。検査結果ＤＢ１７１は、検査対象物に対する異常の有無を判断した検査結果を記憶している。良否判定モデル１７２は、検査対象物の画像またはグラフ領域内の画像から異常の有無を検出（判断）する検出器であり、機械学習により生成された学習済みモデル（画像認識モデル）である。

なお、本実施形態において記憶部１２及び大容量記憶部１７は一体の記憶装置として構成されていても良い。また、大容量記憶部１７は複数の記憶装置により構成されていても良い。更にまた、大容量記憶部１７はサーバ１に接続された外部記憶装置であっても良い。

なお、本実施形態では、サーバ１は一台の情報処理装置であるものとして説明するが、複数台により分散して処理させても良く、または仮想マシンにより構成されていても良い。

図３は、検査結果ＤＢ１７１のレコードレイアウトの一例を示す説明図である。検査結果ＤＢ１７１は、管理ＩＤ列、モニタ画面列、検査結果列、詳細列及び検査日時列を含む。管理ＩＤ列は、各検査結果を識別するために、一意に特定される検査結果のＩＤを記憶している。モニタ画面列は、検査装置２の検査結果を表示するモニタ画面をキャプチャした画面情報を記憶している。検査結果列は、キャプチャした画面情報に基づき、検査対象物に対する異常の有無を判断した検査結果を記憶している。詳細列は、検査結果に対する詳細説明情報を記憶している。検査日時列は、検査対象物に対して検査を行った日時情報を記憶している。

図４は、検査装置２の構成例を示すブロック図である。検査装置２は、制御部２１、記憶部２２、位置検出部２３、入力部２４、表示部２５、通信部２６、搬送機構２７、読取部２８及び大容量記憶部２９を含む。各ハードウェアはバスＢで接続されている。

制御部２１はＣＰＵ、ＭＰＵ、ＧＰＵ等の演算処理装置を含み、記憶部２２に記憶された制御プログラム２Ｐを読み出して実行することにより、検査装置２に係る種々の情報処理、制御処理及び検査処理等を行う。なお、図４では制御部２１を単一のプロセッサであるものとして説明するが、マルチプロセッサであっても良い。記憶部２２はＲＡＭ、ＲＯＭ等のメモリ素子を含み、制御部２１が処理を実行するために必要な制御プログラム２Ｐ又はデータ等を記憶している。また、記憶部２２は、制御部２１が演算処理を実行するために必要なデータ等を一時的に記憶する。

位置検出部２３は、所定の基準位置からの検査対象物の走行距離、走行方向及び角度等を検出する。例えば、距離を検出する距離センサ、水平方向の方位を検出する軸角度センサ、及び垂直方向の傾斜角度を検出する傾斜センサ等を利用することで、位置に関する情報を検出しても良い。

入力部２４は、マウス、キーボード、タッチパネル、ボタン等の入力デバイスであり、受け付けた操作情報を制御部２１へ出力する。表示部２５は、液晶ディスプレイ又は有機ＥＬディスプレイ等であり、制御部２１の指示に従い各種情報を表示する。通信部２６は通信に関する処理を行うための通信モジュールであり、ネットワークＮを介して、サーバ１等と情報の送受信を行う。

搬送機構２７は、搬送コンベア２７１、コンベアモータ２７２及び振分装置２７３を含み、制御部２１により駆動される。具体的には、制御部２１は各種の操作信号に応じて、バッテリー（図示せず）からの電力供給を得て移動（搬送）制御を実行する。搬送コンベア２７１は、生産ラインにワークを検査するために、搬送レールに沿ってワークを搬送する。コンベアモータ２７２は、搬送コンベア２７１を駆動するモータ制御回路であり、搬送コンベア２７１の搬送速度等を制御する。振分装置２７３は、搬送コンベア２７１から出てきた検査対象物のうち、制御部２１によって異常が発生していると判定された検査対象物を不良品のラインに排出する。

読取部２８は、ＣＤ−ＲＯＭ又はＤＶＤ−ＲＯＭを含む可搬型記憶媒体２ａを読み取る。制御部２１が読取部２８を介して、制御プログラム２Ｐを可搬型記憶媒体２ａより読み取り、大容量記憶部２９に記憶しても良い。また、ネットワークＮ等を介して他のコンピュータから制御部２１が制御プログラム２Ｐをダウンロードし、大容量記憶部２９に記憶しても良い。さらにまた、半導体メモリ２ｂから、制御部２１が制御プログラム２Ｐを読み込んでも良い。

大容量記憶部２９は、例えばＨＤＤ、ＳＳＤ等の記録媒体を備える。大容量記憶部２９には、測定データＤＢ２９１が記憶されている。測定データＤＢ２９１は、検査対象物に対する異常の有無を判断するための各種の検査データを記憶している。

なお、本実施形態において記憶部２２及び大容量記憶部２９は一体の記憶装置として構成されていても良い。また、大容量記憶部２９は複数の記憶装置により構成されていても良い。更にまた、大容量記憶部２９は検査装置２に接続された外部記憶装置であっても良い。

図５は、測定データＤＢ２９１のレコードレイアウトの一例を示す説明図である。測定データＤＢ２９１は、測定ＩＤ列、ワークＩＤ列、測定項目列及び測定日時列を含む。測定ＩＤ列は、各測定データを識別するために、一意に特定される測定データのＩＤを記憶している。ワークＩＤ列は、各ワークを識別するために、一意に特定されるワークのＩＤを記憶している。測定項目列は、高さ列、方位列及び傾斜角度列を含む。高さ列は、測定されたワークの高さを記憶している。方位列は、測定されたワークの方位データ（例えば、方位角の値）を記憶している。傾斜角度列は、測定されたワークの傾斜角度の値を記憶している。測定日時列は、ワークに対して測定を行った日時情報を記憶している。

図６は、検査対象物に対する異常の有無を判断する動作を説明する説明図である。サーバ１の制御部１１は、ネットワークＮ（例えば、インターネット）を介して、リモートデスクトップ等の遠隔操作機能を用いて検査装置２と接続する。制御部１１は、通信部１３を介して、リモートデスクトップにより接続された検査装置２の検査結果を表示するモニタ画面をキャプチャし、キャプチャしたモニタ画面から画面情報を取得する。

制御部１１は、例えばＡ−ＫＡＺＥ（Accelerated KAZE）等の局所特徴量抽出方法を用いて、取得した画面情報内の検査対象物の画像またはグラフ領域内の画像を抽出する。なお、予めグラフの表示領域を把握している場合、グラフの表示領域に対応する画素領域を抽出するようにすれば良い。検査対象物の画像は、例えば検査対象物に対して撮影された撮影画像（写真）であっても良い。グラフ領域内の画像は、検査結果を示すグラフであり、例えば検査対象物の高さを計測した波形データのグラフであっても良い。

制御部１１は、抽出した検査対象物の画像またはグラフ領域内の画像に基づき、検査対象物に対する異常の有無を判断する。具体的には、制御部１１は、抽出した検査対象物の画像またはグラフ領域内の画像を、ディープラーニングにより構築された良否判定モデル１７２に入力する。制御部１１は、良否判定モデル１７２を用いて、検査対象物に対する異常の有無の認識結果を出力する。なお、本実施形態では、画面情報から対象領域（例えば、グラフ領域）の画像を抽出し、抽出した対象領域の画像を良否判定モデル１７２に入力したが、これに限るものではない。例えば、キャプチャされたモニタ画面の画像全体をそのまま良否判定モデル１７２に入力しても良い。なお、良否判定モデル１７２を用いて異常の有無を判断する処理に関しては、実施形態２で詳しく説明する。

制御部１１は、検査対象物に対する異常の有無を判断した検査結果を大容量記憶部１７の検査結果ＤＢ１７１に記憶する。具体的には、制御部１１は、管理ＩＤを割り振って、モニタ画面、検査結果、検査結果に対する詳細の説明情報及び検査日時を一つのレコードとして検査結果ＤＢ１７１に記憶する。

制御部１１は、取得した画面情報に基づき、異常の有無を入力するボタンを認識する。異常の有無を入力するボタンは、例えば「ＯＫ」、「ＮＧ」ボタンであり、異常の有無を判断した結果に応じて、該当する操作指令を受け取るボタンである。ボタンの認識処理に関しては、例えばモニタ画面がキャプチャされた画像からエッジ（画素値の変化の大きい部分）を抽出してボタンの形状を特定する等の周知の画像解析手法を利用しても良い。モニタ画面に複数のボタンが含まれる場合、制御部１１は、これら全てのボタンを認識し、認識した各ボタンに割り当てられた機能を特定する。

具体的には、制御部１１は、例えば認識した各ボタンの形状及び各ボタン間の位置関係と、予め記憶部１２に記憶された操作パネル構成図に配置された各ボタンパターンの形状及び各パターン間の位置関係とを比較する。制御部１１は、位置関係の比較結果に基づき、当該認識した各ボタンが操作パネル構成図に配置された各ボタンパターンのいずれに対応するかを特定する。また、上述の通り操作パネル構成図に配置された各ボタンにボタンＩＤ（識別子）が割り当てられている場合、認識された各ボタンと操作パネル構成図に配置された各ボタンパターンとの対応関係が特定できれば、当該認識された各ボタンのボタンＩＤを判明することができる。

制御部１１は、検査対象物に対する異常の有無を判断した結果に応じて、認識した複数のボタンから該当するボタンを特定する。例えば、制御部１１は、検査対象物に対する異常が発生していると判定した場合、異常に対応する「ＮＧ」ボタンを特定しても良い。制御部１１は、通信部１３を介して、特定したボタンの操作信号を検査装置２に送信する。操作信号は、例えばボタンＩＤ（通し番号）であっても良く、または座標情報（例えば、画面の左上を基点にして右に１０ピクセル、下に５ピクセル）であっても良い。

検査装置２の制御部２１は、通信部２６を介して、サーバ１からボタンの操作信号を受信し、受信した操作信号に応じた動作指令（例えば、再検査等）を出力する。具体的には、制御部２１は受信した操作信号に基づき、マウスのカーソルを該当するボタンに移動させて、クリック（タッチ）イベントを発生させる。

図７は、画面情報から抽出されたグラフ領域内の画像を説明する説明図である。なお、図７で、波形グラフを示す画像の例を説明するが、これに限るものではない。例えば、折れ線グラフまたは棒グラフ等を利用しても良い。

図７Ａは、検査対象物に異常が発生していない正常波形を示している。横軸は検査対象のワークの測定位置（横方向）を示し、縦軸はワークの高さを示し、単位はミリメートル（ｍｍ）である。ワークの高さが正常値の範囲内である場合、同じ幅の波が周期的に繰り返し、且つ、波のピーク値が閾値の所定変動範囲内（例えば、閾値±１ｍｍ）に抑えられる。

図７Ｂは、大きな波がある際の不良波形を示している。サーバ１の制御部１１は、波のピーク値（波高値）を抽出し、抽出したピーク値と閾値の変動範囲とを比較する。図示のように、閾値の変動範囲を超えたピーク値が存在しているため、制御部１１は該ワークに対する異常が発生していると判断する。

図７Ｃは、傾いている不良波形を示している。制御部１１は、波のピーク値を抽出し、抽出したピーク値で形成される近似直線の傾きを算出する。制御部１１は、算出した傾きが予め定めた閾値を超えたと判断した場合、該ワークに対する異常が発生していると判断する。

図７Ｄは、ピーク間隔が不均一である不良波形を示している。制御部１１は、ピーク間隔（周期）を取得し、取得したそれぞれの間隔が均一であるか否かを判断する。制御部１１はピーク間隔が不均一であると判断した場合、該ワークに対する異常が発生していると判断する。

なお、後述する実施形態２では、上述した波形グラフの画像を学習済みの良否判定モデル１７２に入力し、検査対象物に対する異常の有無を認識（判断）した認識結果を出力することができる。詳細の処理内容に関しては、後述する。

図８は、検査対象物に対する異常の有無を判断する際の処理手順を示すフローチャートである。サーバ１の制御部１１は、ネットワークＮを介して、リモートデスクトップを用いて検査装置２と接続する（ステップＳ１０１）。制御部１１は、通信部１３を介して、リモートデスクトップにより接続された検査装置２の検査結果を表示するモニタ画面をキャプチャする（ステップＳ１０２）。制御部１１は、キャプチャしたモニタ画面から画面情報を取得する（ステップＳ１０３）。

制御部１１は、Ａ−ＫＡＺＥ等の局所特徴量抽出方法を用いて、取得した画面情報内のグラフ領域内の画像を抽出する（ステップＳ１０４）。なお、図８では、グラフ領域内の画像の例を説明したが、これに限るものではない。例えば、検査対象物の画像がモニタ画面で表示される場合、該検査対象物の画像を抽出しても良い。

制御部１１は、抽出したグラフ領域内の画像に基づき、検査対象物に対する異常の有無を判断する（ステップＳ１０５）。例えば抽出したグラフ領域内の画像が、図７Ｂで示すように、大きな波がある際の不良波形の画像である場合、制御部１１は、ピーク値が閾値を超えるか否かにより異常を判断する。また、図７Ｃのように、波形が傾いている場合、制御部１１は波のピーク値を抽出し、抽出したピーク値で形成される近似直線の傾きを算出する。制御部１１は、算出した傾きと、予め定めた閾値とを比較する。制御部１１は傾きが閾値を超えたと判断した場合、検査対象物に対して異常が発生していると判断する。制御部１１は、検査対象物に対する異常の有無を判断した検査結果を大容量記憶部１７の検査結果ＤＢ１７１に記憶する（ステップＳ１０６）。

制御部１１は、取得した画面情報に基づき、例えばエッジを抽出してボタンの形状を特定する画像解析手法を利用し、モニタ画面上の各ボタンを認識する（ステップＳ１０７）。制御部１１は、予め記憶部１２に記憶された操作パネル構成図に配置された各ボタンパターンの形状、各パターン間の位置関係、及び異常の有無の判断結果に応じて、異常の有無を入力するボタン（例えば、「ＯＫ」または「ＮＧ」）を特定する（ステップＳ１０８）。

制御部１１は、通信部１３を介して、特定したボタンの操作信号を検査装置２に送信する（ステップＳ１０９）。検査装置２の制御部２１は、通信部２６を介して、サーバ１からボタンの操作信号を受信する（ステップＳ２０１）。制御部２１は、受信した操作信号に応じた動作指令（例えば、再検査等）を出力し（ステップＳ２０２）、処理を終了する。

本実施形態によると、遠隔地のサーバ１は、検査装置２のモニタ画面を解析して操作信号を出力することにより、検査装置２を自動運転させることが可能となる。

（実施形態２）
実施形態２は、良否判定モデル１７２を用いて、グラフ領域内の画像を入力した場合に認識（判断）結果を出力する形態に関する。なお、実施形態１と重複する内容については説明を省略する。

図９は、良否判定モデル１７２を用いて異常の有無の認識結果を出力する説明図である。良否判定モデル１７２は、ディープラーニングにより構築され、人工知能ソフトウェアの一部であるプログラムモジュールとして利用される。良否判定モデル１７２は、グラフ領域内の画像を入力とし、検査対象物に対する異常の有無を認識した認識結果を出力とするニューラルネットワークを構築（生成）済みの抽出器である。

サーバ１の制御部１１は、良否判定モデル１７２として、グラフ領域内の画像内における波形グラフの特徴量を学習するディープラーニングを行うことで良否判定モデル１７２を構築（生成）する。例えば、良否判定モデル１７２はＣＮＮ（Convolution Neural Network）であり、グラフ領域内の画像の入力を受け付ける入力層と、異常の有無を認識した結果を出力する出力層と、バックプロパゲーションにより学習済の中間層とを有する。

入力層は、グラフ領域内の画像に含まれる各画素の画素値の入力を受け付ける複数のニューロンを有し、入力された画素値を中間層に受け渡す。中間層は、グラフ領域内の画像特徴量を抽出する複数のニューロンを有し、抽出した画像特徴量を出力層に受け渡す。例えば良否判定モデル１７２がＣＮＮである場合を例にして説明する。中間層は、入力層から入力された各画素の画素値を畳み込むコンボリューション層と、コンボリューション層で畳み込んだ画素値をマッピングするプーリング層とが交互に連結された構成により、グラフ領域内の画像の画素情報を圧縮しながら最終的に画像の特徴量を抽出する。その後中間層は、バックプロパゲーションによりパラメータが学習された全結合層により、グラフ領域内の画像が検査対象物に対する異常の有無を予測する。予測結果は、複数のニューロンを有する出力層に出力される。

なお、グラフ領域内の画像は、交互に連結されたコンボリューション層とプーリング層とを通過して特徴量が抽出された後に、入力層に入力されても良い。

なお、ＣＮＮの代わりに、ＲＣＮＮ（Regions with Convolutional Neural Network）、Ｆａｓｔ ＲＣＮＮ、Ｆａｓｔｅｒ ＲＣＮＮ、ＳＳＤ（Single Shot Multibook Detector）、またはＹＯＬＯ（You Only Look Once）等の、任意の物体検出アルゴリズムを使用しても良い。

サーバ１の制御部１１は、複数のグラフ領域内の画像（例えば、正常波形のグラフ画像、異常波形のグラフ画像）と、各画像における異常の有無とが対応付けられた教師データを用いて学習を行う。教師データは、グラフ領域内の画像に対し、異常の有無がラベル付けされたデータである。制御部１１は、複数のグラフ領域内の画像に対して異常の有無をラベリングすることで、異常の有無を学習するための教師データを生成する。具体的には、制御部１１はグラフ領域内の画像に対して、異常の有無の固有名称（例えば、正常または異常）を関連付けた教師データを生成する。

制御部１１は、教師データであるグラフ領域内の画像を入力層に入力し、中間層での演算処理を経て、出力層から異常の有無を示す識別結果を取得する。なお、出力層から出力される識別結果は異常の有無を離散的に示す値（例えば「０」又は「１」の値）であってもよく、連続的な確率値（例えば「０」から「１」までの範囲の値）であっても良い。

制御部１１は、出力層から出力された識別結果を、教師データにおいてグラフ領域内の画像に対しラベル付けされた情報、すなわち正解値と比較し、出力層からの出力値が正解値に近づくように、中間層での演算処理に用いるパラメータを最適化する。当該パラメータは、例えばニューロン間の重み（結合係数）、各ニューロンで用いられる活性化関数の係数等である。パラメータの最適化の方法は特に限定されないが、例えば制御部１１は、は誤差逆伝播法を用いて各種パラメータの最適化を行う。

制御部１１は、教師データに含まれる各グラフ領域内の画像について上記の処理を行い、良否判定モデル１７２を生成する。これにより、例えば制御部１１は当該教師データを用いて良否判定モデル１７２の学習を行うことで、検査対象物に対する異常の有無を認識可能なモデルを構築することができる。

制御部１１はグラフ領域内の画像を取得した場合、取得した画像を良否判定モデル１７２に入力する。制御部１１は、良否判定モデル１７２の中間層にて画像の特徴量を抽出する演算処理を行い、抽出した特徴量を良否判定モデル１７２の出力層に入力して、検査対象物に対して異常の有無を示す識別結果を出力として取得する。制御部１１は、良否判定モデル１７２の出力層から出力した識別結果に基づき、検査対象物に対する異常の有無を判断する。例えば、正常の確率値（例えば、０．９７）が所定閾値（例えば、０．９５）以上である場合、制御部１１は異常が発生していないと判断しても良い。

なお、上述した機械学習により検査対象物に対する異常の有無を判断する処理に限るものではない。例えば、Ａ−ＫＡＺＥ（Accelerated KAZE）、ＳＩＦＴ（Scale Invariant Feature Transform）、ＳＵＲＦ（Speeded-Up Robust Features）、ＯＲＢ（Oriented FAST and Rotated BRIEF）、ＨＯＧ(Histograms of Oriented Gradients)等の局所特徴量抽出方法を用いて異常の有無を判断しても良い。

なお、本実施形態では、グラフ領域内の画像を良否判定モデル１７２に入力した例を説明したが、これに限るものではない。キャプチャされたモニタ画面の画像全体をそのまま良否判定モデル１７２に入力しても良い。

＜変形例１＞
続いて、異常種類が分類された認識結果を出力する処理を説明する。図１０は、実施形態２のサーバ１の構成例を示すブロック図である。なお、図２と重複する内容については同一の符号を付して説明を省略する。

大容量記憶部１７には、第２良否判定モデル１７３が記憶されている。第２良否判定モデル１７３は、ディープラーニングにより構築され、人工知能ソフトウェアの一部であるプログラムモジュールとして利用される。第２良否判定モデル１７３は、グラフ領域内の画像を入力とし、検査対象物に対し、異常種類が分類された認識結果を出力とするニューラルネットワークを構築（生成）済みの抽出器である。異常種類は、例えばグラフ領域内の画像の波形（例えば、波の幅、ピーク間隔、傾斜角度等）に応じて分類する異常レベル情報等であっても良い。

図１１は、第２良否判定モデル１７３を用いて異常の有無の認識結果を出力する説明図である。なお、図９と重複する内容については説明を省略する。サーバ１の制御部１１は、複数の正常波形のグラフ画像（グラフ領域内の画像）及び各種の異常波形のグラフ画像と、各画像における異常の有無及び異常レベル情報とが対応付けられた教師データを用いて学習を行う。教師データは、グラフ領域内の画像に対し、異常の有無及び異常レベル情報がラベル付けされたデータである。

制御部１１は、複数の正常波形のグラフ画像及び各種の異常波形のグラフ画像に対し、異常の有無及び異常レベル情報をラベリングすることで、異常の有無及び異常レベルを学習するための教師データを生成する。具体的には、制御部１１は上述したグラフ画像に対して、異常の有無及び異常レベルの固有名称（例えば、正常、異常レベル１及び異常レベル２等）を関連付けた教師データを生成する。

制御部１１は、生成した教師データを用いて教師用画像の特徴量を学習するディープラーニングを行うことで第２良否判定モデル１７３を構築（生成）する。なお、教師データを用いて第２良否判定モデル１７３を構築する処理に関しては、良否判定モデル１７２の構築処理と同様であるため、説明を省略する。

第２良否判定モデル１７３の入力層は、グラフ領域内の画像の入力を受け付け、その後中間層は、バックプロパゲーションによりパラメータが学習された全結合層により、グラフ領域内の画像が検査対象物に対する異常の有無及び異常レベル情報を予測する。予測した異常の有無及び異常レベル情報を含む認識結果は、複数のニューロンを有する出力層に出力される。図示のように、傾いている不良波形を第２良否判定モデル１７３に入力した場合に、異常の有無及び異常レベルを含む認識結果を出力する。

認識結果は、例えば正常の確率値、異常レベル１の確率値、異常レベル２の確率値及び異常レベル３の確率値である。制御部１１は、第２良否判定モデル１７３の出力層から出力した識別結果に基づき、検査対象物に対する異常の有無、及び異常が発生している際の異常レベルを判断する。図示のように、異常レベル３の確率値（例えば、０．８８）が所定閾値（例えば、０．８０）以上である場合、制御部１１は異常種類が異常レベル３であると判断しても良い。

なお、本実施形態では、検査対象物の高さを示すグラフ領域内の画像（波形データ）の例を説明するが、検査対象物の画像にも同様に適用される。例えば、検査対象物に対して穴径測定を行う場合、検査対象物の画像（写真）を第３良否判定モデルに入力し、穴径に対する異常の有無を認識した認識結果を出力しても良い。サーバ１の制御部１１は、複数の検査対象物の画像に対し、異常の有無をラベリングすることで、異常の有無を学習するための教師データを生成する。具体的には、制御部１１は検査対象物の画像に対して、正常の穴及び異常の穴の固有名称（例えば、正常穴、異常穴等）を関連付けた教師データを生成する。制御部１１は、生成した教師データを用いて教師用画像の特徴量を学習するディープラーニングを行うことで第３良否判定モデルを構築する。

制御部１１は、構築した第３良否判定モデルを用いて、検査対象物に対する異常の有無を判断する。具体的には、第３良否判定モデルの入力層は、検査対象物の画像の入力を受け付け、その後中間層は、バックプロパゲーションによりパラメータが学習された全結合層により、検査対象物の穴径に対する異常の有無を予測する。予測した異常の有無を含む認識結果は、複数のニューロンを有する出力層に出力される。

本実施形態によると、検査対象物の画像またはグラフ領域内の画像を入力した場合に認識結果を出力する学習済みの良否判定モデル１７２を用いて、異常の有無の認識結果を出力することが可能となる。

本実施形態によると、検査対象物の画像またはグラフ領域内の画像を入力した場合に認識結果を出力する学習済みの第２良否判定モデル１７３を用いて、異常種類が分類された認識結果を出力することが可能となる。

本実施形態によると、ディープラーニングにより構築された良否判定モデル（画像認識モデル）を用いて、検査対象物に対する異常の有無を判断する精度を向上することが可能となる。

（実施形態３）
実施形態３は、検査装置２のモニタ画面をキャプチャした画面情報から、検査装置２の検査における各段階での操作ボタンを認識する形態に関する。なお、実施形態１〜２と重複する内容については説明を省略する。

なお、本実施形態での検査装置２は、「ワークの搬入」、「測定の実施」、「測定結果の判断」及び「ワークの排出」の４ステップで操作する装置であるが、これに限るものではない。例えば製品の組み立て工程、作業員の配置及び部品の取り付け等を行うライン生産方式に応じて、操作するステップを設置しても良い。

図１２は、実施形態３のサーバ１の構成例を示すブロック図である。なお、図１０と重複する内容については同一の符号を付して説明を省略する。大容量記憶部１７には、ボタン配置ＤＢ１７４が記憶されている。ボタン配置ＤＢ１７４は、モニタ画面に配置された各ボタンの形状及び各ボタン間の位置関係等の情報を記憶している。

図１３は、ボタン配置ＤＢ１７４のレコードレイアウトの一例を示す説明図である。ボタン配置ＤＢ１７４は、ボタンＩＤ列、名称列、座標列、相対位置列及び形状列を含む。ボタンＩＤ列は、各ボタンを識別するために、一意に特定されるボタンのＩＤを記憶している。名称列は、ボタンの名称を記憶している。座標列は、モニタ画面上のボタンの位置を示す座標数値を記憶している。相対位置列は、各ボタン間の位置関係等を記憶している。形状列は、ボタンの形状を記憶している。

図１４及び図１５は、検査装置２の操作を実行する際の処理手順を示すフローチャートである。サーバ１の制御部１１は、通信部１３を介して、リモートデスクトップにより接続された検査装置２の検査結果を表示するモニタ画面をキャプチャし、キャプチャしたモニタ画面から画面情報を取得する（ステップＳ１１１）。

制御部１１は、取得した画面情報に基づき、画面上の各ボタンを認識する（ステップＳ１１２）。具体的には、制御部１１は、周知の画像解析手法を利用して、画面情報からエッジ（画素値の変化の大きい部分）を抽出する。なお、画面が遷移した場合、制御部１１は遷移後の画面上の各ボタンを再認識すれば良い。制御部１１は、抽出したエッジに基づき、ボタンの形状、座標及び相対位置等を特定する。制御部１１は、特定したボタンの形状、座標及び相対位置等に基づき、大容量記憶部１７のボタン配置ＤＢ１７４を照合し、それぞれのボタンＩＤを取得する。なお、制御部１１はボタン上の文字を認識し、認識した文字に一致する名称を有するボタンＩＤをボタン配置ＤＢ１７４から抽出しても良い。

制御部１１は、取得したボタンＩＤによって、搬入ボタンを特定する（ステップＳ１１３）。制御部１１は、通信部１３を介して、特定した搬入ボタンの操作信号を検査装置２に送信する（ステップＳ１１４）。検査装置２の制御部２１は、通信部２６を介して、サーバ１から送信された搬入ボタンの操作信号を受信し（ステップＳ２１１）、搬送コンベア２７１に搬送指令を出力する（ステップＳ２１２）。

サーバ１の制御部１１は、取得したボタンＩＤによって、測定ボタンを特定する（ステップＳ１１５）。制御部１１は、通信部１３を介して、特定した測定ボタンの操作信号を検査装置２に送信する（ステップＳ１１６）。検査装置２の制御部２１は、通信部２６を介して、サーバ１から送信された測定ボタンの操作信号を受信し（ステップＳ２１３）、ワークを測定する測定指令を出力する（ステップＳ２１４）。制御部２１は、ワークごとの測定データを大容量記憶部２９の測定データＤＢ２９１に記憶する。具体的には、制御部２１は、測定ＩＤを割り振って、ワークＩＤ、測定項目（例えば、高さ）及び測定日時を一つのレコードとして測定データＤＢ２９１に記憶する。

サーバ１の制御部１１は、取得した画面情報からグラフ領域内の画像を抽出し（ステップＳ１１７）、検査対象物に対する異常の有無を判断する（ステップＳ１１８）。なお、グラフ領域内の画像の抽出処理、及び異常の有無の判断処理に関しては、実施形態１または２と同様であるため、説明を省略する。

制御部１１は、検査対象物に対する異常が発生していると判断した場合（ステップＳ１１９でＹＥＳ）、取得したボタンＩＤによって、ＮＧボタンを特定する（ステップＳ１２０）。制御部１１は、通信部１３を介して、特定したＮＧボタンの操作信号を検査装置２に送信する（ステップＳ１２１）。検査装置２の制御部２１は、通信部２６を介して、サーバ１から送信されたＮＧボタンの操作信号を受信する（ステップＳ２１６）。制御部２１は、振分装置２７３に不良品のラインにワークを排出するための指令を出力する（ステップＳ２１７）。

制御部１１は、検査対象物に対する異常が発生していないと判断した場合（ステップＳ１１９でＮＯ）、取得したボタンＩＤによって、ＯＫボタンを特定する（ステップＳ１２２）。制御部１１は、通信部１３を介して、特定したＯＫボタンの操作信号を検査装置２に送信する（ステップＳ１２３）。検査装置２の制御部２１は、通信部２６を介して、サーバ１から送信されたＯＫボタンの操作信号を受信する（ステップＳ２１８）。制御部２１は、振分装置２７３に良品のラインにワークを排出するための指令を出力し（ステップＳ２１９）、処理を終了する。

図１６は、検査装置２のモニタ画面を示すイメージ図である。「搬入」ボタン１６ａは、ワークの搬入指令を受け付ける。「測定」ボタン１６ｂは、ワークの測定指令を受け付ける。「ＯＫ」ボタン１６ｃは、良品のラインにワークを排出するための指令を受け付ける。「ＮＧ」ボタン１６ｄは、不良品のラインにワークを排出するための指令を受け付ける。画像表示領域１６ｅは、検査結果を示すワークの撮影画像またはグラフの画像を表示する。

検査装置の制御部２１は、例えば測定したワークの高さのデータを大容量記憶部２９の測定データＤＢ２９１から取得する。制御部２１は、取得したワークの高さのデータに基づいて波形グラフを生成し、生成した波形グラフを表示部２５により画像表示領域１６ｅに表示する。

制御部２１は、通信部２６を介して、サーバ１からボタンの操作信号を受信した場合、受信した操作信号に対応する操作指令を出力する。具体的には、制御部２１は「搬入」ボタン１６ａの操作信号を受信した場合、搬送コンベア２７１に搬送指令を出力する。制御部２１は「測定」ボタン１６ｂの操作信号を受信した場合、ワークを測定する測定指令を出力する。

制御部２１は「ＯＫ」ボタン１６ｃの操作信号を受信した場合、振分装置２７３に良品のラインにワークを排出するための指令を出力する。制御部２１は「ＮＧ」ボタン１６ｄの操作信号を受信した場合、振分装置２７３に不良品のラインにワークを排出するための指令を出力する。

なお、本実施形態では、各ボタンの操作信号をサーバ１から受信した例を説明したが、これに限るものではない。例えば、オペレータのタッチ（クリック）操作により各ボタンの操作信号を受け付けても良い。

本実施形態によると、検査装置２の検査における各段階での操作ボタンを認識することが可能となる。

本実施形態によると、遠隔操作機能を用いて、各ボタンの操作信号を出力することにより、オペレータの操作が不要となり、人件費の削減を実現することが可能となる。

（実施形態４）
実施形態４は、検査装置２のモニタ画面をキャプチャした画面情報から抽出されたアラートメッセージの内容に応じて、操作対象のボタンを特定する形態に関する。なお、実施形態１〜３と重複する内容については説明を省略する。

図１７は、実施形態４の検査装置２の構成例を示すブロック図である。なお、図４と重複する内容については同一の符号を付して説明を省略する。大容量記憶部２９には、メッセージＤＢ２９２が記憶されている。メッセージＤＢ２９２は、検査装置２の検査における各種のアラートメッセージを記憶している。

図１８は、メッセージＤＢ２９２のレコードレイアウトの一例を示す説明図である。メッセージＤＢ２９２は、メッセージＩＤ列及びメッセージ列を含む。メッセージＩＤ列は、各メッセージを識別するために、一意に特定されるメッセージのＩＤを記憶している。メッセージ列は、アラートメッセージの内容を記憶している。アラートメッセージは、エラーメッセージ、警告メッセージ及び通知メッセージ等を含む。

図１９は、実施形態４のボタン配置ＤＢ１７４のレコードレイアウトの一例を示す説明図である。ボタン配置ＤＢ１７４は、メッセージＩＤ列及びメッセージ列を含む。メッセージＩＤ列は、ボタンＩＤに対応付けたアラートメッセージＩＤを記憶している。なお、メッセージＩＤ列には、複数のメッセージＩＤが記憶されても良い。即ち、異なるメッセージ内容に応じて、同じ操作を実行することができる。メッセージ列は、メッセージの内容を記憶している。

サーバ１の制御部１１は、通信部１３を介して、リモートデスクトップにより接続された検査装置２の検査結果を表示するモニタ画面をキャプチャし、キャプチャしたモニタ画面から画面情報を取得する。制御部１１は、取得した画面情報に基づき、各ボタンを認識する。なお、ボタンの認識処理に関しては、実施形態３と同様であるため、説明を省略する。

制御部１１は、取得した画面情報からアラートメッセージの表示領域の画像を抽出する。具体的には、例えば制御部１１は、ＳＩＦＴ等の局所特徴量抽出方法を用いて抽出しても良い。制御部１１は、抽出したアラートメッセージの表示領域の画像からアラートメッセージを抽出する。なお、アラートメッセージの抽出処理に関しては、例えば、光学文字認識（OCR：Optical Character Recognition）技術を用いて、アラートメッセージの表示領域の画像を文字コードの列に変換し、アラートメッセージを抽出しても良い。

制御部１１は、抽出したアラートメッセージの内容に応じて、大容量記憶部１７のボタン配置ＤＢ１７４を照合し、該アラートメッセージに対応するボタンＩＤを取得する。制御部１１は、通信部１３を介して、取得したボタンＩＤに基づき、該ボタンの操作信号を検査装置２に送信する。検査装置２の制御部２１は、通信部２６を介して、サーバ１から送信されたボタンの操作信号を受信し、受信した操作信号に応じた操作指令（例えば、再測定等）を出力する。

図２０は、アラートメッセージの内容により操作対象のボタンを特定する際の処理手順を示すフローチャートである。サーバ１の制御部１１は、リモートデスクトップにより接続された検査装置２の検査結果を表示するモニタ画面をキャプチャし、キャプチャしたモニタ画面から画面情報を取得する（ステップＳ１３１）。制御部１１は、取得した画面情報に基づき、各ボタンを認識する（ステップＳ１３２）。

制御部１１は、例えばＡ−ＫＡＺＥ等の局所特徴量抽出方法を用いて、取得した画面情報からアラートメッセージの表示領域の画像を抽出する（ステップＳ１３３）。制御部１１は、光学文字認識技術を用いて、抽出したアラートメッセージの表示領域の画像からアラートメッセージを抽出する（ステップＳ１３４）。制御部１１は、抽出したアラートメッセージの内容に応じて、大容量記憶部１７のボタン配置ＤＢ１７４を照合し、該アラートメッセージに対応するボタンＩＤを取得する（ステップＳ１３５）。

制御部１１は、通信部１３を介して、取得したボタンＩＤに基づき、該ボタンの操作信号を検査装置２に送信する（ステップＳ１３６）。検査装置２の制御部２１は、通信部２６を介して、サーバ１から送信されたボタンの操作信号を受信し（ステップＳ２３１）、受信した操作信号に応じた操作指令を出力する（ステップＳ２３２）。

図２１は、アラートメッセージを表示する検査装置２のモニタ画面を示すイメージ図である。なお、図１６と重複する内容については同一の符号を付して説明を省略する。２１ａは、アラートメッセージを表示するための表示領域である。検査装置２の制御部２１は通知またはエラー等を検知した場合、大容量記憶部２９のメッセージＤＢ２９２から該当するアラートメッセージを取得する。制御部２１は、表示部２５を介して、取得したアラートメッセージをモニタ画面に表示する。

本実施形態によると、遠隔操作機能を用いて、キャプチャされた検査装置２のモニタ画面からアラートメッセージを抽出することが可能となる。

本実施形態によると、アラートメッセージの内容に応じて、操作対象のボタンの操作信号を検査装置２に出力することにより、オペレータを介入せず、自動的に故障等を回復することが可能となる。

（実施形態５）
実施形態５は、モニタ画面をキャプチャした画面情報と、検査装置２を撮像する撮像装置から取得された撮像画像とを出力する形態に関する。なお、実施形態１〜４と重複する内容については説明を省略する。

図２２は、実施形態５の検査装置の自動化システムの概要を示す説明図である。なお、図１と重複する内容については同一の符号を付して説明を省略する。本実施形態では、検査装置２を撮像する撮像装置３を含む。

撮像装置３は、搬送コンベア２７１の斜め上方から検査装置を撮像し、画像を生成する。なお、撮像装置３の設置位置に関しては、上述した位置に限るものではない。例えば、撮像装置３を搬送コンベア２７１の上方また横に設置しても良い。本実施形態の撮像装置３は、無線通信部を含む。無線通信部は、通信に関する処理を行うための無線通信モジュールであり、ネットワークＮを介して、サーバ１等と撮像画像の送受信を行う。

図２３は、画面情報と撮像画像とを出力する際の処理手順を示すフローチャートである。サーバ１の制御部１１は、通信部１３を介して、リモートデスクトップにより接続された検査装置２の検査結果を表示するモニタ画面をキャプチャし、キャプチャしたモニタ画面から画面情報を取得する（ステップＳ１４１）。制御部１１は、通信部１３を介して、撮像装置３から検査装置２を撮像した撮像画像を取得する（ステップＳ１４２）。制御部１１は、取得した画面情報と撮像画像とを表示部１５により表示し（ステップＳ１４３）、処理を終了する。

図２４は、画面情報と撮像画像とを表示する画面のイメージ図である。なお、図１６と重複する内容については同一の符号を付して説明を省略する。２４ａは、検査装置２を撮像する撮像装置から取得された撮像画像を表示するための表示領域である。サーバ１の制御部１１は、通信部１３を介して、撮像装置３により撮像した検査対象物の撮像画像をリアルタイムで取得する。制御部１１は、取得した撮像画像を表示部１５により表示する。

なお、制御部１１は、キャプチャされたモニタ画面、及び該モニタ画面をキャプチャした時点の検査装置の撮影画像（静止画像）と、リアルタイムでの検査対象物の撮像画像（動画）とを同時に表示部１５により表示しても良い。

本実施形態によると、モニタ画面をキャプチャした画面情報と、検査装置２を撮像する撮像装置から取得された撮像画像とを同時に出力することが可能となる。

（実施形態６）
実施形態６は、検査対象の材料情報に基づき、検査装置２の運転条件の設定値を出力する形態に関する。なお、実施形態１〜５と重複する内容については説明を省略する。

図２５は、実施形態６のサーバ１の構成例を示すブロック図である。なお、図１２と重複する内容については同一の符号を付して説明を省略する。大容量記憶部１７には、設定値学習モデル１７５、材料情報ＤＢ１７６、運転条件ＤＢ１７７及びスコアＤＢ１７８が記憶されている。

設定値学習モデル１７５は、強化学習によって生成済みの学習済みモデルである。なお、強化学習に関しては後述する。材料情報ＤＢ１７６は、検査対象の材料情報を記憶している。例えば、材料がガラスである場合、ガラスのサイズ、厚み、製品規格等の情報を材料情報ＤＢ１７６に記憶しても良い。運転条件ＤＢ１７７は、検査装置２の運転条件の設定値を記憶している。スコアＤＢ１７８は、後述する強化学習において与えられる報酬（スコア）を規定するテーブルであり、製品（ワーク）評価の行動と、製品評価に対して各行動を取った場合に与えられる報酬とを対応付けて記憶するテーブルである。

図２６は、材料情報ＤＢ１７６のレコードレイアウトの一例を示す説明図である。材料情報ＤＢ１７６は、材料ＩＤ列、種類列、サイズ列、厚み列、製品名列及び製品規格列を含む。材料ＩＤ列は、各材料を識別するために、一意に特定される材料のＩＤを記憶している。種類列は、材料の種類（例えば、ガラス）を記憶している。サイズ列は、材料のサイズを記憶している。厚み列は、材料の厚みを記憶している。製品名列は、該材料を用いて生産した製品（ワーク）の名称を記憶している。製品規格列は、該材料を用いて生産した製品（ワーク）の形状、寸法、材質、成分、品質、性能、耐久性、安全性、機能等を規定した規格情報を記憶している。

図２７は、運転条件ＤＢ１７７のレコードレイアウトの一例を示す説明図である。運転条件ＤＢ１７７は、運転条件ＩＤ列、測定位置列、測定の合格範囲列、測定速度列、測定精度列及び測定圧力列を含む。運転条件ＩＤ列は、各運転条件を識別するために、一意に特定される運転条件のＩＤを記憶している。測定位置列は、検査対象物に対する測定位置を記憶している。測定の合格範囲列は、合格閾値の上下変動範囲（誤差）を記憶している。測定速度列は、検査対象物を測定する際の速度を記憶している。測定精度列は、検査対象物を測定する際の精度を記憶している。測定圧力列は、検査対象物を測定する際の圧力を記憶している。

図２８は、スコアＤＢ１７８のレコードレイアウトの一例を示す説明図である。スコアＤＢ１７８は、ステータス列及びスコア列を含む。ステータス列は、強化学習における報酬付与の基準とし、製品評価の行動（ステータス）を記憶している。本実施の形態では、報酬付与の基準とする製品（例えば、グラスビン）評価のステータスとしては、製品の重量、厚さ、形状、サイズ、耐熱性、耐久性及び安全性に対して評価するためのステータスを定義してある。例えば、耐熱性に対する二つのレベルを設けても良い。製品が耐熱性のレベル１に達成した場合、５０点のスコアを得て、耐熱性のレベル２に達成した場合、８０点のスコアを得る。スコア列は、製品評価のステータスに対応付けて、強化学習の際の報酬値とするスコアを記憶している。

なお、上述した各ＤＢの記憶形態は一例であり、データ間の関係が維持されていれば、他の記憶形態であっても良い。

本実施形態では、サーバ１の制御部１１は強化学習手法を用いて、大容量記憶部１７の材料情報ＤＢ１７６に記憶してある検査対象の材料情報に基づき、検査装置２に対する運転条件の設定値の優先度を学習（変更）する処理を行う。

強化学習（ＤＱＮ：Deep Q-Network）は、機械学習の手法の一つであり、現在の状態（ｓ；States）を元に取るべき行動（ａ；Actions）を選択するための学習手法である。より詳細には、強化学習は、ある方策（π；Policy）に基づきある状態である行動を取った場合に、得られた報酬（ｒ；Reward）から当該方策を評価し、将来に亘って得られる報酬の累積値を最大化するよう方策を改善する手法である。強化学習では、例えば以下の式（１）、（２）を用いて方策の評価と改善とを行う。

式（１）は状態価値関数であり、方策πの下での状態ｓの価値を定義する関数である。Ｒｔは最終的な累積報酬を表す関数（Reward Function）であり、ある時点ｔでの報酬ｒと、遠い将来に得られる報酬ｒほど割り引いて評価するための割引率γ（Discount Factor）とで表される。式（１）に示すように、状態価値関数は、ある状態ｓにおいて得られるであろう累積報酬Ｒｔの期待値で表される。

式（２）は行動価値関数であり、方策πの下で、状態ｓにおいて行動ａを取ることの価値を定義する関数である。行動価値関数も状態価値関数と同様に、累積報酬Ｒｔの期待値で表される。

強化学習では、式（１）、（２）で表される各関数を、次の式（３）、（４）で示すように最大化（最適化）する学習を行う。

式（３）、（４）をまとめると、次の式（５）となる。

強化学習では、式（５）を目的関数として、当該目的関数の最適化を行う。具体的には、例えばモンテカルロ法、Ｑ学習、方策勾配法等を用いて、目的関数の最適化を行う。なお、これらの最適化アルゴリズムは公知のものであるため、これ以上の詳細な説明は省略する。

サーバ１の制御部１１は上述の強化学習を用いて、検査装置２に対する運転条件の設定値の優先度を学習する処理を行う。具体的には、制御部１１は、大容量記憶部１７の材料情報ＤＢ１７６に記憶してある検査対象の材料情報を状態ｓとし、検査装置２に対する各種の設定値を出力する運転条件を行動ａとして、スコアＤＢ１７８で規定される報酬（スコア）に基づく強化学習を行う。

サーバ１の制御部１１は、検査対象の材料情報を状態ｓとして、式（５）で表される目的関数に入力する。制御部１１は、スコアＤＢ１７８を参照し、検査装置２を用いて検査した製品（ワーク）に対する評価行動に基づいて報酬値を算出する。スコアＤＢ１７８は、検査装置２を用いて検査した製品の評価行動を判定基準として、製品の各ステータスの評価行動を取った場合に与えられる報酬ｒを規定している。具体的には図２８で説明したように、スコアＤＢ１７８は、製品の評価行動を表すステータスそれぞれに対応付けて、強化学習の報酬ｒとするスコアを格納している。

スコアＤＢ１７８では、例えば製品の厚さに対する「厚さのレベル１に達成」及び「厚さのレベル２に達成」二つのステータスと定義しても良い。「厚さのレベル１に達成」の場合のスコアを「３０」と定義し、「厚さのレベル２に達成」の場合のスコアを「４５」と定義している。つまり、製品の厚さが厚さのレベル１（例えば、３ｍｍ〜３．１０ｍｍ）に達成した場合、報酬ｒとして３０ポイントが与えられる。なお、製品の厚さが厚さのレベル１及び厚さのレベル２の両方に達成していない場合（製品の厚さが基準範囲外である）、報酬ｒとして０ポイントが与えられる。または評価が低いことに応じて、報酬ｒとしてマイナスポイント（例えば、−１０ポイント）が与えられても良い。従って、スコアＤＢ１７８のステータス列に対応する製品の評価行動に基づき、累積報酬Ｒｔが計算される。

制御部１１は、上記のように算出される報酬を元に、目的関数の最適化を行う。すなわち、制御部１１は、検査装置２に対する各種の設定値を出力する運転条件を行動ａとし、検査対象の材料情報を状態ｓとして、製品に対する評価行動を元に算出された累積報酬Ｒｔを元に、式（５）で表されるＱ関数の最適化を行う。

上記のようにして制御部１１は、検査対象の材料情報（状態ｓ）を入力値として、検査装置２に対する各種の設定値を出力すべき運転条件（行動ａ）を出力値として得る学習済みの設定値学習モデル１７５を生成する。

図２９は、設定値学習モデル１７５を用いて運転条件の設定値を出力する説明図である。検査対象の材料情報（状態ｓ）が強化学習済みの設定値学習モデル１７５に入力された場合、制御部１１は、検査装置２の運転条件（行動ａ）を出力する。図示のように、状態ｓは検査対象の材料サイズ、厚み、形状及び成分によって決められる。設定値学習モデル１７５が状態ｓから各行動ａ（例えば、ａ１、ａ２、ａ３）に対応するＱ値を出力する。出力された行動ａは、例えば測定位置、測定速度、測定精度及び測定圧力の設定値である。なお、入力に検査装置周囲の湿度、温度等の環境情報を状態ｓに含めて学習させても良い。

制御部１１は、最も高い値を有するＱ値を抽出し、抽出したＱ値に対応する設定値を含む操作信号を検査装置２に送信（出力）する。例えば、制御部１１は通信部１３を介して、検査装置２に対して測定速度を含む操作信号を検査装置２に送信する。検査装置２の制御部２１は、通信部２６を介して、サーバ１から送信された操作信号を受信し、受信した操作信号に基づいて操作指令を出力する。

図３０は、運転条件の設定値を含む操作信号を出力する際の処理手順を示すフローチャートである。サーバ１の制御部１１は、通信部１３を介して、材料情報を検査装置２から取得する（ステップＳ１５１）。制御部１１は、取得した材料情報を大容量記憶部１７の材料情報ＤＢ１７６に記憶する（ステップＳ１５２）。具体的には、制御部１１は材料ＩＤを割り振って、種類、サイズ、厚み、製品名及び製品規格を一つのレコードとして材料情報ＤＢ１７６に記憶する。

制御部１１は、取得した材料情報を設定値学習モデル１７５に入力する（ステップＳ１５３）。制御部１１は、検査装置２の運転条件の設定値を取得する（ステップＳ１５４）。具体的には、上述の如く、制御部１１は強化学習手法を用いて、材料情報を入力した場合に検査装置２の運転条件の設定値を出力するよう学習された設定値学習モデル１７５を利用する。制御部１１は、検査対象の材料情報を設定値学習モデル１７５に入力し、検査装置２の運転条件の設定値を出力する。

制御部１１は、取得した運転条件の設定値を含む操作信号を検査装置２に送信する（ステップＳ１５５）。検査装置２の制御部２１は、通信部２６を介して、サーバ１から送信された操作信号を受信する（ステップＳ２５１）。制御部２１は、受信した操作信号に応じた操作指令を出力し（ステップＳ２５２）、処理を終了する。

また、上述した処理を検査装置２に付随する検査対象の生産装置にも適用される。図３１は、第２設定値学習モデルを用いて生産装置の設定値を出力する説明図である。サーバ１は、検査対象の生産材料情報を入力した場合に生産装置の設定値を出力するよう学習された第２設定値学習モデルに生産材料情報を入力し、生産装置の設定値を出力する。

図示のように、状態ｓは生産材料サイズ、生産材料材質、生産湿度及び生産温度によって決められる。第２設定値学習モデルが状態ｓから各行動ａ（例えば、ａ４、ａ５、ａ６）に対応するＱ値を出力する。出力された行動ａが、例えば生産装置の運転時間、生産速度及びプレス圧力の設定値である。なお、第２設定値学習モデルのＱ値の最適化処理に関しては、設定値学習モデル１７５のＱ値の最適化処理と同様であるため、説明を省略する。サーバ１は、最も高い値を有するＱ値を抽出し、抽出したＱ値に対応する設定値を含む操作信号を生産装置に送信（出力）する。

本実施形態によると、強化学習手法を用いて、検査対象の材料情報に基づき、検査装置２に対する運転条件の設定値の優先度を学習する処理を行うことが可能となる。

本実施形態によると、検査対象に応じた検査装置に対する各種の設定値を含む操作信号を出力することが可能となる。

本実施形態によると、検査装置に付随する検査対象の生産装置に対する各種の設定値を含む操作信号を出力することが可能となる。

本実施形態によると、最適な運転条件の設定値を出力することにより、生産性を向上させることが可能となる。

今回開示された実施形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。

１ 情報処理装置（サーバ）
１１ 制御部
１２ 記憶部
１３ 通信部
１４ 入力部
１５ 表示部
１６ 読取部
１７ 大容量記憶部
１７１ 検査結果ＤＢ
１７２ 良否判定モデル
１７３ 第２良否判定モデル
１７４ ボタン配置ＤＢ
１７５ 設定値学習モデル
１７６ 材料情報ＤＢ
１７７ 運転条件ＤＢ
１７８ スコアＤＢ
１ａ 可搬型記憶媒体
１ｂ 半導体メモリ
１Ｐ 制御プログラム
２ 検査装置
２１ 制御部
２２ 記憶部
２３ 位置検出部
２４ 入力部
２５ 表示部
２６ 通信部
２７ 搬送機構
２７１ 搬送コンベア
２７２ コンベアモータ
２７３ 振分装置
２８ 読取部
２９ 大容量記憶部
２９１ 測定データＤＢ
２９２ メッセージＤＢ
２ａ 可搬型記憶媒体
２ｂ 半導体メモリ
２Ｐ 制御プログラム
３ 撮像装置

Claims (14)

1. 装置に関する情報を表示するモニタ画面をキャプチャした画面情報を取得し、
   取得した前記画面情報内の対象物の画像またはグラフ領域内の画像を抽出し、
   抽出した前記対象物の画像またはグラフ領域内の画像に基づき、対象物に対する異常の有無を判断する
   処理をコンピュータに実行させるプログラム。
2. 検査装置の検査結果を表示するモニタ画面をキャプチャした画面情報を取得し、
   取得した前記画面情報内の検査対象物の画像またはグラフ領域内の画像を抽出し、
   抽出した前記検査対象物の画像またはグラフ領域内の画像に基づき、検査対象物に対する異常の有無を判断する
   処理を実行させる請求項１に記載のプログラム。
3. 前記画面情報に基づき、異常の有無を入力するボタンを認識し、
   前記異常の有無を判断した結果に応じて、認識した前記ボタンの操作信号を出力する
   処理を実行させる請求項１又は２に記載のプログラム。
4. 検査対象物の画像またはグラフ領域内の画像を入力した場合に認識結果を出力する学習済みの画像認識モデルを用いて、異常の有無の認識結果を出力する
   処理を実行させる請求項２又は３に記載のプログラム。
5. 検査対象物の画像またはグラフ領域内の画像を入力した場合に認識結果を出力する学習済みの第２画像認識モデルを用いて、異常種類が分類された認識結果を出力する
   処理を実行させる請求項２から４までのいずれかひとつに記載のプログラム。
6. 前記画面情報から検査装置の検査における各段階での操作ボタンを認識する
   処理を実行させる請求項２から５までのいずれかひとつに記載のプログラム。
7. 前記画面情報からアラートメッセージを抽出する
   処理を実行させる請求項１から６までのいずれかひとつに記載のプログラム。
8. 抽出した前記アラートメッセージの内容に応じて、操作対象のボタンを特定し、
   特定した前記ボタンの操作信号を出力する
   処理を実行させる請求項７に記載のプログラム。
9. 検査装置を撮像する撮像装置から撮像画像を取得し、
   取得した前記撮像画像と前記画面情報とを出力する
   処理を実行させる請求項２から８までのいずれかひとつに記載のプログラム。
10. 検査対象に応じた検査装置に対する各種の設定値を受け付け、
    受け付けた前記設定値を含む操作信号を出力する
    処理を実行させる請求項２から９までのいずれかひとつに記載のプログラム。
11. 検査装置に付随する検査対象の生産装置に対する各種の設定値を受け付け、
    受け付けた前記設定値を含む操作信号を出力する
    処理を実行させる請求項２から１０までのいずれかひとつに記載のプログラム。
12. 検査対象の材料情報を入力した場合に検査装置の運転条件の設定値を出力するよう学習された学習モデルに前記材料情報を入力し、前記運転条件の設定値を出力し、
    出力した前記設定値を含む操作信号を出力する
    処理を実行させる請求項１１に記載のプログラム。
13. 装置に関する情報を表示するモニタ画面をキャプチャした画面情報を取得し、
    取得した前記画面情報内の対象物の画像またはグラフ領域内の画像を抽出し、
    抽出した前記対象物の画像またはグラフ領域内の画像に基づき、対象物に対する異常の有無を判断する
    処理をコンピュータに実行させる情報処理方法。
14. 装置に関する情報を表示するモニタ画面をキャプチャした画面情報を取得する取得部と、
    取得した前記画面情報内の対象物の画像またはグラフ領域内の画像を抽出する抽出部と、
    抽出した前記対象物の画像またはグラフ領域内の画像に基づき、対象物に対する異常の有無を判断する判断部と
    を備える情報処理装置。