JP2020187412A - 情報処理装置及び情報処理方法 - Google Patents

Abstract

【課題】所定の処理又は動作を行う装置の状態の判定精度を向上させる。【解決手段】所定の処理又は動作を行う装置から得られる第１のデータと、所定の処理又は動作による作用を受けた後の作用対象から得られる第２のデータと、当該装置の状態を示すラベルと、を学習用データとして用いて予測モデルを学習させ、新たに取得される、当該装置から得られる第１のデータと、所定の処理又は動作による作用を受けた後の作用対象から得られる第２のデータと、の入力に対する学習済みの予測モデルの出力を取得し、学習済みの予測モデルの出力に基づいて、当該装置の状態を判定する、制御部を備える情報処理装置である。【選択図】図１

Description

本発明は、所定の処理又は動作を行う装置の状態を判定する技術に関する。

所定の処理又は動作を行う装置の状態を判定する技術として、例えば、工作機械の稼働を表す時系列データに基づいて、当該工作機械が正常に動作しているか否かを判定する技術が開示されている（例えば、特許文献１、２）。

特開２０１８−０２２３７１号公報 特開２０１６−０３１６４３号公報

しかしながら、装置に発生した異常は、当該装置の稼働状態に限らず、当該装置の所定の処理又は動作による作用を受けた後の作用対象にも影響を与える場合もある。例えば、工作機械に発生した異常は、工作機械の稼働状態に限らず、当該工作機械による加工中又は加工後の加工対象にも影響を与える場合もある。そのため、装置の異常の影響が、当該装置の稼働状況よりも作用対象に先に表れる可能性もある。したがって、装置の稼働を表す時系列データに基づいて異常を検出するだけでは、当該装置の異常の発生の検出が遅れたり看過されたりする可能性がある。

本発明は、上記した問題に鑑み、所定の処理又は動作を行う装置の状態の判定精度を向上可能な情報処理装置及び情報処理方法を提供することを課題とする。

本発明の態様の一つは、
所定の処理又は動作を行う装置から得られる第１のデータと、前記所定の処理又は動作による作用を受けた後の作用対象から得られる第２のデータと、前記装置の状態を示すラベルと、を学習用データとして用いて予測モデルを学習させ、
新たに取得される、前記装置から得られる第１のデータと、前記所定の処理又は動作による作用を受けた後の作用対象から得られる第２のデータと、の入力に対する学習済みの前記予測モデルの出力を取得し、
学習済みの前記予測モデルの出力に基づいて、前記装置の状態を判定する、
制御部、
を備える情報処理装置である。

本発明の他の態様の一つは、
所定の処理又は動作を行う装置から得られる第１のデータと、前記所定の処理又は動作による作用を受けた後の作用対象から得られる第２のデータと、前記装置の状態を示すラベルと、を学習用データとして用いて予測モデルを学習させ、
新たに取得される、前記装置から得られる第１のデータと、前記所定の処理又は動作による作用を受けた後の作用対象から得られる第２のデータと、の入力に対する学習済みの前記予測モデルの出力を取得し、
学習済みの前記予測モデルの出力に基づいて、前記装置の状態を判定する、
情報処理方法である。

本発明によれば、所定の処理又は動作を行う装置の状態の判定精度を向上させることができる。

図１は、第１実施形態に係る状態判定システムのシステム構成の一例である。 図２は、状態判定装置のハードウェア構成の一例を示す図である。 図３は、状態判定装置の機能構成の一例を示す図である。 図４は、学習用データと特徴量との一例を示す図である。 図５は、サーモデータの特徴抽出方法の一例を示す図である。 図６は、時系列データの特徴抽出方法の一例を示す図である。 図７は、状態予測モデルの学習処理のフローチャートの一例である。 図８は、状態予測処理のフローチャートの一例である。

本発明の態様の一つは、所定の処理又は動作を行う装置から得られる第１のデータと、所定の処理又は動作による作用を受けた後の作用対象から得られる第２のデータと、当該装置の状態を示すラベルと、を学習用データとして用いて予測モデルを学習させ、新たに取得される、当該装置から得られる第１のデータと、所定の処理又は動作による作用を受けた後の作用対象から得られる第２のデータと、の入力に対する学習済みの予測モデルの出力を取得し、学習済みの予測モデルの出力に基づいて、当該装置の状態を判定する、制御部、を備える情報処理装置である。

所定の処理又は動作を行う装置には、例えば、工作機械がある。この場合、所定の処理又は動作は、例えば、加工対象を加工する処理又は動作である。また、当該装置の所定の処理又は動作による作用を受ける作用対象は、当該工作機械によって加工される加工対象となる。ただし、所定の処理又は動作を行う装置は、工作機械に限定されない。所定の処理又は動作を行う装置の他の一例には、車両がある。この場合には、所定の処理又は動作は、例えば、車両のエンジン起動及び停止、加減速のシーケンス等である。また、当該装置の所定の処理又は動作による作用を受ける作用対象には、例えば、周辺環境等がある。

装置の状態には、例えば、正常に稼働している正常状態と、異常が発生している異常状態と、がある。ただし、装置の状態はこれらに限定されない。予測モデルには、例えば、畳み込みニューラルネットワーク（ＣＮＮ）、再帰型ニューラルネットワーク（ＲＮＮ）等が用いられる。ただし、予測モデルに用いられるロジックはこれらに限定されない。

本発明の態様の一つによれば、装置から得られる第１のデータに加えて、装置による所定の処理又は動作による作用を受けた後の作用対象から得られる第２のデータも用いて、装置の状態を判定するので、より早く装置の異常を検出できたり、装置の異常の看過を低減したりすることができる。

本発明の態様の一つでは、第１のデータは、当該装置の所定の処理又は動作に係る時系列データであってもよく、第２のデータは、作用対象の画像データであってもよい。異なる種類のデータを用いることによって、装置の状態を多角的に分析することができ、装置の状態をより精度よく判定することができる。

本発明の態様の一つでは、制御部は、予測モデルへの入力として、第１のデータ及び第２のデータそれぞれの特徴量を取得するようにしてもよい。これによって、予測モデルへ
入力されるデータサイズを小さくすることができ、予測モデルによる処理の負荷を軽減することができる。

本発明の態様を、情報処理方法の側面から捉えることもできる。当該情報処理方法は、所定の処理又は動作を行う装置から得られる第１のデータと、所定の処理又は動作による作用を受けた後の作用対象から得られる第２のデータと、当該装置の状態を示すラベルと、を学習用データとして用いて予測モデルを学習させ、新たに取得される、当該装置から得られる第１のデータと、所定の処理又は動作による作用を受けた後の作用対象から得られる第２のデータと、の入力に対する学習済みの予測モデルの出力を取得し、学習済みの予測モデルの出力に基づいて、当該装置の状態を判定することを含む。なお、上述までの情報処理装置に関して開示された技術的思想は、技術的な齟齬が生じない範囲で当該情報処理方法にも適用できる。

以下、図面に基づいて、本発明の実施の形態を説明する。以下の実施形態の構成は例示であり、本発明は実施形態の構成に限定されない。

＜第１実施形態＞
図１は、第１実施形態に係る状態判定システムのシステム構成の一例である。状態判定システム１００は、例えば、状態判定装置１、加工対象３、加工対象３を加工する工作機械２を含む。状態判定装置１は、工作機械２の状態を判定する装置である。第１実施形態では、状態判定装置１は、工作機械２の稼働を示す時系列データと、当該工作機械による加工中又は加工後の加工対象３のサーモデータと、を状態予測モデルの入力とし、当該状態予測モデルの出力から、工作機械の状態を判定する。状態判定装置１は、「情報処理装置」の一例である。工作機械２は、「所定の処理又は動作を行う装置」の一例である。加工対象３は、「作用対象」の一例である。

状態予測モデルは、例えば、畳み込みニューラルネットワーク、再帰型ニューラルネットワーク、その他機械学習方法によって構築されたモデルである。状態予測モデルは、工作機械２の稼働を表す時系列データ、加工中又は加工後の加工対象３のサーモデータ、工作機械２の状態を示すラベルを学習データとして学習されたモデルである。

工作機械２の稼働を示す時系列データは、例えば、動作プロセスの各時刻において、所定のセンサによって測定された測定値である。センサは、例えば、工作機械２に備えられているものが利用されてもよいし、工作機械２の周囲に設置されているものが用いられてもよい。当該センサと状態判定装置１とは、例えば、ＬＡＮ（Local Area Network）や無線ＬＡＮ等によって通信可能に接続されている。工作機械２の稼働を示すデータを測定するセンサは、１つであっても複数であってもよい。工作機械２の稼働を示す時系列データは、「第１のデータ」の一例である。

加工対象３のサーモデータは、工作機械２又は工作機械２の周囲に設置されているサーモグラフカメラによって加工対象３が撮像された、加工対象３の表面及び／又は内部の温度を示すサーモグラフィ画像データである。サーモグラフカメラは、例えば、１つであってもよいし、複数の角度から加工対象３が撮影されるように複数備えられてもよい。加工中又は加工後の加工対象３のサーモデータは、「第２のデータ」の一例である。

＜装置構成＞
図２は、状態判定装置１のハードウェア構成の一例を示す図である。状態判定装置１は、例えば、ＰＣ（Personal Computer）等の汎用のコンピュータ、サーバ等の専用のコン
ピュータ等である。状態判定装置１は、例えば、ハードウェア構成要素として、ＣＰＵ（Central Processing Unit）１１、主記憶装置１２、補助記憶装置１３、入力装置１４、
出力装置１５、ネットワークインタフェース１６を備え、これらがバスにより互いに接続されている情報処理装置である。

入力装置１４は、例えば、キーボード、マウス等のポインティングデバイス、タッチパネル等である。また、入力装置１４には、カメラやスキャナのような画像の入力装置や、マイクロフォンのような音声入力装置を含むことができる。入力装置１４から入力されたデータは、ＣＰＵ １１に出力される。

ネットワークインタフェース１６は、ネットワークとの情報の入出力を行うインタフェースである。ネットワークインタフェース１６は、有線のネットワーク、及び／又は、無線のネットワークと接続する。ネットワークインタフェース１６は、例えば、ＮＩＣ（Network Interface Card）、無線ＬＡＮ（Local Area Network）カード、携帯電話網に接続するための無線回路等である。

主記憶装置１２は、ＣＰＵ １１に、補助記憶装置１３に格納されているプログラムをロードする記憶領域および作業領域を提供したり、バッファとして用いられたりする記憶装納する。補助記憶装置１３は、例えば、ＥＰＲＯＭ（Erasable Programmable ROM）、
ハードディスク（Hard Disｋ Drive）である。補助記憶装置１３は、例えば、オペレーティングシステム（ＯＳ）、状態判定プログラム、その他様々なアプリケーションプログラムを保持する。状態判定プログラムは、工作機械２の状態を判定するためのプログラムである。

ＣＰＵ １１は、補助記憶装置１３に保持されたＯＳや様々なアプリケーションプログラムを主記憶装置１２にロードして実行することによって、様々な処理を実行する。ＣＰＵ １１は、１つであってもよいし、複数であってもよい。ＣＰＵ １１は、「制御部」の一例である。

出力装置１５は、ＣＰＵ １１の処理の結果を出力する。出力装置１５は、ディスプレイやプリンタである。また、出力装置１５は、スピーカのような音声出力装置を含むことができる。

なお、図２に示される状態判定装置１のハードウェア構成は、一例であり、上記に限られず、実施の形態に応じて、適宜、構成要素の省略や置換、追加が可能である。例えば、状態判定装置１は、可搬記録媒体を駆動し、可搬記録媒体に記録されたデータを読み出す可搬記録媒体駆動装置を備えてもよい。可搬記録媒体は、例えば、ＵＳＢメモリ、ＣＤ（Compact Disc）やＤＶＤ（Digital Versatile Disc）、Ｂｌｕ−ｒａｙディスクのようなディスク記録媒体、フラッシュメモリカードのような記録媒体である。

図３は、状態判定装置１の機能構成の一例を示す図である。状態判定装置１は、機能構成要素として、学習用サーモデータ特徴抽出部１１１、学習用時系列データ特徴抽出部１１２、モデル学習部１１３、予測用サーモデータ特徴抽出部１２１、予測用時系列データ特徴抽出部１２２、状態予測部１２３、要因解析部１３０、状態予測モデル１４０を備える。これらの機能構成要素は、例えば、状態判定装置１のＣＰＵ １１が補助記憶装置１３に格納されている状態判定プログラムを実行することによって達成される。

状態予測モデル１４０は、例えば、畳み込みニューラルネットワーク、再帰型ニューラルネットワーク等の機械学習モデルである。状態判定装置１には、学習用データと予測用データとが入力される。学習用データは、予め用意されたデータセットであって、学習用サーモデータ、学習用時系列データ、ラベルとのセットである。学習用サーモデータ、学習用時系列データが状態予測モデル１４０への入力となり、出力値がラベルの値に近づく
ように状態予測モデル１４０のパラメータが調整されることで、状態予測モデル１４０の学習が行われる。第１実施形態では、ラベルは、正常、異常の２値を想定する。

予測用データは、予測用サーモデータと予測用時系列データとのセットである。予測用データは、状態判定の対象となる工作機械２について測定されたデータである。予測用サーモデータと予測用時系列データとを状態予測モデル１４０へ入力すると、工作機械２の状態を示す値が状態予測モデルから出力される。

ただし、サーモデータや時系列データ自体では、サイズが大きかったり、次元が高かったりして情報量が多いため、第１実施形態では、サーモデータ及び時系列データから特徴量を抽出して情報量を少なくする処理が行われる。状態予測モデル１４０には、サーモデータと時系列データそれぞれの特徴量が入力される。

学習用サーモデータ特徴抽出部１１１は、学習用サーモデータから所定の方法で特徴量を抽出する。学習用時系列データ特徴抽出部１１２は、学習用時系列データから所定の方法で特徴量を抽出する。サーモデータ及び時系列データからの特徴量の抽出方法の詳細は後述される。

モデル学習部１１３は、学習用サーモデータの特徴量、学習用時系列データの特徴量、ラベルを用いて状態予測モデル１４０の学習を行う。状態予測モデル１４０の学習の詳細は、後述される。

予測用サーモデータ特徴抽出部１２１は、予測用サーモデータから所定の方法で特徴量を抽出する。予測用時系列データ特徴抽出部１２２は、予測用時系列データから所定の方法で特徴量を抽出する。状態予測部１２３は、予測用サーモデータの特徴量、予測用時系列データの特徴量を学習済みの状態予測モデル１４０に入力し、状態予測モデル１４０の出力に基づいて、工作機械２の状態を判定する。

学習用サーモデータ特徴抽出部１１１と予測用サーモデータ特徴抽出部１２１とのサーモデータからの特徴量の抽出方法は同じである。学習用時系列データ特徴抽出部１１２と予測用時系列データ特徴抽出部１２２との時系列データからの特徴量の抽出方法は同じである。また、サーモデータからの特徴量の抽出方法と時系列データからの特徴量の抽出方法とは同じであっても異なっていてもよい。

要因解析部１３０は、状態予測部１２３の工作機械２の状態判定結果が異常である場合に、工作機械２の異常の判定の要因が、工作機械２の動作にあるか、加工対象３の状態にあるのかを切り分けるために、予測用サーモデータの特徴量及び予測用時系列データの特徴量に対して要因解析を実施する。要因解析は、状態予測モデル１４０の種類に応じた周知のいずれの手法で行われてもよい。

図４は、学習用データと特徴量との一例を示す図である。学習用データとして、１回の動作プロセスＰｉ（ｉ：正の整数、iは回数を示す変数）について、時系列データとサー
モデータとラベルとが得られている。１回の動作プロセスに対して時系列データ、サーモデータともに複数データが得られていてもよい。例えば、工作機械２の動作を監視するセンサが複数存在する場合には、それぞれのセンサについて時系列データが得られるため、１回の動作プロセスについて時系列データは複数となる。例えば、加工対象３を異なる角度から撮影するために複数台のサーモグラフィカメラが設置されている場合には、それぞれのサーモグラフィカメラについてサーモデータが得られるため、１回の動作プロセスについてサーモデータは複数となる。

各動作プロセスＰｉについて、時系列データ及びサーモデータからそれぞれの特徴量が抽出され、時系列データの特徴量Ｚｗ（ｉ，ｊ）（ｊ：正の整数、ｊは動作プロセス内のタイムステップを示す）とサーモデータの特徴量Ｚｔ（ｉ）とを結合した特徴量Ｚ（ｉ）が状態予測モデルの入力となる。

図５は、サーモデータの特徴抽出方法の一例を示す図である。サーモデータが、例えば、加工対象３の表面から取得される２次元のデータである場合には、２次元の各メッシュに１つの温度が記録されているとする。サーモデータが、例えば、加工対象３の表面及び内部から取得される場合は、３次元の各メッシュに１つの温度が記録されているとする。

学習用サーモデータ特徴抽出部１１１は、例えば、動作プロセスＰｉの加工中又は加工後のいずれかの時点における加工対象３のサーモデータに対して、自己符号化器を構築する。自己符号化器として、例えば、変分オートエンコーダ（variational autoencoder）
等が用いられる。自己符号化器は、出力データが入力データを再現するような、入力層、中間層、出力層からなるニューラルネットワークである。

すなわち、学習用サーモデータ特徴抽出部１１１は、出力データが入力データを再現するように、所定数の学習用サーモデータを自己符号化器に学習させる。１つの学習用サーモデータについての自己符号化器の学習は、所定の終了条件が満たされると終了される。所定の終了条件は、例えば、入力、出力、パラメータ調整の一連の処理が所定回数実行されたこと、出力データと入力データとの誤差が所定の閾値未満となること、等である。パラメータ調整は、自己符号化器の出力データが入力データを再現するように調整される。

学習用サーモデータ特徴抽出部１１１は、学習が終了した自己符号化器に対して、学習用サーモデータを入力し、その際の中間層の出力値を学習用サーモデータの特徴量Ｚｔ（ｉ）として取得する。自己符号化器の中間層の出力値は潜在表現、潜在変数とも呼ばれる。

予測用サーモデータ特徴抽出部１２１は、学習用サーモデータ特徴抽出部１１１によって学習された自己符号化器に、予測用サーモデータを入力し、予測用サーモデータの特徴量Ｚｔ（ｉ）を取得する。なお、一つの動作プロセスＰｉにつき、複数の時点でサーモデータが取得されたり、複数のカメラによって異なる角度から取得されたりして、複数のサーモデータが存在する場合には、それぞれのサーモデータについて特徴量Ｚｔ（ｉ，ｋ）（ｋはサーモデータを識別する変数）が得られる。なお、サーモデータの特徴抽出方法は、自己符号化器を用いる方法に限定されず、周知のいずれの方法が用いられてもよい。

図６は、時系列データの特徴抽出方法の一例を示す図である。時系列データは、動作プロセスＰｉの時刻ｔｊ（ｊ＝１，．．．，Ｍ）における測定値である。時系列データは、例えば、変数１，．．．，Ｋそれぞれについて存在する。変数１，．．．，Ｋは、例えば、センサである。

学習用時系列データ特徴抽出部１１２は、動作プロセスＰｉの時刻ｔｊにおけるすべての変数１，．．．，Ｋの測定値を並べたベクトルＹ（ｉ，ｊ）＝（ｙ（ｉ，ｊ）＾１，ｙ（ｉ，ｊ）＾２，．．．，ｙ（ｉ，ｊ）＾Ｋ）＾Ｔをサンプルとして生成し、入力及び出力がともにＹ（ｉ，ｊ）となるように、自己符号化器を学習させる。当該自己符号化器の学習は、所定の終了条件が満たされると終了する。自己符号化器の学習の終了条件は、学習用サーモデータ特徴抽出部１１１と同じであってもよい。

学習用時系列データ特徴抽出部１１２は、学習が終了した自己符号化器に対して、学習用時系列データのベクトルＹ（ｉ，ｊ）を入力し、その際の中間層の出力値を学習用時系
列データの特徴量Ｚｗ（ｉ，ｊ）（潜在表現Ｚｗ（ｉ，ｊ）ともいう）として取得する。

予測用時系列データ特徴抽出部１２２は、学習用時系列データ特徴抽出部１１２によって学習された自己符号化器に、予測用時系列データから作成されるベクトルＹ（ｉ，ｊ）を入力し、予測用時系列データの特徴量Ｚｗ（ｉ，ｊ）を取得する。なお、時系列データの特徴抽出方法は、自己符号化器を用いる方法に限定されず、周知のいずれの方法が用いられてもよい。

＜処理の流れ＞
図７は、状態予測モデルの学習処理のフローチャートの一例である。図７に示される処理は、状態判定装置１への管理者からの開始指示の入力、又は、１日１回等の所定のタイミングで実行される。図７に示される処理の実行主体は、ＣＰＵ １１であるが、便宜上、機能構成要素を主体として説明する。

ＯＰ１０１では、モデル学習部１１３は、学習用サーモデータ特徴抽出部１１１から、各動作プロセスＰｉ（ｉ＝１，２，．．．）について学習用サーモデータの特徴量Ｚｔ（ｉ）を取得する。ＯＰ１０２では、モデル学習部１１３は、学習用時系列データ特徴抽出部１１２から、各動作プロセスＰｉについて学習用時系列データの特徴量Ｚｗ（ｉ，ｊ）を取得する。

ＯＰ１０３では、モデル学習部１１３は、学習用サーモデータの特徴量Ｚｔ（ｉ）と学習用時系列データの特徴量Ｚｗ（ｉ，ｊ）とを結合して、特徴量Ｚ（ｉ）を構築する。例えば、学習用時系列データの特徴量Ｚｗ（ｉ，ｊ）は２次元データであるので、モデル学習部１１３は、Ｚｗ（ｉ，１），Ｚｗ（ｉ，２）．．．と一列に並べて一次元データＺｗ（ｉ）とする。さらに、モデル学習部１１３は、学習用時系列データの特徴量Ｚｗ（ｉ）と学習用サーモデータの特徴量Ｚｔ（ｉ）とを一列に並べて特徴量Ｚ（ｉ）とする。

ＯＰ１０４からＯＰ１０６の処理は、状態予測モデルの学習の処理である。ＯＰ１０４からＯＰ１０６の処理は、各動作プロセスＰｉについて繰り返し実行される。ＯＰ１０４では、モデル学習部１１３は、動作プロセスＰｉの特徴量Ｚ（ｉ）を状態予測モデル１４０に入力し、出力を取得する。

ＯＰ１０５では、モデル学習部１１３は、終了条件が満たされたか否かを判定する。終了条件は、例えば、動作プロセスＰｉについて、ＯＰ１０４からＯＰ１０６の処理の実行回数が所定回数に達したこと、状態予測モデル１４０の出力データと入力データとの差分が所定の閾値未満となること、等である。終了条件が満たされた場合には（ＯＰ１０５：ＹＥＳ）、動作プロセスＰｉについての処理が終了し、動作プロセスＰｉ＋１についての処理が開始される。すべての動作プロセスについてＯＰ１０４からＯＰ１０６の処理が終了した場合には、図７に示される処理が終了する。

終了条件が満たされていない場合には（ＯＰ１０５：ＮＯ）、処理がＯＰ１０６に進む。ＯＰ１０６では、モデル学習部１１３は、状態予測モデル１４０のパラメータを調整する。状態予測モデル１４０のパラメータの調整方法は、例えば、誤差逆伝播法等の、状態予測モデル１４０の種類に応じたものとする。その後、再度動作プロセスＰｉについてＯＰ１０４からの処理が繰り返し行われる。

図８は、状態予測処理のフローチャートの一例である。図８に示される処理は、例えば、所定の周期で繰り返し実行される。状態予測処理が行われる周期は、例えば、動作プロセスに要する時間と同じであってもよい。ただし、これに限定されない。図８に示される処理の実行主体は、ＣＰＵ １１であるが、便宜上、機能構成要素を主体として説明する
。

ＯＰ２０１では、状態予測部１２３は、予測用サーモデータ特徴抽出部１２１から予測用サーモデータの特徴量Ｚｔ（ｉ）を取得する。ＯＰ２０２では、状態予測部１２３は、予測用時系列データ特徴抽出部１２２から予測用時系列データの特徴量Ｚｗ（ｉ，ｊ）を取得する。

ＯＰ２０３では、状態予測部１２３は、予測用サーモデータの特徴量Ｚｔ（ｉ）と予測用時系列データの特徴量Ｚｗ（ｉ，ｊ）とを結合して、特徴量Ｚ（ｉ）を構築する。この処理は、ＯＰ１０３の処理と同様にして行われる。

ＯＰ２０４では、状態予測部１２３は、特徴量Ｚ（ｉ）を学習済みの状態予測モデル１４０に入力し、出力を取得する。ＯＰ２０５では、状態予測部１２３は、状態予測モデル１４０の出力に基づいて、工作機械２の状態が正常か否かを判定する。例えば、状態予測モデル１４０の出力値が所定の閾値未満であるか否かを判定することで、工作機械２の状態が正常か否かが判定されてもよい。

工作機械２の状態が正常であると判定される場合には（ＯＰ２０５：ＹＥＳ）、処理がＯＰ２０６に進み、ＯＰ２０６では、状態予測部１２３は「正常」を出力する。その後、図８に示される処理が終了する。工作機械２の状態が異常であると判定される場合には（ＯＰ２０５：ＮＯ）、処理がＯＰ２０７に進み、状態予測部１２３は「異常」を出力する。この場合には、例えば、要因解析部１３０が起動され、異常と判定される要因が、特徴量Ｚｔ及びＺｗに基づいて解析される。その後、図８に示される処理が終了する。

なお、図７及び図８に示される処理は一例であって、状態予測モデルの学習処理及び状態予測処理はこれらに限定されない。

＜第１実施形態の作用効果＞
第１実施形態では、工作機械２の稼働を示す時系列データに加え、工作機械２による加工中又は加工後の加工対象３のサーモデータを用いて、工作機械２の状態を判定する。これによって、例えば、時系列データのみの場合よりも早く工作機械２の異常を検出できたり、時系列データのみでは看過されていた異常を検出できたりして、工作機械２の状態判定の精度が向上する。

また、時系列データは工作機械２の稼働を示す物理量の時間的な分布を示し、サーモデータは工作機械２によって発生する作用を示す物理量の空間的な分布を示す。このように、時間的な観点と空間的な観点という異なる観点から工作機械２による作用が監視されるので、工作機械２の状態判定の精度を向上させることができる。

また、第１実施形態では、時系列データ及びサーモデータ自体を状態予測モデル１４０に入力するのではなく、それぞれから抽出された特徴量が入力される。これによって、状態予測モデル１４０による処理の負荷を軽減することができる。

＜その他の実施形態＞
上記の実施形態はあくまでも一例であって、本発明はその要旨を逸脱しない範囲内で適宜変更して実施しうる。

第１実施形態では、工作機械２の状態を、工作機械２の稼働を示す時系列データと、工作機械２による加工中又は加工後の加工対象３のサーモデータとを用いて判定することについて説明されたが、第１実施形態で説明された技術の適用先はこれに限定されない。作
用を発生する装置の稼働を示す時系列データと、当該作用を受ける作用対象の画像データとの組み合わせで、当該装置の状態を判定することに適用可能である。具体的な例では、例えば、時系列データとしての車両の走行履歴データと、周辺環境の画像データとの組み合わせによって、車両又はエンジンの状態を判定するようにしてもよい。周辺環境は、作用対象の一例である。この場合の動作プロセスは、例えば、加減速のシーケンス、１回のトリップ等である。

本開示において説明した処理や手段は、技術的な矛盾が生じない限りにおいて、自由に組み合わせて実施することができる。

また、１つの装置が行うものとして説明した処理が、複数の装置によって分担して実行されてもよい。あるいは、異なる装置が行うものとして説明した処理が、１つの装置によって実行されても構わない。コンピュータシステムにおいて、各機能をどのようなハードウェア構成（サーバ構成）によって実現するかは柔軟に変更可能である。

本発明は、上記の実施形態で説明した機能を実装したコンピュータプログラムをコンピュータに供給し、当該コンピュータが有する１つ以上のプロセッサがプログラムを読み出して実行することによっても実現可能である。このようなコンピュータプログラムは、コンピュータのシステムバスに接続可能な非一時的なコンピュータ可読記憶媒体によってコンピュータに提供されてもよいし、ネットワークを介してコンピュータに提供されてもよい。非一時的なコンピュータ可読記憶媒体は、例えば、磁気ディスク（フロッピー（登録商標）ディスク、ハードディスクドライブ（ＨＤＤ）等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤディスク、ブルーレイディスク等）など任意のタイプのディスク、読み込み専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、ＥＰＲＯＭ、ＥＥＰＲＯＭ、磁気カード、フラッシュメモリ、光学式カード、電子的命令を格納するために適した任意のタイプの媒体を含む。

１ ：状態判定装置
２ ：工作機械
３ ：加工対象
１２ ：主記憶装置
１３ ：補助記憶装置
１４ ：入力装置
１５ ：出力装置
１６ ：ネットワークインタフェース
１００ ：状態判定システム
１１１ ：学習用サーモデータ特徴抽出部
１１２ ：学習用時系列データ特徴抽出部
１１３ ：モデル学習部
１２１ ：予測用サーモデータ特徴抽出部
１２２ ：予測用時系列データ特徴抽出部
１２３ ：状態予測部
１３０ ：要因解析部
１４０ ：状態予測モデル

Claims (4)

1. 所定の処理又は動作を行う装置から得られる第１のデータと、前記所定の処理又は動作による作用を受けた後の作用対象から得られる第２のデータと、前記装置の状態を示すラベルと、を学習用データとして用いて予測モデルを学習させ、
   新たに取得される、前記装置から得られる第１のデータと、前記所定の処理又は動作による作用を受けた後の作用対象から得られる第２のデータと、の入力に対する学習済みの前記予測モデルの出力を取得し、
   学習済みの前記予測モデルの出力に基づいて、前記装置の状態を判定する、
   制御部、
   を備える情報処理装置。
2. 前記第１のデータは、前記装置の前記所定の処理又は動作に係る時系列データであり、
   前記第２のデータは、前記作用対象の画像データである、
   請求項１に記載の情報処理装置。
3. 前記制御部は、前記予測モデルへの入力として、前記第１のデータ及び前記第２のデータそれぞれの特徴量を取得する、
   請求項１に記載の情報処理装置。
4. 所定の処理又は動作を行う装置から得られる第１のデータと、前記所定の処理又は動作による作用を受けた後の作用対象から得られる第２のデータと、前記装置の状態を示すラベルと、を学習用データとして用いて予測モデルを学習させ、
   新たに取得される、前記装置から得られる第１のデータと、前記所定の処理又は動作による作用を受けた後の作用対象から得られる第２のデータと、の入力に対する学習済みの前記予測モデルの出力を取得し、
   学習済みの前記予測モデルの出力に基づいて、前記装置の状態を判定する、
   情報処理方法。

Images