JP2023138169A - 情報処理装置、情報処理方法、及びプログラム。 - Google Patents

Abstract

【課題】異常検知と個別周期の推定とを可能にする、準周期的パターンを示す時系列データを予測する技術を提供する。【解決手段】情報処理装置１０の制御部１１は、準周期的パターンを示す時系列データを所定の期間において取得し、複数のチャンネルを有するカーネルが適用される畳み込みニューラルネットワークを用いて、取得した時系列データに基づいて、チャンネル毎の特徴量を要素とする特徴ベクトルを複数の時点毎に生成し、注意機構を用いて、複数の時点における特徴ベクトルと複数の時点のうち最先の時点における特徴ベクトルとの類似度に基づいて、複数の時点における特徴ベクトルを重み付けすることにより、注意機構の出力ベクトルを生成し、畳み込みニューラルネットワークの全結合層に、出力ベクトルを入力することにより、所定の期間より後における時系列データを予測する。【選択図】図２

Description

本発明は、情報処理装置、情報処理方法、及びプログラムに関する。

垂直方向と水平方向との製造プロセスの統合、及びモノとインターネットとの繋がりを主眼とする新しい産業ステージであるIndustry 4.0が注目を集めている。Industry 4.0で提唱されているスマート工場は、工場内のあらゆる機械とシステムとの間の通信により、製造プロセスを円滑化し、効率的な生産を可能とする。各生産機械に、消費電力量を計測するためのスマートメータが取り付けられた生産ラインにおいて、スマートメータが示す時系列データの変動から異常信号を自動的に捉えることができれば、製品の欠陥率が抑制され、生産性を向上させることができる。

例えば、特許文献１には、サポートベクトルマシン、ｋＮＮ法（k-nearest neighbor algorithm）、k-means法、ニューラルネットワーク、又は局所外れ値因子法といった機械学習の手法により、工場等に配備された装置が故障する前の予兆となる異常を検出する技術が開示されている。

国際公開第２０１８／００３８７９号

特許文献１に開示された技術は、例えば生産機械の消費電力量データに代表される準周期的パターンを示す時系列データに対する異常検知を行うにあたって、以下の点で改善の余地がある。

すなわち、後述する図１に示されるような、ある生産ラインにおけるスマートメータの時系列データは、準周期的パターンを示す一方で、ロットの切替え又は停止状態等のシステム情報を含んでいない。このような時系列データに対しては、異常検知と並行して、重要製品性能指数である個別周期の推定が強く求められている。個別周期の推定により、生産ラインの異常度を見積もったり、ロットの切替えを検出したりすることができるからである。生産機械の消費電力量データに代表される準周期的パターンを示す時系列データに対する異常検知の手法として、大きく２つのアプローチがある。

１つ目のアプローチは、時系列データを１周期分のセグメントに分割した後、セグメントの特徴量を用いて分類を行う、セグメントベースの手法である。１段階目のセグメンテーションでは、１周期内に現れる特徴的に表す候補点（例えば、１周期内に１つ現れるスパイク等の点）を抽出し、当該候補点を用いて各セグメントに分割する。２段階目の異常検知では、異常又は正常の教師ラベルが与えられている場合には、ナイーブベイズ法又はサポートベクトルマシン等の分類手法が用いられ、異常又は正常の教師ラベルが与えられていない場合には、ＤＢＳＣＡＮ（Density-based spatial clustering of applications with noise）又はｋ-means法等のクラスタリング手法が用いられる。また、データの大部分が正常なデータであることを利用して、教師無しの異常検知手法であるｋＮＮ法若しくはＳＶＤＤ（support vector data description）法、又は深層学習を活用した手法も提案されている。生産機械の消費電力量データでは、教師ラベルが与えられておらず、作業量の省力化の観点で教師ラベルを与えることが厳しいため、前者の分類手法を適用することは困難である。後者のクラスタリング手法であっても、１段階目のセグメンテーションと２段階目の異常検知におけるクラスタリングとが高精度であることが必要とされるが、即時に高精度な応答を返すことは困難である。

２つ目のアプローチは、時系列データの予測手法を活用し、予測誤差で異常度を評価することにより、即時の応答を可能とする予測ベースの手法である。予測ベースの代表的な手法としては、ＡＲＩＭＡ（Autoregressive integrated moving average）モデル又はＬＳＴＭ（Long Short Term Memory）を活用した研究があり、予測信頼区間の内外で異常が判別されている。しかしながら、これらの手法は、個別周期を推定することができず、準周期的パターンを活用した異常検知を行うこともできない。

かかる事情に鑑みてなされた本発明の目的は、異常検知と個別周期の推定とを可能にする、準周期的パターンを示す時系列データを予測する技術を提供することにある。

本発明の一実施形態に係る情報処理装置は、
制御部を備える情報処理装置であって、
前記制御部は、
準周期的パターンを示す時系列データを所定の期間において取得する、時系列データ取得処理と、
複数のチャンネルを有するカーネルが適用される畳み込みニューラルネットワークを用いて、取得した前記時系列データに基づいて、前記チャンネル毎の特徴量を要素とする特徴ベクトルを、複数の時点毎に生成する、特徴ベクトル生成処理と、
注意機構を用いて、前記複数の時点における前記特徴ベクトルと前記複数の時点のうち最先の時点における前記特徴ベクトルとの類似度に基づいて、前記複数の時点における前記特徴ベクトルを重み付けすることにより、前記注意機構の出力ベクトルを生成する、出力ベクトル生成処理と、
前記畳み込みニューラルネットワークの全結合層に、重み付けされた前記複数の時点における前記特徴ベクトルを入力することにより、前記所定の期間より後における前記時系列データを予測する、時系列データ予測処理と、
を実行する。

また、本発明の一実施形態に係る情報処理装置において、
前記制御部は、前記複数の時点のうち、前記最先の時点を除く時点であって、且つ前記類似度に相当する重みベクトルの要素の値が最大となる時点に基づいて、取得した前記時系列データの各時刻における個別周期を推定してもよい。

また、本発明の一実施形態に係る情報処理装置において、
前記制御部は、取得した前記時系列データと予測した前記時系列データとの比較に基づいて、取得した前記時系列データにおける異常の有無を判定してもよい。

また、本発明の一実施形態に係る情報処理装置において、
前記制御部は、前記類似度に相当する重みベクトルの要素を用いて構成される確率分布に基づいて、取得した前記時系列データにおける異常の有無を判定してもよい。

また、本発明の一実施形態に係る情報処理装置において、
前記制御部は、推定した前記個別周期の頻度を用いて構成される経験分布に基づいて、取得した前記時系列データにおける異常の有無を判定してもよい。

本発明の一実施形態に係る情報処理方法は、
情報処理装置が実行する情報処理方法であって、
準周期的パターンを示す時系列データを所定の期間において取得する、時系列データ取得ステップと、
複数のチャンネルを有するカーネルが適用される畳み込みニューラルネットワークを用いて、取得した前記時系列データに基づいて、前記チャンネル毎の特徴量を要素とする特徴ベクトルを、複数の時点毎に生成する、特徴ベクトル生成ステップと、
注意機構を用いて、前記複数の時点における前記特徴ベクトルと前記複数の時点のうち最先の時点における前記特徴ベクトルとの類似度に基づいて、前記複数の時点における前記特徴ベクトルを重み付けすることにより、前記注意機構の出力ベクトルを生成する、出力ベクトル生成ステップと、
前記畳み込みニューラルネットワークの全結合層に、重み付けされた前記複数の時点における前記特徴ベクトルを入力することにより、前記所定の期間より後における前記時系列データを予測する、時系列データ予測ステップと、
を含む。

本発明の一実施形態に係るプログラムは、
コンピュータに、
準周期的パターンを示す時系列データを所定の期間において取得する、時系列データ取得ステップと、
複数のチャンネルを有するカーネルが適用される畳み込みニューラルネットワークを用いて、取得した前記時系列データに基づいて、前記チャンネル毎の特徴量を要素とする特徴ベクトルを、複数の時点毎に生成する、特徴ベクトル生成ステップと、
注意機構を用いて、前記複数の時点における前記特徴ベクトルと前記複数の時点のうち最先の時点における前記特徴ベクトルとの類似度に基づいて、前記複数の時点における前記特徴ベクトルを重み付けすることにより、前記注意機構の出力ベクトルを生成する、出力ベクトル生成ステップと、
前記畳み込みニューラルネットワークの全結合層に、重み付けされた前記複数の時点における前記特徴ベクトルを入力することにより、前記所定の期間より後における前記時系列データを予測する、時系列データ予測ステップと、
を実行させる。

本発明によれば、異常検知と個別周期の推定とを可能にする、準周期的パターンを示す時系列データを予測する技術を提供することができる。

ある生産ラインにおけるスマートメータの時系列データの概略を説明する図である。 本発明の一実施形態に係る情報処理装置１０の概略構成を示すブロック図である。 図２に示す情報処理装置１０が属するＱｕＡＤシステムを説明する図である。 図２に示す情報処理装置１０の第１の動作例を示すフローチャートである。 図３に示すＱｕＡＤシステムで用いられる予測ネットワークを説明する図である。 図３に示すＱｕＡＤシステムで用いられる注意機構を説明する図である。 図３に示すＱｕＡＤシステムにおける個別周期の推定を説明する図である。

以下、図面を参照して、本発明の実施形態を説明する。

（情報処理装置１０の構成）
図２を参照して、本発明の一実施形態に係る情報処理装置１０の構成を説明する。

情報処理装置１０は、例えば、クラウドコンピューティングシステム又はその他のコンピューティングシステムに属する任意のコンピュータ又はタブレットである。詳細については後述するが、情報処理装置１０は、図３に示されるＱｕＡＤシステムと称されるコンピューティングシステムに属してもよい。ここで、ＱｕＡＤシステムは、画像又は音声処理で用いられる畳み込みニューラルネットワーク（ＣＮＮ；Convolutional Neural Network）と自然言語処理で用いられる注意機構（attention mechanism）との２つの技法によって設計される。

情報処理装置１０は、例えば、制御部１１と、通信部１２と、記憶部１３と、入力部１４と、出力部１５と、を備える。

制御部１１は、ＣＰＵ（central processing unit）若しくはＧＰＵ（graphics processing unit）等のプロセッサ、ＦＰＧＡ（field-programmable gate array）等のプログラマブル回路、ＡＳＩＣ（application specific integrated circuit）等の専用回路、又はこれらの任意の組合せを含む。なお、詳細については後述するが、制御部１１は、情報処理装置１０の各部を制御しながら、情報処理装置１０の動作に関わる処理を実行する。

通信部１２は、通信用インタフェースを含む。当該通信インタフェースは、例えば４Ｇ（4th Generation）若しくは５Ｇ（5th Generation）等の移動体通信規格、有線ＬＡＮ（Local Area Network）規格、又は無線ＬＡＮ規格に対応してもよいが、これらに限られない。なお、詳細については後述するが、通信部１２は、情報処理装置１０の動作に用いられるデータを受信し、また情報処理装置１０の動作によって得られるデータを送信する。

記憶部１３は、半導体メモリ、磁気メモリ、又は光メモリ等のメモリを含む。当該メモリは、例えば、主記憶装置、補助記憶装置、又はキャッシュメモリとして機能してもよい。なお、詳細については後述するが、記憶部１３は、情報処理装置１０の動作に用いられる任意のデータを記憶する。

入力部１４は、入力用インタフェースを含む。当該入力用インタフェースは、例えば、物理キー、静電容量キー、ポインティングデバイス、又はディスプレイと一体的に設けられたタッチスクリーンであるが、これらに限られない。入力部１４は、情報処理装置１０の動作に用いられるデータを入力する操作を受け付ける。なお、入力部１４は、情報処理装置１０に備えられる代わりに、外部の入力機器として情報処理装置１０に接続されてもよい。

出力部１５は、出力用インタフェースを含む。当該出力用インタフェースは、ＬＣＤ（liquid crystal display）又は有機ＥＬ（electro luminescence）ディスプレイ等のディスプレイであるが、これらに限られない。出力部１５は、情報処理装置１０の動作によって得られるデータを出力する。なお、出力部１５は、情報処理装置１０に備えられる代わりに、外部の出力機器として情報処理装置１０に接続されてもよい。

（情報処理装置１０の第１の動作例：ＱｕＡＤＮｅｔ）
図４も参照して、本実施形態に係る情報処理装置１０の第１の動作例を説明する。第１の動作例は、図３に示されるＱｕＡＤシステムにおけるＱｕＡＤＮｅｔで実行される処理に相当する。

［時系列データ取得処理］
ステップＳ１００：情報処理装置１０の制御部１１は、準周期的パターンを示す時系列データｘ_ｔを所定の期間（ｔ＝１、…、Ｔ）において取得する。

具体的には、情報処理装置１０の制御部１１は、例えば生産ライン等に設けられたｄ個のスマートメータ等のセンサから、通信部１２を介して、準周期的パターンを示す時系列データｘ_ｔを取得する。なお、ｘ_ｔは、下記（１）式で表される入力行列Ｘ_ｔを構成するベクトルであり、ｔは、１からＴの自然数であり、且つ各時点のインデックスを示す。そして、情報処理装置１０の制御部１１は、取得した時系列データｘ_ｔから、下記（１）式で表されるｗ時点束ねた入力行列Ｘ_ｔと、下記（２）式で表されるｈ時点束ねた出力行列Ｙ_ｔとを用意する。そして、情報処理装置１０の制御部１１は、入力行列Ｘ_ｔ及び出力行列Ｙ_ｔを記憶部１３に格納する。なお、ｄ、ｗ、及びｈは、自然数であり、情報処理装置１０の入力部１４を介して任意に設定され得る。また、時系列データｘ_ｔは、準周期的パターンを示す時系列データであれば、生産ライン等に設けられたスマートメータ等のセンサが示す時系列データに限られず、例えば心電計等の医療機器が示す時系列データであってもよく、或いはその他の時系列データであってもよい。

ここで、第１の動作例では、後述するステップＳ１１０乃至Ｓ１７０の処理により、入力行列Ｘ_ｔから出力行列Ｙ_ｔを予測する多時点予測精度が高くなるように学習される。

［特徴ベクトル生成処理］
ステップＳ１１０：情報処理装置１０の制御部１１は、複数のチャンネルを有するカーネルが適用される畳み込みニューラルネットワークを用いて、ステップＳ１００で取得した時系列データｘ_ｔに基づいて、当該チャンネル毎の特徴量を要素とする特徴ベクトルｚ_ｔ（但し、ｔ＝１、…、ｎ）を、複数の時点毎に生成する。

具体的には、図５も参照して、情報処理装置１０の制御部１１は、ステップＳ１００で取得した時系列データｘ_ｔから用意した入力行列Ｘ_ｔを、チャンネル数が１であり、且つ画像サイズがｗ×ｄである画像と見做す。そして、情報処理装置１０の制御部１１は、チャンネル数がｃであり、且つカーネルサイズがｋ×ｄであるカーネル（図５では、「フィルタ」と称する。）が適用される２次元畳み込みニューラルネットワーク（以下、「２次元ＣＮＮ」と称する。）に当該画像と見做した入力行列Ｘ_ｔを入力する。これにより、情報処理装置１０の制御部１１は、チャンネル毎の特徴量を要素とする特徴ベクトルｚ_ｔを、複数の時点毎に生成することができる。そして、情報処理装置１０の制御部１１は、特徴ベクトルｚ_ｔを用いて、下記（３）式で表される時間局所的特徴行列Ｚを構成する。そして、情報処理装置１０の制御部１１は、時間局所的特徴行列Ｚを記憶部１３に格納する。なお、下記（３）式において、Ｔは転置行列を意味する。また、下記（３）式において、ｎ（＝ｗ－ｋ＋１）は、自然数であり、時間局所的特徴行列Ｚの時間軸方向の長さを示す。また、ｋは、自然数であり、２次元ＣＮＮの時間軸方向のカーネルサイズを示す。また、ｃは、自然数であり、時間局所的特徴行列Ｚのチャンネル数を示す。なお、ｃ及びｋは、学習過程の１回目のループでは、入力部１４を介して任意に設定され、学習過程の２回目以降のループでは、後述するステップＳ１７０の処理により更新され得る。

ステップＳ１２０：情報処理装置１０の制御部１１は、ステップＳ１１０で生成した時間局所的特徴行列ＺをＬＳＴＭ（Long short-term memory）に通すことにより、時間遷移を加味した特徴ベクトルｌ_ｔ（但し、ｔ＝１、…、ｎ）から構成される時間遷移を加味した特徴行列Ｌを生成する。

具体的には、図５も参照して、情報処理装置１０の制御部１１は、ステップＳ１１０で生成した時間局所的特徴行列Ｚを、時系列の特徴量を内在セルで表現することが可能な公知又は任意のＬＳＴＭに入力することにより、時間遷移を加味した特徴ベクトルｌ_ｔを生成する。そして、情報処理装置１０の制御部１１は、特徴ベクトルｌ_ｔを用いて、下記（４）式で表される時間遷移を加味した特徴行列Ｌを構成する。そして、情報処理装置１０の制御部１１は、時間遷移を加味した特徴行列Ｌを記憶部１３に格納する。なお、下記（４）式において、ｑは、ＬＳＴＭの隠れ層のユニット数であり、ユーザによって予め設定され得る自然数である。ｑは、例えば５０又は１００等に設定され得るが、本発明はこれらに限られない。

なお、ステップＳ１２０の処理は、任意選択的であり、ステップＳ１２０で生成した特徴行列Ｌを構成する特徴ベクトルｌ_ｔに代えて、ステップＳ１１０で生成した時間局所的特徴行列Ｚを構成する特徴ベクトルｚ_ｔが後述するステップＳ１３０の処理に用いられてもよい。

［出力ベクトル生成処理］
ステップＳ１３０：情報処理装置１０の制御部１１は、注意機構を用いて、複数の時点における特徴ベクトルｌ_ｔ（但し、ｔ＝１、…、ｎ）と複数の時点のうち最先の時点における特徴ベクトルｌ_ｎとの類似度に基づいて、複数の時点における特徴ベクトルｌ_ｔ（ｔ＝１、…、ｎ）を重み付けすることにより、注意機構の出力ベクトルａを生成する。

ここで、注意機構は、出力をｎ個のベクトルの重み付き和として表現する手法であり、下記（５）式により出力ベクトルａを出力する。なお、下記（５）式において、ｑは、クエリベクトルである。また、Ｋは、キー行列（行列サイズ：ｑ×ｎ）である。また、Ｋ^Ｔは、キー行列の転置行列である。また、softmax演算は、下記（６）式で表される。また、ωは、重みベクトルである。また、Ｖは、バリュー行列（行列サイズ：ｖ×ｎ）である。

具体的には、図５も参照して、本例では、情報処理装置１０の制御部１１は、ステップＳ１２０で生成した特徴ベクトルｌ_ｔから構成される特徴行列Ｌを用いて、上記（５）式において、Ｋ＝Ｌ^Ｔと見做し、Ｖ＝Ｌ^Ｔと見做し、ｑ_ｎ＝ｌ_ｎと見做して、図６に示される注意機構を適用する。これにより、複数の時点における特徴ベクトルｌ_ｔ（但し、ｔ＝１、…、ｎ）と複数の時点のうち最先の時点における特徴ベクトルｌ_ｎとの類似度に基づいて、複数の時点における特徴ベクトルｌ_ｔが重み付けされ、注意機構の出力ベクトルａが生成される。そして、情報処理装置１０の制御部１１は、注意機構の出力ベクトルａを記憶部１３に格納する。

［時系列データ予測処理］
ステップＳ１４０：情報処理装置１０の制御部１１は、ステップＳ１１０で用いた畳み込みニューラルネットワークの全結合層に、ステップＳ１３０で生成した注意機構の出力ベクトルａを入力することにより、所定の期間より後における時系列データＹ＾_ｔを予測する。なお、Ｙ＾_ｔは、行列（行列サイズ：ｄ×ｈ）である。

具体的には、図５も参照して、情報処理装置１０の制御部１１は、下記（７）式及び（８）式を実行する。そして、情報処理装置１０の制御部１１は、Ｙ＾_ｔを記憶部１３に格納する。なお、下記（７）式及び（８）式において、Ｎ_ｌは層数であり、Ｗ_ｉは重み行列であり、ｂ_ｉはバイアスベクトルであり、ｎ_ｉは全結合層の第ｉ層のユニット数（ｎ_Ｎｌ＝ｄｈ、ｎ_０＝ｑ）であり、matrixはベクトルを行列にreshapeする（要素を揃え変える）演算子である。ただし、本発明は、下記（７）式及び（８）式に限られない。

ステップＳ１５０：情報処理装置１０の制御部１１は、ステップＳ１００で用意した出力行列Ｙ_ｔとステップＳ１４０で予測したＹ＾_ｔとの誤差ｌ（｛Ｙ_ｔ｝、｛Ｙ＾_ｔ｝）を算出する。

具体的には、情報処理装置１０の制御部１１は、下記（９）式で表されるＬ１損失関数を用いて、ステップＳ１００で用意した出力行列Ｙ_ｔとステップＳ１４０で予測したＹ＾_ｔとの誤差ｌ（｛Ｙ_ｔ｝、｛Ｙ＾_ｔ｝）を算出する。そして、情報処理装置１０の制御部１１は、誤差ｌ（｛Ｙ_ｔ｝、｛Ｙ＾_ｔ｝）を記憶部１３に格納する。なお、誤差の算出方法は、外れ値に対する頑健性が高いＬ１損失関数を用いることが好ましいが、本発明はこれに限られない。

ステップＳ１６０：情報処理装置１０の制御部１１は、ステップＳ１５０で算出した誤差ｌ（｛Ｙ_ｔ｝、｛Ｙ＾_ｔ｝）が所定の閾値以下であるか否かを判断する。誤差ｌ（｛Ｙ_ｔ｝、｛Ｙ＾_ｔ｝）が所定の閾値以下である場合には、プロセスは終了する。すなわち、学習過程の今回のループで用いられた各種パラメータが最適化されたパラメータに相当し、予測モデル（畳み込みニューラルネットワーク）を構成する。一方、誤差ｌ（｛Ｙ_ｔ｝、｛Ｙ＾_ｔ｝）が所定の閾値以下でない場合には、プロセスはステップＳ１７０に進む。

ここで、所定の閾値は、多時点予測精度を考慮して、情報処理装置１０の入力部１４を介して任意に設定され得る。ただし、本発明における学習終了基準は、誤差ｌ（｛Ｙ_ｔ｝、｛Ｙ＾_ｔ｝）が所定の閾値以下であるか否かによる判断に限られない。例えば、学習のループ数が予め設定された値に到達すると、情報処理装置１０の制御部１１は、学習終了と判断し、各種パラメータの値の更新を終了してもよい。

ステップＳ１７０：情報処理装置１０の制御部１１は、ステップＳ１１０で用いられる畳み込みニューラルネットワーク及びステップＳ１２０で用いられるＬＳＴＭを構成する各種パラメータの値を更新する。

具体的には、情報処理装置１０の制御部１１は、例えば確率的勾配降下法（ＳＧＤ：stochastic gradient descent）又はＡｄａｍ等の公知又は任意の最適化手法を用いて、ステップＳ１１０で用いられる２次元ＣＮＮ、ステップＳ１２０で用いられるＬＳＴＭ、並びに全結合層に含まれる重み行列及びバイアスベクトルの各種値をそれぞれ更新する。そして、情報処理装置１０の制御部１１は、更新された各種値を記憶部１３に格納する。これにより、学習過程の２回目以降のループにおける２次元ＣＮＮ及びＬＳＴＭの計算は、更新された各種値を用いて実行されることになる。そして、プロセスは、ステップＳ１１０に戻る。

第１の動作例によれば、第２の動作例において後述する個別周期の推定と、第３乃至５の動作例において後述する異常検知とを可能にする、準周期的パターンを示す時系列データを予測する技術を提供することができる。なお、情報処理装置１０の制御部１１は、後述する第２乃至５の動作例における異常検知を同時且つリアルタイムに実行してもよい。

以下、第２乃至５の動作例では、第１の動作例において最適化された各種パラメータを用いて構成された予測モデルが用いられる。

（情報処理装置１０の第２の動作例：個別周期の推定）
図７も参照して、本実施形態に係る情報処理装置１０の第２の動作例について説明する。第２の動作例は、図３に示されるＱｕＡＤシステムにおける個別周期の推定に相当する。

第２の動作例では、情報処理装置１０の制御部１１は、複数の時点のうち、最先の時点（ｎ＝ｗ－ｋ＋１）を除く時点であって、且つ第１の動作例におけるステップＳ１３０で計算された類似度に相当する重みベクトルの要素の値が最大となる時点に基づいて、時系列データｘ_ｔの各時刻における個別周期を推定する。

具体的には、情報処理装置１０の制御部１１は、第１の動作例におけるステップＳ１３０で算出した下記（１０）式で表される重みベクトルωの各要素を、下記（１１）式に入力することにより、時系列データｘ_ｔの各時刻における個別周期を推定する。図７に示される例では、個別周期が９１サイクル程度であることがわかる。なお、下記（１１）式において、argmax関数は、１≦s≦（ｗ－ｋ＋１）－ｓ_ｃのうち、重みベクトルωの要素の値が最大となるｓの値（時点）を返す関数である。ここで、ｓの上限値がｓ＝（ｗ－ｋ＋１）－ｓ_ｃに制限されているのは、図７に示されるように、現時点に相当するｓ＝ｗ－ｋ＋１に近い重みベクトルωの要素は、準周期性に関係なく類似度が高くなるため、準周期的パターンを正しく推定するためには除去する必要があるからである。なお、ｓ_ｃは、切断時間を示し、偏相関係数が減少する時間として、情報処理装置１０の入力部１４を介して適宜設定され得る。

追加的に、情報処理装置１０の制御部１１は、上記（１１）式により算出した個別周期の推定値ｃ_ｔを用いて、下記（１２）式で表されるモード平滑化によりロバストな推定量Ｃ_ｔを算出してもよい。なお、下記（１２）式において、周期の多少の変動に対する頑健化のために周囲のｎ_ｅ周期が各周期のカウントに加えられている。また、下記（１２）式におけるｂ_ｐは、大域的に基本となる基本周期（base period）の推定量を示し、下記（１３）式によって推定される。

なお、生産機械等におけるロット変更は、上述した基本周期の変化として現れる。そこで、情報処理装置１０の制御部１１は、上記（１１）式により推定した個別周期の推定値Ｃ_ｔが上記（１３）式により推定した基本周期の推定量ｂ_ｐから定常的に同じ幅だけ乖離していると判断すると、ロット変更の信号をシステムに送り、第１の動作例における学習過程を再び行ってもよい。なお、学習過程が再び行われる場合、以前の学習結果をpretrained networkと見做してfine-tuningする場合と全体を改めて再学習する場合とがあるが、いずれの場合であっても全パラメータが変化することになる。

第２の動作例によれば、準周期的パターンを示す時系列データの各時刻における個別周期を推定することができる。

（情報処理装置１０の第３の動作例：ＱｕＡＤＮｅｔ－Ｐ）
本実施形態に係る情報処理装置１０の第３の動作例について説明する。第３の動作例は、図３に示されるＱｕＡＤシステムにおけるＱｕＡＤＮｅｔ－Ｐで実行される処理に相当する。

第３の動作例では、情報処理装置１０の制御部１１は、第１の動作例におけるステップＳ１００と同様にして取得した時系列データと、第１の動作例におけるステップＳ１４０と同様にして予測した時系列データとの比較に基づいて、取得した時系列データにおける異常の有無を判定する。

具体的には、情報処理装置１０の制御部１１は、第１の動作例におけるステップＳ１００と同様にして、準周期的パターンを示す時系列データｘ_ｔから、ｈ時点束ねた出力行列Ｙ_ｔを取得する。ここで、Ｙ_ｔの要素を（Ｙ_ｔ）_ｉｓと表記する。また、情報処理装置１０の制御部１１は、第１の動作例におけるステップＳ１００と同様にして、準周期的パターンを示す時系列データｘ_ｔから、ｗ時点束ねた入力行列Ｘ_ｔを取得する。そして、情報処理装置１０の制御部１１は、第１の動作例により最適化された２次元ＣＮＮに入力行列Ｘ_ｔを入力することにより、多時点予測値Ｙ＾_ｔを予測する。ここで、Ｙ＾_ｔの要素を（Ｙ＾_ｔ）_ｉｓ＝（ＱｕＡＤＮｅｔ（Ｘ_ｔ））_ｉｓと表記する。なお、ｉ（但し、ｉ＝1、…、ｄ）は、スマートメータ等のセンサを特定するためのインデックスある。また、ｓ（但し、ｓ＝１、…、ｈ）は、各時点に対応するインデックスである。そして、情報処理装置１０の制御部１１は、（Ｙ_ｔ）_ｉｓ及び（ＱｕＡＤＮｅｔ（Ｘ_ｔ））_ｉｓを下記（１４）式に入力することにより、平均絶対誤差（ＭＡＥ；Mean Absolute Error）であるＭＡＥ（Ｘ_ｔ，Ｙ_ｔ）を算出する。そして、情報処理装置１０の制御部１１は、ＭＡＥ（Ｘ_ｔ，Ｙ_ｔ）が所定の閾値以上である場合には、異常が有ると判定する。一方、情報処理装置１０の制御部１１は、ＭＡＥ（Ｘ_ｔ，Ｙ_ｔ）が所定の閾値未満である場合には、異常が無いと判定する。そして、情報処理装置１０の制御部１１は、出力部１５を介して、当該判定の結果を出力する。なお、（Ｙ_ｔ）_ｉｓと（ＱｕＡＤＮｅｔ（Ｘ_ｔ））_ｉｓとの誤差の評価指標は、スパイクデータに対する頑健性の観点からＭＡＥを用いることが好ましいが、本発明はこれに限られない。また、所定の閾値は、入力部１４を介して、適宜設定され得る。

第３の動作例によれば、準周期的パターンを示す時系列データにおける異常を検知することができる。

（情報処理装置１０の第４の動作例：ＱｕＡＤＮｅｔ－Ｄ）
本実施形態に係る情報処理装置１０の第４の動作例について説明する。第４の動作例は、図３に示されるＱｕＡＤシステムにおけるＱｕＡＤＮｅｔ－Ｄで実行される処理に相当する。

第４の動作例では、情報処理装置１０の制御部１１は、第１の動作例におけるステップＳ１３０で算出した重みベクトルωの要素を用いて構成される確率分布に基づいて、第１の動作例におけるステップＳ１００と同様にして取得した時系列データにおける異常の有無を判定する。

具体的には、情報処理装置１０の制御部１１は、第１の動作例におけるステップＳ１３０で算出した重みベクトルωの要素を用いて、下記（１５）式によって表されるディレクレ分布ｆ（ω，α）を構成する。ここで、下記（１５）式におけるα_ｓは、第１の動作例における学習過程で得られる重みベクトルの集合｛ω_ｔ｝から最尤推定することにより適宜得られる。すなわち、最尤推定を行うことにより、重みベクトルωの分布としてディリクレ分布ｆ（ω，α）が得られるので、最尤推定したディリクレ分布に対する当てはまり度合いを評価することにより、異常の有無の判定が為される。そして、情報処理装置１０の制御部１１は、出力部１５を介して、当該判定の結果を出力する。なお、第４の動作例における確率分布には、重みベクトルωは総和が１となる確率ベクトルと解釈することができるので、総和が１となる確率ベクトルに対する分布であるディレクレ分布を用いることが好ましいが、本発明はこれに限られない。

第４の動作例によれば、準周期的パターンを示す時系列データにおける異常を検知することができる。

（情報処理装置１０の第５の動作例：ＱｕＡＤＮｅｔ－Ｃ）
本実施形態に係る情報処理装置１０の第５の動作例について説明する。第５の動作例は、図３に示されるＱｕＡＤシステムにおけるＱｕＡＤＮｅｔ－Ｃで実行される処理に相当する。

第５の動作例では、情報処理装置１０の制御部１１は、第２の動作例で得られた個別周期の推定量｛Ｃｔ｝の頻度から経験分布を構成することにより、第１の動作例におけるステップＳ１００と同様にして取得した時系列データにおける異常の有無を判定する。

具体的には、情報処理装置１０の制御部１１は、第２の動作例で得られた個別周期の推定量｛Ｃｔ｝を下記（１６）式で表される経験分布に入力することにより、異常の有無を判定する。すなわち、下記（１６）式におけるＰは経験尤度関数とも称され、新たな｛Ｃｔ｝が得られた際にこれをＰに代入することにより、異常の有無の判定指標となる当てはまり度合いに相当する量が得られる。なお、下記（１６）式において、Ｉは、真であれば１を与え、且つ偽であれば０を与える指示関数である。また、ε（＞０）は、Ｐ（Ｃ＝ｉ）の対数を取った際に発散を防止するために適宜設定され得る微小パラメータである。

第５の動作例によれば、準周期的パターンを示す時系列データにおける異常を検知することができる。

なお、上述した第３乃至５の動作例では、何れも尤度に基づいて異常の有無が判定されるが、情報処理装置１０の制御部１１は、頑健な異常区間を同定するために、以下のステップ１乃至５に基づく事後処理を行った後に異常の有無を判定してもよい。

ステップ１：対数尤度を前後ｂ_ｐ個の値で平均化する。
ステップ２：閾値に基づいて異常又は正常を判定する。
ステップ３：異常区間をγ_１だけ膨張及び／又は収縮する。
ステップ４：異常区間の長さがａ_ｌ以下であれば準異常であると判定し、ａ_ｌ以上であれば異常と判定する。
ステップ５：異常区間をγ_２＞ｍａｘ｛γ_１，ａ_ｌ｝だけ膨張及び／又は収縮する。

上記ステップ１は、平滑化処理に相当し、１周期内における尤度のズレを補正するための処理である。ステップ３及び５は、画像処理におけるクロージングに相当し、異常区間同士の間が１又は２しか空いていない場合に同じ異常区間と見做すことができるように区間を統合する処理である。ステップ４は、画像処理におけるオープニング（収縮及び／又は膨張）に相当し、半周期にも満たないような短期異常を除去するための処理である。なお、ｂ_ｐは上記（１２）式及び（１３）式と同じものであってもよい。また、対数尤度は、ＱｕＡＤＮｅｔ－Ｐでは負のＭＡＥの対数を、ＱｕＡＤＮｅｔ－Ｄではｆの対数を、ＱｕＡＤＮｅｔ－ＣではＰの対数を取ったものを指す。

本発明を諸図面及び実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形及び改変を行ってもよいことに注意されたい。従って、これらの変形及び改変は本発明の範囲に含まれることに留意されたい。例えば、各部又は各ステップ等に含まれる機能等は論理的に矛盾しないように再配置可能であり、複数の構成部又はステップ等を１つに組み合わせたり、或いは分割したりすることが可能である。また、情報処理装置１０の構成及び動作を、互いに通信可能な複数のコンピュータに分散させた実施形態も可能である。

一変形例として、汎用のコンピュータを、上述した実施形態に係る情報処理装置１０として機能させる実施形態も可能である。具体的には、上述した実施形態に係る情報処理装置１０の各機能を実現する処理内容を記述したプログラムを、汎用のコンピュータのメモリに格納し、プロセッサによって当該プログラムを読み出して実行させる。従って、本発明は、プロセッサが実行可能なプログラム、又は当該プログラムを記憶する非一時的なコンピュータ可読媒体としても実現可能である。

１０ 情報処理装置
１１ 制御部
１２ 通信部
１３ 記憶部
１４ 入力部
１５ 出力部

Claims (7)

1. 制御部を備える情報処理装置であって、
   前記制御部は、
   準周期的パターンを示す時系列データを所定の期間において取得する、時系列データ取得処理と、
   複数のチャンネルを有するカーネルが適用される畳み込みニューラルネットワークを用いて、取得した前記時系列データに基づいて、前記チャンネル毎の特徴量を要素とする特徴ベクトルを、複数の時点毎に生成する、特徴ベクトル生成処理と、
   注意機構を用いて、前記複数の時点における前記特徴ベクトルと前記複数の時点のうち最先の時点における前記特徴ベクトルとの類似度に基づいて、前記複数の時点における前記特徴ベクトルを重み付けすることにより、前記注意機構の出力ベクトルを生成する、出力ベクトル生成処理と、
   前記畳み込みニューラルネットワークの全結合層に、前記出力ベクトルを入力することにより、前記所定の期間より後における前記時系列データを予測する、時系列データ予測処理と、
   を実行する、情報処理装置。
2. 請求項１に記載の情報処理装置であって、
   前記制御部は、前記複数の時点のうち、前記最先の時点を除く時点であって、且つ前記類似度に相当する重みベクトルの要素の値が最大となる時点に基づいて、取得した前記時系列データの各時刻における個別周期を推定する、情報処理装置。
3. 請求項１又は２に記載の情報処理装置であって、
   前記制御部は、取得した前記時系列データと予測した前記時系列データとの比較に基づいて、取得した前記時系列データにおける異常の有無を判定する、情報処理装置。
4. 請求項１又は２に記載の情報処理装置であって、
   前記制御部は、前記類似度に相当する重みベクトルの要素を用いて構成される確率分布に基づいて、取得した前記時系列データにおける異常の有無を判定する、情報処理装置。
5. 請求項２に記載の情報処理装置であって、
   前記制御部は、推定した前記個別周期の頻度を用いて構成される経験分布に基づいて、取得した前記時系列データにおける異常の有無を判定する、情報処理装置。
6. 情報処理装置が実行する情報処理方法であって、
   準周期的パターンを示す時系列データを所定の期間において取得する、時系列データ取得ステップと、
   複数のチャンネルを有するカーネルが適用される畳み込みニューラルネットワークを用いて、取得した前記時系列データに基づいて、前記チャンネル毎の特徴量を要素とする特徴ベクトルを、複数の時点毎に生成する、特徴ベクトル生成ステップと、
   注意機構を用いて、前記複数の時点における前記特徴ベクトルと前記複数の時点のうち最先の時点における前記特徴ベクトルとの類似度に基づいて、前記複数の時点における前記特徴ベクトルを重み付けすることにより、前記注意機構の出力ベクトルを生成する、出力ベクトル生成ステップと、
   前記畳み込みニューラルネットワークの全結合層に、前記出力ベクトルを入力することにより、前記所定の期間より後における前記時系列データを予測する、時系列データ予測ステップと、
   を含む、情報処理方法。
7. コンピュータに、
   準周期的パターンを示す時系列データを所定の期間において取得する、時系列データ取得ステップと、
   複数のチャンネルを有するカーネルが適用される畳み込みニューラルネットワークを用いて、取得した前記時系列データに基づいて、前記チャンネル毎の特徴量を要素とする特徴ベクトルを、複数の時点毎に生成する、特徴ベクトル生成ステップと、
   注意機構を用いて、前記複数の時点における前記特徴ベクトルと前記複数の時点のうち最先の時点における前記特徴ベクトルとの類似度に基づいて、前記複数の時点における前記特徴ベクトルを重み付けすることにより、前記注意機構の出力ベクトルを生成する、出力ベクトル生成ステップと、
   前記畳み込みニューラルネットワークの全結合層に、前記出力ベクトルを入力することにより、前記所定の期間より後における前記時系列データを予測する、時系列データ予測ステップと、
   を実行させる、プログラム。

Images