JP2021096541A - 時系列データ解析装置 - Google Patents

Abstract

【課題】複数の時系列データの時空間的な関係性を考慮した特徴量の抽出及び可視化を行う。【解決手段】時系列データからなる複数の観測データを格納する観測データ格納手段１１と、１種類の観測データを所定の期間ごとに分割し、それ以外の観測データを所定の期間によって分割し、部分時系列データとして格納する部分時系列データ格納手段１２と、２次元配列の各配列要素として、部分時系列データの各要素のうち、１種類の観測データの基準要素と部分時系列データのいずれか一の要素の組合せに基づいて、所定の計算方法により特徴量を計算して格納する特徴量配列格納手段１３と、当該特徴量配列を出力する特徴量配列出力手段１４と、特徴量配列の対応する要素の値を所定の変換方法により輝度に変換して所定の画像を生成する画像生成手段１５と、画像出力手段１６を備える。【選択図】図１

Description

本発明は、例えばＰＥＴボトル容器や缶容器の生産システムや生産設備、製品などの観測対象から取得される複数の時系列データを、機械学習・深層学習に適用可能な画像データに変換するための時系列データ解析装置に関する。

近年、画像認識で培われた深層学習（Deep Learning）の技術を他用途へ展開する取組がある。
画像は、抽象化すると３次元配列（テンソル）として捉えることができるため、非画像データについても、テンソルへの変換ができれば、画像に対する深層学習を適用することが可能となる。

非画像データを画像に変換して機械学習（Machine Learning）を行わせることについては、例えば特許文献１に提案されている技術がある。
特許文献１に開示されているのは、音声データ（非画像データ）を多次元データ（画像データ）に変換し、ニューラルネットワークを用いて音響特徴量を生成することにより、滑らかで自然な音声を合成することができるというものである。

特許第６５５２１４６号公報

しかしながら、特許文献１に開示されている方法を含めて、非画像データを画像に変換して機械学習にかける技術は、いずれも、同一時刻のデータ間について画像化するのみであったため、例えば、生産システム等の観測対象から時々刻々と生成・出力される時系列データについて対応することができなかった。
時系列データは、単に固定された同一時刻のデータを画像化するだけでは対応できず、複数の時系列データ間において適切な時刻合わせが必要であり、また、各時系列データにおける応答の遅れ等を考慮して可視化を行うことも重要であった。
このような課題に対して、従来技術では有効な対応を行うことができなかった。

本発明は、以上のような課題を解決するために提案されたものであり、複数の時系列データからなる観測データについて、時間方向に区分されたデータ間の相関性を数値化することにより、周期性を持つ複数の入力からなる時系列データについて、それらの時空間的な関係性を考慮した特徴量の抽出及び可視化を可能とし、非画像データである複数の時系列データを、機械学習・深層学習に適用可能なデータに変換することができる時系列データ解析装置を提供することを目的とする。

上記目的を達成するため、本発明に係る時系列データ解析装置は、観測対象が生成する時系列データからなる２種類以上の複数の観測データを格納する観測データ格納手段と、前記観測データのうち、選択された１種類の観測データを所定の期間ごとに分割し、前記選択された１種類の観測データ以外の全ての前記観測データを前記所定の期間によって分割し、部分時系列データの集合として格納する部分時系列データ格納手段と、第１軸を前記時系列データの種類とし、第２軸を前記部分時系列データの観測時刻とした２次元配列の各配列要素として、前記部分時系列データの各要素のうち、前記選択された１種類の観測データの観測時刻が最も新しい基準要素と、前記配列要素の前記第１軸及び前記第２軸から同定される前記部分時系列データのいずれか一の要素との、２つの要素の組合せに基づいて、所定の計算方法により特徴量を計算して特徴量配列として格納する特徴量配列格納手段と、前記特徴量配列を出力する特徴量配列出力手段と、を備える構成としてある。

また、本発明は、上記のような本発明に係る時系列データ解析装置で実行されるプログラムとして構成することができる。
さらに、本発明は、上記のような本発明に係る時系列データ解析装置及びプログラムによって実施可能な方法として実施することもできる。

本発明によれば、複数の時系列データからなるデータについて、時間方向に区分されたデータ間の相関性を数値化することができる。
これによって、周期性を持つ複数の入力からなる時系列データについて、それらの時空間的な関係性を考慮した特徴量の抽出及び可視化が可能となり、例えば複数の非画像データを１枚の画像データに圧縮・生成することができ、非画像データである複数の時系列データを、機械学習・深層学習に適用可能なデータに変換することができるようになる。

本発明の一実施形態に係る時系列データ解析装置の構成を示す機能ブロック図である。 時系列データ解析装置の処理対象となるデータを模式的に示す説明図であり、（ａ）は観測対象から取得される観測データを、（ｂ）は観測データを分割して得られる部分時系列データ集合を示している。 時系列データ解析装置の処理対象となるデータを模式的に示す説明図であり、（ａ）は部分時系列データ集合を、（ｂ）は部分時系列データに基づく相関性のデータを、（ｃ）は部分時系列データに基づく相関性を２次元配列にマッピングしたデータを示している。 時系列データ解析装置の処理対象となるデータを模式的に示す説明図であり、（ａ）は部分時系列データに基づく相関性を２次元配列にマッピングしたデータを、（ｂ）は（ａ）に示すマッピングの配列の値を輝度に変換（画像化）したデータを示している。 時系列データ解析装置の処理対象となるデータを模式的に示す説明図であり、（ａ）は複数の入力に対応した輝度変換画像を、（ｂ）は複数の輝度変化観測画像を重ね合わせたものを示している。 時系列データ解析装置における、処理動作を示すフローチャートであり、（ａ）は画像出力を行わない場合、（ｂ）は画像出力を行う場合を示している。 時系列データ解析装置のハードウェア構成を示すブロック図である。

以下、本発明に係る時系列データ解析装置及びプログラムの実施形態について、図面を参照しつつ説明する。
ここで、以下に示す本発明の時系列データ解析装置は、プログラム（ソフトウェア）の命令によりコンピュータで実行される処理，手段，機能によって実現される。プログラムは、コンピュータの各構成要素に指令を送り、以下に示す本発明に係る所定の処理や機能等を行わせることができる。すなわち、本発明における各処理や手段，機能は、プログラムとコンピュータとが協働した具体的手段によって実現される。

なお、プログラムの全部又は一部は、例えば、磁気ディスク，光ディスク，半導体メモリ，その他任意のコンピュータで読取り可能な記録媒体により提供され、記録媒体から読み出されたプログラムがコンピュータにインストールされて実行される。また、プログラムは、記録媒体を介さず、通信回線を通じて直接にコンピュータにロードし実行することもできる。
また、本システムは、単一の情報処理装置（例えば一台のパーソナルコンピュータ等）で構成することもでき、複数の情報処理装置（例えば複数台のサーバコンピュータ群等）で構成することもできる。

［全体構成］
図１に示すように、本発明の一実施形態に係る時系列データ解析装置１０は、観測対象１００で生成される、複数のセンサ１〜ｎで取得・出力可能な複数の時系列データを受信して、所定のデータ解析処理を実行し、その解析処理結果を任意の機械学習装置２００に対して入力できる装置・手段となっている。
時系列データ解析装置１０・観測対象（センサ１〜ｎ）・機械学習装置２００は、例えば有線・無線を介してデータ送受信できるようにオンラインで接続されるようにすることができる。また、時系列データ解析装置１０・観測対象（センサ１〜ｎ）・機械学習装置２００は、それぞれオフラインとされ、必要なデータを例えば記録媒体等を介して互いに送受信できるようにすることもできる。

［観測対象］
観測対象１００は、時系列データ解析装置１０によるデータ解析・可視化（画像化）処理の対象となる時系列データを生成させる対象となるものであり、例えばＰＥＴボトル容器や缶容器の生産システム・生産設備・製品などである。
具体的には、本発明における「観測対象」とは、何らかの課題を解決するために人間が定めた「監視対象物」あるいは「現象」であり、２種類以上の時系列データを生成するものであれば、本発明が適用可能な「観測対象」となり得るものである。

例えば、本発明が想定する適用先としては、生産技術分野の異常検知・異常原因推定の対象となるものであり、したがって、主な「観測対象」としては、(1)生産システム（ライン），(2)生産設備，(3)製品、及び(4)それらのモデル、などがある。ここで「モデル」とは、コンピュータ上で計算されるシミュレーションモデルや統計モデル，機械学習モデルなどを指す。
図１では、説明の便宜上、観測対象１００として、ＰＥＴボトル容器の製造ラインを模式的に表した平面図を示している。但し、特にこれに限定されるものではないことは勿論である。

また、本発明において「観測対象が生成する・・・」の「生成する」という表現は、「観測対象から取得される・・・」という表現と等価であり、観測対象から得られる任意の観測データ（時系列データ）が、本発明の解析処理対象となることを意味している。
また、本発明における「時系列データ」とは、上記のような所与の観測対象から生成・取得される値（データ）を、測定可能な時間分解能の下で、(1)連続的あるいは一定時間ごとに取得した観測値の集合、もしくは(2)不定時間間隔で取得し、連続あるいは一定時間ごとの値に補間・推定した観測値の集合である。

したがって、「観測対象が生成する観測データ／時系列データ」とは、例えば、対象物が発する温度や湿度，圧力，振動など、一定時間／不定時間で取得・検知可能な任意の値であり、例えば温度センサや圧力センサ等で計測される値や、監視員・作業員等の人間が目視や人手によって取得できる値であっても良い。
そして、以上のように観測対象１００によって生成・出力される２種類以上（１〜ｎ個）の時系列データが、センサ１〜ｎ等の手段を介してデータ・信号として取得され、そのデータが、時系列データ解析装置１０に入力されるようになっている。

図１では、観測対象１００となるＰＥＴボトル容器の製造ラインを監視する複数のセンサ１〜ｎによって、一定時間／不定時間に亘って温度や圧力等の複数の時系列データが取得されることを示しており、その一例として、図２（ａ）には、３つのセンサ１〜３によって取得された３つの入力データ（入力１〜３）を示している。但し、特にこれらに限定されるものではないことは勿論である。
なお、説明の便宜上、図１では、観測対象１００とそれを監視する複数のセンサ１〜ｎを、一つ（一組）のみ表しており、また、図２（ａ）では、３つの観測データ（入力１〜３）を示しているが、特にこれに限定されるものではなく、複数の観測対象を同時並行的に時系列データ解析装置１０の対象とすることができることは勿論である。

［時系列データ解析装置］
時系列データ解析装置１０は、例えば、１又は２以上のサーバコンピュータやパーソナルコンピュータ、クラウドコンピューティングサービス上に構築された１又は２以上の仮想サーバからなるサーバシステム等、所定のプログラム（ソフトウェア）が実装された情報処理装置によって構成することができ、本発明の時系列データ解析装置を構成している。
そして、本実施形態に係る時系列データ解析装置１０は、図１に示すように、観測データ格納手段１１，部分時系列データ格納手段１２，特徴量配列格納手段１３，特徴量配列出力手段１４，画像生成手段１５，画像出力手段１６，多チャンネル画像出力手段１７の各手段として機能・動作するように構成される。

観測データ格納手段１１は、上述した観測対象１００が生成する時系列データからなる２種類以上の観測データを、例えば時系列データ解析装置１０が備える所定の記憶手段などに格納する。
観測データ格納手段１１によって格納・記憶される時系列データは、上述したように、一定時間／不定時間に亘って温度や圧力等のデータであり、例えば温度等の検出値と検出時刻を示す複数の情報が、時系列に沿って観測対象１００毎に格納・記憶される（図２（ａ）参照）。

部分時系列データ格納手段１２は、観測データ格納手段１１によって格納・保持された複数の観測データに基づいて、所定の部分時系列データを生成・格納する。
具体的には、部分時系列データ格納手段１２は、時系列データ解析装置１０に格納・保持された複数の観測データのうち、選択された１種類の観測データを所定の期間ごとに分割するとともに、選択された１種類の観測データ以外の全ての観測データを所定の期間によって分割し、部分時系列データを生成する。そして、それらを部分時系列データの集合として、例えば時系列データ解析装置１０が備える所定の記憶手段などに格納・記憶させる。

部分時系列データ格納手段１２で生成される部分時系列データの集合の一例を図２（ｂ）に示す。
同図に示すように、部分時系列データ格納手段１２では、まず、複数の観測データのうち１つの観測データに着目して、所定の期間（区間幅）で時間軸方向に観測データを区分して、部分時系列データの集合を作成する。
次に、部分時系列データ格納手段１２では、上述した所定の区間幅を用いて他の観測データについても、同様に各観測データ毎の部分時系列データの集合を作成する。

ここで、部分時系列データを生成するための所定の期間（区間幅）としては、例えば１秒間隔，数秒間隔など、対象となる観測データの出力特性や周期などに応じて適切な時間を設定することができる。
特に、この所定の期間としては、対象となる観測データ内の全ての時系列データにおける最低周期以上の長さを設定することが望ましい。
所定の期間を観測データの周期以下の長さに設定した場合、分割した各期間内において、観測データが示す値の上限値・下限値が含まれない平坦な波形によって部分時系列データが生成されてしまい、後述する所定計算による求められる特徴量として、変化の少ない同じようなデータが生成されてしまう可能性がある。そこで、部分時系列データ格納手段１２では、時系列データを分割する所定の期間については、対象となる全ての時系列データにおける最低周期以上の長さに設定することが好ましい（図２（ｂ）参照）。

特徴量配列格納手段１３は、以上のようにして部分時系列データ格納手段１２で生成された部分時系列データの集合に基づいて、複数の各部分時系列データ毎に特徴量の注出・変換処理を実行し、変換データを生成・格納する。
図３に、部分時系列データに基づく特徴量配列への注出・変換処理の一例を示す。
同図に示すように、特徴量配列格納手段１３は、部分時系列データ（図３（ａ）参照）を、所定の２次元配列データ（図３（ｃ）参照）に変換・生成する。

具体的には、特徴量配列格納手段１３は、図３（ｃ）に示すように、第１軸（例えば横軸）を時系列データの種類とし、第２軸（例えば縦軸）を部分時系列データの観測時刻とした２次元配列データを生成する。
そのために、特徴量配列格納手段１３は、２次元配列の各配列要素として、基準要素とそれに対比される対比要素とを抽出・選択する。
まず、基準要素は、部分時系列データの各要素（図３（ａ）参照）のうち、選択された１種類の観測データの観測時刻が最も新しい（遅い）要素が基準要素として抽出・決定される。
基準要素に対比される対比要素は、基準要素以外の全要素のうち、配列要素の第１軸及び第２軸から同定される部分時系列データのいずれか一の要素が、一つずつ順番に抽出・選択される。

なお、部分時系列データの基準要素／対比要素の抽出・決定は、上記の場合だけでなく、他の方法（条件）によって行うこともできる。
例えば、基準要素の決定方法としては、上述した観測時刻が最も新しい（遅い）部分時系列データを基準要素とする場合だけでなく、観測時刻が最も古い（早い）部分時系列データを基準要素とすることもできる。
また、部分時系列データ集合の全要素の中の任意の一の要素を指定して、基準要素として抽出・決定することもできる。
そして、以上のようにして抽出された基準要素／対比要素の２つの要素の組合せに基づいて、所定の計算方法により特徴量が計算され（図３（ｂ）参照）、全ての要素について算出された特徴量が、図３（ｃ）に示すような特徴量の２次元配列として格納・生成される。

図３に示す例では、部分時系列データの要素のうち、［入力１］の観測時刻が最も新しい［入力１：−０τ］の要素を基準要素とし、それ以外の他の要素のいずれか一つ、例えば［入力２：−０τ］の要素を対比要素として（図３（ａ）参照）、両者の相関性を算出し、基準要素を基準（１）とした対比要素の値（０．１２２３・・・）を算出する。
具体的には、図３（ｂ）に示すように、一軸（例えば横軸）を「入力１」、他の一軸（例えば縦軸）を「入力２」として、各部分時系列データの値をプロットすることにより、両要素（入力１・入力２）間の相関性（特徴量）を求めることができる。

そして、このようにして求められた部分時系列データの各要素の特徴量を示す値を、図３（ｃ）に示すように、第１軸（横軸）を時系列データの種類とし、第２軸（縦軸）を部分時系列データの観測時刻とした２次元配列データとして配列することにより、各要素の相関性を示す２次元配列マッピングが生成されることになる。
このような２次元配列マッピングで示される特徴量配列は、図４に示すように、画像データと等価の情報となり、画像認識に基づく機械学習・深層学習にかけることが可能となり、その結果、非画像データであった時系列データを、機械学習・深層学習に適用可能なデータに変換できたことになる。

さらに、以上のような２次元配列マッピングは、［入力１］だけでなく、［入力２］，［入力３］についても、それぞれ同様に観測時刻が最も新しい［−０τ］の要素を基準要素として、他の各要素との相関性を算出し、２次元配列マッピングを生成することができる（図５参照）。
このように、種類の異なる複数の時系列データ（入力１〜３）について、それぞれ２次元配列マッピングを変換・生成することで、図５に示すように、それら複数のマッピングデータを重ねることで、画像データと同様にテンソル化することができ、例えば、各時系列データ（入力１〜３）で異なる検出タイミングや時刻のずれ、応答の遅れ等があっても、それら時空間的な関係性を考慮した特徴量抽出と、それに基づく可視化（画像化）が可能となる。

なお、基準要素・対比要素の相関性を求める所定の計算方法としては、公知の計算方法を用いることができ、例えば、共分散，相関係数，ＨＳＩＣ，ＭＩＣのうち、少なくともいずれかを用いることが好ましい。
これら公知の計算方法は、データ特性に応じて選択的に使い分けることができ、例えば、時系列データで得られた値の分布が直線上に乗っている（全体的傾向がある）場合には共分散や相関係数が適しており、データ値が直線上に乗っていない場合（曲線上に分布する場合）にはＨＳＩＣやＭＩＣが適している。
したがって、観測対象１００の種類や時系列データの特性などを考慮して、データに応じて計算方法を選択的に使い分けることができ、あるいは、実行可能な計算方法を全て用いることで、最も好ましい算出結果を採用することも可能であり、上述した公知の計算方法の少なくともいずれか一つを用いることが望ましい。

以上のようにして、特徴量配列格納手段１３は、複数の時系列データから得られた部分時系列データ集合に対し、集合の２要素に対応する１つの特徴量を計算し、その計算値を２次元配列上に割り付けることで、画像と等価の２次元配列マッピングを変換・生成することができる。
得られた２次元配列マッピングデータ（特徴量配列）は、特徴量配列出力手段１４により出力され、任意の機械学習装置２００に入力されることで、機械学習・深層学習の対象とすることができる。
さらに、特徴量配列出力手段１４により出力される特徴量配列は、画像生成手段１５に入力されることで、人間が視覚により認識可能な画像データに画像化・可視化することができる。

画像生成手段１５は、特徴量配列格納手段１３で生成・変換された特徴量配列について、各特徴量配列の対応する要素の値を、それぞれ所定の変換方法により輝度に変換して、画像の各画素として格納することにより、所定の画像を生成する。
具体的には、画像生成手段１５は、特徴量配列データで示される各要素の値を、所定の変換方法により輝度の値（例えば「０−２５５」の値）に変換し、数値の配列であった特徴量配列を実際の画像データに変換する。

図４に示す例では、例えば基準要素（基準値）「１」を上界（最大）値として輝度「２５５」を割り当て、基準値に対する最小値「−０．４９５」を下界（最小）値として輝度「０」を割り当て、各要素の値をそれぞれ対応する輝度の値に変換することができる。
そして、変換された輝度に対応する画像を描画させることで、図４（ａ）に示す特徴量配列を、図４（ｂ）に示す画像データに変換することができる。

変換・生成された画像データは、画像出力手段１６によって出力され、例えば液晶ディスプレイ等の表示手段において画像表示され、また、プリンタ等の印刷手段により印刷されるようになる。
さらに、生成された画像データは、多チャンネル画像出力手段１７によって、複数の観測データに対して、それぞれ画像を出力して出力画像集合とされ、当該出力画像集合をチャンネル方向に結合した、多チャンネルの２次元画像として出力することができる。
これによって、図５に示すように、種類の異なる複数の時系列データ（入力１〜３）について、それぞれ特徴量配列が画像データに変換され、それらが多チャンネルの２次元画像としても生成・出力されるようになる。

このように特徴量配列データを画像データに変換して出力可能とすることで、画像認識可能な機械学習データに変換された画像と等価の特徴量配列を、さらに、人間が視覚により認識可能な実際の画像データとして出力・表示等させることができる。
これによって、観測対象１００で生成される時系列データを画像として認識・把握することができ、観測対象１００の管理者・作業者等が、画像データを視認することで、例えば生産システムの正常／異常を判断することができる。
また、複数の画像を重ねてテンソル化した多チャンネル画像データによって、例えば特定の入力センサに対していずれの要素の関係性が強い／弱い（画像が「白／黒」になる）といったことも識別可能となり、入力データの特性等に応じた判定・判断等を可能とすることできる。

ここで、特徴量配列を画像に変換する所定の変換方法としては、上述した特徴量の計算手法（共分散，相関係数，ＨＳＩＣ，ＭＩＣ）によって取り得る値の上界及び下界（又は最大値及び最初値）を数値範囲とする、特徴量配列を構成する画像のｂｉｔ深度に応じた定義域において、輝度のスケーリングを行うことが好ましい。
特徴量配列を画像に変換するにあたり、実際に得られた特徴量の値の上界及び下界（又は最大値及び最初値）に合わせて輝度のスケーリングを行うこともできるが、その場合、実際に得られた特徴量の値の範囲が狭い場合、どの値もほぼ同様の輝度に変換されることになり、生成される画像は全体的にほぼ同色（グレー）の「ぼんやり」とした画像となってしまい、人間の視覚によって見た場合、特定の判定・判断等のつかないものとなってしまう可能性がある。

そこで、画像生成手段１５による画像生成・変換においては、特徴量の計算手法によって取り得る値の上界及び下界（又は最大値及び最初値）を数値範囲に対応して、画像のｂｉｔ深度に応じた輝度のスケーリングを行うことが望ましい。
なお、観測対象１００の種類や時系列データの特性などによっては、実際に得られる特徴量の範囲が比較的広範であったり、得られる特徴量の数が非常に多数であるような場合には、特徴量の計算手法によって取り得る値の上界及び下界（又は最大値及び最初値）よりも、狭い範囲や限定された範囲を基準として、輝度のスケーリングを行うことも勿論可能である。

また、以上のような画像生成手段１５・画像出力手段１６・多チャンネル画像出力手段１７による画像生成・出力については、特徴量配列データに基づいて行われる機械学習装置２００での機械学習・深層学習には必ずしも必要なものではない。すなわち、機械学習・深層学習にかけられるデータは、人間が視覚により認識・把握できる画像自体である必要はなく、画像データと等価の特徴量が２次元に配列された２次元配列マッピングデータであれば、機械学習・深層学習の処理データとして用いることができる。
したがって、例えば観測対象１００の管理者・作業者等の人間が目で見て確認・判断等を行う必要がない場合には、画像生成手段１５・画像出力手段１６・多チャンネル画像出力手段１７による画像生成・出力は必要なく（図６（ａ）参照）、その場合には、時系列データ解析装置１０における画像生成手段１５・画像出力手段１６・多チャンネル画像出力手段１７の構成自体を省略することができる。

［機械学習装置］
機械学習装置２００は、公知の機械学習プログラム・アルゴリズムが実装された任意の情報処理装置によって構成される。
上述した時系列データ解析装置１０の解析処理によって、複数の波形（時系列データ）が、特徴量抽出・テンソル化（画像化）されたデータとして出力される。
そのデータが機械学習装置２００に入力され学習処理されることにより、画像認識で培われた深層学習を、非画像データとして取得される時系列データについても適用することができるようになる。
なお、図１では、説明の便宜上、機械学習装置２００を、一つのみ表しているが、特にこれに限定されるものではなく、複数の機械学習装置２００に対して同時並行的に時系列データ解析装置１０で得られたデータを提供・入力することができることは勿論である。

［動作］
次に、以上のような時系列データ解析装置１０における具体的な処理・動作（時系列データ解析方法）について、図６を参照して説明する。
時系列データ解析装置１０では、図６に示す一連の処理動作を自動実行することにより、観測対象１００から取得された複数の時系列データの解析・画像化処理を実行することができる。
具体的には、図６に示すように、時系列データ解析装置１０は、時系列データ入力（Ｓ０１）→部分時系列集合の生成（Ｓ０２）→基準部分時系列（Ｓ０３）→部分時系列の選択（Ｓ０４）→特徴量の計算（Ｓ０５）→特徴量配列へ格納（Ｓ０６）→特徴量配列出力（Ｓ０７）→特徴量配列の輝度変換（Ｓ０８）→輝度の画素への格納（Ｓ０９）→画像出力（Ｓ１０）の各処理を実行する。
以下、各処理の詳細を順次説明する。

まず、図６（ａ）に沿って、特徴量配列についての画像データへの変換・出力を行わない場合について説明する。
観測対象１００においては、時々刻々と時系列データが生成され、複数のセンサ１〜ｎによって、２種類以上の時系列データが取得・出力され、図２（ａ）に示すような複数の時系列データが、時系列データ解析装置１０に入力され（ステップ０１）、観測データ格納手段１１に格納・保持される（図２（ａ）参照）。
時系列データ解析装置１０に入力・格納された複数の時系列データは、図２（ｂ）に示すように、所定の期間（区間幅）で区分・分割された部分時系列データの集合として生成・格納される（ステップ０２）。

生成された部分時系列データ集合は、特徴量配列データに変換・生成される（ステップ０３〜０６）。
まず、部分時系列データ集合を構成する全要素の中から、基準要素となる基準部分時系列が選択される（ステップ０３）。基準要素となる部分時系列は、対象となる観測データの部分時系列データ集合の全要素のうち、観測時刻が最も新しい要素が基準要素として抽出・決定される。
次に、基準要素と対比される対比要素となる部分時系列が選択される（ステップ０４）。対比要素となる部分時系列は、基準要素以外の部分時系列データ集合の各要素が、一つずつ順番に抽出・選択される。

そして、選択された基準／対比の２つの部分時系列データについて、所定の計算方法により特徴量の計算が行われ（ステップ０５）、算出された特徴量は、２次元の特徴量配列として生成・格納される（ステップ０６）。
特徴量配列は、部分時系列データの各要素の特徴量を示す値が、第１軸（横軸）を時系列データの種類、第２軸（縦軸）を部分時系列データの観測時刻とした２次元配列からなり（図３（ｃ）参照）、各要素の相関性を示す画像データと等価の情報であり（図４）、非画像データであった観測データ／時系列データが、機械学習・深層学習に適用可能なデータに変換されたことになる。
その後、時系列データ解析装置１０で生成・格納された特徴量配列データは、任意の機械学習装置２００に出力され（ステップ０７）、機械学習・深層学習にかけることができる。

次に、図６（ｂ）に沿って、特徴量配列についての画像データへの変換・出力が行われる場合について説明する。
なお、特徴量配列データを画像データに変換・出力する場合も、時系列データの入力から特徴量配列データの生成・格納までの処理動作については、図６（ａ）に示した画像出力を行わない場合と同様である（ステップ０１〜０６）。

ステップ０６で生成・格納された特徴量配列の各要素の値が、所定の変換方法により輝度変換され（ステップ０８）、変換された輝度が特徴量配列に対応する画素に格納され（ステップ０９）、画像データが生成される。
画像データは、特徴量配列データで示される各要素の値を、所定の変換方法により輝度の値（例えば０−２５５）に置換され、数値の配列であった特徴量配列が画像に変換されたものである。
生成された画像データは、例えばディスプレイやプリンタを介して画像出力され（ステップ１０）、観測対象１００の管理者・作業者等が画像を視認・参照できるようになる。

なお、上述したように、特徴量配列データに基づいて行われる機械学習装置２００での機械学習・深層学習には、人間が視覚により認識・把握できる画像データは必要ではない。
したがって、人間の視覚による画像の確認等が必要ない場合には、画像生成・出力に係るステップ０８〜１０については省略することができる。

以上説明したように、時系列データ解析装置１０によれば、観測対象１００で生成・取得される複数の時系列データについて、時間方向に区分された部分時系列データに対するデータ間の相関性を数値化することが可能となる。
これによって、これまでの単なる同一時刻のデータ間について可視化（画像化）するのみであった従来技術とは異なり、生産システム（ライン）等の観測対象から時々刻々と生成・出力される複数の時系列データについて、データ間の適切な時刻合わせを行いつつ、各時系列データにおける応答の遅れ等の時空間的な関係性を考慮した特徴量の抽出及び可視化が可能となる。

したがって、例えばＰＥＴボトル容器や缶容器の生産システム・生産設備・製品などの観測対象から取得される複数の時系列データ（非画像データ）を、１枚の画像データとして生成・圧縮することが可能となり、時系列データ解析装置１０で生成・出力された特徴量データ・画像データを任意の機械学習装置２００にかけることにより、画像認識で培われた深層学習技術を、非画像データである時系列データに対しても適用することができるようになる。

なお、以上のような本実施形態に係る時系列データ解析装置１０のハードウェア構成の一例は図７に示すとおりであり、ＣＰＵ５０１，ＲＡＭ５０２，ＲＯＭ５０３，ＨＤＤ５０４，入力装置５０５及び表示装置５０６を含む情報処理装置によって構成される。これらの構成要素はシステムバスで接続され、システムバスを介してデータのやり取りが行われる。ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）５０１は、中央処理装置ともいい、コンピュータの中心的な処理を行う部位であり、各装置の制御やデータの計算／加工を行う。ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）５０２は、メモリ装置の一種で、データの消去・書き換えが可能なものであり、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）５０３は、半導体などを用いたメモリ装置の一種で、データ書き込みは製造時１回のみで、利用時には記録されたデータの読み出しのみできるものである。ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）５０４は、磁性体の性質を利用し、情報を記録し読み出す補助記憶装置である。入力装置５０５は、使用者がコンピュータに対して操作指示を行うため、あるいは、文字等を入力するために使用され、具体的には、キーボード，マウス等で構成される。表示装置５０６は、例えば液晶ディスプレイ等で構成され、タッチパネル機能を有するものであってもよい。この他、図示しない通信機能も有し、この通信機能により他の端末との通信が可能となる。

以上、本発明について好ましい実施形態を示して説明したが、本発明は、上述した実施形態に限定されるものではなく、本発明の範囲で種々の変更実施が可能であることは言うまでもない。
例えば、上述した実施形態では、本発明が対象とする観測対象として、ＰＥＴボトル容器の製造ラインを例にとって説明したが、本発明を適用可能な観測対象としては、２以上の時系列データが生成・出力可能な対象であれば、特に限定されるものではない。

本発明は、例えば缶容器やＰＥＴボトル容器の製造ラインのような複数の時系列データを生成・出力する観測対象についてのデータ解析に好適な装置・方法として利用可能である。

１０ 時系列データ解析装置
１１ 観測データ格納手段
１２ 部分時系列データ格納手段
１３ 特徴量配列格納手段
１４ 特徴量配列出力手段
１５ 画像生成手段
１６ 画像出力手段
１７ 多チャンネル画像出力手段
１００ 観測対象
２００ 機械学習装置

Claims (6)

1. 観測対象が生成する時系列データからなる２種類以上の複数の観測データを格納する観測データ格納手段と、
   前記観測データのうち、選択された１種類の観測データを所定の期間ごとに分割し、前記選択された１種類の観測データ以外の全ての前記観測データを前記所定の期間によって分割し、部分時系列データの集合として格納する部分時系列データ格納手段と、
   第１軸を前記時系列データの種類とし、第２軸を前記部分時系列データの観測時刻とした２次元配列の各配列要素として、前記部分時系列データの各要素のうち、前記選択された１種類の観測データの観測時刻が最も新しい基準要素と、前記配列要素の前記第１軸及び前記第２軸から同定される前記部分時系列データのいずれか一の要素との、２つの要素の組合せに基づいて、所定の計算方法により特徴量を計算して特徴量配列として格納する特徴量配列格納手段と、
   前記特徴量配列を出力する特徴量配列出力手段と、
   を備えることを特徴とする時系列データ解析装置。
2. 前記特徴量配列の対応する要素の値を、それぞれ所定の変換方法により輝度に変換して、画像の各画素として格納することにより、所定の画像を生成する画像生成手段と、
   前記画像を出力する画像出力手段と、
   を備えることを特徴とする請求項１に記載の時系列データ解析装置。
3. 前記複数の観測データに対して、それぞれ前記画像を出力して出力画像集合とするとともに、当該出力画像集合をチャンネル方向に結合して、多チャンネルの２次元画像として出力する多チャンネル画像出力手段、
   を備えることを特徴とする請求項２に記載の時系列データ解析装置。
4. 前記所定の期間として、
   前記観測データ内の全ての時系列データにおける最低周期以上の長さを設定する
   ことを特徴とする請求項１〜３のいずれか一項に記載の時系列データ解析装置。
5. 前記所定の計算方法として、
   共分散，相関係数，ＨＳＩＣ，ＭＩＣのうち、少なくともいずれかを用いる
   ことを特徴とする請求項１〜４のいずれか一項に記載の時系列データ解析装置。
6. 前記所定の変換方法として、
   前記所定の計算手法によって取り得る値の上界及び下界を数値範囲とする、前記特徴量配列を構成する前記画像のｂｉｔ深度に応じた定義域において、前記輝度のスケーリングを行う
   ことを特徴とする請求項２に記載の時系列データ解析装置。

Images