JP2022070386A - 学習方法、系列解析方法、学習装置、系列解析装置、及びプログラム - Google Patents

学習方法、系列解析方法、学習装置、系列解析装置、及びプログラム Download PDF

Info

Publication number
JP2022070386A
JP2022070386A JP2020179424A JP2020179424A JP2022070386A JP 2022070386 A JP2022070386 A JP 2022070386A JP 2020179424 A JP2020179424 A JP 2020179424A JP 2020179424 A JP2020179424 A JP 2020179424A JP 2022070386 A JP2022070386 A JP 2022070386A
Authority
JP
Japan
Prior art keywords
model
data
procedure
feature vector
series data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020179424A
Other languages
English (en)
Inventor
具治 岩田
Tomoharu Iwata
吉伸 河原
Yoshinobu Kawahara
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kyushu University NUC
Nippon Telegraph and Telephone Corp
Original Assignee
Kyushu University NUC
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kyushu University NUC, Nippon Telegraph and Telephone Corp filed Critical Kyushu University NUC
Priority to JP2020179424A priority Critical patent/JP2022070386A/ja
Publication of JP2022070386A publication Critical patent/JP2022070386A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

【課題】系列データを解析、予測、制御すること。【解決手段】一実施形態に係る学習方法は、観測データで構成される第１の系列データを入力する第１の入力手順と、前記第１の系列データに含まれる観測データを第１のモデルにより第１の特徴ベクトルに変換する第１の変換手順と、前記第１の特徴ベクトルを第２のモデルにより前記観測データに変換する第２の変換手順と、前記第１の系列データに含まれる観測データと、前記第２の変換手順で変換された観測データとの第１の誤差が小さくなるように、前記第１のモデル及び前記第２のモデルのパラメータを更新する更新手順と、をコンピュータが実行する。【選択図】図１

Description

本発明は、学習方法、系列解析方法、学習装置、系列解析装置、及びプログラムに関する。
時系列データの解析技術は、例えば、社会学、感染学、神経科学、物理学、工学、金融等の様々な分野で応用されており、重要な技術要素の１つである。時系列データを解析、予測又は制御する従来技術として、動的モード分解が知られている（例えば、非特許文献１参照）。動的モード分解は動的システムのモード分解技術であり、データからその系列の特徴を表す動的モードや固有値を自動的に抽出することができる。
Peter Schmid. Dynamic mode decomposition of numerical and experimental data. Journal of Fluid Mechanics, Cambridge University Press (CUP), 2010, 656 (August), pp.5-28.
しかしながら、動的モード分解は動的システムが非線形である場合には、適切な動的モードや固有値を抽出できないことがあるという問題がある。このため、動的モード分解を用いる場合、非線形な動的システムの時系列データを適切に解析したり、予測したり、又は当該動的システムを制御したりすることができないことがある。
本発明の一実施形態は、上記の点に鑑みてなされたもので、系列データの解析、予測、制御を可能にすることを目的とする。
上記目的を達成するため、一実施形態に係る学習方法は、観測データで構成される第１の系列データを入力する第１の入力手順と、前記第１の系列データに含まれる観測データを第１のモデルにより第１の特徴ベクトルに変換する第１の変換手順と、前記第１の特徴ベクトルを第２のモデルにより前記観測データに変換する第２の変換手順と、前記第１の系列データに含まれる観測データと、前記第２の変換手順で変換された観測データとの第１の誤差が小さくなるように、前記第１のモデル及び前記第２のモデルのパラメータを更新する更新手順と、をコンピュータが実行する。
系列データを解析、予測、制御することができる。
一実施形態に係る系列解析装置の機能構成の一例を示す図である。 第一の実施形態に係る学習処理の一例を示すフローチャートである。 第二の実施形態に係る学習処理の一例を示すフローチャートである。 評価結果を説明するための図である。 一実施形態に係る系列解析装置のハードウェア構成の一例を示す図である。
以下、本発明の一実施形態について説明する。本実施形態では、系列データが与えられたときに、その系列データの性質を解析したり、データの予測をしたり、その系列データが得られた動的システムの制御をしたりすることが可能な系列解析装置１０について説明する。
ここで、本実施形態に係る系列解析装置１０には学習フェーズと推論フェーズとが存在し、学習フェーズでは系列データに含まれる各データを特徴空間内のデータに変換するモデル等を学習し、推論フェーズでは学習済みのモデルを用いて系列データの解析、データの予測、動的システムの制御を行う。ただし、動的システムの制御は、後述する外因性ベクトルの系列データも与えられる場合にのみ行うことが可能である。なお、学習フェーズにおける系列解析装置１０は、例えば、「学習装置」等と称されてもよい。
学習フェーズにおける系列解析装置１０には、入力データとして、長さＴの系列データＸ＝［ｘ１，・・・，ｘＴ］が与えられるものとする。ここで、ｘｔは時刻ｔにおける観測データを表す。なお、以降では、一例として、観測データはベクトルであるものとし、「観測ベクトル」ともいう。ただし、観測データがベクトルであることは一例であって、例えば、テンソル、グラフ、系列等の任意の構造のデータであってもよい。
また、入力データとして、観測ベクトルの系列データＸと共に、外因性データの系列データＺ＝［ｚ１，・・・，ｚＴ］が与えられていてもよい。外因性データとは、観測データに影響を与えるデータのことである。以降では、一例として、外因性データはベクトルであるものとし、「外因性ベクトル」ともいう。ただし、外因性データがベクトルであることは一例であって、例えば、テンソル、グラフ、系列等の任意の構造のデータであってもよい。
一方で、推論フェーズにおける系列解析装置１０には、入力データとして、解析対象又は予測対象の系列データが与えられる。なお、動的システムの制御を行う場合には、学習フェーズにおける学習結果から推定された行列が入力データとして与えられる。
なお、系列解析装置１０に与えられる系列データは必ずしも連続した時刻でなくてもよい。この場合、既存の動的モード分解技術を適用することにより、本実施形態を適用可能である。
＜機能構成＞
まず、本実施形態に係る系列解析装置１０の機能構成について、図１を参照しながら説明する。図１は、一実施形態に係る系列解析装置１０の機能構成の一例を示す図である。
図１に示すように、本実施形態に係る系列解析装置１０は、入力部１０１と、学習部１０２と、解析部１０３と、予測部１０４と、制御部１０５と、出力部１０６と、記憶部１０７とを有する。
記憶部１０７は、学習フェーズや推論フェーズで用いられる各種データを記憶する。すなわち、記憶部１０７には、学習フェーズや推論フェーズで与えられた入力データ、学習フェーズで学習対象となるモデルのパラメータ等が記憶される。
入力部１０１は、学習フェーズにおいて観測ベクトルの系列データＸ、又は、観測ベクトルの系列データＸと外因性ベクトルの系列データＺとの両方を入力データとして記憶部１０７から入力する。また、入力部１０１は、推論フェーズにおいて解析対象若しくは予測対象の系列データ、又は、動的システムの制御に用いられる行列のデータを入力データとして記憶部１０７から入力する。
学習部１０２は、学習フェーズにおいて学習処理を実行する。学習処理では、入力部１０１によって入力された入力データを用いて、系列データに含まれる各データを特徴空間内のデータに変換するモデル等が学習される。以降では、特徴空間内のデータはベクトルであるものとし、「特徴ベクトル」ともいう。なお、学習処理の詳細については後述する。
解析部１０３は、推論フェーズにおいて解析処理を実行する。予測部１０４は、推論フェーズにおいて予測処理を実行する。制御部１０５は、推論フェーズにおいて制御処理を実行する。なお、これらの解析処理、予測処理及び制御処理の詳細については後述する。
出力部１０６は、学習部１０２によって学習されたモデルのパラメータを出力する。また、出力部１０６は、解析部１０３による解析結果、予測部１０４による予測結果、及び制御部１０５による制御結果等を出力する。なお、出力部１０６の出力先は予め決められた任意の出力先とすればよいが、例えば、記憶部１０７やディスプレイ、通信ネットワークを介して接続される他の装置、機器又は端末等が挙げられる。
なお、図１に示す系列解析装置１０の機能構成は学習フェーズと推論フェーズの両方の機能構成であり、例えば、学習フェーズにおける系列解析装置１０は解析部１０３、予測部１０４及び制御部１０５の全部又は一部を有していなくてもよい。同様に、例えば、推論フェーズにおける系列解析装置１０は学習部１０２を有していなくてもよい。
また、系列解析装置１０は解析部１０３、予測部１０４及び制御部１０５の全部を有している必要はなく、系列解析装置１０の目的に応じて一部の機能部のみを有していてもよい。例えば、系列データの性質の解析のみを目的とする場合は解析部１０３のみを有していればよいし、データの予測のみを目的とする場合は予測部１０４のみを有していればよいし、動的システムの制御のみを目的とする場合は制御部１０５のみを有していればよい。
更に、学習フェーズにおける系列解析装置１０と推論フェーズにおける系列解析装置１０とが異なる装置、機器又は端末で実現されていてもよい。例えば、第１の装置と第２の装置とが通信ネットワークを介して接続されており、学習フェーズにおける系列解析装置１０は第１の装置で実現される一方、推論フェーズにおける系列解析装置１０は第２の装置で実現されていてもよい。
＜学習処理（第一の実施形態）＞
次に、第一の実施形態に係る学習処理について、図２を参照しながら説明する。図２は、第一の実施形態に係る学習処理の一例を示すフローチャートである。第一の実施形態に係る学習処理では、入力部１０１によって観測ベクトルの系列データＸが入力データとして記憶部１０７から入力されたものとする。このとき、以下のステップＳ１０１～ステップＳ１０９を実行することで、系列データＸに含まれる観測ベクトルを特徴ベクトルに変換するモデルと、特徴ベクトルを観測ベクトルに変換するモデルとを学習する。以降では、一例として、これらのモデルはニューラルネットワークで実現されるものとして、それぞれｆ及びｇと表記する。なお、観測データがベクトルでない場合（例えば、テンソル、グラフ、系列等である場合）には、当該観測データのデータ構造に対応したニューラルネットワークを用いればよい。
ステップＳ１０１：まず、学習部１０２は、ニューラルネットワークｆ及びｇのパラメータを初期化する。なお、ニューラルネットワークｆ及びｇのパラメータは既知の初期化手法により初期化されればよい。
ステップＳ１０２：次に、学習部１０２は、系列データＸに含まれる観測ベクトルの時刻集合からＳ個の時刻をランダムにサンプリングする。以降では、ランダムにサンプリングされたＳ個の時刻の集合をτ＝｛τ１，・・・，τＳ｝⊂｛１，・・・，Ｔ｝とする。なお、Ｓは予め決められた正の整数である。
ステップＳ１０３：次に、学習部１０２は、時刻集合τから時刻集合τ＋＝｛τ１，・・・，τＳ，τ１＋１，・・・，τＳ＋１｝を作成した上で、以下の式（１）により時刻ｔ∈τ＋における観測ベクトルｘｔを特徴ベクトルψｔに変換する。
Figure 2022070386000002
 すなわち、学習部１０２は、時刻集合τに含まれる各時刻と、その時刻の次の時刻とが含まれる時刻集合τ＋を作成した上で、この時刻集合τ＋に含まれる各時刻における観測ベクトルをニューラルネットワークｆにより特徴ベクトルに変換する。なお、上記の式（１）に示すｆは、観測ベクトルを特徴ベクトルに変換する関数をニューラルネットワークによりモデル化したものということもできる。
ステップＳ１０４：次に、学習部１０２は、上記のステップＳ１０３で得られた特徴ベクトルψｔを用いて、次の時刻への線形遷移行列Ａの固有値及び固有ベクトルを推定する。すなわち、学習部１０２は、以下の式（２）の関係を満たす線形遷移行列Ａの固有値及び固有ベクトルを推定する。
Figure 2022070386000003
 学習部１０２は、予測精度が高くなるように線形遷移行列Ａを推定し、その固有値及び固有ベクトルを計算すればよい。このとき、線形遷移行列Ａは、例えば、特異値分解を用いて次元削減された空間で推定することができる。この場合、まず、学習部１０２は、特徴ベクトルψｔを用いて、以下の式（３）に示す２つの行列Ψ１及びΨ２を作成する。
Figure 2022070386000004
 ここで、Ｋは特徴ベクトルψｔの次元数である。
次に、学習部１０２は、特異値分解により、以下の式（４）のように行列Ψ１を分解する。
Figure 2022070386000005
 次に、学習部１０２は、以下の式（５）のように、特異値分解の結果を用いて推定される次元削減された線形遷移行列を計算する。
Figure 2022070386000006
 ここで、Ｒは次元削減後の線形遷移行列の行及び列数である。
そして、学習部１０２は、上記の式（５）で計算された線形遷移行列を以下の式（６）のように固有値分解する。
Figure 2022070386000007
 ここで、Ｙは固有ベクトル、Λは固有値である。これにより、線形遷移行列Ａの固有値及び固有ベクトルが推定される。
ステップＳ１０５：次に、学習部１０２は、上記のステップＳ１０４で得られた固有値Λ及び固有ベクトルＹを用いて、各時刻における特徴ベクトルを予測する。学習部１０２は、時刻ｔにおける特徴ベクトルψｔと近くなるように、当該時刻ｔにおける特徴ベクトルを予測すればよい。例えば、学習部１０２は、以下の式（７）により特徴ベクトルを予測することができる。
Figure 2022070386000008
 ここで、
Figure 2022070386000009
 である。また、Φ†はΦの疑似逆行列を表す。なお、以降の明細書のテキスト中では、或る記号の真上に付与されるハット「＾」、当該記号の直前に表記するものとする。例えば、特徴ベクトルψｔの予測値は「＾ψｔ」と表記する。
ステップＳ１０６：次に、学習部１０２は、上記のステップＳ１０５で予測された特徴ベクトル＾ψｔを以下の式（８）により観測ベクトル＾ｘｔに変換する。
Figure 2022070386000010
 すなわち、学習部１０２は、各時刻ｔにおける特徴ベクトル＾ψｔをニューラルネットワークｇにより観測ベクトル＾ｘｔに変換する。なお、上記の式（８）に示すｇは、特徴ベクトルを観測ベクトルに変換する関数をニューラルネットワークによりモデル化したものということもできる。
ステップＳ１０７：次に、学習部１０２は、上記のステップＳ１０６で得られた観測ベクトル＾ｘｔと、入力データとして入力した系列データＸに含まれる観測ベクトルｘｔ（つまり、実際に与えられている観測ベクトルｘｔ）との誤差を計算する。なお、学習部１０２は、誤差として、例えば、平均二乗誤差（つまり、時刻ｔにおける＾ｘｔとｘｔの差の二乗の総和）等を計算すればよい。
ステップＳ１０８：次に、学習部１０２は、上記のステップＳ１０７で計算された誤差が小さくなるように、ニューラルネットワークｆ及びｇのパラメータを更新する。なお、学習部１０２は、例えば、確率的勾配降下法等を用いてニューラルネットワークｆ及びｇのパラメータを更新すればよい。
ステップＳ１０９：次に、学習部１０２は、所定の終了条件を満たすか否かを判定する。そして、学習部１０２は、当該終了条件を満たさないと判定した場合は上記のステップＳ１０２に戻る。これにより、当該終了条件を満たすまで、上記のステップＳ１０２～ステップＳ１０８が繰り返し実行される。
一方で、学習部１０２は、当該終了条件を満たすと判定した場合は、学習処理を終了する。これにより、出力部１０６によって学習済みのモデル（ニューラルネットワークｆ及びｇ）のパラメータが出力される。
なお、所定の終了条件としては、例えば、上記のステップＳ１０２～ステップＳ１０８の繰り返し回数が所定の第１の閾値を超えたこと、繰り返しの前後におけるパラメータや誤差の変化量が所定の第２の閾値以下となったこと、等を用いることができる。
以上のように、学習フェーズにおける系列解析装置１０は、系列データの解析や予測等に用いられるモデル（ニューラルネットワークｆ及びｇ）のパラメータを学習することができる。
なお、系列データが属するドメインの表現が与えられている場合には、その表現をニューラルネットワークｆ及びｇの入力に追加してもよい。また、ドメインの表現を系列データから学習し、ニューラルネットワークｆ及びｇの入力に追加してもよい。
ニューラルネットワークｆ及びｇとしては、例えば、フィードフォワード型ニューラルネットワーク、畳み込み型ニューラルネットワーク、再帰型ニューラルネットワーク等、データに応じて任意のニューラルネットワークを用いることができる。また、系列データのラベル情報が与えられている場合には、後述する解析処理の解析結果を入力、ラベルを出力とするニューラルネットワークと組み合わせることにより、回帰や分類等の教師あり学習にも適用することが可能である。
＜学習処理（第二の実施形態）＞
次に、第二の実施形態に係る学習処理について、図３を参照しながら説明する。図３は、第二の実施形態に係る学習処理の一例を示すフローチャートである。第二の実施形態に係る学習処理では、入力部１０１によって観測ベクトルの系列データＸと外因性ベクトルの系列データＺとの両方が入力データとして記憶部１０７から入力されたものとする。このとき、以下のステップＳ２０１～ステップＳ２１２を実行することで、系列データＸに含まれる観測ベクトルを特徴ベクトルに変換するモデルと、特徴ベクトルを観測ベクトルに変換するモデルと、系列データＺに含まれる外因性ベクトルを特徴ベクトルに変換するモデルと、特徴ベクトルを外因性ベクトルに変換するモデルとを学習する。以降では、一例として、これらのモデルはニューラルネットワークで実現されるものとして、それぞれｆ、ｇ、ｈ及びｑと表記する。なお、観測データや外因性データがベクトルでない場合（例えば、テンソル、グラフ、系列等である場合）には、当該観測データや当該外因性データのデータ構造に対応したニューラルネットワークを用いればよい。
なお、第二の実施形態に係る学習処理の説明では、第一の実施形態に係る学習処理と同様の構成要素についてはその説明を簡略化又は省略している。
ステップＳ２０１：まず、学習部１０２は、ニューラルネットワークｆ、ｇ、ｈ及びｑのパラメータを初期化する。
ステップＳ２０２：次に、学習部１０２は、時刻集合｛１，・・・，Ｔ－Ｓ｝から１つの時刻τをサンプリングする。すなわち、学習部１０２は、τ∈｛１，・・・，Ｔ－Ｓ｝をランダムにサンプリングする。なお、Ｓは予め決められた正の整数である。
ステップＳ２０３：次に、学習部１０２は、上記のステップＳ２０２で得られた時刻τから時刻集合τ＋＝｛τ，τ＋１，・・・，τ＋Ｓ｝を作成した上で、上記の式（１）により時刻ｔ∈τ＋における観測ベクトルｘｔを特徴ベクトルψｔに変換する。すなわち、学習部１０２は、時刻τから時刻τ＋Ｓまでの各時刻における観測ベクトルをニューラルネットワークｆにより特徴ベクトルに変換する。
ステップＳ２０４：次に、学習部１０２は、以下の式（９）により時刻ｔ∈τ＋における外因性ベクトルｚｔを特徴ベクトルξｔに変換する。
Figure 2022070386000011
 すなわち、学習部１０２は、時刻τから時刻τ＋Ｓまでの各時刻における外因性ベクトルをニューラルネットワークｈにより特徴ベクトルに変換する。なお、上記の式（９）に示すｈは、外因性ベクトルを特徴ベクトルに変換する関数をニューラルネットワークによりモデル化したものということもできる。
ステップＳ２０５：次に、学習部１０２は、上記のステップＳ２０３で得られた特徴ベクトルψｔと、上記のステップＳ２０４で得られた特徴ベクトルξｔとを用いて、次の時刻への線形遷移行列Ａの固有値及び固有ベクトルを推定する。すなわち、学習部１０２は、以下の式（１０）の関係を満たす線形遷移行列Ａの固有値及び固有ベクトルを推定する。
Figure 2022070386000012
 ここで、Ｂは、特徴ベクトルξｔから特徴ベクトルψｔ＋１への影響を表す行列である。
学習部１０２は、外因性ベクトルの影響を考慮しつつ、予測精度が高くなるように線形遷移行列Ａを推定し、その固有値及び固有ベクトルを計算すればよい。このとき、線形遷移行列Ａは、例えば、特異値分解を用いて次元削減された空間で推定することができる。この場合、まず、学習部１０２は、以下の式（１１）に示す２つの行列Ω及びΨ２を作成する。
Figure 2022070386000013
 ここで、Ｋは特徴ベクトルψｔの次元数、Ｎは特徴ベクトルξｔの次元数である。また、［・；・］はベクトルの結合を表す。
次に、学習部１０２は、特異値分解により、以下の式（１２）のように行列Ωを分解する。
Figure 2022070386000014
 次に、学習部１０２は、特異値分解により、以下の式（１３）のように行列Ψ２を分解する。
Figure 2022070386000015
 次に、学習部１０２は、以下の式（１４）のように、特異値分解の結果を用いて推定される次元削減された線形遷移行列を計算する。
Figure 2022070386000016
 ここで、
Figure 2022070386000017
 である。なお、Ｐは特異値分解で決定される値（特異値の数）であり、Σのサイズ（行及び列数）である。
そして、学習部１０２は、上記の式（１４）で計算された線形遷移行列を以下の式（１５）のように固有値分解する。
Figure 2022070386000018
 ここで、Ｙは固有ベクトル、Λは固有値である。これにより、線形遷移行列Ａの固有値及び固有ベクトルが推定される。
ステップＳ２０６：次に、学習部１０２は、上記のステップＳ２０５で得られた固有値Λ及び固有ベクトルＹを用いて、各時刻における観測ベクトルの特徴ベクトルを予測する。学習部１０２は、時刻ｔにおける特徴ベクトルψｔと近くなるように、当該時刻ｔにおける特徴ベクトル＾ψｔを予測すればよい。例えば、学習部１０２は、以下の式（１６）により特徴ベクトル＾ψｔを予測することができる。
Figure 2022070386000019
 ここで、
Figure 2022070386000020
 である。
ステップＳ２０７：次に、学習部１０２は、上記のステップＳ２０６で予測された特徴ベクトル＾ψｔを上記の式（８）により観測ベクトル＾ｘｔに変換する。すなわち、学習部１０２は、各時刻ｔにおける特徴ベクトル＾ψｔをニューラルネットワークｇにより観測ベクトル＾ｘｔに変換する。
ステップＳ２０８：次に、学習部１０２は、外因性ベクトルの特徴ベクトルξｔを以下の式（１７）により外因性ベクトル＾ｚｔに変換する。
Figure 2022070386000021
 すなわち、学習部１０２は、各時刻ｔにおける特徴ベクトル＾ξｔ＝ξｔをニューラルネットワークｑにより外因性ベクトル＾ｚｔに変換する。なお、上記の式（１７）に示すｑは、特徴ベクトルを外因性ベクトルに変換する関数をニューラルネットワークによりモデル化したものということもできる。
ステップＳ２０９：次に、学習部１０２は、上記のステップＳ２０７で得られた観測ベクトル＾ｘｔと、入力データとして入力した系列データＸに含まれる観測ベクトルｘｔ（つまり、実際に与えられている観測ベクトルｘｔ）との誤差を計算する。
ステップＳ２１０：次に、学習部１０２は、上記のステップＳ２０８で得られた外因性ベクトル＾ｚｔと、入力データとして入力した系列データＺに含まれる外因性ベクトルｚｔ（つまり、実際に与えられている外因性ベクトルｚｔ）との誤差を計算する。
なお、上記のステップＳ２０９及びステップＳ２１０において、学習部１０２は、誤差として、例えば、平均二乗誤差等を計算すればよい。
ステップＳ２１１：次に、学習部１０２は、上記のステップＳ２０９及びステップＳ２１０で計算された誤差が小さくなるように、ニューラルネットワークｆ、ｇ、ｈ及びｑのパラメータを更新する。なお、学習部１０２は、例えば、確率的勾配降下法等を用いてニューラルネットワークｆ、ｇ、ｈ及びｑのパラメータを更新すればよい。
ステップＳ２１２：次に、学習部１０２は、所定の終了条件を満たすか否かを判定する。そして、学習部１０２は、当該終了条件を満たさないと判定した場合は上記のステップＳ２０２に戻る。これにより、当該終了条件を満たすまで、上記のステップＳ２０２～ステップＳ２１１が繰り返し実行される。
一方で、学習部１０２は、当該終了条件を満たすと判定した場合は、学習処理を終了する。これにより、出力部１０６によって学習済みのモデル（ニューラルネットワークｆ、ｇ、ｈ及びｑ）のパラメータが出力される。
なお、所定の終了条件としては、例えば、上記のステップＳ２０２～ステップＳ２１１の繰り返し回数が所定の第３の閾値を超えたこと、繰り返しの前後におけるパラメータや誤差の変化量が所定の第４の閾値以下となったこと、等を用いることができる。
以上のように、学習フェーズにおける系列解析装置１０は、観測ベクトルの系列データと共に外因性ベクトルの系列データが与えられる場合に、系列データの解析や予測、系列データが得られた動的システムの制御等に用いられるモデル（ニューラルネットワークｆ、ｇ、ｈ及びｑ）のパラメータを学習することができる。
＜補助情報も与えられている場合の学習処理＞
ここで、例えば、固有値等の系列データに関する補助情報が入力データとして与えられている場合、このような補助情報をモデルの学習に有効活用することができる。
例えば、真の固有値
Figure 2022070386000022
 が入力データとして与えられている場合、学習部１０２は、上記のステップＳ１０７やステップＳ２０９～ステップＳ２１０で計算される誤差に対して、以下の式（１８）に示す正則化項を追加する。
Figure 2022070386000023
 これにより、真の固有値と同じような固有値が得られるように、ニューラルネットワークを学習することができる。
なお、例えば、一部の真の固有値のみが与えられている場合、真の固有値の実部又は虚部のみが与えられる場合、固有ベクトルに関する情報が与えられている場合等についても、上記と同様に正則化項を追加することで、補助情報を活用してニューラルネットワークを学習することができるようになる。
＜解析処理＞
解析部１０３は、与えられた系列データの全ての時刻集合をτとして、学習済みのニューラルネットワークｆを用いて、上記のステップＳ１０３～ステップＳ１０４を実行することにより固有値Λ及び固有ベクトルＹを求める。固有値の実部は分解された系列データの成長率を表し、虚部は周期を表す。
また、解析部１０３は、固有ベクトルＹと学習済みのニューラルネットワークｇをかけることで、固有関数を推定することもできる。固有関数により、共通の動的システムに従う変数を明らかにすることができる。
＜予測処理＞
予測部１０４は、与えられた系列データの全ての時刻集合をτとして、学習済みのニューラルネットワークｆ及びｇを用いて、上記のステップＳ１０３～ステップＳ１０６を実行することにより、任意の時刻の観測ベクトル＾ｘｔを予測することができる。
＜制御処理＞
外因性ベクトルの系列データが与えられている場合は、学習部１０２により、以下の式（１９）及び（２０）によって特徴空間における線形行列Ａ及びＢを推定する。
Figure 2022070386000024
 このように推定された線形行列＾Ａ及び＾Ｂに基づいて、最適制御理論を用いることにより、制御部１０５は、動的システムを制御することができる。例えば、線形二次レギュレータや極配置法等により動的システムを制御することができる。これにより得られた制御は、上記の式（１７）に示すニューラルネットワークｑにより、観測空間における外因性ベクトルに変換することができる。
＜評価＞
次に、本実施形態に係る系列解析装置１０による固有値の推定精度の評価結果について説明する。人工データを用いて、固有値を推定し、その結果を既存手法と比較した。比較結果を図４に示す。図４中のＮＤＭＤは、本実施形態に係る系列解析装置１０を表す。また、ＤＭＤ、ＤＭＤ２、ＳＤＭＤはいずれも既存手法であり、それぞれ動的モード分解、２次元に次元削減した動的モード分解、スパース動的モード分解を表す。
図４に示すように、本実施形態に係る系列解析装置１０は、既存手法と比較して、２つの真の固有値（Ｔｒｕｅ）を適切に推定できていることがわかる。
＜ハードウェア構成＞
最後に、一実施形態に係る系列解析装置１０のハードウェア構成について、図５を参照しながら説明する。図５は、一実施形態に係る系列解析装置１０のハードウェア構成の一例を示す図である。
図５に示すように、一実施形態に係る系列解析装置１０は一般的なコンピュータ又はコンピュータシステムのハードウェア構成で実現され、入力装置２０１と、表示装置２０２と、外部Ｉ／Ｆ２０３と、通信Ｉ／Ｆ２０４と、プロセッサ２０５と、メモリ装置２０６とを有する。これら各ハードウェアは、それぞれがバス２０７を介して通信可能に接続される。
入力装置２０１は、例えば、キーボードやマウス、タッチパネル等である。表示装置２０２は、例えば、ディスプレイ等である。なお、系列解析装置１０は、例えば、入力装置２０１及び表示装置２０２のうちの少なくとも一方を有していなくてもよい。
外部Ｉ／Ｆ２０３は、記録媒体２０３ａ等の外部装置とのインタフェースである。系列解析装置１０は、外部Ｉ／Ｆ２０３を介して、記録媒体２０３ａの読み取りや書き込み等を行うことができる。記録媒体２０３ａには、例えば、系列解析装置１０が有する各機能部（入力部１０１、学習部１０２、解析部１０３、予測部１０４、制御部１０５及び出力部１０６）を実現する１以上のプログラムが格納されていてもよい。
なお、記録媒体２０３ａには、例えば、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disk）、ＳＤメモリカード（Secure Digital memory card）、ＵＳＢ（Universal Serial Bus）メモリカード等がある。
通信Ｉ／Ｆ２０４は、系列解析装置１０を通信ネットワークに接続するためのインタフェースである。なお、系列解析装置１０が有する各機能部を実現する１以上のプログラムは、通信Ｉ／Ｆ２０４を介して、所定のサーバ装置等から取得（ダウンロード）されてもよい。
プロセッサ２０５は、例えば、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）等の各種演算装置である。系列解析装置１０が有する各機能部は、例えば、メモリ装置２０６等に格納されている１以上のプログラムがプロセッサ２０５に実行させる処理により実現される。
メモリ装置２０６は、例えば、ＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリ等の各種記憶装置である。系列解析装置１０が有する記憶部１０７は、例えば、メモリ装置２０６を用いて実現可能である。なお、記憶部１０７は、例えば、系列解析装置１０と通信ネットワークを介して接続される記憶装置等を用いて実現されていてもよい。
一実施形態に係る系列解析装置１０は、図５に示すハードウェア構成を有することにより、上述した各種処理を実現することができる。なお、図５に示すハードウェア構成は一例であって、系列解析装置１０は、他のハードウェア構成を有していてもよい。例えば、系列解析装置１０は、複数のプロセッサ２０５を有していてもよいし、複数のメモリ装置２０６を有していてもよい。
本発明は、具体的に開示された上記の実施形態に限定されるものではなく、特許請求の範囲の記載から逸脱することなく、種々の変形や変更、既知の技術との組み合わせ等が可能である。
１０ 系列解析装置
１０１ 入力部
１０２ 学習部
１０３ 解析部
１０４ 予測部
１０５ 制御部
１０６ 出力部
１０７ 記憶部
２０１ 入力装置
２０２ 表示装置
２０３ 外部Ｉ／Ｆ
２０３ａ 記録媒体
２０４ 通信Ｉ／Ｆ
２０５ プロセッサ
２０６ メモリ装置
２０７ バス

Claims (8)

  1. 観測データで構成される第１の系列データを入力する第１の入力手順と、
    前記第１の系列データに含まれる観測データを第１のモデルにより第１の特徴ベクトルに変換する第１の変換手順と、
    前記第１の特徴ベクトルを第２のモデルにより前記観測データに変換する第２の変換手順と、
    前記第１の系列データに含まれる観測データと、前記第２の変換手順で変換された観測データとの第１の誤差が小さくなるように、前記第１のモデル及び前記第２のモデルのパラメータを更新する更新手順と、
    をコンピュータが実行する学習方法。
  2. 前記観測データに影響を与える外因性データで構成される第２の系列データを入力する第２の入力手順と、
    前記第２の系列データに含まれる外因性データを第３のモデルにより第２の特徴ベクトルに変換する第３の変換手順と、
    前記第２の特徴ベクトルを第４のモデルにより前記外因性データに変換する第４の変換手順と、が含まれ、
    前記更新手順は、
    前記第１の誤差と、前記第２の系列データに含まれる外因性データと前記第４の変換手順で変換された外因性データとの第２の誤差とが小さくなるように、前記第１のモデル、前記第２のモデル、前記第３のモデル及び前記第４のモデルのパラメータを更新する、請求項１に記載の学習方法。
  3. 前記第１の変換手順で変換された第１の特徴ベクトルを用いて、次の時刻の第１の特徴ベクトルへの遷移行列を推定する推定手順と、
    前記遷移行列の固有値及び固有ベクトルを用いて、各時刻の第１の特徴ベクトルを予測する予測手順と、が含まれ、
    前記第２の変換手順は、
    前記予測手順で予測された第１の特徴ベクトルを前記第２のモデルにより前記観測データに変換する、請求項１又は２に記載の学習方法。
  4. 観測データで構成される第１の系列データを入力する第１の入力手順と、
    前記第１の系列データに含まれる観測データを第１のモデルにより第１の特徴ベクトルに変換する第１の変換手順と、
    前記第１の特徴ベクトルを第２のモデルにより前記観測データに変換する第２の変換手順と、
    前記第１の系列データに含まれる観測データと、前記第２の変換手順で変換された観測データとの第１の誤差が小さくなるように、前記第１のモデル及び前記第２のモデルのパラメータを更新する更新手順と、
    前記更新手順で更新されたパラメータを設定した前記第１のモデル及び前記第２のモデルにより、解析対象の系列データの性質を解析、又は、予測対象の系列データから将来の時刻のデータを予測する推論手順と、
    をコンピュータが実行する系列解析方法。
  5. 前記観測データに影響を与える外因性データで構成される第２の系列データを入力する第２の入力手順と、
    前記第２の系列データに含まれる外因性データを第３のモデルにより第２の特徴ベクトルに変換する第３の変換手順と、
    前記第２の特徴ベクトルを第４のモデルにより前記外因性データに変換する第４の変換手順と、が含まれ、
    前記更新手順は、
    前記第１の誤差と、前記第２の系列データに含まれる外因性データと前記第４の変換手順で変換された外因性データとの第２の誤差とが小さくなるように、前記第１のモデル、前記第２のモデル、前記第３のモデル及び前記第４のモデルのパラメータを更新し、
    前記推論手順は、
    前記更新手順で更新されたパラメータを設定した前記第１のモデル、前記第２のモデル、前記第３のモデル及び前記第４のモデルにより、前記第１の系列データが得られた動的システムを制御する、請求項４に記載の系列解析方法。
  6. 観測データで構成される第１の系列データを入力する第１の入力部と、
    前記第１の系列データに含まれる観測データを第１のモデルにより第１の特徴ベクトルに変換する第１の変換部と、
    前記第１の特徴ベクトルを第２のモデルにより前記観測データに変換する第２の変換部と、
    前記第１の系列データに含まれる観測データと、前記第２の変換部で変換された観測データとの第１の誤差が小さくなるように、前記第１のモデル及び前記第２のモデルのパラメータを更新する更新部と、
    を有する学習装置。
  7. 観測データで構成される第１の系列データを入力する第１の入力部と、
    前記第１の系列データに含まれる観測データを第１のモデルにより第１の特徴ベクトルに変換する第１の変換部と、
    前記第１の特徴ベクトルを第２のモデルにより前記観測データに変換する第２の変換部と、
    前記第１の系列データに含まれる観測データと、前記第２の変換部で変換された観測データとの第１の誤差が小さくなるように、前記第１のモデル及び前記第２のモデルのパラメータを更新する更新部と、
    前記更新部で更新されたパラメータを設定した前記第１のモデル及び前記第２のモデルにより、解析対象の系列データの性質を解析、又は、予測対象の系列データから将来の時刻のデータを予測する推論部と、
    を有する系列解析装置。
  8. コンピュータに、請求項１乃至３の何れか一項に記載の学習方法、又は、請求項４又は５に記載の系列解析方法、を実行させるプログラム。
JP2020179424A 2020-10-27 2020-10-27 学習方法、系列解析方法、学習装置、系列解析装置、及びプログラム Pending JP2022070386A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020179424A JP2022070386A (ja) 2020-10-27 2020-10-27 学習方法、系列解析方法、学習装置、系列解析装置、及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020179424A JP2022070386A (ja) 2020-10-27 2020-10-27 学習方法、系列解析方法、学習装置、系列解析装置、及びプログラム

Publications (1)

Publication Number Publication Date
JP2022070386A true JP2022070386A (ja) 2022-05-13

Family

ID=81535204

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020179424A Pending JP2022070386A (ja) 2020-10-27 2020-10-27 学習方法、系列解析方法、学習装置、系列解析装置、及びプログラム

Country Status (1)

Country Link
JP (1) JP2022070386A (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024090428A1 (ja) * 2022-10-26 2024-05-02 東京エレクトロン株式会社 情報処理方法、コンピュータプログラム及び情報処理装置
WO2024090433A1 (ja) * 2022-10-26 2024-05-02 東京エレクトロン株式会社 情報処理方法、コンピュータプログラム及び情報処理装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024090428A1 (ja) * 2022-10-26 2024-05-02 東京エレクトロン株式会社 情報処理方法、コンピュータプログラム及び情報処理装置
WO2024090433A1 (ja) * 2022-10-26 2024-05-02 東京エレクトロン株式会社 情報処理方法、コンピュータプログラム及び情報処理装置

Similar Documents

Publication Publication Date Title
Champion et al. Discovery of nonlinear multiscale systems: Sampling strategies and embeddings
Rudy et al. Deep learning of dynamics and signal-noise decomposition with time-stepping constraints
US20180268285A1 (en) Neural network cooperation
JP2022070386A (ja) 学習方法、系列解析方法、学習装置、系列解析装置、及びプログラム
JP2021504836A5 (ja)
WO2019229931A1 (ja) 情報処理装置、制御方法、及びプログラム
WO2020179627A1 (ja) パラメータ推定装置、方法、及びプログラム
Khosravi Representer theorem for learning Koopman operators
JP2018067227A (ja) データ分析装置、データ分析方法、データ分析処理プログラム
US11645574B2 (en) Recording medium, reinforcement learning method, and reinforcement learning apparatus
WO2019167240A1 (ja) 情報処理装置、制御方法、及びプログラム
JP2017220001A (ja) 予測装置、予測方法及びプログラム
WO2020218246A1 (ja) 最適化装置、最適化方法、及びプログラム
JP2016520220A (ja) 隠れ属性モデル推定装置、方法およびプログラム
JP7047665B2 (ja) 学習装置、学習方法及び学習プログラム
Rehman et al. Embedded estimation sequential bayes parameter inference for the ricker dynamical system
Lancewicki et al. Sequential covariance-matrix estimation with application to mitigating catastrophic forgetting
JP7163977B2 (ja) 推定装置、学習装置、それらの方法、およびプログラム
Kocijan et al. System identification with GP models
Bianchi et al. Critical echo state network dynamics by means of Fisher information maximization
Gomm et al. Order and delay selection for neural network modelling by identification of linearized models
JP2019095894A (ja) 推定装置、学習装置、学習済みモデル、推定方法、学習方法、及びプログラム
Rogers et al. Bayesian Solutions to State-Space Structural Identification
WO2024084622A1 (ja) 軌跡データ予測装置、軌跡データ予測方法及びプログラム
WO2022009275A1 (ja) 学習方法、学習装置及びプログラム

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7426

Effective date: 20201029

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20201029

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230208

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20240205

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240402