JP2007157000A - 学習装置及び学習方法、並びにコンピュータ・プログラム - Google Patents

Abstract

【課題】高精度の時系列予測モデル（力学系近似モデル）とその効率的な学習方法を提供する。
【解決手段】時系列信号の予測問題において、ある任意の予測モデルを用いて学習を行なう。通常、予測誤差が生じるが、その誤差の時系列を新たな時系列問題として捉え直す。このようなプロセスを再帰的に繰り返し、結果としてえら複数の予測モデルを組み合わせて、最終的な予測モデルとする。ｎ次マルコフ過程の問題に対して、ｎが未知であるとき、ｍ次マルコフ過程の予測モデル（但し、ｎ＞ｍ）を組み合わせることで、学習を行なう。
【選択図】 図１

Description

本発明は、過去から現在に至る状態値からなる時系列データを引数として、次の時刻における状態値を出力する関数を近似する処理を行なう学習装置及び学習方法、並びにコンピュータ・プログラムに係り、特に、マルコフ過程に従わない（若しくはｎ次マルコフ過程の）時系列データを予測学習し、次の時刻における状態値を出力する関数を近似する処理を行なう学習装置及び学習方法、並びにコンピュータ・プログラムに関する。

さらに詳しくは、本発明は、リカレント・ニューラル・ネットワーク以外の手法により時系列予測モデルを用いて効率的な学習を行なう学習装置及び学習方法、並びにコンピュータ・プログラムに係り、特に、解の初期値に依存せず、解の収束安定性があるとともに学習時間を短縮する学習装置及び学習方法、並びにコンピュータ・プログラムに関する。

例えば、人間は同じような出来事を重ねて経験したり、同じような事実を繰り返し観測したりすると、また似たようなことが起こるのではないかと予測したり、何かこれを支配している既存が存在するのではないかと推測する。このように、過去の経験の上に立って新しい知識や技術を習得することを「学習」と言う。

情報技術（ＩＴ）が発展した昨今においては、このような学習のメカニズムをコンピュータ・システム上で実現する研究開発が広く行なわれている。例えば、現在時刻までの状態値を入力として学習を行ない、この学習結果を基に次の時刻における状態値を推測若しくは自動生成する。すなわち、学習器は、過去から現在に至る状態値からなる時系列データを引数として、次の時刻における状態値を出力する関数を近似する処理を行なっていることと等価である。

学習器の多くは、過去の履歴とは関係なく、現在の状態のみから未来の確率法則が決定される、というマルコフ過程のモデルを作成して学習を行なう。ところが、学習対象すなわち近似すべき関数がマルコフ過程に従わない（若しくは、２次以上のマルコフ過程である）場合がある。ｎ次マルコフ過程に関しては、予測学習を行なうより他ないと思料される。

現在、高精度の時系列予測モデル（力学系近似モデル）とその効率的な学習方法は、さまざまな分野において利用が期待されている重要技術の１つである。従来の予測学習の手法には長所と短所があり、十分満足のいく性能を備えたものはないのが実情であり、解の収束安定性と学習時間に問題がある。

ｎ次マルコフ過程を予測学習する学習メカニズムの代表例として、リカレント・ニューラル・ネットワーク（Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ：再帰的ニューラル・ネットワーク）を挙げることができる（例えば、非特許文献１を参照のこと）。

例えば、学習機構としてリカレント・ニューラル・ネットワークを備えたロボットは、ロボット自身の持つ制御可能な部分によって外界の移動可能な対象物を動かし、知覚センサによって対象物の置かれている環境と、対象物の動きを知覚して、ロボットの各関節部の動かし方と対象物の動きとの関連を学習し、さらに対象物の動きを予測して、ノベルティ・リワーディングにより対象物を動かすモーションを自己学習することができる（例えば、特許文献１を参照のこと）。

リカレント・ニューラル・ネットワークは、最も利用される力学系近似手法の１つであり、ニューロンの素子数を増やすことで、理論的には任意の複雑度の力学系を近似することができる。しかしながら、リカレント・ニューラル・ネットワークは、解の初期値依存性が大きく、その収束が補償されないという問題がある。このため、安定した解を探索する学習を何度もやり直す必要がある。しかも、学習に要する時間が膨大であり、安定した解を求めるのは一般に難しい。

特開２００２−５９３８４号公報 Ｅｌｍａｎ，Ｊ．Ｌ．著"Ｆｉｎｄｉｎｇ ｓｔｒｕｃｔｕｒｅ ｉｎ ｔｉｍｅ"（Ｃｏｇｎｉｔｉｖｅ Ｓｃｉｅｎｃｅ，ｖｏｌ．１４，１９９０，ｐｐ．１７９−２１１）

本発明の目的は、マルコフ過程に従わない（若しくはｎ次マルコフ過程の）時系列データを予測学習し、次の時刻における状態値を出力する関数を近似する処理を好適に行なうことができる、優れた学習装置及び学習方法、並びにコンピュータ・プログラムを提供することにある。

本発明のさらなる目的は、リカレント・ニューラル・ネットワーク以外の手法により時系列予測モデルを用いて効率的な学習を行なうことができる、優れた学習装置及び学習方法、並びにコンピュータ・プログラムを提供することにある。

本発明のさらなる目的は、解の初期値に依存せず、解の収束安定性があるとともに学習時間を短縮することができる、優れた学習装置及び学習方法、並びにコンピュータ・プログラムを提供することにある。

本発明は、上記課題を参酌してなされたものであり、その第１の側面は、時系列信号を予測学習する学習装置であって、時系列信号の予測問題をある任意の予測モデルを用いて学習を行なう第１の予測学習レイヤと、前記第１の予測学習レイヤにおいて生じる予測誤差の時系列を新たな時系列問題として捉え直し、任意の予測モデルを用いて学習を行なう第２の予測学習レイヤを備えることを特徴とする学習装置である。

学習器の多くはマルコフ過程のモデルを作成して学習を行なうが、ｎ次マルコフ過程に関しては、予測学習を行なうより他ない。予測学習する学習メカニズムの代表例として、リカレント・ニューラル・ネットワークを挙げることができるが、解の初期値依存性が大きく、その収束が補償されないという問題がある。

これに対し、本発明に係る学習装置は、時系列信号の予測問題をある任意の予測モデルを用いて学習を行なう際に生じる予測誤差の時系列を新たな時系列問題として捉え直し、下位レイヤの予測誤差を上位レイヤが学習するという階層構造を備えている。すなわち、第ｌ番目の予測学習レイヤにおいて生じる予測誤差の時系列を新たな時系列問題として捉え直してさらに学習を行なう第（ｌ＋１）番目の予測学習レイヤを備え（但し、ｌ≧１）、ｌを１ずつ増分して予測学習のプロセスを再帰的に繰り返すようになっている。

このように、時系列信号を学習するプロセスを再帰的に繰り返し、結果として得た複数の予測モデルを組み合わせて、最終的な予測モデルを構成する。したがって、レイヤの数を調整することにより、予測誤差を任意に小さくすることができる。また、繰り返しの数を繰り返せば繰り返すほど訓練誤差は減るので、訓練誤差を繰り返し終了の判定基準に用い、繰り返し誤差を任意に減少させることができる。

また、本発明に係る再帰的な学習方法では、各レイヤで得られた予測誤差系列を、可逆な別の空間に写像して、それを次の時系列問題とする。また、あるレイヤで得られた予測誤差系列とその前段の予測モデルの内部変数を組み合わせ、それを可逆な別の空間に写像して、次の時系列問題とする。可逆変換は、例えばＩＣＡやＰＣＡなどの線形変換を利用することができる。ｎ次マルコフ過程の時系列予測問題でｎが未知であるときは、ＩＣＡやＰＣＡを用いて次元圧縮して、ｍ次マルコフ過程の予測モデル（但し、ｎ＞ｍ）を組み合わせることで学習することが可能である。

また、学習モデルの選択によっては、学習の初期値依存性がなくなったり、解の収束性が補償されたり、学習時間が短縮されたりする。例えば、各レイヤでは、短時間で大域解への収束が保証されるＳＶＲ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｒｅｇｒｅｓｓｉｏｎ）などの連続値関数近似手法に基づく学習モデルを用いて、現在時刻ｔの内部状態から次の時刻ｔ＋１の予測値を得るための時系列予測関数を求めるようにしてもよい。

本発明に係る学習装置は、時系列信号の学習過程では、各レイヤｌにおいて、
学習対象となる時系列信号｛ｘ_t ^(l)｝から特徴抽出して内部状態｛ｓ_t ^(l)｝に変換する特徴変換部と、現時刻ｔにおける内部状態ｓ_t ^(l)から次の時刻ｔ＋１における入力信号を予測するための時系列予測関数ｆ_lを近似する関数近似部と、時系列予測関数ｆ_lを用いて、現在時刻ｔにおける内部状態ｓ_t ^(l)から次の時刻ｔ＋１における入力信号ｘ_t+1 ^(l)を予測する予測部と、前記予測部における予測結果と次の時刻ｔ＋１における入力信号との差分を算出する誤差計算部を備えている。そして、前記誤差計算部により算出された時系列の誤差信号を次のレイヤ（ｌ＋１）における学習対象の時系列信号として扱うようになっている。

ここで、前記特徴変換部は、ＩＣＡ又はＰＣＡに基づく成分解析により、学習対象となるｎ次元の時系列信号｛ｘ_t ^(l)｝を次元圧縮して、各時刻ｔにおけるｍ次元の内部状態｛ｓ_t ^(l)｝を得ることができる（但し、ｎ＞ｍ）。

また、前記関数近似部は、連続値関数近似手法に基づく学習モデルを用いて、現在時刻ｔの内部状態ｓ_t ^(l)から次の時刻ｔ＋１の値ｘ_t+1 ^(l)を予測するための時系列予測関数ｆ_lを求めることができる。

また、本発明に係る学習装置は、時刻ｔにおける時系列信号の予測実行過程では、各レイヤｌにおいて、入力信号から特徴抽出して内部状態ｓ_t ^(l)に変換する特徴変換部と、内部状態ｓ_t ^(l)に対して、レイヤ毎に学習された時系列予測関数ｆ_lを適用して、次時刻ｔ＋１の信号を予測する予測部を備えている。最下位のレイヤ０では、現在時刻ｔにおける当該装置への入力信号ｘ_t ^(l)を前記特徴変換部への入力信号とし、ｌ≧１のレイヤｌでは、直前の時刻ｔ−１における下位レイヤ（ｌ−１）から出力される内部状態ｓ_t-1 ^(l)と、当該レイヤｌ内の予測部の予測結果を前記特徴変換部への入力とする。そして、すべてのレイヤにおける前記予測部における時刻毎の予測結果の合計を予測信号として出力するように構成されている。

ここで、前記特徴変換部は、ＩＣＡ又はＰＣＡに基づく成分解析により、入力信号｛ｘ_t ^(l)｝を次元圧縮して、各時刻ｔにおけるｍ次元の内部状態｛ｓ_t ^(l)｝を得ることができる（但し、ｎ＞ｍ）。

また、本発明の第２の側面は、時系列信号を予測学習するための処理をコンピュータ・システム上で実行するようにコンピュータ可読形式で記述されたコンピュータ・プログラムであって、前記コンピュータ・システムに対し、
時系列信号の予測問題をある任意の予測モデルを用いて学習を行なう第１の予測学習手順と、
前記第１の予測学習手順を実行して生じる予測誤差の時系列を新たな時系列問題として捉え直し、任意の予測モデルを用いて学習を行なう第２の予測学習手順を実行させ、
第ｌ番目の予測学習レイヤにおいて生じる予測誤差の時系列を新たな時系列問題として捉え直してさらに学習を行なう第（ｌ＋１）番目の予測学習レイヤを備え（但し、ｌ≧２）、第ｌ番目の予測学習レイヤにおいて生じる予測誤差が十分小さくなるまで、ｌを１ずつ増分して予測学習手順を再帰的に実行させる、
を備えることを特徴とするコンピュータ・プログラムである。

本発明の第２の側面に係るコンピュータ・プログラムは、コンピュータ・システム上で所定の処理を実現するようにコンピュータ可読形式で記述されたコンピュータ・プログラムを定義したものである。換言すれば、本発明の第２の側面に係るコンピュータ・プログラムをコンピュータ・システムにインストールすることによって、コンピュータ・システム上では協働的作用が発揮され、本発明の第１の側面に係る学習装置と同様の作用効果を得ることができる。

本発明によれば、マルコフ過程に従わない（若しくはｎ次マルコフ過程の）時系列データを予測学習し、次の時刻における状態値を出力する関数を近似する処理を好適に行なうことができる、優れた学習装置及び学習方法、並びにコンピュータ・プログラムを提供することができる。

また、本発明によれば、リカレント・ニューラル・ネットワーク以外の手法により時系列予測モデルを用いて効率的な学習を行なうことができる、優れた学習装置及び学習方法、並びにコンピュータ・プログラムを提供することができる。

また、本発明によれば、解の初期値に依存せず、解の収束安定性があるとともに学習時間を短縮することができる、優れた学習装置及び学習方法、並びにコンピュータ・プログラムを提供することができる。

本発明に係る学習装置によれば、時系列信号の予測問題をある任意の予測モデルを用いて学習を行なう際に生じる予測誤差の時系列を新たな時系列問題として捉え直し、下位レイヤの予測誤差を上位レイヤが学習するという具合に、時系列信号の学習プロセスを再帰的に繰り返し、その結果として得た複数の予測モデルを組み合わせて、最終的な予測モデルを構成する。したがって、レイヤの数を調整することにより、予測誤差を任意に小さくすることができる。

本発明に係る再帰的な学習方法において、ｎ次マルコフ過程の時系列予測問題でｎが未知であるときは、ｍ次マルコフ過程の予測モデル（但し、ｎ＞ｍ）を組み合わせることで学習することが可能である。繰り返しの数を大きくするほど訓練誤差は減るので、訓練誤差を繰り返し終了の判定基準に用い、繰り返し誤差を任意に減少させることができる。また、学習モデルの選択によっては、学習の初期値依存性がなくなったり、解の収束性が補償されたり、学習時間が短縮されたりする。

本発明のさらに他の目的、特徴や利点は、後述する本発明の実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。

以下、図面を参照しながら本発明の実施形態について詳解する。

本発明は、高精度の時系列予測モデル（力学系近似モデル）とその効率的な学習方法に関する。

ｎ次マルコフ過程に関しては予測学習を行なうより他なく、予測学習するメカニズムとして、従来はリカレント・ニューラル・ネットワークが一般的である。ところが、リカレント・ニューラル・ネットワークは解の初期値依存性が大きく、その収束が補償されないという問題がある。

そこで、本発明では、ｎ次マルコフ過程を予測する際の初期値依存性の問題を解決するために、リカレント・ニューラル・ネットワークに代えて、連続値関数近似手法を用いる。連続値関数近似手法によれば、短時間で大域解への収束が保証される。連続値関数近似手法の代表例としてＳｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｒｅｇｒｅｓｓｉｏｎ（以下、ＳＶＲとする）を挙げることができる。

ＳＶＲは単なる関数近似手法であるため、コンテキストを持つ（すなわち、非マルコフ過程の）力学系の近似を行なうためには、内部状態を持つ必要がある。一般には、この内部状態の設計方法が問題になる。本実施形態は、この内部状態として、ＳＶＲより得られた予測からの予測誤差の空間をそのまま利用するようにした。

そして、学習時に生じた予測誤差を、予測誤差の予測として捉えて、別のＳＶＲが学習するように構成する。具体的には、各時刻ｔ（但し、ｔ＝０…Ｔ）におけるｎ次元の情報信号｛ｘ_t｝を学習対象の時系列信号として入力し、ＳＶＲ又はその他の連続値関数近似手法により、時系列予測関数ｆを学習する。すると、時刻ｔにおける入力信号ｘ_tから関数ｆを用いて次の時刻ｔ＋１の入力信号を予測することができるが、この予測結果と実際の時刻ｔ＋１における入力信号ｘ_t+1との間では以下に示す予測誤差Δｘ_t+1が発生する。

各時刻で発生する予測誤差｛Δｘ_t｝を新たな時系列問題として捉えることができ、入力された時系列信号｛ｘ_t｝について時系列予測関数ｆの学習に用いたＳＶＲとは別のＳＶＲを用意して、予測誤差｛Δｘ_t｝を学習するようにする。

このように、時系列信号の学習結果が持つ予測誤差を新たな時系列問題としてさらに学習するというプロセスを再帰的に行なうことができる。すなわち、連続値関数近似手法に基づく学習アルゴリズムに従って時系列予測関数を学習する学習器を複数の階層ｌ（但し、ｌ＝０…Ｌ）だけ用意し、各階層ｌの学習器では、入力された時系列信号｛ｘ_t ^(l)｝から時系列予測関数ｆ_lを学習する。ここで、レイヤ０において入力される時系列信号｛ｘ_t ⁽⁰⁾｝は学習対象となる時系列信号であるが、ｌ≧１のレイヤｌで入力される時系列信号｛ｘ_t ^(l)｝は、直近下位のレイヤ（ｌ−１）において、入力した時系列信号｛ｘ_t ^(l)｝から時系列予測関数ｆ_lを学習する際に生じた予測誤差｛Δｘ_t ^(l-1)｝である。レイヤ（ｌ−１）において時刻ｔに発生する予測誤差Δｘ_t ^(l-1)は、時刻ｔ−１における当該レイヤの入力信号ｘ_t ^(l-1)から関数ｆ_l-1を用いて予測される次の時刻ｔの予測結果と実際の時刻ｔにおける入力信号ｘ_t ^(l-1)との相違であり、下式で示される。

このように誤差予測を重層的すなわち階層的に行なうことで、最終的には予測誤差を任意に小さくすることが可能である。このような予測学習の手法によれば、連続値関数近似手法であるＳＶＲが持つ下位の収束が安定しているという特性から、非常に高速な学習を実現することができる。また、予測誤差を再帰的プロセスにより学習するレイヤの数を調整することにより、訓練誤差を任意に小さくすることができる。

本実施形態に係る学習装置における誤差予測ネットワークの学習アルゴリズムを以下にまとめた。これに基づいて、本実施形態に係る学習装置における学習の流れについて説明する。

学習対象として入力される時系列信号｛ｘ_t ^(l)｝はｎ次元であるが、ｎは未知数である。ステップ２では、行列Ｂ^(l)を用いて可逆な別の空間に写像して、ｍ次の時系列信号｛ｓ_t ^(l)｝に次元圧縮し、ｍ次マルコフ過程の予測モデルを組み合わせることで、学習を行なう。

ここで、ｎ次元ベクトルｘ_tとｍ次元ベクトルｓ_tの間には、ｍ×ｎの実数行列Ａによって、ｘ_t＝Ａｓ_tという線型の関係がある。ｘ_t ^(l)をｓ_t ^(l)に写像すなわち次元圧縮することは、信号源ｘ_t ^(l)から特徴を抽出することに相当する。ｘ_t ^(l)をｓ_t ^(l)に写像する行列Ｂ^(l)は、例えば、ＩＣＡ（Ｉｎｄｅｐｅｎｄｅｎｔ Ｃｏｍｐｏｎｅｎｔ Ａｎａｌｙｓｉｓ：独立成分解析）やＰＣＡ（Ｐｒｉｎｃｉｐａｌ Ｃｏｍｐｏｎｅｎｔ Ａｎａｌｙｓｉｓ：主成分解析）といった多次元信号の解析手法を用いて求めることができる。ＩＣＡやＰＣＡは信号処理分野において周知なのでここでは詳細な説明を省略する。

以下では、アルゴリズムにおける行列Ｂ^(l)をＩＣＡにより求め、時系列連続値関数近似手法の１つであるＳＶＲを用いて予測関数ｆ_lを求めるものとする。変換行列Ｂ^(l)にＩＣＡ基底を用いることは、関数近似の前処理としての特徴抽出器としての役割を持つことに相当する。

レイヤ０では、学習対象となるｎ次元の時系列信号｛ｘ_t ⁽⁰⁾｝が入力されると、まず、ＩＣＡ基底からなる変換行列Ｂ⁽⁰⁾を用いて、ｍ次元の内部状態｛ｓ_t ⁽⁰⁾｝に次元圧縮する（図１を参照のこと）。

次いで、ＳＶＲ又はその他の連続値関数近似手法により、このレイヤ０において、現時刻ｔにおける内部状態ｓ_t ⁽⁰⁾から次の時刻ｔ＋１における入力信号を予測する時系列予測関数ｆ₀を学習する。そして、各時刻ｔにおける内部状態｛ｓ_t ⁽⁰⁾ ｝から、時系列予測関数ｆ₀を用いることによって、次の時刻ｔ＋１における入力信号（＝ｆ₀（ｓ_t ⁽⁰⁾））を予測することができる（図２を参照のこと）。

このとき、時刻ｔにおける入力信号ｘ_t ⁽⁰⁾から予測される結果と、実際の時刻ｔ＋１における入力信号ｘ_t+1 ⁽⁰⁾との間では予測誤差Δｘ_t+1 ⁽⁰⁾が発生するが、これを直近上位のレイヤ１における新たな時系列問題として扱う。本実施形態では、ＩＣＡを用いて写像した別の空間上で予測誤差系列を学習するので、各時刻ｔにおける内部状態ｓ_t ⁽⁰⁾を、直近上位のレイヤ１における次の時刻ｔ＋１の内部状態ｓ_t+1 ⁽¹⁾に入力する（図３を参照のこと）。

レイヤ１では、直近下位のレイヤ０における予測誤差の時系列信号｛Δｘ_t ⁽⁰⁾｝を新たな時系列問題として扱う。本実施形態では、ＩＣＡを用いて写像した別の空間上で予測誤差系列を学習するので、各時刻ｔにおける内部状態ｓ_t ⁽¹⁾は、直前の時刻ｔ−１におけるｎ次元の入力信号ｘ_t-1 ⁽¹⁾並びに直近下位のレイヤ０からのｍ次元の内部状態ｓ_t-1 ⁽⁰⁾を入力とし、これらをＩＣＡ基底からなる変換行列Ｂ⁽⁰⁾を用いて次元圧縮されたｍ次元ベクトルである（図４を参照のこと）。

そして、このレイヤ１において、ＳＶＲ又はその他の連続値関数近似手法により、現時刻ｔに内部状態ｓ_t ⁽¹⁾から次の時刻ｔ＋１における入力信号を予測する時系列予測関数ｆ₁を学習する。したがって、各時刻ｔにおける内部状態ｓ_t ⁽¹⁾から、時系列予測関数ｆ₁を用いることによって、次の時刻ｔ＋１における入力信号（＝ｆ₁（ｓ_t ⁽¹⁾））を予測することができる（図５を参照のこと）。

このとき、時刻ｔにおける内部状態ｓ_t ⁽¹⁾から予測される結果と、実際の時刻ｔ＋１における入力信号ｘ_t+1 ⁽¹⁾との間では予測誤差Δｘ_t+1 ⁽¹⁾が発生するが、これをさらに直近上位のレイヤ２における新たな時系列問題として扱う。本実施形態では、ＩＣＡを用いて写像した別の空間上で予測誤差系列を学習するので、各時刻ｔにおける内部状態ｓ_t ⁽¹⁾を、直近上位のレイヤ１における次の時刻ｔ＋１の内部状態ｓ_t+1 ⁽²⁾に入力する（図６を参照のこと）。

このような時系列信号の学習結果が持つ予測誤差を新たな時系列問題としてさらに学習するというプロセスを再帰的に行なうと、図７に示すようなデータの流れとなる。再帰的プロセスは、予測誤差が十分小さくなるまで繰り返される。

図８には、レイヤｌにおいて学習処理を行なうための機能的構成を模式的に示している。

レイヤｌには、学習対象となる時系列信号｛ｘ_t ^(l)｝が入力される。まず、特徴変換部１１が、ＩＣＡ基底からなる変換行列Ｂ^(l)を用いて、ｎ次元入力信号ｘ_t ^(l)をｍ次元の内部状態ｓ_t ^(l)に次元圧縮する。続いて、関数近似部１２が、ＳＶＲ又はその他の連続値関数近似手法により、現時刻ｔにおける内部状態ｓ_t ^(l)から次の時刻ｔ＋１における入力信号を予測する時系列予測関数ｆ_lを学習する。そして、得られた時系列予測関数ｆ_lは、予測関数格納部１３に保存される。

予測部１４は、時系列予測関数ｆ_lを用いて、現在時刻ｔにおける内部状態ｓ_t ^(l)から次の時刻ｔ＋１における入力信号ｘ_t+1 ^(l)を予測する。この予測結果は、遅延器１５により１演算周期だけ遅延され、誤差計算部１６では、次の時刻ｔ＋１における入力信号ｘ_t+1 ^(l)との差分がとられ、予測誤差Δｘ_t ^(l-1)が算出される。

レイヤ１における出力は予測誤差｛Δｘ_t ^(l)｝となるが、これはその上位レイヤｌ＋１における学習対象の時系列信号｛ｘ_t ^(l+1)｝として扱われ、同様の学習器により予測学習が行なわれる。

続いて、上述した予測学習した結果を実行する場合について考察してみる。あるレイヤｌの時刻ｔ＋１における信号は、その直前の時刻ｔにおける内部状態ｓ_t ^(l)から時系列予測関数ｆ_lを用いて予測することができる。このとき、予測値には予測誤差が含まれるが、この予測誤差はさらに上位のレイヤ（ｌ＋１）において予測学習されているので、下式に示すように、同時刻における上位レイヤ（ｌ＋１）の予測結果を加算すればよいことになる。

図７に示したような、時系列信号の予測学習時に生じる予測誤差の時系列を再帰的プロセスにより予測学習を繰り返していくと、あるレイヤｌにおける予測誤差はその上位レイヤ（ｌ＋１）から順次得ることができる。したがって、レイヤ０の時刻ｔでは、同時刻におけるすべてのレイヤにおける予測値を合計することにより入力信号を予測することができる（図９を参照のこと）。

すなわち、最終的な予測関数Ｆは、下式として得られる。

本実施形態に係る学習装置における誤差予測ネットワークの実行アルゴリズムを以下にまとめた。これに基づいて、本実施形態に係る学習装置における学習実行の流れについて説明する。

時刻ｔにおいて、レイヤ０に訓練信号としてｎ次元の時系列信号ｘ_t ⁽⁰⁾が入力されると、ＩＣＡ基底からなる変換行列Ｂ⁽⁰⁾を用いて、ｍ次元の内部状態｛ｓ_t ⁽⁰⁾｝に次元圧縮する（図１０を参照のこと）。そして、各時刻ｔにおける内部状態ｓ_t ⁽⁰⁾を、直近上位のレイヤ１における次の時刻ｔ＋１の内部状態ｓ_t+1 ⁽¹⁾に入力する（図１１を参照のこと）。

レイヤ１では、時刻ｔにおいて、直前の時刻ｔ−１におけるｎ次元の入力信号ｘ_t-1 ⁽¹⁾並びに直近下位のレイヤ０からのｍ次元の内部状態ｓ_t-1 ⁽⁰⁾を入力とし、これらをＩＣＡ基底からなる変換行列Ｂ⁽⁰⁾を用いて次元圧縮することにより、ｍ次元ベクトルからなる内部状態ｓ_t ⁽¹⁾を得ることができる（図１２を参照のこと）。

そして、このような操作を各レイヤで繰り返すことによって、時刻ｔにおいてレイヤ毎の内部状態｛ｓ_t ^(l)｝が求まる（図１３を参照のこと）。そして、上述した学習アルゴリズムでレイヤｌ毎に得られた時系列予測関数ｆ_lを用いて、内部状態ｓ_t ⁽¹⁾から次時刻ｔ＋１の入力信号の予測を行なう（図１４を参照のこと）。

上式（６）に示したように、レイヤ０の時刻ｔにおける時系列信号は、同時刻のすべてのレイヤにおける予測値を合計することにより予測することができる（図１５を参照のこと）。そして、このような操作をすべての時刻ｔにおいて実施することによって、レイヤ０において時系列の予測信号を得ることができる。

図１６には、学習結果に基づいて予測処理を行なうための機能的構成を模式的に示している。レイヤ毎に予測モデルが設けられ、各予測モデルｌは、上述した学習アルゴリズムにおいて得られた時系列予測関数ｆ_lが予測関数格納部２２−ｌに格納されている。

レイヤ０の予測モデル０では、時系列信号｛ｘ_t ⁽⁰⁾｝が入力されると、まず、特徴変換部２１−０が、ＩＣＡ基底からなる変換行列Ｂ⁽⁰⁾を用いて、ｎ次元入力信号ｘ_t ⁽⁰⁾をｍ次元の内部状態ｓ_t ⁽⁰⁾に次元圧縮する。また、特徴変換部２１−０は、算出した内部状態ｓ_t ⁽⁰⁾を、直近上位のレイヤ１の予測モデル１に出力する。遅延器２６−１は、これを１演算周期の遅延を以って入力する。

続いて、予測部２３−０は、予測関数格納部２２−０から当該レイヤにおける時系列予測関数ｆ_lを取り出し、これを内部状態ｓ_t ⁽⁰⁾に適用して、次時刻ｔ＋１の信号を予測して、予測出力部２４−０を介して出力する。

また、レイヤｌの予測モデルｌでは（但し、ｌ≧１とする）、直近下位のレイヤｌ−１の特徴変換部２１−（ｌ−１）から内部状態ｓ_t-1 ^(l-1)を受け取ると、まず、特徴変換部２１−ｌが、直前の時刻ｔ−１における入力信号の予測結果と直前の時刻ｔ−１における下位レイヤｌ−１の内部状態ｓ_t-1 ^(l-1)を、ＩＣＡ基底からなる変換行列Ｂ^(l)を用いて次元圧縮し、ｍ次元ベクトルからなる現時刻ｔの内部状態ｓ_t ^(l)を得る。また、特徴変換部２１−ｌは、算出した内部状態ｓ_t ^(l)を、直近上位のレイヤｌ＋１の予測モデルｌ＋１に出力する。

続いて、予測部２３−ｌは、予測関数格納部２２−ｌから当該レイヤにおける時系列予測関数ｆ_l+1を取り出し、これを内部状態ｓ_t ^(l)に適用して、次時刻ｔ＋１の信号を予測して、予測出力部２４−ｌを介して出力する。

そして、最終予測出力部２５は、各レイヤｌの予測出力部２４−ｌからの予測出力を加算して、各時刻ｔにおける時系列予測信号を得る。

本実施形態に係る予測学習の手法によれば、初期値がランダムな内部状態｛ｓ_t ^(l)｜ｌ＝１，２，３，…｝に対して一定の引き込ませ期間を設けることで、その後は完全な自己ループに入り、時系列データを繰り返す（ｒｅｈｅａｒｓｅ）することができる。本発明者らは、上述した予測学習の手法を用いて、３つの異なるダイナミクスを有する時系列データの学習を行ない、その結果、３つのダイナミクスが交わることなく学習されていることを、定性的に確認することができた。

図１７には、学習に用いた時系列データを示している。全部で６シーケンスの時系列データを用意し、３つの異なる力学系に分類することができ、それぞれの力学系毎に２つずつのシーケンスが割り当てられている。各シーケンスは１２次元で４８フレームである。

図１８は、図１７に示した時系列データに対する予測学習の実行結果を示している。ｔ＝１からｔ＝１０まで、時系列データ｛ｘ_t ⁽⁰⁾｝を与え、ｔ＝１１以降は時系列データを与えなかったときの実行結果である。与えたデータは、図１７の対応する学習データのｔ＝２０からｔ＝２９までを用いた。

図１８を見ると、図１７と同じ形の波形を生成できていることが判る。このことから、３つの異なる力学系が正しく学習されていると言うことができる。

また、図１９には、レイヤ数を変化させたとき、最終的な予測結果の誤差を示している。左上がレイヤ数１で、右上がレイヤ数２、右下がレイヤ数１０である。レイヤ数を増やすことで、予測誤差が減少していくことが判る。

以上、特定の実施形態を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。

本明細書では、主にＳＶＲに従って予測関数Ｆの学習を行なう実施形態を中心に説明してきたが、本発明の要旨はこれに限定されるものではない。例えばＳＶＲ以外の連続値関数近似手法に基づく学習アルゴリズムや、それ以外の学習アルゴリズムを適用する学習装置に対しても、同様に本発明を適用することができる。

要するに、例示という形態で本発明を開示してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本発明の要旨を判断するためには、特許請求の範囲を参酌すべきである。

図１は、本発明に係る学習装置における学習の流れを説明するための図である。 図２は、本発明に係る学習装置における学習の流れを説明するための図である。 図３は、本発明に係る学習装置における学習の流れを説明するための図である。 図４は、本発明に係る学習装置における学習の流れを説明するための図である。 図５は、本発明に係る学習装置における学習の流れを説明するための図である。 図６は、本発明に係る学習装置における学習の流れを説明するための図である。 図７は、本発明に係る学習装置における学習の流れを説明するための図である。 図８は、レイヤｌにおいて学習処理を行なうための機能的構成を模式的に示した図である。 図９は、本発明に係る学習装置において、最終的な予測関数を得る仕組みを説明するための図である。 図１０は、本発明に係る学習装置における予測の流れを説明するための図である。 図１１は、本発明に係る学習装置における予測の流れを説明するための図である。 図１２は、本発明に係る学習装置における予測の流れを説明するための図である。 図１３は、本発明に係る学習装置における予測の流れを説明するための図である。 図１４は、本発明に係る学習装置における予測の流れを説明するための図である。 図１５は、本発明に係る学習装置における予測の流れを説明するための図である。 図１６は、学習結果に基づいて予測処理を行なうための機能的構成を模式的に示した図である。 図１７は、学習に用いた、３つの異なる力学系に分類される時系列データの例を示した図である。 図１８は、図１７に示した時系列データに対する予測学習の実行結果を示した図である。 図１９は、レイヤ数を変化させたときの最終的な予測結果の誤差の変化を示した図である。

符号の説明

１１…特徴変換部
１２…関数近似部
１３…予測関数格納部
１４…予測部
１５…遅延器
１６…誤差計算部
２１…特徴変換部
２２…予測関数格納部
２３…予測部
２４…予測出力部
２５…最終予測出力部

Claims (18)

1. 時系列信号を予測学習する学習装置であって、
   時系列信号の予測問題をある任意の予測モデルを用いて学習を行なう第１の予測学習レイヤと、
   前記第１の予測学習レイヤにおいて生じる予測誤差の時系列を新たな時系列問題として捉え直し、任意の予測モデルを用いて学習を行なう第２の予測学習レイヤと、
   を備えることを特徴とする学習装置。
2. 第ｌ番目の予測学習レイヤにおいて生じる予測誤差の時系列を新たな時系列問題として捉え直してさらに学習を行なう第（ｌ＋１）番目の予測学習レイヤを備え（但し、ｌ≧２）、
   第ｌ番目の予測学習レイヤにおいて生じる予測誤差が十分小さくなるまで、ｌを１ずつ増分して予測学習のプロセスを再帰的に繰り返す、
   ことを特徴とする請求項１に記載の学習装置。
3. ｎ次マルコフ過程の時系列予測問題でｎが未知であるときは、ｍ次マルコフ過程の予測モデル（但し、ｎ＞ｍ）を組み合わせることで学習する、
   ことを特徴とする請求項１に記載の学習装置。
4. 各予測学習レイヤでは、学習対象となる時系列信号をＩＣＡ又はＰＣＡを用いて次元圧縮してｍ次マルコフ過程の時系列予測問題とする、
   ことを特徴とする請求項１に記載の学習装置。
5. 各予測学習レイヤでは、連続値関数近似手法に基づく学習モデルを用いて、現在時刻ｔの内部状態から次の時刻ｔ＋１の予測値を得るための時系列予測関数を求める、
   ことを特徴とする請求項１に記載の学習装置。
6. 時系列信号の学習過程では、第ｌ番目の予測学習レイヤにおいて、
   学習対象となる時系列信号｛ｘ_t ^(l)｝から特徴抽出して内部状態｛ｓ_t ^(l)｝に変換する特徴変換部と、
   現時刻ｔにおける内部状態ｓ_t ^(l)から次の時刻ｔ＋１における入力信号を予測するための時系列予測関数ｆ_lを近似する関数近似部と、
   時系列予測関数ｆ_lを用いて、現在時刻ｔにおける内部状態ｓ_t ^(l)から次の時刻ｔ＋１における入力信号ｘ_t+1 ^(l)を予測する予測部と、
   前記予測部における予測結果と次の時刻ｔ＋１における入力信号との差分を算出する誤差計算部を備え、
   前記誤差計算部により算出された時系列の誤差信号を第（ｌ＋１）番目の予測学習レイヤにおける学習対象の時系列信号とする、
   ことを特徴とする請求項１に記載の学習装置。
7. 前記特徴変換部は、ＩＣＡ又はＰＣＡに基づく成分解析を用いて、入力信号｛ｘ_t ^(l)｝を次元圧縮して、各時刻ｔにおける内部状態｛ｓ_t ^(l)｝を得る、
   ことを特徴とする請求項６に記載の学習装置。
8. 前記関数近似部は、連続値関数近似手法に基づく学習モデルを用いて、現在時刻ｔの内部状態ｓ_t ^(l)から次の時刻ｔ＋１の値ｘ_t+1 ^(l)を予測するための時系列予測関数ｆ_lを求める、
   ことを特徴とする請求項６に記載の学習装置。
9. 時刻ｔにおける時系列信号の予測実行過程では、第ｌ番目の予測学習レイヤにおいて、
   入力信号から特徴抽出して内部状態ｓ_t ^(l)に変換する特徴変換部と、
   内部状態ｓ_t ^(l)に対して、レイヤ毎に学習された時系列予測関数ｆ_lを適用して、次時刻ｔ＋１の信号を予測する予測部を備え、
   最下位の予測学習レイヤでは、現在時刻ｔにおける当該装置への入力信号ｘ_t ^(l)を当該予測学習レイヤ内の前記特徴変換部への入力信号とし、第ｌ番目の予測学習レイヤ（但し、ｌ≧２）では、直前の時刻ｔ−１における第（ｌ−１）番目の予測学習レイヤから出力される内部状態ｓ_t-1 ^(l)と、当該予測学習レイヤ内の前記予測部による現在時刻ｔにおける予測結果を前記特徴変換部への入力とし、
   すべての予測学習レイヤにおける前記予測部における時刻毎の予測結果の合計を予測信号として出力する、
   ことを特徴とする請求項１に記載の学習装置。
10. 前記特徴変換部は、ＩＣＡ又はＰＣＡに基づく成分解析により、入力信号を次元圧縮して、各時刻ｔにおける内部状態｛ｓ_t ^(l)｝を得る、
    ことを特徴とする請求項９に記載の学習装置。
11. 時系列信号を予測学習する学習方法であって、
    時系列信号の予測問題をある任意の予測モデルを用いて学習を行なう第１の予測学習ステップと、
    前記第１の予測学習ステップにおいて生じる予測誤差の時系列を新たな時系列問題として捉え直し、任意の予測モデルを用いて学習を行なう第２の予測学習ステップと、
    を備えることを特徴とする学習方法。
12. 第ｌ番目の予測学習ステップにおいて生じる予測誤差の時系列を新たな時系列問題として捉え直してさらに学習を行なう第（ｌ＋１）番目の予測学習ステップを備え（但し、ｌ≧２）、
    第ｌ番目の予測学習ステップにおいて生じる予測誤差が十分小さくなるまで、ｌを１ずつ増分して予測学習ステップを再帰的に実行する、
    ことを特徴とする請求項１１に記載の学習方法。
13. 時系列信号の学習過程では、第ｌ番目の予測学習ステップにおいて、
    学習対象となる時系列信号｛ｘ_t ^(l)｝から特徴抽出して内部状態｛ｓ_t ^(l)｝に変換する特徴変換サブステップと、
    現時刻ｔにおける内部状態ｓ_t ^(l)から次の時刻ｔ＋１における入力信号を予測するための時系列予測関数ｆ_lを近似する関数近似サブステップと、
    時系列予測関数ｆ_lを用いて、現在時刻ｔにおける内部状態ｓ_t ^(l)から次の時刻ｔ＋１における入力信号ｘ_t+1 ^(l)を予測する予測サブステップと、
    前記予測サブステップにおける予測結果と次の時刻ｔ＋１における入力信号との差分を算出する誤差計算サブステップを備え、
    前記誤差計算サブステップにおいて算出された時系列の誤差信号を第（ｌ＋１）番目の予測学習ステップにおける学習対象の時系列信号とする、
    ことを特徴とする請求項１１に記載の学習方法。
14. 前記特徴変換サブステップでは、ＩＣＡ又はＰＣＡに基づく成分解析により、入力信号を次元圧縮して、各時刻ｔにおける内部状態｛ｓ_t ^(l)｝を得る、
    ことを特徴とする請求項１３に記載の学習方法。
15. 前記関数近似サブステップでは、連続値関数近似手法に基づく学習モデルを用いて、現在時刻ｔの内部状態ｓ_t ^(l)から次の時刻ｔ＋１の値ｘ_t+1 ^(l)を予測するための時系列予測関数ｆ_lを求める、
    ことを特徴とする請求項１３に記載の学習方法。
16. 時刻ｔにおける時系列信号の予測実行過程では、第ｌ番目の予測学習ステップにおいて、
    入力信号から特徴抽出して内部状態ｓ_t ^(l)に変換する特徴変換サブステップと、
    内部状態ｓ_t ^(l)に対して、レイヤ毎に学習された時系列予測関数ｆ_lを適用して、次時刻ｔ＋１の信号を予測する予測サブステップを備え、
    最下位の予測学習ステップでは、現在時刻ｔに投入された入力信号ｘ_t ^(l)を前記特徴変換サブステップに対する入力信号とし、第ｌ番目の予測学習ステップ（但し、ｌ≧２）では、直前の時刻ｔ−１における第（ｌ−１）番目の予測学習ステップから得られる内部状態ｓ_t-1 ^(l)と、当該予測学習ステップ内の前記予測サブステップにより求められた現在時刻ｔにおける予測結果を前記特徴変換ステップに対する入力とし、
    すべての予測学習ステップの前記予測サブステップにおける時刻毎の予測結果の合計を予測信号として出力する、
    ことを特徴とする請求項１１に記載の学習方法。
17. 前記特徴変換サブステップは、ＩＣＡ又はＰＣＡに基づく成分解析により、入力信号｛ｘ_t ^(l)｝を次元圧縮して、各時刻ｔにおける内部状態｛ｓ_t ^(l)｝を得る、
    ことを特徴とする請求項１６に記載の学習方法。
18. 時系列信号を予測学習するための処理をコンピュータ・システム上で実行するようにコンピュータ可読形式で記述されたコンピュータ・プログラムであって、前記コンピュータ・システムに対し、
    時系列信号の予測問題をある任意の予測モデルを用いて学習を行なう第１の予測学習手順と、
    前記第１の予測学習手順を実行して生じる予測誤差の時系列を新たな時系列問題として捉え直し、任意の予測モデルを用いて学習を行なう第２の予測学習手順を実行させ、
    第ｌ番目の予測学習レイヤにおいて生じる予測誤差の時系列を新たな時系列問題として捉え直してさらに学習を行なう第（ｌ＋１）番目の予測学習レイヤを備え（但し、ｌ≧２）、第ｌ番目の予測学習レイヤにおいて生じる予測誤差が十分小さくなるまで、ｌを１ずつ増分して予測学習手順を再帰的に実行させる、
    ことを特徴とするコンピュータ・プログラム。
    

Images