JP2021043791A - リザーバコンピュータ、リザーバ設計方法及びリザーバ設計プログラム - Google Patents

Abstract

【課題】有用なリザーバを効率よく得ること。【解決手段】リザーバコンピュータは、計算部、変更部、更新部、評価部及び選択部とを有する。計算部は、複数のノードを含み、ノードの間の結合構造がランダムに決められたリザーバと、複数のノードの各ノードに重みが設定された出力層とを含むニューラルネットワークへの入力に対する出力を計算する。変更部は、リザーバに含まれる前記複数のノードの間の結合構造を変更する。更新部は、変更部によって変更された結合構造のそれぞれについて、計算部によって計算された出力を基に、出力層の重みを更新する。評価部は、計算部によって計算された出力を所定の基準により評価する。選択部は、評価部による評価結果を基に、変更部によって変更された結合構造の中から所定の結合構造を選択する。【選択図】図２

Description

本発明は、リザーバコンピュータ、リザーバ設計方法及びリザーバ設計プログラムに関する。

昨今、特に多層のRNN（Recurrent Neural Network）においては、バックプロパゲーションにより層間重みを更新することが非常に難しいことが知られており、種々の改善方法が研究されている。そこで出力層のみの重みを更新するリザーバコンピューティングというRNNアルゴリズムに注目が集まっている。

ここで、RNNは、時系列データを取り扱うのに適した機械学習として知られている。RNNは、ネットワーク内部にループを含む構造であるため、過去のデータと現在のデータの相関を重み付けとして持つことができる。RNNに対しては、映像処理における動的な判断や自然言語処理等への応用が期待されている。

リザーバコンピューティングは、特殊なRNNで、深層学習にあるような多層状の結合ではなくランダムで固定な結合による「リザーバ」と呼ばれる構造を持つ。リザーバにおけるノードの間の結合構造(ネットワーク)は、学習に先立って決定される。例えば、FPGA（Field Programmable Gate Array）等の回路でリザーバを実装する場合、結合構造に関しては設計時、一様にランダムに決定される。また、リザーバを持つRNNの学習は、リザーバのノードの間の結合を固定したまま進み、出力層の重みのみが更新される。学習が終了すると出力重みは固定され、出力データが得られる。

特開２０１８−１８０７０１号公報 国際公開第２０１６／１９４２４８号

しかしながら、従来のリザーバコンピューティングには、有用なリザーバを効率よく得ることが困難な場合があるという問題がある。

例えば、従来のリザーバコンピューティングにおいて、リザーバのノードの間の結合構造において、偏りがなく一様にランダムであっても問題を解くことはできる。一方で、そのような場合、精度が悪かったり、学習ステップが多く必要であったり、またこれらを改善するために多くのノード数が必要であったりすることがある。

さらに、解きたい問題によっては、構造に偏りがあるネットワークを用いてリザーバとしたほうがよい場合がある。どの程度ノードの間の結合ネットワークに偏りが必要かは、問題によって変化する。

１つの側面では、有用なリザーバを効率よく得ることを目的とする。

１つの態様において、リザーバコンピュータは、計算部、変更部、更新部、評価部及び選択部とを有する。計算部は、複数のノードを含み、複数のノードの間の結合構造がランダムに決められたリザーバと、複数のノードの各ノードに重みが設定された出力層とを含むニューラルネットワークへの入力に対する出力を計算する。変更部は、リザーバに含まれる複数のノードの間の結合構造を変更する。更新部は、変更部によって変更された結合構造のそれぞれについて、計算部によって計算された出力を基に、出力層の重みを更新する。評価部は、計算部によって計算された出力を所定の基準により評価する。選択部は、評価部による評価結果を基に、変更部によって変更された結合構造の中から所定の結合構造を選択する。

１つの側面では、有用なリザーバを効率よく得ることができる。

図１は、リザーバコンピューティングを説明するための図である。 図２は、リザーバコンピュータの構成例を示す図である。 図３は、実施例１に係るリザーバ設計処理の流れを示すフローチャートである。 図４は、実施例１に係る結合構造変更処理の流れを示すフローチャートである。 図５は、実施例２に係る結合構造変更処理の流れを示すフローチャートである。 図６は、遺伝的アルゴリズムを説明するための図である。 図７は、実施例３に係る第１世代の結合構造変更処理の流れを示すフローチャートである。 図８は、実施例３に係る第Ｋ世代の結合構造変更処理の流れを示すフローチャートである。 図９は、実験の結果を示す図である。 図１０は、ハードウェア構成例を説明する図である。

以下に、本発明に係るリザーバコンピュータ、リザーバ設計方法及びリザーバ設計プログラムの実施例を図面に基づいて詳細に説明する。なお、この実施例により本発明が限定されるものではない。また、各実施例は、矛盾のない範囲内で適宜組み合わせることができる。

［リザーバコンピューティング］
まず、図１を用いてリザーバコンピューティングについて説明する。図１は、リザーバコンピューティングを説明するための図である。図１に示すように、リザーバコンピューティングにおけるニューラルネットワークは、入力層１１ａ、リザーバ１１ｂ及び出力層１１ｃを有する。

図１の例では、パターンが付された丸の１つ１つが、リザーバ１１ｂのノードである。前述の通り、従来の手法では、リザーバのノードの間の重みがあらかじめランダムに決定され固定された上で、出力層の重みの学習が進められる。

［機能構成］
図２を用いて、実施例に係るリザーバコンピュータの構成を説明する。図２は、リザーバコンピュータの構成例を示す図である。図２に示すように、リザーバコンピュータ１は、ＲＣ（Reservoir Computing）回路１０及び設計部２０を有する。

ＲＣ回路１０は、計算部１１、更新部１２及び供給部１３を有する。計算部１１は、複数のノードを含み、複数のノードの間の結合構造がランダムに決められたリザーバと、複数のノードの各ノードに重みが設定された出力層とを含むニューラルネットワークへの入力に対する出力を計算する。計算部１１のうち、少なくともリザーバの部分は、FPGA（Field Programmable Gate Array）であってもよい。

更新部１２は、出力層の重みを更新する。また、リザーバの結合構造は、初期状態がランダムに決定され、その後、後述する変更部２１によって変更される。更新部１２は、変更部２１によって変更された結合構造のそれぞれについて、計算部１１によって計算された出力を基に、出力層の重みを更新する。このとき、更新部１２は、教師データと出力との誤差が小さくなるように出力層の重みを更新する。教師データは、供給部１３によって更新部１２に供給される。

設計部２０は、変更部２１、評価部２２及び選択部２３を有する。変更部２１は、リザーバのノードの間の結合構造を変更する。例えば、変更部２１は、リザーバとして機能するFPGAを書き換えることで結合構造を変更する。例えば、変更部２１は、結合構造をあらかじめ規定された回数だけ変更する。

ここで、リザーバの結合構造は、当該リザーバに含まれ得るノードと同数の行及び列を持つ隣接行列を用いて論理的に表される。このとき、隣接行列の各成分はリザーバに含まれる複数のノードの間の重みを表しているため、変更部２１は、各成分を変更することで重みを決定することができる。また、リザーバのノードは全結合でなくてもよいため、隣接行列の成分は0であってもよい。

そこで、変更部２１は、例えば、隣接行列の各成分を0以上1以下の範囲でランダムに決定し、その隣接行列に合うように、リザーバとして機能するFPGAを書き換えてもよい。また、このとき、リザーバの用途等に合わせて、隣接行列の固有値や、値が0である成分の割合等があらかじめ制約条件として設定されていてもよい。また、0成分の割合が多いほどリザーバは疎になり、実数成分が多いほどリザーバは密になる。

評価部２２は、計算部１１によって計算された出力を所定の基準により評価する。例えば、評価部２２は、評価結果として、計算部１１によって計算された出力の、あらかじめ用意された教師データに対する誤差を計算する。

選択部２３は、評価部２２による評価結果を基に、変更部２１によって変更された結合構造の中から所定の結合構造を選択する。例えば、選択部２３は、変更部２１によって変更された結合構造の中から、出力の誤差が最も小さくなるような結合構造を選択する。また、選択部２３によって選択された結合構造を有するFPGAは、最適化済みのリザーバとして機能する単独の装置として扱うことができる。例えば、選択部２３によって選択された結合構造を有するFPGAを譲渡等の対象とすることができる。

［処理の流れ］
図３を用いて、リザーバ設計処理の流れを説明する。図３は、実施例１に係るリザーバ設計処理の流れを示すフローチャートである。まず、図３に示すように、リザーバコンピュータ１の設計部２０は、初期の結合構造を決定する（ステップＳ１１）。ｎは、結合構造の変更回数を表す。ここではｎ＝１であるものとする。また、設計部２０は、結合構造の変更と同様の方法で初期の結合構造を決定することができる。

次に、ＲＣ回路１０は、出力層の出力重みの学習を行う（ステップＳ１２）。具体的には、更新部１２が、誤差が小さくなるように出力重みを更新する。そして、計算部１１は、初期結果として、学習済みの出力層を用いた出力を計算する（ステップＳ１３）。その後、リザーバコンピュータ１は、結合構造変更処理へ進む。

図４を用いて、結合構造変更処理の流れを説明する。図４は、実施例１に係る結合構造変更処理の流れを示すフローチャートである。図４に示すように、設計部２０は、結合構造を変更する（ステップＳ２１）。例えば、設計部２０は、所定の制約条件の下、ランダムに結合構造を変更することができる。

設計部２０は、ｎを１だけ増加させる（ステップＳ２２）。そして、ＲＣ回路１０は、出力層の出力重みの学習を行う（ステップＳ２３）。さらに、計算部１１は、ｎ回目の結果として、学習済みの出力層を用いた出力を計算する（ステップＳ２４）。

ここで、Ｎは、あらかじめ規定された繰り返しの上限回数であり、例えば１００である。ｎ＞Ｎでない場合（ステップＳ２５、Ｎｏ）、設計部２０は、さらに結合構造を変更する（ステップＳ２６）。そして、設計部２０は、さらにｎを１だけ増加させる（ステップＳ２２）。これにより、リザーバコンピュータ１は、ステップＳ２６、Ｓ２２、Ｓ２３、Ｓ２４の処理を、ｎがＮを超えるまで繰り返し実行する。

ｎ＞Ｎである場合、設計部２０は、結合構造の評価及び選択を行う（ステップＳ２７）。例えば、設計部２０は、ステップＳ２４における結合構造ごとの最終的な出力の教師データとの誤差を評価し、誤差が最も小さい出力に対応する結合構造を選択する。

［効果］
これまで説明してきたように、計算部１１は、複数のノードを含み、複数のノードの間の結合構造がランダムに決められたリザーバと、複数のノードの各ノードに重みが設定された出力層とを含むニューラルネットワークへの入力に対する出力を計算する。変更部２１は、リザーバに含まれる複数のノードの間の結合構造を変更する。更新部１２は、変更部２１によって変更された結合構造のそれぞれについて、計算部１１によって計算された出力を基に、出力層の重みを更新する。評価部２２は、計算部１１によって計算された出力を所定の基準により評価する。選択部２３は、評価部２２による評価結果を基に、変更部２１によって変更された結合構造の中から所定の結合構造を選択する。このように、リザーバコンピュータ１は、メタヒューリスティックな方法を用いてリザーバの最適化を行うことができる。このため、実施例１によれば、有用なリザーバを効率よく得ることが可能になる。

また、リザーバはFPGA（Field Programmable Gate Array）であってよい。この場合、変更部２１は、リザーバとして機能するFPGAを書き換えることで結合構造を変更する。これにより、最適化されたリザーバとして機能するFPGAを取り出し利用することができる。

変更部２１は、結合構造をあらかじめ規定された回数だけ変更する。また、評価部２２は、評価結果として、計算部１１によって計算された出力の、あらかじめ用意された教師データに対する誤差を計算する。また、選択部２３は、変更部２１によって変更された結合構造の中から誤差が最も小さい結合構造を選択する。このように、変更回数を規定しておくことで、限られた時間及び計算資源を使ってリザーバの最適化を行うことができる。

本願発明は、リザーバコンピューティングの課題を解決するものである。また、前述の通り、リザーバコンピューティングは特殊なRNNである。ここで、RNNが利用されるようになった背景について述べる。

ムーア則の限界を打ち破るために、従来のフォンノイマン型ではない新規のコンピュータ・アーキテクチャをIT業界全体で模索されている。非ノイマン型のマシンは、量子コンピューティングといった開発に今後も年月がかかるであろうものから、FPGA、GPU、GPUの有効活用といった比較的着手しやすいものまで数多く提案されている。それらの非ノイマン型のマシンは、いずれもフォンノイマン・ボトルネックを回避して、計算リソースが必要となる特定分野の問題を効率的に解くものである。

非ノイマン型のマシンと組み合わされる問題として機械学習が考えられる。特に今日の多層化された深層学習（ディープラーニング）においては計算リソースが多く必要とされるため、多くの企業で研究開発されている。また、深層学習の成功により、研究機関や企業で機械学習の新しいモデルが日々開発・改善されている。このような背景から、特に時系列データの取り扱いに適した機械学習としてRNNが利用されている。

実施例１では、図４に示すように、ｎ＞Ｎという条件が満たされるまで結合構造変更処理が行われる。これに対し、実施例２のリザーバ設計システムは、誤差がある程度小さくなるような結合構造が得られた時点で結合構造変更処理を終了する。

実施例２では、例えば、評価部２２は、変更部２１によって変更された結合構造のそれぞれについての、出力層の重みの更新が完了するたびに、評価結果として、計算部１１によって計算された出力の、あらかじめ用意された教師データに対する誤差を計算する。また、選択部２３は、誤差が閾値以下である場合、誤差に対応する結合構造を選択する。

図５を用いて、結合構造変更処理の流れを説明する。図５は、実施例２に係る結合構造変更処理の流れを示すフローチャートである。図５に示すように、設計部２０は、結合構造を変更する（ステップＳ３１）。設計部２０は、ｎを１だけ増加させる（ステップＳ３２）。そして、ＲＣ回路１０は、出力層の出力重みの学習を行う（ステップＳ３３）。さらに、計算部１１は、ｎ回目の結果として、学習済みの出力層を用いた出力を計算する（ステップＳ３４）。

［処理の流れ］
ここで、設計部２０は、出力の教師データとの誤差が閾値未満であるか否かを評価する（ステップＳ３５）。誤差が閾値未満でない場合、又はｎがＮ´未満である場合（ステップＳ３５、Ｎｏ ｏｒ ｎ＜Ｎ´（Ｎ´は例えば１０））、設計部２０は、さらに結合構造を変更する（ステップＳ３６）。そして、設計部２０は、さらにｎを１だけ増加させる（ステップＳ３２）。これにより、リザーバコンピュータ１は、ステップＳ３６、Ｓ３２、Ｓ３３、Ｓ３４の処理を繰り返し実行する。

誤差が閾値未満、かつｎがＮ´以上である場合（ステップＳ３５、Ｙｅｓ ａｎｄ ｎ≧Ｎ´）、設計部２０は、結合構造の選択を行う（ステップＳ３７）。例えば、設計部２０は、ステップＳ２４における結合構造ごとの最終的な出力の教師データとの誤差を評価し、誤差が最も小さい出力に対応する結合構造を選択する。

［効果］
評価部２２は、変更部２１によって変更された結合構造のそれぞれについての、更新部１２による出力層の重みの更新が完了するたびに、評価結果として、計算部１１によって計算された出力の、あらかじめ用意された教師データに対する誤差を計算する。また、選択部２３は、誤差が閾値以下である場合、誤差に対応する結合構造を選択する。このように、誤差が閾値以下となるリザーバが得られた時点で処理を完了できるので、リザーバの最適化に要する時間を短縮することができる。

実施例３では、リザーバ設計システムは、遺伝的アルゴリズムを使って結合構造変更処理を行う。図６は、遺伝的アルゴリズムを説明するための図である。図６に示すように、まず、設計部２０は、第１世代の結合構造を複数用意する。そして、設計部２０は、各結合構造について評価を行い、評価結果が上位の結合構造を用いて、組合せの交配や突然変異を発生させる。そして、規定の世代に達したところで、設計部２０は、その世代の結合構造のうち誤差が最も小さい結合構造を選択する。

実施例３では、例えば、変更部２１は、遺伝的アルゴリズムに従い、あらかじめ用意された複数の結合構造を第１世代として、評価部２２による評価結果が改善されるように、結合構造の組合せ及び淘汰により各世代の結合構造を生成していく。また、選択部２３は、評価部２２による評価結果を基に、変更部２１によって生成された所定の世代の結合構造の中から結合構造を選択する。

例えば、リザーバコンピュータ１は、以下の手順で遺伝的アルゴリズムによるリザーバの最適化を行う。まず、リザーバコンピュータ１は、ランダム結合によるリザーバを複数生成して、第１世代とする。次に、リザーバコンピュータ１は、第１世代のリザーバについてそれぞれ学習を行い、その結果から目的関数を導出し、各リザーバの隣接行列に対する評価を行う。ここで、目的関数は、誤差を最小化するものや、学習効率を最大化するものが考えられる。本実施例では、リザーバコンピュータ１は、学習ステップ数を固定とし、誤差を最小化する目的関数を導出するものとする。

次に、リザーバコンピュータ１は、評価が高い隣接行列同士を部分的に組み合わせて第２世代のリザーバを生成する。さらに、リザーバコンピュータ１は、第２世代のリザーバの評価（隣接行列の評価）を行い、その結果から評価が高いリザーバを選別する。

以下、リザーバコンピュータ１は、上記の生成、組合せ、淘汰の工程を繰り返し、隣接行列に対して突然変異として確率的にノイズを与える。例えば、リザーバコンピュータ１は、隣接行列の実数成分を0にすることや、0成分を実数に変更することによりノイズを与える。

［処理の流れ］
図７を用いて、第１世代の結合構造変更処理の流れを説明する。図７は、実施例３に係る第１世代の結合構造変更処理の流れを示すフローチャートである。まず、図７に示すように、リザーバコンピュータ１の設計部２０は、初期の結合構造を決定する（ステップＳ４１）。設計部２０は、ｎを１だけ増加させる（ステップＳ４２）。次に、ＲＣ回路１０は、出力層の出力重みの学習を行う（ステップＳ４３）。そして、計算部１１は、初期結果として、学習済みの出力層を用いた出力を計算する（ステップＳ４４）。

ここで、ｎ＞Ｌでない場合（ステップＳ４５、Ｎｏ）、設計部２０は、さらに結合構造をランダムに変更する（ステップＳ４６）。そして、設計部２０は、さらにｎを１だけ増加させる（ステップＳ４２）。これにより、リザーバコンピュータ１は、ステップＳ４６、Ｓ４３、Ｓ４４の処理を、ｎがＬを超えるまで繰り返し実行する。ただし、Ｌはあらかじめ設定された世代ごとの結合構造の上限数である。また、ｎの初期値は０とする。また、ｎ＞Ｌである場合（ステップＳ４５、Ｙｅｓ）、リザーバコンピュータ１は第２世代の結合構造変更処理へ進む。

図８を用いて、第Ｋ世代の結合構造変更処理の流れを説明する。図８は、実施例３に係る第Ｋ世代の結合構造変更処理の流れを示すフローチャートである。ただし、Ｋは２以上の整数である。まず、図８に示すように、リザーバコンピュータ１の設計部２０は、遺伝的アルゴリズムに従い結合構造を変更する（ステップＳ５１）。ここでは、設計部２０は、第Ｋ−１世代の結合構造を組合せて交配することで変更を行う。

設計部２０は、ｎを１だけ増加させる（ステップＳ５２）。次に、ＲＣ回路１０は、出力層の出力重みの学習を行う（ステップＳ５３）。そして、計算部１１は、初期結果として、学習済みの出力層を用いた出力を計算する（ステップＳ５４）。

ここで、ｎ＞Ｌでない場合（ステップＳ５５、Ｎｏ）、設計部２０は、遺伝的アルゴリズムに従い結合構造を変更する（ステップＳ５６）。ここでは、設計部２０は、第Ｋ−１世代の結合構造を組合せた交配に加え、突然変異を発生させることで変更を行う。

そして、設計部２０は、さらにｎを１だけ増加させる（ステップＳ５２）。これにより、リザーバコンピュータ１は、ステップＳ５６、Ｓ５３、Ｓ５４の処理を、ｎがＬを超えるまで繰り返し実行する。また、ｎ＞Ｌである場合（ステップＳ５５、Ｙｅｓ）、設計部２０は、最新世代の結合構造のうち、上位のものを選択する（ステップＳ５７）。さらに、リザーバコンピュータ１は第Ｋ＋１世代の結合構造変更処理へ進む。

なお、Ｌは世代が進むに従って小さくなっていってもよい。これにより、得られる結合構造の数は世代が進むごとに少なくなり、最終的に少数の中から最良の結合構造を選択することができる。

［効果］
変更部２１は、遺伝的アルゴリズムに従い、あらかじめ用意された複数の結合構造を第１世代として、評価部２２による評価結果が改善されるように、結合構造の組合せ及び淘汰により各世代の結合構造を生成していく。また、選択部２３は、評価部２２による評価結果を基に、変更部２１によって生成された所定の世代の結合構造の中から結合構造を選択する。このように、遺伝的アルゴリズムを利用することで、ランダムに結合構造を変更する場合に比べてより良いリザーバを得ることが可能になる。

図９は、実験の結果を示す図である。図９の例では、リザーバコンピュータ１は、第１世代としてリザーバを１０個生成した（Ｌ＝１０）。また、第１世代のリザーバを評価する目的関数（誤差）は、平均0.1862で最小値が0.1773であった。そして、リザーバコンピュータ１は、遺伝的アルゴリズムにより５０世代繰り返した結果、誤差0.1673の値が得られるようなリザーバを生成することができた。

［システム］
上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。また、実施例で説明した具体例、分布、数値等は、あくまで一例であり、任意に変更することができる。

また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散や統合の具体的形態は図示のものに限られない。つまり、その全部又は一部を、各種の負荷や使用状況等に応じて、任意の単位で機能的又は物理的に分散・統合して構成することができる。さらに、各装置にて行われる各処理機能は、その全部又は任意の一部が、CPU及び当該CPUにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。

リザーバの最適化には、遺伝的アルゴリズムだけでなく、組合せ最適化問題を解くためのメタヒューリスティックな手法を用いることができる。例えば、リザーバの最適化は、焼きなまし法等によって行われてもよい。

［ハードウェア］
図１０は、ハードウェア構成例を説明する図である。図１０に示すように、リザーバコンピュータ１は、通信インタフェース１０ａ、HDD（Hard Disk Drive）１０ｂ、メモリ１０ｃ、プロセッサ１０ｄを有する。また、図１０に示した各部は、バス等で相互に接続される。

通信インタフェース１０ａは、ネットワークインタフェースカード等であり、他のサーバとの通信を行う。HDD１０ｂは、図２に示した機能を動作させるプログラムやDBを記憶する。

プロセッサ１０ｄは、図２に示した各処理部と同様の処理を実行するプログラムをHDD１０ｂ等から読み出してメモリ１０ｃに展開することで、図２等で説明した各機能を実行するプロセスを動作させるハードウェア回路である。すなわち、このプロセスは、リザーバコンピュータ１が有する各処理部と同様の機能を実行する。具体的には、プロセッサ１０ｄは、計算部１１、更新部１２、変更部２１、評価部２２及び選択部２３と同様の機能を有するプログラムをHDD１０ｂ等から読み出す。そして、プロセッサ１０ｄは、計算部１１、更新部１２、変更部２１、評価部２２及び選択部２３等と同様の処理を実行するプロセスを実行する。

このようにリザーバコンピュータ１は、プログラムを読み出して実行することで学習類方法を実行する情報処理装置として動作する。また、リザーバコンピュータ１は、媒体読取装置によって記録媒体から上記プログラムを読み出し、読み出された上記プログラムを実行することで上記した実施例と同様の機能を実現することもできる。なお、この他の実施例でいうプログラムは、リザーバコンピュータ１によって実行されることに限定されるものではない。例えば、他のコンピュータ又はサーバがプログラムを実行する場合や、これらが協働してプログラムを実行するような場合にも、本発明を同様に適用することができる。

このプログラムは、インターネット等のネットワークを介して配布することができる。また、このプログラムは、ハードディスク、フレキシブルディスク（FD）、CD-ROM、MO（Magneto−Optical disk）、DVD（Digital Versatile Disc）等のコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行することができる。

１ リザーバコンピュータ
１０ ＲＣ回路
１１ 計算部
１２ 更新部
１３ 供給部
２０ 設計部
２１ 変更部
２２ 評価部
２３ 選択部

Claims (7)

1. 複数のノードを含み、前記複数のノードの間の結合構造がランダムに決められたリザーバと、前記複数のノードの各ノードに重みが設定された出力層とを含むニューラルネットワークへの入力に対する出力を計算する計算部と、
   前記リザーバに含まれる前記複数のノードの間の結合構造を変更する変更部と、
   前記変更部によって変更された結合構造のそれぞれについて、前記計算部によって計算された出力を基に、前記出力層の重みを更新する更新部と、
   前記計算部によって計算された出力を所定の基準により評価する評価部と、
   前記評価部による評価結果を基に、前記変更部によって変更された結合構造の中から所定の結合構造を選択する選択部と、
   を有することを特徴とするリザーバコンピュータ。
2. 前記変更部は、前記結合構造をあらかじめ規定された回数だけ変更し、
   前記評価部は、評価結果として、前記計算部によって計算された出力の、あらかじめ用意された教師データに対する誤差を計算し、
   前記選択部は、前記変更部によって変更された結合構造の中から前記誤差が最も小さい結合構造を選択することを特徴とする請求項１に記載のリザーバコンピュータ。
3. 前記評価部は、前記変更部によって変更された結合構造のそれぞれについての、前記更新部による前記出力層の重みの更新が完了するたびに、評価結果として、前記計算部によって計算された出力の、あらかじめ用意された教師データに対する誤差を計算し、
   前記選択部は、前記誤差が閾値以下である場合、前記誤差に対応する結合構造を選択することを特徴とする請求項１に記載のリザーバコンピュータ。
4. 前記変更部は、遺伝的アルゴリズムに従い、あらかじめ用意された複数の結合構造を第１世代として、前記評価部による評価結果が改善されるように、結合構造の組合せ及び淘汰により各世代の結合構造を生成していき、
   前記選択部は、前記評価部による評価結果を基に、前記変更部によって生成された所定の世代の結合構造の中から結合構造を選択することを特徴とする請求項１に記載のリザーバコンピュータ。
5. 前記リザーバはFPGA（Field Programmable Gate Array）であり、
   前記変更部は、前記リザーバとして機能するFPGAを書き換えることで結合構造を変更することを特徴とする請求項１に記載のリザーバコンピュータ。
6. 複数のノードを含み、前記複数のノードの間の結合構造がランダムに決められたリザーバに含まれる前記複数のノードの間の結合構造を変更し、
   前記リザーバと、前記複数のノードの各ノードに重みが設定された出力層とを含むニューラルネットワークへの入力に対する出力を計算し、
   前記変更する処理によって変更された結合構造のそれぞれについて、前記出力を基に、前記出力層の重みを更新し、
   前記出力を所定の基準により評価し、
   前記評価する処理による評価結果を基に、前記変更する処理によって変更された結合構造の中から所定の結合構造を選択する
   処理をコンピュータが実行することを特徴とするリザーバ設計方法。
7. 複数のノードを含み、前記複数のノードの間の結合構造がランダムに決められたリザーバに含まれる前記複数のノードの間の結合構造を変更し、
   前記リザーバと、前記複数のノードの各ノードに重みが設定された出力層とを含むニューラルネットワークへの入力に対する出力を基に、前記変更する処理によって変更された結合構造のそれぞれについて、前記出力層の重みを更新し、
   前記出力を所定の基準により評価し、
   前記評価する処理による評価結果を基に、前記変更する処理によって変更された結合構造の中から所定の結合構造を選択する
   処理をコンピュータが実行することを特徴とするリザーバ設計プログラム。

Images