JP2010287062A - ニューラルネットワーク・シミュレーション演算方法 - Google Patents

Abstract

【課題】ニューラルネットワークのシミュレーションを、並列演算システムによって行う場合に、システムの稼働率を向上させる。
【解決手段】ニューラルネットワークのシミュレーション演算は、少なくとも一つのニューロンの演算を含む、実行順序を決められたスライスに分割されており、ｎ＋１番目に実行されるスライスの演算は、ｎ番目に実行されるスライスの演算結果を利用するように構成されており、ノードには、実行順序を決められたスライスが割り当てられており、ノードは、他のノードによるスライスの演算結果を受け取るように構成されている。ノードがｎ番目のスライスの演算を実行するステップと、ｎ＋１番目のスライスのシナプス部の先行演算を実行するステップと、他のノードのｎ番目のスライスの演算結果を受け取った後に、実行しなおす必要があると判断した部分についてのみ、ｎ＋１番目のシナプス部の演算を実行しなおすステップとを含む。
【選択図】図１０

Description

本発明は、複数のニューロンが相互に接続されているニューラルネットワークのシミュレーションを、複数のノードが並列演算を行うように構成された並列演算システムによって行うニューラルネットワーク・シミュレーション演算方法に関する。

複数のノードが並列演算を行うように構成された並列演算システムによってシミュレーション演算を行う場合、あるノードの演算結果を他のノードで使用することが必要となる。そこで、所定のタイミングごとにノード間で同期をとり、ノード間の情報のやり取りが行われる。

複数のニューロンが相互に接続されているニューラルネットワークのシミュレーションを、並列演算システムによって行う場合には、あるニューロンの演算は、該ニューロンのシナプス部に接続されたニューロンの演算結果を利用する。したがって、あるニューロンの演算が、該ニューロンのシナプス部に接続されたニューロンの演算結果を利用することができるように、複数のニューロンのシミュレーション演算を並列演算システムの複数のノードに割り当てるとともに、所定のタイミングごとにノード間で同期をとり、ノード間の情報のやり取りが行われるように並列演算システムを構成する。

ここで、ノードが実行する演算の単位は、スライスと呼称される。スライスにおいて、ノードは他のノードから情報を受け取った後、独立して演算を実行し、演算の結果を他のノードへ送る。すなわち、スライスは、ノードによって実行されるシミュレーション演算とノード間の情報のやり取りから構成される。上述のように、ノード間の情報のやり取りはノード間で同期をとって行われる。したがって、各ノードによって実行されるスライスには、実行順序が定められ、各ノードは、実行順序ごとにノード間で同期をとりながらスライスを実行する。その場合に、あるノードは、ｎが実行順序を示す正の整数として、ｎ番目のスライスのシミュレーション演算を終了した後、他のノードによるｎ番目のスライスのシミュレーション演算の結果を待つ場合が生じる。このように、スライス内には待ち時間が生じうる。このスライス内の待ち時間のために、並列演算システムの稼働率が大幅に低下する可能性がある。

一般的に、待ち時間を減少させシステムの稼働率を向上させるために、投機的処理を行うことが知られている（たとえば、特許文献１及び２）。

しかし、複数のニューロンが相互に接続されているニューラルネットワークのシミュレーションを並列演算システムによって行う場合に、該並列演算システムの稼働率を向上させる方法は開発されていない。

特開２０００−４７８８７号公報 特開２００３−３２３３０４号公報

したがって、複数のニューロンが相互に接続されているニューラルネットワークのシミュレーションを、並列演算システムによって行う場合に、該並列演算システムの稼働率を向上させるニューラルネットワーク・シミュレーション演算方法に対するニーズがある。

本発明によるニューラルネットワーク・シミュレーション演算方法において、複数のニューロンが相互に接続されているニューラルネットワークのシミュレーションが、複数のノードが並列演算を行うように構成された並列演算システムによって実行される。ニューラルネットワークのシミュレーション演算は、ニューロンの演算からなり、該ニューロンの演算は該ニューロンのシナプス部に接続されたニューロンの演算の結果を利用するものである。ニューラルネットワークのシミュレーション演算は、少なくとも一つのニューロンの演算を含む、実行順序を決められたスライスに分割されており、ｎは正の整数として、ｎ＋１番目に実行されるスライスの演算は、ｎ番目に実行されるスライスの演算結果を利用するように構成されており、ノードには、実行順序を決められたスライスが割り当てられており、ノードは、他のノードによるスライスの演算結果を受け取るように構成されている。該方法は、ノードがｎ番目のスライスの演算を実行するステップと、ノードが他のノードのｎ番目のスライスの演算結果を仮定してｎ＋１番目のスライスのシナプス部の先行演算を実行するステップと、ノードが他のノードのｎ番目のスライスの演算結果を受け取った後に、該演算結果に基づいてｎ＋１番目のスライスのシナプス部の演算を実行しなおす必要があるかどうかを判断し、実行しなおす必要があると判断した部分についてのみ、ｎ＋１番目のシナプス部の演算を実行しなおすスッテップとを含む。

本発明によれば、ノードが他のノードのｎ番目のスライスの演算結果を仮定してｎ＋１番目のスライスのシナプス部の先行演算を実行するので、ｎ＋１番目のスライスにおけるシナプス部の演算時間が短縮される。

本発明の実施形態によるニューラルネットワーク・シミュレーション演算方法は、ノードが他のノードのｎ番目のスライスの演算結果を受け取る前に、他の全てのニューロンにおいて発火イベントは発生していないと仮定してｎ＋１番目のスライスのシナプス部の演算を実行する。

本実施形態によれば、発火イベントが発生する確率が低いので、ノードが他のノードのｎ番目のスライスの演算結果を受け取った後に、該演算結果に基づいてｎ＋１番目のスライスのシナプス部の演算を実行しなおす必要がある場合が生じる確率は低い。また、発火イベントが発生しなかった場合の演算時間の平均値は、発火イベントが発生した場合の演算時間の平均値よりも大きい。したがって、ｎ＋１番目のスライスにおけるシナプス部の演算時間が大幅に短縮される。

本発明の実施形態によるニューラルネットワーク・シミュレーション演算方法において、ノードによるシナプス部の演算結果は、ノードの記憶装置に、スライスごと及びシナプスごとに格納される。

本実施形態によれば、シナプス部の演算結果が、ノードの記憶装置に、スライスごと及びシナプスごとに格納されているので、ノードが他のノードのｎ番目のスライスの演算結果を受け取った後に、実行しなおす必要があると判断した部分についてのみ、ｎ＋１番目のシナプス部の演算を実行しなおす際に、効率的に処理を実行することができる。

本発明の実施形態によるニューラルネットワーク・シミュレーション演算方法において、ノードが、ｎ＋１番目のスライスの先行演算を実行する前に、ｎ＋１番目のスライスの演算用のデータセットを、該ノードの記憶装置に予めコピーし、該ノードが他のノードのｎ番目のスライスの演算結果を受け取った後に、該コピーしたデータセットに基づいて必要であると判断した部分についてｎ＋１番目のスライスの演算を実行しなおす。

本実施形態によれば、ｎ＋１番目のスライスの先行演算を実行する前に、ｎ＋１番目のスライスの演算用のデータセットを、該ノードの記憶装置に予めコピーしておくので、ノードが他のノードのｎ番目のスライスの演算結果を受け取った後に、実行しなおす必要があると判断した部分についてのみ、ｎ＋１番目のシナプス部の演算を実行しなおす際に、効率的に処理を実行することができる。

本発明の実施形態によるニューラルネットワーク・シミュレーション演算方法において、前記並列演算システムの複数のノードは、スライスの演算を実行するサーバと、スライスの管理を行うクライアントからなり、サーバはスライスの演算結果をクライアントに送信し、クライアントは、各スライスの演算結果を各サーバに送信するように構成されている。

本実施形態によれば、クライアントがスライスの管理を行うので、サーバによるスライスの演算時間短縮が、並列演算システムの全体の効率向上に反映される。

本発明の一実施形態による並列演算システムの構成を示す図である。 スライス内で実行されるサーバの動作を示す図である。 スライス内で実行されるクライアント及びサーバの動作を示す図である。 ニューラルネットワークを構成するニューロンの構成を示す図である。 ニューロンの内側の演算の構成を示す図である。 スライス内で実行されるサーバのより詳細な動作を示す図である。 連続したスライス内で実行されるサーバの動作を示す図である。 スライス内で実行されるクライアント及びサーバの動作を示す図である。 本発明の一実施形態によるニューラルネットワーク・シミュレーション演算方法において、連続したスライス内で実行されるサーバの動作を示す図である。 本発明の一実施形態によるニューラルネットワーク・シミュレーション演算方法において、連続したスライス内で実行されるクライアント及びサーバの動作を示す図である。 シナプス演算に使用されるデータセットの取り扱いを示す図である。 本実施形態による、並列演算システムの稼働率向上の効果を示す図である。

図１は、本発明の一実施形態による並列演算システム１００の構成を示す図である。並列演算システム１００は、ルーティング・スイッチ１０１とノード１０３から構成される。ノード１０３は、ｘ８６系ＣＰＵなどを搭載した汎用計算機であってもよい。ノードは、他のノードとの通信のための通信カードを備える。ノードの通信カードは、たとえば、メタルの同軸ケーブル、ツイストペアや、光ケーブルなどの通信路を介してルーティング・スイッチ１０１に接続される。すなわち、全てのノードは、ルーティング・スイッチ１０１に接続され、ノード間の通信は、ルーティング・スイッチ１０１を介して行われる。ルーティング・スイッチ１０１は、各ノードから転送されてきたデータ・パケット（データと制御コードの列）を解析して、宛先のノードへ転送する機能を有する。

シミュレーション演算を実行する際に、一例として、ノード１０５は、クライアントとして機能し、ノード１０７ａ、１０７ｂ、・・・は、サーバとして機能する。各サーバ１０７ａ、１０７ｂ、・・・には、実行順序を定めたスライスが割り当てられる。クライアント１０５は、サーバによるスライスの実行を管理する。

図２は、スライス内で実行されるサーバの動作を示す図である。図２においてＳｌｉｃｅ（ｎ）は、実行順序がｎ番目であるスライスを示す。各サーバ１０７ａ、１０７ｂ、・・・によって、１スライス内で実行される動作は、以下のとおりである。

１）スライス開始の同期信号をクライアント１０５から受け取る（Ａ１）。
２）演算を実行するのに使用されるパラメータや変数をクライアント１０５から受け取る（Ａ２）。
３）演算を実行する（Ａ３）。
４）演算結果をクライアント１０５へ送る（Ａ４）。

図３は、スライス内で実行されるクライアント及びサーバの動作を示す図である。スライスにおいて、サーバによって上述の動作が実行される。他方、クライアントによって以下の動作が実行される。

１）スライスの同期信号を作成し、サーバに送る（Ｂ１）。同期信号は、以下の手順で作成する。
クライアント１０５は、上述のとおり、各サーバから演算結果を受け取る。クライアント１０５は、スライス（ｎ−１）についての全てのサーバの演算結果を受け取った後に、スライス（ｎ）の同期信号を作成する。ここで、ｎは正の整数であり、ｎ−１及びｎは、スライスの実行順序を示す。
２）パラメータ及びデータを作成し、サーバに送る（Ｂ２）。パラメータ及びデータは、以下の手順で作成する。
スライス（ｎ−１）についてのサーバの演算結果に基づいて、スライス（ｎ）の演算に必要なパラメータ及びデータを作成する。
３）サーバから演算結果を受け取る（Ｂ３）。

このように実行順序を定めたスライスを繰り返し実行することにより、ニューラルネットワークのシミュレーション演算を実行する。

図４は、ニューラルネットワークを構成するニューロン３００の構成を示す図である。ニューロン３００は、複数のシナプス３０１ａ、３０１ｂ、３０１ｃ・・・から構成されるシナプス部３０１と、ソーマ部３０３とから構成される。各シナプスは、他のニューロンのソーマ部から信号を受け取り、この信号に基づいてシナプス部及びソーマ部が機能し、他のニューロンのシナプスへ信号を出力する。ここで、ニューラルネットワークのシミュレーション演算は、スパイキングニューロンモデルを計算するニューロンの内側の演算と、ニューロン間において発火イベントが存在するかしないかをディジタル値で表現するネットワーク（ニューロンの外側）の演算とで構成される。

図５は、ニューロンの内側の演算の構成を示す図である。ニューロンの内側の演算は、シナプス部を演算する過程Ｓ１（図５中のｓ１）とソーマ部を演算する過程Ｎ１（図５中のｎ１）とに分けられる。

シナプス部の演算は、シナプスごとに行われる。シナプス部の演算には、２個の関数が準備されている。シナプスが、接続された他のニューロンからの発火イベントを受け取ったか否かによって２個のうちいずれの関数を実行するかが決められる。シナプスが、発火イベントを受け取った場合には、関数Ｓｌｅが実行される。シナプスが、発火イベントを受け取らなかった場合には、関数Ｓｌｎｅが実行される。発火イベントについてのデータは、クライアントが同期信号を送った後にサーバに送るデータに含まれている。したがって、サーバは、クライアントからのデータを受け取る前に２個のうちいずれの関数を実行するか決めることはできない。シナプス部の演算結果は、ノードの記憶装置に、シナプスごとに格納される。

ソーマ部の演算は、そのソーマ部が属しているニューロンが保持する全てのシナプスの演算結果を使用する。ソーマ部の演算は、基本的に、そのソーマ部が属しているニューロンが保持する全てのシナプスの演算が終了しないと開始できない。

図６は、スライス内で実行されるサーバのより詳細な動作を示す図である。図６は、図２に示したサーバの動作をより詳細に示している。シミュレーション演算は、シナプス部の演算Ｓ１（図６中のｓ１）とソーマ部の演算Ｎ１（図６中のｎ１）とに分けられる。また、サーバがクライアント１０５へ演算結果を送信した後、サーバが次のスライスの同期信号を受け取るまでの間、サーバは演算を実行しない待機状態となる。

図７は、連続したスライスＳｌｉｃｅ（ｎ−１）及びＳｌｉｃｅ（ｎ）内で実行されるサーバの動作を示す図である。図７において、ｃ１は、スライス開始の同期信号をクライアント１０５から受け取る動作を示す。ｃ２は、演算を実行するのに使用されるパラメータや変数をクライアント１０５から受け取る動作を示す。ｓ１は、シナプス部の演算を示す。ｎ１は、ソーマ部の演算を示す。ｃ４は、演算結果をクライアント１０５へ送る動作を示す。ｃ５は、サーバの待機状態を示す。ｃ１、ｃ２、ｃ４及びｃ５の時間は、並列演算システム１００の通信や同期のためのオーバーヘッドであり、これらの時間が短くなるほど並列演算システム１００の稼働率が向上する。

図８は、スライス内で実行されるクライアント及びサーバの動作を示す図である。クライアント１０５は、サーバに同期信号を送り（ｃ１）、ついで、演算に必要なパラメータ・データを送る（ｃ２）。その後、クライアント１０５は、サーバの演算終了を待ち続ける（ｃ３）。クライアント１０５は、動作ｃ４によってサーバから送られたデータを処理してスライスの更新処理を行う。

ここで、発火イベントに関するニューロンの外側の演算について説明する。ニューロンの内側の演算結果に基づいて、ニューロンに発火イベントが生じたかどうかが定まる。あるニューロンに発火イベントが生じたかどうかの情報は、該ニューロンの演算を実行したサーバ及び他のサーバに伝達される必要がある。そこで、クライアント１０５は、各サーバから送られる演算結果に基づいて、ニューロンの発火についての情報を収集し、整理し、各サーバに伝達する。クライアント１０５は、表１に示すようなイベントリストによってニューロンの発火についての情報を整理してもよい。表１において、発火イベントの欄の０は発火していないことを示し、１は発火したことを示す。なお、表のフォーマットは表１に示したものに限らず、発火の有無がわかるものであればよい。

各ノードは、ニューラルネットワークの接続情報を記憶装置に予め保持する。このニューラルネットワークの接続情報及びクライアントから受け取ったイベントリストに基づいて、サーバは、シナプス部の演算を実行するときに、そのシナプス部の接続先（入力先）のニューロンで発火イベントが生じたかどうかを判断する。上述のように、発火イベントが生じた場合には、関数Ｓｌｅが実行され、発火イベントが生じなかった場合には、関数Ｓｌｎｅが実行される。

ここで、ニューロンが発火する頻度について検討する。仮にニューロンの平均発火頻度を４００Hzとすると、２．５msecに一回発火することになる。スライス１つを１００usec相当と仮定すると、スライス２５個に相当する時間で１回発火することになる。このように、ニューロンが発火する平均頻度はかなり低い。

また、関数Ｓｌｎｅの演算時間の平均値は、関数Ｓｌｅの演算時間の平均値よりも大きい。

そこで、本発明によるニューラルネットワーク・シミュレーション演算方法においては、図７に示した、ｎ−１番目のスライスの待機時間ｃ５において、ｎ番目のスライスの、発火イベントが生じなかった場合の関数Ｓｌｎｅ（ｎ）の演算を実行する。この演算を先行演算と呼称する。先行演算の対象は全てのシナプス部である。ｎ番目のスライスで発火イベントを受け取ることとなるシナプス部の演算も、一旦、発火イベントを受け取らないものとして先行演算を実行する。

図９は、本発明の一実施形態によるニューラルネットワーク・シミュレーション演算方法において、連続したスライス内で実行されるサーバの動作を示す図である。図９（ｂ）は、本実施形態によるサーバの動作を示し、図９（ａ）は、従来技術によるサーバの動作を示す。サーバによって実行される動作は、以下のとおりである。

１）ｎ−１番目のスライスにおいて、演算結果をクライアント１０５へ送る動作ｃ４が終了した後、待機時間ｃ５において、ｎ番目のスライスの、全てのシナプス部の、発火イベントが生じなかった場合の関数Ｓｌｎｅ（ｎ）の演算の実行を開始する。
２）クライアント１０５からの同期信号を受け取る動作ｃ１が終了し、ｎ番目のスライスが開始された後、発火イベントリストをクライアント１０５から受け取る動作ｃ２の終了を待って、発火イベントリストに基づいて、発火イベントを受け取るシナプス部のみを対象として、関数Ｓｌｅ（ｎ）の演算を実行する。

図９に示したように、ｎ-１番目のスライスにおいて、待機時間ｃ５に対応する時間において全てのシナプス部の関数Ｓｌｎｅ（ｎ）の演算が実行される。したがって、ｎ番目のスライスにおいて、シナプス部の関数Ｓｌｎｅ（ｎ）の演算を実行する必要がなく、ｎ番目のスライスにおけるシナプス部の演算時間は大幅に短縮される。このように本実施形態によれば、各サーバの各スライスにおいてシナプスの演算時間が大幅に短縮されるので、並列演算システム１００の稼働率が大幅に向上する。

図１０は、本発明の一実施形態によるニューラルネットワーク・シミュレーション演算方法において、連続したスライス内で実行されるクライアント及びサーバの動作を示す図である。

クライアント１０５は、サーバに同期信号を送り（ｃ１）、ついで、演算に必要なパラメータ・データを送る（ｃ２）。その後、クライアント１０５は、サーバの演算終了を待ち続ける（ｃ３ｂ）。クライアント１０５は、動作ｃ４によってサーバから送られたデータを処理してスライスの更新処理を行う。

サーバは、ｎ番目のスライスにおいて、演算に必要なパラメータ・データを受け取った（ｃ２）後、発火が生じたシナプスについてのみ、関数Ｓｌｅ（ｎ）の演算を実行する。その後、ソーマ部の演算Ｎ１を実行する。ニューロンの演算終了後、演算結果をクライアント１０５へ送る（ｃ4）。その後、サーバは、（ｎ＋１）番目のスライスにおける、全てのシナプス部の関数Ｓｌｎｅ（ｎ＋１）の演算を実行する。その後、サーバは待機する（ｃ５ｂ）。

図１１は、シナプス演算に使用されるデータセット２１１の取り扱いを示す図である。ｎ−１番目のスライスにおいて、サーバの記憶装置に格納されたｎ番目のスライス用のデータセット２１１を予め、該記憶装置の別の場所にコピーし、データセット２１３を作成しておく（Ａ）。データセット２１１を使用して、ｎ番目のスライスの、全てのシナプス部の、発火イベントが生じなかった場合の関数Ｓｌｎｅ（ｎ）の演算を実行し、データセット２１５を得る（Ｂ）。ｎ番目のスライスにおいて、データセット２１３を使用して、発火イベントを受け取るシナプス部のみを対象として、関数Ｓｌｅ（ｎ）の演算を実行し、その結果をデータセット２１５に上書きし、データセット２１７を得る（Ｃ）。上述の処理によってｎ番目のスライスにおけるシナプス部の演算が終了する。

図１２は、本実施形態による、並列演算システム１００の稼働率向上の効果を示す図である。１０万スライスを計算するのに必要とされる時間は、従来技術の方法によれば、４９．７６秒であるのに対し、本実施形態の方法によれば３３．５８秒である。このように本実施形態による計算時間は、従来技術の計算時間の約３分の２に短縮され、稼働率が大幅に向上される。

１０１…ルーティング・スイッチ、１０３…ノード、１０５…クライアント、１０７…サーバ

Claims (5)

1. 複数のニューロンが相互に接続されているニューラルネットワークのシミュレーションを、複数のノードが並列演算を行うように構成された並列演算システムによって実行するニューラルネットワーク・シミュレーション演算方法であって、ニューラルネットワークのシミュレーション演算は、ニューロンの演算からなり、該ニューロンの演算は該ニューロンのシナプス部に接続されたニューロンの演算の結果を利用するものであり、ニューラルネットワークのシミュレーション演算は、少なくとも一つのニューロンの演算を含む、実行順序を決められたスライスに分割されており、ｎは正の整数として、ｎ＋１番目に実行されるスライスの演算は、ｎ番目に実行されるスライスの演算結果を利用するように構成されており、ノードには、実行順序を決められたスライスが割り当てられており、ノードは、他のノードによるスライスの演算結果を受け取るように構成されており、該方法は、
   ノードがｎ番目のスライスの演算を実行するステップと、
   ノードが他のノードのｎ番目のスライスの演算結果を仮定してｎ＋１番目のスライスのシナプス部の先行演算を実行するステップと、
   ノードが他のノードのｎ番目のスライスの演算結果を受け取った後に、該演算結果に基づいてｎ＋１番目のスライスのシナプス部の演算を実行しなおす必要があるかどうかを判断し、実行しなおす必要があると判断した部分についてのみ、ｎ＋１番目のシナプス部の演算を実行しなおすスッテップとを含むニューラルネットワーク・シミュレーション演算方法。
2. ノードが他のノードのｎ番目のスライスの演算結果を受け取る前に、他の全てのニューロンにおいて発火イベントは発生していないと仮定してｎ＋１番目のスライスのシナプス部の演算を実行する請求項１に記載のニューラルネットワーク・シミュレーション演算方法。
3. 所定のスライスにおいて、ノードによるシナプス部の演算結果は、ノードの記憶装置に、シナプスごとに格納される請求項１又は２に記載のニューラルネットワーク・シミュレーション演算方法。
4. ノードが、ｎ＋１番目のスライスの先行演算を実行する前に、ｎ＋１番目のスライスの演算用のデータセットを、該ノードの記憶装置に予めコピーし、該ノードが他のノードのｎ番目のスライスの演算結果を受け取った後に、該コピーしたデータセットに基づいて必要であると判断した部分についてｎ＋１番目のスライスの演算を実行しなおす請求項１から３のいずれかに記載のニューラルネットワーク・シミュレーション演算方法。
5. 前記並列演算システムの複数のノードは、スライスの演算を実行するサーバと、スライスの管理を行うクライアントからなり、サーバはスライスの演算結果をクライアントに送信し、クライアントは、各スライスの演算結果を各サーバに送信するように構成された請求項１から４のいずれかに記載のニューラルネットワーク・シミュレーション演算方法。

Images