JP2001523366A - ニューラルネットワークにおける信号処理用ダイナミックシナプス - Google Patents

Abstract

(57)【要約】 生物学的ニューラルネットワークを模して拡張する処理ジャンクションによって相互接続された信号プロセッサを有する情報処理システム。図示のように、各処理ジャンクションは、一つの信号プロセッサから複数の信号を受信し、一つの新しい信号を別の信号プロセッサへ送出する。各処理ジャンクションの応答（レスポンス）は、内部ジャンクションプロセスによって定まり、受信される信号の時間的変動によって連続的に変更される。ある信号プロセッサから共通の信号を受信するように接続された異なる処理ジャンクションは、異なる応答をして、下流側の信号プロセッサへの異なる信号を生成する。これにより、スパイク信号列の時間的パターンが、ジャンクションイベントの空間−時間的パターンへ変化し、信号プロセッサに指数関数的な計算能力を与える。各信号処理ジャンクションは、ある内部ジャンクションプロセスが受信信号に内在する特定の特性を学習するよう調節され得るように、下流側の信号プロセッサからフィードバック信号を受信することができる。

Description

【発明の詳細な説明】 発明の名称：ニューラルネットワークにおける信号処理用ダイナミックシナプス 本出願は、1997年６月11日出願の米国特許仮出願No.60/049,754の権益を主張 し、引用によって本出願に包含する。発明の分野 本発明は、処理ジャンクションによって接続された信号プロセッサによる情報 処理に関し、より詳細には生物学的ニューラル（神経）ネットワークを模して拡 張するニューラルネットワークモデルに関する。発明の背景 生物学的神経システムは、外部刺激を受けて処理するニューロン（神経単位） の複雑なネットワークを備え、情報を生成し、交換し、保存する。ニューラルネ ットワークの基本的単位（basic unit）としての最も簡単な形でのニューロンは 、体部（somaソーマ）と呼ばれる細胞体（cell body）と表現することができ、 これは、１個又は複数の、信号受信用の入力ターミナルとしての樹状突起(dendr itesデンドライト）と、１個又は複数の、信号送出用出力ターミナルとしての軸 索突起（axonsアクソン）を有している。 ニューロンの体部は、樹状突起から受取った信号を処理して少なくとも一つの 動作（アクション）信号を生成し、軸索突起を介して他のニューロンへ伝達する 。ニューロンの中には、ただ一つの軸索突起を有するものがあり、これらは繰り 返し枝分かれすることによって、一つのニューロンから他の複数のニューロンへ の通信を可能にする。 ニューロンのひとつの樹状突起（又は軸索突起）と別のニューロンの一つの軸 索突起（又は樹状突起）とは、シナプスと呼ばれる生物学的構造によって接続さ れている。従って、ニューラルネットワークは、シナプスによって相互接続され た複数のニューロンを含んでいる。信号は、そのようなネットワーク内で交換さ れ処理される。 ニューロンはまた、神経エフェクタ（neuroeffector）ジャンクションと呼ば れる別のタイプの生物学的ジャンクションを介して、筋肉、腺、又は感覚細胞な ど、種々のタイプのエフェクタ細胞と、解剖学的及び機能的接続を行なう。ある ニューロンは、動作信号に応答して、ある種の神経伝達物（neurotransmitter） を発生し、接続されているエフェクタ細胞を制御し、それに応じてエフェクタ細 胞が所望の反応、例えば筋肉組織の収縮を行なう。 生物学的ニューラルネットワークの構造と動作は極めて複雑である。多くの物 理的、生物学的、及び化学的なプロセスが係わっている。生物学的神経系統の特 定局面に基づいて、種々の単純化された神経（ニューラル）モデルが開発されて きた。BoseとLiang著、「グラフ、アルゴリズム及び応用を備えたニューラルネ ットワークの基礎」マグローヒル発行（１９９６年）を参照。例えば、脳は複合 システムであって、ニューロン活性化の空間−時間的パターンによって情報を処 理するニューラルネットワークにモデル化することができる。 一般的なニューラルネットワークの動作は、ひとつには次のように説明するこ とができる。シナプス前（presynaptic）ニューロンで発生した作用電位（actio n potential）はシナプス後（postsynaptic）ニューロンでシナプス電位（synap tic potential）を発生する。シナプス後ニューロンの体部膜（soma membrane） は、これらのシナプス電位を積算（integrates）して合計電位を生成する。合計 電位がある閾値電位を超えると、シナプス後ニューロンの体部は、もう一つの作 用電位を発生する。次に、この作用電位は、接続されている他のニューロン用の シナプス前電位として、１個又は複数の軸索突起を介して伝播する。上記のプロ セスは、多くのニューラル（神経）ネットワークモデルにおける情報の処理、記 憶(保存)、及び交換の基礎をなしている。 作用電位とシナプス電位とは、スパイク列として一種の時間的パターン、すな わちシーケンスを形成することができる。電位スパイク間の時間的インターバル が、ニューラルネットワーク中で情報の重要部分を担う。 ニューラルネットワーク中での情報のもうひとつの重要部は、ニューロン活性 化の空間的パターンである。これは、ネットワーク内のニューロン活性化の空間 的分布によって決定される。ニューラルネットワークモデルにおいては、時間的 パターンと空間的パターンの両方を刺激することが望ましい。例えば、Deadwyle r他著「ラットにおける空間的遅延サンプルへの非マッチ行動中の海馬同調行動( Hippocampal ensemble activity during spatial delayed-nonmatch-to-sample performance in rats)」Journal of Neuroscience第16巻、354-372頁(1996)、及 びThiels他著、「シナプス後抑制中の興奮的刺激は生体内での海馬における長期 のデプレッションを誘発する(Excitatory stimulation during postsynaptic jn hjbition induces long-term depression in hippocampus in-vivo)」参照。Jou rnal of Neuroscience第72巻、3009-3016頁(1994)、及び「生体内及び生体外に おける海馬の種々のサブフィールドにおけるNMDAレセプタ依存LTD(NMDA recepto r-dependent LTD in different subfields of hippocampus in vivo and in vit ro)」Hippocampus、第６巻、頁43-51（1996）参照。 多くのニューラルネットワークモデルは、下記二つの仮定に基づいている。第 一に、シナプス強度、すなわちシナプス電位を発生する際のシナプス効率は、ニ ューロン内で作動電位を発生するための代表的時間スケール中、静的（staticス タティック）である。シナプス効率は、一連の信号列の間、本質的に定数である 。いくつかのモデルでは、この仮定を修正して、多くの信号列の処理期間全体に わたってゆるやかに変動させることを許容している。第二の仮定において、各送 出ニューロンは、それにシナプス接続されている他のすべてのニューロンへ同じ 信号を供給する。 本発明の一局面では、上記二つの仮定をなくして改良したニューラルネットワ ークモデルが提供される。発明の要約 本発明は、情報処理のシステムと方法に内在し、これらは生物学的ニューラル ネットワークの特定の局面を拡張するように動機付けられて構成されている。信 号プロセッサと、それらを接続する処理ジャンクションとの各機能は、それぞれ 生物学的なニューロンとシナプスに相当する。信号プロセッサと処理ジャンクシ ョンはそれぞれ、光学的要素、電子装置、生物学的ユニット、又は化学的物質の 任意の一つ又は組合せで構成することができる。処理のシステムと方法も、一つ 又は複数のコンピュータプログラムを用いてシミュレートすることができる。 各処理ジャンクションは、入力スパイク信号列の時間的パターンに応じてその 応答強度をダイナミックに調節するように構成されている。従って、そのような 処理ジャンクションは、入力信号に対するその応答を変化させ、従って「ダイナ ミックシナプス」にシミュレートする。 異なる処理ジャンクションは一般的に、同一の入力信号に対して異なって応答 する。このことは、異なる出力ジャンクション信号を発生することになる。スパ イク信号列の時間的パターンを特定の方法でジャンクションイベントの空間−時 間的パターンへ変換することを可能にする。更に、信号プロセッサと処理ジャン クションのネットワークは、入力信号に内在するある種の特性を学習するように 訓練され得る。 情報処理システムのひとつの実施態様は、相互通信のために接続されるととも に少なくとも一つの入力信号に応答して少なくとも一つの出力信号を発生するよ うに構成された複数の信号プロセッサと、これら信号プロセッサを相互接続する ように配置した複数の処理ジャンクションとを含む。各処理ジャンクションは、 少なくとも一つの内部ジャンクションプロセスに基づいて、ネットワーク内の第 １の信号プロセッサから一つのジャンクション前(prejunction)信号を受信する とともに処理して一つのジャンクション信号を発生し、この信号がネットワーク 内の第２の信号プロセッサへのジャンクション後（postjunction）信号を発生さ せる。各処理ジャンクションは、ジャンクション信号がジャンクション前信号に 対してダイナミック依存性を有するように構成される。 処理ジャンクションの少なくとも一つは、ジャンクション信号に対して内部ジ ャンクションプロセスとは異なる寄与をする、もう一つの内部ジャンクションプ ロセスを持つことができる。 各処理ジャンクションを、第２の信号プロセッサから信号を受信するように接 続し、出力信号に応じて内部ジャンクションプロセスを調節するように構成する ことができる。 本発明の上記及びその他の局面と利点は、以下の詳細な説明、添付の図面、添 付の特許請求の範囲を参照すれば更に明らかになる。図面の簡単な説明 図１は、ニューロンとダイナミックシナプスによって形成されるニューラルネ ットワークを説明する概略図である。 図２Ａは、シナプス後二ューロンからダイナミックシナプスへのフィードバッ ク接続を示す図である。 図２Ｂは、複数の内部シナプスプロセスによってダイナミックシナプスの信号 処理を説明するブロック図である。 図３Ａは、ダイナミックシナプスに対してニューロンが発生させた時間的パタ ーンを示す図である。 図３Ｂは、一つのシナプスにおける、二つの異なる時間スケールの容易化（fa cilitative）プロセスを示すグラフである。 図３Ｃは、一つのシナプスにおける、二つの抑制ダイナミックプロセスの応答 を時間の関数として示すグラフである。 図３Ｄは、リリース（解放）の確率を、異なる時間スケールのシナプスプロセ スの相互作用(interaction)によるスパイク列の時間的パターンの関数として示 すグラフである。 図３Ｅは、スパイク列の一つの時間的パターンを三つの異なるスパイク列に変 換するためのシナプス前ニューロンに接続された三つのダイナミックシナプスを 示す図である。 図４Ａは、二つのニューロンと四つのダイナミックシナプスとを有する、図１ のニューラルネットワークに基づく、単純化されたニューラルネットワークであ る。 図４Ｂ乃至４Ｄは、図４Ａの単純化ネットワークにおけるシナプスの異なる応 答のもとにおける時間の関数として、四つのダイナミックシナプスのシミュレー トされた出力トレースを示す。 図５Ａ、５Ｂは、それぞれ二人の異なる話者が話す「hot」という語のサンプル 波形を示す。 図５Ｃは、図５Ａ、５Ｂの「hot」という語の波形間のクロス相関の波形を示 す。 図６Ａは、シミュレーション用の２層ニューロンを有するニューラルネットワ ークモデルの概略図である。 図６Ｂ、６Ｃ、６Ｄ，６Ｅ、６Ｆはそれぞれ、図６Ａのニューラルネットワー クにおける「hot」という語の訓練後の出力ニューロンからの出力信号のクロス 相関関数を示すグラフである。 図７Ａ〜７Ｌは、図６Ａのニューラルネットワークを用いて他のテスト語から 抽出した不変特徴を示すグラフである。 図８Ａ、８Ｂは、異なる複数の話者によって話される一つの特定の語に対して 優先的に応答するように各ニューロンを訓練する前と後との四つの出力ニューロ ンからの出力信号をそれぞれ示す。 図９Ａは、ダイナミックシナプスに基づくニューラルネットワークを用いた、 時間的信号処理の実行の一つを示す図である。 図９Ｂは、ダイナミックシナプスに基づくニューラルネットワークを用いた、 空間的信号処理の実行の一つを示す図である。 図１０は、空間一時間的情報処理用のダイナミックシナプスに基づくニューラ ルネットワークの実行の一つを示す図である。好ましい実施の態様の詳細な説明 本発明のいくつかの局面は、下記文献に開示されている：「ダイナミックシナ プス：ニューラル表現及び計算の新しい概念(Dynamic synapse: a new concept of neural representation and computation)」、Hippocampus、第６巻、頁591-6 00(1996)；「ダイナミックシナプスによるコンピューティング：スピーチ認識の ケーススタデイ(Computing with dynamic synapse: a case study of speech re cognition)」、ニューラルネットワークにおける国際会議の会議録(Proceeding o f Intenational Conference on Neural Network)ヒューストン，テキサス，1997 年６月；「ダイナミックシナプスによるロバストスピーチ認識(Robust speech re cognition with dynamic synapeses)、ニューラルネツトワークにおける国際ジ ョイント会議の会議録（Proceeding of Intenational Joint Conference on Neu ral Network）,アンカレッジ、アラスカ、1998年５月。上記開示を、引用により本出 願書類に包含する。 以下の説明において、「ニューロン」と「信号プロセッサ」、「シナプス」と「 処理ジャンクション」、「ニューラルネットワーク」と「信号プロセッサのネッ トワーク」は、大まかには同意語として用いる。生物学的用語である「樹状突起 」（dendrite）と「軸索突起」(axon)も、それぞれ信号プロセッサ（すなわち「 ニューロン」）の入力端子と出力端子を表すように用いる。 ダイナミックシナプスに基づくニューラルネットワーク１００の概要を図１に 示す。大きな円（例えば１１０、１２０他）はニューロンを表し、小さな楕円（ 例えば１１４、１２４他）は異なるニューロン同士を接続するダイナミックシナ プスを表す。エフェクタ細胞（effector cells）とそれぞれの神経エフェクタ（ neuroeffector）ジャンクションとは、図示を単純化するため、ここには示さな い。ダイナミックシナプスはそれぞれ、受信信号の時間的パターンと大きさの変 化に応じて、受信信号の応答量を連続的に変化させる能力を有する。これは、シ ナプスが静的であり、受信信号の大きさを変化させるため各シナプスが与える重 みづけ係数が本質的に一定であるニューラルネットワーク用の、多くの従来のモ デルとは異なる。 ニューロン１１０と１２０とはそれぞれ、軸索突起１１２と１２２を介してダ イナミックシナプス１１４と１２４とによりニューロン１３０に接続されている 。例えばニューロン１１０から発せられる信号は、シナプス１１４によって受信 されるとともに処理されて、シナプス信号を生成し、これが樹状突起１３０ａを 介してニューロン１３０に至るシナプス後信号をもたらす。ニューロン１３０は 、受信したシナプス後信号を処理して作動電位を発生し、この作動電位を軸索突 起支線１３１ａ、１３１ｂなどとダイナミックシナプス１３２、１３４などとを 介して、下流側の他のニューロン１４０、１５０などへ送る。ネットワーク１０ ０内で接続されたいずれの二つのニューロンも、情報を交換することができる。 このようにして、ニューロン１３０は、軸索突起１５２に接続され、例えばダイ ナミックシナプス１５４を介して、ニューロン１５０から信号を受信できる。 ネットワーク１００においては、シナプスレベル、ニューロンレベル、及びネ ットワークレベルを含むがこれらに限定されない複数のレベルにおいて、ニュー ロンとダイナミックシナプスによって情報が処理される。 シナプスレベルにおいて、二つのニューロン（すなわち、あるシナプスに関す るシナプス前ニューロンとシナプス後ニューロン）間に接続された各ダイナミッ クシナプスも、シナプス前ニューロンからの受信信号、シナプス後ニューロンか らのフィードバック信号、及びシナプス内の１個又は複数の内部シナプスプロセ スからの受信信号に基づいて、情報を処理する。各シナプスの内部シナプスプロ セスは、時間的パターン及び／又はシナプス前信号の大きさの変動に応答して、 ダイナミックに変動する時間的パターンとシナプス強度とを有するシナプス信号 を発生する。例えば、ダイナミックシナプスのシナプス強度は、スパイクの入力 信号列の時間的パターンによって連続的に変化させることができる。更に、複数 の異なるシナプスは一般的に、それらの内部シナプスプロセスの変動によって構 成されるので、同じシナプス前信号に対して異なる応答をし、複数の異なるシナ プス信号を生成する。これにより、スパイク信号列の時間的パターンを、シナプ スイベントの空間一時間的パターンへ変換する方法が与えられる。シナプスレベ ルにおけるそのようなパターン変換能力は、ニューロンレベルにおける計算能力 を指数的に増大させる。 ダイナミックシナプスのもう一つの特徴は、それらのダイナミック学習能力で ある。各シナプスは、それぞれのシナプス後ニューロンからフィードバック信号 を受信するように接続されていて、シナプス後ニューロンの出力信号に基づいて 、受信したシナプス前信号に内在するいくつかの特性に適合するように、シナプ ス強度がダイナミックに調節されるようになっている。これにより、異なるアク セントを持った異なる人々によって話される一つの特定の語の認識のような、所 望のタスクを実行するため、特性が学習されるように、異なるダイナミックシナ プスに関する適切な変換関数が作られる。 図２Ａはこのダイナミック学習を示し、ここではダイナミックシナプス２１０ がシナプス後ニューロン２２０からフィードバック信号２３０を受信し、シナプ ス前信号２０２内の特徴を学習する。ダイナミック学習は、一般的に図１のニュ ーロンとダイナミックシナプスの一グループ又は全体のネットワーク１００を用 いて実行される。 図１のネットワーク１００内のニューロンも信号を処理するように構成されて いる。一つのニューロンは、二つ以上のダイナミックシナプスから信号を受信す る、及び／又は二つ以上のダイナミックシナプスへ作動電位を送るように、接続 することができる。図１を参照すると、ニューロン１３０はそのようなニューロ ンの一例である。ニューロン１１０はシナプス１１１だけから信号を受信し、シ ナプス１１４へ信号を送る。ニューロン１５０は二つのダイナミックシナプス１ ３４と１５６とから信号を受け、軸索突起１５２へ信号を送る。しかし、他のニ ューロンに接続されて、種々のニューロンモデルを用いることができる。例えば 前記の、BoseとLiang著の第２章、及びAnderson著、「ニューラルネットワーク 入門」の第２章、MIT(1997)を参照。これらは引用により本出願に包含する。 ニューロンに関して広く用いられる一つのシミュレーションモデルは、インテ グレータ（積分装置）モデルである。一つのニューロンは二つのステージで作動 する。第一ステージでは、ニューロンの複数の樹状突起からの複数のシナプス後 信号が、個々のシナプスの寄与度を独立的に組み合わせるとともに代数学的に加 算することにより加算され、その結果が活動レベルとされる。第二ステージでは 、この活動レベルを、非線形関数関連活動レベル（細胞膜電位）への入力として 用いて一つの値（平均出力ファイアリング率）を出力し、このようにして最終的 出力活動を発生する。次に、活動電位がそれに応じて発生させられる。積分装置 モデルは、McCulloch-Pittsの「integrate-and-fire」モデルのように二状態モ デルに単純化することができる。そのモデルは、得られた活動レベルが臨界閾値 より高いときは「高い」を表す電位を発生し、それ以外では「低い」を表す電位 を発生する。 実際の生物学的シナプスは通常、一つのシナプス前信号に対して異なって応答 する複数の異なるタイプの分子を含んでいる。従って、特定のシナプスのダイナ ミックスは、すべての異なる分子からの応答の組合せである。従って、ダイナミ ックシナプスは、複数の異なるタイプの分子の応答に対応するすべてのダイナミ ックプロセスからの寄与度を反映するように構成される。ダイナミックシナプス の特定の実行は、下記の式でモデル化することができる。 ここで、P_i(t)は、シナプス前信号に応答するｉ番目のシナプスからのリリー ス電位(すなわちシナプス電位)、K_i,m(t)は、ｉ番目のシナプスにおけるｍ番目 のダイナミックプロセスの大きさ、そしてF_i,m(t)は、m番目のダイナミックプロ セスの応答関数である。 応答F_i,m(t)は、シナプス前信号の関数A_p(t)であり、これはダイナミックシナ プスが接続されているシナプス前ニューロンを起源とする作動電位である。F_i,m (t)の大きさは、A_p(t)の時間的変化とともに連続的に変化する。いくつかの用途 において、A_p(t)は一つのスパイク列であり得て、ｍ番目のプロセスは応答F_i,m( t)を一つのスパイクから他のスパイクへ変化させる。A_p(t)はまた、他のニュー ロンから発生した作動電位でもあり得て、そのような実施例を後で説明する。更 にまた、F_i,m(t)は、ダイナミックシナプスｉ自体が発生したシナプス信号のよ うな他の信号からの寄与、あるいは他のシナプスが発生したシナプス信号からの 寄与、を受けることもあり得る。 一つのダイナミックプロセスは別のダイナミックプロセスと異なることもある ので、異なるプロセスに関して、F_i,m(t)の波形及び／又は応答時間係数が異な る可能性があり、対応する大きさK_i,m(t)も異なる可能性がある。K_i,m(t)＞０で あるダイナミックプロセスｍに関して、このプロセスは、シナプス後信号の電位 を高めるので、剌激的（excitatory）であると称される。逆に、K_i,m(t)＜０で あるダイナミックプロセスｍは抑制的であると言われる。 一般的に、ダイナミックシナプスの挙動は、生物学的シナプスの特性に限定さ れない。例えば、一つのダイナミックシナプスは、種々の内部プロセスを持つこ とができる。これら内部プロセスのダイナミックスは、様々な形、例えば波形の 立ち上がり、立ち下がり、又は他の様相など、を取ることができる。ダイナミッ クシナプスはまた、例えば高速ＶＬＳＩ技術を用いて、応答速度を生物学的シナ プスにより速くすることもできる。更にまた、一つのニューラルネットワーク内 の、あるいは一つの共通ニューロンに接続された異なるダイナミックシナプスが 、 異なる個数の内部シナプスプロセスを持つことも可能である。 一つのニューロンに関連するダイナミックシナプスの数は、ネットワークの接 続性によって定まる。例えば図１において、ニューロン１３０は、３個のダイナ ミックシナプス１１４、１５４と１２４とから受信するように接続されている。 上記のダイナミックシナプスのシナプス信号のリリースR_i(t)は、種々の形で モデル化が可能である。例えば、ニューロンに関する積分モデルは、直接使用す ることも、ダイナミックシナプス用に修正することも可能である。ダイナミック シナプスに関する一つの単純なモデルは、McCullochとFittsが提案したニューロ ンモデルに似た二状態モデルである。 ここで、R_i(t)は、それがゼロ値でないf[P_i(t)]のときは、シナプスイベントの 発生（すなわちニューロ伝達物質のリリース）を表し、R_i(t)=0のときは、シナ プスイベントの非発生を表し、θ_iはｉ番目のダイナミックシナプスの閾電位を 表す。シナプス信号R_i(t)は、ダイナミックシナプスによって、各シナプス後ニ ューロンにシナプス後信号S_i(t)を発生させる。便宜上、f[P_i(t)]を１に設定す ると、シナプス信号R_i(t)は複数の０と１とを持つスパイクのバイナリー列とな る。これにより、シナプス信号の情報をコード化する手段が得られる。 図２Ｂは、複数の内部シナプスプロセスを用いたダイナミックシナプス信号処 理のブロック図である。ダイナミックシナプスは、シナプス前ニューロン（図示 しない）から作動電位２４０を受ける。異なる内部シナプスプロセス２５０、２ ６０と２７０は、それぞれ異なる時間的変化の大きさ２５０ａ、２６０ａと２７ ０ａを有するように示されている。シナプスは、シナプスプロセス２５０ａ、２ ６０ａと２７０ａとを結合して、(１)式の演算に対応する複合シナプス電位２８ ０を発生させる。シナプスの閾値設定機構２９０は（２）式の演算を行なってバ イナリパルスのシナプス信号２９２を作る。 シナプス信号R_i(t)のリリースの確率は、一つ以上の内部シナプスプロセスと シナプス前信号のスパイク列の時間的パターンとのダイナミック相互作用によっ て定まる。図３Ａは、時間的パターン３１０（すなわち作動電位のスパイク列） をダイナミックシナプス３２０ａへ送出するシナプス前ニューロン３００を示す 。スパイクの間隔は、種々のシナプスプロセスの相互作用に影響を及ぼす。 図３Ｂは、一つのシナプスにおける異なる時間スケールの二つの容易化プロセ スを示す。図３Ｃは、二つの抑制的ダイナミックプロセス（すなわち高速ＧＡＢ Ａ_Aと低速ＧＡＢＡ_B）を示す。図３Ｄは、リリースの確率が、異なる時間スケー ルのシナプスプロセスの相互作用により、スパイク列の時間的パターンの関数と なることを示す。 図３Ｅは、更に、シナプス前ニューロン３５０に接続された三つのダイナミッ クシナプス３６０、３６２、３６４が、時間的スパイク列パターン３５２を三つ の異なるスパイク列３６０ａ、３６２ａ、３６４ａに変換して、ニューロトラン スミッタリリース（ニューロ伝達物質リリース）の離散したシナプスイベントの 空間−時間的パターンを形成することを示す。 シナプス強度をニューロン活性化の時間的パターンの関数としてダイナミック に適用できることは、シナプスのレベルにおける著しい表現能力及びプロセス能 力をもたらす。１００ｍｓのタイムウィンドウ中に最高１００Ｈｚのレートでフ ァイアリング可能なニューロンを考慮してみる。この１０ビットのスパイク列に おいてコード化可能な時間的パターンは、[00...0]から[11...1]までの範囲、合 計２¹⁰個のパターンとなる。一つのダイナミックシナプスにおいて一つの作動電 位ごとに多くとも１回のリリースイベントが起こり得ると見なせば、シナプスメ カニズムのダイナミックス次第で、ダイナミックシナプスにおけるリリースイベ ントによってコード化可能な時間的パターンの数は、２¹⁰である。１００個のダ イナミックシナプスを持つニューロンでは、発生可能な時間的パターンの総数は 、（２¹⁰）¹⁰⁰＝２^1,000である。一つの作動電位ごとに２回以上のリリースイベ ントを可能にすれば、この数はさらに大きくなる。上記の数は、ダイナミックシ ナプスを持つニューロンのコーディング能力の理論的最大値を表すもので、ノイ ズや低いリリース確率等の要因によって減少する。 図４Ａは、図１のシステムと、（１）式、（２）式のダイナミックシナプスに 基づいて、刺激的ニューロン４１０と抑制的ニューロン４３０とを有する単純な ニ ューラルネットワーク４００の例を示す。ニューロン４１０と４３０とを接続す るため、合計４個のダイナミックシナプス４２０ａ、４２０ｂ、４２０ｃ、４２ ０ｄを用いている。抑制的ニューロン４３０は、フィードバックモジュレーショ ン信号４３２を４個すべてのダイナミックシナプスへ送る。 ｉ番目のダイナミックシナプスのリリースの電位P_i(t)は、４つのプロセス、 の関数とみなすことができる：ニューロン４１０からの作動電位A_pに対するシナ プスによる高速応答F₀、各ダイナミックシナプス内の第１と第２の容易化のコン ポーネントF₁、F₂、及び抑制的であると見なされるフィードバックモジュレーシ ョンModである。これら要因のパラメータ値は、例えば、非線形分析手順を用い る研究における海馬シナプス伝達のダイナミックスを支配する容易化プロセスと 抑制化プロセスの時定数と一致するように選択される。参考文献：MoorとGabrie l編集、「ニューロコンピューテーションと学習：適合ネットワークの基礎」内 の、Berger他による「海馬形成のネットワーク特性の非線形システム解析」頁28 2-352、発行元：MIT Press，Cambridge(1991)、及び「海馬の機能的特性の生物学 に基礎をおいたモデル」、Neural Networks誌、第７巻、頁1031-1064(1994)。 図４Ｂ乃至４Ｄは、シナプスの異なる応答のもとでの時間関数としての四つの ダイナミックシナプスのシミュレーションされた出力トレースを示す。各図にお いて、一番上のトレースは、ニューロン４１０によって発生されるスパイク列４ １２である。右側のバーチャート（棒グラフ）は、各ダイナミックシナプスの４ つのダイナミックプロセスの相対強度、すなわち（１）式におけるK_i,mを表す。 バーの上方の数字は、ダイナミックシナプス４２０ａに用いられた異なるプロセ スの大きさに関する相対的な大きさを表す。例えば、図４Ｂでは、シナプス４２ ０cでのＦ₁に対するバーチャート(すなわち３行目、第２列)における数字1.25は 、シナプス４２０ｃに関する容易化の第１要素の寄与の大きさが、シナプス４２ ０ａのそれよりも25%大きいことを意味する。その上方の数字のないバーは、大 きさがダイナミックシナプス４２０ａのそれと同じであることを示す。図４Ｂと ４Ｃにおいてリリースイベントを囲む四角形（ボックス）は、当該シナプスに関 して異なる応答強度を用いて次の図で消滅するスパイクを表す。例えば、図４ Ｂのシナプス４２０ａの応答における右端のスパイクは、図４Ｃの対応するトレ ースにおいては見当たらない。一方、図４Ｄにおけるボックスは、図４Ｃにおい ては存在しないスパイクを示す。 シミュレーションにおける４つのシナプスプロセスに関して用いられる特定関 数は、次の通りである。作動電位A_pに対する速い応答Ｆ_oは、以下のように表さ れる。 ここで、τ_F0=0.5msは、すべてのダイナミックシナプスに関するF₀の時定数であ り、k_F0=10.0は、シナプス４２０ａに関するものであり、他のシナプスに関する 図４Ｂ乃至４Ｄにおけるバーチャートに基づいて比例的尺度にしてある。 F₁の時間依存性は ここで、τ_f1=66.7msは、すべてのダイナミックシナプスの容易化の第１要素の 減衰時定数（立下がり時定数）であり、k_f1=0.16は、シナプス４２０ａに関する ものである。 Ｆ₂の時間依存性は、 ここで、τ_f2=300msは、すべてのダイナミックシナプスの容易化の第２要素の減 衰時定数であり、k_f2=80.0は、シナプス４２０ａに関するものである。 抑制的フィードバックモジュレーションは、 ここで、A_Inhは、ニューロン４３０によって発生させられた作動電位であり、τ_Mod =10msは、すべてのダイナミックシナプスの容易化のフィードバックモジュレ ーションの減衰時定数であり、k_Mod=-20.0は、シナプス４２０ａに関するもので ある。 （３）乃至（６）式は、（１）式におけるF_i,m(t)の特定の例である。従って 、各シナプスにおけるリリースの電位は、(１)式に基づくすべての４つの寄与の 合計である。 ニューロトランスミッタの量Ｑ（=1.0）は、Pが閾値θ_R（=1.0）より大きく、 リリースのために利用可能な各シナプスに少なくとも一つのニューロトランスミ ッタの量があれば(すなわち、ニューロトランスミッタの合計量、N_total、がリ リースのための量より大きければ)、リリースされる。シナプスの裂け目におけ るニューロトランスミッタの量、N_Rは、（２）式におけるR_i(t)の一例である。 ニューロトランスミッタの量のリリースとともに、N_Rは、初期の量Ｑから時間に 関して指数的に減少する。 ここで、τ₀は、時定数であって、シミュレーション用に1.0msとする。リリース 後、ニューロトランスミッタの合計量はＱだけ減少する。 各シナプス内には、ニューロトランスミッタの補充用の連続プロセスがある。 このプロセスは次のようにシミュレーションすることができる。 ここで、Ｎ_maxは利用可能なニューロトランスミッタの最大量、τ_rpは、ニュー ロトランスミッタの補充率であり、このシミュレーションにおいてはそれぞれ3. 2と0.3ms^-1である。 シナプス信号N_Rは、それぞれのシナプス後ニューロンにおいて、シナプス後信 号Sを発生させる。ニューロトランスミッタのリリースイベントに応答したシナ プス後信号Sの振幅の変化率は、N_Rに比例する。 ここで、τ_Sは、シナプス後信号の時定数であって、このシミュレーションにお いては0.5msとし、k_sは、このシミュレーションにおいては0.5である。一般的に 、シナプス後信号は刺激的（K_s>0）又は抑制的（K_s＜0）である。 二つのニューロン４１０と４３０とは、すべてのシナプス電位と、シナプス前 ニューロンからの作動電位AＰ との合計である膜電位Vを有する"integrate-and -fire"（積分後発射）ユニットとしてモデル化される。 ここで、τ_vは、Ｖの時定数であり、このシミュレーションでは1.5msとする。合 計は、内部シナプスプロセス全体から得られる。 このシミュレーションにおいて、V＞θ_Rであれば、A_p=１で、θ_Rは、シナプス 前ニューロン４１０では0.1であり、シナプス後ニューロン４３０では0.02であ る。また、これはニューロンが不反応期間（refractory period）(Tref=2.0ms) にない、すなわちニューロンが最後のT_refである2ms以内にファイア(発射)しな かったとも仮定される。 再び図４Ｂ乃至４Ｄを参照して、シナプス４２０ａのパラメータ値を、すべて のシミュレーションにおいて一定に保ち、他のダイナミックシナプスとの比較の 基準として扱う。図４Ｂの第１のシミュレーションでは、ターミナル１個当たり １個のみのパラメータを、各バーチャートによって示された量だけ変化させる。 例えば、リリース電位に対する現在の作動電位（F₀）の寄与を、シナプス４２０ ｂについて25%増加させる一方、他の３つのパラメータを、シナプス４２０ａと 同じままとする。結果は予想通りであり、すなわち、F₀,F₁又はF₃の増加はリリ ースイベントの増加につながるが、フィードバック抑制の大きさを増大させると 、リリースイベントの数は減少する。 図４Ｃに示すように、２個以上のシナプス機構を変化させると、変換関数はよ り高度になる。第一に、シナプス４２０ａのパラメータは一定のままであるが、 他の３個のシナプス４２０ｂ、４２０ｃ、４２０ｄからの合計出力の増加がシナ プス後ニューロンの活性化件数を増やすので、リリースイベントの発生件数は減 少する。このことが、今度は、ダイナミックシナプスにより大きな抑制をかける 。これは、シナプスのダイナミックスが、どのようにネットワークのダイナミッ クスによる影響を受けるかを例証している。第二に、ダイナミックシナプスから の出力の差は、リリースイベントの数のみならず、その時間的パターンも変化さ せることである。例えば、第２のダイナミックシナプス（４２０ｂ）は、スパイ ク列の前半に対してより活発に応答するが、後半にはより少なく応答する。しか し、第３のターミナル（４２０ｃ）は後半により多く応答する。換言すれば、こ れら二つのダイナミックシナプスによるスパイク列の変換は、定性的に異なって いる。 次に、作動電位の異なる時間的パターンに対するダイナミックシナプスの応答 についても検討した。この局面のテストは、スパイク列内の９番目の作動電位を 、（図４Ｃと４Ｄとに矢印で示した）ほぼ200ms位置の第３作動電位まで移動し て行なった。図４Ｄに示すように、すべてのダイナミックシナプスの出力パター ンは、以前のそれとは異なる。すべてのターミナルに共通の変化もいくつかある が、特定のターミナルにのみ特有のものもある。更に、シナプスのレベルとネッ トワークのレベルでのダイナミックスの相互作用により、一つの作動電位の除去 （図４Ｃでは第９番目）は、直ちにリリースイベントの減少につながり、後にリ リースイベントが増加することになる。 上記の、ダイナミックシナプスを持つニューラルシステムの計算能力の考察は 、純粋に理論的基礎に基づいて考えられており、ある特定のニューラルシステム の実際の計算能力は、確実にいくつかの実用上の生物学的制約によって限定され るであろう。例えば、２^1,000という表現能力は、一つのダイナミックシナプス が、 一つのスパイク列中の一つの作動電位（すなわち各「ビット」）の発生又は非発生 を感知するという仮定に基づいている。多くの実際の状況においては、ノイズが 入力スパイク列を損傷し、ニューラルネットワークの応答に悪影響を及ぼす可能 性がある。ノイズの多いスパイク列から統計的に有意な特徴を抽出する能力をダ イナミックシナプスが持っているか、判断することが重要である。このことは、 ある動物が生き延びるためには、常に変化している環境から規則性を抽出する必 要があるという状況下では、特に切実である。例えばラットは、その巣又は餌の 貯蔵場所へたどり着くため、多くの道順の候補から選ばねばならない。これら道 順候補は、いくつかの新しい道順と、広範囲の条件が様々に変化することに関わ りなく与えられる一つ以上の道順とがあり、それら条件には、照明、一日のうち の時刻、雲のただよい、木々の揺れ、風、におい、音、等がある。従って、海馬 内のニューロンは、変動する入力信号から不変なものを抽出しなければならない 。 本発明の一つの面は、ダイナミックシナプスに基づくニューラルネットワーク のダイナミック学習能力である。図１のシステム１００に立ち戻ると、各ダイナ ミックシナプスは、ダイナミック学習アルゴリズムに従って構成され、各シナプ スプロセスの係数、すなわち（１）式のK_i,m(t)を修正し、シナプスのダイナミ ックスをそれぞれのシナプス後ニューロンに関連づけることによって、一つのシ ナプスに関する適切な変換関数を見いだそうとする。これによって、各ダイナミ ックシナプスは、入力信号から一クラスのパターンの認識に寄与する特定の特徴 を学習し抽出することができる。 更に、図１のシステム１００は、学習及び抽出プロセス中に、一つの特定の特 徴を信号の各個別クラスにセットして、信号のクラスを識別するための特徴の一 セットを創る。 ｉ番目のダイナミックシナプスのｍ番目のプロセスに関するダイナミック学習 アルゴリズムの一実施の形態は、下記の式で表すことができる。ここで、Δtは学習フィードバック中の時間経過、α_mはｍ番目のプロセスに関 する学習率、A_pj（１又は０）は、ｉ番目のダイナミックシナプスに接続されて いるシナプス後ニューロンｊの作動電位の発生（A_pj=1）又は非発生（A_pj=0）を 、βｍはｍ番目のプロセスの減衰定数を、F⁰ _i,mはｉ番目のダイナミックシナプ スのｍ番目のプロセスの定数を表す。(１２)式は、シナプス後ニューロンからダ イナミックシナプスへのフィードバックを与え、一つのシナプスが両者の相関関 係に従って応答することを可能にする。このフィードバックは、図２にシナプス 後ニューロン２２０からダイナミックシナプス２１０へ向かう破線２３０で示し てある。 上記の学習アルゴリズムは、頻繁に発生するパターンに対するダイナミックシ ナプスによる応答を、シナプス機構の活性化レベルとシナプス後ニューロンとの 相関に従ってシナプスのダイナミックスを変化させることによって高める。特定 の、ノイズの多い入力信号に関して、学習プロセス中に首尾一貫して発生するサ ブパターンのみが生き残り、シナプティック・シナプス（synaptic synapses） によって検出される。 これは、ニューラルネットワークにおける情報処理の高度にダイナミックな実 態(picture)を与える。一連の情報処理の任意の状態において、一つのニューロ ンのダイナミックシナプスは、一つの入力スパイク列から統計的に有意な多くの 時間的特徴を抽出し、これら時間的特徴を複数のシナプス後ニューロンの一セッ トへ分配し、そこで時間的特徴どうしが組み合わされて、更に処理されるべく複 数のスパイク列の一セットが作られる。パターン認識の見地から、各ダイナミッ クシナプスは、入力信号の特定のコンポーネントを表すための「特徴のセット」 を創るために学習する。目立った特徴に関しては何の仮定も行なわないので、各 特徴セットは、オンラインで、クラスに特有のやり方で作られる。すなわち、入 力信号の各クラスは、それ自体の特徴の最適セットによって記述される。 このダイナミック学習アルゴリズムは、空間-時間的信号パターン認識に広く 一般的に適用されている。シナプスのダイナミックスを修正するための基準は、 特定の信号処理タスクの目的によって変化する。例えば、スピーチ認識では、学 習手順において異なる話者によって話される同じ語の変化する波形同士間のニュ ーラルネットワークの出力パターン同士間の相関を増加させることが望ましい。 こ れによって、スピーチ信号の変動性が減少する。このようにして、同じ語を表現 する際、刺激的シナプスプロセスの大きさが増し、抑制的シナプスプロセスの大 きさが減少する。逆に、異なる語を表現する際、刺激的シナプスプロセスの大き さが減少し、抑制的シナプスプロセスの大きさが増加する。 時間的パターンの一例としてのスピーチ波形は、ダイナミックシナプスを持つ ニューラルネットワークが、どの程度うまく不変化要素（invariants）を抽出で きるか、を検討するのに用いられてきた。スピーチ波形の周知の二つの特性は、 ノイズと変動性とである。二人の異なる話者が話す「hot」という語のサンプル 波形を、それぞれ図５Ａと５Ｂとに示す。図５Ｃは、図５Ａと５Ｂの波形の間の クロス相関の波形を示す。この相関は、二人の話者による「hot」という語の波 形の変動の程度が高いことを示している。このタスクは、波形に内在して常に「 hot」という語の認識をもたらす不変な特徴の抽出と、他のいくつかの語の標準 「HVD」（HとDの間に母音がある、例えばhad，heard，hid）テストとを含む。テ ストされる語は、二人の話者によって、環境騒音を特にコントロールしない（す なわちラジオのボリュームを下げる以外は何もしない）典型的な研究所のオフィ スで話されるcare,hair,key,heat,kit,hit,kite,height,cot,hot,cut,hutである 。話者のスピーチはまず録音され、ディジタル化され、次に、ダイナミックシナ プスを持つニューラルネットワークをシミュレートするようにプログラムされた コンピュータへ与えられる。 テストの目的は、複数の話者によって話される語を、ダイナミックシナプスを 持つニューラルネットワークによって認識することである。ダイナミックシナプ スのコーディング容量をテストするため、シミュレーションには二つの抑制因子 （constraints）を用いる。第一に、ニューラルネットワークは小さくて単純で あると仮定する。第二に、スピーチ波形の予備処理は許されない。 図６Ａは、シミュレーション用の二層のニューロンを持つニューラルネットワ ークモデル６００を示す。ニューロンの第１層６１０は、二人の異なる話者から の、未処理のノイズの多いスピーチ波形６０２ａ及び６０２ｂを受け入れるため の５個の入力ニューロン６１０ａ、６１０ｂ、６１０ｃ、６１０ｄ及び６１０ｅ を備える。第２層６２０のニューロン６２０ａ、６２０ｂ、６２０ｃ、６２０ｄ 、 ６２０ｅ及び６２２は、入力信号に基づいて出力信号を発生するための出力層を 形成する。第１層６１０の各入力ニューロンは、６個のダイナミックシナプスに よって第２層６２０のすべてのニューロンに接続されているので、ダイナミック シナプス６３０は合計３０個ある。第２層６２０のニューロン６２２は、抑制的 なインターニューロンであって、抑制信号を発生するように、フィードバック線 ６２４で示すように、各ダイナミックシナプスへ接続されている。この抑制信号 は、（６）式における「A_inh」の役割を果たす。各ダイナミックシナプス６３０ 第２層６２０（図示しない）のそれぞれの出力ニューンの出力からフィードバッ クを受けるように接続されている。 ダイナミックシナプスとニューロンとは、前記のようにシミュレートされ、( １２)式のダイナミック学習アルゴリズムが各ダイナミックシナプスへ適用され る。スピーチ波形は８kHzでサンプリングされる。ディジタル化された振幅は、 すべての入力ニューロンへ供給され、刺激的シナプス後電位として処理される。 ネットワーク６００は、同じ語に関しては出力パターン同士のクロス相関を増 加させ、異なる語に関してはそれを減少させるように訓練される。学習の際、ス ピーチ波形の呈示（presentation）は、異なる話者によって話される同じ語の波 形が合計４回ネットワーク６００に呈示されるブロックにグループ分けされる。 ネットワーク６００は、下記のヘビアン（Hebbian）ルール及びアンチヘビアン （anti-Hebbian）ルールに従って訓練される。呈示ブロック内において、ヘビア ンルールが適用され、作動電位の到着後に第２層６２０のシナプス後ニューロン が発射（fire）すれば、刺激的シナプス機構の寄与は増大し、抑止的機構のそれ は減少する。シナプス後ニューロンが発射しなければ、刺激的シナプス機構の寄 与は減少し、抑止的機構のそれは増大する。変化の大きさは、予め定められた学 習率と、特定のシナプス機構の現在の活性化レベルとの積である。このようにし て、波形内の共通の時間的特徴への応答が高められ、特異な特徴への応答は弱め られる。呈示が最初に新しい語の波形の次のブロックへ切替えられる時、（１２ ）式の学習率αmとβm符号を変えることによってアンチヘビアンルールが適用さ れる。これによって、現在の語への応答と、それ以前の異なる語への応答との間 の差が増大する。 ニューラルネットワーク６００の訓練結果を図６Ｂ、６Ｃ、６Ｄ、６Ｅ、及び ６Ｆに示す。これらはそれぞれ、「hot」という語に関するニューロン６２０ａ 、６２０ｂ、６２０ｃ、６２０ｄ、及び６２０ｅからの出力信号のクロス相関関 数に対応する。例えば、図６Ｂは、二人の異なる話者によって話された「hot」 という語の二つの波形に応答するニューロン６２０ａによる二つの出力パターン のクロス相関を示す。図５Ｃに示す「hot」という語の加工されていない波形の 相関がほとんど相関を示していないのに比べて、ニューン６２０乃至６２０のそ れぞれが発生する時間的パターンは、異なる話者たちが話す同じ語を表す、異な る入力波形に関して高い相関を示している。すなわち、同じ語の表現ではあって も根本的に異なる二つの波形を与えられると、ネットワーク６００は実質的に同 一の時間的パターンを発生する。 ニューラルネットワーク６００を用いた他のテスト語からの不変特徴の抽出を 図７Ａ乃至７Ｌに示す。すべてのテストの場合において、出力パターンのクロス 相関が有意に増加している。 （１２）式のダイナミック学習アルゴリズムを用いた上記ニューラルネットワ ークの訓練は、訓練されたネットワークが、異なる語の波形を区別することを可 能にする。一例として、図６Ａのニューラルネットワーク６００は、訓練後、異 なる複数の語に関して相関の弱い出力信号を発生する。 ダイナミックシナプスに基づくニューラルネットワークは、いくつかの望まし いやり方で訓練することも可能である。例えば、一つのネットワーク内の異なる 複数のニューロンを異なる複数の特徴にのみ応答するように訓練することによっ て、「監修された」(supervised)学習を実行することができる。再び図６Ａの単 純なネットワーク６００を参照すると、ニューロン６２０ａ「N1」、６２０ｂ「N2」 、６２０ｃ「N3」、６２０ｄ「N4」からの出力信号は、異なる「ターゲット」語、 例えばそれぞれ「hit」「height」「hot」「hut」に割り当てることができる。学習中 、ヘビアンルールが、ダイナミックシナプス６３０のターゲット語が入力信号内 に存在するダイナミックシナプス６３０に適用されるのに対して、ダイナミック シナプス６３０のターゲット語が入力信号内に存在しない他の全てのダイナミッ クシナプス６３０には、アンチヘビアンルールが適用される。 図８Ａと８Ｂは、異なる複数の話者によって話された特定の一語に優先的に応 答するようにニューロン６２０ａ「N1」、６２０ｂ「N2」、６２０ｃ「N3」、６２０ｄ 「N4」を訓練する前と後との各ニューロンからの出力信号を示す。訓練前には、 各ニューロンは同じ語に対して同じように応答する。例えば、図８Ａに示すよう に、「hit」という語に応答して各ニューロンによって合計２０個のスパイクが作 られ、「height」という語に応答して３７個のスパイク、等が作られる。ニュー ロン６２０、６２０、６２０、６２０ｄを、それぞれ、語「hit」「height」「hat」「h ut」的に応答するように語訓練した後では、各訓練されたニューンは、そのター ゲット語に関して、他の語に関するより多くのスパイクを発する。このことは、 図８Ｂの対角線位置のエントリで示される。例えば、第２ニューロン６０２ｂ( 訳注：６２０ｂ？)は、語「height」に応答するように訓練され、語「height」が存 在するとき３４個のスパイクを発生するが、他の語に関しては３０個より少ない スパイクを発生する。 上記のスピーチ認識のシミュレーションは、入力がスピーチ波形のように連続 しているか、あるいは時間シリーズデータのように離散的である、より一般的な 時間的信号処理における時間的パターン認識の例である。図９Ａは、ダイナミッ クシナプスに基づくニューラルネットワークを用いた時間的信号処理の実行を示 す。すべての入力ニューロンは同じ時間的信号を受信する。応答において、各入 力ニューロンは、入力信号と類似の時間的特性を持つ一連の作動電位（すなわち スパイク列）を発生する。任意のシナプス前スパイク列に関して、ダイナミック シナプスは、一つのニューロンのダイナミックシナプス全てにわたるシナプスダ イナミックスの変化の結果、空間一時間的パターンのアレイを発生する。この時 間的パターン認識は、内部で発生する空間−時間的信号に基づいている。 ダイナミックシナプスに基づくニューラルネットワークは、空間的信号を処理 するようにも構成することができる。図９Ｂは、ダイナミックシナプスに基づく ニューラルネットワークを用いた空間的信号処理の実行を示す。一般的に、異な る場所にある異なる入力ニューロンは、異なる大きさの入力信号を受信する。各 入力ニューロンは、それぞれ受信された入力信号の大きさに比例する周波数を持 つ一連の作動電位を発生する。一つの入力ニューロンに接続されたダイナミック シナプスは、一つのシナプス前スパイク列に応答して、シナプスに具体化された 特定のダイナミックプロセスによって定まる明確な時間的信号を発生する。従っ て、入力ニューロンのダイナミックシナプスの組合せは、引き続きパターン認識 手順を行なうための空間−時間的信号を提供する。 また、図９Ａと９Ｂの技法と構成とを組み合わせて空間的及び時間的変動特性 を持つ一つ以上の入力信号におけるパターン認識を実行することができる。 上記のダイナミックシナプスに基づくニューラルネットワークモデルは、電子 コンポーネント、光学コンポーネント、及び生化学（バイオケミカル）コンポー ネントを有する装置によって実行することができる。これらのコンポーネントは 、生物学的神経システムにおけるシナプス関連プロセス及び神経関連プロセスと は異なるダイナミックプロセスを発生する。例えば、ダイナミックなシナプス又 はニューロンは、ＲＣ回路を用いて実現することができる。これは、ＲＣ回路の 典型的な応答を定義する（３）式乃至（１１）式で示される。そのようなＲＣ回 路の時定数は、生物学的神経システムにおける典型的な時定数とは異なる値に設 定することができる。更に、時間的及び／又は空間的入力刺激を受信し処理する ため、電子センサー、光センサー、生化学センサーを単独又は組み合わせて使用 することができる。 本発明を好ましい実施の形態を参照して詳細に説明したが、本発明の真意と範 囲から逸脱することなく種々の修正と改善を行なうことができる。例えば、（３ ）式乃至（１１）式に用いた例は、ＲＣ回路の応答を持つことができる。他のタ イプの応答、例えばα関数の形の応答G(t)=α²te^{- αt}を用いることができ、ここ で、αは定数で、異なるシナプスプロセスによって異なる。他の例として、空間 一時間的情報処理のために図９Ａと９Ｂに示した例とは異なる種々の接続構成を 用いることができる。図１０は、ダイナミックシナプスに基づくニューラルネッ トワークのもう一つの実施の形態を示す。更なる別の一例として、（２）式にお けるダイナミックシナプスの出力信号のための二状態モデルを、リリース用電位 の値次第で異なる大きさのスパイクを発生するように修正することができる。上 記及びその他の変更は、下記請求の範囲に包含されることを意図する。

───────────────────────────────────────────────────── フロントページの続き (81)指定国 ＥＰ(ＡＴ，ＢＥ，ＣＨ，ＣＹ， ＤＥ，ＤＫ，ＥＳ，ＦＩ，ＦＲ，ＧＢ，ＧＲ，ＩＥ，Ｉ Ｔ，ＬＵ，ＭＣ，ＮＬ，ＰＴ，ＳＥ)，ＯＡ(ＢＦ，ＢＪ ，ＣＦ，ＣＧ，ＣＩ，ＣＭ，ＧＡ，ＧＮ，ＭＬ，ＭＲ， ＮＥ，ＳＮ，ＴＤ，ＴＧ)，ＡＰ(ＧＨ，ＧＭ，ＫＥ，Ｌ Ｓ，ＭＷ，ＳＤ，ＳＺ，ＵＧ，ＺＷ)，ＥＡ(ＡＭ，ＡＺ ，ＢＹ，ＫＧ，ＫＺ，ＭＤ，ＲＵ，ＴＪ，ＴＭ)，ＡＬ ，ＡＭ，ＡＴ，ＡＵ，ＡＺ，ＢＡ，ＢＢ，ＢＧ，ＢＲ， ＢＹ，ＣＡ，ＣＨ，ＣＮ，ＣＵ，ＣＺ，ＤＥ，ＤＫ，Ｅ Ｅ，ＥＳ，ＦＩ，ＧＢ，ＧＥ，ＧＨ，ＧＭ，ＧＷ，ＨＵ ，ＩＤ，ＩＬ，ＩＳ，ＪＰ，ＫＥ，ＫＧ，ＫＰ，ＫＲ， ＫＺ，ＬＣ，ＬＫ，ＬＲ，ＬＳ，ＬＴ，ＬＵ，ＬＶ，Ｍ Ｄ，ＭＧ，ＭＫ，ＭＮ，ＭＷ，ＭＸ，ＮＯ，ＮＺ，ＰＬ ，ＰＴ，ＲＯ，ＲＵ，ＳＤ，ＳＥ，ＳＧ，ＳＩ，ＳＫ， ＳＬ，ＴＪ，ＴＭ，ＴＲ，ＴＴ，ＵＡ，ＵＧ，ＵＺ，Ｖ Ｎ，ＹＵ，ＺＷ (72)発明者 ベルガー セオドア ダブリュ. アメリカ合衆国 カリフォルニア州 90275 ランチョパロベルデス ワイルド ブライアドライブ5752

Claims (1)

1. 【特許請求の範囲】 １．情報処理用システムであって、 通信のため相互接続されるとともに、少なくとも一つの入力信号に応答して少 なくとも一つの出力信号を出力するように構成された複数の信号処理要素と、 一つのネットワークを形成するために前記複数の信号処理要素を相互接続する ように配設された複数の処理ジャンクションとを備え、 前記各処理ジャンクションは、少なくとも一つの内部ジャンクションプロセス に基づいて前記ネットワークにおける第１の信号処理要素からのジャンクション 前信号を受信及び処理して、前記ジャンクション前信号の少なくとも一つのパラ メータとともに常に変化する一つのジャンクション信号を発生する情報処理用シ ステム。 ２．前記ジャンクション信号の振幅と時間的周波数の少なくとも一方が、前記 ジャンクション前信号の前記少なくとも一つのパラメータとともに変化する請求 項１のシステム。 ３．前記ジャンクション前信号の前記少なくとも一つのパラメータが、前記ジ ャンクション前信号の少なくとも大きさ又は周波数を含む請求項１のシステム。 ４．前記ネットワークにおける一つの共通の信号処理要素から信号を受信する ように接続された前記複数の処理ジャンクションの少なくとも二つが、異なるジ ャンクション信号を発生する請求項１のシステム。 ５．前記複数の処理ジャンクションの少なくとも一つが、前記少なくとも一つ の内部ジャンクションプロセスとは異なる寄与を、前記ジャンクション信号に対 して行なう別の内部ジャンクションプロセスを有する請求項１のシステム。 ６．前記複数の処理ジャンクションのそれぞれが、前記第２の信号処理要素か ら出力信号を受信するように接続されるとともに、前記出力信号に従って前記少 なくとも一つの内部ジャンクションプロセスを調節するように構成された請求項 １のシステム。 ７．前記複数の信号処理要素と前記複数の処理ジャンクションとの前記ネット ワークは、前記少なくとも一つの入力信号からの所定の特徴に応答するように作 動可能である請求項６のシステム。 ８．前記複数の信号処理要素と前記複数の処理ジャンクションとの前記ネット ワークは、第１の信号処理要素が、前記少なくとも一つの入力信号の第１特徴を 示す第１出力信号を発生するように作動可能であり、第２の信号処理要素が、前 記少なくとも一つの入力信号の第２特徴を示す第２出力信号を発生するように作 動可能であるように構成される請求項６のシステム。 ９．前記複数の信号処理要素と前記複数の処理ジャンクションとの前記ネット ワークは、前記少なくとも一つの入力信号に内在する、前記少なくとも一つの出 力信号における空間的特徴を示すように構成される請求項１のシステム。 １０．前記複数の信号処理要素と前記複数の処理ジャンクションとの前記ネッ トワークは、前記少なくとも一つの入力信号に内在する、前記少なくとも一つの 出力信号における時間的特徴を示すように構成される請求項１のシステム。 １１．情報処理用システムであって、 相互に通信を行なうように接続されて処理ジャンクションにより受信された入 力信号を処理する信号プロセッサと処理ジャンクションを備え；前記処理ジャン クションは、前記入力信号に応答して前記入力信号の時間的変化に従って連続的 に変化するジャンクション信号を発生する少なくとも一つの内部ジャンクション プロセスを有し、前記信号プロセッサは前記ジャンクション信号に応答して出力 信号を発生するように作動可能である情報処理用システム。 １２．前記処理ジャンクションは、前記入力信号の大きさの変動に従って前記 ジャンクション信号を調節するように作動可能である請求項１１のシステム。 １３．前記処理ジャンクションは、前記入力信号の時間的変化に従って前記ジ ャンクション信号を調節するように作動可能である請求項１１のシステム。 １４．前記処理ジャンクションは、前記入力信号に応答して、前記入力信号の 前記特性への依存性を有するもう一つのジャンクション信号を発生する、もう一 つの内部ジャンクションプロセスを有し、前記処理ジャンクションは、前記ジャ ンクション信号と前記もう一つのジャンクション信号とを結合させるように作動 して、合計ジャンクション信号を発生するように構成される請求項１１のシステ ム。 １５．前記処理ジャンクションは、前記ジャンクション信号の大きさが所定の ジャンクション閾値より大きいときだけ前記ジャンクション信号をリリースする ように構成される請求項１１のシステム。 １６．前記処理ジャンクションは、前記ジャンクション信号を、前記信号プロ セッサに対して刺激的又は抑制的とするように作動可能である請求項１１のシス テム。 １７．前記信号プロセッサは、前記ジャンクション信号の大きさが所定のプロ セッサ閾値より大きいときだけ、前記出力信号をリリースするように構成される 請求項１１のシステム。 １８．前記出力信号の少なくとも一部分が前記処理ジャンクションへフィード バックされるように前記処理ジャンクションを前記信号プロセッサへ接続するよ うに配設された一つのフィードバックループを更に備え；前記処理ジャンクショ ンは、前記出力信号に従って前記ジャンクション信号を調節するように作動可能 である請求項１１のシステム。 １９．前記処理ジャンクションは、前記入力信号から所定の特性を抽出するよ うに作動可能である請求項１８のシステム。 ２０．前記処理ジャンクションは、前記所定の特徴が前記入力信号内に存在す るとき、前記ジャンクション信号のパラメータを増大させ、前記所定の特徴が前 記入力信号内に存在しないとき、前記ジャンクション信号の前記パラメータを減 少させるように構成されている請求項１９のシステム。 ２１．前記信号プロセッサと前記処理ジャンクションの少なくとも一方が、電 子装置、光学装置、生物学的要素、又は化学物質から選ばれた少なくとも一つの 要素を含む請求項１１のシステム。