JP2007536610A - 実世界環境において使用するためのモバイル頭脳ベースデバイス - Google Patents

Abstract

【課題】センサ及びエフェクタ（神経的に組織されたモバイル適応デバイス、又は、ＮＯＭＡＤ）を装備したモバイルベースを含んでおり、視覚的処理、決定マーキング、報酬、運動反応に対して要求される脳の皮質及び皮質下の類似物である擬似神経システムによって導かれるモバイル頭脳ベースデバイスＢＢＤを提供する。
【解決手段】これらの擬似皮質及び皮質下領域は、再入可能に結合され、各領域は、平均活動レベルとニューロングループの活動の関連タイミングとの両方を表現する神経ユニットを含む。この頭脳ベースデバイスＢＢＤは、共通する視覚的特徴を有する複数のオブジェクトの中から区別することを学習し、「目標」物体に、本質的に好ましい聴覚的な合図を連合させる。再入可能な神経構造によって抑制され、行動とシナプシス可塑性とによって変調されたこれらの回路は、結果として物体の識別に成功する。
【選択図】図２

Description

（優先権主張）
米国特許仮出願番号60/562,376、発明名称「実世界環境において使用するためのモバイル頭脳ベースデバイス」、発明者、出願日2004年4月15日（代理人管理番号NSRF-01000US0）、及び、米国特許出願番号11/___,___、発明名称「実世界環境において使用するためのモバイル頭脳ベースデバイス」、発明者、出願日2005年4月13日（代理人管理番号NSRF-01000US1）。

（著作権通告）
本特許明細書の開示部分は、著作権保護を受ける資料を含む。著作権者は、それが特許商標庁のファイル又は記録において発行される限りは、特許明細書又は特許開示の何れによる複製転載に関して異議はないが、それ以外については、如何なるものであれ全著作権を所有する。

本発明は、実世界環境におけるデバイスの行動を導くための、擬似的な神経システムを有する頭脳ベースデバイス分野に関する。

頭脳ベースデバイスは、受信した情報に対する感知システムと、そのデバイスが動き回ることを可能にするエフェクタと、感知システムからの入力に反応してエフェクタの動きを制御し、実世界環境における頭脳ベースデバイスの行動を導く擬似神経システムとを有するデバイスである。この感知システムは、そのデバイスが移動する実世界環境からの映像情報及び音声情報を受信する映像センサ及び音声センサを含むことができる。この擬似神経システムは、頭脳ベースデバイスに入力する映像情報及び聴覚情報を受信及び処理し、この環境におけるデバイスの行動を制御するためのエフェクタに対する命令を出力するコンピュータベースシステムとして実装することができる。

この擬似神経システムは、コンピュータベースシステムに実装されているが、一組の精密な実効命令を典型的に追跡する、或いは、コンピュータ操作を実行するプログラムされたコンピュータではなく、人間の頭脳をエミュレートする。つまり、この頭脳は、コンピュータではなく、その構造においてコンピュータ上よりむしろ神経生物学的な原理に追従する。この頭脳は、かかる一組の精密な命令を追跡する、又は、プログラムされたコンピュータの方法において計算されるアイデアから構成されるものとは考えられていない、特別な特徴又は組織、そして機能を有している。頭脳が受信する信号とコンピュータが受信するそれとを比較すると、頭脳に特有の特徴がいくつか見られる。例えば、プログラムされたコンピュータに対して提供される曖昧さのない一連の信号を蓄積するデータ記憶媒体のように、実世界が頭脳に対して与えられることはない。にもかかわらず、この頭脳により、人間（及び動物）は、その環境を感知し、多種多様な可変信号の中からパターンを分類し、動作を開始する。視界、音等についての異なる信号の知覚分類を実行し、事前配置されたコードなしにこれらを明りょうな部類に配分するためのこの神経システムの能力は、人工知能（AI）原理に基づくか、ニューラルネットワーク構造に基づくかに関わらず、現行のコンピュータのもとでは特別で不調和なものとなっている。

頭脳の視覚システムは、異なる視覚的特徴に特化された多様な皮質領域を含む。例えば、ある領域は物体の色に反応し、分離された他の領域はその物体の形状に反応し、一方で、他の領域はさらにその物体の何れかの動作に反応する。例えば、ともに青い空を背景に移動する灰色の雲からの赤い飛行機といったように、この頭脳によって、人は景色において見ることができ、区別することができる。さらに、色と形状と動作とに対応して色と形状と動作とに反応する頭脳の単一領域は存在しないので、我々は単一物体を区別してみることができ（例えば、赤い飛行機）、これを景色における他の物体（例えば、雲及び空）から区別することができる。

頭脳において、かかる単一の上位制御領域が存在しないという事実は、「結合問題」として知られる問題を提示する。どのようにして、個々の物体に属する特徴を連合するために、頭脳のこれら特徴的で分離された領域をそれらの活動に対応付け、異なる物体から区別すればよいのであろうか？それは、我々の実世界環境において、異なる物体を連合及び区別して我々に動き回ることを可能にする、この頭脳の能力である。それゆえ、実世界の豊かな環境においてデバイスの行動を制御することができる擬似神経システムを有するモバイル頭脳ベースデバイスには、多くの利点及び効用がある。

「結合問題」を解決するために提案される仕組みは、一般的に、１又は２の部類に収まる。すなわち、（ｉ）頭脳の「より高い」注目の仕組みの影響を通じての結合、及び（ii）頭脳において動的に形成されたニューロングループの「発生（発火）」の選択的同期、である。（ｉ）において、頭脳は、その頭頂又は前頭領域を通して、実行メカニズムによって物体を「結合」すると信じられており、例えば、青い空の背景に対する赤い飛行機又は灰色の雲といったような、空間において単一の位置に現れる視覚的特徴を結合する注目のスポットライトである。（ii）において、頭脳は、ニューロンの発生（発火）の選択的同期によってリンクされるニューロンのグループを通して、自動的、動的及び事前に配慮された処理において物体を「結合」するものと信じられている。これら同期された神経グループは、頭脳の中で、知覚カテゴリに対応する活動のグローバルパターン又は回路を形成する。これにより、我々は見ることができ、例えば、単一の物体としての赤い飛行中の飛行機が、灰色の動いている雲といった他の物体から区別される。

コンピュータベースの視覚結合の計算モデルは、擬似神経システムを有する物理的なモバイル頭脳ベースデバイスとともに知られており、さらに、いずれも、コンピュータモデル又は物理的な頭脳ベースデバイスの擬似神経システムにおいて緊急の回路を与え、実世界環境、特に、景色における多くの中から1つの物体に向かう選択的な行動が要求される環境における、豊富で多様な行動を伴ったデバイスの提供に寄与する。例えば、モバイル頭脳ベースデバイスを環境内において動き回らせることが望ましく、かつ、オンボードカメラを介してその物体の画像を取得し、オンボードグリッパーを介してその物体を選択することができるように、多くの中で１つの物体へ向かう選択的な行動を行うことが望ましい。

１つの先行する計算コンピュータモデルは、頭脳における視覚システムの９つの皮質領域に類似した９つの神経領域を表現することにより、その神経システムをシミュレートした。それは、また、神経システムの「報酬」及び動作システムをもシミュレートした。そのモデルは、９つの異なった皮質領域間に「再入可能な結合」又は回路を有しており、それらは皮質領域が互いに相互作用することを可能にする。この計算機モデルは結合結果に対する再入可能回路の能力を示したが、しかし、この計算機モデルはいくつかの制限を有していた。モデル化された神経システムの中の刺激は、制限された予め定められた擬似物体形状の組からもたらされ、これらは同一のスケールであり、実世界環境において見出されるものと反対である。さらに、結果としてモデル化した行動は、実世界において行動する有機体によって経験された、豊かで雑音のある環境においては出現しないものであった。この計算機モデルについてのより詳細な記述は、Tononi及びEdelmanによる論文「再入及び複数の皮質領域統合の課題：視覚システムにおけるダイナミック統合のシミュレーション」（大脳皮質，1992年7/8月）に詳しい。

先行する物理的な、擬似的神経システムを有するモバイル頭脳ベースデバイスは、その環境を探検し、この経験を通して、適応的な行動を発達させることを学習する。かかる先行するモバイル頭脳ベースデバイスは、コンピュータシステム上に実装された擬似神経システムによって導かれるこの神経システムのシミュレーションは、脊椎神経システムの解剖学及び生理学に基づくものであったが、何れの擬似神経システムをもってしても、多くは頭脳において見出されるものよりもニューロン数がずっと少なく、アーキテクチャも簡単なものであった。この物理的な、モバイル頭脳ベースデバイスによって、神経システムは、皮質及び皮質下の頭脳領域に類似する６つの主要な神経領域から構成されるものであった。これら６つの主要な領域は、聴覚システム、視覚システム、味覚システム、行動を誘発することができる運動システム、視覚的追跡システム、そして、評価システムを含むものであった。このモバイル頭脳ベースデバイスの詳細な記述は、Krichmar及びEdelmanによる論文「機械心理学：頭脳ベースデバイスにおける自律行動、知覚分類、及び条件付け」（大脳皮質，2002年8月）に詳しい。この頭脳ベースデバイスは、実世界環境において作動するものではあったが、他の多くのものの中で、再入可能な結合を実装していないので、視覚的に導かれる行動と実世界環境における物体識別とに従事する能力が制限されていた。

本発明は、実世界環境における豊富な探求及び選択的な行動においてデバイスを導くための擬似神経システムを有する、物理的なモバイル頭脳ベースデバイス（「ＢＢＤ」）である。このデバイスの擬似神経システムは、視覚追跡（神経領域Ｃ）と評価システム（領域Ｓ）を有する神経領域とに影響を与え、神経領域Ｖ１、Ｖ２、Ｖ４、そしてＩＴとして知られる頭脳の視覚システムの下面の流れに類似する、擬似神経領域を含む。これらの神経領域は、互いの内部及び間において再入可能な結合を有し、運動活動におけるバイアスを上昇させ、風景内の視覚的物体識別を可能にするモバイルデバイスにおいて、順番に行動反応を喚起する。

各神経領域は、多くの神経ユニットからなる。そして、神経活動の相対的なタイミングを表現するために、各神経領域における神経ユニットは、可変の発生（発火）率及び可変の位相によって記述され、ここでは、類似の位相は同期発生（発火）をもたらす。それゆえ、本発明における結合問題は、再入可能な結合及び同期神経発生（発火）の原則による入力に基づいて解決される。

この物理的な、本発明のモバイルデバイスは、条件付け又は訓練段階において実世界の中を移動及び相互作用するので、その環境において如何なる物体が存在するかを学習する。つまり、物体は、シミュレーションにおいて予め定義されたデータとして与えられない。従って、本発明の頭脳ベースデバイスは、所定の環境において、例えば、緑のひし形、花はどれか、どれが壁か等の、どれが特定の物体かを学習する。さらに、この環境における移動及び相互作用を通じたこの学習の結果、頭脳ベースデバイスは不変の物体認識を有することとなる。これは、訓練段階中に、例えば、いったん、何が緑のひし形かを物体として学習すれば、テスト段階において、その物体が部屋を隔ててデバイスの向かい側にある場合、デバイスの真正面にある場合、デバイスの左に離れている場合、装置の右に離れている場合等であっても、その実世界環境を動き回るデバイスとして、その物体を認識するであろうということを意味する。

本発明の側面は、同じ参照は同様の要素を示す添付図の図面のおいて、限定としてではなく、例示として説明されている。本開示における「ある」、「一つの」、そして「多様な」実施形態への参照は、必ずしも同一の実施形態に必要なものではなく、かかる参照は少なくとも一つを意味する。以下の記述において、本発明の記述を通して与えられるよう、多くの具体的詳細が記載されている。しかしながら、当業者であれば、これらの具体的な詳細なしでも本発明が実施可能であることは明らかである。他の事例において、既知の特徴については、本発明を不明確にしないために、詳細には記載していない。

図１に、自身の環境内を探検し、それを経験しながら適応性のある行動を発達させる、物理的に例示されたモバイル神経組織モバイル適応デバイス（ＮＯＭＡＤ）１０を含む、本発明の頭脳ベースデバイス（ＢＢＤ）の描写図を示す。この頭脳ベースデバイスＢＢＤは、また、その実世界環境においてＮＯＭＡＤ１０を導くための、擬似神経システム１２（図２）も含んでいる。一実施形態において、この擬似神経システム１２は、さらに記述するように、ＮＯＭＡＤ１０から離れたコンピュータワークステーション（図１３参照）のクラスタ上を走行できる。この環境において、ＮＯＭＡＤ１０及びコンピュータワークステーションは、無線通信を介して互いに通信し、それゆえ、ＮＯＭＡＤ１０は、つなぎ無しに探検が可能となっている。

ＮＯＭＡＤ１０は、擬似神経システム１２を使用して、その環境について学習することにより自身の行動を発達もしくは適応させる。ＮＯＭＡＤ１０が、その環境内を自律的に移動するとき、例えば同じ色などの視覚的特徴を共有する複数の物体に接近し、見ることができ、そして、例えば赤い四角対赤い三角といった視覚的な形状を識別する。ＮＯＭＡＤ１０は、その視野内の風景の、赤い四角及び緑のひし形といった、正解以外の複数の選択肢又は非目標物体から、例えば赤いひし形などの１つの目標物体を選択するための経験学習を通して、条件付けされる。ＮＯＭＡＤ１０は、可聴音に反応して目標物体へ向かって自分自身で順応することによって、その環境内で移動している間にこの行動上の選択を学習する。

ＮＯＭＡＤ１０は、視覚のためのＣＣＤカメラ１６と、カメラ１６の両側のマイク１８、２０とを有しており、これらは、移動のためのエフェクタ又はホイール２２と同様に、擬似神経システムへの視覚的及び聴覚的知覚入力を与えることができる。ＮＯＭＡＤ１０の前面には、移動する物体表面の反射性の相違を検知することによる障害回避のための、そして、その環境内におけるＮＯＭＡＤ１０の反射的な回転を引き起こすための赤外線（ＩＲ）センサ２４も備えている。ＮＯＭＡＤ１０は、また、擬似神経システム１２を介してニューラルシミュレーションを実行するコンピュータワークステーションに状態、赤外線センサ情報、聴覚情報を送信するための、そして、エフェクタ２２を制御するために擬似神経システム１２から運動コマンドを受信するための無線モデムも含む。カメラ１６からの映像出力は、ＲＦ送信を介してコンピュータワークステーションへ送信することができる。ＮＯＭＡＤ１０の全行動の活動は、赤外線反射回転を除いて、擬似神経システム１２から受信される信号によって引き起こされる。

図２は、その環境においてＮＯＭＡＤ１０の行動を導く擬似神経システム１２の、領域的及び機能的神経構造の概念図である。擬似神経システム１２は、哺乳類の神経システムの解剖学及び生理学に基づいてモデル化されているが、認識できるように、ニューロン数はずっと少なく、アーキテクチャの複雑性もずっと低い。擬似神経システム１２は、人間の頭脳の類似する皮質及び皮質下領域に従ってラベル付けされた、いくつかの神経領域を含む。このように、図２に、その活動はＮＯＭＡＤ１０の追跡を制御する、それぞれ、Ｖ１，Ｖ２、Ｖ４、ＩＴ、Ｓ、Ａ−左、マイク−左、Ａ−右、マイク−右、そして、Ｃとしてラベル付けされた神経領域を示す。Ｖ１、Ｖ２等の各神経領域は、異なる類型の神経ユニットを含み、それぞれは、ニューロンの局所的な個体群を表現する。図２に示された各省略記号（「追跡」を除く）は、異なる神経領域を表しており、かかる領域のそれぞれは、多くの神経ユニットを有している。対応する哺乳類の神経システムの領域から、モデル化された若しくは擬似化された神経領域を識別するために、擬似的な領域は、例えば、ＩＴと罫線を引いて表すこととする。

図２の神経構造は、また、擬似神経システム１２の全体にわたる、図式的な種々の投射Ｐを示す。投射は、例えば、神経領域Ｖ１から神経領域Ｖ２への投射Ｐ１などのように、ある神経領域から別の神経領域への「フィードフォワード」である。投射Ｐは、また、例えば、神経領域ＩＴから神経領域Ｖ４への再入可能投射Ｐ２、及び、神経領域Ｖ４から神経領域Ｖ２への再入可能投射Ｐ４などのように、神経領域間で「再入可能」でもある。「Ｘ」の印がある再入可能投射Ｐは、さらに記述するような「障害」経験中は、擬似神経システム１２から取り除かれている。さらに、投射Ｐは、（１）「興奮性電圧独立」、（２）「興奮性電圧従属」、（３）「可塑性」、（４）「抑制」、（５）「評価従属」といった、図２における凡例によって示された属性を有している。

図２に示された、擬似神経システム１２は、視覚システム、追跡システム、聴覚システム、そして、評価システムの４システムからなる。

［図２−視覚システム− 神経領域Ｖ１、Ｖ２、Ｖ４、ＩＴ］
視覚システムは、霊長類の後頭側頭もしくは下面の皮質経路に基づいてモデル化されており、Ｖ１→Ｖ２→Ｖ４→ＩＴの神経領域を含み、連続した領域におけるこれらのニューロンは、下側頭連合野における、ほぼ全体の視覚野をカバーする受容野までの、累進的に大きな受容野を有している。ＮＯＭＡＤ１０のＣＣＤカメラ１６からの視覚イメージは、色及びエッジについてフィルタがかけられ、このフィルタされた出力は、Ｖ１領域におけるニューラル活動に直接影響を与える。Ｖ１は、選択的に、緑（Ｖ１−緑）、赤（Ｖ１−赤）、水平ラインセグメント（Ｖ１−水平）、垂直ラインセグメント（Ｖ１−垂直）、４５度ライン（Ｖ１−対角線−右）、そして、１３５度ライン（Ｖ１−対角線−左）に反応する神経ユニットをそれぞれ有する、サブ領域（不図示）に分割される。この視覚システムは、この視覚システム内及び視覚システムと他の皮質領域との間の高いレベルの相互作用を解析するための、計算機上の取り扱いやすい基盤を与える。

神経領域Ｖ１のサブ領域は、対応する神経領域Ｖ２のサブ領域に地勢図的に投射する。領域Ｖ２の神経ユニットの受容野は、狭く、ＣＣＤカメラ１６のイメージからの画素に密接に対応する。神経領域Ｖ２は、そのサブ領域の中及び間に、興奮性及び抑制性の両方の再入可能結合を有している。各Ｖ２サブ領域は、対応するＶ４サブ領域に地勢図的に、しかし、広域的に投射するので、神経領域Ｖ４の受容野は、神経領域Ｖ２のそれよりも大きくなる。神経領域Ｖ４サブ領域は、非地勢図的な再入可能結合を伴って、対応する神経領域Ｖ２サブ領域に折り返し投射する。領域Ｖ４のサブ領域内及び間の再入可能結合は、Ｖ２領域のそれに類似している。Ｖ４は、順番に、非地勢的に神経領域ＩＴに投射するので、神経領域ＩＴにおける各神経ユニットは、３つの異なるＶ４サブ領域からランダムに選択された、３つのＶ４神経ユニットからの入力を受信する。このように、ＩＴにおける神経ユニットは、視覚的入力の組み合わせに反応するが、所定のＩＴ神経ユニットへのシナプシス入力のレベルは、かなり均一であり、このために、個々のＩＴ神経ユニットの活動が、全体的な活動パターンを支配できなくなる。ＩＴ神経ユニットは、可塑性結合を通じて他のＩＴ神経ユニットへ投射し、非地勢的な再入可能結合を通して神経領域Ｖ４へ折り返し投射する。

［図２−追跡システム− 神経領域Ｃ］
本追跡システムにより、ＮＯＭＡＤ１０は、聴覚及び視覚刺激に対して適応することができる。神経領域Ｃ（上丘に類似する）の活動は、ＮＯＭＡＤ１０がそのカメラ凝視を向けるところを命令する。ＮＯＭＡＤ１０における追跡は、領域Ｃにおける神経ユニットの活動のベクトル和に基づいて、ホイール２２への信号によって実現される。領域Ｃにおける各神経ユニットは、その好適な指示に一致する受容野を有しており、この領域は、もし活動が領域Ｃの左側上で優位を占めるならば左へ曲がることを誘発する信号がＮＯＭＡＤ１０のホイール２２に対して出されるような、地勢図的な配置を有している。聴覚の神経領域（Ａ−左、及び、Ａ−右）は、ＮＯＭＡＤ１０を音源に順応させる領域Ｃのそれぞれ同側に対して、強い興奮性の投射を有する。神経領域Ｖ４は、領域Ｃへ地勢的に投射し、その活動により、ＮＯＭＡＤ１０は、視覚物体（例えば、赤い三角）上への凝視を集中させることができる。神経領域ＩＴ及び視覚システムＳは、共に領域Ｃへ投射し、活動のバイアスを生成することによってＩＴ→ＣおよびＩＴ→Ｓの経路における可塑性結合が目標選択を促進し、突出した知覚分野をもたらす（後述の評価システムを参照）。以下で述べるように、ＮＯＭＡＤ１０は、バイアスの欠如のために、条件付け又は訓練段階に先行して環境内における２つの物体の間に優先的にその凝視を向ける（例えば、赤い三角及び赤い四角）。適切な視覚物体（例えば、赤い三角）を学習した後は、可塑的結合の強度を変えて、選択された物体の位置に対応する領域Ｃのこれらの部分における活動を、より活発化させることとなる。

［図２−聴覚システム− 神経領域マイク−左、マイク−右、Ａ−左、Ａ−右］
本システムは、マイクロホン１６、１８からの入力を、擬似的な神経ユニット活動に変換する。神経領域マイク−左及びマイク−右は、それぞれ、対応するマイクロホン１６、１８が、所定の周波数帯域内の十分に増幅された音を検知する度に活発になる。マイク−左／マイク−右は、領域Ａ−左／Ａ−右における神経ユニットに投射する。一方からの音は、ＮＯＭＡＤ１０をその音源に順応させる領域Ｃの同側上の活動を順番に生成する、その聴覚システムの同側の活動をもたらす。

［図２−評価システム− 神経領域Ｓ］
擬似的な評価システムにおける活動は、顕著な知覚事象の発生を合図し、この活動は、ＩＴ→Ｓ及びＩＴ→Ｃの経路における結合の強さの調節に寄与する。はじめに、以下に述べる学習段階において、神経領域Ｓは、聴覚システムによって検知された音によって活発にされる（神経システム１２のＡ−左→Ｓ、及び、Ａ−右→Ｓを参照）。顕著な事象によって引き起こされる点、擬似神経システムの大きな領域に影響を及ぼす点（シナプシス可塑性の節で後述する）、そして、いくつかのサイクルを持続させる点で、領域Ｓにおける活動は、上昇するニューロン調節システムのそれに類似している。加えて、追跡領域Ｃへ投射によって、領域Ｓは、実世界環境におけるＮＯＭＡＤ１０の行動に直接影響を及ぼす。

図２に示した各神経領域Ｖ１、Ｖ２内の神経ユニットの、所定のパラメータ値の詳細が、後述する表１に与えられている。神経領域Ｖ１、Ｖ２等の神経ユニットの解剖学的投射及び結合形式の詳細が、後述の表２に与えられている。知られているように、神経ユニットは、シナプス前又は後と呼ばれる（シナプス、並びに、シナプシス前及び後ニューロンの記載については、「意識の世界」Edelman及びTonori著、２０００年ベーシックブックス、図４．３参照）。後述の実験で使用される擬似神経システム１２は、２８の神経領域Ｖ１、Ｖ２等と、５３４５０の神経ユニットと、約１７０万のシナプシス結合とを含んでいる。

［神経ユニット− 一般］
一実施形態において、擬似神経システム１２の神経領域Ｖ１、Ｖ２等の中の神経ユニットは、平均発生（発火）率モデルによってシミュレートされる。各神経ユニットの状態は、平均発生（発火）率変数（σ）及び位相変数（Ｐ）の両方によって決定される。各神経ユニットの平均発生（発火）率変数は、約１００ミリ秒の時間間隔における、概ね１００ニューロンのグループの平均活動又は発生（発火）率に対応する。発生（発火）活動の相対的タイミングを特定する位相変数は、実時間における個々のニューロンのスパイク活動のモデリングに関連するコンピュータ上のコストを背負うことなく、時間的な特異性を与える（下記の神経ユニット活動及び位相を参照）。

［シナプシス結合− 一般］
一実施形態において、神経ユニット間のシナプシス結合は、所定の神経領域の中（例えばＶ１又はＣ）と、神経領域の間（例えば、Ｖ２→Ｖ４又はＣ→Ｖ４）との両方で、図２の凡例によって示されるように、電圧独立又は電圧依存の何れか、位相独立又は位相依存の何れか、そして、可塑性又は非可塑性の何れかになるになるようにセットされる。電圧独立結合は、ニューロンのシナプシス後状態にも関わらず、シナプシス入力をシナプシス後ニューロンへ与える。電圧依存結合は、シナプシス後減極を活発にさせるよう要求するレセプタタイプ（例えば、ＮＭＤＡレセプタ）の寄与を表す。換言すると、シナプシス前ニューロンは、シナプシス後ニューロンへのシナプスを通って自身の神経突起に沿って信号を送信する。このシナプシス後ニューロンは、この信号を受信し、これを他のシナプシス前ニューロンから受信している他の信号とともに統合する。

電圧独立結合とは、もしシナプシス前ニューロンが高い率で発生（発火）しているならば、シナプスを介して結合しているシナプシス後ニューロンが高い率で発生（発火）するというものである。

電圧依存結合は、別のものである。もし、シナプシス前ニューロン信号を受信したとき、シナプシス後ニューロンが既にある率で発生（発火）しているとするならば、この電圧依存結合によって、シナプシス後ニューロンは、もっと発生（発火）する。シナプシス後ニューロンはアクティブ、つまり、発生（発火）しているので、このニューロンは、ある閾値レベルにある。それゆえ、シナプシス前結合は、シナプシス後ニューロンが同等以上に発生（発火）するように調節するのである。この電圧依存結合は、シナプシス前ニューロンがどんなに活動していても、後者が閾値を上回らない場合には、シナプシス後ニューロンに影響を与えることはない。つまり、シナプシス後ニューロンは、電圧依存シナプシス結合によって反応又は調節されるために、いくつかの所定の活動の閾値を持つ必要がある。

図２の擬似神経システム１２において、全てのニューラル内部領域興奮性結合、及び、全てのニューラル間領域再入可能な興奮性結合は、電圧依存である（図２及び表２を参照）。これらの電圧依存結合は、上述したように、神経ダイナミクスにおいて調節的な役割を果たすこととなる。

位相独立シナプシス結合は、その活動にだけ影響を与えるのに対し、位相依存シナプシス結合は、両方の活動、つまり、発火率とシナプシス後神経ユニットの位相とに影響を与える。擬似神経システム１２における全てのシナプシス経路は、運動出力（表２：Ａ−左／Ａ−右→Ｃ、Ｃ⇔Ｃ参照）又は知覚入力（表２：マイク−左／マイク−右→Ａ−左／Ａ−右、Ａ−左⇔Ａ−右、Ｖ１→Ｖ２）に含まれるものを除き、位相依存である。これらのインタフェースでの信号は、規模によってのみ定義されるからである。可塑性結合は、後述するように、評価独立か評価依存かの何れかである。

［シンプルネットワークモデルにおける神経同時性］
図３Ａ−３Ｅに、神経ユニット間の再入可能結合が、如何にして上で示したような位相パラメータを伴った平均発火率モデルにおいて神経同時性へ導かれるかを示し、それによって、上述した「結合問題」の解決を容易にする。図３Ａに、３つの神経ユニット（ｎ１−ｎ３）からなる簡単なネットワークモデルを示す。ユニットｎ１及びｎ２は、それぞれ、絶え間ない位相独立入力（実線の入力矢印）を受信し、個々の電圧依存結合を介して第３の神経ユニットｎ３（実線の入力矢印）へ投射する。再入可能な電圧依存結合（点線矢印で図示）を介して、ユニットｎ１及びｎ２は、互いに投射し合い、そして、ユニットｎ３は、ユニットｎ１及びｎ２の両方へ折り返し投射する。

図３Ｂは、位相対サイクルのグラフであり、この簡単なモデルにおける全ての神経ユニットｎ１−ｎ３は、１０シミュレーションサイクル内で同期するということを示している。対照的に、フィードフォワード投射だけが残るよう（図３Ａの残りの実線）、もし再入可能な結合が取り除かれるならば（図３Ａの点線矢印が「障害」を受けている）、図３Ｃのグラフによって示すように、同時性は実現されない。明りょうのために、図３Ｂ−３Ｃには、最初の１５シミュレーションサイクルしか示さないが、これらのサイクルは、１００００サイクルといった長期間を通して、ＮＯＭＡＤ１０の実世界におけるネットワークの行動の代表的なものである。

図３Ｄ及び３Ｅは、シナプシス後位相が各神経ユニットに対して選択される様子を示す、確率分布である。再入可能結合完全（図３Ｄ）では、全てのニューロンｎ１−ｎ３に対する分布は、同位相でピークになる。再入可能結合不在では、つまり、再入なし（「障害のある」ネットワーク、図３Ｅ）では、神経ユニットｎ１及びｎ２に対する確率分布は、それらの位相独立入力によって平坦になっており、ユニットｎ３に対する分布は、時間とともにランダムに変化する。

結合の強さのシナプシス属性がネットワークの行動とって重要であるかどうかを調査するために、上記分析が、異なる乱数の根を使用して何回か繰り返され、ネットワークは、全ての重みが平均値（1.45）に設定されて比較される。１００００サイクル後は、図３Ｂ−３Ｅに示したような、質的に同一の結果が生じる。結合可塑性の特性の影響を調査するために、ネットワークに対して上記が繰り返され、この中で、評価独立の可塑性が、神経ユニットｎ１→ｎ３、及び、ｎ２→ｎ３（実線矢印）に対するフィードフォワード投射に対して作動可能（enable）にされる。前の通り、ネットワークは、全ての重みを平均値（1.45）にセットされたネットワークと同様に、ランダムに選択された重みを伴って分析される。これらの場合の両方において、完全な再入可能ネットワークにおける同時性と障害のあるネットワークにおける非同時性とが発生する。さらに、シナプシス前及び後神経ユニットは、活動及び位相において相関し、その完全なネットワークにおける可塑性結合は、１０００サイクルを通じて１００％近い強度にまで増大されるのである。しかしながら、障害のあるネットワークにおいては、シナプシス前及び後ユニットは互いに同相ではなく、これらの結合は、上記と同じ期間を通じて初期値の約１０％にまで落ち込んでしまう。

上記は、「結合問題」に対する、再入可能結合の重要性を示している。つまり、図３Ａのこの縮小モデルからの結果は、再入可能結合の存在は神経領域の間の同時性活動を助長するということ、この同時性は特定又は異なる結合の強さには依存しないということ、そして、再入の欠如はシナプシス可塑性によっては補償されないということを示している。本発明の擬似神経システム１２は、図３Ａのこの縮小モデルとは異なる３つの大きな点を有している。システム１２は、概略的には図２、そして、詳細には以下の表１及び表２に示した脊椎動物の視覚皮質に基づいた、大規模な再入可能な神経構造を有している。システム１２は、評価独立及び評価依存のシナプシス可塑性を含む。そして、システム１２により、ＮＯＭＡＤ１０が実世界環境において自律的に行動することが可能となる。

［神経ユニット活動及び位相− 詳細］
多様な実施形態において、各神経ユニットの平均発火率（ｓ）は、０（静止中）から１（最大発火）までの連続的な範囲に及ぶ。位相（ｐ）は、０から２πの範囲の角度によって神経ユニットの活動の関連タイミングを表現する、３２の離散バイナリに分割される。神経ユニットの状態は、その現在の状態と、電圧独立、電圧依存からの寄与と、位相独立シナプシス結合との関数として更新される。ユニットｊから神経ユニットｉへの電圧独立入力ｃは、

ここで、ｓ_j（ｔ）は、ユニットｊの活動を示し、ｃ_ijは、ユニットｊからユニットｉへの結合の強さを示す。ユニットｊへの電圧独立のシナプシス後影響は、この値を全ての位相上のコサイン−チューニング曲線へたたみ込むことにより計算され、

ここで、Ｍは、異なる、解剖学的に定義された結合タイプの数である（表２参照）。Ｎ_lは、神経ユニットｉへ投射するタイプＭの結合数であり、Ｐ_j（ｔ）は、時間ｔにおける神経ユニットｊの位相であり、ｔｗはチューニング幅であり、これは一実施形態においては、このチューニング曲線が比較的鋭くなるように１０に設定される（〜５位相バイナリ）。

神経ユニットｉへのユニットｊからの電圧依存の入力は、

ここで、σ_i ^νdepは、電圧依存結合が影響を与えない、以下のシナプシス後活動に対する閾値である（表１参照）。

ユニットｉへの、電圧依存シナプシス後影響は、次式によって与えられる。

ユニットｉへのユニットｊからの位相独立活性化は、

ユニットｉへの、位相独立シナプシス後影響は、位相バイナリの数によって分割された（３２）、全位相独立入力に基づいた一様分布である。

新しい位相ｐ_i（ｔ＋１）及び活動ｓ_i（ｔ＋１）は、神経ユニットｉへのシナプシス後影響を線形的に合計することによって生成された分布に基づいて選択される（図４Ａ−Ｅを参照）。

神経ユニットの位相閾値σ_i ^phaseは、分布ＰＯＳＴ_iから減じられ、新しい位相ｐ_i（ｔ＋１）は、結果の分布に比例する確率によって算出される（図４Ｅ）。もし、結果の分布がゼロより低い領域を有しているならば（つまり、位相閾値を上回る入力がない）、新しい位相ｐ_i（ｔ＋１）は、ランダムに選択される。神経ユニットに対する新しい活動は、新たに選択された位相での活動レベルであり、以下の活動関数に従う。

ここで、ωは、１つのサイクルからその次へのユニット活動の持続性を決定し、ｇ_iはスケーリング因子であり、そして、σ_i ^fireはユニット固有の発火閾値である。

神経ユニットに対する固有のパラメータ値は表１に与えられ、シナプシス結合は表２に明記されている。
（表１）
（神経ユニットパラメータ）

表１に示したように、領域Ｖ１は、入力神経領域であり、その活動は、図１のカメラ１６のイメージに基づいてセットされる。神経領域Ｖ１、Ｖ２、そして、Ｖ４は、色（例えば、赤及び緑）及び進路方向（例えば、０、４５、９０及び１３５度）に対する選択的な神経ユニットをそれぞれ伴った６つのサブ領域を有している。神経領域マイク−左、及び、マイク−右は、入力神経領域であり、それらの活動はマイクロホン１８、２０からの入力に基づいてセットされる（図１）。

表１は、また、各神経領域又はサブ領域の神経ユニット数も示している（「Size」欄）。神経領域Ｖ１、マイク−左、マイク−右を除く、各領域における神経ユニットは、特定の発火閾値（σ−ｆｉｒｅ）と、位相閾値（σ−ｐｈａｓｅ）とを有し、電圧依存結合を上回る閾値は、作用（σ−ｖｄｅｐ）と持続パラメータ（ω）とスケーリング因子（ｇ）とを有しうる。表１のアスタリスクは、障害を起こす再入可能結合を伴った擬似神経システム１２（図２）に対して１．０にセットされた値をマークしている（表２を参照）。
（表２）
（解剖学上の投射及び結合タイプの属性）

表２に、擬似神経システム１２の解剖学的な投射及び結合タイプの属性を示す。シナプシス前神経ユニットは、所定の確率（Ｐ）と所定の投射形状（Ａｒｂｏｒ）とを伴ったシナプシス後神経ユニットに結合する。この樹枝状部形状は、高さ及び幅（ｈ×ｗ）を伴った矩形“［］”、内部及び外部半径（ｒ１，ｒ２）によって抑制された形状を伴ったドーナツ状の“Θ”、シナプシス後領域の左（右）側への投射のみ行うシナプシス前神経ユニットを伴った、Ｌｅｆｔ−ｏｎｌｙ（ｒｉｇｈｔ−ｏｎｌｙ）、或いは、シナプシス前及びシナプシス後神経ユニットの何れの対も結合される確率を与えられているところの非地勢的なもの（“ｎｏｎ−ｔｏｐｏ”）、をとりうる。初期結合強度であるＣ_ij（Ｏ）は、最小値及び最大値（ｍｉｎ，ｍａｘ）によって所定の範囲内でランダムにセットされる。Ｃ_ij（Ｏ）に対する負の値は、抑制結合を示す。“ｉｎｔｒａ”の印がある結合は、視覚サブ領域内の結合を表し、“ｉｎｔｅｒ”の印がある結合は、視覚サブ領域間の結合を表す。抑制“ｉｎｔｅｒ”投射は、視覚サブ領域応答側を、形状のみ又は色のみに結合し（例えば、Ｖ４−赤⇔Ｖ４−緑、Ｖ４−水平⇔Ｖ４−垂直）、興奮性“ｉｎｔｅｒ”投射は、形状サブ領域を、色サブ領域（例えば、Ｖ４−赤⇔Ｖ４−垂直）に結合する。＃の印がある投射は、評価依存である。結合タイプは、位相独立／電圧独立（ＰＩ）、位相依存／電圧独立（ＶＩ）、或いは、位相依存／電圧依存（ＶＤ）でありうる。η、θ₁、θ₂、ｋ₁、及びｋ₂に対する非ゼロ値は、可塑性の結合を意味する。Ｖ４からＩＴへの結合は、領域ＩＴにおいて所定の神経ユニットが３つの異なるＶ４サブ領域からランダムに選択された３つの神経ユニットに結合された、という点で特別である。“Ｘ”の印がある投射は、障害実験の間は取り除かれていた。

神経ユニットのこのモデルにおいて、シナプシス後位相は、最も強い活動シナプシス前入力の位相に相関する傾向がある。この神経ユニットモデルは、シンプルネットワーク（上記図３Ａのシンプルネットワークモデルにおける神経同期を参照）における、そして、完全な擬似的神経システム（図２）における、同期的な活動神経回路の発生を促進し、ここでは、かかる発生は、再入可能な結合、可塑性、そして行動によって強要された追加の抑制が含まれる。

（シナプシス可塑性）
シナプシス強度は、シナプシス前及び後神経ユニットの位相及び活動に依存するシナプシス規則による変更の影響を受ける。可塑性のシナプシス結合は、評価独立（図２のＩＴ→ＩＴを参照）又は評価従属（図２のＩＴ→Ｓ、ＩＴ→Ｃを参照）の何れかである。これら規則は、両方とも修正されたＢＣＭ学習規則に基づいており、ここでは、閾値は機能低下の領域を定義し、増強は、シナプシス前及びシナプシス後神経ユニット間の位相相違の関数である（図２の図内挿入図を参照）。図２に示した図式的な挿入図は、既知のＢＣＭ規則の形式を示し、ここでは、シナプシス変化（ΔＣ_ij）は、シナプシス後及び前神経ユニット（ΔＰ）と２つの閾値（Θ₁及びΘ₂）との間の位相相違の関数である。

強い相関をもった発火位相を伴った神経ユニット間のシナプスは増強され、弱い相関をもった位相を伴った神経ユニット間のシナプスは弱められ、その変化の大きさは、シナプシス前及び後活動によって同様に決定される。この学習規則は、ジッターのある（jittered）スパイク列に適用される、スパイク時間依存可塑性規則と類似し、ここでは、増強の領域は高いピークと薄い裾（thin tail）とを有し、低下の領域は比較的低いピークと太い裾（fat tail）とを有する。

ｃ_ijにおける評価独立のシナプシス変化は、次式で与えられる。

ここで、ｓ_i（ｔ）及びｓ_j（ｔ）は、それぞれ、シナプシス後及び前ユニットの活動であり、ηは、固定の学習率であり、

である。
ここで、ｐ_i（ｔ）及びｐ_j（ｔ）は、シナプシス後及び前ユニットの位相である（０．０≦Δｐ≦１．０）。１．０に近いΔｐの値は、シナプシス前及び後ユニットが類似の位相を有していることを示し、０．０に近いΔｐの値は、シナプシス前及び後ユニットが同調しないということを示している。関数ＢＣＭは、区分的線形関数として実装され、入力としてΔｐを取得し、２つの閾値（θ₁，θ２ラジアン）と方向（ｋ₁，ｋ₂）と飽和パラメータρとによって決定される（終始、ρ＝６）。

良好なスケールシナプシス調合に対する具体的なパラメータ設定が、表２に与えられている。

評価依存シナプシス可塑性に対する規則は、評価システム（神経領域）の活動及び位相に基づいて、追加の期間がシナプシス強度変化を調整するという点で、評価独立規則とは異なる。評価システムと同調する、神経ユニット上のシナプシス結合終端は強化され、評価システムと同調しない、ユニット上の結合終端は弱められる。

評価依存のシナプシス可塑性に対するシナプシス変化は、次式で与えられる。

ここで、Ｖ（ｔ）は、時間ｔにおける評価領域Ｓの平均活動レベルである。ここで、ＢＣＭ_ν関数は、領域Ｓとシナプシス後神経ユニットとの間の位相相違を入力として使用しているという点で、上記のＢＣＭ関数とは少々異なるということに留意すべきである。

ここで、ｐ_v（ｔ）は、領域Ｓにおける平均位相である。ＢＣＭ及びＢＣＭ_νの両方が負の数を返すとき、ＢＣＭ_νは１にセットされて、シナプシス前神経ユニット及び評価システム（神経領域）の両方がシナプシス後神経ユニットと同調しないときにシナプシス結合が増強されないことを保証する。

［擬似サイクル計算］
擬似神経システム１２の各シミュレーションサイクルの間、知覚入力が処理され、全ての神経ユニットの状態が計算されて、全ての可塑性結合の結合強度が決定され、運動出力が生成される。以下に記載する実験においては、各シミュレーションされたサイクルの遂行は、およそ１００ミリ秒の実時間が要求される。

［実験条件］
図５Ａに、ＮＯＭＡＤ１０の環境図を示す。この環境は、黒い壁で囲まれた領域からなっている。緑のひし形、緑の正方形、赤いひし形、赤い正方形からなる集合からの様々な形状の対が、２つの向かい側の壁に掛けられている。床は、不透明な黒いプラスティックパネルで覆われ、反射性のある工作用紙で作られた境界を含んでいる。この境界が、ＮＯＭＡＤの前面に取り付けられた赤外線（ＩＲ）探知器１２によって探知されて床に向かい合うと、ＮＯＭＡＤ１０は、次の２つの反射的動作のうちの１つを行う：（ｉ）、もし、物体がその視野中にあるならば、後退し、停止し、そして、およそ１８０度回転する、（ii）もし、その視野中に物体が存在しないならば、ＮＯＭＡＤ１０は、およそ９０度回転し、このようにして、視覚刺激なしに壁から離れる向きをとる。視覚形状を含む壁の境界近くで、部屋の片側上の赤外線エミッタ（ＩＲ）が、他方の側上のスピーカを含むＩＲセンサと組にされて（図５Ａに示したように）、ＩＲビームが生成される。もし、ＮＯＭＡＤ１０の動作が何れかのＩＲビームを遮断すると、音がスピーカによって放出される。ＮＯＭＡＤ１０による音の探知は、擬似神経システム１２を介して音源へ向かう適応動作を導き出す。

［実験規約− 図６Ａ〜６Ｂ］
図６Ａ及び６Ｂに、ＮＯＭＡＤ１０についての実験の配置を示す。ＮＯＭＡＤ１０は、約「９０対６６」の、領域の２壁面上の物体を観察する。実験は、図６Ａ及び６Ｂに示したように、訓練及びテストの２つの段階に分けられる。両方の段階の間、Ｖ１、Ｖ２等の領域の、全ての神経ユニットの活動及び位相反応は、分析のために記録される。

図６Ａに示したような訓練の間、ＮＯＭＡＤ１０は、示された多様な物体の対へのおよそ２４アプローチに一致する、約１００００シミュレーションサイクルの囲い込み探検を行う。スピーカによって出された音（聴覚の合図）への反応は、ＮＯＭＡＤ１０を、この例では赤いひし形である目標に向かわせる。目標以外の選択肢は、緑のひし形及び赤い正方形であり、これらは、ＮＯＭＡＤ１０の左右適応が目標関係を混同しないということを保証するために、各６回目のアプローチ前に交換される。図６Ｂに示したように、テストにおいて、スピーカは消されて、ＮＯＭＡＤ１０は、１５０００シミュレーションサイクルの環境探検を行うことができる。これら１５０００サイクルに対して目標物体が継続的に与えられている間に、目標以外の選択肢は５０００サイクル毎に取り替えられる。

［訓練段階詳細− 図６Ａ］
図６Ａに示した訓練段階において、ＮＯＭＡＤ１０は、１５〜２０分の実時間と、赤いひし形及び赤い正方形（図６Ａの左）そして赤いひし形及び緑のひし形（図６Ａの右の）といった視覚形状の様々な対への概ね２４のアプローチとに相当する、１００００シミュレーションサイクルの囲い込み探検を自律的に行う。このようにして、各対は、「目標」の形状（赤いひし形）と「目標以外の選択肢」の形状（緑のひし形又は赤い正方形）とを含むことになる。目標以外の選択肢は、目標と属性を共有するよう故意に設計される。例えば、赤いひし形が目標である場合には、赤いひし形／赤い正方形の対が一方の壁の上に掛けられ（図６Ａの左側に示されている）、赤いひし形／緑のひし形の対が他方の壁の上に掛けられている（図６Ａの右側に示されている）。その部屋の何れか片側上の赤いひし形は、図示したように、両方の場合ともスピーカに最近接している。目標と目標以外の選択肢との対における形状の左右適応（例えば、左の上の赤い正方形、右の上の緑のひし形）が目標選択を混同しないということを保証するために、目標以外の選択肢の側は、６回の対の観察ごとに取り替えられる。この訓練段階の間、スピーカへの反応は、ＮＯＭＡＤ１０を目標に向かわせる。

［テスト段階詳細− 図６Ｂ］
図６Ｂに示したように、訓練の間、スピーカは消され（それゆえ、図示しない）、ＮＯＭＡＤ１０は、１５０００シミュレーションサイクルの囲い込み探検を自律的に行うことを許可される。はじめの１００００サイクルには、図６Ａの訓練段階の間に所定の同一の目標及び目標以外の選択肢との遭遇も含まれている。最後の５０００サイクルには、目標と、その目標とは何れの特徴も共有しない４つの形状の組（左及び右）の単一の形状との遭遇が含まれる（例えば、目標としての「赤いひし形」と、目標以外の選択肢としての「緑の正方形」との組）。

訓練及びテストは、ターゲットとしての４形状のそれぞれを使用して、頭脳ベースデバイスＢＢＤの３つの異なる「主題」を伴って繰り返される（合計で、１２の訓練及びテスト期間となる）。それぞれのＢＢＤ「主題」は、ＮＯＭＡＤ１０の同じ物理デバイスを有しているが、それぞれは、固有の擬似神経システム２４を備えている。「主題」の間の変動性は、個々の神経ユニット間の結合性の微視的な細部と、これら神経ユニット間の初期結合強度との両方におけるランダム初期化の結果である。神経ユニット間の全体的な結合性は、異なる「主題」間で類似のままであるが、これがゆえに、結合性は、シナプシス経路、樹枝状部パターン、そして初期結合強度の範囲によって抑制されるのである（詳細は、図２及び表２を参照）。

［目標追跡行動− 通常− 図７Ａ〜７Ｂ］
頭脳ベースＢＢＤの各「主題」の識別行動は、図７Ａ−７Ｂに示したような、条件付け又は訓練に続く聴覚合図がない場合において、その「主題」が目標物体に向かって如何にうまく追跡されるかによって評価される。これは、図６Ｂに示す視覚物体の対への各アプローチの間に、目標がカメラ１６を介してＮＯＭＡＤ１０の視界の中心に置かれるための時間の分数として計算される。３つの別々の「主題」は、４つの目標形状又は物体、つまり、赤いひし形（ｒｄ）、赤い正方形（ｒｓ）、緑の正方形（ｇｓ）、及び緑のひし形（ｇｄ）のうちの、好ましい１つに条件付けされる。神経領域Ｖ２における活動は、ＮＯＭＡＤ１０の視野が、そのカメラ１６を介して特定の視覚形状を中心においた時間の割合を評価するために使用される。図７Ａ及び７Ｂの棒グラフは、標準偏差を意味するエラーバーを伴った、追跡時間平均割合を表す。図７Ａに示したように、完全な再入可能結合子を伴ったＢＢＤ「主題」は、全てのアプローチを平均して、各目標形状に対する目標以外の選択肢（灰色のバー）以上の著しい追従があった（白いバー）。図７Ｂに示したように、完全な再入可能結合を伴った「主題」（白いバー）は、テスト中のみ「障害」を受けた「主題」（明るい灰色のバー）、及び、訓練中とテスト中の両方において障害をうけた主題（黒いバー）よりも、著しく良好に目標に追跡した（＊は、ランクサム（RankSum）テストを使用して、ｐ＜０．０１であることを示す）。

図７Ａは、全ての「主題」が、４つの異なる目標を８０％以上の時間うまく追跡している様子を示している。これは、ＮＯＭＡＤ１０がその環境を探検したときに、目標と目標以外の選択肢とが、多くの異なった位置に多くの異なるスケールでカメラ１６の視野にあらわれるという事実にもかかわらず、の結果である（変化しない物体認識については、後述する）。加えて、ＮＯＭＡＤ１０は、たとえ属性が共有されていることが原因で（例えば、同一の色又は同一の形状）、色又は形状のみに基づいては目標以外の選択肢から目標を区別できないとしても、この処理を成し遂げる。

この頭脳ベースデバイスＢＢＤの多様な「主題」における再入可能な結合の存在の重要性を調査するために、ある内部領域の再入可能な結合が、実験的な典型例の異なった段階で障害を受けた場合の結果ついて、図７Ｂに示す。１つの場合においては、事前に訓練された「主題」は、障害後に再テストされている。２番目の場合においては、再入可能な結合は、訓練及びテスト段階の両方において障害を受けている。障害は、擬似神経システム１２を視覚処理の「フィードフォワード」モデルに変換する効果を有する、内部領域の興奮性の再入可能な結合のサブセットに加えられる（図２及び表２における「Ｘ」でマークされた投射を参照）。これら障害による活動の低下を補償するために、領域Ｖ２及びＶ４における神経ユニット出力が増幅される（表１参照）。図７Ｂは、完全な再入可能結合を伴った「主題」は、障害を受けた何れのグループよりも、著しく良好な作動をすることを示す。再入可能な結合子がない場合に観察される作動における減少は、目標識別作業における、機会以上に、行動に対する再入可能な結合が重要であることを示す。

［行動中のニューラルダイナミクス− 図８］
環境におけるＮＯＭＡＤ１０の行動の間、同期的に活動する神経グループからなる回路が、擬似神経システム１２における異なる神経領域の全体にわたって分配される。典型的な行動の実行中の、ニューラル反応のスナップショットを図８に与える。このスナップショットは、訓練セッションの（図６Ａ）の修了に向けて、赤いひし形である目標及び緑のひし形である目標以外の選択肢にアプローチ中のＮＯＭＡＤ１０を示す。描かれた神経領域Ｖ２，Ｖ４，ＩＴ，Ｃ及びＳにおける各画素は、各所定の神経領域内部の単一神経ユニットの活動及び位相を表す。このように、例えば、図８は、神経領域Ｖ２及びＶ４、特に、色（赤、緑）及び線方向（垂直、対角）についてのニューラルサブ領域に対する反応を示している。この位相は各ピクセルの色によって示され、その活動はピクセルの輝度によって示される（黒は活動なし：非常に明るいものは最大の活動）。

図８に、異なった位相によって差別化され、赤いひし形及び緑のひし形の刺激によってそれぞれ誘発された、２つのニューラル回路を示す。この図で示したように、ＮＯＭＡＤ１０は、音を放出するための、その環境におけるスピーカへの引き金となるＩＲビームにはまだ到達していない（図６Ａを参照）。それにも関わらず、神経領域Ｓ（評価システム）の活動は、目標に対応する神経領域Ｖ２及びＶ４における活動と同調し、それゆえ、目標の特徴性又は評価の予測となる。領域ＩＴは、２つの活動パターンを有し、２つの知覚カテゴリを反映する２つの異なる位相色によって表される。これらのパターンは、この環境内におけるＮＯＭＡＤ１０の動作中に生成された、カメラ１６からの視覚入力によって引き起こされたものである。最終的に、神経領域Ｃは、目標の方向へ、ＮＯＭＡＤ１０の方向付けを助長する側上で、より大きな活動を有することとなる（すなわち、赤いひし形）。

［ニューラル反応のダイナミクス− 図９Ａ及び９Ｂ］
これらニューラル反応のダイナミクスを分析するために、テストセッションにおける目標−目標以外の選択肢の対へのアプローチ中に、活動的な神経ユニットの位相分布が検査される。図９Ａに、完全な「主題」（再入可能な結合を伴った）によって、赤い正方形をした目標以外の選択肢に直面した赤いひし形の目標へアプローチする間の、様々な神経領域における神経の位相の分布を示す。図９Ａは、ニューラルサブ領域Ｖ４Ｒ（赤）、Ｖ４Ｈ（水平）、Ｖ４Ｄ（対角）における位相分布の間の、整合的な相関を示す。ニューラルサブ領域Ｖ４Ｒにおける二方向性の分布は、ＮＯＭＡＤ１０の環境における２つの赤い形状（ひし形、正方形）の存在を反映している。１つの形跡は、ニューラルサブ領域Ｖ４Ｄ（対角）に確実に相関し、それゆえ、赤いひし形に関連付けることができ、他方は確実にサブ領域Ｖ４Ｈ（水平）に相関し、それゆえ、赤い正方形に関連付けることができる（この期間中、非活発のままであった領域Ｖ４Ｇは不図示）。赤いひし形を選ぶためにテストフェーズの間に事前に条件付けすることによってもたらされるシナプシスの変化に影響を及ぼす、赤い正方形である目標以外の選択肢とは対照的に、領域Ｓ，ＩＴ及びＣにおける、活発な神経ユニットの位相は、赤いひし形の目標に強く相関される。このように、ネットワーク活動のグローバルパターンは、目標のほうを選んで、バイアスされた位相分布を表示する。

［位相分布に基づく定量化− 図９Ａ〜９Ｃ；表３］
このバイアスを定量化し、一般性を評価するために、テスト中の目標に関連する領域Ｓ，ＩＴ及びＣにおける神経ユニットの割合を、目標以外の選択肢に関連する割合と共に図６Ｂに示す。表３に、全ての「主題」と全４つの目標形状との上に計算されるこれら割合の平均値を示す。



（表３）
（目標と目標以外の選択肢の物体とに対応する機能的回路の神経構成及び平均活動）

目標以外の選択肢に関連する回路においてよりも顕著に大きな割合の神経ユニットが、目標に関連する機能的回路の部分となっている。加えて、目標に関連するこれら神経ユニットは、目標以外の選択肢に関連する回路における神経ユニットよりも顕著に高い発火率を有している。

上記は、擬似神経システム１２の、ローカル及びグローバルな神経回路処理の統一性の取れた（coherent）相互作用によって、再入可能な結合により媒介されたときに、ＮＯＭＡＤ１０による知覚分類及び視覚的な物体識別が可能になるということを示す。グローバル処理が、別個の、しかし擬似神経システム１２を通して現れる、分配された機能的回路に対応するのに対し、ローカル処理は、各神経領域における活動に対応する。これらの相互作用は、図９Ａに明らかであり、ここでは、各ローカル領域における活動は、赤いひし形の目標のほうを選んで、グローバルバイアスに強い影響を及ぼす（表３も参照）。

［ニューラルダイナミクス上の再入の影響］
再入可能な結合の障害は、上記のローカル及びグローバルな処理の間の相互作用を著しく妨げる。非常に簡単なネットワークモデルにおいてでさえ、再入可能な結合の除去は、ニューラル同期の出現を防ぐことができる（図３Ａ−３Ｅを参照）。より大きなスケール上では、図９Ｂに、内部領域における興奮性再入可能結合の障害後の、図９Ａに示したのと同一のＮＯＭＡＤ１０の「主題」による、同一の目標／目標以外の選択肢の対へのアプローチを示す。いくつかの個々の領域は、その位相分布においてピークを示し続けるが（例えば、ニューラルサブ領域Ｖ４Ｒ）、多くはそうではなく、神経領域間の位相相関は、激しく減少する。この現象は、多様なＶ４神経領域の間のみならず（図２）、領域Ｖ４及び領域Ｓ，ＩＴ及びＣの間でも発生する。完全な「主題」においてはっきりと明らかな、動的に形成され、グローバルに統一性の取れた（coherent）回路は、障害のある「主題」においてはほとんど完全に欠如している。例えば、図９Ｂは、領域Ｓにおける活動は、もはや領域Ｖ４における単一の形跡には独自に相関せず、代わって、２つの異なる状態の間を交替する。神経領域ＩＴ及びＣにおける優勢な形跡の欠如も示されている。

神経領域間の位相相関は、何れかの障害グループにおける「主題」に対してよりも、完全な再入可能結合を伴った「主題」に対して、より高い重要性を有する。全般的な中央値順位相関係数は、完全な「主題」に対しては、0.36であり、テスト段階中においてのみ障害を伴う「主題」に対しては、0.21であり、訓練及びテストの両方の段階において障害を伴う「主題」に対しては、0.17であった。また、テスト中のみ障害を伴う「主題」は、訓練中及びテスト中の両方において障害を伴う「主題」よりも、かなり高い相関係数を有する。これは、訓練期間中のグローバル回路の形成への、再入可能結合の寄与を反映している（図６Ａ）。これら調査結果の全ては、再入可能結合の欠如における行動実績の低下と一致している（図７を参照）。

［神経領域間の位相相関− 赤いひし形に条件付けされた単一の「主題」］
図１０Ａ−１０Ｃは、赤いひし形目標を選択するよう条件付けした後の「主題」に対する神経領域間の位相相関の地勢的な表現を示す。図は、色を付けてコード化されて（暗い青は相関が無いことを意味し、暗い赤は高い相関を意味する）、各色付けされた領域は、神経領域の所定の対の、中間位相間の相関係数を示す。図１０Ａは、再入可能結合が完全であるときの相関係数を示す。図９に示したデータに従って、特定の目標機能（Ｖ４Ｄ及びＶ４Ｒ）と、これらの領域間と、領域Ｓ，ＩＴ及びＣとに関連する領域間には強い位相相関が見られる。テスト中に障害を受けた再入可能結合を伴った場合（図１０Ｂ）、そして、条件付け中及びテスト中の両方において障害を受けた再入可能結合を伴った場合（図１０Ｃ）の同一の「主題」に対する神経領域間の相関は、共に非常に弱い。視覚的に示したように、目標に関連する神経領域Ｖ１，Ｖ２等の間の結合は、何れの障害ケース（図１０Ｂ及び１０Ｃ）におけるものよりも、再入可能結合が完全である場合（図１０Ａ）に、より高いものとなる。

［不変の物体認識− 図１１Ａ及び１１Ｂ］
図１１Ａ及び１１Ｂは、異なった位置及び異なったスケールでの、ＮＯＭＡＤ１０の視覚野における目標物体に対するニューラル評価領域Ｓの応答を示す図である。平均値は、標準誤差を示すエラーバーを伴って、全ての目標物体に対するＮＯＭＡＤ１０の「主題」による全てのアプローチに対して計算されている。図１１Ａは、視覚野（１３５°）内の目標位置の機能としての平均反応を示す。図１１Ｂは、視覚８°〜２７°の範囲で識別できる目標サイズとしての平均反応を示す。図１１Ａ及び１１Ｂの挿入物は、正方形の目標が、極端な位置及びスケールにおいて、ＮＯＭＡＤ１０の視野にどのように現れるかを示している。

ＮＯＭＡＤ１０がその囲い込みを探検するとき、視覚物体のイメージは、サイズ及び位置がかなり変化するので、好結果をもたらす識別は、不変の物体認識を要求する。この能力を分析するために、評価システム、つまり神経領域Ｓは、条件付けの後、ＩＴ→Ｓへの経路における可塑性によって、目標以外の選択肢に対して目標物体に優先的に反応したのは何れかを検査される。典型的なアプローチにおいては、ＮＯＭＡＤ１０は環境の一方の側から他方の側へ移動するので、神経領域Ｓは活発に反応し、その目標の特性に対応する領域Ｖ２，Ｖ４及びＩＴにおける神経ユニットに同調する。全ての「主題」及びすべての目標形状上の平均値を計算して、領域Ｓは、視野の中心から１２０°以内にあらわれ（視野の範囲は、おおよそ±３５°）、そして、８°から２７°までの範囲の視覚で識別できる目標サイズとしてあらわれる目標イメージに、確実に反応するということが見出された。このように、その環境内の自律的な動作中の、本発明の頭脳ベースデバイスＢＢＤの物体認識は、位置及びスケール不変性の両方である。

［条件付けの間の評価システム（神経領域Ｓ）活動− 図１２Ａ及び１２Ｂ］
目標形状への単一アプローチの間の神経領域Ｓ，ＩＴ及びＣに対する、単一の「主題」のための条件付け中のニューラル活動について、早期段階（左パネル、タイムステップ７５０〜１１６５）を図１２Ａに、条件付けの遅延段階（右パネル、タイムステップ６７７５から７１７０）を図１２Ｂに示す。各パネルは、時間を通じた、対応神経領域における神経ユニット位相の分布を示している。図９と同様に、グレースケールは、特定の位相での各神経領域における神経ユニットの割合を示す。各パネルの下部の濃密な線は、スピーカからの音が与えられたタイムステップを示す（図６Ａを参照）。早期の条件付け訓練期間（左パネル）においては、領域Ｓは、音の開始までは（すなわち、可聴活動）不活性であり、ここでは、目標に関連する領域ＩＴ及びＣの両方における上部形跡と同調して強く活性化される。目標以外の選択肢に対応する領域ＩＴ及びＣにおける下部形跡は、同時刻においては比較的抑制されている。条件付けの後半においては（右パネル）、領域Ｓ，ＩＴ及びＣは、音の開始より充分前には、目標（下部形跡）に対応する視覚システム活動に同調し、目標以外の選択肢に関連する活動は、音の開始より充分前には、相対的に抑制されている。

条件付けの間の、評価依存シナプシス可塑性（つまり、シナプシス結合の可塑性が評価に依存している）の結果として、目標物体の視覚的な特性は、評価の前兆となる。図１２Ａに示したように、早期に条件付けしている間、領域Ｓは、ＵＣＳ（無条件刺激、つまり、音）が与えられるまでは活性化しない。このＵＣＳは、また、これらの領域における初期の双峰位相分布の急速な廃止によって示されたように、領域ＩＴ及びＣにおけるバイアスをも引き起こす。

条件付けの後半段階では、ＣＳ（条件刺激、つまり目標の視覚的特性）は、今度は領域Ｓにおける活動がＵＣＳの開始に先行するような評価に関連するようになる（図１２Ｂを参照）。領域Ｓは、ＮＯＭＡＤ１０の視野に刺激が現れるとすぐに、目標刺激に反応する。そして、領域Ｓにおける活動は、図１２Ａ−１２Ｂにおいて示したように、ＵＣＳの開始より充分前の各領域における単一位相分布ピークの出現によって、領域ＩＴ及びＣにおけるバイアスを助長する。早期トライアルの聴覚ＵＣＳ（つまり、聴覚入力が評価を与える）によって引き起こされる活動から、遅延トライアルにおける視覚的ＣＳ（つまり、今度は視覚的入力が評価を与える）によって引き起こされる活動への、評価関連活動のタイミングにおけるこのシフトは、条件付け中の第１腹側被蓋において見られる、ドーパミン作用性のニューラル活動におけるシフトに類似している。また、評価依存のシナプシス可塑性は、条件刺激が評価予測になるという点で、「一時的な相違」学習に類似している。

［コンピュータシステム及びフローチャート］
図１３は、本発明の多様な実施形態によるシステムの例示的説明である。この図は、論理的に区分されたコンポーネントで描かれているが、かかる描画は、ただ説明目的のために過ぎない。この図に表現されたコンポーネントを任意に結合することができ、又は、別々のソフトウェア、ファームウェア及び／又はハードウェアコンポーネントに分割することができるということは、当業者にとって明らかである。さらに、かかるコンポーネントがどのように結合又は分割されようとも、同じコンピューティングデバイス上で実行することができ、あるいは、１又は複数のネットワーク又は他の適当な通信手段に接続された、異なるコンピューティングデバイスの中に分散することができるということも、当業者にとって明らかである。

多くの実施形態において、図１３に図解されたコンポーネントは、１又は複数のプログラミング言語で実装可能である（例えば、Ｃ，Ｃ＋＋，Ｊａｖａ^TM、そして他の適切な言語）。コンポーネントは、メッセージパッシングインタフェース（ＭＰＩ）、あるいは、これに限定されるものではないが、共有メモリ、分散オブジェクト、シンプルオブジェクトアクセスプロトコル（ＳＯＡＰ）を含む、他の適当な通信手段を使用して通信可能である。ＭＰＩは、コンピューティングデバイス（又はノード）間の情報通信のための業界標準プロトコルである。一実施形態において、このシステムは、Beowulfクラスタのような（これに限定されるものではない）、マルチプロセッサコンピュータアーキテクチャ上に展開することができる。Beowulfクラスタは、典型的には、イーサネット（登録商標）又は他のいくつかのネットワークを介して接続された、商品ハードウェアコンポーネントから構成される（例えば、Ｌｉｎｕｘオペレーティングシステムが動作するパーソナルコンピュータ）。この開示は、並列コンピューティングアーキテクチャの何れの特定形式にも限定されない。他の多くの同様のアークテクチャが可能であり、完全に本開示の範囲及び趣旨内にある。

図１３を参照すると、マスターコンポーネント１３０２は、クライアント１３０４から受信したコマンドによって他のコンポーネントの活動を条件付けすることができる。一実施形態において、このクライアントは、スクリプト、あるいは、他のシナリオによって、及び／又は、マスターから受信したクライアント情報（例えば、ニューラル活動、センサの読み取り、及びカメラ入力）への反応において、マスターをプログラム的に制御するスタンドアロン処理であってもよい。クライアントコマンドは、頭脳ベースデバイスＢＢＤ実験の開始又は修了、データストア１３１２への実験状態の保存、当該データストアからの実験状態の読み出し、実験が実行される動作時間／サイクルの設定、ニューラルシミュレータ１３１０のパラメータの設定をマスターに対して指示することができる。

他の実施形態において、クライアントは、マスターからの情報を受信するユーザインタフェースであり、ユーザは、双方向にシステムを制御することができる。非限定的な例として、ユーザインタフェースには、次の１又は複数を含めることができる。１）グラフィカルユーザインタフェース（ＧＵＩ）（例えば、ハイパーテキストマークアップランゲージで表現されたもの）、２）音及び／又はボイスコマンドに反応する能力、３）遠隔制御デバイスからの入力に反応する能力（例えば、携帯電話、ＰＤＡ、或いは他の適当な遠隔制御）、４）ジェスチャに反応する能力（顔面及びその他）、５）同一又は別のコンピューティングデバイス上の処理からのコマンドに反応する能力、６）コンピュータマウス及び／又はキーボードからの入力に反応する能力。この開示は、何れの特定ＵＩにも限定されない。当業者であれば、他の多くのユーザインタフェースが可能であり、完全に本開示の範囲及び趣旨内にあるということが認識するであろう。

各神経領域（例えば、Ｖ１，Ｖ２，Ｖ４，ＩＴ，Ｃ，Ｓ，マイク−左，マイク−右，Ａ−右）に対する神経ユニットは、それぞれニューラルシミュレータ１３１０に割り当てられる。各ニューラルシミュレータ１３１０は、割り当てられた神経ユニットの活動を計算する責任を担っている。所定の神経領域の神経ユニットは、１又は複数のニューラルシミュレータ１３１０に分配される。多くの実施形態において、Beowulfノード当り、１つのニューラルシミュレータが存在し得る。性能を最適化するために、ニューラルシミュレータ上の平均的な数のシナプシス結合が略同じになるように、神経ユニットはニューラルシミュレータの間で分配される。他の実施形態において、ニューラルシミュレータ当りの平均的な数の神経ユニットが略同じになるように、神経ユニットは分配される。ニューラルシミュレータは、周期的又は継続的に、他のニューラルシミュレータ及びマスターとの間で、神経ユニットの活動度の計算結果をやり取りする。この情報は、他のニューラルシミュレータ上の神経ユニットが最新のシナプシス前入力を有するために必要である。マスターは、このニューラルシミュレータから受信したニューラル活動に基づいて、ＮＯＭＡＤへアクチュエータコマンドを与える。

マスターは、イメージグラッバー１３０６からのイメージデータを周期的に受信し、これを、ニューラルシミュレータとクライアントとに分配する。一実施形態において、このイメージは、３２０×２４０画素ＲＧＢビデオイメージを送信するＮＯＭＡＤ１０にマウントされたＣＣＤカメラ１６から、ＲＦ送信機を介して、ImageNationPXC200イメージグラッバーへ取り込まれる。そして、このイメージは、８０×６０画素イメージを生成するために、空間的に平均化される。垂直、水平、そして対角（４５及び１３５度）の方向（簡単に上記したような）のエッジを検出するために、Ｇａｂｏｒフィルタを使用することができる。Ｇａｂｏｒ関数の出力は、対応するＶ１サブ領域の神経ユニット上に直接マップされる。カラーフィルタ（緑のネガの囲いを伴った赤いポジの中心、又は、緑のポジの囲いを伴った赤いネガの中心）もまた、このイメージに適用される。このカラーフィルタの出力は、Ｖ１−赤及びＶ１−緑の神経ユニット上に直接マップされる。Ｖ１神経ユニットは、神経領域Ｖ２の神経ユニットへ網膜局所的に投射される。

マスターコンポーネントは、また、ＮＯＭＡＤ１０コンポーネント１３０８からセンサデータを周期的に獲得し、これをニューラルシミュレータに分配する。一実施形態においては、ＮＯＭＡＤ１０に内蔵されたマイクロコントローラ（ＰＩＣ１７Ｃ７５６Ａ）がセンサからの入力及び状態をサンプルし、ＮＯＭＡＤベースとマスターとの間のＲＳ−２３２通信を制御する。先に述べたビデオ及びオーディオ情報に加えて、センサ情報には、グリッパー（gripper）状態、カメラ位置、赤外線探知器、触針偏差（whisker deflection）、ホイール速度及び方向、走行距離計カウント、マイクロホン入力を含めることができる。一実施形態において、二乗平均平方根（ＲＭＳ）チップは、マイクロホン入力信号の増幅を測定し、コンパレータチップは、周波数を測定可能な方形波を生成する。ＮＯＭＡＤ１０上のマイクロコントローラは、先行する３つの測定値とともに現行の信号増幅測定値を平均化することによって、全体のマイクロホン振幅を定期的に計算する。マイクロコントローラは、最後の８つの方形波の平均期間の逆数をとることによって、各時間点でのマイクロホン信号の周波数を計算する。神経領域マイク−左及びマイク−右は、最大値の少なくとも40%の振幅を有する、2.9から3.5KHzの間の音に反応する。神経領域マイク−左又はマイク−右における神経ユニットの活動は、次式で与えられる。

ここで、Ｓ_i ^mic（ｔ）は、マイク−左又はマイク−右における神経ユニットｉの前の値であり、ａ_i ^micは、マイクロホン出力の現在の振幅である。

図１４は、本発明の多様な実施形態による、ニューラルシミュレータ初期化のフローチャートである。この図は、説明目的のために特定の順序で機能的段階を表現しているが、この処理は、何れの特定順序又は配置の段階によっても必ずしも限定されない。当業者であれば、この図に表現された多くの段階が、様々な方法で、削除、再配置、並行処理、結合及び／又は適合することができるということを認識するであろう。段階１４０２において、クライアント１３０４からのコマンドに基づいて、保存された実験がデータストア１３１２から取り出されるべきかどうか、或いは、新しい実験をスタートされるべきかが判断される。もし、実験がデータストアから取り出されるべきであるならば、これは、段階１４１０において実行される。多様な実施形態において、この実験状態は、拡張マークアップ言語（ＸＭＬ）ドキュメント、プレーンテキスト、又はバイナリファイルとして保存可能である。さもなければ、段階１４０４において、神経ユニットが、表１に所定のパラメータに従って作成される。次に、段階１４０６において、表２のパラメータによる神経回路の間にシナプシス結合が形成される。最後に、段階１４０８において、各神経ユニットがニューラルシミュレータに割り当てられる。

図１５は、本発明の多様な実施形態によるマスターコンポーネントのフローチャートである。この図は、説明目的のために特定の順序で機能的段階を表現しているが、この処理は、何れの特定順序又は配置の段階によっても必ずしも限定されない。当業者であれば、この図に表現された多くの段階が、様々な方法で、削除、再配置、並行処理、結合及び／又は適合することができるということを認識するであろう。

段階１５０２において、マスターは、イメージグラッバー及びＮＯＭＡＤ１０から取得されたイメージ及びセンサデータを、ニューラルシミュレータ及びクライアントにブロードキャストする。段階１５０４において、マスターは、そのニューラルシミュレータに関して受信した何れかのコマンドをブロードキャストする。段階１５０６において、クライアントがマスターに実験を終了するよう指示したかどうかが判断される。もし、そうならば、マスターは実験を中止する（ここには、実験の状態をデータストアに保存することが含まれる）。さもなければ、段階１５０８において、更新された情報がクライアントに提供されて、ＧＵＩを更新するのに役立てることができる。段階１５１０において、ニューラルシミュレータからの神経ユニット活動は、全コンポーネント間で共有される（例えば、ＭＰＩを介して）。この神経活動は、クライアント情報の一部として、クライアントにいくつかの形式で提供される。最後に、何れかの残りのサイクルがシミュレーションにおいて存在するかどうかが判断される。もし、存在しなければ実験は終了する。さもなければ、マスターは、段階１５０２に復帰する。

図１６に、本発明の多様な実施形態によるニューラルシミュレータのフローチャートを示す。この図は、説明目的のために特定の順序で機能的段階を表現しているが、この処理は、何れの特定順序又は配置の段階によっても必ずしも限定されない。当業者であれば、この図に表現された多くの段階が、様々な方法で、削除、再配置、並行処理、結合及び／又は適合することができるということを認識するであろう。

段階１６０２において、ニューラルシミュレータは、マスターによってブロードキャストされたイメージ及びセンサデータを受け取る。段階１６０４において、マスターによってブロードキャストされるクライアントコマンドが受理される。段階１６０６において、クライアントがマスターに実験を終了するよう指示すべきか否かが判断される。もし、そうならば、ニューラルシミュレータはその遂行を完了する。さもなければ、段階１６０８において、そのニューラルシミュレータを割り当てられる神経ユニットの評価が計算される。段階１６１０において、可塑性結合の強度が計算される。段階１６１２において、局所神経ユニット活動が、他のニューラルシミュレータ及びマスターと共有される。加えて、他のニューラルシミュレータからの神経活動が取得されて、局所評価をリフレッシュするために使用される。最後に、段階１６１４において、何れかの残りのサイクルがシミュレーションにおいて存在していないかどうかが判断される。もし、存在しなければ実験を終了する。さもなければ、ニューラルシミュレータは、段階１６０２に復帰する。

コンピュータ技術における当業者にとっては明らかなように、本開示の教示に従ってプログラムされた、従来の汎用又は特定のディジタルコンピュータ若しくはマイクロプロセッサを使用して、多様な実施形態を実施することができる。ソフトウェア技術における当業者にとっては明らかなように、適切なソフトウェアコーディングは、本開示の教示に基づいて、技術を持ったプログラマによって容易に準備可能である。また、当業者にとってすぐに明らかなように、本発明は、集積回路の準備によって、或いは、従来のコンポーネント回路の適切なネットワークの相互接続によって、実施することもできる。

多様な実施形態には、ここで与えられた何れの機能をも実行するために、汎用又は特定のコンピューティングプロセッサ／デバイスをプログラム制御するよう使用され、その上（中）に命令を有する記憶媒体（メディア）であるコンピュータプログラム製品が含まれる。記憶媒体には、これに限定されるものではないが、次の１又は複数のものが含まれる。つまり、フロッピディスク、光ディスク、ＤＶＤ、ＣＤ−ＲＯＭ、マイクロデバイス、磁気光ディスク、ＲＯＭ、ＲＡＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、ＤＲＡＭ、ＶＲＡＭ、フラッシュメモリデバイス、磁気又は光カード、ナノシステム（分子的なメモリＩＣを含む）を含むあらゆる形式の物理メディア、そして、あらゆる形式の命令及び／又はデータを蓄積するために適切なメディア又はデバイスである。多様な実施形態には、１又は複数のパブリック又はプライベートネットワーク上で送信され得るコンピュータプログラム製品が含まれ、ここで、この送信には、本明細書において所定のあらゆる機能を実行するコンピューティングデバイスをプログラム制御するために使用される命令が含まれる。

蓄積された１又は複数のコンピュータ読み取り可能媒体（メディア）、本開示は、汎用／特定のコンピュータ又はマイクロプロセッサの両方のハードウェアを制御するためのソフトウェアと、人間のユーザ若しくは本発明の結果を使用する他の機械と相互に作用し合うことをコンピュータ又はマイクロプロセッサに可能とするためのソフトウェアと、を含む。かかるソフトウェアには、これに限定されるものではないが、デバイスドライバ、オペレーティングシステム、実行環境／コンテナ、そしてアプリケーションが含まれる。

［まとめ］
擬似神経システム１２によって制御されるＮＯＭＡＤ１０を含み、異なった刺激の視覚特性を結合する頭脳ベースデバイス（ＢＢＤ）について述べた。頭脳ベースデバイスＢＢＤにおける結合は、再入可能な神経構造（図２、表１及び表２）、神経グループの動的な同期、そして、シナプシス可塑性及び環境内を動くＮＯＭＡＤ１０の自律的な行動によって生成される相関を含む、多階層の相互作用の結果として発生する。具体的には、視覚的物体へのアプローチの間、同期的に活性する神経回路の構成が、ＮＯＭＡＤ１０の視野における各物体に対して発生する。神経領域Ｖ１、Ｖ２等の内部及び間の再入可能結合によって作動可能になるこれらの回路は、順番にＮＯＭＡＤ１０の識別的な行動を引き起こす、運動領域活動を活性化させる。これは、有効な視覚的物体認識の根底にある、頭脳、体、及び行動の間の複雑で動的な相互作用の中に洞察を与えるものである。

本発明の頭ベースデバイスＢＢＤは、本来的な特定の行動（つまり、聴覚又は視覚刺激に向かって追跡する）と、特定の環境信号（例えば、音についての正の値）に対する本来的な特定評価又は特徴性とを持っている。ＢＢＤは、自律的に学習して、音の評価を、その音源に最も近い視覚的な刺激の特性に関連付け、そして、視覚特性基づいて、単独でその目標物体の方へうまく方向付けする（図７Ａを参照）。

頭脳ベースデバイスの物理的な実施形態は、位置の変動、視覚的イメージのスケール及び光度、音の反射、そして移動中のすべり量といった、この物体の識別作業の多くの挑戦的側面を組み入れるために重要である。精巧なコンピュータへの依存は、エージェントとその環境との間の相互作用を支配する暗黙の命令の形で論理的なバイアスを導くという危険を負担する。しかしながら、実世界環境の使用により、かかるバイアスを導くリスクを回避するだけではなく、高度に複雑な擬似的環境の構築についての要求も取り除くことができる。

本発明の擬似神経システム１２は、報償又は評価システム（領域Ｓ）が放散上行性神経調節システムに類似するのと同様に、視覚システム（領域Ｖ２，Ｖ４，及びＩＴ）、運動システム（領域Ｃ）の腹側後頭−側頭部ストリームに類似する皮質領域を含む。しかしながら、これらの特定領域の何れも、また、情報フロー（例えば、「トップダウン」又は「ボトムアップ」）の選択的な指示も、それ自体で視覚物体の特徴の結合に充分であるというものはない。むしろ、頭脳ベースデバイスＢＢＤにおける視覚的結合は、ローカル処理（つまり、それぞれの擬似的な神経領域における活動）と、グローバル処理（つまり、擬似神経システム１２を通じて分配された同期活動によって特徴付けられた突発的な機能回路）との相互作用を通じて達成される。分配された神経領域Ｖ１，Ｖ２等の間の再入可能結合は、これら回路（図９、１０及び１２を参照）の形成にとって、また、共有された特徴を伴った複数の物体間での区別を要求する作業における好結果の作動にとって（図７を参照）、きわめて重要であることが分かる。本発明のこの頭脳ベースデバイスＢＢＤは、豊かな実世界環境における自己生成又は自律的な動作から生じる、視野における信頼性のおける識別を達成する（図１１を参照）。

擬似神経システム１２における各神経ユニットの状態は、発火率変動及び位相変動の両方によって記述したが、ここでは、シナプシス後位相は、最も強く活性化するシナプシス前入力の位相に相関されるという傾向がある。このモデリング戦略は、個々のニューロンのスパイク活動のモデリングに関する計算コストを負担することなしに、ニューラル同期を表現するのに必要な時間精度を与える。正確なスパイクタイミングは、特定の神経相互作用をモデリングするために必要であるが、本開示のモデルは、視覚的結合のための仕組みを説明する目的のためには、かかる詳細は要求されないということを示唆している。また、記述したモデルにおける位相は、可能性のある根本的な振動活動を反映するものとして意図されたものではなく、特に、特定の周波数での通常の脳振動が結合のニューラルな仕組みの重要なコンポーネントであることを意味するものと考えるべきではない、ということを強調することも重要である。

擬似神経システム１２における局所領域は、その入力及び結合性に基づいた分離した機能を持っているが、物体認識及び物体識別行動は、何れの個々の領域のものでもなく、システム全体の突発的な特性である。目標へ向かって行動を方向付けする間の頭脳ベースデバイスＢＢＤのニューラル反応は、異なる神経領域における神経ユニットの動的なセットの間の同期活動に関しての、このグローバルな特性を示す（図８及び９Ａを参照）。２つの物体が同時に見えることは、その擬似神経システム１２を通して分配され、その活動の関連タイミングにおける相違によって識別される、２つの異なる回路セットをはっきりと引き起こす。神経領域Ｖ１、Ｖ２等の間の再入可能結合が、擬似的な障害を介して取り除かれたとき、これら神経領域間の統一性の取れた相互作用は、分断されて（図９Ｂ、図１０Ｂ、図１０Ｃを参照）、物体知覚分類及び物体識別行動の両方において失敗する結果となる（図７Ｂを参照）。

実験及び評価の両方は、擬似神経システム１２のグローバルな属性を形成する。このことは、図１２に明りょうに示されており、ここでは、早期の訓練の間、領域Ｓは活性しておらず、領域Ｃは聴覚合図の開始まで目標物体へ向かうバイアス、つまり評価を示していない。訓練の後半においては、領域ＩＴから領域Ｓへの評価依存の可塑性結合、すなわち視覚刺激の評価の結果として、領域Ｓは、聴覚合図の充分前に活性化する。それゆえ、領域Ｓにおける活性は、無条件刺激（つまり、聴覚音）の予測となる。領域ＩＴから領域Ｃへの評価依存可塑性結合と、領域Ｓから領域Ｃへの興奮性の結合とは、目標以外の選択肢に優先して目標へ向かう動作を好む領域Ｃの活動におけるバイアスを結果として生じる、評価関連の活動のタイミングシフトを確実にする。このことは、適応性のある行動を保証する分配されたニューラル結合の効率変更における、評価システムの役割を重要視するものである。視覚野における物体の間の物体識別作業における好結果の作動は、ニューラル同期の補完的な活動、及び、ニューラル発火率における実験依存の変化を要求する（表３を参照）。類似の位相を共有する神経ユニットのグループによって示される神経同期は、視界における各物体に対応する複数のグローバル回路の形成に必要である。同時に、これら回路内部の神経ユニットの活動は、ＮＯＭＡＤ１０に目標以外の選択肢よりも目標物体を好むようにさせる領域Ｖ４、ＩＴ及びＣにおける活動レベルに影響を与える。これらの観測によれば、平均発火率「コード」及び同期ベース「コード」は、神経機能の相互排他的な意味として考慮する必要がないということが示唆されている。

神経ユニットがニューロンの小さなグループの活動を表現する、記述されたモデルの予測は、個々のニューロン間のゼロ位相遅延というよりは、知覚結合のために十分な、グループレベルのそのニューラル同期である。いくつかの単一ユニット記録学習は、刺激を伴うことによって活性化されたニューロンは刺激を伴わずに活性化されたニューロンよりも多く同期するということを示すが、単一ユニット間の同期活動は、結合を要求する作業において検出が困難である。さらに、霊長類の前頭葉前部皮質からのマイクロ電極記録は、興奮性の長期レンジのピラミッド状ニューロン間よりも、ローカルな抑制ニューロン間において、より高い相関発火のレベルを示した。一方で、両眼の対立中の、人間の主題の神経磁気的な記録は、意識して知覚されたのではない刺激と比較して、知覚的に支配的な刺激に関連する信号の内部及び外部半球状の一様性を増加させる。しかしながら、神経磁気的な信号は、単一ニューロン間の再入可能関係を反映せず、むしろ、巨大な神経集合間の平均を表現する。それゆえ、これは、単一ニューロンレベル上と同様に神経グループレベル上でも同期が作動可能であるという示唆において、上述した本発明のモデルと一致する。

より高い頭脳の機能は、その形態学、そのダイナミクス、本体と環境との間の相互作用をもたらす神経システム全体の協調活動に依存している。同期を通じた結合の重要性を協調する理論的観点と一致して、本発明の頭脳ベースデバイスＢＢＤは、視覚的結合及び物体識別は、ローカル処理（特定の神経領域の活動）とグローバル処理（同期的な活動及び広く分配されたニューラル回路）との間の相互作用に課される制約再入及び行動の結果として引き起こされる、ということを示す。これらの処理間の相互作用は、重要であり、何れの特定の領域も、情報フローの決定性の優先的方向も、それ自体では、視覚結合を達成するのに充分でない。

本発明の好適な実施形態についての上述の記載は、説明及び解説を目的として与えられたものである。本発明を、開示された厳密な形式に網羅もしくは限定する意図ではない。当業者にとって、多くの修正及び変形が明らかであろう。実施形態は、本発明の原則とその実践的な適用とを最良に説明するために、選択及び記載されており、それゆえ、他の当業者にも、特定用途を熟考するために適した多様な修正を伴って、本発明、多様な実施形態を理解することができる。本発明の範囲は、以下の特許請求の範囲及びその均等物によって規定されるものと解釈される。

物理的なモバイル頭脳ベースデバイスの外観図を示す。 図１の頭脳ベースデバイスの擬似神経システムの局所的及び機能的神経構造の概略図を示す。 図２に示した本発明の神経構造を説明するために使用される３つの神経ユニットの簡単なネットワークを示す。 神経ユニットの活動対位相の関係を示すグラフである。 図１及び２の行動をもつモバイル頭脳ベースデバイスが存在する実世界環境の試験的なセットアップの様子を、それぞれ概略的及び写真撮影的に示す。 図１及び２の行動をもつモバイル頭脳ベースデバイスが存在する実世界環境の試験的なセットアップの様子を、それぞれ概略的及び写真撮影的に示す。 図１及び２の頭脳ベースデバイスの訓練及びテスト規約をそれぞれ説明する。 図１及び２の頭脳ベースデバイスの訓練及びテスト規約をそれぞれ説明する。 条件付けに従う図１及び２の頭脳ベースデバイスの行動を説明するグラフである。 条件付けに従う図１及び２の頭脳ベースデバイスの行動を説明するグラフである。 行動試験中の図１及び２の頭脳ベースデバイスの神経ユニット活動のスナップショットである。 条件付けに従う図１及び２の頭脳ベースデバイスにおいて、再入結合をそれぞれ伴う場合と伴わない場合の位相反応を示す。 条件付けに従う図１及び２の頭脳ベースデバイスにおいて、再入結合をそれぞれ伴う場合と伴わない場合の位相反応を示す。 赤いひし形を単一の目標物体として選択もしくは識別するよう条件付けされた、図１及び２の頭脳ベースデバイスに対する神経領域の間の位相相関関係を説明する説明図である。 異なる実世界位置及び異なるスケールにおける目標物体へのニューラル評価領域Ｓの反応を説明する説明図である。 異なる実世界位置及び異なるスケールにおける目標物体へのニューラル評価領域Ｓの反応を説明する説明図である。 神経領域Ｓ，ＩＴ及びＣに対する図１及び２の頭脳ベースデバイスの、条件付け中及び訓練中のニューラル活動を示す。 本発明の多様な実施形態によるシステムを例示する図である。 ニューラルシミュレータ初期化のフローチャートである。 本発明の多様な実施形態によるマスターコンポーネントのフローチャートである。 本発明の多様な実施形態によるニューラルシミュレータのフローチャートである。

符号の説明

１０ 神経組織モバイル適応デバイス（ＮＯＭＡＤ）
１２ 擬似神経システム
１６ ＣＣＤカメラ
１８、２０ マイク
２２ エフェクタ（ホイール）
２４ 赤外線（ＩＲ）センサ

Claims (15)

1. 視覚的場面を統合するように実世界環境において行動するモバイル頭脳ベースデバイスであって、
   ａ）
   ｉ）視覚情報を受信するための視覚入力センサと、
   ii）聴覚情報を受信するための聴覚入力センサと、
   iii）モバイル適応デバイスの運動を可能にするためのエフェクタと、
   を有するモバイル適応デバイスと、
   ｂ）前記視覚的場面内の物体の異なる視覚的特徴を結合するための、人間の脳の皮質領域に対応するコンピュータベース擬似神経システムと、
   を備え、前記擬似神経システムは、
   ｉ）視覚システムを形成し、前記視覚入力センサからの視覚入力に反応して視覚刺激を生成するものであって、視覚刺激を生成するための前記頭脳の下面皮質経路に対応する第１の神経領域と、
   ii）聴覚システムを形成し、前記聴覚入力センサからの聴覚入力に反応して聴覚刺激を生成する第２の神経領域と、
   iii）上昇神経調節系に類似するものであって、上記実世界環境において移動している間に前記モバイル頭脳ベースデバイスが経験する実世界の顕著な事象に反応して評価刺激を生成する第３の神経領域と、
   iv）頭脳の上位の小隆起に対応するものであって、追跡システムを形成し、前記聴覚刺激、視覚刺激、及び評価刺激に反応して、前記モバイル適応デバイスを前記モバイル適応デバイスへの前記聴覚入力情報及び視覚入力情報に向けるように前記エフェクタを制御する第４の神経領域と、
   を含み、
   ｃ）視覚的結合は、前記モバイル適応デバイスの実世界移動の間に、
   前記第１、第２、第３、及び第４の各神経領域内における神経ユニットの再入接続可能性、
   前記第１、第２、第３、及び第４の神経領域間の再入接続可能性、及び、
   前記第１、第２、第３、及び第４の各神経領域内での活動である局部的処理と、前記実世界における動作の間に形成され前記第１、第２、第３、及び第４神経領域の間で同期活動する機能的神経回路を生成するグローバル処理との相互作用、
   を通して実現されることを特徴とするデバイス。
2. 請求項１に記載のモバイル頭脳ベースデバイスにおいて、前記第１、第２、第３、及び第４の各神経領域における各神経ユニットは、そのタイミングが発生率変数によって表される相対的な神経活動を有し、この神経活動の相対的タイミングは位相変数によって表され、複数の神経ユニットの発生位相が類似することは同期活動を反映するものであることを特徴とするデバイス。
3. 請求項１に記載のモバイル頭脳ベースデバイスにおいて、前記評価刺激は、前記第１、第２、第３、及び第４の神経領域間のシナプシス結合の強さを修正して、実世界環境におけるモバイル頭脳ベースデバイスの適応的行動を与えることを特徴とするデバイス。
4. 請求項１に記載のモバイル頭脳ベースデバイスにおいて、前記第１の神経領域は、垂直皮質経路Ｖ１→Ｖ２→Ｖ４→ＩＴに対応することを特徴とするデバイス。
5. 請求項４に記載のモバイル頭脳ベースデバイスにおいて、前記神経領域Ｖ１は、視覚的物体の色及びラインセグメントに反応する神経ユニットを有するサブ領域に分割されることを特徴とするデバイス。
6. 請求項４に記載のモバイル頭脳ベースデバイスにおいて、前記神経領域Ｖ２は、その各領域が前記視覚的知覚入力の画素に対応する神経ユニットを有することを特徴とするデバイス。
7. 請求項１に記載のモバイル頭脳ベースデバイスにおいて、前記第１、第２、第３、及び第４の各神経領域内の神経ユニットは、それら自身の間で興奮性のシナプシス結合を有し、前記興奮性のシナプシス結合のそれぞれは、電圧依存であることを特徴とするデバイス。
8. 請求項７に記載のモバイル頭脳ベースデバイスにおいて、前記第１、第２、第３、及び第４の神経領域は、前記領域間で再入可能な興奮性結合を有し、前記全ての再入可能な興奮性結合は電圧依存であることを特徴とするデバイス。
9. 請求項１に記載のモバイル頭脳ベースデバイスにおいて、前記評価刺激は、前記第１の神経領域から前記第３の神経領域へと、前記第１の神経領域から前記第４の神経領域へとのニューラル経路におけるシナプシス結合の強さの調節に寄与することを特徴とするデバイス。
10. 所定の視覚的物体を、視覚的特徴を共有する他の視覚的物体から識別するために実世界環境において学習するモバイル頭脳ベースデバイスであって、
    ａ）その視野における前記視覚的物体についての視覚情報を受信するためのカメラと、音声情報を受信するための音声レシーバと、前記カメラから受信した視覚的刺激と前記音声レシーバから受信した音声刺激に向かって方向付けするための追跡システムとを備えるモバイル適応デバイスと、
    ｂ）視覚的物体に対する結び付けを行う人間の皮質及び皮質下の頭脳領域に対応するものであって、前記視覚及び聴覚刺激に反応して前記追跡システムを制御する擬似的な大規模再入可能神経構造システムと、
    を備え、前記神経構造システムは、それぞれが神経ユニットからなる複数の神経領域を有し、前記神経領域には、前記複数の神経領域間の再入可能なシナプシス結合と前記各神経領域内の神経ユニット間の再入可能なシナプシス結合とが存在し、前記再入可能なシナプシス結合は、前記シナプシス再入可能結合の強さとは独立して前記複数の神経領域間の同期活動を助長するものであり、評価独立及び評価依存のシナプシス可塑性を有し、前記擬似的な大規模再入可能神経神経構造システムは、前記モバイル頭脳ベースデバイスの自律した行動を与えることを特徴とするデバイス。
11. 請求項１０に記載のモバイル頭脳ベースデバイスにおいて、前記擬似的な大規模再入可能神経構造システムは、前記視野内の各物体に対する前記各神経領域における、前記複数の神経領域間と神経ユニット間とに、異なるアクティブ再入可能な神経回路を形成することを特徴とするデバイス。
12. 請求項１１に記載のモバイル頭脳ベースデバイスにおいて、前記異なるアクティブ再入可能な神経回路は、前記回路の相対的な活動のタイミングにおいて差異を有することを特徴とするデバイス。
13. 請求項１０に記載のモバイル頭脳ベースデバイスにおいて、前記擬似的な大規模再入可能神経構造システムは、視覚システム、追跡システム、聴覚システム、及び評価システムを含む神経領域の４システムからなることを特徴とするデバイス。
14. 請求項１３に記載のモバイル頭脳ベースデバイスであって、擬似的な大規模再入可能神経構造を実装するコンピュータシステムをさらに含み、ここにおいて、前記コンピュータシステムは、構造上の投射の属性テーブルと前記再入可能神経構造の結合形式とを蓄積し、前記テーブルは、前記モバイル適応デバイスを、該デバイスがその環境内を移動する間制御するために使用される頭脳の神経構造をあらわすことを特徴とするデバイス。
15. 請求項１４に記載のモバイル頭脳ベースデバイスにおいて、前記各神経領域は、神経ユニットからなり、前記コンピュータシステムは、その１つが前記各神経領域のサイズを規定する別個のパラメータテーブルを蓄積することを特徴とするデバイス。

Images