JP2013020644A - ハイブリッド制御デバイス - Google Patents

Abstract

【課題】ロボット、特に周囲の状況について学習するように適合されたロボットを提供する。
【解決手段】ロボット用ハイブリッド制御システムは、ニューロン制御部分と非ニューロン制御部分とを含むことができる。
【選択図】図１

Description

（優先権の主張）
２００５年９月１３日に出願（代理人整理番号第ＮＳＲＦ−０１００８ＵＳ０）されたＪａｓｏｎ Ｇ．Ｆｌｅｉｓｃｈｅｒ他による名称「ハイブリッド制御デバイス」の米国仮特許出願第６０／７１６，８２１号。
２００６年９月１１日に出願（代理人整理番号第ＮＳＲＦ−０１００８ＵＳ１）されたＪａｓｏｎ Ｇ．Ｆｌｅｉｓｃｈｅｒ及び他による名称が「ハイブリッド制御デバイス」の米国仮特許出願第１１／５３０，６８５号。
本発明は、ロボット、特に周囲の状況について学習するように適合されたロボットに関する。

ロボットはますます一般的になっている。特に関心を持たれているロボットの１つの部類は、人工知能を使用してその周囲状況と相互作用をするよう学習するロボットである。

本発明の実施形態は、ニューロン制御要素及び非ニューロン制御要素の両方からなることができるハイブリッド制御システムに関する。

ハイブリッド制御デバイスの図である。 ハイブリッド制御デバイスの第１の実施例を示す図である。 ハイブリッド制御デバイスの第１の実施例を示す図である。 ハイブリッド制御デバイスの第２の実施例を示す図である。 ハイブリッド制御デバイスの第２の実施例を示す図である。 ハイブリッド制御デバイスの第２の実施例を示す図である。 個別のロボットプラットホーム上にあるハイブリッド制御デバイスを示す図である。 ハイブリッド制御デバイスに関する画像処理の実施例を示す図である。 ハイブリッド制御デバイスの操作の実施例を示す図である。 ハイブリッドデバイスの１つの実施例に関する高レベルのプレイ行動を示す有限状態オートマトンの図である。

本発明の態様は、同じ参照番号が同じ要素を示す添付図面の各図において限定ではなく例証として示される。本開示において、「ある」、「１つの」及び「様々な」実施形態に対する言及は、必ずしも同じ実施形態に対するものではなく、このような言及は少なくとも１つであることを意味する点に留意されたい。以下の説明において、本発明を完全に説明するために多数の具体的な詳細事項が記載されている。しかしながら、本発明は、これらの具体的な詳細がなくとも実施可能であることは、当業者であれば明らかであろう。場合によっては、本発明を曖昧にしないために周知の特徴部は詳細には説明していない。

ハイブリッド制御システムは、ニューロン制御要素及び非ニューロン制御要素の両方からなることができる。１つの実施形態において、デバイスは、擬似神経系のようなニューロン制御部分と、計算アルゴリズム、人工知能又は制御システム方法のような非ニューロン制御部分とから構成されるハイブリッド制御システムによって誘導される。ニューロン制御部分は、脊椎動物神経系の簡易モデルに基づくことができる。この理由のため、ニューロン制御部分の制御下にあるデバイスは、ロボットではなく脳ベースデバイスと呼ぶことができる。

図１は、センサ１０４、１０６及び１０８、並びにセンサ１０４、１０６及び１０８からの入力を受け取るコントローラ１１０を含むデバイスを示している。コントローラ１１０は、ニューロンコントローラ部分１１２及び非ニューロンコントローラ部分１１４を含むことができる。アクチュエータ１１６、１１８及び１２０は、コントローラ１１０からの制御コマンドを受け取ることができる。

センサ１０４、１０６及び１０８は、レーザセンサ、ＩＲセンサ、ホイールセンサのような走行距離計測センサ、触覚センサ、カメラ、及び同様のものを含むあらゆる種類のセンサとすることができる。アクチュエータは、ホイールモータ及びステアリングモータのような移動アクチュエータと、把持手段、カメラ配向モータ、及び同様のものなどの他の物体と相互作用するアクチュエータとを含む、あらゆる種類のアクチュエータとすることができる。

１つの実施形態において、アクチュエータ１１６の少なくとも１つは、ニューロンコントローラ部分１１２によって制御される。別のアクチュエータ１２０の少なくとも１つは、非ニューロンコントローラ部分１１４によって制御することができる。

１つの実施形態において、アクチュエータ１１８は、ニューロンコントローラ部分１１２及び非ニューロンコントローラ部分１１４の両方によって制御することができる。

デバイス１０２はロボットとすることができる。ニューロンコントローラ部分１１２及び非ニューロンコントローラ部分１１４の両方は、ロボットのようなデバイスに装着して配置することができる。或いは、コントローラの一部分は、デバイスから遠隔にあり、無線リンクのようなリンクでデバイスと結合することができる。

ニューロンコントローラ部分１１２は、幾つかのニューロンユニットを有することができる。ニューロンユニットは、ニューロン又はニューロン群を模倣することができる。

１つの実施形態において、ニューロンユニットは、平均発火率モデルによって、シミュレートすることができる。各ニューロンユニットの平均発火率変数は、約３０ｍｓの時間期間の間の約１００個の実ニューロンからなる群の平均活性に対応することができる。

１つの実施形態において、モデルの中に電圧独立（ＶＩ）及び電圧依存（ＶＤ）の２つの種類の結合がある。ＶＩ結合は、既に活性を有するニューロンユニット内に電流を注入するだけである。ＶＤ結合は、後シナプス活性に関係なく電流を注入する。

ニューロンユニットｉの活性に対するＶＩ結合によるシナプス前入力は、次式で与えることができる。
ここで、Ｍは、解剖学的に定義された様々な結合タイプの数であり、Ｎ^l _iは、ニューロンユニットｉに投射している解剖学的種類ｌ当たりの結合数である。よって、このシナプス前入力は、ＶＩ結合による後シナプス活性を発生させることができる。
ここで、ωは、前の時間ステップからの活性の持続を調整する項である。ここで、ユニットｉの入力に対するＶＤの寄与を次式で定義することができる。
次に、ＶＤ結合からの後シナプス活性は次式となる。
従って、ユニットｉに対する合計のシナプス後作用は、
ＰＯＳＴ_i＝ＰＯＳＴ_i ^VI＋ＰＯＳＴ_i ^VDである。

次に、この入力作用は、ニューロンユニットｉの発火率に影響する。平均発火率（ｓ_i）は、次式のように０（休止）から１（最大発火）までの範囲とすることができる。
ここでｇは倍率である。

脳ベースデバイスにおいて、幾つかの結合は、デバイスの経験に応じて結合の強度を修正することができる。これらの塑性結合は、評価信号に依存するものと、評価信号に依存しないものの２種類の形式とすることができる。評価依存結合は、次式に従って学習することができる。
ここで、ηは一定の学習率、ｓ_i（ｔ）及びｓ_j（ｔ）はそれぞれシナプス後ユニット及びシナプス前ユニットの活性、Ｖ（ｔ）は評価ニューロン領域内の現在の平均活性であり、現在の環境に関する何かが学習タスクに対して顕著であることを示す信号を発生させる。これは時間差違学習の形式である。非線形伝達関数ＢＣＭ（）は、Ｂｉｅｎｅｎｓｔｏｃｋ、Ｃｏｏｐｅｒ及びＭｕｎｒｏｅの公式に基づくことができる。関数ＢＣＭは、区分線形関数として実装することができ、スライディング閾値θ、２つの勾配（ｋ₁，ｋ₂）及び飽和パラメータρ（全体を通してρ＝６）によって定義される、入力としての後シナプス活性を得る。

評価独立結合は、次式に従って修正することができる。
次に、評価独立結合は、経時的な制限の無い増強を防ぐために正規化することができる。
ここで、Ｋはユニットｉに対する結合の総数である。

以下に説明するハイブリッド制御を伴うデバイスの実施例は、Ｓｅｇｗａｙ Ｓｏｃｃｅｒ Ｂｒａｉｎ Ｂａｓｅｄ Ｄｅｖｉｃｅ（ＳＳ−ＢＢＤ）及びＤａｒｗｉｎ＋＋を含む。本明細書に含まれる説明は、ニューロン要素と非ニューロン要素との間にどのようにして情報が流れるかを示している。

図２Ａは、ハイブリッドデバイス２００の実施例を示す。この実施例において、非ニューロンコントローラ部分２０２は、位置特定を行うための人工知能を含む。１つの実施形態において、位置特定ユニット２０４は、ニューロンコントローラ部分２０６からのデータを使用し、データをニューロンコントローラ部分２０６に提供する。

位置特定ユニット２０４は、確率的位置特定ユニットとすることができる。確率的位置特定ユニット２０４は、デバイスの位置の推定値を生成することができる。確率的位置特定ユニット２０４は、センサデータとアクチュエータによって生じる位置及び方向の予測変化とによって推定値を再計算することができる。確率的位置特定ユニット２０４は、ベイズ推定ロジックを使用して推定値を提供することができる。

１つの実施形態において、確率的位置特定ユニットは、粒子フィルタ位置特定を用いることができる。粒子フィルタ位置特定は、センサデータと位置情報の予測変化とによって各々更新することができる幾つかの可能性のある位置（又は「粒子」）を保持することができる。センサデータに基づいて、確率は各位置と関連付けることができる。粒子は、最終位置推定値を生成するのに用いることができる。１つの実施形態において、粒子の加重平均を用いて、最終位置推定値を生成することができる。

１つの実施形態では、ニューロンコントローラ部分２０６は、ニューロン海馬シミュレーション２０８とニューロンアクチュエータ制御部２１０を含む。位置特定ユニット２０４により、ニューロンコントローラ部分２０６がより良好な位置決定情報を提供することを可能にすることができる。海馬シミュレーション２０８は、位置特定ユニット２０４に対して位置推定値及び確率推定値を更新するのを助ける情報を提供することができる。図２Ａの実施例において、ニューロン海馬シミュレーション２０８の位置決定情報は、アクチュエータ２１２を制御することができるニューロンアクチュエータ制御部２１０に送信することができる。レーザセンサ２１４及び走行距離計測センサ２１６は、ニューロンコントローラ部分２０６及び非ニューロンコントローラ部分２０２の両方が使用することができる。

位置特定ユニット２０４は、位置特定及び地図構築の同時実行（ＳＬＡＭ）ユニットとすることができる。ＳＬＡＭは、ロボットの位置を特定しながら地図生成を同時に行うことができる。

本発明の１つの実施形態は、センサ２１４及び２１６と、該センサからの入力を受け取るコントローラ２２０とを含むデバイス２００である。コントローラ２２０は、ニューロンコントローラ部分２０６及び非ニューロンコントローラ部分２０２を含むことができる。非ニューロンコントローラ部分２０２は、位置特定モジュールを含むことができる。位置特定モジュール２０４は、データをニューロンコントローラ部分に提供することができる。アクチュエータ２１２は、コントローラ２２０からの制御コマンドを受け取ることができる。

ニューロンコントローラ部分２０６は、データを位置特定ユニット２０４に提供することができる。アクチュエータ２１２の少なくとも１つは、ニューロンコントローラ部分２０６が制御することができる。デバイス２００は、ロボットとすることができる。

Ｄａｒｗｉｎ＋＋は、位置に関する情報をエンコードするために確率的位置特定アルゴリズムを海馬と呼ばれる脳領域の能力と組み合わせるハイブリッドモデルである。Ｄａｒｗｉｎ＋＋は、Ｄａｒｗｉｎ Ｘ（付属書参照）の海馬モデルに基づいているが、環境を地図構築して当該地図上のロボットの位置を決定する非ニューロン要素が追加されている。情報は、位置特定モジュールから神経シミュレーションに流れ、次いで、該シミュレーションから戻って位置特定モジュールの位置の仮説を変更する。デバイスの位置は、多くの位置特定仮説（粒子）を保持する粒子フィルタにより決定することができる。全ての時間ステップにおいて、あらゆる粒子は、感覚データ及び運動コマンドに従って更新され、デバイスに対し最も可能性の高い新しい位置を提供することができる。

特定の粒子が、データをもたらす正しい位置である可能性が極めて低くなると、この粒子はフィルタから消失する可能性がある。正規の粒子フィルタでは、仮説は、残存する粒子のうちの１つの無作為にサンプリングされたコピーと置き換えられる。１つの実施形態において、仮説は、ＣＡ１内の場所細胞活性から引き出された仮説に置き換えることができる。このシステムは、それ以外では、海馬モデル、行動選択及び評価依存学習の性質に関する更なる情報をもたらすことになるはずの付属書内のものと実質的に類似している。

１つの実施形態において、海馬位置特定部ＢＢＤは、自然環境においては位置特定、経路計画、及び目標指向行動を示すナビゲーションシステムである。本システムは、その位置を位置特定するための視覚、レーザ、及び自己動作情報と、経路を計画するための行動選択システムとを組み合わせることができる。１つの実施形態において、本システムは連想記憶に依存するので、センサ故障に対してロバストとすることができ、センサの１つ又はそれ以上が損なわれたときでも効率的にナビゲートすることができる。

図２Ｂは、Ｄａｒｗｉｎ＋＋の神経構築の詳細を示す。感覚入力は、海馬複合体に到達する前に皮質領域を通る。レーザ情報は、海馬への２つの経路をとることができ、すなわち第１に、範囲データが感覚情報として海馬に直接供給され、第２に、非神経位置特定アルゴリズムが、海馬に供給する神経領域内で組織分布的にエンコードされる空間の地図上の位置の推定値を生成することができる。次いで、海馬ループは、海馬領域ＣＡ１からの出力が運動領域に進み、次いでホイールを駆動する状態で、情報を処理することができる。またＣＡ１からの出力を用いて、位置特定モジュールの新しい位置仮説を生成することができる。１つの実施形態において、神経シミュレーションは、９００００の細胞及び１５０万のシナプスを有することができる。

表１は、Ｄａｒｗｉｎ＋＋システムの１つの実施形態におけるニューロンユニットの特性を定義するパラメータの値を示している。領域Ｖ１、ＨＤ、ＬＯＣ_IN、Ｒ＋及びＲ−は入力領域であり、これらの活性は、それぞれ、カメラ画像、走行距離計、確率的位置特定アルゴリズム及びＩＲセンサに基づいている。領域Ｖ１及びＶ２／Ｖ４は、色（赤色、緑色、青色及び黄色）に関して調整された４つのサブ領域と、可変の幅垂直バー用に調整された４つのサブ領域とを有する。その名称（例えば、ＥＣ_INｉ）に小文字ｉを伴う領域は、抑制ニューロンユニットを含む。この表は、各領域又は各サブ領域（サイズ）におけるニューロンユニットの数を示している。各領域におけるニューロンユニットは、固有の発火閾値（σ−ｆｉｒｅ）、これを上回ると電圧依存結合が作用することができる閾値（σ−ｖｄｅｐ）、持続パラメータ（ω）、及び倍率（ｇ）を有する。

表２は、Ｄａｒｗｉｎ＋＋システムの実施形態における解剖学的投射及び結合タイプの特性を示している。シナプス前ニューロンユニットは、所与の確率（ｐ）及び所与の投射形状（軸）を有してシナプス後ニューロンユニットを結合する。この樹状形状は、高さ及び幅（ｈ ｘ ｗ）を有する矩形「［］」、又は内側半径及び外側半径（ｒ１，ｒ２）によって制限されたリングサイズを有するドーナツ形もしくはリングの側方結合「Θ」、或いは、シナプス前又はシナプス後ニューロンユニットの何らかのペアが所与の結合確率を有する非組織分布的な「ｎｏｎ−ｔｏｐｏ」とすることができる。初期結合強度ｃｉｊ（０）は、最小値及び最大値（ｍｉｎ，ｍａｘ）により与えられた範囲内で均一に分布して無作為に設定される。ｃｉｊ（０）の負の値は抑制結合を示す。「ｉｎｔｒａ」でマークされた結合は、視覚的なサブ領域内の結合を示し、「ｉｎｔｅｒ」でマークされた結合は、視覚的なサブ領域間の結合を示す。＃でマークされた投射は、正の評価依存であり、これら投射は、ＴＤ学習にＳ＋領域を使用する。＊でマークされた投射は負の評価依存であり、ＴＤ学習にＳ−領域を使用する。結合タイプは、電圧独立（ＶＩ）又は電圧依存（ＶＤ）とすることができる。φは結合の持続性を示す。η、ｋ１及びｋ２の非ゼロ値は塑性結合を示す。

図３Ａは、ハイブリッドデバイス３００の別の実施例を示す。この実施例において、ＩＲセンサ３０２、カメラ３０４及びレーザセンサ３０６などのセンサからの情報は、非ニューロンセンサ処理部３０８に送ることができる。非ニューロンコントローラ３１０は、物体マニピュレータアクチュエータ３１２のような少なくとも１つのアクチュエータを制御することができる。ニューロンコントローラ部分３１４は、カメラ配向アクチュエータ３１６のような少なくとも１つのアクチュエータを制御することができる。１つの実施形態において、ニューロンコントローラ部分３１４及び非ニューロンコントローラ部分３１０は、動作アクチュエータ３１８のようなアクチュエータの制御を分担することができる。例えば、ニューロンコントローラ部分３１４は、非ニューロンコントローラ部分３１０によるオーバライドにより動作アクチュエータ３１８を制御することができる。

ニューロン及び非ニューロンコントローラ部分３１４及び３１６は各々、センサ処理部分３２０及び３０８とアクチュエータ制御部分３２２及び３２４とを有することができる。信号は、必要に応じてこれらの部分間に送ることができる。

１つの実施形態において、レーザ及びＩＲデータは、非ニューロンコントローラ側に完全に留まることができ、該データを用いて運動コマンドを発生させて非ニューロンコントローラによりボールキャッチャを作動させることができる。経路は、感覚処理要素からアクチュエータ制御要素に位置付けることができる。

１つの実施形態において、デバイス３００は、センサ３０２、３０４及び３０６と、該センサ３０２、３０４及び３０６からの入力を受け取り、且つニューロンコントローラ部分３１４及び非ニューロンコントローラ部分３１０を含むコントローラ３０１と、該コントローラ３０１からの制御コマンドを受け取るアクチュエータ３１６、３１８及び３１２とを含む。アクチュエータ３１２の少なくとも１つは、ニューロンコントローラ部分によって制御することができる。アクチュエータの別の少なくとも１つは、非ニューロンコントローラ部分３１０によって制御することができる。

１つの実施形態において、アクチュエータ３１８は、ニューロンコントローラ部分３１４及び非ニューロンコントローラ部分３１０の両方によって制御される。

デバイス３００は、移動ロボットのようなロボットとすることができる。ニューロンコントローラ部分３１４及び非ニューロンコントローラ部分は、ロボット上に存在することができる。

Ｓｅｇｗａｙ Ｓｏｃｃｅｒ Ｂｒａｉｎ−Ｂａｓｅｄ Ｄｅｖｉｃｅ（ＳＳ−ＢＢＤ）は、擬似神経系ニューロンコントローラ部分及びより従来的なロボット制御アルゴリズムの両方から構成される例示的なハイブリッド制御システムである。擬似神経系は、脊椎動物神経系の簡易モデルに基づくことができる。神経シミュレーションは、主として感覚運動制御を担うことができ、非ニューロンコントローラは、より高レベルの行動選択を提供することができる。図３Ｂは、例示的なハイブリッド制御システムのアーキテクチャを示しており、以下のように説明することができる。ＩＲセンサ、カメラ、及びレーザ距離計は、システムに対し感覚入力を提供する。行動選択は、中央モジュールとすることができ、近隣物体に関するＩＲセンサからの非神経入力を受け取ることができ、又、神経視覚系によって視覚データを解釈させる。行動選択は、頭部及び胴体動作ニューロン領域を通して直接コマンドを幾つかのアクチュエータに送り、間接コマンドをＳＳ−ＢＢＤのホイールに送ることができる。デバイスの動作はまた、障害物検出及び回避機構（経路計画システム）の影響を受ける可能性がある。

視覚の初期段階は、非神経性のものとすることができる。ＲＧＢカメラ画像は、数学的アルゴリズムによってＹＵＶ色空間画像に変換することができる。Ｙコンポーネント（光強度情報）は、数学的アルゴリズムによってエッジ検出することができる。画像のＵＶコンポーネント（色情報）は、前に生成された顕著な色の参照テーブルと比較することができる。参照テーブルは、画像内の固有の色が顕著な色の１つに一致する確率を表すことができる。

神経処理は、次の段階で始めることができ、エッジフィルタ処理された画像は、エッジ情報を示すニューロン群における活性値に変わり、顕著な色の確率的表現は、これらの色を示すニューロン群における活性に変わることができる。これらの群は、第１及び第２の視覚野内の領域にほぼ等しくなることができる。

これらの色及びエッジ群は、その活性がサッカーボールのような視野内のある顕著な物体の存在を示すニューロン群に結合することができる。これらの群は、下部側頭葉及び頭頂葉皮質の機能に類似する機能を有することができる。

運動ニューロン領域は、ＳＳ−ＢＢＤの頭部（パン−チルトカメラ）及び胴体（ホイール速度）を制御することができる。これらの群内の活性は、オーバライド運動が存在しなければ、現在追跡されているあらゆる標的物体に接近するようにデバイスを駆動することができる。

ボールハンドリングアクチュエータは、非神経行動選択コントローラによって直接駆動することができる。

非神経アルゴリズムは、あらゆる所与の時間においてどの物体が顕著であるか、及びその物体が所定位置に留まっている間に接近すべきか又は単に追跡すべきかどうかを決定する役割を担うことができる。例えば、ＳＳ−ＢＢＤは、相手を追跡することができるが、ボールが近くに転がると、ボールは捕捉されるべきである。行動選択機構は、標的を変える決定を行う役割を担うことができる。行動選択は、標的物体を示す神経視覚領域からの情報を使用してこれらの決定を行うことができる。行動選択はまた、ＩＲセンサからの非神経的に処理された情報を使用することができる。行動選択は、追跡することを決定したあらゆる物体ニューロン群（例えば、ボール）とヘッドニューロン群との間の時間的結合を形成し、従って、その物体を自動的に追跡する神経制御ループを生成することができる。

非神経アルゴリズムは、レーザ距離計及びＩＲセンサからの情報を使用して、避ける必要のある障害物が近隣に存在するか否かを判断することができる。この場合、アルゴリズムは、現在の標的物体（行動選択機構によって選択された）に接近する必要性と、障害物に衝突しないようにする必要性とのバランスをとろうとする。障害物位置に関する情報は、レーザデータから得ることができ、障害物位置に関する情報は、標的物体ニューロン領域における活性から抽出することができる。障害物が存在するときには、障害物回避モジュールからの運動出力は、本体ニューロン群からの出力をオーバライドすることができる。

図４はＳＳ−ＢＢＤデバイスを示している。これらのデバイスは、（Ａ）能動捕捉デバイス、（Ｂ）レーザ距離計、（Ｃ）パン−チルトユニット及びカメラ、（Ｄ）キック組立体、（Ｅ）受動捕捉リング、及び（Ｇ）衝突バーを含むことができる。

ＳＳ−ＢＢＤは、Ｓｅｇｗａｙ Ｈｕｍａｎ Ｔｒａｎｓｐｏｒｔｅｒの市販のロボットのバージョンであるＳｅｇｗａｙ Ｒｏｂｏｔｉｃ Ｍｏｂｉｌｉｔｙ Ｐｌａｔｆｏｒｍに基づくことができる。６つの小型Ｐｅｎｔｉｕｍ（登録商標） ＩＶ ＰＣ群及びこれを４５分間駆動するのに十分なバッテリ容量を含む市販用ベースの上にアルミニウムシャーシが置かれる。緩衝取付衝突アームが、衝突又はバランスコントローラ故障の際にデバイスを保護する。ＳＳ−ＢＢＤは、カラーカメラ、レーザ距離計、及びデジタルコンパスを含む種々の感覚システムを有する。短距離ＩＲ近接センサのバンクは、近隣のサッカーボールを検出するためにデバイスの周囲の下部に装着することができる。ＩＲセンサの１つのバンクは、前面に装着されたカメラ及びレーザ距離計の感知している円弧の外側にある近隣の非ボール障害物を検出するために、ボール高さよりも上の後部に装着することができる。

ＳＳ−ＢＢＤは、サッカーボールを扱うことが可能になるソレノイド作動デバイスを有することができる。可撓性の顎状プラスチックキャッチャのペアが、デバイスの前に接して堅固にボールを挟むことができ、ボールと共にデバイスを所定位置で回転させることができるようになる。ボールをキックするために、キャッチャが引き上げられ、ソレノイドの第２のセットが４つのバー連結を作動させ、ボールに推進力を与えることができる。受動デバイスは、側面及び後部上に入ってきたボールを捕捉するのを助け、ストラップ上に装着された可撓性プラスチックのリングが、入ってきたボールの衝撃を吸収し、ボールがリングの下に滑り、ボールをデバイスにトラップすることができる。次に、下部に装着されたＩＲセンサは、ボールがデバイスのいずれの側に位置しているかに関して検出することができ、単純な定位置旋回運動は、ソレノイド駆動キャッチャを用いてデバイスがボールを捕捉する前面にボールが位置するまで、デバイスが回転することができるようにする。

図３Ｂは、１つの実施形態の制御システムの全体アーキテクチャを記載しており、以下のように説明することができる。ＩＲセンサ、ファイヤワイヤカメラ及びレーザ距離計は、システムに感覚入力を提供することができる。行動選択は中央モジュールを有することができ、中央モジュールは、近隣の物体に関するＩＲセンサからの入力を受け取り、更に、神経視覚系によって解釈された視覚データを得ることができる。行動選択は、頭部及び胴体動作ニューロン領域を通して幾つかのアクチュエータに直接コマンドを送信し、ＳＳ−ＢＢＤのホイールに間接コマンドを送信することができる。本デバイスの動作はまた、障害物検出及び回避機構（経路計画システム）によって影響を受けることができる。

１つの実施形態において、有効な行動を保証するために、ロボットサッカーは、プレイしているフィールド上の物体を識別するために、迅速でロバストな視覚情報処理を必要とすることができる。この節においては、この要件を満足するために適用した方法及びアーキテクチャを説明する。

視覚情報は、毎秒３０フレーム及び６４０ｘ４８０ピクセルで動作する広角レンズを備えたＳｏｎｙ製ＩＥＥＥ１３９４カメラによって、ＳＳ−ＢＢＤに提供することができる。未処理の感覚ピクセルデータは、輝度及び色チャネルに分離することができる（ＹＵＶ色空間）。図３Ｃは、この視覚情報が、神経シミュレーションによって処理される方法を示すことができる。すなわち、輝度情報は、ニューロン領域を検出するエッジのセットを提供し、色情報は、ゲームに関連する特定の色を検出するのに専用のニューロン領域を動作させることができる。これらの初期視覚領域からの情報は、ゲームに関連する物体を検出するニューロン領域内で組み合わされる。

１つの実施形態において、異なる色又は色の組合せを有するロボットセンサフィールド上の５つの重要な物体、すなわち、自分のゴール、相手のゴール、ボール、チームメート及び対戦相手が存在する。視覚系は、６つのニューロン色群を使用することができ、その各々が好ましい色、すなわち、赤色、緑色、青色、黄色、ピンク色及び紫色を有する（図３Ｃを参照）。主に色ベースの物体認識をスピードアップするために、ツールは、ＵＶ色空間上の各色に関して参照テーブルを生成することによって、これらの好ましい色を認識することができる。色のテーブル内の値は、その固有の色に属する特定のＵＶ座標の確率と見なすことができる。色参照テーブルを生成するための例示的なユーザインターフェースからのスナップショットが図５に示されている。

視覚及び物体認識神経系は、１５個のニューロン領域を含むことができる。図３Ｃは、様々なニューロン領域、フィードフォワード及び再発興奮性配置、及び抑制シナプス結合を含むシステムの高レベル図を示している。このモデルは、霊長類視覚系の最近のモデルに基づいており、ここで、エッジ及び色フィルタ処理ニューロン領域が１次視覚野にほぼ対応し、物体認識ニューロン領域が、下部側頭葉及び頭頂葉皮質に類似した機能を実施する。ニューロン視覚領域の色及びエッジ群は、前処理された視覚感覚入力との直接的で組織分布的な結合で存在することができる（図３Ｃ）。
・６つの色ニューロン群の各々は、画像がその色参照テーブルによって決定された好ましい色にどれほど近く一致するかに比例した活性を有することができる。すなわち、色群における各細胞の活性は、画像内のピクセルの好ましい色に対する「接近度」を示す。例えば、緑色のガラス上に赤いボールを有する絵では、赤色群の活性は、ボールが存在する座標上を除いて、殆ど全ての場所でほぼゼロ（休止）とすることができる。
・垂直方向、水平方向、及び２つの対角線上のエッジフィルタ処理されたＹチャネルは、対応する４つのエッジ群上に直接マッピングすることができる。ＳＳ−ＢＢＤの神経モデルにおいては、プレイしているフィールド上でロボットが認識する必要のあった各物体は、自己ニューロン領域、すなわち、ボール、ゴール、チームメート、対戦相手及び相手のゴール領域を有することができる（図３Ｃ参照）。これらの物体群は、１つ又はそれ以上の色ニューロン群からの組織分布的入力を受け取ることができる。

物体によっては単一の色を使用して検出することができる。例えば、ボールは赤色、ゴールは紫色、対戦相手のゴールはピンク色とすることができる。しかしながら、チームは、色の組合せによって示すことができ、例えばある場合において、自分のチームは、同じ色標識上で紫色及び黄色である。これらの物体に関して、対応するニューロン領域は、近隣の組織分布的な位置においてこれらの色の併用を認識することができる。ボールニューロン領域はまた、その形状すなわち特定の形状のエッジの併用によってボールを認識することができる。物体領域は、再発自己興奮性結合を有することができ、幾つかの物体領域はまた、他の物体領域に対する抑制結合を有していた。システムにより形成された抑制結合は、よりロバストとすることができる。視界において同じ場所内に存在するはずがない物体群は、互いに抑制結合を有することができる。これらを全てまとめて考えると、視覚物体認識は、色情報、調整された自己興奮性、並びに物体群及び形状情報間の相互抑制に基づくことができる。これら全てを合わせると、神経シミュレーションが効率的に物体を認識することが可能になる。

図３Ｃは、視覚系及び物体検出のための概略的な神経アーキテクチャを示しており、以下の特徴を有する。すなわち、視覚系及び物体検出のための概略的な神経アーキテクチャは、１）取得画像のＲＧＢからＹＵＶへの変換、２）ＵＶ領域におけるＹ（輝度）チャネルのエッジフィルタ処理及びカラーフィルタ処理、３）エッジ及び色ニューロン領域が物体ニューロン群と結合されること、４）相互／横方向興奮及び再帰的抑制が物体認識の改善の一助となることである。処理の流れにおける全ての結合は組織分布的とすることができる。黒丸を有する線は抑制を意味することができ、矢印は興奮結合を示すことができる。

図５は、ＵＶ領域における色固有のガウスエンベロープ参照テーブルの作成を示している。ユーザは、視野の領域を切り取り、切り取った領域は、選択された色（物体）だけからなることができるようにすることができ、上述の実施例においては赤いボールである。次に、統計的アルゴリズムは、切り取られた領域のＲＧＢピクセル値を読み取り、該ピクセル値をＹＵＶに変換し、該ＵＶ値だけに基づいて、ＵＶ空間上の２次元確率面のようなガウス分布を生成する。この面は、保存されて、その特定色に関する参照テーブルとして使用することができる。

人間が物体を探すときには、頭部及び目の両方が適切な方向に向いているが、目は、より迅速に動くので最初に辿り着く。目が物体に対するサッカードを完了した後、頭部が回転を完了すると、目は円滑追跡相に入って物体を追跡し、次いで、目はもう一度頭部の中心に位置するようになる。又、標的への移動の場合のように胴体もまた視覚探索に関わる場合、目−頭部協働の後に胴体が頭部を再び中心に戻す。

ＳＳ−ＢＢＤの標的追跡行動は、人間の行動に類似することができ、すなわち、カメラサッカードは標的物体に目を向けることができ、胴体は、追従するように回転するが、カメラは、物体をスムーズに追跡する。次の段落では、このアルゴリズムを実施することができる神経機構を説明する。ニューロン物体領域の活性は、網膜部位に作られ、標的物体であるように選択されたこれらの領域のいずれもが、網膜部位のパン領域及びチルト領域に投射することができる。従って、パン領域の活性は、標的領域における活性の水平分布を反映することができる。パン領域における活性は、トポロジー方法でパンアクチュエータを駆動することができ、領域の右へのより大きい活性は、カメラが右に向くことを意味する。従って、カメラは、右に向き、画像の右半分内にある物体を再び中心にすることができる。チルト領域は、垂直方向で同様に作動することができる。標的物体の速度に関する情報はまた、パン及びチルト領域の活性を変更することができる。これによって、凝視システムは、位置情報のみが使用された場合に可能であるよりも迅速に動いている物体を追跡することができる。標的物体の見かけの速度は、連続的に計算することができる。２つのスリップ領域（垂直位置に１つと水平位置に１つ）は、標的物体が存在することが予測される場所を示す活性を有することができ、現在の位置及び速度が与えられる。水平方向のスリップ領域は、パン領域に投影することができ、垂直方向のスリップ領域は、チルト領域に投影することができる。このアーキテクチャの結果は、動いている物体に遅れるのではなく、その物体をリードする傾向があること、従って、頭部に追従する胴体動作がより滑らかな軌跡を有することとすることができる。

次に、パン領域の活性は、ＳＳ−ＢＢＤの回転速度を制御する胴体運動領域に組織分布的に投射することができる。胴体領域内の中心から外れた活性は、当該方向での回転を生じることができる。総合システムは、視覚領域から運動領域に至る活性のカスケードをもたらすことができ、これは行動の変化及び視覚入力の変化を生じることになる。頭部−胴体追跡があまり制約されていなければ、追跡行動が以外にも幾分滑らかな動作にすることができる。しかしながら、カメラ及び胴体動作の時間定数が極めて異なることにより、追跡行動がほとんどの環境において減衰不足になるのが防止される。

コントローラの非神経要素は、２つのレベル、すなわち行動とプレイ上に編成することができる。行動は、物体を探索する又はボールをキックするなど、デバイスが行う原子動作とすることができる。各行動は、他の行動から独立して運動ニューロン領域にコマンドを送る別個のコントローラとすることができる。１つの実施形態において、１つの行動のみがどの時点においても活性化であることが可能であり、センサから直接入力を受け取り、又は感覚ニューロン領域から事前処理された入力を受け取ることができる。基本プレイは、一連の行動と、コントローラが各新しい行動への遷移を引き起こすことになる感覚条件とから構成することができる。プレイはまた合成的とすることができ、すなわちより複雑なプレイは、他のプレイ並びに行動から構成することができる。あらゆるプレイは、実施可能な行動の同じセットを利用するが、これらの行動を種々の方法で再結合し異なる結果をもたらすことができる。最後に、人間のプレイヤがＳＳ−ＢＢＤによるプレイの通常の自律的実行をオーバライドすることを可能にする機構が存在してもよい。ボイスコマンドシステムは、ＳＳ−ＢＢＤにコマンドを無線中継する、人間のプレイヤのＳｅｇｗａｙ Ｓｃｏｏｔｅｒ上に設置することができ、人間のプレイヤによって要求された新しいプレイをＳＳ−ＢＢＤに実行させるようにする。

ＳＳ−ＢＢＤによって使用される行動は以下のこととすることができる。物体発見、すなわち標的物体が視覚的に認識されるまで所定位置でカメラをパンし、ＳＳ−ＢＢＤを回転させる。物体追跡、すなわちパン−チルトユニット及びＳＳ−ＢＢＤのホイールの両方を使用して標的物体に目を向けたまま標的物体に近づく。ボール捕捉、すなわちボールに近づくために最後の操作を行い、キャッチャを下ろしてボールを捕まえる。キック、すなわちキャッチャをボールから離して持ち上げ、キックソレノイドを作動させる。ボールのキック及び捕捉行動は、簡単で正確に調整されたコントローラとすることができる。ボール捕捉は、ニューロン視覚ボール領域及びＩＲからの直接の非神経信号の両方からのフィードバックを使用してボールを捕捉する正しい点にＳＳ−ＢＢＤを案内する比例コントローラとすることができ、この点でソレノイドを作動させる。キックは、約１．５ｍ／ｓで進む真っ直ぐで力強いキックをもたらすキャッチャソレノイド、キッカーソレノイド及びホイールに対するオープンループシーケンスのコマンドとすることができる。両行動は、ボールが上手くキック又は捕捉されていない場合に、処理を補正又は再始動することができる幾つかのエラー補正ロジックを有することができる。

物体発見行動及び物体追跡行動は、神経シミュレーションによって検出されるあらゆる物体、すなわちサッカーボール、フィールド上のゴール、チームメート、又は対戦相手のいずれかに対して作動するように設定することができる。物体発見は、その実行の環境に応じて、２つの異なるアルゴリズムすなわち、（１）前に追跡していた物体の一時的な喪失の間に呼び出された場合と、（２）新規の探索のために呼び出された場合とを有することができる。第１のケースは、標的物体に関して何らかの速度情報が存在する場合に起こることができ、物体発見は、この情報を用いて物体の移動が観測された同じ方向で探索を誘導する。この速度信号によって、幾つかの障害物によって一時的に閉ざされた物体の経路を物体発見が追従し続けることが可能になる。或いは、物体発見は、標的物体に関し無作為の方向で探索することができる。パン−チルトユニットは、デバイスの胴体が回転できるよりも高速にカメラを追跡することができるので、該ユニットは、物体に関するパンの制限に対してヘッドチェックを最初に行う。見つからなかった場合、デバイスは、頭部動作から胴体動作に同じ方向で滑らかに遷移することができる。

物体追跡行動は、目／頭部−胴体協働に関する心理物理学的データの基づくことができ、神経機構を使用して実施することができる。ＳＳ−ＢＢＤが、ボールを持っていないとき（例えば、こぼれ球を追跡している間）には、物体追跡によってＳＳ−ＢＢＤは前進し且つ標的の方に向くことができるようにする。ＳＳ−ＢＢＤがボールを持っているとき（例えば、ゴールへのシュートの位置についているとき）には、所定位置で単に回転することができる。前進時、物体追跡は、標的追跡と障害物回避とのバランスをとる計画された障害物回避アルゴリズムを使用する。人間が道に沿って障害物を回避しながら、所望の位置に到達しようとするタスクに直面すると、人間のナビゲーション行動は、簡易力学モデルによって説明され予測することができる。ＳＳ−ＢＢＤは、障害物が存在する際の物体追跡行動を実行するときに、この人間心理物理学モデルを使用して経路を計画することができる。

このモデルは、標的と障害物の両方に対する角度進行方向及び距離の関数としてＳＳ−ＢＢＤの角速度を制御することができ、この場合、各障害物に関する項を線形結合することによって、複数の障害物の存在を扱うことができる。因子の進行方向（φ）、障害物距離（ｄｏ）及び進行方向（Ψｏ）、標的距離（ｄ_t）及び進行方向（Ψ₊）は、因子の角速度を決定するためのバネ質量型方程式における変数である。
ここで、第１項は、標的物体への引力を抑制するバネ関数であり、第２項は、障害物からの斥力を決定づける関数である。この式において、進行方向は、ラジアン単位であり、距離はメートル単位である。ＳＳ−ＢＢＤによって使用されるモデルと人間行動を再現するように意図された原型モデルとの間に差異がある。人間モデルは、減衰項（すなわち、φの関数）を有することができるが、この例示的実施形態においては存在しない。標的物体に対する引力は、このモデルにおいては標的への距離に関連する必要がないが、人間モデルは、指数関数的な距離の項とすることができる。このモデルは、ロボット進行方向からはるかに離れている障害物に反応し、同じ方向にあるこうした障害物により強く反応する。ＳＳ−ＢＢＤは、人とは実質的に異なる動特性を有するので、障害物項に対する変更及び減衰項の除去を利用することができる。標的物体を発見するために視覚情報を使用するので標的物体項において距離依存関係が無いことを利用することができ、該視覚情報は、十分な進行方向情報を容易に提供するが、実質的な画像処理を行うことなく不十分な距離情報を提供する。

これとは対照的に、障害物は、正確な距離及び進行方向情報を提供するレーザ距離計の使用により検出することができる。障害物は、全てが距離計から２メートル未満にある、少なくとも３°の円弧の範囲を定める隣接レーザ測定値のあらゆるセットとして定義することができる。従って、障害物に関する値Ψｏ及びｄｏは、これら３つのレーザ測定値の平均値に等しくなることができる。３°要件は、障害物の偽陽性検出に対する耐性の尺度を提供する。このデバイスは、厳しい安全要件を伴う実環境において作動するので、ＳＳ−ＢＢＤの並進及び回転速度が付加的な制約を受ける。デバイスの通常の最大前進速度は５ｍ／ｓであるが、この速度は、レーザ距離計によって検出されるあらゆる障害物の平均距離に比例して低くすることができる。このことにより、クラッタ環境において速度を低下することによって安全性を高めることができる。障害物が前方弧において１ｍ未満にあり、後方弧において１ｍ内に障害物がない（後方ＩＲセンサによって決定されるように）限り、追加の安全性を提供することができる。

図７は、３つの基本的なプレイが行動及びこれらの間の条件遷移からどのように構成することができるかを表す有限状態オートマトンを示している。プレイ選択に至ると、別のプレイが選択され実行される。これらのアルゴリズムを使用する典型的な回避経路の実施例は図６で見ることができる。プレイは、行動よりも高レベルの制御とすることができる。プレイは、行動又は他のプレイからも構成することができる。プレイは、状態が特定の行動、動作又は他のプレイである有限状態オートマトンとすることができる。全ての有限状態オートマトンにおいて同様であるが、プレイを定義する制御の流れを決定する状態間の条件遷移のセットが存在する。ＳＳ−ＢＢＤ上で使用されるプレイのほとんどは、「ボールを追いかける」又は「チームメートにパスする」或いは「ダウンフィールドでゴール近くまで走る」といった、フィールド上の極めて単純な動作のレベルにあるものとすることができる。図７は、基本的プレイである、追いかけ、パス、及びダウンフィールド走を表す有限状態オートマトンを示している。１つの実施形態において、レパートリにおける他の基本的プレイは、シュート（標的が相手のゴールであること以外はパスと同じ）、アップフィールド走（標的を除いてはダウンフィールド走と同じ）、チームメートへの追従、対戦相手のマーク、自分のゴールのブロック、及び待機（所定位置に留まり、ボールを追跡しているが、捕捉するためにボールが十分に近づくまで前進しない）とすることができる。ＳＳ−ＢＢＤはまた、基本的プレイから構成されたより複雑な幾つかのプレイを有することができる。このようなものの１つは、ダウンフィールドでボールを移動させるように設計された単純な攻撃的プレイである。プレイの流れは、追いかけからパス、及びダウンフィールド走に移行する。ダウンフィールド走が完了すると、プレイは、追いかけに戻り、シーケンスを繰り返すことができる。シーケンスにおける各サブプレイは、その正常な実行を終了したときに次のサブプレイに遷移することができる。

どの時点においても、制御の流れは、人間のチームメートからの声のコマンドによって中断することができる。人間が乗るＳｅｇｗａｙ ＨＴ スクータは、マイクロフォンに結合された音声認識ボード（例えば、カリフォルニア州Ｓａｎｔａ Ｃｌａｒｉｔａに所在のＳｅｎｓｏｒｙ Ｉｎｃ．のＶｏｉｃｅ Ｅｘｔｒｅｍｅ（商標）Ｔｏｏｌｋｉｔ）を有し、特定の音声に対して訓練した後、約１２個の個別の短いフレーズについて認識することができる。これらのフレーズは、ＳＳ ＢＢＤのレパートリ内の種々のプレイについてのコードネームとすることができ、このような各フレーズについて、対応するコマンドがＳＳ ＢＢＤに無線送信され、ＳＳＢＢＤは、該コマンドを受信すると直ちに目的のプレイを実行する。

模倣生物学は、近年ロボットシステム構築において広く認められた手法になったが、発明者らはシステム神経科学レベルでの行動制御に特に関心がある。脊椎動物神経解剖学及び神経生理学の大規模神経シミュレーションを利用して、実際の神経がどのように機能するかの仮説をテストすることができる。このような神経シミュレーションは、抽象的なシミュレーション世界において動作するのではなく、リッチ環境と相互作用する現実世界のデバイスにおいて具現化されることが重要であると考えている。動物行動の複雑性の大半は、神経系、胴体の他の部分及び環境間の相互作用に起因する。脳ベースデバイスの手法は、従来の技術手法及び人工知能手法を用いては得ることが困難なロバスト性と適応性とを備えて、動的環境においてタスクを持続し且つ遂行する必要があるロボット設計に対する知見を提供する。発明者らは、ＢＢＤ法をこのＳｅｇｗａｙサッカーロボットの設計に応用して、人間と協働的及び競合的、並びに最も重要なことには安全に相互作用することが可能なデバイスを提供した。

これらの２つのデバイスにおいて、ニューロン制御要素及び非ニューロン制御要素が互いにどのように相互作用するかを説明する例示的な動作原理がある。
・ニューロン群における活性量は、非ニューロンコントローラに決定を行わせることができる。例えば、ボール領域のニューロンユニットの総活性が閾値を上回る場合、ボールは視界内に存在し、動作選択ユニットは、ボールを追いかけるよう決定することができる。
・組織分布的にマッピングされたニューロン群における活性の位置は、制御信号として非ニューロンコントローラが使用することができる。例えば、ボールを追跡している間に、障害物がＳＳ−ＢＢＤの前で発見される。ボール領域内の活性の質量中心は、視界におけるボールの方位角及び進行方向に対応するｘ、ｙ値を提供することができる。ボールの進行方向は、障害物回避アルゴリズムが障害物進行方向と併用して使用して、ＳＳ−ＢＢＤがどの方向に駆動すべきかを判断することができる。
・非ニューロンコントローラは、ニューロン群の間に一時的な結合を生成することができる。例えば、動作選択モジュールは、ボールを追いかけるべきであることを決定する。非ニューロンコントローラは、ボール群から頭部運動群への結合を生成し、結果として得られるニューロン活性のカスケードにより、ＳＳ−ＢＢＤがボールを追いかけるようになる。
・非ニューロンコントローラは、ある特定の状況において、ニューロンコントローラの運動出力をオーバライドすることができる。例えば、障害物回避モジュールは、自己の運動コマンドを優先して障害物を検出したときに、頭部−胴体ニューロンコントローラの出力を抑制することができる。
・ニューロンコントローラ及び非ニューロンコントローラの両方は、同じ入力ストリームを共有することができる。例えば、Ｄａｒｗｉｎ＋＋は、感覚の皮質領域に直接進むレーザ距離データを有する。同じデータはまた、位置特定モジュールによって処理され、地図上の位置を決定することができる。
・推定値を改良するニューロンコントローラと非ニューロンコントローラとの間の情報の循環流れを構築することができる。例えば、Ｄａｒｗｉｎ＋＋において、位置特定モジュールは、位置の推定値を提供する。すなわち、この推定値は、海馬の複雑モデルに与えられる幾つかの感覚手法の１つである。海馬のＣＡ１領域内のニューロンユニットは、場所に強く関係している活性を有し、従って、これらのユニットの活性を用いて、閉じた円の位置特定モデルに関する位置の新しい仮説を提供することができる。
・非ニューロンコントローラは、神経活性を調節することができる。ＳＳ−ＢＢＤの１つのバージョンにおいて、ボールを追いかけている間にボール群から頭部群への一時的な結合が行われるのではなく、全ての物体領域から頭部群への結合が生じる場所でモデルが実装された。しかしながら、動作選択モジュールは、関心のある領域の基礎活性を増やし、物体領域間の相互抑制を許容して、頭部運動領域に向かう他の信号を無効にすることになる。

１つの実施形態において、コードは、約２０，０００回線を有し、以下：メイン：ソフトウェアのインフラストラクチャ；始動、停止、及び他のモジュール間の通信（１ｋ回線）。ディスプレイ：ユーザインターフェース及び神経シミュレーションの現在状態の視覚化（１．５ｋ回線）。視覚：カメラの低レベル操作及び画像前処理（３ｋ回線）。センサ：ＩＲセンサ、コンパス及びレーザ距離計の低レベル操作（２．５ｋ回線）。Ｓｅｇｗａｙ：Ｓｅｇｗａｙ Ｒｏｂｏｔｉｃ Ｍｏｂｉｌｉｔｙ Ｐｌａｔｆｏｒｍによる通信（８００回線）。アクチュエータ：パン−チルトユニット及びソレノイドの低レベル操作（７００回線）。音声：人間のプレイヤの音声声コマンドモジュールによる通信（３００回線）。シミュレータ：神経シミュレーション（５ｋ回線）。動作選択：デバイス行動を制御する非神経アルゴリズム（３ｋ回線）。位置特定：確率的アルゴリズムを使用してグローバル座標系におけるデバイスの位置を推定するコード（１ｋ回線、Ｄａｒｗｉｎ＋＋においてのみ）の主要なモジュールからなる。すなわち、総コードベースの約１／４がニューロン制御に専用で、１／６が非ニューロン制御専用、１／３が低レベルセンサ及びアクチュエータ操作、残りがインフラストラクチャ、通信、及びユーザインターフェース専用である。

表３は、１つのＳｅｇｗａｙ Ｓｏｃｃｅｒ ＢＢＤにおけるニューロンユニットの特性を定義するパラメータ値を示している。視覚的な予測物体位置及びパン−チルト位置領域は入力領域であり、これらの活性は、ハイブリッドの非神経要素によって（それぞれ、視覚処理アルゴリズム、物体領域活性の数学的変換、及びパン−チルトユニットに送られるコマンドによって）生成される。物体領域は、視界において特定の項目が配置される場所を表している。運動領域における活性は、様々なアクチュエータへのコマンドを生成するのに使用される。この表は、各領域又は各サブ領域におけるニューロンユニットの数（サイズ）を示している。各領域におけるニューロンユニットは、固有の発火閾値（σ−ｆｉｒｅ）、これを上回ると電圧依存結合が作用することができる閾値（σ−ｖｄｅｐ）、持続パラメータ（ω）、及び倍率（ｇ）を有する。

表４は、１つの実施形態のＳＳ−ＢＢＤにおける解剖学的投射及び結合タイプの特性の実施例を示している。シナプス前ニューロンユニットは、所与の確率（ｐ）及び所与の投射形状（軸）を有してシナプス後ニューロンユニットに結合する。この樹状形状は、高さ及び幅（ｈ ｘ ｗ）を有する矩形「［］」、内側半径及び外側半径（ｒ１，ｒ２）によって制限されたリングのサイズを有するドーナツ形もしくはリングの側方結合「Θ」、或いはシナプス前又はシナプス後ニューロンユニットの何らかのペアが所与の結合確率を有する非組織分布的な「ｎｏｎ−ｔｏｐｏ」とすることができる。適合する樹状分岐「Ｍ」は、あらゆるシナプス前群からシナプス後群への論理ＡＮＤ組織分布的投射を示している。初期結合強度ｃｉｊ（０）は、最小値及び最大値（ｍｉｎ，ｍａｘ）によって与えられた範囲内で均一に分布して無作為に設定される。ｃｉｊ（０）の負の値は抑制結合を示す。「ｉｎｔｒａ」でマークされた結合は、視覚的なサブ領域内の結合を示し、「ｉｎｔｅｒ」でマークされた結合は、視覚的なサブ領域間の結合を示す。＃でマークされた投射は、正の評価依存であり、これら投射は、ＴＤ学習にＳ＋領域を使用する。＊でマークされた投射は負の評価依存であり、ＴＤ学習にＳ−領域を使用する。結合タイプは、電圧独立（ＶＩ）又は電圧依存（ＶＤ）とすることができる。φは結合の持続性を示す。η、ｋ１及びｋ２の非ゼロ値は塑性結合を示す。

上記の各図及び表において示したようなハイブリッド制御デバイスの機能は、各々が１つ又はそれ以上のプロセッサを有するコンピュータにおいて実行されるソフトウェア（制御ロジックとも呼ばれる）を使用して実施することができる。ソフトウェアは、実行時にプロセッサに対して本明細書で説明された機能を実施させる。実施形態において、このようなソフトウェアは、コンピュータプログラム製品（限定ではないが、ＲＡＭ、ＲＯＭ、ＣＤ、ＤＶＤ、ハードドライブ、メモリスティック、インターネットによる電気信号、その他など）のコンピュータ使用可能媒体（限定ではないが、磁気記憶媒体、光学式記憶媒体、搬送波、その他など）内に記憶される。

本発明の好ましい実施形態の上記の説明は、例証及び説明の目的で提供された。本説明は、包括的であること又は本発明を開示された厳密な形態に限定することを意図するものではない。当業者であれば多くの修正及び変形形態が明らかであろう。実施形態は、本発明の原理及びその一部の応用を最も良く説明するように選択され説明されたが、これにより当業者であれば、種々の実施形態に関して並びに企図される特定の用途に好適な種々の修正形態と共に本発明を理解することが可能となる。例えば、本明細書で説明した特徴及び機能は、サッカーをプレーすることができるハイブリッドデバイスに加えて他の応用にも適用することができる。本発明の技術的範囲は、請求項及びこれらの均等物によって定義されるものとする。

（付属書）
脳ベースデバイス（ＢＢＤ）は、ＢＢＤが地形のいずれの側面を横断することができるか、及びいずれの側面を回避しなければならないかを学習することによって、変化する地形に適応することができる。ＢＢＤは、従来のロボットシステムの地図作成に勝る環境の態様に関して決定することができる。これらの決定は、本発明のＢＢＤが作る局所物体特徴部の知覚カテゴリーを必要とし、従って、ＢＢＤは、進路を計画することができるようになる。

本発明のＢＢＤは、神経領域、１つの実施形態においては、海馬、頭頂葉皮質、下部側頭葉、及び視床方向システムを有する擬似神経系を備えたニューロンコントローラ部分を含むことができる。海馬とこれらの領域との間の双方向の結合性（線図１Ａ参照）、並びに海馬内の複雑な結合性（線図１Ｂ参照）は、経時的にマルチモーダル情報をループし、且つ時間的文脈を伴う連想記憶の形成を可能にするシステムを備えることができる。ＢＢＤはまた、擬似神経系の制御下の現実世界環境において移動することを可能にする可動ベースと、ＢＢＤが物体を認識し且つ評価結果を有する動作を選択することができるようにするマルチセンサ入力とを有する。

線図１Ａ及び線図１Ｂは、非ニューロンコントローラ部分に結合を付加することによって変更することができるニューロン制御部分の実施例を示している。

線図１Ａは、海馬及びその周りの領域の複雑な解剖学的構造及び生理機能を含む、１つの実施形態のニューロンコントローラ部分１２の領域及び機能上の神経構造の概略図である。このニューロンコントローラ部分１２は、多数の物体からの空間信号を時間単位で統合し、環境２８のような未知の環境の探索の助けとなる融通性のあるナビゲーション解決策を提供することができる。ナビゲーションタスクの間にその神経領域から同時にサンプリングを行うことによって、以下でより詳細に説明する海馬のアーキテクチャは、空間的且つエピソード記憶の発達に重要である、異なる時間スケール上のマルチモーダル情報を編成する手段を提供する。

線図１Ａに示すように、ニューロンコントローラ部分１２は、理解できるようにかなり少ないニューロン及びあまり複雑でないアーキテクチャを有する哺乳類の神経系の解剖学的構造及び生理機能に基づいてモデル化されている。ニューロン制御部分１２は、人間脳の類似の皮質領域及び皮質下領域に従って標識される幾つかの神経領域を含むことができる。従って、線図１Ａは、Ｖ１ Ｃｏｌｏｒ、Ｖ２／４Ｃｏｌｏｒ、ＩＴ、Ｖ１ Ｗｉｄｔｈ、Ｖ２／４ Ｗｉｄｔｈ、Ｐｒ、ＨＤ、ＡＴＮ、ＢＦ、Ｈｉｐｐｏｃａｍｐｕｓ、Ｒ＋、Ｓ、Ｒ−及びＭ_HDGで標識されたそれぞれの神経領域を示している。各神経領域Ｖ１ Ｃｏｌｏｒ、Ｖ２／４Ｃｏｌｏｒ、その他は、ニューロンユニットの異なるタイプを含み、この各々は、ニューロンの局所固体群を示すことができる。線図１Ａに示す各楕円は異なる神経領域を示しており、その領域の各々が多くのニューロンユニットを有する。モデル化され又は擬似の神経領域を哺乳類の神経系の対応する領域と区別するために、擬似領域は斜体字（例えばＩＴ）で示している。

線図１Ａの神経構造はまた、１つの実施形態の様々な投射Ｐ（図の矢印を参照）を介してニューロンコントローラ部分１２の結合性を概略的に示している。投射Ｐは、ニューロンユニット間の複数のシナプス結合を含むことができる。シナプス結合は、信号をシナプス前ニューロンユニットからシナプス後ニューロンユニットに送ることを可能にすることができる。投射Ｐは、神経領域内又は神経領域間のいずれかにあるものとすることができる。更に、投射Ｐは、線図１Ａ内の説明文によって示される特性を有することができ、すなわち、（１）「電圧独立性」、（２）「電圧依存性」、（３）「可塑性」、（４）「抑制性」、及び（５）「評価依存性」であり、以下で詳細に説明する。

擬似神経系１２への入力は、ＣＣＤカメラ１６、ホイール走行距離計１８、壁３０検出用のＩＲセンサ２２、２４、及び環境２８の隠しプラットホーム３６から得ることができる。擬似神経系１２の神経領域は、視覚野（Ｖ１、Ｖ２／４）、下部側頭葉（ＩＴ）、頭頂葉皮質（Ｐｒ）、方向細胞（ＨＤ）、視床前核（ＡＴＮ）、自己本位の進行方向に対する運動領域（Ｍ_HDG）、評価システム（Ｓ）、並びに正及び負の報酬領域（Ｒ＋、Ｒ−）に類似することができる。海馬は、３つの主要なセンサ入力流れ（ＩＴ、Ｐｒ、ＡＴＮ）、運動システム（Ｍ_HDG）及び評価システム（Ｓ）と結合することができる。明瞭にするために、神経領域の各々内の内在的結合は線図１Ａから割愛した。

線図１Ｂは、海馬領域内の詳細な結合性を示している。モデル化された海馬は、内嗅皮質（ＥＣＩＮ、ＥＣＯＵＴ）、歯状回（ＤＧ）、ＣＡ３サブフィールド及びＣＡ１サブフィールドに類似する領域を含むことができる。これらの領域は、フィードバック抑制（例えば、ＣＡ３−＞ＣＡ３ＦＢ−＞ＣＡ３）、フィードフォワード抑制（例えば、ＤＧ−＞ＣＡ３ＦＦ−＞ＣＡ３）、及び律動抑制（例えば、ＢＦ−＞Ｈｉｐｐｏｃａｍｐｕｓ）を引き起こす介在ニューロンを含むことができる。

擬似神経系１２の更に詳細な説明が以下に記載する表１及び表２に与えられる。しかしながら全体的に、擬似神経系１２の１つのバージョンにおいては合計で５０ニューロン領域、５０ニューロン領域内に９０，０００ニューロンユニット、及び約１４０万のシナプス結合が存在する。

線図１Ａに示すニューロンコントローラ部分１２は、５つのシステム：すなわち、（１）視覚系３８、（２）方向システム４０、（３）海馬体４２、（４）評価システム４４、及び（５）動作選択システム４６を含むことができる。
（線図１Ａ．視覚系３８）

視覚系３８は、霊長類の後頭側頭の又は腹側皮質経路及び背側皮質経路に関してモデル化することができる。視覚系における、線図１Ａに示す腹側皮質経路（Ｖ１ ｃｏｌｏｒ−＞Ｖ２／４ ｃｏｌｏｒ−＞ＩＴ）は、下部側頭葉（ＩＴ）において受容野が視野全体を覆って地形がなくなるまで漸次的手に大きくなる受容野を有する連続した領域のニューロンユニットを含むことができる。線図１Ａに示す背側皮質経路（Ｖ１ ｗｉｄｔｈ−＞Ｖ２／４ ｗｉｄｔｈ−＞Ｐｒ）は、物体のサイズ及び位置に反応するニューロンユニットを含むことができる。

ＣＣＤカメラ１６からの視覚画像は、色及びエッジに関してフィルタ処理することができ、フィルタ処理された出力は、領域Ｖ１−Ｃｏｌｏｒ及びＶ１−Ｗｉｄｔｈにおいて神経活性に直接影響を及ぼす。例えば、ＣＣＤカメラ１６は、ＮＯＭＡＤ１０上のＲＦ送信機を介して、神経シミュレーションを実行しているコンピュータワークステーション（以下で説明する）の１つに取り付けられたフレームグラバーに３２０ｘ２４０ピクセルＲＧＢビデオ画像を送信することができる。この画像は、空間的に平均化されて８０ｘ６０ピクセル画像を生成することができる。異なるサイズのＧａｂｏｒフィルタ（８ｘ８、１６ｘ１６、３２ｘ３２及び６４ｘ６４）を用いて、変化する幅の垂直エッジを検出することができる。Ｇａｂｏｒ関数の出力は、対応するＶ１幅サブ領域（Ｖ１−ｗｉｄｔｈ８、Ｖ１−ｗｉｄｔｈ１６、Ｖ１−ｗｉｄｔｈ３２及びＶ１−ｗｉｄｔｈ６４）のニューロンユニット上に直接マッピングすることができる（線図１Ａには示していない）。カラーフィルタ（例えば、緑色のネガの周囲を伴う赤いポジの中心、緑色のポジの周囲を伴う赤いネガの中心、赤−緑のネガを伴う青いポジ、及び赤−緑のポジを伴う青いネガ）を画像に適用することができる。カラーフィルタの出力は、Ｖ１ Ｃｏｌｏｒのサブ領域であるＶ１−ｒｅｄ、Ｖ１−ｇｒｅｅｎ、Ｖ１−ｂｌｕｅ及びＶ１−ｙｅｌｌｏｗのニューロンユニット上に直接マッピングすることができる（線図１Ａには示していない）。Ｖ１ニューロンユニットは、Ｖ２／Ｖ４内のニューロンユニットに網膜部位に投射する。

（線図１Ａの方向システム４０）
領域ＨＤ内のニューロンは、多くの場合、「方向」細胞と呼ばれる。ＮＯＭＡＤ１０のホイール２０から得られた情報を用いて、ＮＯＭＡＤ１０の現在の現在の進行方向を推定することができる。この情報は、方向神経領域（ＨＤ）内に入力される。３６０ＨＤニューロンユニット（表１参照）の各々は、コサイン同調曲線を有し、πラジアンの同調幅を備えて好ましい進行方向に対して最大限に反応することができる。
ここで、ＨＤ_iは、
の好ましい方向を有する方向細胞であり、ｉは０〜３５９の範囲をとり、ｃｕｒｒ ｈｅａｄｉｎｇは、走行距離計情報から計算されるＮＯＭＡＤの進行方向である。

方向細胞は、視床前核（表２及び線図１ＡにおけるＨＤ−＞ＡＴＮ参照）及び進行方向に基づく運動領域（表２及び線図１ＡにおけるＨＤ−＞Ｍ_HDG参照、この経路は線図１Ａにはないことに留意）に類似した領域に組織分布的に投射することができる。ＮＯＭＡＤ１０への新しい進行方向は、ニューロン領域Ｍ_HDGにおける活性に基づいて選択することができる（線図１Ａを参照、更に詳細には以下の行動選択を参照）。

（海馬体−神経領域海馬４２）
擬似海馬体のアーキテクチャは、げっ歯類の神経構造に基づくことができる。海馬への入力の流れは、擬似神経系における連合皮質領域から、内嗅皮質２を介して海馬に到達することができる（表２及び線図１Ａ〜線図１ＢにおけるＡＴＮ−＞ＥＣ_IN、ＩＴ−＞ＥＣ_IN、Ｐｒ−＞ＥＣ_IN参照）。有孔経路は、主に内嗅皮質から歯状回に投射することができるが、ＣＡ３及びＣＡ１サブフィールドにも投射する（表２及び線図１ＢにおけるＥＣ_IN−＞ＤＧ、ＥＣ_IN−＞ＣＡ３、ＥＣ_IN−＞ＣＡ１参照）。苔状繊維（表２及び線図１ＢにおけるＤＧ−＞ＣＡ３参照）、Ｓｃｈａｆｆｅｒ側枝（表２及び線図１ＢにおけるＣＡ３−＞ＣＡ１参照）、及び海馬から皮質に戻る分岐投射（表２及び線図１Ａ〜線図１ＢにおけるＣＡ１−＞ＥＣ_OUT−＞ＡＴＮ、ＩＴ、Ｐｒ参照）もまた、擬似神経系１２内に存在することができる。海馬体において見られる一般的な再発結合性はまた、擬似神経系１２内にも含めることができる（表２及び線図１ＢにおけるＥＣ_IN−＞ＥＣ_OUT、ＤＧ−＞ＤＧ及びＣＡ３−＞ＣＡ３参照）。海馬特性内の結合の全て（すなわち、ＥＣ_IN、ＥＣ_OUT、ＤＧ、ＣＡ３、ＣＡ１）は、評価独立及び可塑性とすることができる（以下のシナプス可塑性の節を参照）。

海馬内の内在的及び外在的フィードバック及びフィードフォワード抑制結合の特有のパターンは、海馬処理において重要な役割を果たすことができる。その結果、ニューロンコントローラ部分１２は、フィードバック抑制結合（表２及び線図１ＢにおけるＥＣ−＞ＥＣ_FB−＞ＥＣ、ＤＧ−＞ＤＧ_FB−＞ＤＧ、ＣＡ３−＞ＣＡ３_FB−＞ＣＡ３、ＣＡ１−＞ＣＡ１_FB−＞ＣＡ１参照）及びフィードフォワード抑制結合（表２及び線図１ＢにおけるＤＧ−＞ＣＡ３_FF−＞ＣＡ３、ＣＡ３−＞ＣＡ１_FF−＞ＣＡ１参照）を含むことができる。これらの結合は、入力とネットワーク安定性とを分離するのに有用とすることができる。

（基礎前脳及びシータ律動（表２））
擬似基礎前脳（ＢＦ）は、神経シミュレーションのために外因性のシータ律動を提供することができる。擬似基礎前脳領域の機能は、海馬内への入力をゲート制御し、活性レベルを安定に保つこととすることができる。ＢＦ領域は、１３のシミュレーションサイクルを超える律動的活性を有することができる。
ここで、ｔｈｅｔａ＝｛０．０１，０．１６５，０．３３，０．４９５，０．６６，０．８２５，１．００，０．８２５，０．６６，０．４９５，０．３３，０．１６５，０．０１｝。ＢＦは、抑制結合を全ての海馬領域に投射することができる（表２におけるＢＦ−＞ＥＣ_IN、ＥＣ_OUT、ＤＧ、ＣＡ３、ＣＡ１参照）。適応的な抑制のレベルは、特定の範囲内の海馬領域における活性を保つことができる。
ここで、ｒは、領域（すなわち、ＥＣ_IN、ＥＣ_OUT、ＤＧ、ＣＡ３、ＣＡ１）を意味し、ｓｆ_r（ｔ）は時間ｔにおける倍率であり、ｓ_r（ｔ）は、時間ｔにおける領域ｒの活性ニューロンユニットの百分率であり、ｔｇｔ_rは、領域ｒの活性ユニットの望ましい百分率（ＥＣ_IN＝１０％、ＥＣ_OUT＝１０％、ＤＧ＝２０％、ＣＡ３＝５％、及びＣＡ１＝１０％）であり、ＢＦ_r（ｔ）は、海馬領域ｒ結合へのＢＦのシナプス前ニューロンユニット活性である。

（線図１Ａの評価システム及び時間的差異学習４４）
擬似評価システム４４における活性は、ＮＯＭＡＤ１０によって経験された顕著な感覚事象の発生を信号伝達し、この活性は、図示の経路における結合強度の調整に寄与することができる。最初に、評価システムＳは、隠れたプラットホーム３６を検出するＩＲ検出器２４により活性化することができ（表２及び線図１ＡにおけるＲ⁺−＞Ｓ参照）、評価依存結合の増強を引き起こし（ＣＡ１−＞Ｓ及びＣＡ１−＞Ｍ_HDG）、又は障害物回避ＩＲセンサ２２によって（表２及び線図１ＡにおけるＲ^-−＞Ｓ参照）評価依存結合の減退を引き起こす。学習後、上記及びより詳細に以下で説明する訓練試行に従って、領域ＣＡ１は、領域Ｓ活性に作用することができる。増強又は減退の大きさは、時間的差異（ＴＤ）学習規則の神経実施に基づくことができる。
ここで、
は、時間ｔにおける評価システムＳの平均活性であり、τは、１シータサイクル又は１３シミュレーションサイクルであり、Ｒ⁺は正の報酬で下向きのＩＲ検出器２４がトリガされた場合は１に等しく、ＮＯＭＡＤ１０が隠れたプラットホーム３６を越えたことを意味し、Ｒ^ーはペナルティあって、ＮＯＭＡＤのベース周りの７つのＩＲ検出器２２の１つがトリガさられた場合に１に等しく、ＮＯＭＡＤ１０が壁３０に極めて接近したことを意味する。時間的差異ＴＤ規則の基本的な発想は、学習が時間的に連続した報酬の予測間の差異に基づいていることとすることができる。言い換えれば、学習の目標は、次の時間区間（τ）における次の予測に現在の入力パターンに対する学習者の現在の予測を密接に一致させることとすることができる。予測値が増加すると、ＴＤは正になり、影響を受けた擬似神経系１２のシナプス結合は増強され、予測値が減少すると、ＴＤは負になり、影響を受けたシナプス結合は減退される。幾つかの経験後、ＮＯＭＡＤ１０がプラットホーム３６に進んで評価が増加し、従って、プラットホーム３６への運動を増強することができる。或いは、ＮＯＭＡＤ１０が障害物に近づくと評価は減少し、従って、壁３０及び他の障害物から離れる運動を増強することができる。時間的差異が個々のシナプス結合にどのように適用されるかに関する詳細は、以下にシナプス可塑性を説明する差異に提供する。

（線図１Ａの動作選択及び探索行動４６）
ＮＯＭＡＤ１０は、３シータサイクル（３９シミュレーションサイクル）前進し、次に、以下に説明するように新しい進行方向を選択することができる。ＮＯＭＡＤ１０が障害物を検出すると、２４インチだけその方向を逆に戻り、次いで、障害物を検出したＩＲセンサ２２から向きを変える。ＮＯＭＡＤ１０が隠れたプラットホーム３６を検出すると、全てシステム１２制御下で、反時計周りに６０度回転して３秒間待機し、次に時計周りに６０度回転して３秒間待機し、次いで、時計周りに更に６０度回転して３秒間待機し、最後に反時計周りに回転して元の進行方向に戻ることができる。この時点でシミュレーションが終了し、擬似神経系１２の現在の状態がハードディスク内に保存される。他の場合では、３シータサイクルの後、ＮＯＭＡＤ１０は、擬似神経系１２の運動領域（Ｍ_HDG）の活性に基づいて新しい進行方向を選択することができる。ＮＯＭＡＤ１０は、元の進行方向から、全てシステム１２の制御下で、最初に反時計周りに６０度回転して３秒間待機し、次に時計周りに６０度回転して３秒間待機し、次いで時計周りに更に６０度回転して３秒間待機し、最後に反時計周りに回転して元の進行方向に戻ることができる。Ｍ_HDGの平均活性は、待機時間中に計算される。ｓｏｆｔｍａｘアルゴリズムを用いて、次式に基づき新しい進行方向を選択するための確率分布を生成することができる。
ここで、ｎｅｗｈｄｇは、ＮＯＭＡＤ１０に関す可能性のある新しい進行方向であり、
は、可能性のある新しい進行方向におけるＭ_HDGの平均活性であり、ｈｄｇは現在の進行方向であり、ｈは３つの位置（現在の進行方向、現在の進行方向マイナス６０度、現在の進行方向プラス６０度）を有する。擬似神経系１２が、新しい進行方向を選択することができた後、ＮＯＭＡＤ１０は、新しい進行方向に向けられ、進行方向選択処理を再び起動する前に、更に３シータサイクル分前進する。

（ニューロンユニット／動特性−一般）
神経領域Ｖ１ Ｃｏｌｏｒ、Ｖ１ Ｗｉｄｔｈ、その他内のニューロンユニットは、平均発火率モデルによってシミュレートすることができる。各ユニットの状態は、平均発火率変数によって決定することができる。各ユニットの平均発火率変数は、約２００ミリ秒の時間期間中のほぼ１００ニューロンの群の平均活性又は発火率変数に相当する。

Ｖ１ Ｃｏｌｏｒ、Ｖ１ Ｗｉｄｔｈ、その他の神経領域内及び神経領域間の両方の神経ユニット間のシナプス結合は、電圧独立又は電圧依存のいずれか、及び可塑性又は非可塑性のいずれかであるように設定することができる。電圧独立結合は、ニューロンのシナプス後状態に関係なく、シナプス後ニューロンにシナプス入力を提供することができる。電圧依存結合は、活性化されることになるシナプス後脱分極を必要とする受容体タイプ（例えば、ＮＭＤＡ受容体）の寄与を表すことができる。

言い換えれば、シナプス前ニューロンは、軸索に沿ってシナプスを貫通してシナプス後ニューロンに信号を送信することができる。シナプス後ニューロンは、この信号を受け取り、他のシナプス前ニューロンから受け取った他の信号と統合することができる。

電圧独立結合は、シナプス前ニューロンが高い割合で発火している場合に、シナプスを介して結合されているシナプス後ニューロンが高い割合で発火することになる。

電圧依存結合は異なることができる。シナプス後ニューロンが、シナプス前入力信号を受け取ったときに、ある割合で既に発火している場合には、電圧依存結合は、シナプス後ニューロンを更に発火させることができる。シナプス後ニューロンが活性、すなわち既に発火していることができるので、このニューロンは、入力信号を受け取ったときにある閾値レベルにある。従って、このシナプス前結合は、シナプス後ニューロンを調整して更に発火させることができる。電圧依存結合は、シナプス前ニューロンがいかに活性化されていても、シナプス後ニューロンが閾値を上回っていない場合には、該シナプス後ニューロンに影響を及ぼすことはできない。従って、シナプス後ニューロンは、電圧依存シナプス結合によって反応又は調整されることになるある所与の活性閾値を有することができる。

（ニューロンユニット）
各ニューロンユニットの平均発火率は、連続的に０（休止）から１（最大発火）までの範囲をとることができる。ニューロンユニットの状態は、その現在の状態と電圧独立並びに電圧依存入力からの寄与の関数として更新することができる。ユニットｊからユニットｉへの電圧独立入力は、次式とすることができる。
ここで、ｓ_j（ｔ）はユニットｊの活性度であり、ｃ_ijはユニットｊからユニットｉへの結合強度である。ユニットｉにおける電圧独立シナプス後影響ＰＯＳＴ_i ^VIは、ユニットｉ上への全ての入力を合計することによって計算することができる。
ここで、Ｍは、解剖学的に定義された異なる結合タイプ（表２を参照）の数であり、Ｎ_lは、ユニットｉに投射するタイプＭの結合数であり、φは、シナプス入力の持続性である。

ユニットｊからユニットｉへの電圧依存入力は、次式とすることができる。
ここで、
σ_i ^vdepは、これを下回ると電圧依存結合が作用しない後シナプス活性の閾値である（表１を参照）。

ユニットｉにおける電圧依存シナプス後影響ＰＯＳＴ_i ^VDは次式によって与えることができる。

新しい活性ｓ_i（ｔ＋１）は、ニューロンユニットｉに対するシナプス後影響の合計に基づいて選択することができる。

ニューロンユニットに関する新しい活性は、新しく選択されたフェーズにおける活性レベルであり、以下の活性化関数に従うことができる。
ここで、
ここで、ωは、１つのサイクルから次のサイクルまでのユニット活性の持続性を決定し、ｇ_iは倍率であり、σ_i ^fireはユニット固有の発火閾値である。

ニューロンユニットの固有パラメータ値を表１に与える。
表１に示すように、領域Ｖ１、ＨＤ、Ｒ＋、Ｒ^-及びＢＦは入力領域であり、それらの活性は、それぞれ、カメラ画像、走行距離計及びＩＲセンサに基づくことができる。領域Ｖ１及びＶ２／Ｖ４は、色に関する４つのサブ領域（赤色、緑色、青色及び黄色）と、ＮＯＭＡＤ１０がナビゲートする閉鎖環境２８の実施例に一致する幅を変更するための４つのサブ領域とを有することができる。表１は、各領域又は各サブ領域（サイズ）におけるニューロンユニットの数を示している。各領域におけるニューロンユニットは、固有の発火閾値（σ−ｆｉｒｅ）、これを上回ると電圧依存結合が作用することができる閾値（σ−ｖｄｅｐ）と、持続パラメータ（ω）と、倍率（ｇ）とを有する。

ニューロンユニットに関するシナプス結合を表２に与えることができる。

表２に示すように、シナプス前ニューロンユニットは、所与の確率（ｐ）及び所与の投射形状（軸）を有して、シナプス後ニューロンユニットに結合することができる。この樹状形状は、高さ及び幅（ｈ ｘ ｗ）を有する矩形「［］」、又は内側半径及び外側半径（ｒ１，ｒ２）によって制限された形状を有するドーナツ形「Θ」であり、或いは、シナプス前及びシナプス後のニューロンユニットの何らかのペアが所与の結合確率を有する非組織分布的な「ｎｏｎ−ｔｏｐｏ」とすることができる。初期結合強度ｃ_ij（０）は、最小値及び最大値（ｍｉｎ，ｍａｘ）によって与えられた範囲内で無作為に設定することができる。ｃ_ij（０）の負の値は抑制結合を示す。「ｉｎｔｒａ」でマークされた結合は、視覚的なサブ領域内の結合を示し、「ｉｎｔｅｒ」でマークされた結合は、視覚的なサブ領域間の結合を示す。＃でマークされた投射は、評価依存とすることができる。既に説明したように、結合タイプは、電圧独立（ＶＩ）又は電圧依存（ＶＤ）とすることができる。φは結合の持続性を示す。η、ｋ１及びｋ２の非ゼロ値は塑性結合を示す。

（シナプス可塑性−評価独立可塑性）
シナプス強度は、シナプス前及びシナプス後ニューロンユニットのフェーズ及び活性に依存する、シナプス規則に従った調整の影響を受けることができる。可塑的シナプス結合は、評価独立（線図１Ｂ及び表２におけるＥＣ_IN−＞ＤＧ、ＣＡ３、ＣＡ１、ＤＧ−＞ＣＡ３、ＣＡ３−＞ＣＡ１、ＣＡ１−＞ＥＣ_OUT参照）又は評価依存（ＣＡ１−＞Ｓ、ＣＡ１−＞Ｍ_HDG参照）のいずれかとすることができる。これらの両方の規則は、修正されたＢＣＭ学習規則に基づいており、ここでは、シナプス変化（Δｃｉｊ）は、シナプス後及びシナプス前ニューロンユニットの活性と、線図１Ｂの隣に挿入してグラフで示した可変閾値（θ）との関数である。強い相関性がある発火フェーズを備えたニューロンユニット間のシナプスは増強され、弱い相関性があるフェーズを備えたニューロンユニット間のシナプスは減退される。変化の大きさは、シナプス前及びシナプス後の活性によって同様に決定される。

従って、ｃ_ijにおける評価独立シナプス変化は次式で与えることができる。
ここで、ｓ_i（ｔ）及びｓ_j（ｔ）は、それぞれシナプス後ユニット及びシナプス前ユニットの活性度であり、ηは一定の学習率である。関数ＢＣＭは、区分線形関数として実施され、入力としての後シナプス活性をとることができ、可変閾値θ、２つの傾き（ｋ₁，ｋ₂）及び飽和パラメータρ（全範囲を通してρ＝６）によって定義される。
閾値は、後シナプス活性に基づいて調整することができる。
評価独立可塑性は、無制限の増強を防ぐために、重み正規化を受けることができる。
ここで、ｃ_ijは特定の結合であり、Ｋはニューロンユニットｊ上の結合の総数である。

（シナプス可塑性−評価依存可塑性）
評価依存可塑性に関する規則は、シナプス変化が、シナプス前活性と、後シナプス活性と、評価システムからの時間的差異ＴＤとによって規定される点で、評価独立規則と異なることができる（上述の評価システム及び時間的差異学習を参照）。評価依存シナプス可塑性に関するシナプス変化は、次式で与えることができる。
ここで、ＴＤ（ｔ）は、時間ｔにおける時間的差異値である。

１０２ デバイス
１０４、１０６、１０８ センサ
１１０ コントローラ
１１２ ニューロンコントローラ部分
１１４ 非ニューロンコントローラ部分
１１６、１１８、１２０ アクチュエータ

ハイブリッド制御デバイスの図である。 ハイブリッド制御デバイスの第１の実施例を示す図である。 ハイブリッド制御デバイスの第１の実施例を示す図である。 ハイブリッド制御デバイスの第２の実施例を示す図である。 ハイブリッド制御デバイスの第２の実施例を示す図である。 ハイブリッド制御デバイスの第２の実施例を示す図である。 個別のロボットプラットホーム上にあるハイブリッド制御デバイスを示す図である。 ハイブリッド制御デバイスに関する画像処理の実施例を示す図である。 ハイブリッド制御デバイスの操作の実施例を示す図である。 ハイブリッドデバイスの１つの実施例に関する高レベルのプレイ行動を示す有限状態オートマトンの図である。 ハイブリッドデバイスの１つの実施例に関する高レベルのプレイ行動を示す有限状態オートマトンの図である。 ハイブリッドデバイスの１つの実施例に関する高レベルのプレイ行動を示す有限状態オートマトンの図である。

図７Ａ−Ｃは、３つの基本的なプレイが行動及びこれらの間の条件遷移からどのように構成することができるかを表す有限状態オートマトンを示している。プレイ選択に至ると、別のプレイが選択され実行される。これらのアルゴリズムを使用する典型的な回避経路の実施例は図６で見ることができる。プレイは、行動よりも高レベルの制御とすることができる。プレイは、行動又は他のプレイからも構成することができる。プレイは、状態が特定の行動、動作又は他のプレイである有限状態オートマトンとすることができる。全ての有限状態オートマトンにおいて同様であるが、プレイを定義する制御の流れを決定する状態間の条件遷移のセットが存在する。ＳＳ−ＢＢＤ上で使用されるプレイのほとんどは、「ボールを追いかける」又は「チームメートにパスする」或いは「ダウンフィールドでゴール近くまで走る」といった、フィールド上の極めて単純な動作のレベルにあるものとすることができる。図７Ａ−Ｃは、基本的プレイである、追いかけ、パス、及びダウンフィールド走を表す有限状態オートマトンを示している。１つの実施形態において、レパートリにおける他の基本的プレイは、シュート（標的が相手のゴールであること以外はパスと同じ）、アップフィールド走（標的を除いてはダウンフィールド走と同じ）、チームメートへの追従、対戦相手のマーク、自分のゴールのブロック、及び待機（所定位置に留まり、ボールを追跡しているが、捕捉するためにボールが十分に近づくまで前進しない）とすることができる。ＳＳ−ＢＢＤはまた、基本的プレイから構成されたより複雑な幾つかのプレイを有することができる。このようなものの１つは、ダウンフィールドでボールを移動させるように設計された単純な攻撃的プレイである。プレイの流れは、追いかけからパス、及びダウンフィールド走に移行する。ダウンフィールド走が完了すると、プレイは、追いかけに戻り、シーケンスを繰り返すことができる。シーケンスにおける各サブプレイは、その正常な実行を終了したときに次のサブプレイに遷移することができる。

Claims (25)

1. センサと、
   前記センサからの入力を受け取り、ニューロンコントローラ部分及び非ニューロンコントローラ部分を含むコントローラと、
   前記コントローラからコマンドを受け取るアクチュエータと、
   を備えることを特徴とする装置。
2. 前記アクチュエータの少なくとも１つが前記ニューロンコントローラ部分によって制御され、前記アクチュエータの別の少なくとも１つが、前記非ニューロンコントローラ部分によって制御される、
   ことを特徴とする請求項１に記載の装置。
3. 前記アクチュエータのうちの１つが前記ニューロンコントローラ部分と非ニューロンコントローラ部分の両方によって制御される、
   ことを特徴とする請求項２に記載の装置。
4. 前記アクチュエータのうちの１つが前記ニューロンコントローラ部分と前記非ニューロンコントローラ部分の両方によって制御される、
   ことを特徴とする請求項１に記載の装置。
5. 前記装置がロボットである、
   ことを特徴とする請求項１に記載の装置。
6. 前記ニューロンコントローラ部分及び前記非ニューロンコントローラ部分の両方が前記ロボット上にある、
   ことを特徴とする請求項５に記載の装置。
7. 前記アクチュエータの１つがカメラの方位を調整し、前記ニューロン部分が前記カメラの方位を制御する、
   ことを特徴とする請求項５に記載の装置。
8. 前記アクチュエータの１つが前記ロボットの動きを調整し、前記ニューロンコントローラ部分及び前記非ニューロンコントローラ部分が前記ロボットの動きの制御を分担する、 ことを特徴とする請求項５に記載の装置。
9. 前記装置が物体を操作するためのアクチュエータを含み、前記物体の操作が前記非ニューロン部分によって制御される、
   ことを特徴とする請求項５に記載の装置。
10. 前記非ニューロンコントローラ部分が、前記ニューロンコントローラ部分にデータを提供する確率的位置特定モジュールを含む、
    ことを特徴とする請求項１に記載の装置。
11. 前記ニューロンコントローラ部分がニューロンユニットを含む、
    ことを特徴とする請求項１に記載の装置。
12. 前記ニューロンユニットがシナプス前処理及びシナプス後処理を行う、ことを特徴とする請求項１１に記載の装置。
13. 前記ニューロンユニットが他のニューロンユニットへのシナプス結合を有し、前記シナプス結合が結合強度と関連している、
    ことを特徴とする請求項１１に記載の装置。
14. 可塑性処理において結合強度が変更される、
    ことを特徴とする請求項１３に記載の装置。
15. センサと、
    前記センサからの入力を受け取り、ニューロンコントローラ部分及び非ニューロンコントローラ部分を含むコントローラと、
    前記コントローラから制御コマンドを受け取るアクチュエータと、
    を備え、
    前記アクチュエータの少なくとも１つが前記ニューロンコントローラ部分によって制御され、前記アクチュエータの別の少なくとも１つが前記非ニューロンコントローラ部分によって制御される、
    ことを特徴とする装置。
16. 前記アクチュエータのうちの１つが前記ニューロンコントローラ部分と非ニューロンコントローラ部分の両方によって制御される、
    ことを特徴とする請求項１５に記載の装置。
17. 前記装置がロボットである、
    ことを特徴とする請求項１６に記載の装置。
18. 前記ニューロンコントローラ部分と前記非ニューロンコントローラ部分の両方が前記ロボット上にある、
    ことを特徴とする請求項１７に記載の装置。
19. センサと、
    前記センサからの入力を受け取り、ニューロンコントローラ部分と、該ニューロンコントローラ部分にデータを提供する位置特定モジュールを有する非ニューロンコントローラ部分とを含むコントローラと、
    前記コントローラから制御コマンドを受け取るアクチュエータと、
    を備えることを特徴とする装置。
20. 前記ニューロンコントローラ部分が前記位置特定モジュールにデータを提供する、
    ことを特徴とする請求項１９に記載の装置。
21. 前記アクチュエータの少なくとも１つが前記ニューロンコントローラ部分によって制御される、
    ことを特徴とする請求項１９に記載の装置。
22. 前記装置がロボットである、
    ことを特徴とする請求項１９に記載の装置。
23. 前記位置特定モジュールが確率的位置モジュールである、
    ことを特徴とする請求項１９に記載の装置。
24. 制御ロジックを格納させたコンピュータ使用可能媒体を備えるコンピュータプログラム製品であって、
    前記制御ロジックが実行時に１つ又はそれ以上のプロセッサに脳ベースデバイスのニューロン制御部分の機能を実行させ、前記制御ロジックが、
    前記１つ又はそれ以上のプロセッサに視覚機能を実行させる手段と、
    前記１つ又はそれ以上のプロセッサに方向機能を実行させる手段と、
    前記１つ又はそれ以上のプロセッサに海馬機能を実行させる手段と、
    前記１つ又はそれ以上のプロセッサに評価機能を実行させる手段と、
    前記１つ又はそれ以上のプロセッサに動作選択機能を実行させる手段と、
    を含むことを特徴とするコンピュータプログラム製品。
25. 制御ロジックを格納させたコンピュータ使用可能媒体を備えるコンピュータプログラム製品であって、
    前記制御ロジックが実行時に１つ又はそれ以上のプロセッサに１つ又はそれ以上のニューロンユニットをシミュレートさせ、前記制御ロジックが、
    前記１つ又はそれ以上のプロセッサに視覚系における１つ又はそれ以上のニューロンユニットの操作をシミュレートさせる手段と、
    前記１つ又はそれ以上のプロセッサに方向システムにおける１つ又はそれ以上のニューロンユニットの操作をシミュレートさせる手段と、
    前記１つ又はそれ以上のプロセッサに海馬体における１つ又はそれ以上のニューロンユニットの操作をシミュレートさせる手段と、
    前記１つ又はそれ以上のプロセッサに評価システムにおける１つ又はそれ以上のニューロンユニットの操作をシミュレートさせる手段と、
    前記１つ又はそれ以上のプロセッサに動作選択システムにおける１つ又はそれ以上のニューロンユニットの操作をシミュレートさせる手段と、
    を含むことを特徴とするコンピュータプログラム製品。