JP2022541732A - 身体化エージェントにおける認知モード設定 - Google Patents

Abstract

本明細書に記載される実施形態は、計算モジュールをリンクするコネクタにマスク変数を適用することによって、仮想オブジェクト、デジタルエンティティ、及び／又はロボットであり得る、身体化エージェントをアニメーション化するための認知アーキテクチャの接続性を変化させる方法に関する。マスク変数は、コネクタをオン若しくはオフに、又はより柔軟に切り替えることができ、コネクタの強度をモジュールすることができる。一度に複数のマスク変数を適用する動作により、認知アーキテクチャを挙動の異なる認知モードに設定する。【選択図】図１

Description

本発明の実施形態は、人工知能の分野に関し、より具体的には（排他的ではないが）、身体化エージェントにおける認知モード設定に関する。

人工知能（ＡＩ）の目標は、人間と同様の能力を有するコンピュータシステムを構築することである。人間の認知アーキテクチャが異なる時間スケール、様々な人間の挙動、行動、及び／又は傾向において接続性のモード間を切り替えるというエビデンスが増えている。

サブサンプションアーキテクチャは、（世界の象徴的なメンタル表現を使用して挙動をガイドする伝統的なＡＩ技術とは対照的に）親密かつボトムアップの方式で、感覚情報を「行動選択」に結合する。挙動は、「層」のヒエラルキーに編成された「サブ挙動」に分解され、これら全てが、感覚情報を受信し、並列に作業し、かつ出力を生成する。これらの出力は、アクチュエータに対するコマンド、又は他の「層」を抑圧若しくは抑制する信号であり得る。米国特許出願公開第２０１４／０１５６５７７号は、システムが現在のタスク目標に従って適切に切り替えられるべき状態を判定する行動選択コントローラを使用する人工知能システムを開示している。行動選択コントローラは、サブシステム間の接続性をゲート又は制限することができる。

本発明の目的は、身体化エージェントにおける認知モード設定を改善すること、又は少なくとも公衆若しくは産業に有用な選択肢を提供することである。

２つのモジュール及び関連付けられた調節変数の図である。 マスク変数のセットに関連付けられた相互接続モジュールの図である。 図２のモジュールの５つの認知モードの表である。 図３のモードＡのアプリケーションの図である。 図３のモードＢのアプリケーションの図である。 皮質－皮質下ループの図である。 認知アーキテクチャの図である。 認知モードを設定するためのユーザインターフェースの図である。 ３つのモジュール及びコネクタの図である。 感情及び行動の知覚／実行における接続性の図である。 ワーキングメモリシステム（ＷＭシステム）の図である。 ＷＭシステムのアーキテクチャの図である。 実装されたＷＭシステムの視覚化の図である。 図１４の個人バッファの視覚化のスクリーンショットである。 図１４の個人メモリストアの視覚化のスクリーンショットである。 図１４のエピソードバッファ５０の視覚化のスクリーンショットである。 図１４のエピソードメモリストア４８の視覚化のスクリーンショットである。 「行動実行モード」における認知アーキテクチャ接続性の図である。 「行動知覚モードにおける接続性の図である。

本明細書に記載される実施形態は、計算モジュールをリンクするコネクタにマスク変数を適用することによって、仮想オブジェクト、デジタルエンティティ、及び／又はロボットであり得る、身体化エージェントをアニメーション化するための認知アーキテクチャの接続性を変化させる方法に関する。マスク変数は、コネクタをオン若しくはオフに、又はより柔軟に切り替えることができ、コネクタの強度をモジュールすることができる。一度に複数のマスク変数を適用する動作により、認知アーキテクチャを挙動の異なる認知モードに設定する。

認知アーキテクチャにおいて計算を実行する回路は、いかなる中心制御点もなく、並行して連続的に実行され得る。
これは、本明細書に参照により組み込まれる「Ｓｙｓｔｅｍ ｆｏｒ Ｎｅｕｒｏｂｅｈａｖｉｏｕｒａｌ Ａｎｉｍａｔｉｏｎ」と題する米国特許第１０１８１２１３（Ｂ２）号に記載されているもののようなプログラミング環境よって容易にされ得る。
複数のモジュールが必要な構造に配置されており、各モジュールは、少なくとも１つの変数を有し、かつ少なくとも１つのコネクタと関連付けられている。
コネクタは、構造にわたるモジュール間で変数をリンクし、モジュールは、ニューラル挙動モデルを一緒に提供する。各モジュールは、任意の好適な計算を実行することができ、かつ単一のニューロンなどの任意の好適な要素をニューロンのネットワーク若しくは通信システムに表すか、又はそれに対してシミュレーションすることができる、自己含有ブラックボックスである。各モジュールの入力及び出力は、挙動をドライブするために使用することができるモジュールの変数として露出される（及びグラフィカルにアニメーション化された身体化エージェントにおいて、身体化エージェントのアニメーションパラメータをドライブする）。コネクタは、神経を表し、異なるモジュール間で変数を通信することができる。プログラミング環境は、命令のシーケンスをモジュールに対して実行するための単一の制御スクリプトが存在しないため、神経的にもっともらしい分散機構のセットを介して認知及び挙動の制御をサポートする。

本明細書に記載されるように、モード設定動作を使用して、シーケンシャルプロセス、整合、及び／又は挙動の変化を達成することができる。システムの利点は、複数の別個の低レベルモジュールを構築することによって、複雑なアニメーション化されたシステムを構築することができ、及びそれらの間の接続により、自律的にアニメーション化された仮想オブジェクト、デジタルエンティティ、又はロボットを提供することができることである。ニューラル挙動モデルのコネクタを、調節変数、及び調節変数をオーバーライドするマスク変数に関連付けることによって、アニメーション化された仮想オブジェクト、デジタルエンティティ、又はロボットが、活動又は挙動の異なるモードに配置され得る。これにより、認知モードを設定することによって、（ユーザインターフェースを介してなど）より高いレベルの機能又は外部制御機構によって、他の場合のボトムアップドライブシステムの効率的かつ柔軟なトップタウン制御を可能にし得る。
皮質－視床－大脳基底核ループを介した接続性の修正

図７は、一実施形態によるニューラル挙動モデルを使用して実装され得る、認知アーキテクチャの高レベルアーキテクチャを示している。認知アーキテクチャは、仮想オブジェクト、デジタルエンティティ、及び／又はロボットの神経系をシミュレーションする解剖学的及び機能的構造を示す。皮質５３は、入力モジュール、及び／又はシナプス重みモジュール、又は関連付けモジュールの活動を、可塑性又は経時的に変化する効果と統合するモジュール（単数又は複数）を有する。皮質５３への入力は、求心性（感覚）ニューロンからのものである。感覚マップを使用して、カメラ、マイクロフォン、デジタル入力、又は任意の他の手段などの任意の好適な外部刺激から受信されたデータを処理することができる。視覚入力の場合、感覚マップは、皮質５３に入力され得る、刺激のピクセルからニューロンへの変換として機能する。皮質５３はまた、運動ニューロンにリンクされて、筋肉／アクチュエータ／エフェクタのアクティブ化を制御し得る。脳幹領域は、筋肉エフェクタを有する身体化エージェントにおいて筋肉のアクティブ化を制御するパターン生成器又は再帰型ニューラルネットワークモジュールを含み得る。

図６は、仮想オブジェクト、デジタルエンティティ、及び／又はロボットの挙動及び／又は行動に影響を及ぼし得る認知モード設定を実装するようにモデル化され得る皮質－視床－大脳基底核ループを示している。皮質５３は、視床に似たスイッチボード５５を用いたフィードバック接続を有する。フィードバックループは、感覚知覚を皮質５３に統合する。正のフィードバックループは、視覚イベント又は刺激を行動と関連付けるのに役立ち得る。皮質５３はまた、大脳基底核に似たスイッチボードコントローラ５４に接続される。スイッチボードコントローラ５４は、皮質５３に直接、又はスイッチボード５５を介して皮質５３にフィードバックを提供することができる。スイッチボードコントローラ５４は、皮質５３とスイッチボード５５との間のフィードバックを調節する。皮質－皮質下ループは、モジュール間の接続を調整するゲイン制御変数を使用してモデル化され、これにより、皮質の部分を表すモジュール間の通信を抑制、許可、又は強制するように設定することができる。
調節変数

スイッチボード５５は、処理状態に応じて情報をルーティング及び調整するためのゲイン制御値を含む。例えば、身体化エージェントがメモリを再構築している場合、トップダウン接続ゲインは、ボトムアップのものよりも強くなる。調節変数は、認知アーキテクチャにおける情報のゲインを制御し、かつ皮質５３の部分を表すモジュール間の情報を中継する際にスイッチボード５５の機能性を実装することができる。

調節変数は、認知アーキテクチャにおける自律的な挙動を作成する。感覚入力は、通信のボトムアップ回路をトリガする。感覚入力がほとんどない場合、調節変数は自律的に変化して、画像化又は空想などの認知アーキテクチャにおけるトップダウン挙動を引き起こし得る。スイッチボード５５は、コネクタによって接続されたモジュール間の情報のフローを制御するコネクタに関連付けられた調節変数を使用して実装される。調節変数は、いくつかの論理条件に応じて設定される。換言すれば、システムは、活動、例えば、世界の状態及び／又は身体化エージェントの内部状態に基づいて、調節変数値を自動的に切り替える。

調節変数は、最小値と最大値との間（例えば、０と１との間）の連続値であってもよく、それによって、情報通過は、調節変数の最小値において抑制され、中間調節変数値において重み付けされた方式で許容され、調節変数の最大値において情報の完全なフローが強制される。したがって、調節変数は、「ゲーティング」機構と考えることができる。いくつかの実施形態では、調節変数は、バイナリスイッチとして作用することができ、ここで、０の値はコネクタを通る情報フローを抑制し、１はコネクタを通る情報フローを強制する。
マスク変数

スイッチボード５５は、次いで、異なる処理モードを抑制又は選択することができるデジタルスイッチボードコントローラ５４によって調整される。デジタルスイッチボードコントローラ５４は、マスクとして機能する、異なる処理ループのフィードバックをアクティブ化（通信を強制）又は抑制する。例えば、身体化エージェントが作用するのではなく観察している場合、腕の動作が抑制され得る。

スイッチボードコントローラ５４による調整は、マスク変数を使用して実施される。調節変数はマスクされてもよく、これは、調節変数が（システムに使用されている認知モードに依存する）マスク変数によってオーバーライド又は影響されることを意味する。マスク変数は、マスク変数が調節変数と組み合わされる（例えば、合計される）ときに調節変数をオーバーライドするように、最小値と最大値の間（例えば、－１と１との間）の範囲であり得る。

スイッチボードコントローラ５４は、行動を強制又は防止することができるスイッチボード５５を抑制することによって、スイッチボード５５の切り替えを強制及び制御する。特定の認知モードでは、マスク変数のセットは、認知アーキテクチャ内の情報フローを変化させるために特定の値に設定される。
マスタコネクタ変数

コネクタは、コネクタの接続性を判定するマスタコネクタ変数と関連付けられている。マスタコネクタ変数値は、最小値、例えば（コネクタが存在しないかのように、情報が伝達されない）０、及び最大値、例えば（完全な情報が伝達される）１の間でキャップされる。

マスク変数値が－１に設定された場合、調節変数値に関係なく、マスタコネクタ変数値は０であり、したがって接続性はオフになる。マスク変数値が１に設定された場合、調節変数値に関係なく、マスタコネクタ変数値は１であり、接続性はオンになる。マスク変数値が０に設定された場合、調節変数値は、マスタコネクタ変数値の値を判定し、接続性は調節変数値に従う。

一実施形態では、マスク変数は、合計によって調節変数をオーバーライドするように構成される。例えば、コネクタが変数／ａを変数／ｂに書き込むように構成されている場合、以下となる。

認知モード

本明細書に記載の認知アーキテクチャは、モジュール間のコネクタをオン若しくはオフに、又はより柔軟に切り替えることによって、コネクタの強度を調節することによって、モジュール間の接続性を変化させる動作をサポートする。
これらの動作により、認知アーキテクチャを異なる接続性の認知モードにする。

単純な例では、図９は、３つのモジュール、Ｍ１、Ｍ２、及びＭ３を示している。第１の認知モード、モード１では、モジュールＭ１は、Ｍ２から入力を受信する。これは、コネクタＣ１を（例えば、関連付けられたマスク変数を１に設定することによって）オンにし、かつコネクタＣ２を（例えば、関連付けられたマスク変数を０に設定することによって）オフにすることによって達成される。第２の認知モード、モード２では、モジュールＭ１は、Ｍ３から入力を受信する。これは、コネクタＣ２を（例えば、関連付けられたマスク変数を１に設定することによって）オンにし、かつコネクタＣ１を（例えば、マスク変数を０に設定することによって）オフにすることによって達成される。図では、０及び１のマスク変数は、それぞれ黒色及び白色のダイアモンド形で示されている。モード１及びモード２は互いに対して競合するため、１つのモードのみが選択される（又は連続的な形成では、１つのモードが好ましい傾向がある）。それらは、各モードのエビデンスを集める別個のエビデンスアキュムレータに基づいてこれを行う。

認知モードは、それぞれがコネクタに関連付けられた事前定義されたマスク変数のセットを含み得る。図２は、単純なニューラル挙動モデルを作成するために９つのコネクタ１１に接続された、６つのモジュール１０を示している。
いずれのコネクタも、調節変数に関連付けられ得る。７つのマスク変数が、７つのコネクタに関連付けられている。異なる認知モード８は、マスク変数値の異なる構成を設定することによって設定され得る（ひし形記号によって示されている）。

図３は、図３のモジュールに適用され得る認知モードの表を示している。認知モードが設定されていない場合、全てのマスク変数値は０であり、これにより、コネクタのデフォルト接続性及び／又はコネクタの調節変数値（存在する場合）に従って、情報がコネクタ１１を通って流れることを可能にする。

図４は、図２のモジュール１０によって形成されたニューラル挙動モデルに適用される図３のモードＡを示している。４つのコネクタ１１（示されたコネクタ）は１に設定され、これにより、変数情報を４つのコネクタによって接続されたモジュール間で通過させる。モジュールＢからモジュールＡへのコネクタは－１に設定されて、変数情報がモジュールＢからモジュールＡに通過するのを防止し、コネクタを除去するのと同じ機能効果を有する。

図５は、図２のモジュール１０によって形成されたニューラル挙動モデルに適用される図３のモードＢを示している。４つのコネクタ１１は－１に設定され、変数情報がそれらの接続に沿って通過するのを防止し、それらのコネクタを機能的に除去する。モジュールＣは、情報がモジュールＣに通過することができないか、又はモジュールＣから受信されることができないため、ネットワークから効果的に除去される。情報フローの経路は、Ｆ→Ｇ→Ａ→Ｂからのままである。

したがって、認知モードは、認知アーキテクチャにおいて任意の自由度を提供し、ボトムアップ／トップダウン活動のマスクとして作用することができる。

異なる認知モードは、以下を修正することによって、認知アーキテクチャの挙動に影響を及ぼし得る。
●モジュールによって受信された入力
●（モジュールがニューラル挙動モデルにおいて互いに接続されている）異なるモジュール間の接続性
●制御サイクルにおける制御のフロー（変数がモジュール間で流れるためにとる経路）、
●異なるモジュール間の接続の強度（変数が接続モジュールに伝播する程度）。

又は、ニューラル挙動モデルの任意の他の態様。マスク変数は、コンテキスト依存で、学習され、外部から課せられ（例えば、人間ユーザによって手動で設定され）てもよく、又は内因性ダイナミクスに従う設定であり得る。認知モードは、ニューラル挙動モデルの実行制御マップ（例えば、ニューロンのアレイとして表され得るニューロン又は検出器の、類型的に接続されたセット）であり得る。

認知モードは、学習されてもよい。感覚コンテキスト及び運動行動を考慮することで、強化ベース学習を使用してマスク変数値を学習し、報酬を増大させ、罰を低減することができる。

認知モードは、大脳基底核を表し得る定数モジュールに設定することができる。定数変数の値は、コネクタ及び／若しくはユーザインターフェース／ディスプレイから読み取られるか、又はコネクタ及び／若しくはユーザインターフェース／ディスプレイによって書き込まれ得る。異なるモジュールに関連する複数のパラメータを単一の定数モジュールで照合することができるため、定数モジュールは、多数のパラメータを同調するための有用な構造を提供する。定数モジュールは、外部影響の不在下で一定のままである名前の変数のセットを含む（したがって、モジュールがいかなる時間ステップルーチンも含まないため「定数」である）。

例えば、単一の定数モジュールは、他のモジュール内の関連する変数にリンクされた１０個のパラメータ値を含み得る。一般的なインターフェースを使用するこれらのパラメータのうちのいずれかに対する修正は、次いで、ユーザがそれぞれの影響を受けたモジュールを選択することを必要とするのではなく、単一の定数モジュール用のパラメータエディタを介してここで行われ得る。

いくつかの実施形態では、認知モードは、神経学、可塑性変数、又はニューラル挙動モデルの状態を変化させる他の変数などの変数を直接設定することができる。
一度に複数の認知モード

複数の認知モードは、同時にアクティブであってもよい。マスク変数の全体的な影響量は、全てのアクティブな認知モードからのマスク変数の合計である。合計は、マスタコネクタ変数値の最小及び最大接続性に従って、最小値及び最大値にキャップされ得る。したがって、認知モードからの強い正の値／負の値は、別の認知モードからの対応する値をオーバールールすることができる。
モードの程度

認知モードの設定は、重み付けされてもよい。部分的に重み付けされた認知モードに対応するマスク変数の最終値は、認知モードの重み付けによって乗算される。

例えば、「警戒」認知モードがマスク変数［－１，０，０．５，０．８］を定義する場合、警戒の程度は、エージェントが「１００％警戒」である（全警戒モードにある）すなわち［－１，０，０．５，０．８］、８０％警戒（やや警戒）［－０．８，０，０．４，０．６４］、又は０％警戒（警戒モードがオフにされている）［０，０，０，０］、であるように設定され得る。
更なる制御層

認知モードにわたる更なる制御層が、本明細書に記載の同じ原理を使用して、追加のマスク変数を使用して追加されてもよい。例えば、マスク変数は、内部トリガ認知モード（すなわち、ニューラル挙動モデル内のプロセスによってトリガされた認知モード）を設定するように定義されてもよく、追加のマスク変数は、ユーザインターフェース若しくは口頭コマンドを介して、又は他のいくつかの外部機構を介して身体化エージェントと相互作用している人間などによって、外部トリガ認知モードを設定するように定義されてもよい。追加のマスク変数の範囲は、追加のマスク変数が第１のレベルのマスク変数をオーバーライドするように、第１のレベルのマスク変数の範囲よりも大きくてもよい。例えば、［０～１］の所与の調節変数、及び［－１～＋１］のマスク変数であるとすると、追加のマスク変数は、［－２～＋２］の範囲であり得る。
トリガ認知モード

モード設定動作は、認知モードを確立する任意の認知動作である。認知アーキテクチャを定義するニューラル挙動モデルの任意の要素は、認知モードを設定するように構成され得る。認知モードは、ニューラル挙動モデルにおける任意の条件付きステートメントで設定されてもよく、接続性、アルファゲイン、及び制御サイクルにおける制御のフローに影響を及ぼす。認知モードは、以下を含むがこれらに限定されない、任意の好適な方法で設定／トリガされ得る。
●イベントドライブ認知モード設定
●ユーザインターフェースを介した手動設定
●モード設定動作のカスケード
●タイマーベースの認知モード設定

一実施形態では、感覚入力は、１つ以上の認知モードのアプリケーションを自動的にトリガすることができる。例えば、大きな音などの低レベルのイベントにより、警戒認知モードを設定する。

ユーザインターフェースは、ユーザがエージェントの認知モードを設定することを可能にするように提供され得る。エージェントに特定のモードに進ませる有線コマンドが存在してもよい。例えば、「寝つく」というフレーズにより、エージェントをスリープモードに置くことができる。

自然言語における動詞は、モード設定動作、並びに物理的な運動行動及び注意／知覚運動行動を表し得る。例えば、
●「思い出す」は、メモリ検索モードに入ることを示し得、
●「作成する」は、目標オブジェクトの表現がそれを作成する計画をトリガし得るように、これらのオブジェクトを作成する運動計画と関連付けられたオブジェクトの表現を接続するモードのアクティブ化を示し得る。

身体化エージェントは、オブジェクト概念の記号（例えば、計画の名称）を有するリンク認知計画を学習することができる。例えば、身体化エージェントは、媒体保持目標又は計画におけるオブジェクト概念「ハート」と、三角形を作成する描画動作のシーケンスを実行するシーケンシャル運動計画との間のリンクを学習することができる。動詞「作成する」は、（関連する認知モードを設定することを介して）このリンクをオンにする行動を示すことができ、その結果、現在アクティブな目標オブジェクトと関連付けられた計画が実行される。

特定のプロセスは、時間ベースのモード設定動作を実装することができる。例えば、エージェントがアイテムを探しているモードでは、制限時間を設定することができ、その後にアイテムが見つからない場合、エージェントが自動的にニュートラルモードに切り替わる。
認知モードのタイプ
注意モード

注意モードは、エージェントが注意する感覚入力又は他の情報ストリーム（それ自体の内部状態など）を制御することができる認知モード制御である。図８は、感覚入力を受信するための入力チャネルに対応する複数のマスク変数値を設定するユーザインターフェースを示している。例えば、視覚警戒認知モードでは、視覚モダリティは常に適格である。ボトムアップ視覚入力チャネルは、１に設定される。視覚へのトップダウンアクティブ化は、トップダウンマスク変数を－１に設定することによってブロックされる。音声警戒認知モードでは、音声は常に適格である。ボトムアップ音声入力チャネルは、１に設定される。音声へのトップダウンアクティブ化は、トップダウンマスク変数を－１に設定することによってブロックされる。接触警戒認知モードでは、接触は常に適格である。ボトムアップ音声入力チャネルは、１に設定される。接触へのトップダウンアクティブ化は、マスク変数を－１に設定することによってブロックされる。
行動実行と知覚との間の切り替え

２つの認知モード「行動実行モード」及び「行動知覚モード」は、異なる接続性を有する同じモジュールセットを展開することができる。「行動実行モード」では、エージェントはエピソードを実行するが、「行動知覚モード」では、エージェントはエピソードを受動的にウォッチングする。両方の場合において、身体化エージェントは、作用しているオブジェクトに注意し、運動プログラムをアクティブ化する。

図１９は、「行動実行モード」における認知アーキテクチャ接続性を示している。行動実行では、エージェントの運動前皮質の運動プログラムにわたる分布は、計算された行動アフォーダンスを介してアクティブ化され、選択された運動プログラムは、実際の運動動作を生成するために、一次運動皮質に伝達される。情報は、エージェントの運動システムに外向きの可能な行動のレパートリーをエンコードする媒体から流れる。図２０は、「行動知覚モード」における接続性を示している。行動知覚では、一次運動皮質に対する接続は存在しない（そうでなければ、エージェントは観察された行動を模倣することになる）。行動認識中にアクティブ化された前運動表現は、観察されたＷＭエージェントの可能性のある計画及び目標を推測するために使用される。情報は、エージェントの知覚システムから、可能な行動のレパートリーをエンコードする媒体に流れる。

身体化エージェントが世界で動作している場合、エージェントは、他の人々若しくはオブジェクトを伴う外部イベントを知覚するか、又は自身の行動を実行するかを判定することができる。この判定は、「行動知覚モード」と「行動実行モード」との間の選択として実施される。「行動実行モード」及び「行動知覚モード」は、完全なエピソードの懸念プロセスにわたって持ちこたえられる。
感情のミラーシステム

一次感情連想メモリ１００１は、図１０に示されるように知覚及び経験された感情間の相関性を学習し、任意の好適な知覚刺激（例えば、視覚）１００９並びに相互受容入力１０１１に対応する入力を受信することができる。そのような連想メモリは、自己組織化マップ（ＳＯＭ）又は任意の他の好適な機構を使用して実装され得る。相関性で訓練した後、一次感情連想メモリは、それが知覚されるときのように経験されるときに、感情によって等しくアクティブ化され得る。したがって、知覚された感情は、（共感をシミュレーションする）相互受容システムにおいて経験された感情をアクティブ化することができる。

二次感情ＳＯＭ１００３は、エージェント自身の感情と他人で認識されたものとの区別を学習する。二次感情連想メモリは、３つの異なる認知モードを実装することができる。初期「訓練モード」では、二次感情連想メモリは、一次感情連想メモリと同様に正確に学習し、経験された感情と知覚された感情との間の相関性を取得する。経験された感情と知覚された感情との間の相関性を学習した後、二次感情ＳＯＭは、（例えば、ＳＯＭ内の訓練されたニューロンの数又は割合の閾値を超える、任意の好適な方法でトリガされ得る）２つの他のモードに自動的に切り替わることができる。「自己注意」モード１００７では、活動は、相互受容状態１０１１から排他的に連想メモリ内に渡される。

このモードでは、連想メモリは、エージェントの情緒状態のみを表す。「外部注意」モード１００５では、活動は、知覚システム１００９から排他的に連想メモリ内に渡される。このモードでは、連想メモリは、観察された外部エージェントの情緒状態のみを表す。この連想メモリ内のパターンは、一次感情連想メモリとまさに同様に、それらの「所有者」を参照することなく、感情をエンコードする。現在有効な接続性のモードは、表現された感情が経験されているか、又は知覚されているかを信号伝達する。
言語モード

認知アーキテクチャは、（本明細書に記載のＷＭシステムを使用して実装され得る）言語システム及び意味システムと関連付けられ得る。言語システム及び意味システムの接続性は、異なる機能を達成するために異なる言語モードに設定することができる。２つの入力（Ｉｎｐｕｔ＿Ｍｅａｎｉｎｇ、Ｉｎｐｕｔ＿Ｌａｎｇｕａｇｅ）は、異なるコネクタを開閉することによって、２つの出力（Ｏｕｔｐｕｔ＿Ｍｅａｎｉｎｇ、Ｏｕｔｐｕｔ＿Ｌａｎｇｕａｇｅ）にマッピングされ得る。「スピークモード」では、ネーミング／言語生成は、Ｉｎｐｕｔ＿ｍｅａｎｉｎｇからＯｕｔｐｕｔ＿ｌａｎｇｕａｇｅへのコネクタを「オン」にすることによって達成される。「コマンド服従モード」では、言語の解釈は、Ｉｎｐｕｔ＿ｌａｎｇｕａｇｅからＯｕｔｐｕｔ＿ｍｅａｎｉｎｇへのコネクタを「オン」することによって達成される。「言語学習」モードでは、Ｉｎｐｕｔ＿ｌａｎｇｕａｇｅ及びＩｎｐｕｔ＿ｍｅａｎｉｎｇへの入力が許容され、言語及び意味を学習するように構成されたメモリ構造の可塑性が増大して、学習を容易にする。
感情モードの認知モード

感情状態は、認知モード（感情モード）として認知アーキテクチャに実装されてもよく、これにより認知アーキテクチャ領域間の接続性に影響を及ぼし、そこで異なる領域が生産的に相互作用して、特有の発現効果を生成する。連続的な「感情モード」は、身体化エージェントの感情状態の表現にリンクする接続上の連続的な調節変数によってモデル化される。調節変数は、マスク変数に関連付けられて、トップダウン方式で感情モードを設定することができる。
感情状態に対する注意

自己又は別の人に感情を帰する、かつ感情が現実であるか又は想像されるかを示す機構は、認知アーキテクチャ接続性の認知モードのアクティブ化を伴う。現在有効な接続性のモードは、表現された感情が経験されているか、又は知覚されているかを信号伝達する。機能的接続性はまた、感情の内容、並びにそれらの個人に対する属性を表す際にも伴われ得る。基本的な感情に関連付けられた個別の認知モードが存在してもよい。認知アーキテクチャは、可能な感情モードの大きな連続空間内に存在することができ、ここで、いくつかの基本的な感情は、異なる程度まで平行にアクティブであり得る。これは、動的に変化する顔表情の微妙なブレンドを含む、広範囲の感情挙動に反映され得て、連続空間の性質をミラーリングする。

エージェントの感情システムは、他のより従来の注意システム、例えば、視覚空間注意システムと並行して、エージェントの注意に対して競合する。エージェントは、モード設定動作を使用して、それ自身の対象のオブジェクトとしてそれ自身の感情状態に注意することができる。「内部感情モード」では、エージェントの注意システムは、エージェント自身の感情状態を対象とする。このモードは、エージェントが経験している全ての感情にわたって集約する信号を参照することによって入力される。

感情処理モードでは、エージェントは、より低レベルの注意モードに入り得、その注意をフォーカスするために可能な感情から特定の感情を選択することができる。これらの感情のうちの１つが選択されると、エージェントは、（喜び、悲しみ、又は怒りに注意を向けるなどの）特定の感情に「注意」する。
計画／シーケンス化のための認知モード

「ＣＢＬＯＣＫ」を使用するシーケンス化及び計画の方法は、本出願人によってまた所有され、参照により本明細書に組み込まれる、「ＳＹＳＴＥＭ ＦＯＲ ＳＥＱＵＥＮＣＩＮＧ ＡＮＤ ＰＬＡＮＮＩＮＧ」と題する、ニュージーランド仮特許出願７５２９０１号に記載されている。本明細書に記載の認知モードは、ＣＢＬＯＣＫが異なるモードを動作させることを可能にするために適用され得る。「学習モード」では、ＣＢＬＯＣＫは、アイテムのシーケンスを受動的に受信し、このシーケンス内の頻繁に発生するサブシーケンスをエンコードするチャンクを学習する。学習中、ＣＢＬＯＣＫは、要素の入力シーケンスを観察し、同時に次の要素を予測する。ＣＢＬＯＣＫが次の要素を正しく予測し得る間に、チャンクの進化表現が作成される。予測が間違っている（「驚くべき」）場合、チャンクは終了し、その表現は（「トニックＳＯＭ」と呼ばれる）別のネットワークによって学習され、その後リセットされて、プロセスは最初からやり直す。「生成モード」では、ＣＢＬＯＣＫは、ある程度の偶然性と共にアイテムのシーケンスを能動的に生成し、目標状態、又は所望の結果状態をもたらすチャンクを学習する。生成中、予測された次の要素は、次のステップで実際の１つになるため、「ミスマッチ」の代わりに、予測分布のエントロピーが使用され、ＣＢＬＯＣＫが生成を続け、一方、エントロピーは低く、かつ閾値を超えると停止する。

（生成モードのサブタイプである）「目標ドライブモード」では、ＣＢＬＯＣＫは、アクティブな目標で始まり、次いでこの目標を達成することが期待される計画を選択し、次にこの計画を実装する行動のシーケンスを選択する。「目標フリー」モードでは、ＣＢＬＯＣＫは、アイテムのシーケンスを受動的に受信し、それぞれの新しいアイテムの後に更新される、このシーケンスを生成する可能性の高い計画（及び目標）について推論する。
学習用の認知モード

認知モードは、制御する対象、及び身体化エージェントが学習する程度を制御することができる。モードは、任意の外部条件次第でメモリの学習及び／又は再構成を行うように設定され得る。例えば、単語と視覚オブジェクト表現との間の連想学習は、エージェントと話者が問題のオブジェクトに共同で参加することを条件とすることができる。メモリストレージ構造に対する全ての接続をオフにすることによって、学習を完全にブロックすることができる。

メモリ記憶構造として自己組織化マップ（ＳＯＭ）を使用して学習する方法は、本出願人によってまた所有され、参照により本明細書に組み込まれる、「ＭＥＭＯＲＹ ＩＮ ＥＭＢＯＤＩＥＤ ＡＧＥＮＴＳ」と題する、ニュージーランド仮特許出願７５５２１０号に記載されている。したがって、認知アーキテクチャは、入力の６つの異なるタイプ（モダリティ）、すなわち、視覚－２８×２８ＲＧＢ中心窩画像音声、接触－文字Ａ～Ｚの１０×１０ビットマップ（接触の記号）、運動－長さ１０のアップサンプリングされた１ホットベクトルの１０×１０ビットマップ、ＮＣ（神経化学）－長さ１０のアップサンプリングされた１ホットベクトルの１０×１０ビットマップ、位置（中心窩）－ｘ座標及びｙ座標の１０×１０マップ、を関連付けるように構成される。各タイプの入力は、個々のＳＯＭによって学習され得る。ＳＯＭは、異なる認知モードにおいて、トップダウン又はボトムアップにアクティブ化され得る。「経験モード」では、以前に思い出されたイベントを表すＳＯＭは、最終的に、それがエンコードされるべきである完全に指定された新しいイベントと共に提示され得る。エージェントがこのイベントを経験するプロセスにある間、この同じＳＯＭは、「クエリモード」で使用され、ここで、それまでに経験したイベントの部分と共に提示されて、残りの部分を予測するように求められるため、これらの予測は、感覚運動プロセスに対するトップダウンガイドとして機能することができる。

関連付けは、アクティブ化マップを低レベルＳＯＭから取り出し、同時アクティブ化、例えばＶＡＴ（視覚／音声／接触）及びＶＭ（視覚／運動）を関連付けるように学習する、アテンショナルＳＯＭ（ＡＳＯＭ）を介して学習され得る。一次（単一モダリティ）ＳＯＭとＡＳＯＭとの間のコネクタは、ＡＳＯＭでの学習を制御するためにマスク変数と関連付けられ得る。

入力及び出力の任意のパターンのサポートに記載されているＡＳＯＭにより、入力フィールドに対応するＡＳＯＭアルファ重みを設定することによって直接設定され得る異なる認知モードを、ＡＳＯＭが実装するように構成することを可能にする。

異なる認知モードでは、ＡＳＯＭアルファ重みは、異なる構成において、
●異なる層の重要性を反映し、
●特定のタスク用のモダリティを無視し、
●入力の一部を遮断すること、及び入力値をトップダウンで予測することを含む、入力の異なる部分に注意／フォーカスを動的に割り当てる、ように設定され得る。０のＡＳＯＭアルファ重みは、入力の一部が何であってもよく、かつ加重距離関数によって提供される類似性判断に影響を及ぼさないため、ワイルドカードとして作用する。
直示ルーチンを使用するエピソード処理用のＷＭシステム

認知アーキテクチャは、世界で起こっていることを示している、身体化エージェントによって経験されたエピソードを処理することができる。エピソードは、行動（動詞）及び行動の参加者を中心とする文サイズの意味的単位として表される。異なるオブジェクトは、エピソードにおいて異なる「意味的役割」又は「主題的役割」を果たす。ＷＭエージェントは行動の原因又はイニシエータであり、ＷＭ患者は行動の目標又は実行者である。エピソードは、身体化エージェントが行動すること、他のエージェントによって行われる行動を知覚すること、イベントの計画若しくは画像化すること、又は過去のイベントを思い出すことを伴い得る。

エピソードの表現は、直示ルーチン、すなわち、個別の直示動作としてエンコードされた規則性で準備されたシーケンスを使用してエピソードを処理する、ワーキングメモリシステム（ＷＭシステム）において記憶及び処理され得る。直示動作は、感覚動作、注意動作、運動動作、認知動作、モード設定動作を含み得る。

直示動作を含む準備された直示ルーチンは、低レベルの知覚及び運動処理の連続的でリアルタイムの、平行キャラクタから、離散的、象徴的、高レベルの認知処理への遷移をサポートする。したがって、ＷＭシステム４１は、低レベルのオブジェクト／エピソードの知覚を、直示ルーチン及び／又はエピソードを報告するために使用され得る、メモリ、（高レベルの）挙動制御、及び言語と接続する。直示表現及び直示ルーチンを単語及び文などの言語記号と関連付けることにより、エージェントは、彼らが経験又は行うことを説明することが可能になり、したがって、知覚システム及び筋肉動作に関するニューラルデータの多次元ストリームを圧縮する。

「直示」は、何かの意味が、それが使用されるコンテキストに依存するという考えを示す。例えば、「あなたはここに長く住んでいますか？」という文において、「あなた」という単語は、話されている人を直示的に指し、「ここ」という単語は、対話の参加者が位置する場所を指す。本明細書に記載されるように、「直示」動作、表現、及びルーチンは、身体化エージェントを中心としている。
直示モード設定動作

図９に示されるモジュールに関して、モード１では、Ｍ１は、モジュールＭ２から入力を受信する。モード２では、Ｍ１は、モード３からのその入力を受信する。Ｍ１によって計算された表現は、現在Ｍ１に入力を提供しているモジュールに「直示的に参照」される。現在のモードを設定する動作は、この直示的な参照を確立し、したがって直示動作と見なされ得る。

直示動作により、外部感覚運動動作をモード設定動作と組み合わせることができる。例えば、単一の直示動作は、世界の特定の個人に向けてエージェントの外部注意を方向付け、エージェントの認知アーキテクチャを所与のモードにすることができる。モード設定動作は、直示ルーチンにおいて、それ自体によって特徴づけることができる。例えば、直示ルーチンは、最初に世界のオブジェクトに対する注意の外部行動の実行を伴い、次いでモード設定動作の実行を伴い得る。

モード設定動作である直示動作の例には、初期モード、内部モード、外部モード、行動知覚モード、行動実行モード、自動詞行動監視モード、遷移行動監視モードが含まれる。
エピソードのメモリ／モード設定動作のカスケード

エピソード内のオブジェクト表現は、場所コーディングを使用して、役割（ＷＭエージェント及びＷＭ患者など）に結合される。エピソードバッファは、いくつかのフィールドを含み、各フィールドは、異なる意味的／主題的役割に関連付けられる。各フィールドは、オブジェクト表現をそれ自体に保持していないが、むしろ、オブジェクト又はエピソードを表すロングタームメモリストレージにポインタを保持する。イベント表現は、個人を表す媒体へのポインタを使用する参加者を表す。エージェント及び患者用の別個のポインタが存在する。ポインタは、ＷＭイベント表現で同時にアクティブであるが、イベントがリハーサルされるときに、シーケンシャルに続くだけである。エピソードは、高レベルのシーケンシャル感覚運動ルーチンであり、その要素のいくつかは、サブシーケンスを有し得る。準備された感覚運動シーケンスは、構造化された感覚運動活動をシーケンシャルに開始することができる実行可能な構造である。ＳＭ動作の準備されたシーケンスは、各個人の動作を表すサブアセンブリを含む。これらのサブアセンブリは、一度にアクティブな動作を表している場合でも、計画されたシーケンスを表す構造において平行にアクティブである。

複数の（潜在的に移動する）オブジェクトを有するシーンでは、エージェントは最初に顕著なオブジェクトを固定し、それをＷＭエージェントの役割に置き、次いで、（自動詞ＷＭ行動が認識され、かつ患者が特別なフラグ「エンプティ」を有することになる場合である、エピソードが自動詞でない限り）、ＷＭ患者の役割で別のオブジェクトを固定し、次にＷＭ行動を観察する。

オブジェクト表現は、場所コーディングを使用して、役割（ＷＭエージェント及びＷＭ患者など）に結合される。エピソードバッファは、いくつかのフィールドを含み、各フィールドは、異なる意味的／主題的役割に関連付けられる。各フィールドは、オブジェクト表現をそれ自体に保持していないが、むしろ、オブジェクト又はエピソードを表すＬＴＭストレージにポインタを保持する。イベント表現は、個人を表す媒体へのポインタを使用する参加者を表し、その上、エージェント及び患者用の別個のポインタが存在する。ポインタは、ＷＭイベント表現で同時にアクティブであるが、イベントがリハーサルされるときに、シーケンシャルに続くだけである。

図１２は、ＷＭシステム４１のアーキテクチャを示している。個人に関連付けられた準備された感覚運動シーケンスは、位置、数、及びタイプ／プロパティを保持する個人バッファ４９に活動の持続パターンとして記憶される。エピソード表現は、各役割に対して別個のフィールドを有するエピソードバッファ５０内の個人を参照し、ＷＭエピソードのＷＭエージェント及びＷＭ患者フィールドはそれぞれ、それぞれの個人を表すメモリ媒体にポインタを返して保持する。

図１１は、エピソードを処理及び記憶するように構成されたワーキングメモリシステム（ＷＭシステム）４１を示している。ＷＭシステム４１は、ＷＭエピソード４３及びＷＭ個人４２を含む。ＷＭ個人４２は、エピソードに登場する個人を定義する。ＷＭエピソード４３は、ＷＭ個人（単数又は複数）及び行動を含むエピソードを備える全ての要素を含む。個人ＷＭエージェント、及びＷＭ患者を含む、ＷＭエピソード４３のシンプルな例では、ＷＭエージェント、ＷＭ患者、及びＷＭ行動がシーケンシャルに処理されて、ＷＭエピソードを満たす。

個人メモリストア４７は、ＷＭ個人を記憶する。個人メモリストアを使用して、個人が新規又は再参加した個人であるかどうかを判定することができる。個人メモリストアは、新規の個人が新たに導入されたニューロンの重みに記憶されるＳＯＭ又はＡＳＯＭとして実装されてもよく、再参加した個人は、再参加した個人を表すニューロンを更新する。意味的ＷＭにおける表現は、知覚プロセスのシーケンシャル構造を利用する。エージェント及び患者の観念は、このＳＭシーケンスにおける注意動作のシリアルな順序によって定義される。図１６は、図１４の個人メモリストアの視覚化のスクリーンショットを示している。

エピソードメモリストア４８は、ＷＭエピソードを記憶し、エピソードタイプの局所的表現を学習する。エピソードメモリストアは、個人及び行動の組み合わせ上で訓練されるＳＯＭ又はＡＳＯＭとして実装され得る。エピソードメモリストア４８は、可能性のあるエピソード構成要素を予測するための機構を含み得る。図１８は、図１４のエピソードメモリストア４８の視覚化のスクリーンショットを示している。エピソードメモリストア４８は、３つの入力フィールド、すなわち、それぞれのＷＭエピソードスロットから入力されるエージェント、患者、及び行動を有するＡＳＯＭとして実装され得る。

個人バッファ４９は、個人の属性をシーケンシャルに取得する。個人の知覚は、以下の３つの動作を含む低レベルの感覚運動ルーチンを伴う。
１．顕著な空間領域の選択
２．（単数又は複数の刺激が分類されるかどうかを判定する）分類スケールの選択。注意システムは、単一の個人及び／又は単一の顕著な領域と同じタイプのオブジェクトのグループを表すように構成され得る。
３．オブジェクトカテゴリのアクティブ化。

個人バッファへシーンを処理している知覚媒体からの情報のフローは、「カスケードステートマシン」で説明されるようなカスケード機構などの、好適な機構によって制御され得る。図１５は、図１４の個人バッファの視覚化のスクリーンショットを示している。個人バッファは、デジタルのビットマップ及び色によって表される位置、数、並びにリッチプロパティコンプレックス用のいくつかのバッファからなる。

エピソードバッファは、エピソードの要素をシーケンシャルに取得する。エピソードバッファへの情報のフローは、「カスケードステートマシン」で説明されるカスケード機構などの、好適な機構によって制御され得る。図１７は、図１４のエピソードバッファ５０の視覚化のスクリーンショットを示している。エピソードの知覚は、エージェント、患者、及び行動処理のシーケンシャルな段階を通過し、それぞれの結果は、エピソードバッファ５０の３つのバッファのうちの１つに記憶される。

（ニュージーランド特許第７５２９０１号に記載される、ＳＯＭ又はＣＢＬＯＣＫであり得る）再帰型状況媒体は、エピソードのシーケンスを追跡する。「予測された次のエピソード」は、エピソードメモリストア４８の活動に対するトップダウンバイアスとして機能し、かつ可能性のある次のエピソード及びそれらの参加者を予測することができる、可能なエピソードの分布を提供する。

シーンでは、オブジェクトの多くが移動し得るため、それらの位置は変化している。複数のオブジェクトがいくらか詳細に同時に注意及び監視され得るように、複数のオブジェクトを追跡するための機構が提供される。各オブジェクトに対して１つである、複数のトラッカが含まれてもよく、オブジェクトの各々は、１つごとに識別及び追跡される。
カスケードステートマシン

直示ルーチンは、カスケード化のための任意の好適な計算機構を使用して実装され得る。一実施形態では、カスケードステートマシンが使用され、ここで直示動作は、カスケードステートマシンの状態として表される。直示ルーチンは、モード設定動作のシーケンシャルカスケードを伴うことができ、ここで、各認知モードは、次の認知モードで利用可能なオプションを制約する。このスキームは、認知処理を介して、分散した神経的にもっともらしい形態のシーケンシャル制御を実装する。各モード設定動作は、認知モードを確立し、その認知モードにおいて、次の認知モードについて決定する機構がアクティブ化される。カスケードモードを可能にする基本的な機構は、モードを実装するゲーティング動作を他のモードによりそれ自体に対してゲーティング可能にするものである。これは図１３に示されている。例えば、エージェントは最初に、顕著／関連イベントがメモリから検索される認知モードに移行することを決定することができる。いくつかの候補イベントを検索後、エージェントは、ＷＭ個人に対する「メモリ」に注意するための認知モードに移行することができ、この個人を特徴とするイベントを強調表示する。この後、エージェントは、ＷＭ個人の状態を登録するための認知モード、又はＷＭ個人によって実行される行動との間で決定することができる。
解釈

説明された方法及びシステムは、任意の好適な電子コンピューティングシステムで利用することができる。以下に説明する実施形態によれば、電子コンピューティングシステムは、様々なモジュール及びエンジンを使用する本発明の方法論を利用する。電子コンピューティングシステムは、少なくとも１つのプロセッサ、１つ以上のメモリデバイス、又は１つ以上のメモリデバイスに接続するためのインターフェース、システムが１人以上のユーザ又は外部システムからの指示を受信して操作できるようにするために外部デバイスに接続するための入力及び出力インターフェース、様々な構成要素間の内部及び外部通信用のデータバス、並びに好適な電源を含み得る。更に、電子コンピューティングシステムは、外部及び内部デバイスと通信するための１つ以上の通信デバイス（有線又は無線）、及びディスプレイ、ポインティングデバイス、キーボード、又は印刷デバイスなどの１つ以上の入力／出力デバイスを含み得る。プロセッサは、メモリデバイス内にプログラム命令として格納されたプログラムのステップを実行するように配設されている。プログラム命令は、本明細書に記載される本発明を実行するための様々な方法を実行することを可能にする。プログラム命令は、例えば、Ｃベースの言語及びコンパイラなどの任意の好適なソフトウェアプログラミング言語及びツールキットを使用して開発又は実装することができる。更に、プログラム命令は、それらがメモリデバイスに転送されるか、又は例えばコンピュータ可読媒体に格納されるなど、プロセッサによって読み取られることができるように、任意の好適な方法で格納され得る。コンピュータ可読媒体は、プログラム命令を具体的に格納するための任意の好適な媒体、例えば、ソリッドステートメモリ、磁気テープ、コンパクトディスク（ＣＤ－ＲＯＭ又はＣＤ－Ｒ／Ｗ）、メモリカード、フラッシュメモリ、光ディスク、磁気ディスク、又は他の好適なコンピュータ可読媒体であり得る。電子コンピューティングシステムは、関連するデータを検索するために、データストレージシステム又はデバイス（例えば、外部データストレージシステム又はデバイス）と通信するように配設されている。本明細書に記載のシステムは、本明細書に記載の様々な機能及び方法を実行するように配設された１つ以上の要素を含むことが理解されよう。本明細書に記載の実施形態は、システムの要素を構成する様々なモジュール及び／又はエンジンを相互接続して機能を実装できるようにする方法の例を読者に提供することを目的とする。更に、説明の実施形態は、システム関連の詳細において、本明細書で説明される方法のステップがどのように実行され得るかを説明する。概念図は、様々なデータ要素が様々な異なるモジュール及び／又はエンジンによって様々な段階でどのように処理されるかを読者に示すために提供される。モジュール又はエンジンの配置及び構造は、システム及びユーザの要件に応じて適宜調整することができ、それによって、本明細書に記載されているものとは異なるモジュール又はエンジンによって様々な機能を実行することができ、特定のモジュール又はエンジンを単一のモジュール又はエンジンに組み合わせることができる。説明されるモジュール及び／又はエンジンは、任意の好適な形態の技術を使用して実装され、命令と共に提供され得る。例えば、モジュール又はエンジンは、任意の好適な言語で書かれた任意の好適なソフトウェアコードを使用して実装又は作成され得、その後、コードは、任意の好適なコンピューティングシステム上で実行され得る実行可能プログラムを生成するためにコンパイルされる。あるいは、又は実行可能プログラムと組み合わせて、モジュール又はエンジンは、ハードウェア、ファームウェア、及びソフトウェアの任意の好適な混合を使用して実装され得る。例えば、モジュールの一部は、特定用途向け集積回路（ＡＳＩＣ）、システムオンチップ（ＳＯＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、又は任意の他の好適な適応可能又はプログラム可能な処理デバイスを使用して実装され得る。本明細書に記載の方法は、記載されたステップを実行するように特別にプログラムされた汎用コンピューティングシステムを使用して実装することができる。あるいは、本明細書に記載の方法は、コンピュータが、特定のフィールドに関連付けられた環境からキャプチャされた特定のデータに対して説明されたステップを実行するように特別に適合されている場合、データ分類及び視覚化コンピュータ、データベースクエリコンピュータ、グラフィカル分析コンピュータ、データ分析コンピュータ、製造データ分析コンピュータ、ビジネスインテリジェンスコンピュータ、人工知能コンピュータシステムなどの特定の電子コンピュータシステムを使用して実施することができる。
概要

一実施形態では、仮想オブジェクト、デジタルエンティティ、又はロボットをアニメーション化するコンピュータ実装システムであって、システムは、複数のモジュールを含み、各モジュールが少なくとも１つのコネクタと関連付けられており、コネクタがモジュール間の情報のフローを可能にし、モジュールが、仮想オブジェクト、デジタルエンティティ、又はロボットをアニメーション化するためのニューラル挙動モデルを一緒に提供し、コネクタのうちの２つ以上が、接続されたモジュール間の情報のフローを調節するように構成された調節変数、及び調節変数をオーバーライドするように構成されたマスク変数と関連付けられている。

別の実施形態では、以下が提供される。直示ルーチンを使用して、身体化エージェントのエピソードを処理するコンピュータ実装方法であって、方法は、エピソードの要素に対応する準備されたフィールドのシーケンスを定義することと、ステートマシンを使用して、準備された直示動作のシーケンスを定義することと、からなるステップを含み、ステートマシンの各状態が、１つ以上の直示動作をトリガするように構成されており、ステートマシンの少なくとも２つの状態が、エピソードのフィールドを完了するように構成されており、直示動作のセットが、少なくとも１つのモード設定動作、少なくとも１つの注意動作、及び少なくとも１つの運動動作、を含む。

Claims (14)

1. 仮想オブジェクト、デジタルエンティティ、又はロボットをアニメーション化するコンピュータ実装システムであって、前記システムは、
   複数のモジュールであって、各モジュールが少なくとも１つのコネクタと関連付けられており、前記コネクタがモジュール間の情報のフローを可能にし、かつ前記モジュールが、前記仮想オブジェクト、デジタルエンティティ、又はロボットをアニメーション化するニューラル挙動モデルを一緒に提供する、複数のモジュール、を含み、
   前記コネクタのうちの２つ以上が、
   接続されたモジュール間の前記情報のフローを調節するように構成された調節変数、及び
   調節変数をオーバーライドするように構成されたマスク変数、
   と関連付けられている、システム。
2. 前記ニューラル挙動モデルの前記接続性を設定するように構成された、事前定義されたマスク変数値のセットを含む認知モードを更に含む、請求項１に記載のシステム。
3. 前記調節変数が、範囲を有する連続変数であり、前記変数の最小値が接続性を抑制し、最大値が接続性を強制する、請求項１に記載のシステム。
4. 前記２つ以上のコネクタが、最小値と最大値との間でキャップされたマスタコネクタ変数と関連付けられており、前記マスタコネクタ変数が、関連付けられた調節変数及び関連付けられたマスク変数の関数である、請求項１に記載のシステム。
5. 前記関数が、前記関連付けられた調節変数と前記関連付けられたマスク変数とを合計する、請求項４に記載のシステム。
6. 調節変数が、論理条件に従って設定された動的設定値を記憶する、請求項１に記載のシステム。
7. 動的設定値が、前記ニューラル挙動モデル内の変数と関連付けられている、請求項６に記載のシステム。
8. 前記マスク変数が、範囲を有する連続変数であり、前記マスク変数の最小値が、前記関連付けられた調節変数値に関係なく、その関連付けられたコネクタの接続性を抑制し、前記マスク変数の最大値が、前記関連付けられた調節変数値に関係なく、その関連付けられたコネクタの接続性を強制する、請求項１に記載のシステム。
9. 認知モードが、注意モード、感情モード、言語モード、挙動モード、及び学習モードを含むグループのうちの１つ以上を含む、請求項１に記載のシステム。
10. 前記モジュール又はコネクタのうちの少なくとも１つが、論理条件に従って、認知モードを設定するように構成されている、請求項１に記載のシステム。
11. 前記システムが、重み付け方式で認知モードを設定することをサポートし、前記認知モードの前記マスク変数の各々が、前記認知モードの前記重み付けに比例して重み付けされている、請求項１に記載のシステム。
12. 前記システムが、複数の認知モードを設定することをサポートし、前記複数の認知モードに対して共通のマスク変数が組み合わされている、請求項１に記載のシステム。
13. 直示ルーチンを使用して、身体化エージェントのエピソードを処理するコンピュータ実装方法であって、
    前記エピソードの要素に対応する、準備されたフィールドのシーケンスを定義することと、
    ステートマシンを使用して、準備された直示動作のシーケンスを定義することと、
    からなるステップを含み、
    前記ステートマシンの各状態が、１つ以上の直示動作をトリガするように構成されており、
    前記ステートマシンの少なくとも２つの状態が、前記エピソードのフィールドを完了するように構成されており、
    前記直示動作のセットが、
    少なくとも１つのモード設定動作、
    少なくとも１つの注意動作、及び
    少なくとも１つの運動動作、を含む、方法。
14. 直示動作として利用可能な少なくとも１つのモード設定動作が、前記直示ルーチンでトリガされた先行する認知モード設定動作によって判定される、請求項１３に記載の方法。
    

Images