JP2019185748A - インタラクティブ言語習得のシステム、及び方法 - Google Patents

Abstract

【課題】会話環境を介したワンショット概念学習によるインタラクティブ言語習得のためのシステムと方法を提供する。【解決手段】ステップ２０５において、このゲームにおけるセッションをインタラクション期間中にランダムにインスタンス化する。テストセッションは独立したデータセットを使用して構築され、データセットは、訓練中にこれまでになかった言語とワンショット学習能力を評価する。ステップ２１０において、セッションにおいて、教師はオブジェクトをランダムに選択し、一つのインタラクション方式をランダムに選択することで、そのオブジェクトについて学習者とインタラクションを行う。ステップ２１５において、学習者は教師によって選択されたインタラクション方式に基いてそれに応じて教師とインタラクションを行う。ステップ２２０において、最大ステップ数に達した時、学習者が正しくインタラクションを行うとセッションは終了する。【選択図】図２

Description

本開示は、概して、改善されたコンピュータ性能、特徴、及び用途を提供可能なコンピュータ学習のためのシステム並びに方法に関する。

言語は、人間にとって最も自然なコミュニケーション形態の一つであり、通常、人間の知能の基本と見なされる。従って、知的エージェントが人間とコミュニケーションをとるために言語を使うことができることは重要である。ディープニューラルネットワークを用いた教師あり訓練は、言語学習の進歩を促進することにつながったが、主に、訓練データの統計データを捕らえること、新しいシナリオへの適応性の欠如、及び非効率的な再訓練や壊滅的な忘却なしに新しい知識を習得するための柔軟性という問題がある。また、ディープニューラルネットワークモデルの教師あり訓練は多数の訓練サンプルを必要とするが、多くの興味深い用途は少量のデータから迅速に学習する必要があり、それは教師あり設定に対して更に大きな挑戦をもたらす。

従って、機械学習のためのコンピューティングデバイスの機能を改善するインタラクティブ設定での概念学習を伴うインタラクティブ言語習得のためのシステム及び方法が必要とされる。

本開示の実施形態を参考して、その例としては図面に示される。これらの図は、例示的なものであり、限定するものではない。本開示は、これらの実施形態のコンテクストにおいて説明されるが、本開示の範囲はこれらの特定実施形態に制限されないことを理解すべきである。図中の項目は縮尺通りではない可能性がある。

本明細書の実施形態に係る、インタラクティブ言語及びワンショット概念学習のための例示的会話ゲームを示す。

本明細書の実施形態に係る、インタラクティブ言語及びワンショット概念学習のためのプロセスを示す。

本明細書の実施形態に係る、インタラクティブ言語及びワンショット概念学習を実施するためのネットワーク構造を示す。

本明細書の実施形態に係る、ネットワーク構造でワンショット概念学習を実施するプロセスを示す。

本明細書の実施形態に係る、インタラクティブ言語及びワンショット概念学習を実施するためのインタープリタＲＮＮ及びスピーカＲＮＮを示す。

本明細書の実施形態に係る、記憶拡張ニューラルネットワークによる模倣方法を示す。

本明細書の実施形態に係る、コンテクスト適応行動シェーピングのための方法を示す。

本明細書の実施形態に係る、画像の変化がない単語レベルのタスクに用いられる訓練中の報酬の進化を図示的に示す。

本明細書の実施形態に係る、画像の変化がない単語レベルのタスクのテスト性能を示す。

本明細書の実施形態に係る、異なるテスト画像変化率でフルーツデータセットにおける単語レベルのタスクに対するテスト成功率及び報酬を示す。

本明細書の実施形態に係る、新規クラスに対する提案方法の例示的な結果をグラフで示す。

本明細書の実施形態に係る、画像の変化があるセンテンスレベルのタスクのテスト性能を示す。

本明細書の実施形態に係る、異なる方法による例示的対話を示す。 本明細書の実施形態に係る、異なる方法による例示的対話を示す。 本明細書の実施形態に係る、異なる方法による例示的対話を示す。 本明細書の実施形態に係る、異なる方法による例示的対話を示す。

本明細書の実施形態に係る、コンピューティングデバイス/情報処理システムの簡略化したブロック図を示す。

以下、説明を目的として、本開示を理解するために詳細を説明する。なお、明らかなように、当業者にとっては、これらの詳細がなくても本開示を実施できる。また、当業者であれば、後述する本開示の実施形態は、例えば、プロセス、装置、システム、機器又は方法などの様々な方式で有形のコンピュータ可読媒体で実施できると理解すべきである。

図示する構成要素又はモジュールは本開示の例示的な実施形態についての説明であり、本開示を明瞭にするためのものである。理解すべきなのは、本明細書の全体にわたって、構成要素がサブユニットを含む単独な機能ユニットとして記述されてもよいが、当業者であれば、種々の構成要素又はその一部が単独な構成要素に区画されてもよく、例えば単一のシステム又は構成要素の内部に集積されてもよいと認識すべきである。注意すべきなのは、本明細書で論述される機能又は動作は構成要素として実施されてもよい。構成要素は、ソフトウェア、ハードウェア、又はそれらの組み合わせで実施されてもよい。

なお、図中の構成要素又はシステム間の接続は、直接接続に限定されることを意図していない。逆に、これらの構成要素の間のデータは中間構成要素によって変更されたり、再フォーマットされたり、又は他の方式で変更されたりしてもよい。また、付加的接続又はより少ない接続を利用してもよい。また、注意すべきなのは、「結合」、「接続」又は「通信可能に結合」という用語が、直接接続、一つ又は複数の中間機器を介した間接接続及び無線接続を含むと理解すべきである。

本明細書において、「一実施形態」、「好ましい実施形態」、「実施形態」又は「複数の実施形態」とは、当該実施形態を参照しながら説明する特定の特徴、構造、特性又は機能が本開示の少なくとも一実施形態に含まれてもよく、一以上の実施形態に含まれてもよいことを意味する。また、本明細書において複数の箇所に記載された上記用語は、必ずしも同一の実施形態又は複数の実施形態を指すものではない。

本明細書の様々な箇所において、特定の用語の使用は例示のためのものであり、限定するものではない。サービス、機能又はリソースは単一のサービス、機能又はリソースに限定されず、これらの用語の使用は、分散又は統合可能な関連サービス、機能又はリソースのグループ化を指すことができる。

「含む」、「含まれる」、「備える」、「備えられる」という用語は、オープンな用語と理解されるべきであり、その後に挙げられるいかなる内容はいずれも例示的なものであり、列挙された項目に限定されることを意味しない。本明細書で用いられる見出しはいずれも組織的な目的に過ぎなく、明細書又は特許請求の範囲を限定するものではないと理解されるべきである。本特許文献で言及される全ての参照文献は、その全文を引用により本明細書に組み込まれる。

更に、（１）いくつかのステップは選択的に実施されてもよいこと、（２）ステップは本明細書で説明される特定の順番に制限されなくてもよいこと、（３）一部のステップは異なる順番で実行されてもよいこと、及び（４）一部のステップは同時に実行されてもよいことを、当業者が理解すべきである。
［Ａ．はじめに］

言語は、人間にとって最も自然なコミュニケーション形態の一つであり、通常、人間の知能の基本と見なされる。従って、知的エージェントが人間とコミュニケーションをとるために言語を使うことができることは重要である。ディープニューラルネットワークを用いた教師あり訓練は、言語学習の進歩を促進することにつながったが、主に、訓練データの統計データを捕らえること、新しいシナリオへの適応性の欠如、及び非効率的な再訓練又は壊滅的な忘却なしに新しい知識を習得するための柔軟性という問題がある。また、ディープニューラルネットワークモデルの教師あり訓練は多数の訓練サンプルを必要とするが、多くの興味深い用途は少量のデータから迅速に学習する必要があり、それは教師あり設定に対して更に大きな挑戦をもたらす。

それに対して、人間による学習方式は教師あり設置とは大きく異なる。まずは、人間は世界に行動を起こし、その行動の結果から学習する。移動などの機械的な行動の場合、結果は主に幾何学的及び機械的原理に従い、言語の場合、人間は話すことで行動し、結果は通常に会話相手（つまり教師）からの口頭及びその他の行動フィードバック（例えば、うなずき）の形の応答である。これらのタイプのフィードバックには、通常、その後の会話で言語スキルを向上させる情報信号が含まれ、人間の言語習得プロセスにおいて重要な役割を果たす。次に、人間は、少量のデータから新しい概念を習得する優れた能力を示している。ほんの一例でさえ、子供は推論をすることができ、概念間で合理的な境界を明確的にすることができるので、ワンショット学習の能力を実証した。

人間の言語習得プロセス及びワンショット学習能力は、いずれも人間の知能の印象的な現れであり、そして、計算言語学習のための新規な設置やアルゴリズムを設計するために示唆を与える。一つ又は複数の実施形態において、会話は、言語学習のインタラクティブ環境及び新しい知識を習得するための自然なインターフェースとして用いられる。本明細書にワンショット概念学習能力を用いたインタラクティブ言語習得方法を開示する。これらの方法は、エージェントが基礎となる言語をゼロから学習し、新規オブジェクトに関する情報を積極的に探して記憶するという転換可能なスキルを習得することを可能にし、ワンショット学習能力を開発し、それらは、純粋に教師との会話を通してインタラクションを行う。
［Ｂ．いくつかの関連作業］

教師あり言語学習。ディープニューラルネットワークによる言語学習は、機械翻訳、対話生成、画像キャプション及び視覚的質問応答を含む多くの応用分野で大きな成功を収める。訓練を行うために、多くのラベル付きデータが必要であり、収集するために巨大な努力が必要である。また、このような設置は基本的に訓練データの統計データを捕らえ、言語学習のインタラクティブ性質を尊重しないため、再訓練や忘却なしに新しい知識を習得する柔軟性が低くなる。

シーケンス強化学習。最近のいくつかの研究では、強化学習（ＲＬ）を使用して、特定の測定基準に従って予め訓練された言語モデルの性能を調整した。この特許文書の研究は、自然言語の行動空間におけるＲＬにも関連しており、純粋なテキスト対話による言語学習を探求する動機を持っている。しかしながら、上記のいくつかの研究において、候補シーケンス集合が提供され、そして、行動はその集合から一つを選択することである。ここでの主な焦点の一つはゼロから言語を学習することにあり、エージェントは、簡単に提供された候補集合から一つを選択するのではなく、シーケンス行動を生成することを学習する必要がある。

コミュニケーションと言語の出現。最近の研究では、コミュニケーションと言葉の発明を学習することについて検討された。出現した言語は、人間が後処理により解釈される必要がある。しかし、ここでの実施形態は、理解及び生成という二重の観点から言語学習を達成することを要旨としており、後処理なしでエージェントの話す行動を容易に理解する。言語学習に関するいくつかの研究は、推測者-回答者設定を使用し、推測者が回答者に質問して追加の情報を収集することによって最終目標（例えば、分類）を達成しようと試みる。これらの研究は、推測者が最終目標を達成するのを助けるために質問される問題を最適化することを試みるが、ここでの一つ又は複数の焦点は、転換可能な会話及びワンショット能力である。

ワンショット学習とアクティブ学習。最近のいくつかの研究では、ワンショット学習については検討された。記憶拡張ネットワークは、ワンショット学習のために、外部メモリにグランドトゥルースクラスラベルと混合された視覚的表現を記憶する。クラスラベルは画像の表示に続いて常に提供される。従って、エージェントは受動的な方式で教師から情報を受け取る。ある研究は、外部メモリがないＶａｎｉｌｌａバニラリカレントニューラルネットワーク（ＲＮＮ）を使用して、能動学習に向けた努力を展示した。どちらの研究も画像分類のみに焦点を当てて、これは、クラスラベルが暗記のために直接提供されていることを意味する。それに対して、本開示は、会話型インタラクションによる言語及びワンショット学習を目標としており、そして、学習者は、暗記のために教師のセンテンスから重要な情報を抽出することを学習する必要がある。
［Ｃ．会話ゲームの実施形態］

一つ又は複数の実施形態では、認知科学から幼児の言語発展を研究する実験に啓発された会話ゲームが構築される。図１に、本明細書の実施形態による、インタラクティブ言語及びワンショット概念学習のための例示的会話ゲームを示している。会話ゲーム１００は、エージェント（以下、学習者と同義の用語）が言語を習得し、ワンショット学習能力を発達させるための環境を提供する。ここでのワンショット学習は、セッション中に、行為者にそれ以上の訓練が現れていないことを意味し、そして、図１に示すように、教師によって一度だけ教えられた後、これまでに見たことのないクラスの新規画像についての質問を教師に正しく答えることが期待される。会話ゲーム１００は訓練期間１１０と、訓練期間１１０に続くテスト期間１２０を含む。訓練期間１１０及び/又はテスト期間１２０は一つ又は複数のセッションを含んでもよい。訓練セッションにおいて、教師は質問をしたり、学習者の質問に答えたり、発言をしたり、あるいは何も言わないことがある。教師は、学習者の応答に応じて、励まし（反対）として報酬のフィードバックを提供する。学習者は、インタープリタ１３２及びスピーカ１３４を介して教師のセンテンスを解釈することと、応答を生成することとを交互に繰り返す。図１に示すように、学習者は、最初にほとんど意味のあることを言うことができない。一つ又は複数の訓練セッションを通じて、インタラクティブのために意味のある応答を生み出すことができる。訓練後のテスト期間１２０において、（学習者が訓練中にこれまで見たことのない新規クラスである）チェリーの画像に直面したとき、学習者はそれについて質問（「それは何ですか」）することができ、そして、一度だけ教えられた後、チェリーの別の例のために正しい文（これはチェリーです）を生成する。

このゲームで成功するためには、エージェントは、必ず、１）センテンスを生成することで話すことと、２）１度だけの接触で有用な情報を抽出して記憶し、その後の会話でその情報を使用することと、３）コンテクストとそれ自身の知識に応じて適応的に振る舞う（例えば、未知のオブジェクトについての質問、既知のものについての質問への回答）こととを学習する必要があり、それらは、いずれも教師とのインタラクションを通じて達成される。これにより、開示された会話ゲームは、他のゲームとは区別され、他のゲームでは、エージェントが話すことができないか、又は、自分でセンテンスを生成することで「話す」ことのではなく、提供された集合から候補を選択するか、又は、ゲームは遅進学習に焦点を当てて、ワンショット学習には及ばない。

図２に、本明細書の実施形態による、インタラクティブ言語及びワンショット概念学習のためのプロセスを示している。ステップ２０５において、セッション（Ｓ_ｌ）でインタラクション期間中にこのゲームにおいてランダムにインスタンス化される。テストセッションは独立したデータセットを使用して構築され、当該データセットは、訓練中にこれまでになかった、言語とワンショット学習能力を評価するための概念を持っている。

ステップ２１０において、セッションにおいて、教師はオブジェクトをランダムに選択し、以下の中から一つのインタラクション方式をランダムに選択することで、そのオブジェクトについて学習者とインタラクションを行う。１）質問をすること（例えば、「これは何ですか」）、２）何も言わないこと（すなわち、「」）、又は３）発言をすること（例えば、「これはサルです」）である。

ステップ２１５において、学習者は、教師によって選択されたインタラクション方式に基づいてそれに応じて教師とインタラクションを行う。たとえば、教師が質問をしたり、何も言わなかったりした場合、ｉ）学習者が質問をすると、教師は質問されたオブジェクトについての発言（例えば「それはカエルです」）を提供するとともに、質問の報酬（例えば＋０．１）を与え、ｉｉ）学習者が何も言わないと、教師は依然として答え（例えば「これは象です」）を提供するが、学習者の沈黙に反対するために誤った回答報酬（例えば-１）を与え、ｉｉｉ）学習者からの他のすべての正しくない応答に対して、教師は誤った回答報酬を提供し、次のランダムオブジェクトへ移動してインタラクションを行う。 教師が発言を生成するとき、正しい発言が生成された場合には学習者は報酬を受け取らず、そうでなければ誤った回答の報酬が与えられる。

ステップ２２０において、学習者が正しくインタラクションを行うと、例えば教師の質問に正しく答えた場合、教師が何も言わないときに正しい発言を生成した場合（正解の報酬を受け取ること、＋１）、又は最大インタラクションのステップ数に達した場合に、セッションは終了する。

学習者はセッションの全体にわたって正しく振る舞うならば成功する：新規オブジェクトについて質問すること、質問されたときに答えを生成すること、及び教師がセッション内で教えられたオブジェクトについて何も言わないときに発言することである。そうでなければそれは失敗である。
［Ｄ．共同模倣及び強化によるインタラクティブ言語習得の実施形態］

動機。教師と会話し、教師からのフィードバックに応じて改善することによって、会話と、ワンショット学習能力の発達を学習することを目的とする。ここで、一つ又は複数の実施形態は、共同模倣と強化方法とを使用してこの目的を達成する。模倣は、エージェントが合理的センテンスを生成する基本的な能力を発達させるのに寄与する。学習は教師の会話中の行動を観察することで行われるので、エージェントは、教師と会話しているエキスパートエージェントを模倣するのではなく、本質的に第三者の観点から教師を模倣する。会話中、エージェントは、グラウンドトゥルース答えを明確にラベル付けすることなくセンテンスと画像を認識し、そして、生の知覚を理解し、有用な情報を抽出し、後で教師の質問に対する答えを生成するときに使用するために記憶する。純粋に教師を模倣することは魅力的であるが、このような方法で訓練されたエージェントは反響行動、すなわち、模擬行動のみを発達させる。教師からの確認的なフィードバックを強化し、行動ポリシーを調整することで適応的に模擬を超えて会話することを学習する。それによって学習者が習得した話し能力を使用し、報酬のフィードバックに応じて適応させることを可能にする。これは、赤ちゃんの言語学習プロセスに関するいくつかの見解に類似し、即ち、赤ちゃんが親との試行錯誤によって習得した話しスキルを使用し、話し行動の結果に応じて改善する。赤ちゃんが聞く能力がないと話す能力を十分に発揮できず、訓練されたオウムと有意義な会話をするのは難しいという事実は、言語学習における模倣と強化の両方の重要性を意味する。

公式化。実施形態において、エージェントの応答は、可能なシーケンスの確率分布からのサンプルとしてモデル化することができる。具体的に、一つのセッションについて、視覚入力ｖ^ｔと会話履歴Ｈ^ｔ＝｛ｗ^１，ａ^１，…，ｗ^ｔ｝を与え、エージェントの応答ａ^ｔは話し行動の分布ａ^ｔ〜ｐ_θ ^ｓ（ａ｜Ｈ^ｔ，ｖ^ｔ）からサンプリングすることで生成されてもよい。エージェントは、発話ａ^ｔを出力することによって教師とインタラクションを行い、次のステップで教師からのフィードバックを受け取り、なお、ｗ^ｔ＋１センテンスを口頭のフィードバックとし、ｒ^ｔ＋１を報酬のフィードバックとする（ａ^ｔによると、セッションＣで説明されたように正の値を奨励とし、負の値を反対とする）。目標の中心はｐ_θ ^ｓ（・）の学習である。この問題は、コスト関数Ｌ_θ（これは模倣コスト関数Ｌ_θ ^Ｉと強化コスト関数Ｌ_θ ^Ｒとの合計である）の最小化として公式化される。以下のように示す。
（１）

式中、Ｅ_Ｗ（・）は、教師からのすべてのセンテンスＷにおける予想値であり、γは報酬の割引係数であり、且つ［γ］^ｔはγの羃乗を示す。模倣項は予測性分布ｐ_θ ^Ｉ（ｗ^ｔ｜Ｈ^ｔ−１，ａ^ｔ）を学習する場合に、それらの間のパラメータ共有を通じてｐ_θ ^ｓに寄与する。

アーキテクチャ。一つ又は複数の実施形態において、図３に示すように、学習者は、４つの主な構成要素、即ち、外部メモリ３１０、インタープリタ３２０、スピーカ３３０、コントローラ３４０、及び視覚エンコーダ３５０を含む。外部メモリ３１０は、情報を自由に記憶及び検索することができ、開示されたワンショット学習のためのネットワークの構成要素となる。インタープリタ３２０は、教師のセンテンスを解釈し、知覚信号から情報を抽出し、その情報を外部メモリに記憶することを担当する。スピーカ３３０は、外部メモリへの読み取りアクセスによりセンテンス応答を生成することを担当する。応答は、外部メモリに記憶されている情報を利用して情報を尋ねる質問、又は教師の質問への回答の発言であってもよい。コントローラ３４０は、スピーカの挙動を調節してコンテクスト（例えば、学習者の知識状態）に応じて応答を生成する。視覚エンコーダ３５０は、入力画像を取得して視覚的特徴表現を出力する。一つ又は複数の実施形態において、視覚的特徴表現は、視覚的特徴ベクトル、視覚的特徴行列又は他の適用可能なフォーマットである。いくつかの実施形態において、それは畳み込みニューラルネットワーク（ＣＮＮ）、続いて全結合（ＦＣ）層として実施される。新規画像入力の場合、新規画像から算出された視覚的特徴ベクトルｋ_ｖは、センテンスコンテンツ抽出器により教師のセンテンス入力から抽出されたセンテンスコンテンツｃ_ｓ（センテンスモダリティ）とともに、視覚コンテンツｃ_ｖ（視覚モダリティ）として記憶され、注意機構は視覚モダリティと関連付けられ、＜ｃ_ｖ，ｃ_ｓ＞ペアとして外部メモリに記憶されている。一つ又は複数の実施形態において、センテンスコンテンツｃ_ｓは単語埋め込みベクトルの混合物である。いくつかの実施形態において、センテンス入力を有する画像入力について、コンテンツ重要性ゲートｇ_ｍｅｍは、コンテンツｃ（ｃ_ｖ，ｃ_ｓ）をメモリに書き込むべきか否かを適応的に制御するために用いられる。メモリ書き込み動作のさらなる詳細は、セクションＨ.２及び式（５）〜（７）を参照することができる。図３に示すセンテンスコンテンツ抽出器については、便宜上、＜ｃ_ｖ，ｃ_ｓ＞をマルチモーダルペアとしてメモリ３１０に記憶するプロセスを示すものであることを理解されたい。一つ又は複数の実施形態において、センテンスコンテンツ抽出器はインタープリタの一部である。

図４は、本明細書の実施形態による、ネットワーク構造によるワンショット概念学習の実施プロセスを示している。ステップ４０５において、時間ステップｔで、インタープリタはインタープリタＲＮＮ（図５に図示的に示され、以下で第１のＲＮＮともいう）を使用して教師からのゼロ以上の単語及び過去の会話情報を含む自然言語入力ｗ^ｔを状態ベクトルｈ_Ｉ ^ｔに符号化する。いくつかの実施形態において、自然言語入力は自然言語センテンスである。「センテンス」とは、正式な意味で適切、完全なセンテンスを形成するか否かにかかわらず、ゼロ個以上の単語の集合を意味すると理解されるべきである。ここで使用される「センテンス」は、正しい大文字使用及び／又は句読点を必要とすることもない。ゼロ単語は、教師が画像を提示して何も言わないときの状況に対応する。図５において、記号<ｂｏｓ>はセンテンスの始まり（すなわち自然言語句の始まり）を示し、記号<ｅｏｓ>はセンテンスの終わり（すなわち自然言語句の終わり）を示す。視覚知覚も符号化され、外部メモリから情報を検索するキーとして用いられる。実施形態において、インタープリタＲＮＮは、知覚入力から抽出された重要性重み付け情報で外部メモリを更新しようとする。ステップ４１０において、ｈ_Ｉ ^ｔを、制御ベクトルｃ^ｔを生成するための学習可能なコントローラｆ（・）で拡張された恒等写像である剰余構造ネットワークを通過させる。実施形態において、制御ベクトルｃ^ｔはコントローラの出力をコントローラの入力（ｈ_Ｉ ^ｔ）に組み合わせる（例えば、加算する）ことによって得られる。ステップ４１５において、制御ベクトルｃ^ｔは、応答ａ^ｔを生成するために、スピーカＲＮＮ（図５に図示的に示され、以下、第２のＲＮＮともいう）の初期状態として用いられる。ステップ４２０において、スピーカＲＮＮの最終状態ｈ_ｌａｓｔ ^ｔは、次の時間ステップにおけるインタープリタＲＮＮの初期状態として使用される。

図５は、本明細書の実施形態による、インタラクティブ言語及びワンショット概念学習を実施するためのインタープリタＲＮＮ（又は第１のＲＮＮ）５１０とスピーカＲＮＮ（又は第２のＲＮＮ）５２０とを図示的に示している。実施形態において、インタープリタＲＮＮ５１０とスピーカＲＮＮ５２０とはパラメータを共有し、且つ、いずれも動作のための複数のフュージョンゲートを含む。図５に示すように、インタープリタＲＮＮ５１０は、時間ステップｔ−１のＲＮＮの最後の状態における入力（ｈ_ｌａｓｔ ^ｔ−１）と、インタープリタにおいて時間ステップｔで外部メモリのセンテンスモダリティ下でのセンテンスコンテンツから読み出されたベクトル（ｒ_Ｉ ^ｔ）とを受信する。スピーカＲＮＮ５２０におけるフュージョンゲートは、スピーカにおける時間ステップｔでの制御ベクトルｃ^ｔの入力と、外部メモリのセンテンスモダリティ下でのセンテンスコンテンツから読み出されたベクトル（ｒ_ｓ ^ｔ）とを受信する。式（４）と（１４）において、メモリ読み取りが定義される。
［１．反響行動のための記憶拡張ニューラルネットワークによる模倣の実施形態］

教師の話し方は、エージェントに模倣の情報源を提供する。例えば、センテンスを構成する文法は、エージェントが教師のセンテンスから学習できる有用なスキルであり、インタープリタとスピーカの両方に役立つ可能性がある。模倣は、インタープリタを使用して教師の将来のセンテンスを予測し、及びインタープリタとスピーカの間のパラメータを共有することにより達成される。

図６に、本開示の実施形態による、記憶拡張ニューラルネットワークを利用して模倣する方法を示している。予測のために、画像ｖ^ｔ、及び教師と学習者の両方からの前のセンテンス｛ｗ^１，ａ^１，…，ｗ^ｔ−１，ａ^ｔ−１｝を条件とする次のセンテンスｗ^ｔの確率は、次のように表すことができる。

（２）

式中ｈ_ｌａｓｔ ^ｔ−１、は、時間ステップｔ−１でのＲＮＮの最後状態であり、｛Ｈ^ｔ−１，ａ^ｔ−１｝のサマリーとし（図３参照）、そして、ｉはセンテンスにおける単語にインデックスをつける。

一つ又は複数の実施形態において、ｔ番目のセンテンスのｉ番目の単語の確率はＲＮＮを用いてモデル化され、なお、ｔまでのセンテンスとｔ番目のセンテンスにおけるｉまでの単語は、固定長の状態ベクトルｈ_ｉ ^ｔ＝ＲＮＮ（ｈ_ｉ−１ ^ｔ，ｗ_ｉ ^ｔ）によって捕らえられる（６０５）。一つ又は複数の実施形態において、学習され外部メモリに記憶された知識を取り入れるために、ｉ）センテンスの構文構造を捕らえるためのＲＮＮの状態からの次の単語の予測分布ｐ_θ ^Ｉと、ｉｉ）先に学習した知識を代表するための外部メモリからの情報と、に基づいてフュージョンゲートｇにより次の単語を適応的に生成する（６１０）。

（３）

式中、ｐ_ｈ＝softｍａｘ（Ｅ^Ｔｆ_ＭＬＰ（ｈ_ｉ ^ｔ））、且つｐ_ｒ＝softｍａｘ（Ｅ^Ｔｒ）。Ｅ∈Ｒ^ｄ×ｋは、単語埋め込みテーブルであり、ここで、ｄは埋め込み次元であり、ｋは語彙サイズである。ｒは視覚キーを使用して外部メモリから読み取られたベクトルであり、次のセッションで詳述される。ｆ_ＭＬＰ（・）は、ＲＮＮ状態空間と単語埋め込み空間との間の語彙ギャップをブリッジ接続するための多層の多層パーセプトロン（ＭＬＰ）である。実施形態において、フュージョンゲートｇはｇ＝ｆ（ｈ_ｉ ^ｔ，ｃ）として算出され、式中、ｃは信頼度スコアｃ＝ｍａｘ（Ｅ^Ｔｒ）であり、良好に学習する概念は、設計上、高いスコアを持つべきである（Ｇセッション）。ステップ６１５において、学習者又はエージェントは、教師センテンスの予測誤差を最小化することで模倣する。

マルチモダリティ関連記憶の実施形態。一つ又は複数の実施形態において、マルチモダリティメモリを使用してそれぞれのモダリティの視覚（ｖ）と、センテンス（ｓ）の特徴を記憶するとともに、それらの間の対応関係を保留する。シングルモダリティと比較して、このような設計下では、情報構成はより構造化され、且つクロスモダリティ検索は簡単である。現在の視覚画像から算出された視覚キーＫ_ｖ（Ｇセッション参照）が与えられた場合に、メモリから検索され得る対応するベクトル又はセンテンスの特徴は以下の通りである：

（４）

一つ又は複数の実施形態において、Ｍ_ｖとＭ_ｓは、視覚とセンテンスモダリティに用いられる同じ数のスロット（列）を有するメモリである。メモリ読み取りは、ｒ＝Ｍ_Ｓαとして実施されてもよく、式中、αは、Ｋ_ｖとＭ_ｖのスロットとの間のコサイン類似度を算出することで視覚モダリティを介して取得されるソフトリーディングウェイトである。

メモリ書き込みは、ニューラルチューリングマシンと類似可能であり、コンテンツ重要性ゲートｇ_ｍｅｍを有してコンテンツｃをメモリに書き込むべきか否かを適応的に制御する：

（５）

視覚モダリティについてｃ_ｖ≡ｋ_ｖである。センテンスモダリティについて、教師によって生成されたセンテンスからｃ_ｓを選択的に抽出する必要がある。これは、一つ又は複数の実施形態において、注意機構を使用してｃ_ｓ＝Ｗγに従って達成され、式中、Ｗは行列を示し、ただし、列は、センテンスにおけるすべての単語の埋め込みベクトルである。γは、センテンスにおける各単語の相対的重要性の正規化された注意ベクトルを示し、センテンス表現ベクトルと各単語のコンテクストベクトルとの間のコサイン類似度によって測定され、双方向ＲＮＮを使用して算出される。実施形態において、スカラー値コンテンツ重要性ゲートｇ_ｍｅｍは教師からのセンテンスの関数として算出され、これは、メモリに書き込まれるコンテンツの重要性がコンテンツ自体に依存することを意味する（さらなる詳細については、セクションＨ参照）。メモリ書き込みは、消去及び追加操作で達成されることができる。

（６）

（７）

丸中点（CIRCLED DOT OPERATOR）は、アダマール積（Ｈａｄａｍａｒｄ）を示し、書き込み位置βは最も長く使われていないアクセス機構を用いて決定されることができる。
［２．強化学習によるコンテクスト適応行動シェーピングの実施形態］

模倣は、反響行動を生成する基本的な言語能力を発達させるが、コンテクストや学習者の知識状態に応じて教師と適応的に会話するには十分ではない。実施形態において、ＲＬを使用してポリシーを最適化することで、報酬フィードバックを利用してエージェントの行動をシェーピングする。会話履歴Ｈ^ｔ＝｛ｗ^１，ａ^１，…，ｗ^ｔ｝と視覚入力ｖ^ｔとが与えられると、スピーカはエージェントの応答ａ^ｔを生成でき、それは、すべての可能なシーケンスにおける分布からのサンプルとしてモデル化できる。

（８）

Ｈ^ｔは、インタープリタＲＮＮによりｈ_Ｉ ^ｔに符号化されることができるので、スピーカＲＮＮに対応する行動ポリシーは、ｐ_θ ^ｓ（ａ｜ｈ_Ｉ ^ｔ，ｖ^ｔ）として表すことができる。インタープリタを介して模倣によって学習された言語スキルを利用するために、ＲＮＮでスピーカを実施し、インタープリタＲＮＮとパラメータを共有することができるが、コントローラネットワークによって変調される条件付き信号でセンテンスを生成する（図３）。

（９）

コントローラｆ（・）を使用して変調する理由は、基本言語モデルは学習者にセンテンスを生成する反響能力のみを提供するが、コンテクストに応じた適応行動を必ずしも提供するわけではないからである（例えば、新規オブジェクトに直面した場合に質問をし、その自身の知識状態に応じた先に学習されたオブジェクトに対する回答を提供する）。パラメータを共有するため、如何なる追加のモジュールや学習の信号がなければ、エージェントの行動は教師の行動と同じになる。従って、エージェントが適応的な方式で話すことを学習することは困難である。

図７には、本明細書の実施形態による、コンテクスト適応行動シェーピングのための方法を示している。ステップ７０５において、話し行動の結果から学習するために、強化コスト関数Ｌ_θ ^Ｒで表されるように予想される将来の報酬を最大化することで行動ポリシーｐ_θ ^Ｓ（・）を調整する。式（８）が微分不可能なサンプリング操作を含むので、ステップ７１０において、強化モジュールにおいて、ポリシー勾配定理を使用してｐ_θ ^Ｓ（・）を更新するための勾配を導出する。

（１０）

式中、Ａ^ｔ＝Ｖ（ｈ_Ｉ ^ｔ，ｃ^ｔ）−ｒ^ｔ＋１−γＶ（ｈ_Ｉ ^ｔ＋１，ｃ^ｔ＋１）は、バリューネットワークＶ（・）を使用して推定した優位性である。模倣モジュールは、クロスエントロピー損失を有する模倣コスト関数Ｌ_θ ^Ｉを実施し、予測分布ｐ_θ ^Ｉ（・）におけるパラメータに対してそれを最小化することによって貢献し、これらのパラメータはｐ_θ ^Ｓ（・）と共有される。模倣からの訓練信号は、コントローラを経由せずにショートカット接続を行うことができる。ｆ（・）、Ｖ（・）及び訓練に関するさらなる詳細は、セクションＧを参照する。
［Ｅ．いくつかの実験］

なお、これらの実験及び結果は例示として提供され、特定の条件下で一つ又は複数の具体的な実施形態を使用して実行される。従って、これらの実験及びそれらの結果はいずれも本特許文献の開示の範囲を限定するものではない。

本開示において、実験はベースライン方法と比較して行われる。実験は最初、単語レベルのタスクで行われる。このタスクでは、教師と学習者が毎回一つの単語をやり取りする。次に、概念の学習に対する画像の変化の影響を検討した。更に、より難しいセンテンスレベルのタスクに対して評価を行い、当該タスクにおいて、教師とエージェントが可変長センテンスの形でコミュニケーションを行う。

設定。特定のデータセットに適応する能力ではなく、移転可能スキルを学習する際の性能を評価するために、動物データセットを訓練に使用し、フルーツデータセットで訓練されたモデルをテストした（図１）。データセットについてのさらなる詳細はセクションＦに記載されている。各セッションは２つのランダムにサンプリングされたクラスを含み、インタラクションステップの最大数は６である。

ベースライン。以下の方法を比較した：

・強化：本明細書のモデル実施形態と同じネットワーク構造を有し、且つＲＬのみを使用して訓練を行い、即ち、Ｌ_θ ^Ｒを最小化する。

・模倣：リカレントエンコーダデコーダモデルであって、模倣によって訓練（Ｌ_θ ^Ｒを最小化する）される。

・模倣＋ガウスＲＬ：制御ベクトルｃ^ｔの潜在空間においてガウスポリシーを用いた模倣と強化の結合方法である。当該ポリシーは、行動ポリシーが依存するｃ^ｔを変更することで変更される。
［１．単語レベルのタスク］

この実験において、単語レベルのタスクに焦点が当てられ、これは、異なるアルゴリズムの基本的な行動を分析し理解する機会を提供するとともに、注意をそらす要因を回避するようになる。教師は毎回一つの単語を話すが、学習者は依然として文末の（例えば、＜ｅｏｓ＞）記号で終わる完全なセンテンスを生成することを学習する必要があることに留意されたい。

図８は、異なる方法による訓練中の報酬の進化曲線を示している。強化８０５がほとんど進化していないことが観察され、主に、シーケンス行動の広いスペースにおいて探索が困難であるからである。模倣８１０は、訓練中に強化よりも高い報酬を獲得し、例えば質問のような合理的なセンテンスを生成することでいくつかのペナルティを回避することができるからである。模倣＋ガウスＲＬ８１５は、模倣と強化の両方よりも高い報酬を獲得し、これは、ＲＬ構成要素が行動ポリシーをより高い報酬に向けてシェーピングすることを示している。しかし、ガウスポリシーは潜在的な特徴空間で行動ポリシーを間接的に最適化するため、探索や学習には効率的ではない。提案８２０とは、ここで提案されるモデルの一例を指し、訓練中に最高の最終報酬が達成される。

動物データセットを使用してモデルを訓練し、フルーツデータセットで評価する。図９は、１Ｋ個のテストセッションにおける成功率と平均報酬をまとめたものである。観察できるように、強化９０５は、本質的な学習効率が低いので最も低い成功率（０.０％）と報酬（-６.０）を達成した。模倣９１０は、成功率（２８.６％）と報酬値（-２.７）の両方で、強化よりも優れる。模倣＋ガウスＲＬ９１５は、テスト中に、より高い報酬（-１.２）を達成したが、その成功率（３２.１％）は模倣と同様であり、主に、厳格な成功の基準を有するためである。提案９２０はここで提案されたモデルの一例を指し、最高の成功率（９７．４％）及び平均報酬（＋１．１）が達成され（主に探索訓練における行動サンプリングのため、テスト報酬は訓練報酬よりも高い）、その性能はすべてのベースライン方法よりも大幅に上回っている。この実験から、強化を適切に使用する模倣は、適応行動（例えば、新規オブジェクトについての質問を積極的に提出し、学習したオブジェクトについての回答又は発言を生成する）を達成するために重要であることが明らかである。
［２．画像変化がある学習］

図１０に示すように、ワンショット概念学習に対するクラス内の画像変化の影響を評価するために、モデルを画像変化あり又は画像変化なしで訓練し、テスト中に異なる画像変化率下で（セッションにおいて新規画像が存在する可能性）の性能を比較した。図１０は、異なる変化率下での異なる方法の成功率及び報酬を示している。それらの方法は、強化１００５、模倣１０１０、模倣＋ガウスＲＬ１０１５、及び提案の実施形態１０２０を含む。動物データセット上で訓練されたモデルについて、異なるテスト画像変化率下で、フルーツデータセット上でテストし、変化率が０．５である場合を実線、変化がない場合を破線で示す。

画像の変化がない場合に訓練されたモデルの性能は、変化率の増加につれて著しく低下することが観察された。変化率が０．５である場合に訓練されたモデルの性能も評価された。図１０は、予想される性能低下もあるが、性能はより徐々に低下することを明らかに示しており、これは、ワンショット概念の学習に対する画像変化の重要性を示している。

一つ又は複数の実施形態において、本明細書の実施形態によれば、サンプリングされた訓練及びテスト画像は、画像変化なし及び画像変化ありで訓練された視覚エンコーダを使用して抽出されたそれらの対応する特徴によって表される。一つ又は複数の実施形態において、動物データセット及びフルーツデータセットから１０個のクラスがランダムにサンプリングされ、動物データセット上に画像変化なし及び画像変化ありで訓練された視覚エンコーダを使用して特徴を抽出する。画像変化ありで訓練を行う場合、特徴スペースにおいて視覚的に類似した概念のクラスタが現れ、これは、一般化可能な概念を学習するために、より特徴的な視覚エンコーダが得られたことを示している。
［３．センテンスレベルタスク］

本開示において、センテンスレベルタスクのモデルが更に評価された。教師のセンテンスには様々な変化があり、センテンスの長さが１から５の範囲である。セッションＦにおいて教師の例文が示されている。このタスクは、２つの点で単語レベルのタスクよりもやりがいがある。ｉ）学習者は文の異なる場所に現れる可能性がある有用な情報を抽出することを学習しなければならないため、情報処理はより困難である。ｉｉ）センテンスの生成も単語レベルのタスクよりも困難であり、学習者はＲＮＮと外部メモリからの情報を適応的に融合して完全なセンテンスを生成する必要がある。図１２は、新規テストセットにおける異なる方法の成功率及び平均報酬に関する比較を示し、それらの方法は、強化１２０５、模倣１２１０、模倣＋ガウスＲＬ１２１５、及び提案１２２０（例示的な実施形態を示す）を含む。図１２から観察できるように、提案１２２０は、成功率（８２.８％）と平均報酬（＋０.８）の両方で他のすべての比較方法よりも優れており、これは、その有効性を証明し、より複雑なセンテンスレベルのタスクでも同様である。

本開示は、また、テストセットに適用されたときに提案された方法の情報抽出及び適応的センテンス構成プロセスを視覚化する。図１１は、本明細書の実施形態による、新規クラスに対する提案された方法の例示的結果を図示している。学習者は、新しいクラスについて尋ね、インタープリタを使用して、単語レベルの注意γ（深い色は高い注意に対応する）及びコンテンツ重要性ゲートｇ_ｍｅｍ１１２０を介して共同で教師のセンテンス１１１０から有用な情報を抽出することができる。スピーカはフュージョンゲートｇ（図５に５３０として示される）を使用してスピーカＲＮＮからの信号（スモールｇ）１１３０と外部メモリからの信号（ラージｇ）１１４０との間で適応的に切り替えて、センテンス応答を生成する。図１１に示すように、エージェントは教師のセンテンスから有用な情報を抽出することを学習し、コンテンツ重要性ゲートを使用してどのコンテンツを外部メモリに書き込むのかを制御する。具体的に、オブジェクトの名称を含むセンテンスは、より大きいｇ_ｍｅｍ値を有し、センテンス中の他の単語に比べて、オブジェクトの名称に対応する単語は、より大きい注意の重みγを有する。γとｇ_ｍｅｍとを組み合わせた効果は、オブジェクトの名称に対応する単語が外部メモリに書き込まれる可能性が高いことを表す。エージェントは、また、外部メモリを使用して教師のセンテンスから抽出された情報を記憶するのを学習し、ＲＮＮからの信号と適応的に融合し（構文構造を捕らえる）、新しい概念を含む完全なセンテンスを生成することに成功した。例えば「何」、「私」、「できる」及び「見る」という単語を生成する場合、フュージョンゲートｇの値は小さく、これは、主にＲＮＮからの信号に依存して生成することを意味する（式（３）及び 図１１参照）。逆に、オブジェクトの名称（例えば、「バナナ」及び「キュウリ」）を生成する場合、フュージョンゲートｇは大きな値を有し、これは外部メモリからの信号をより重視することを意味する。この実験は、提案された方法が言語学習とワンショット学習のより複雑なセンテンスレベルのタスクに適用することを示した。もっとおもしろいことは、それが理解しやすい解釈可能な操作プロセスを学習したことである。図１３Ａ〜図１３Ｄは、異なる方法からの例示的対話を含むさらなる結果を示している。
［Ｆ．データベースの実施形態と例文］

動物データセットには、合計で４０の動物クラスが含まれ、４０８の画像を有し、クラスごとには平均で１０つの画像を含む。フルーツデータセットには、合計で１６のクラスと４８の画像を含み、クラスごとに３つの画像を含む。表１では、オブジェクトクラスと画像をまとめた。表２では、様々な場合（質問、回答、及び何も言わない場合）における教師からの例文を示している。
［Ｇ．ネットワーク詳細の実施形態］

以下、例示的な実施形態を提供する。しかしながら、様々なネットワーク構成要素は、異なるように構成されてもよく、又は異なるサブ構成要素を使用してもよいが、それでも本開示の精神及び範囲内で機能することに留意されたい。
［１．視覚エンコーダ］

実施形態において、視覚エンコーダは、入力画像を取り込んで、視覚的特徴表現を出力する。一つ又は複数の実施形態において、視覚的特徴表現は視覚的特徴ベクトル、視覚的特徴行列又は他の適用可能なフォーマットである。それは、畳み込みニューラルネットワーク（ＣＮＮ）、続いて全結合（ＦＣ）層として実施されてもよい。一つ又は複数の実施形態において、各ＣＮＮは４つの層を有する。各層は、サイズが３×３である３２、６４、１２８、２５６個のフィルタを有し、続いて、プーリングサイズが３、ストライドが２のマックスプーリングである。ＲｅＬＵ活性化は全ての層に使用可能である。ＣＮＮの後に、出力次元が５１２と１０２４である２つのＦＣ層を使用し、それぞれＲｅＬＵと線形活性化を有する。
［２．インタープリタとスピーカ］

インタープリタ及びスピーカは、それぞれインタープリタＲＮＮ及びスピーカＲＮＮを用いて実施され、それらはパラメータを共有する。状態次元（ｓｔａｔｅ ｄｉｍｅｎｓｉｏｎ）が１０２４であるゲートリカレントユニット（ＧＲＵ）を使用して実施することができる。ＲＮＮに入力する前に、一つ又は複数の実施形態において、まずは、単語ＩＤを、次元が１０２４である単語埋め込みベクトルに投影し、続いて、ＲｅＬＵ活性化を有する２つのＦＣ層及び線形活性化を有する第３のＦＣ層であり、それらはいずれも１０２４の出力次元を有する。
［３．フュージョンゲート］

実施形態において、フュージョンゲートｇは、ＲｅＬＵ活性化を有する２つの全結合（ＦＣ）層、及びｓｉｇｍｏｉｄ（Ｓ型）活性化を有する第３のＦＣ層として実施される。 各層の出力次元は、それぞれ５０、１０及び１である。
［４．コントローラ］

コントローラは恒等写像とともに、剰余構造ネットワークを形成し、以下のように示される。
（１１）

実施形態において、ｆ（・）は、ＲｅＬＵ活性化を有する２つのＦＣ層及び線形活性化を有する第３のＦＣ層として実施され、それらはいずれも１０２４の出力次元を有する。
［５．バリューネットワーク］

実施形態において、バリューネットワークを導入して予想累積将来報酬を推定する。これはインタープリタＲＮＮの状態ベクトルｈ_Ｉと信頼度ｃを入力とする。それは、ＲｅＬＵ活性化を有し且つ出力次元がそれぞれ５１２及び２０４である２つのＦＣ層として実施されてもよい。第３の層は、線形活性化を有し、且つ出力次元が１である別のＦＣ層であってもよい。それは、コストを最小化することで訓練され、具体的には、以下の通りである。

（１２）

Ｖ’（・）は、バリューネットワークのターゲットバージョンを示し、定期的にＶ（・）からコピーされる前に、そのパラメータが固定されたままである。
［６．信頼度スコア］

信頼度スコアは次のように定義される。

（１３）

なお、Ｅ∈Ｒ^ｄ×ｋは単語埋め込みテーブルであり、ｄは埋め込み次元であり、ｋは語彙サイズである。ｒ∈Ｒ^ｄは外部メモリのセンテンスモダリティから読み取られたベクトルであり、以下のように示される。

（１４）

式中、αはｋ_ｖとＭ_ｖのスロットとの間のコサイン類似度を算出することで視覚モダリティを通して得られるソフトリーディングウェイトである。メモリに記憶されているコンテンツは教師のセンテンス｛ｗ_１，ｗ_２，…，ｗ_ｉ，…，ｗ_ｎ｝から抽出されるものである（セクションＨで詳しく説明される）。

（１５）

式中、ｗ_ｉ∈Ｒ^ｄは、単語ｗ_ｉの単語埋め込みテーブルＥから抽出された埋め込みベクトルを示す。従って、情報抽出に有効なγと、情報検索に有効なαとを有するよく学習した概念について、ｒは、埋め込みベクトルであるべきであり、大部分又は主に視覚画像に関連するラベル単語に対応する。従って、ｃの値は大きくなければならず、そのラベル単語が埋め込みテーブルにおける所在位置で最大値に達する。全く新しい概念では、メモリにそれに関する情報が含まれていないので、読みの注意αは集中されないので、ｒは外部メモリ内の既存の単語埋め込みベクトルの平均値であり、これにより、小さなｃ値を取得する。
［Ｈ．センテンスコンテンツ抽出及び重要性ゲートの実施形態］

以下、例示的な実施形態を提供する。しかしながら、様々なネットワーク構成要素は、異なるように構成されてもよく、又は異なるサブ構成要素を使用してもよいが、それでも本開示の精神及び範囲内で機能することに留意されたい。
［１．コンテンツ抽出］

実施形態において、注意スキームは、メモリに書き込まれるセンテンスから有用な情報を抽出するために用いられる。センテンスｗ＝｛ｗ_１，ｗ_２，…，ｗ_ｎ｝と、対応する単語埋め込みベクトル｛ｗ_１，ｗ_２，…，ｗ_ｎ｝とを与えると、まずは、双方向ＲＮＮを用いてセンテンスのサマリーを生成し、順方向パス（ｐａｓｓ）の状態｛ｗ_１ ^→，ｗ_２ ^→，…，ｗ_ｎ ^→｝と、逆方向パスの状態｛ｗ_１ ^←，ｗ_２ ^←，…，ｗ_ｎ ^←｝を得る。サマリーベクトルは、順方向パスの最後状態と逆方向パスの第１の状態の結合であってもよい。

（１６）

一つ又は複数の実施形態において、コンテクストベクトルは、単語埋め込みベクトルと順方向パス及び逆方向パスの両方の状態ベクトルとの結合である。

（１７）

単語レベルの注意γ＝｛γ_１，γ_２，…，γ_ｎ｝は、変換センテンスサマリーベクトルｓと各コンテクストベクトルｗ_ｉ ^￣の間のコサイン類似度として算出されてもよい。

（１８）

一つ又は複数の実施形態において、二つのＭＬＰは、出力次元が１０２４である２つのＦＣ層を含み、各層にそれぞれ線形活性化及び双曲線正接活性化を有する。メモリに書き込まれるコンテンツｃ_ｓは、以下のように算出することができる。

（１９）
［２．重要性ゲート］

実施形態において、コンテンツ重要性ゲートはｇ_ｍｅｍ＝σ（ｆ_ＭＬＰ（ｓ））として算出され、これは、メモリに書き込まれるコンテンツの重要性は教師からのセンテンスに依存することを意味する。ＭＬＰは二つのＦＣ層を含んでもよく、当該ＦＣ層はＲｅＬＵ活性化を有し、且つ出力次元がそれぞれ５０及び３０である。別の線形活性化を有するＦＣ層を使用してもよく、且つ出力次元２０を使用してもよい。実施形態では、出力層は、出力次元１及びｓｉｇｍｏｉｄ活性化σを有するＦＣ層である。
［Ｉ．訓練詳細の実施形態］

実施形態において、ネットワークは減衰したＡｄａｇｒａｄを用いて訓練される。バッチサイズ１６、学習率１×１０^−５、及び重み減少率１.６×１０^−３を使用した。経験リプレイも使用される。報酬割引係数γは０．９９、単語埋め込み次元ｄは１０２４、辞書サイズｋは８０である。視覚画像サイズは３２×３２であり、生成されたセンテンスの最大長は６であり、メモリサイズは１０である。提案された実施形態の方法について、探索訓練中にサンプリング操作を使用してセンテンスを生成し、テスト中に最大操作を使用する。最大操作は、すべてのベースライン方法についての訓練及びテストに使用される。単語埋め込みベクトルはランダムベクトルとして初期化され、訓練中に固定されたままである。
［Ｊ．新規データに関する対話例］

実施形態において、動物データセット上でモデルを訓練し、フルーツデータセット上で評価する。図１３Ａ〜図１３Ｄは、異なる方法による対話例を示している。観察によると、強化は、学習者が黙っているというポリシーにつなぐことが分かる。模倣と模倣＋ガウスＲＬの両方とも合理的なセンテンスを生成することができるが、コンテクストに応じて適応的に話すことができない。提案は、コンテクストに応じて適応的に話すことができ、新規クラスについての情報を尋ね、そして教師によって一度だけ教えられた後に質問に答える。
［Ｋ．いくつかの結論］

本特許文書では、ワンショット視覚概念学習の基礎言語習得の実施形態が提出された。この結果は、記憶拡張ネットワークを用いて、純粋に教師とインタラクションし、共同模倣及び強化学習を介してインタラクション中に自然に発生するフィードバックから、学習することによって達成された。実験結果は、モデルの実施形態がいくつかの異なる設定にわたるワンショット学習による言語習得に有効であることを示している。提案された実施形態は、より現実的な環境にさらに適用することができ、セッションにわたる永続的記憶は、生涯学習の設定に使用することができる。
［Ｉ．システム実施形態］

実施形態において、本特許文書の態様は、一つ又は複数の情報処理システム/コンピューティングシステムに関わることができ、それらを含むことができ、又は、一つ又は複数の情報処理システム/コンピューティングシステムの上で実施されてもよい。コンピューティングシステムは、あらゆる形式の情報、知能、又はデータを、計算、演算、決定、分類、処理、送信、受信、検索、発信、ルーティング、交換、記憶、表示、通信、明示、検出、記録、再生、処理、又は利用するように動作可能な任意の手段又は手段の組み合わせを含んでもよい。例えば、コンピューティングシステムは、パーソナルコンピュータ（例えば、ラップトップコンピュータ）、タブレットコンピュータ、ファブレット、パーソナルデジタルアシスタント（ＰＤＡ）、スマートフォン、スマートウォッチ、スマートパッケージ、サーバ（例えば、ブレードサーバ又はラックサーバ）、ネットワーク記憶装置、カメラ又は任意の他の適切な装置であってもよく、更に大きさ、形状、性能、機能及び価格が異なっていてもよい。コンピューティングシステムは、ランダムアクセスメモリ（ＲＡＭ）、一つ又は複数の処理リソース（例えば、中央処理装置（ＣＰＵ）又はハードウェア又はソフトウェア制御ロジック）、ＲＯＭ及び/又は他のタイプのメモリを含んでもよい。コンピューティングシステムにおける別の構成要素は、一つ又は複数のディスクドライブ、外部装置と通信するための一つ又は複数のネットワークポート、並びに様々な入力及び出力（Ｉ/Ｏ）装置（例えば、キーボード、マウス、タッチスクリーン及び/又はビデオディスプレイ）を含んでもよい。コンピューティングシステムは、更に様々なハードウェア構成要素の間で通信を送信するように動作可能な一つ又は複数のバスを含んでもよい。

図１４は、本開示の実施形態による、コンピューティングデバイス/情報処理システム（又はコンピューティングシステム）の簡略化したブロック図を示す。コンピューティングシステムが異なるように配置され、異なる構成要素を含んでもよく、図１４に示すように、より少ない構成要素又はより多くの構成要素を有することを含むが、システム１４００について示された機能は、コンピューティングシステムの様々な実施形態をサポートするように動作し得ると理解すべきである。

図１４に示すように、コンピューティングシステム１４００は、コンピューティングリソースを提供するとともにコンピュータを制御する一つ又は複数の中央処理装置（ＣＰＵ）１４０１を含む。ＣＰＵ１４０１は、マイクロプロセッサ等によって実施されてもよく、且つ一つ又は複数のグラフィックスプロセシングユニット（ＧＰＵ）１４１９及び/又は数学的計算に用いられる浮動小数点コプロセッサを更に含んでもよい。システム１４００は、システムメモリ１４０２を更に含んでもよい。システムメモリ１４０２は、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、又は両者の態様であってもよい。

図１４に示すように、複数のコントローラ及び周辺装置を更に提供することができる。入力コントローラ１４０３は、例えばキーボード、マウス、タッチスクリーン及び/又はスタイラスの様々な入力装置１４０４に接続可能なインターフェースを表す。コンピューティングシステム１４００は、一つ又は複数の記憶装置１４０８にインターフェース接続される記憶コントローラ１４０７を更に含んでもよく、記憶装置のそれぞれは、記憶媒体（例えば磁気テープ又は磁気ディスクを含む）、又は光媒体（システム、ユーティリティ及びアプリケーションを実行するための命令のプログラムを記録するために使用可能であり、本発明の各態様を実施するプログラムの実施形態を含んでもよい）を含む。記憶装置１４０８は、更に本開示において処理されたデータ又は処理しようとするデータを記憶してもよい。システム１４００は、表示装置１４１１に接続されるインターフェースを提供するための表示コントローラ１４０９を更に含んでもよい。表示装置１４１１は、陰極線管（ＣＲＴ）、薄膜トランジスタ（ＴＦＴ）ディスプレイ、有機発光ダイオード、エレクトロルミネッセンパネル、プラズマパネル又は他のタイプのディスプレイであってもよい。コンピューティングシステム１４００は、一つ又は複数の周辺装置１４０６に用いられる一つ又は複数の周辺コントローラ又はインタフェース１４０５を更に含んでもよい。周辺装置の例としては、一つ又は複数のプリンタ、スキャナー、入力装置、出力装置、センサなどが挙げられる。通信コントローラ１４１４は、一つ又は複数の通信装置１４１５とインターフェース接続可能であり、システム１４００は、インターネット、クラウドリソース（例えば、イーサネット（登録商標）クラウド、ファイバーチャネル・オーバー・イーサネット（ＦＣｏＥ）／データセンタブリッジ（ＤＣＢ）クラウド）、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、ストレージエリアネットワーク（ＳＡＮ）を含む様々なネットワークのうちのいずれか、又は赤外線信号を含む任意の適切な電磁波キャリア信号によって、遠隔装置に接続することを可能にする。

示されたシステムにおいて、すべての主なシステム構成要素は、バス１４１６に接続されてもよく、バス１４１６は一つ以上の物理バスを表すことができる。しかし、様々なシステム構成要素は互いに物理的に近接してもよく、物理的に近接しなくてもよい。例えば、入力データ及び/又は出力データは、一つの物理的位置から別の物理的位置に遠隔伝送されることができる。なお、本開示の各態様を実現するプログラムは、ネットワークを介して遠隔位置（例えば、サーバ）からアクセスすることができる。このようなデータ及び/又はプログラムは、様々な機械可読媒体のうちのいずれかによって伝送されてもよい。機械可読媒体は、例えばハードディスク、フロッピー（登録商標）ディスク及び磁気テープのような磁気媒体、例えばＣＤ-ＲＯＭ及びホログラフィック装置のような光媒体、光磁気媒体、並びに、例えば特定用途向け集積回路（ＡＳＩＣ）、プログラマブルロジックデバイス（ＰＬＤ）、フラッシュメモリデバイス及びＲＯＭとＲＡＭデバイスのような特別にプログラムコードを記憶したり、記憶して実行したりするように構成されるハードウェア装置を含むが、これらに限定されない。

本発明の態様は、一つ又は複数のプロセッサ又は処理ユニットにステップを実行させるように指示するための命令によって、一つ又は複数の非一時的コンピュータ可読媒体で符号化することができる。なお、一つ又は複数の非一時的コンピュータ可読媒体は、揮発性及び不揮発性メモリを含むべきである。なお、ハードウェア実現方式又はソフトウェア/ハードウェア実現方式を含む代替的な実施態様でも可能である。ハードウェアが実現する機能は、ＡＳＩＣ、プログラマブルアレイ、デジタル信号処理回路等によって実現されることができる。このため、請求項のいずれかに記載の用語「手段」は、ソフトウェア実現方式とハードウェア実現方式の両方を含むことを意味する。同様に、本明細書に使用された用語「コンピュータ可読媒体」は、その上に具現化された命令のプログラムを有するソフトウェア及び/又はハードウェア、又はそれらの組み合わせを含む。これらの代替的な実施態様を考慮すると、図面及び添付の明細書は、当業者がプログラムコード（即ち、ソフトウェア）を作成し及び／又は回路（即ち、ハードウェア）を製造して所要の処理を実行することに必要な機能情報を提供すると理解すべきである。

なお、本発明の実施形態は、様々なコンピュータ実施の動作を実行するためのコンピュータコードを有する非一時的な有形コンピュータ可読媒体を有するコンピュータ製品に更に関してもよい。媒体とコンピュータコードは本発明の目的のために特別に設計され構築されるものであってもよく、当業者の公知のものや利用可能なものであってもよい。有形コンピュータ可読媒体の例は、ハードディスク、フロッピーディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ及びホログラフィック装置のような光媒体、光磁気媒体、及び特別にプログラムコードを記憶又は記憶して実行するように構成されるハードウェア装置（例えば、特定用途向け集積回路（ＡＳＩＣ）、プログラマブルロジックデバイス（ＰＬＤ）、フラッシュメモリデバイス及びＲＯＭやＲＡＭデバイス）を含むが、それらに限定されない。コンピュータコードの例は、機械コード（例えば、コンパイラによって生成されるコード）、及びコンピュータがインタープリタで実行したより高水準のコードを有するファイルを含む。本発明の実施形態は、処理装置により実行されるプログラムモジュール内における機械実行可能な命令として全体的又は部分的に実現されてもよい。プログラムモジュールの例は、ライブラリ、プログラム、ルーチン、オブジェクト、構成要素及びデータ構造を含む。分散型コンピューティング環境では、プログラムモジュールはローカル、遠隔地又は両方の設定環境に物理的に配置されてもよい。

当業者であれば、コンピューティングシステム又はプログラミング言語は本発明の実施に極めて重要ではないと理解すべきである。また、当業者は、前記複数の構成要素が物理的及び/又は機能的にサブモジュールに区画されてもよく一体的に組み合わせられてもよいと理解すべきである。

当業者であれば、上記の例と実施形態は例示的なものであり、本開示の範囲を限定するものではないと理解すべきである。本明細書及び図面に基づいて当業者に明らかなすべての置換、強化、同等物、組み合わせ又は改良は本開示の趣旨及び範囲内に属する。なお、特許請求の範囲のいずれの構成要素は、複数の依存関係、構成及び組み合わせを有するように、異なって配置されてもよい。

本願の一態様によれば、複数の時間ステップを含むセッションおいてインタラクティブ言語学習に基づくコンピュータ実施方法を提供し、前記方法は、
時間ステップで、視覚画像を含む入力と、前記視覚画像に関連するゼロ以上の単語を含む自然言語入力とを受信するステップと、
視覚エンコーダを使用して前記視覚画像を視覚的特徴表現に符号化するステップと、
注意機構を使用して前記自然言語入力を自然言語入力表現に符号化するステップと、
第１のニューラルネットワークにおいて少なくとも前記自然言語入力及び先の状態ベクトルに基づいて状態ベクトルを生成するステップと、
前記第１のニューラルネットワークを介して前記視覚的特徴表現と前記自然言語入力表現とを、視覚モダリティとセンテンスモダリティのペアとしてメモリに記憶するステップと、
前記状態ベクトルを剰余構造化ネットワークに通過させて制御ベクトルを生成し、状態入力として第２のニューラルネットワークの挙動を変調するステップと、
少なくとも前記制御ベクトルを使用して、学習された注意及びコンテンツの重要性を使用して、前記第２のニューラルネットワークによって指示される提案された応答部分と、前記メモリから検索された自然言語入力表現の少なくとも一部を用いて指示される提案された応答部分との間で、適応的に選択するステップであって、前記視覚的特徴表現を視覚キーとして使用して前記自然言語入力表現を検索することにより、前記入力に対応する応答を形成するステップと、を含む。

本願の他の一態様によれば、訓練されたエージェントが習得した言語能力と発達したワンショット学習能力とを使用するためのコンピュータ実施方法を提供し、前記方法は、
視覚画像を含む入力と、前記視覚画像に関連するゼロ以上の単語を含む自然言語入力とを受信するステップと、
視覚エンコーダを使用して前記視覚画像を視覚キーに符号化するステップと、
注意機構を使用して前記自然言語入力を自然言語入力表現に符号化するステップと、
第１のニューラルネットワークにおいて少なくとも前記自然言語入力及び先の状態ベクトルに基づいて状態ベクトルを生成するステップと、
前記状態ベクトルに基づいて制御ベクトルを生成して第２のニューラルネットワークの挙動を変調するステップと、
少なくとも部分的に前記制御ベクトルによって制御されるフュージョンゲートを使用して、前記第２のニューラルネットワークによって指示される提案された応答部分と、メモリから検索された自然言語入力表現の少なくとも一部を用いて指示される提案された応答部分との間で適応的に選択するステップであって、前記視覚キーを使用して前記自然言語入力表現を検索することにより、前記入力に対応する応答を形成し、前記メモリには、少なくとも一つの視覚モダリティとセンテンスモダリティのペアが記憶されており、視覚モダリティとセンテンスモダリティのペアのそれぞれは、記憶された視覚的特徴表現と記憶された自然言語入力表現とを含むステップと、を含む。

本願のさらなる一態様によれば、ワンショット視覚概念学習によるインタラクティブ言語習得のためのシステムを提供し、前記システムは、
視覚画像を視覚的特徴表現に符号化するための視覚エンコーダと、
少なくとも、前記視覚画像に関連するゼロ以上の単語を含む自然言語入力と、過去の情報を用いた先の状態ベクトルとに基づいて、状態ベクトルを生成するための第１のニューラルネットワークと、
視覚的特徴表現と自然言語入力表現とを含む、視覚モダリティとセンテンスモダリティのペアを少なくとも一つ記憶するメモリと、
前記状態ベクトルを受信して制御ベクトルを生成する剰余構造化ネットワークと、
挙動変調のための前記制御ベクトルを受信する第２のニューラルネットワークであって、前記第２のニューラルネットワークによって指示される提案された応答部分と、前記メモリから検索された自然言語入力表現の少なくとも一部を使用して指示される提案された応答部分との間で適応的に選択し、前記視覚的特徴表現を視覚キーとして使用して前記自然言語入力表現を検索することにより、前記入力に対応する応答を形成する第２のニューラルネットワークと、を備える。

図１４に示すように、複数のコントローラ及び周辺装置を更に提供することができる。入力コントローラ１４０３は、例えばキーボード、マウス、タッチスクリーン及び/又はスタイラスの様々な入力装置１４０４に接続可能なインターフェースを表す。コンピューティングシステム１４００は、一つ又は複数の記憶装置１４０８にインターフェース接続される記憶コントローラ１４０７を更に含んでもよく、記憶装置のそれぞれは、記憶媒体（例えば磁気テープ又は磁気ディスクを含む）、又は光媒体（システム、ユーティリティ及びアプリケーションを実行するための命令のプログラムを記録するために使用可能であり、本発明の各態様を実施するプログラムの実施形態を含んでもよい）を含む。記憶装置１４０８は、更に本開示において処理されたデータ又は処理しようとするデータを記憶してもよい。システム１４００は、表示装置１４１１に接続されるインターフェースを提供するための表示コントローラ１４０９を更に含んでもよい。表示装置１４１１は、陰極線管（ＣＲＴ）、薄膜トランジスタ（ＴＦＴ）ディスプレイ、有機発光ダイオード、エレクトロルミネッセンパネル、プラズマパネル又は他のタイプのディスプレイであってもよい。コンピューティングシステム１４００は、一つ又は複数の周辺装置１４０６に用いられる一つ又は複数の周辺コントローラ又はインタフェース１４０５を更に含んでもよい。周辺装置の例としては、一つ又は複数のプリンタ、スキャナー、入力装置、出力装置、センサなどが挙げられる。コンピューティングシステム１４００は、更にプリンタ１４１３と通信するためのプリンタコントローラ１４１２を含んでもよい。通信コントローラ１４１４は、一つ又は複数の通信装置１４１５とインターフェース接続可能であり、システム１４００は、インターネット、クラウドリソース（例えば、イーサネット（登録商標）クラウド、ファイバーチャネル・オーバー・イーサネット（ＦＣｏＥ）／データセンタブリッジ（ＤＣＢ）クラウド）、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、ストレージエリアネットワーク（ＳＡＮ）を含む様々なネットワークのうちのいずれか、又は赤外線信号を含む任意の適切な電磁波キャリア信号によって、遠隔装置に接続することを可能にする。

Claims (20)

1. 複数の時間ステップを含むセッションにおいてインタラクティブ言語学習に基づくコンピュータ実施方法であって、
   時間ステップで、視覚画像を含む入力と、前記視覚画像に関連するゼロ以上の単語を含む自然言語入力とを受信するステップと、
   視覚エンコーダを使用して前記視覚画像を視覚的特徴表現に符号化するステップと、
   注意機構を使用して前記自然言語入力を自然言語入力表現に符号化するステップと、
   第１のニューラルネットワークにおいて少なくとも前記自然言語入力及び先の状態ベクトルに基づいて状態ベクトルを生成するステップと、
   前記第１のニューラルネットワークを介して前記視覚的特徴表現と前記自然言語入力表現とを、視覚モダリティとセンテンスモダリティのペアとしてメモリに記憶するステップと、
   前記状態ベクトルを剰余構造化ネットワークに通過させて制御ベクトルを生成し、状態入力として第２のニューラルネットワークの挙動を変調するステップと、
   少なくとも前記制御ベクトルを使用して、学習された注意及びコンテンツの重要性を使用して、前記第２のニューラルネットワークによって指示される提案された応答部分と、前記メモリから検索された自然言語入力表現の少なくとも一部を用いて指示される提案された応答部分との間で、適応的に選択するステップであって、前記視覚的特徴表現を視覚キーとして使用して前記自然言語入力表現を検索することにより、前記入力に対応する応答を形成するステップと、を含む、
   コンピュータ実施方法。
2. 前記第２のニューラルネットワークの前記時間ステップにおける最終状態を、次の時間ステップにおける前記第１のニューラルネットワークへの入力として使用するステップを更に含む、
   請求項１に記載のコンピュータ実施方法。
3. 前記応答が正しい応答である場合、又はインタラクションステップの最大数に達した場合には、前記セッションを終了する、
   請求項１に記載のコンピュータ実施方法。
4. 前記剰余構造化ネットワークは、学習可能なコントローラを有する恒等写像拡張ネットワークである、
   請求項１に記載のコンピュータ実施方法。
5. 前記学習可能なコントローラは、前記状態ベクトルを受信して出力を生成し、前記制御ベクトルは、前記コントローラの出力と前記状態ベクトルとを組み合わせることで得られる、
   請求項４に記載のコンピュータ実施方法。
6. 前記自然言語入力、前記視覚入力、及び前記生成された応答に応じて、教師により、フィードバック及び報酬を生成することを更に含む、
   請求項１に記載のコンピュータ実施方法。
7. 前記報酬は、スカラー値フィードバックであり、前記応答の正確さに応じて、正の値で励ましとして、負の値で反対とする、
   請求項６に記載のコンピュータ実施方法。
8. 強化コスト関数によって表されるように予想される将来の報酬を最大化することにより、前記報酬を利用して応答を生成する際の行動ポリシーを調整する、
   請求項６に記載のコンピュータ実施方法。
9. 前記第１のニューラルネットワークにおいて模倣コスト関数によって前記自然言語入力を予測する際の誤差を最小化し、前記第１のニューラルネットワークと前記第２のニューラルネットワークとの間にパラメータを共有することにより、前記行動ポリシーを同時に最適化する、
   請求項８に記載のコンピュータ実施方法。
10. メモリ書き込み動作では、コンテンツ重要性ゲートは前記自然言語入力の関数として算出されて、前記自然言語入力のコンテンツを前記メモリに書き込むか否かを適応的に制御する、
    請求項１に記載のコンピュータ実施方法。
11. 訓練されたエージェントが習得した言語能力と発達したワンショット学習能力とを使用するためのコンピュータ実施方法であって、
    視覚画像を含む入力と、前記視覚画像に関連するゼロ以上の単語を含む自然言語入力とを受信するステップと、
    視覚エンコーダを使用して前記視覚画像を視覚キーに符号化するステップと、
    注意機構を使用して前記自然言語入力を自然言語入力表現に符号化するステップと、
    第１のニューラルネットワークにおいて少なくとも前記自然言語入力及び先の状態ベクトルに基づいて状態ベクトルを生成するステップと、
    前記状態ベクトルに基づいて制御ベクトルを生成して第２のニューラルネットワークの挙動を変調するステップと、
    少なくとも部分的に前記制御ベクトルによって制御されるフュージョンゲートを使用して、前記第２のニューラルネットワークによって指示される提案された応答部分と、メモリから検索された自然言語入力表現の少なくとも一部を用いて指示される提案された応答部分との間で適応的に選択するステップであって、前記視覚キーを使用して前記自然言語入力表現を検索することにより、前記入力に対応する応答を形成し、前記メモリには、少なくとも一つの視覚モダリティとセンテンスモダリティのペアが記憶されており、視覚モダリティとセンテンスモダリティのペアのそれぞれは、記憶された視覚的特徴表現と記憶された自然言語入力表現とを含むステップと、を含む、
    コンピュータ実施方法。
12. 前記少なくとも一つの視覚モダリティとセンテンスモダリティのペアは、前記第１のニューラルネットワークを介して、過去の自然言語入力及び関連する視覚入力を使用して、学習されたコンテンツ重要性に基づいて記憶される、
    請求項１１に記載のコンピュータ実施方法。
13. 記憶された自然言語入力表現は、行列及び正規化された注意ベクトルに基づいて得られ、ここで、前記行列の列は、関連する過去の自然言語入力からのすべての単語の埋め込みベクトルであり、前記正規化された注意ベクトルは、前記関連する過去の自然言語入力における各単語の相対的重要性を示す、
    請求項１２に記載のコンピュータ実施方法。
14. 前記第２のニューラルネットワークによって指示される提案された応答部分は、単語レベル注意とコンテンツ重要性を介して前記自然言語入力から共同で抽出される、
    請求項１１に記載のコンピュータ実施方法。
15. クロスモダリティ検索により前記メモリから前記自然言語入力表現を検索し、前記クロスモダリティ検索は、前記視覚キーを使用してソフトリーディングウェイトを取得することで実施される、
    請求項１１に記載のコンピュータ実施方法。
16. 前記ソフトリーディングウェイトは、前記視覚キーと記憶された視覚的特徴表現とのコサイン類似度を算出することで得られ、得られたソフトリーディングウェイトと前記記憶された自然言語入力表現との積を実施することで、前記自然言語入力表現の少なくとも一部を、前記視覚画像に関連するラベル単語に対応する埋め込みベクトルとして検索する、
    請求項１５に記載のコンピュータ実施方法。
17. ワンショット視覚概念学習によるインタラクティブ言語習得のためのシステムであって、
    視覚画像を視覚的特徴表現に符号化するための視覚エンコーダと、
    少なくとも、前記視覚画像に関連するゼロ以上の単語を含む自然言語入力と、過去の情報を用いた先の状態ベクトルとに基づいて、状態ベクトルを生成するための第１のニューラルネットワークと、
    視覚的特徴表現と自然言語入力表現とを含む、視覚モダリティとセンテンスモダリティのペアを少なくとも一つ記憶するメモリと、
    前記状態ベクトルを受信して制御ベクトルを生成する剰余構造化ネットワークと、
    挙動変調のための前記制御ベクトルを受信する第２のニューラルネットワークであって、前記第２のニューラルネットワークによって指示される提案された応答部分と、前記メモリから検索された自然言語入力表現の少なくとも一部を使用して指示される提案された応答部分との間で適応的に選択し、前記視覚的特徴表現を視覚キーとして使用して前記自然言語入力表現を検索することにより、前記入力に対応する応答を形成する第２のニューラルネットワークと、を備える、
    システム。
18. 前記第１のニューラルネットワークと前記第２のニューラルネットワークは、いずれもリカレントニューラルネットワークであり、且つパラメータを共有する、
    請求項１７に記載のシステム。
19. 前記剰余構造化ネットワークは、前記状態ベクトルを受信し出力を生成するための学習可能なコントローラを含み、前記制御ベクトルは、前記コントローラの出力を前記状態ベクトルに結合することで得られる、
    請求項１７に記載のシステム。
20. 前記第２のニューラルネットワークは、少なくとも部分的に学習した注意とコンテンツ重要性とに基づいて、前記第２のニューラルネットワークによって指示される提案された応答部分と、前記メモリから検索された提案された応答部分との間で、適応的に切り替えるための一つ又は複数のフュージョンゲートを含む、
    請求項１７に記載のシステム。