JP2021125217A - マルチホップ機械読み取りのための潜在質問再定式化および情報蓄積 - Google Patents

Abstract

【課題】文書から抽出した情報に基づき質問に応答する質問応答システム及び質問応答方法を提供する。
【解決手段】質問応答システムは、複数の単語を含む質問Ｑを第１ベクター表現でエンコーディングする第１エンコーダモジュールと、複数の単語を含む文書Ｄを第２ベクター表現でエンコーディングする第２エンコーダモジュールと、第１ベクター表現および第２ベクター表現に基づいて第３ベクター表現を生成するように構成された第１読み取りモジュールと、第１ベクター表現に基づいて再定式化されたベクター表現を生成するように構成された再定式化モジュールと、第２ベクター表現および再定式化されたベクター表現に基づいて第５ベクター表現を生成するように構成された第２読み取りモジュールと、再定式化されたベクター表現に基づいて質問に対する応答を決定するように構成された応答モジュールと、を含む。
【選択図】図５

Description

＜関連出願に対する相互参照＞
本出願は２０２０年２月６日付出願された米国仮出願番号第６２／９７１、１００号の利益を主張する。参照された出願の全体の開示内用は本明細書に参照として含まれる。

＜技術分野＞
本開示内容は質問応答システムおよび方法に関し、より詳細には、ニューラルネットワーク、アテンションメカニズム（ａｔｔｅｎｔｉｏｎ ｍｅｃｈａｎｉｓｍ）および双方向ゲートリカレントユニット（ｂｉｄｉｒｅｃｔｉｏｎａｌ ｇａｔｅｄ ｒｅｃｕｒｒｅｎｔ ｕｎｉｔ）を使うマルチホップ質問応答に関する。

本明細書に提供された発明の背景となる技術説明は本開示の内容を一般的に提示するためのものである。本技術背景セクションに記述された範囲で、本発明の発明者等の研究だけでなく、出願当時の従来技術として認められない本説明の様態は、本開示内容に対する先行技術として明示的にもまたは暗示的にも認められない。

ＣＮＮ／Ｄａｉｌｙ Ｍａｉｌ、ＳＱｕＡＤおよびＭＳＭＡＲＣＯのような大規模データセットの出現は人間読み取り者などの性能を上回り得る機械読み取りモデルの開発を促進した。これとは別途に、音声アシスタントの広範囲な使用は質問応答タスクが実生活の応用と関連するようにした。画面基盤の検索エンジンとは異なり、音声アシスタントはインターネットで検索されたデータに基づいて使用者質問に応答するのに使われる。

大きなコーパスから関連情報を自動で抽出する能力は難しいことである。質問応答のタスクはニューラルアーキテクチャの読解能力を評価するためのプロキシタスクとして使われ得る。質問応答は単一ホップ抽出機械読み取りに基づくことができる。これは若干の文章が含まれ得る単一テキストから情報を読み取り抽出する能力を含むことができる。

単一ホップ抽出機械読み取りのタスクは次のように説明され得る：文書および関連した質問が与えられると、その質問に応答する文書の範囲を抽出すること。これは機械読み取りモデルが２個の確率分布を抽出することを伴い得る。第１確率分布は文書のそれぞれの単語が質問に応答する範囲の開始単語である確率を示すことができる。第２確率分布は文書のそれぞれの単語が質問に応答する範囲の最後の単語である確率を示すことができる。引き続き、特定の規則を違反することなくこのような確率を最大化する範囲を識別することによって、文書のいずれの範囲が質問に応答するかに関する予測が行われる。規則の例は次を含む：（ａ）範囲開始単語が最後の単語の前になければならず、（ｂ）範囲があらかじめ決定された長さ（例えば、あらかじめ決定された単語の数）より長くてはならない。

これは質問と文書の文章との間に類似性が存在する場合、応答できる容易な質問に対して比較的高い正確度を達成することができる。モデルはパターンおよび指名されたエンティティを検出することを目標とすることはできるものの、推論能力が足りない恐れがある。

韓国公開特許公報第１０−２００８−００９５２０３号

本開示内容はマルチホップ質問のための改善された方法およびシステムを提供する。

一特徴において、質問応答システムは、ネットワークを通じてコンピューティングデバイスから、第１複数の単語を含む質問を受信し、質問を第１ベクター表現でエンコーディングするように構成された第１エンコーダモジュール；文書（Ｄ）を第２ベクター表現でエンコーディングするように構成された第２エンコーダモジュールであって、文書は第２複数の単語を含む、第２エンコーダモジュール；第１および第２ベクター表現に基づいて第３ベクター表現を生成するように構成された第１読み取りモジュール；第１ベクター表現に基づいて質問に対する第１再定式化されたベクター表現を生成するように構成された第１再定式化モジュール；第２ベクター表現および第１再定式化されたベクター表現に基づいて第５ベクター表現を生成するように構成された第２読み取りモジュール；第１再定式化されたベクター表現に基づいて質問に対する第２再定式化されたベクター表現を生成するように構成された第２再定式化モジュール；および第２再定式化されたベクター表現に基づいて質問に対する応答を決定してネットワークを通じてコンピューティングデバイスに応答を伝送するように構成された応答モジュールを含む。

一特徴において、質問応答システムは、ネットワークを通じてコンピューティングデバイスから第１複数の単語を含む質問を受信し、質問を第１ベクター表現でエンコーディングするように構成された第１エンコーダモジュール；文書（Ｄ）を第２ベクター表現でエンコーディングするための手段であって、文書は第２複数の単語を含む、手段；第１および第２ベクター表現に基づいて第３ベクター表現を生成するための手段；第１ベクター表現に基づいて質問に対する第１再定式化されたベクター表現を生成するための手段；第２ベクター表現および第１再定式化されたベクター表現に基づいて第５ベクター表現を生成するための手段；第１再定式化されたベクター表現に基づいて質問に対する第２再定式化されたベクター表現を生成するための手段；および第２再定式化されたベクター表現に基づいて質問に対する応答を決定してネットワークを通じてコンピューティングデバイスに応答を伝送するための手段を含む。

一特徴において、質問応答方法は：一つ以上のプロセッサによって、ネットワークを通じてコンピューティングデバイスから第１複数の単語を含む質問を受信し、質問を第１ベクター表現でエンコーディングする段階；一つ以上のプロセッサによって、文書（Ｄ）を第２ベクター表現でエンコーディングする段階−文書は第２複数の単語を含む−；一つ以上のプロセッサによって、第１および第２ベクター表現に基づいて第３ベクター表現を生成する段階；一つ以上のプロセッサによって、第１ベクター表現に基づいて質問に対する第１再定式化されたベクター表現を生成する段階；一つ以上のプロセッサによって、第２ベクター表現および第１再定式化されたベクター表現に基づいて第５ベクター表現を生成する段階；一つ以上のプロセッサによって、第１再定式化されたベクター表現に基づいて質問に対する第２再定式化されたベクター表現を生成する段階；一つ以上のプロセッサによって、第２再定式化されたベクター表現に基づいて質問に対する応答を決定する段階；および一つ以上のプロセッサによって、ネットワークを通じてコンピューティングデバイスに応答を伝送する段階を含む。

一特徴において、文書を使って質問に応答するためのシステムは、Ａ順次的なホップの複数のコンポーネントであって、第１コンポーネントホップは第２コンポーネントホップと順次カップリングされ、（ａ）第１コンポーネントホップは第１再定式化モジュールにカップリングされた第１読み取りモジュールを含み、（ｉ）第１読み取りモジュールは質問および文書を受信し、文書の第１質問認識表現を第１再定式化モジュールに出力するように構成され、（ｉｉ）第１再定式化モジュールは文書の第１質問−認識表現から要素を抽出し質問の第１アップデート表現を演算するように構成され、（ｂ）第２コンポーネントホップは第２再定式化モジュールにカップリングされた第２読み取りモジュールを含み、（ｉ）第２読み取りモジュールは質問の第１アップデートされた表現および文書を受信し、文書の第２質問−認識表現を第２再定式化モジュールに出力するように構成され、（ｉｉ）第２再定式化モジュールは文書の第２質問認識表現から要素を抽出し、質問の第２アップデート表現を演算するように構成される、複数のコンポーネント；（Ｂ）複数の並列ヘッドであって、複数の並列ヘッドそれぞれは、Ａ順次的なホップの複数のコンポーネントの独立的なインスタンスを含む、複数の並列ヘッド；および（Ｃ）応答モジュール；を含み、応答モジュールは複数の並列ヘッドによって出力された文書のアップデートされた表現をそれぞれ受信し；文書のアップデートされた表現に基づいて、質問に対する応答および質問に対する応答の、文書内のサポート因子を決定するように構成される。

本開示内容の追加の適用分野は、発明を実施するための具体的な内容、特許請求の範囲および図面から明白となるであろう。発明を実施するための具体的な内容および特定の例は単に例示のためのものであり、本開示内容の範囲を制限しようとするものではない。

添付された図面は実施例の原理を説明する目的で本明細書に統合されてその一部を形成する。図面は例示されて記述された実施例にのみ実施例を制限するものと解釈されてはならない。追加の特徴および利点は、添付図面に図示された通り、下記の実施例の説明およびさらに具体的な部分で明白となるであろう。
文書に基づいて質問に応答するためのニューラルネットワーク基盤機械読み取りシステムを例示するブロック図である。 文書に基づいて質問に応答するための方法を例示した機能ブロック図である。 開示された方法が遂行され得るシステムアーキテクチャの例を図示する。 質問（Ｑ）および応答（Ａ）を考慮した多重ホップ質問の二種類の例を含む。 図１のマルチホップモデルの例示的な具現例の機能ブロック図である。 マルチホップモデルの読み取りモジュールの例示的な具現例の機能ブロック図である。 マルチホップモデルの再定式化モジュールの例示的な具現例の機能ブロック図である。 マルチホップモデルの応答モジュールの例示的な具現例の機能ブロック図である。 例示的な質問、応答、および再定式化前後の文書の一部分を含む。 例示的な質問、応答、および再定式化前後の文書の一部分を含む。 質問応答システムの例の機能ブロック図である。 質問応答モジュールの例示的な具現例を含む機能ブロック図である。 質問を受信し、質問に対する応答を提供する例示的な方法を示したフローチャートを含む。 例示的な訓練システムの機能ブロック図である。 図面で、参照番号は類似するおよび／または同じ要素を識別するために再使用され得る。

＜発明の概要＞
一特徴において、情報を集計し再定式化して（ｒｅｆｏｒｍｕｌａｔｅ）応答を生成するために、単一ホップ読み取り機が文書の結合された（ｃｏｎｃａｔｅｎａｔｅｄ）セットを順次読み取りできるようにするシステムアーキテクチャが提供される。このような順次的推論能力を処理するために、一特徴において、質問の新しい、２次元であり、固定されるように大きさが設定された潜在表現が定式化される。応答プロセスにおいて、制御器とも呼ぶことができる潜在空間で、文書の情報と質問の再定式化を相関させるアテンションメカニズムを使って質問の表現がアップデートされる。

一特徴において、文書全体にわたって情報を順次収集（すなわち、蓄積）し、それらの制御器をアップデートする多重スタック読み取りブロックを含む機械読み取りアーキテクチャが定義される。一部の実施例において、可変長テキストシーケエンスからの情報を固定大きさのマトリクスに圧縮する適応型マックスプーリング階層が提供される。一特徴において、抽出機械読み取りモデルの出力階層からアテンションベクターを演算する抽出読み取り基盤アテンションメカニズムが提供される。

一特徴において、文書に基づいて質問に応答するニューラルネットワーク基盤機械読み取りシステムが提供される。システムは：第１複数の単語を含む質問（Ｑ）を受信するように構成された入力モジュール；質問（Ｑ）をトークン表現Ｅ^Ｑでエンコーディングするように構成された第１エンコーダ、および第２複数の単語を含む文書（Ｄ）をトークン表現Ｅ^Ｄでエンコーディングするように構成された第２エンコーダを含む。第１エンコーダおよび第２エンコーダそれぞれは、単語レベルエンベッディング、文字レベルエンベッディング、および単語レベルエンベッディングと文字レベルエンベッディングの結合のうち一つを使う。所定個数Ｔの読み取りブロックが提供され、Ｔは１より大きい整数であり、Ｔ個の読み取りブロックはエンコーディングされた文書Ｅ^Ｄを使ってエンコーディングされた質問Ｅ^Ｑを繰り返し変換するように構成され、第１読み取りブロックはエンコーディングされた文書Ｅ^Ｄおよびエンコーディングされた質問Ｅ^Ｑを入力として受信し変換された質問Ｕ^１を出力するように構成され、それぞれの後続読み取りブロックｔ−ｔは２とＴの間の整数である−はエンコーディングされた文書Ｅ^Ｄおよび以前の読み取りブロックの出力Ｕ^ｔ−１を入力として受信し変換された質問Ｕ^ｔを出力するように構成される。応答モジュールは入力としてＥ^Ｄおよび最終読み取りブロックの出力Ｕ^Ｔを受信し、出力としてＱに対する応答を生成するように構成される。

一特徴において、システムのそれぞれの読み取りブロックｔは、文書のそれぞれの単語が応答範囲の最初となる確率と文書のそれぞれの単語が応答範囲の最終となる確率を示す二つのセットの確率（Ｐ^ｔ _{ｓｔａｒｔ}およびＰ^ｔ _ｅｎｄ）をそれぞれ演算し出力するように構成された読み取り機を含み、応答範囲は質問（Ｑ）に応答する文書（Ｄ）の単語の範囲である。

一特徴において、システムのそれぞれの読み取りブロックｔは、Ｐ^ｔ _{ｓｔａｒｔ}およびＰ^ｔ _ｅｎｄに基づいて、与えられたトークンが応答範囲の一部であるＥ^Ｄでそれぞれの与えられたトークンに対する確率を与える確率値のベクターであるアテンションＡ^ｔを演算するように構成された抽出アテンションモジュールをさらに含む。

一特徴において、システムのそれぞれの読み取りブロックｔはＥ^Ｄ内のそれぞれのトークンを対応する確率値Ａ^ｔで加重化して加重化されたＥ^Ｄを獲得し、Ｕ^ｔ−１および加重化されたＥ^Ｄに基づいてＵ^ｔ−１をＵ^ｔにアップデートするように構成された制御器アップデートモジュールをさらに含む。

一特徴において、システムはＥ^Ｑが第１読み取りブロックに供給される前に、Ｅ^Ｑを固定された数のトークンを有する表現に変換するように構成された適応型マックスプーリング階層、および加重化されたＥ^ＤをＥ^Ｑの表現と同一の固定された数のトークンを有する表現に変換するように構成された、それぞれの読み取りブロックｔの制御器アップデートモジュール内のさらに他の適応型マックスプーリング階層をさらに含む。

一特徴において、システムのそれぞれの読み取りブロックｔの制御器アップデートモジュールは、Ｅ^Ｄの加重値トークンとＵ^ｔ−１の対応するトークンの結合に双方向ゲートリカレントユニットＢｉＧＲＵを適用してＵ^ｔ−１をＵ^ｔにアップデートするように構成される。

一特徴において、システムの第２エンコーダはＢｉＧＲＵを単語レベルエンベッディングおよび文字レベルエンベッディングの結合に適用することによって、単語レベルエンベッディングおよび文字レベルエンベッディングの結合に基づいてＥ^Ｄを演算するように構成される。

一特徴において、システムの応答モジュールは二つのセットの確率（Ｐ^Ｔ _{ｓｔａｒｔ}およびＰ^Ｔ _ｅｎｄ）の値を演算するようにさらに構成され、」はい」、「いいえ」および範囲基盤応答の確率を生成するように構成された３方向分類器をさらに含む。

システムのさらに他の様態によると、生成された応答は」はい」応答、「いいえ」応答、および最も高いＰ^Ｔ _{ｓｔａｒｔ}を有する文書の単語から開始して最も高いＰ^Ｔ _ｅｎｄを有する文書の単語で終わる範囲で構成された範囲基盤応答のうち最も高い確率を有する応答である。

一特徴において、Ｔ個の読み取り機のそれぞれの読み取り機ｔと応答モジュールはいずれも、文書Ｅ^Ｄの表現とそれぞれの読み取り機ｔに対する変換された質問Ｕ^ｔ−１または応答モジュールに対する変換された質問Ｕ^Ｔ間の双方向アテンション（ｂｉ−ａｔｔｅｎｔｉｏｎ）を演算し、文書のセルフアテンション（ｓｅｌｆ−ａｔｔｅｎｔｉｏｎ）を演算するように構成され、それぞれの読み取り機ｔの出力（Ｐ^ｔ _{ｓｔａｒｔ}およびＰ^ｔ _ｅｎｄ）と応答モジュールによる応答出力は対応する双方向アテンションおよび読み取り機ｔおよび応答モジュールによって演算された対応するセルフアテンションに基づく。

一特徴において、双方向アテンションおよびセルフアテンションは次によって与えられた類似性マトリクスに基づく：

ここでＷ_１、Ｗ_２およびＷ_３は訓練可能なマトリクスであり：ｅ^Ｄ _：、ｊおよびｕ^ｔ−１ _：、ｊはそれぞれＥ^Ｄの単一トークンおよび変換された質問Ｕ^ｔ−１の単一トークンをそれぞれエンコーディングするベクターであり、「○」の中に「・」で示される演算子は要素毎の乗算を定義する。

一特徴において、使用者から受信され得る受信された質問および／または使用者に提示され得る出力応答は音声基盤であり、および／または文書および質問は技術的または医学的問題の診断と関連があり、および／または応答は自動でロボット動作をトリガーする。

一特徴において、文書に基づいて質問に応答するための方法が提供される。方法は、使用者から第１複数の単語を含む質問（Ｑ）を受信する段階；単語レベルエンベッディング、文字レベルエンベッディング、および単語レベルエンベッディングと文字レベルエンベッディングの結合のうち一つを使って質問（Ｑ）をトークン表現Ｅ^Ｑで、そして第２複数の単語を含む文書（Ｄ）をトークン表現Ｅ^Ｄでエンコーディングする段階；一連のＴ個の読み取りブロックによって、Ｅ^Ｄを使ってＥ^Ｑを繰り返し変換する段階であって、第１読み取りブロックはエンコーディングされた文書Ｅ^Ｄおよびエンコーディングされた質問Ｅ^Ｑを入力として受信し変換された質問Ｕ^１を出力し、それぞれの後続読み取りブロックｔはエンコーディングされた文書Ｅ^Ｄおよび以前の読み取りブロックの出力Ｕ^ｔ−１を入力として受信し変換された質問Ｕ^ｔを出力し、ｔは２とＴの間の整数である、段階；Ｅ^Ｄおよび最終読み取りブロックの出力Ｕ^ＴからＱに対する応答を生成する段階；および使用者に応答を出力する段階を含む。

一特徴において、方法は、適応型マックスプーリング階層によって、Ｅ^Ｑが第１読み取りブロックに供給される前に、Ｅ^Ｑを固定された数のトークンを有する表現に変換する段階、およびそれぞれの読み取りブロックｔの制御器アップデートモジュール内のさらに他の適応型マックスプーリング階層によって、加重化されたＥ^ＤをＥ^Ｑの表現と同一の固定された数のトークンを有する表現に変換する段階をさらに含む。

一特徴において、繰り返し変換する段階は、それぞれの読み取りブロックｔに対して：文書のそれぞれの単語が応答範囲の最初となる確率と文書のそれぞれの単語が応答範囲の最終となる確率を示す二つのセットの確率（Ｐ^ｔ _{ｓｔａｒｔ}およびＰ^ｔ _ｅｎｄ）をそれぞれ演算し出力する段階であって、応答範囲は質問（Ｑ）に応答する文書（Ｄ）の単語の範囲である、段階；Ｐ^ｔ _{ｓｔａｒｔ}およびＰ^ｔ _ｅｎｄに基づいて、与えられたトークンが応答範囲の一部であるＥ^Ｄでそれぞれの与えられたトークンに対する確率を与える確率値のベクターであるアテンションＡ^ｔを演算する段階；Ｅ^Ｄのそれぞれのトークンに対応する確率値Ａ^ｔで加重化して加重化されたＥ^Ｄを獲得する段階；およびＵ^ｔ−１および加重化されたＥ^Ｄに基づいてＵ^ｔ−１をＵ^ｔにアップデートする段階を含む。

一特徴において、質問応答システムは、ネットワークを通じてコンピューティングデバイスから、第１複数の単語を含む質問を受信し、質問を第１ベクター表現でエンコーディングするように構成された第１エンコーダモジュール；文書（Ｄ）を第２ベクター表現でエンコーディングするように構成された第２エンコーダモジュールであって、文書は第２複数の単語を含む、第２エンコーダモジュール；第１および第２ベクター表現に基づいて第３ベクター表現を生成するように構成された第１読み取りモジュール；第１ベクター表現に基づいて質問に対する第１再定式化されたベクター表現を生成するように構成された第１再定式化モジュール；第２ベクター表現および第１再定式化されたベクター表現に基づいて第５ベクター表現を生成するように構成された第２読み取りモジュール；第１再定式化されたベクター表現に基づいて質問に対する第２再定式化されたベクター表現を生成するように構成された第２再定式化モジュール；および第２再定式化されたベクター表現に基づいて質問に対する応答を決定してネットワークを通じてコンピューティングデバイスに応答を伝送するように構成された応答モジュールを含む。

一特徴において、質問応答システムは、ネットワークを通じてコンピューティングデバイスから第１複数の単語を含む質問を受信し、質問を第１ベクター表現でエンコーディングするように構成された第１エンコーダモジュール；文書（Ｄ）を第２ベクター表現でエンコーディングするための手段であって、文書は第２複数の単語を含む、手段；第１および第２ベクター表現に基づいて第３ベクター表現を生成するための手段；第１ベクター表現に基づいて質問に対する第１再定式化されたベクター表現を生成するための手段；第２ベクター表現および第１再定式化されたベクター表現に基づいて第５ベクター表現を生成するための手段；第１再定式化されたベクター表現に基づいて質問に対する第２再定式化されたベクター表現を生成するための手段；および第２再定式化されたベクター表現に基づいて質問に対する応答を決定してネットワークを通じてコンピューティングデバイスに応答を伝送するための手段を含む。

一特徴において、質問応答方法は：一つ以上のプロセッサによって、ネットワークを通じてコンピューティングデバイスから第１複数の単語を含む質問を受信し、質問を第１ベクター表現でエンコーディングする段階；一つ以上のプロセッサによって、文書（Ｄ）を第２ベクター表現でエンコーディングする段階−文書は第２複数の単語を含む−；一つ以上のプロセッサによって、第１および第２ベクター表現に基づいて第３ベクター表現を生成する段階；一つ以上のプロセッサによって、第１ベクター表現に基づいて質問に対する第１再定式化されたベクター表現を生成する段階；一つ以上のプロセッサによって、第２ベクター表現および第１再定式化されたベクター表現に基づいて第５ベクター表現を生成する段階；一つ以上のプロセッサによって、第１再定式化されたベクター表現に基づいて質問に対する第２再定式化されたベクター表現を生成する段階；一つ以上のプロセッサによって、第２再定式化されたベクター表現に基づいて質問に対する応答を決定する段階；および一つ以上のプロセッサによって、ネットワークを通じてコンピューティングデバイスに応答を伝送する段階を含む。

一特徴において、文書を使って質問に応答するためのシステムは、Ａ順次的なホップの複数のコンポーネントであって、第１コンポーネントホップは第２コンポーネントホップと順次カップリングされ、（ａ）第１コンポーネントホップは第１再定式化モジュールにカップリングされた第１読み取りモジュールを含み、（ｉ）第１読み取りモジュールは質問および文書を受信し、文書の第１質問認識表現を第１再定式化モジュールに出力するように構成され、（ｉｉ）第１再定式化モジュールは文書の第１質問−認識表現から要素を抽出し質問の第１アップデート表現を演算するように構成され、（ｂ）第２コンポーネントホップは第２再定式化モジュールにカップリングされた第２読み取りモジュールを含み、（ｉ）第２読み取りモジュールは質問の第１アップデートされた表現および文書を受信し、文書の第２質問−認識表現を第２再定式化モジュールに出力するように構成され、（ｉｉ）第２再定式化モジュールは文書の第２質問認識表現から要素を抽出し、質問の第２アップデート表現を演算するように構成される、複数のコンポーネント；（Ｂ）複数の並列ヘッドであって、複数の並列ヘッドそれぞれは、Ａ順次的なホップの複数のコンポーネントの独立的なインスタンスを含む、複数の並列ヘッド；および（Ｃ）応答モジュール；を含み、応答モジュールは複数の並列ヘッドによって出力された文書のアップデートされた表現をそれぞれ受信し；文書のアップデートされた表現に基づいて、質問に対する応答および質問に対する応答の、文書内のサポート因子を決定するように構成される。

一特徴において、第１および第２エンコーダモジュールそれぞれは、単語レベルエンコーディング、文字レベルエンコーディング、および単語レベルエンベッディングと文字レベルエンコーディングの両方のうち一つを実行するように構成される。

追加の特徴において、第１再定式化モジュールは第２ベクター表現に追加で基づいて第１再定式化されたベクター表現を生成するように構成される。

追加の特徴において、第２再定式化モジュールは第２ベクター表現に追加で基づいて第２再定式化されたベクター表現を生成するように構成される。

追加の特徴において、応答モジュールは第２ベクター表現に追加で基づいて応答を生成するように構成される。

追加の特徴において、マックスプーリングモジュールは第１ベクター表現の次元をあらかじめ決定された次元に調整するように構成される。

追加の特徴において、第３読み取りモジュールは第２ベクター表現および第２再定式化されたベクター表現に基づいて第５ベクター表現を生成するように構成され；第３再定式化モジュールは第２再定式化されたベクター表現に基づいて質問に対する第３再定式化されたベクター表現を生成するように構成され、応答モジュールは第３再定式化されたベクター表現に基づいて質問に対する応答を決定するように構成される。

追加の特徴において、第１読み取りモジュールは（ａ）文書のそれぞれの単語が応答範囲の最初となる確率と（ｂ）文書のそれぞれの単語が応答範囲の最終となる確率をそれぞれ表現する（ａ）第１セットの確率および（ｂ）第２セットの確率を決定するように構成され、応答範囲は質問に正しく応答する文書の単語の範囲である。

追加の特徴において、抽出アテンションモジュールは、第１セットの確率および第２セットの確率に基づいて、第２ベクター表現のエントリが応答範囲の一部になる確率のアテンションベクターを決定するように構成される。

追加の特徴において、第１再定式化モジュールはアテンションベクターの値に基づいて第２ベクター表現の加重値エントリを適用することによって加重化された第２ベクター表現を生成し、加重化された第２ベクター表現に基づいて第１再定式化されたベクター表現を決定するように構成される。

追加の特徴において、マックスプーリングモジュールは第１ベクター表現の次元をあらかじめ決定された次元に調整するように構成され、第１再定式化モジュールは加重化された第２ベクター表現の次元をあらかじめ決定された次元に調整するように構成される。

追加の特徴において、第１再定式化モジュールは双方向ゲートリカレントユニットＢｉＧＲＵを含み、第２再定式化モジュールはＢｉＧＲＵを含む。

追加の特徴において、第２エンコーダモジュールは単語レベルエンコーディングおよび文字レベルエンコーディングの結合に基づいて第２ベクター表現を生成するように構成される。

追加の特徴において、応答モジュールは応答がはい（ｙｅｓ）である第１確率、応答がいいえ（ｎｏ）である第２確率、応答が文書の第２複数の単語のうちの単語の範囲である第３確率を決定するようにさらに構成される。

追加の特徴において、応答モジュールは第１確率が第２および第３確率より大きい場合、応答を「はい」に設定し、第２確率が第１および第３確率より大きい場合、応答を「いいえ」に設定し；第３確率が第１および第２確率より大きい場合、応答を単語の範囲に設定するように構成される。

追加の特徴において、コンピューティングデバイスはディスプレイ上に応答をディスプレイすることと、少なくとも一つのスピーカーを通じて応答を出力することのうち少なくとも一つをするように構成される。

追加の特徴において、コンピューティングデバイスはマイクロホンを通じて質問を受信するように構成される。

追加の特徴において、応答モジュールは４個の双方向ゲートリカレントユニットおよび４個の完全結合階層を含む。

追加の特徴において、訓練システムは：質問応答システム；および質問に対する応答のサポート因子に関する第１損失、単語の範囲に関する第２損失、および応答の分類に関する第３損失を最小化することによって、質問応答システムを訓練させるように構成された訓練モジュールを含む。

＜発明の詳細＞

マルチホップ推論に対する必要性がある。マルチホップ推論は実世界の状況で、例えば、音声基幹システム（例えば、「「ロード・オブ・ザ・リング」監督の映画見せて」）を含むことができる個人端末機または検索エンジンで、または技術的または医療的な問題の分析のために、質問に応答するのに好ましい。マルチホップ推論は多様な文段にわたる異なる証拠に対する収集および推論を伴い得る。

本出願は文書に基づいて質問に応答するためのシステムおよび方法を含む。説明を目的に、記述された実施例の完全な理解を提供するために、多くの例および特定の詳細事項が提示される。請求項によって定義されたような実施例は、これらの例の特徴のうち一部又は全部を単独でまたは下記に記述された他の特徴と組み合わせて含むことができ、本明細書に記述された特徴および概念の修正および均等物をさらに含むことができる。例示された実施例は、類似する要素および構造が類似する参照番号で表示される図面を参照して記述されるであろう。

本開示内容はマルチホップ推論タスクを伴う。マルチホップタスクで、それぞれの質問は応答を受けるために多様な文段から情報が収集され統合（蓄積）されることを必要とし得る。開示されたシステムはＨｏｔｐｏｔＱＡという名前のデータセットでテストされる。このコーパス（データセット）の自然語質問は、応答可能となるために、少なくとも２個のウィキペディア（Ｗｉｋｉｐｅｄｉａ）文段を読み取ることを要求するように設計された。二つの類型の質問があるが、すなわち応答が英語ウィキペディア文段のテキストの所定範囲である抽出質問、および２値のはい／いいえ質問である。応答に付加的に、正しい応答を生成するために使われた文章が予測されるが、これらはサポート因子と呼ばれる。

開示されたシステムおよび方法のテストはデストラクタ（妨害項）設定と呼ばれる設定で遂行され得、それぞれの質問には２個のゴールド（ｇｏｌｄ）文段を含む１０個の関連文段が存在し得る。ゴールド文段は質問の応答に必要な文段であり得る。しかし、開示されたシステムおよび方法はまた、ｆｕｌｌｗｉｋｉベンチマーク設定およびその他の設定においても使われ得る。ｆｕｌｌｗｉｋｉベンチマーク設定は適合した検索器と結合されるとき、全体の英語ウィキペディアダンプから与えられた質問に応答するモデルの能力を評価する。

図１は、例示的な機械読み取りアーキテクチャを図示する。アーキテクチャは所定個数Ｔのスタック読み取りブロック１１５−１、…、１１５−Ｔ、およびサポート因子と共に最終応答１２２（これは「はい」、「いいえ」、または文書の応答範囲である）を予測し出力することを目標とする応答モジュール１２０を含む。それぞれの読み取りブロックは、読み取り機１１６を通じて（それによって）遂行される読み取り段階、抽出アテンションモジュール１１７でのアテンションの演算、および制御器アップデートモジュール１１８での制御器のアップデートを包括する（含む）。それぞれの読み取りブロックｔで、与えられた文書（Ｄ）１０１は順次読み取られ、制御器Ｕ^ｔの現在状態に関する証拠を探すが、ここでｔ∈［１，Ｔ］である。この接近法は文書全体にわたって収集された（すなわち、蓄積された）関連した情報に関する潜在空間での質問の順次的な再定式化と見ることができる。

図１に例示されたアーキテクチャをさらに詳細に説明すると、質問（Ｑ）１０２は入力モジュールを通じて使用者から受信され得る。質問（Ｑ）１０２はセルラー電話、タブレットデバイス、ラップトップコンピュータ、デスクトップコンピュータ、家庭用端末デバイスまたは送受信機を有する他の適合した類型のコンピューティングデバイスのようなコンピューティングデバイスから受信され得る。質問と関連した文書（Ｄ）１０１は（検索エンジンのような）検索器を通じてウィキペディアまたは他の適合したデータベースから検索されるか、他の方式で読み取りアーキテクチャに提供され得る。

質問（Ｑ）１０２のＮ個の単語のシーケエンスと文書（Ｄ）１０１のＬ個の単語のシーケエンスは以下の通り定義され得る。

＜エンコーディング階層＞
エンコーダはまず、ルックアップテーブル

を通じてＤおよびＱのそれぞれの単語を次元ｄのエンベッディング空間のトークンｘにエンベッディングすることができる。多様な具現例で、エンコーダは２個のエンコーダ１１１および１１２で代替され得る。

選択的に、エンコーダはそれぞれのトークンの文字エンベッディングを生成するために、１Ｄコンボリューション階層でそれぞれのトークンの文字レベルエンコーディングを遂行する。エンコーダは

を獲得するために、文字エンベッディングに対してマックスプーリング動作を選択的に追加で遂行できる。選択的に、エンコーダはそれぞれのトークン

の単語レベルおよび文字レベルエンベッディングを結合し、結合された結果はその全体の内容がここに参照として含まれる、「Ｌｅａｒｎｉｎｇ ｐｈｒａｓｅ ｒｅｐｒｅｓｅｎｔａｔｉｏｎｓ ｕｓｉｎｇ ＲＮＮ ｅｎｃｏｄｅｒ−ｄｅｃｏｄｅｒ ｆｏｒ ｓｔａｔｉｓｔｉｃａｌ ｍａｃｈｉｎｅ ｔｒａｎｓｌａｔｉｏｎ」（Ｃｈｏ ｅｔ ａｌ．、２０１４）（Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ２０１４ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｅｍｐｉｒｉｃａｌ Ｍｅｔｈｏｄｓ ｉｎ Ｎａｔｕｒａｌ Ｌａｎｇｕａｇｅ Ｐｒｏｃｅｓｓｉｎｇ、ＥＭＮＬＰ、２０１４）に記述された通り、双方向ゲートリカレントユニットＢｉＧＲＵに入力されて次のように定義された入力マトリクス

を獲得する。

ＢｉＧＲＵ階層は入力として（入力シーケエンスおよび出力シーケエンスを含んだ）一対を受信し、２個のリカレントニューラルネットワーク（ＲＮＮ）を含む。ＢｉＧＲＵはまた、エンコーダＲＮＮおよびデコーダＲＮＮを含むことができる。第１ ＲＮＮはシンボルの入力シーケエンスを固定長ベクター表現（すなわち、エンコーダＲＮＮの最終隠れ状態）でエンコーディングし、第２ ＲＮＮは固定長ベクター表現を再び可変長シーケエンスでデコーディングする。エンコーダＲＮＮは入力のそれぞれのシンボルを順次読み取り、その以前の隠れ状態に読み取りシンボルを考慮して非線形活性化関数を適用することによって、その隠れ状態を変更する。アップデートゲート（もし、あるとすれば、隠れ状態がアップデートされるかどうかを決定する）およびリセットゲート（以前のゲートが無視されるかどうかを決定する）を含む非線形活性化関数を使用することによって、プロセスの終わりで（すなわち、一応シンボルの全体の入力シーケエンスが読み取られると）獲得されるエンコーダＲＮＮの最終隠れ状態はシンボルの全体の入力シーケエンスの要約である。デコーダＲＮＮは、デコーダＲＮＮの現在のシンボルと現在の隠れ状態が与えられると出力シーケエンスの次のシンボルを予測することによって出力シーケエンスを生成するように訓練され、これはエンコーダＲＮＮを通じて獲得された最終隠れ状態に初期化される。全体のＢｉＧＲＵ階層は入力および出力シーケエンスの与えられた対に対する点数を生成し、点数は入力シーケエンスが与えられる時に出力シーケエンスを獲得する確率である。Ｃｈｏ ｅｔ ａｌ．、２０１４はＢｉＧＲＵ階層の役割およびアーキテクチャに関する追加の詳細事項を提供する。

＜適応型マックスプーリング階層＞
適応型マックスプーリング階層（適応型マックスプール）１１３はｈ次元空間で定義された、質問（Ｑ）をエンコーディングするＬ個のトークンのシーケエンス（これはＢｉＧＲＵの使用の有無にかかわらず、単語エンコーディング、文字エンコーディングまたは両者の組み合わせの結果であり得る）を次元（ｈ×Ｃ）（Ｃは与えられた定数）の固定された大きさ表現に変換するために選択的に使われ得る。適応型マックスプーリング階層１１３は本来質問（Ｑ）の長さであるＬに依存する適応型カーネルの大きさを有するマックスプーリング階層であり得る。結果として、固定次元のマトリクスは本来長さＬに独立的に、パッディング次元のない入力を適切に表現する。

入力マトリクス

の場合、入力シーケエンスの長さと必要な出力形態によるマックスプーリングのカーネルの大きさｗは

であり得る。引き続き出力表現は

を有する

であろう。

一特徴において、Ｌ≧Ｃであり、このような場合、適応型マックスプーリング階層１１３の適用は適応型マックスプーリング階層１１３による本来表現の圧縮につながる。代案としての実施例において、Ｌ＜Ｃである場合、シーケエンス表現は拡張される必要がある。漏れているトークンを演算するために線形近似が使われ得る。

適応型マックスプーリング動作は質問（Ｑ）の長さＬに応じてプーリングウインドウの大きさをダイナミックに適応させる。

＜読み取りブロック＞
前記に定義されたエンコーディングおよび選択的変換後に、入力マトリクス

または変換された入力マトリクス

は、Ｔ個のアテンション−基盤読み取りブロック１１５−１、…、１１５−Ｔのラインに対する制御器Ｕ^０として使われ、それぞれの読み取りブロック

は制御器状態Ｕ^ｔ−１を入力として受信し、変換された制御器状態Ｕ^ｔを出力する。

＜読み取りブロックの読み取り機＞
段階ｔで、すなわち与えられた読み取りブロックｔで、制御器状態Ｕ^ｔ−１（これは以前のホップｔ−１の制御器状態であり得る）が与えられると、読み取り機１１６と後続する抽出アテンションモジュール１１７は入力文書（Ｄ）に対してアテンションＡ^ｔを演算し、Ａ^ｔは与えられたトークンが応答範囲の一部である、Ｅ^Ｄ内のそれぞれの与えられたトークンに対する確率を与える確率値のベクターである。

読み取り機１１６は抽出読み取り機であり得、全体の内容がここに参照として含まれる、Ｃｌａｒｋ ａｎｄ Ｇａｒｄｎｅｒ、「Ｓｉｍｐｌｅ ａｎｄ ｅｆｆｅｃｔｉｖｅ ｍｕｌｔｉ−ｐａｒａｇｒａｐｈ ｒｅａｄｉｎｇ ｃｏｍｐｒｅｈｅｎｓｉｏｎ」（Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ５６ｔｈ Ａｎｎｕａｌ Ｍｅｅｔｉｎｇ ｏｆ ｔｈｅ Ａｓｓｏｃｉａｔｉｏｎ ｆｏｒ Ｃｏｍｐｕｔａｔｉｏｎａｌ Ｌｉｎｇｕｉｓｔｉｃｓ、ＡＣＬ、Ｍｅｌｂｏｕｒｎｅ、２０１８）で提案された読み取り機のような完全な抽出質問−応答アーキテクチャを含むことができる。多様な具現例で他の適合した機械読み取りモデルが使われ得る。一部の実施例で抽出アーキテクチャは、まず質問／文書アテンション（双方向アテンションと指称され得る）に続けて文書／文書アテンション（セルフ−アテンションと指称され得る）を演算し考慮することができる。

双方向アテンションは（エンコーディングされた）文書（Ｄ）と（適応型マックスプーリングを通じてエンコーディングされて選択的に変換された）質問（Ｑ）の間で読み取り機１１６により演算され得る。読み取りブロックｔで、双方向アテンションは（制御器Ｕ^ｔ−１の状態はｔ−１個の以前の読み取りブロックによって変換された本来質問（Ｑ）を示すため）読み取りブロックｔ−１の文書と制御器状態の間の双方向アテンションとなる。双方向アテンションは、全体の内容がここに参照として含まれた、「Ｂｉｄｉｒｅｃｔｉｏｎａｌ ａｔｔｅｎｔｉｏｎ ｆｌｏｗ ｆｏｒ ｍａｃｈｉｎｅ ｃｏｍｐｒｅｈｅｎｓｉｏｎ」（ＣｏＲＲ、ａｂｓ／１６１１．０１６０３、２０１６）（Ｓｅｏ ｅｔ ａｌ．）で提案されたアテンション流れ階層のようなアテンション流れ階層を使って演算され得る。

具体的には、双方向アテンションを定義するために、類似性マトリクスはまず次のように定義される：

ここでＷ_１、Ｗ_２およびＷ_３は訓練可能なマトリクスであり、ｅ^Ｄ _ｉ、ｊおよびｕ_ｉ、ｊは、それぞれ文書の単一トークンおよび変換された質問（すなわち、制御器Ｕ^ｔ−１の状態）の単一トークンをエンコーディングする次元ｈのベクターであり、演算子（「○」の中に「・」）は要素別乗算を定義する。

類似性マトリクスＳが与えられると、質問のどの単語が文書のそれぞれの単語に対して最も高い類似性を有するかを示す文書−質問アテンション（または文脈−質問アテンション）ｃ_ｑは次のように与えられ得る：

ここで加重値（ｐ_ｉ、ｊ）は

によって与えられ、ＣはＵの（可能としては縮小された）第１次元である。

文書のどの単語が質問のそれぞれの単語と最も大きい類似性を有するかを示す質問−文書アテンション（または質問−文脈アテンション）（ｑ_ｃ）に関しては次のように与えられ得る：

ここでソフトマックス（ｓｏｆｔｍａ×）活性化関数（ｐ_ｉ、ｊ）（またはｐ_ｉ）が

によって与えられ、最大値ｍは

によって与えられる。

文書の制御器認識表現は次の式を使って計算され得る：

その全体内容がここに参照として含まれたＷａｎｇ ｅｔ ａｌ．、２０１７に記述されたようなセルフ−アテンションＹを生成するために、同一のアテンション流れ階層が文書とそれ自身の間に適用され得る。

双方向アテンションおよびセルフ−アテンションの概念の定義および役割に関する追加の詳細事項は、本明細書に開示された機械読み取りシステムを具現するために使われ得る双方向アテンションおよびセルフ−アテンションを演算するための例を記述しているＳｅｏ ｅｔ ａｌ．、２０１６、およびＷａｎｇ ｅｔ ａｌ．、２０１７でそれぞれ確認することができる。

図１に再び戻ると、読み取りブロックｔの読み取り機ｔは以前に演算された双方向アテンションおよびセルフ−アテンションに基づいて二つのセットの確率

を出力する。Ｐ^ｔ _{ｓｔａｒｔ}およびＰ^ｔ _ｅｎｄはそれぞれエンコーディングされた文書Ｅ^Ｄ内のそれぞれの単語が応答範囲の開始またはこの範囲の最終となる確率を示す。読み取り機の役割とそのアーキテクチャに関する追加の詳細事項はＣｌａｒｋ ａｎｄ Ｇａｒｄｎｅｒ、２０１８で確認することができ、これは本明細書に開示された機械読み取りシステムを具現するのに使用できる読み取り機の例を記述する。

読み取りブロックの抽出アテンション階層

読み取りブロックｔの抽出アテンションモジュール１１７で、Ｐ^ｔ _{ｓｔａｒｔ}およびＰ^ｔ _ｅｎｄはそれぞれの与えられた単語が応答範囲の一部である確率を演算し、この値を与えられた単語に対するアテンションベクターＡ^ｔの対応値として使うのに使われ得る。それぞれの単語が選択された範囲に含まれる確率は範囲がこの単語の前に始まって下記の式の後に終わる確率である：

抽出アテンションモジュール１１７は、例えば下記の式を使ってアテンションが０と１の間となるように再スケーリング（ｒｅｓｃａｌｅ）することができる：

＜読み取りブロックの制御器アップデートモジュール＞
文書のエンコーディング（Ｅ^Ｄ∈Ｒ^ｈ×Ｎ）、制御器の以前の状態（Ｕ^ｔ−１∈Ｒ^ｈ×Ｃ）およびアテンションベクター（Ａ^ｔ∈Ｒ^Ｎ）が与えられると、制御器アップデートモジュール１１８の目的は制御器のアップデートされたバージョン（Ｕ^ｔ∈Ｒ^ｈ×Ｃ）を演算することである。この目的は、

を演算するために文書の表現のそれぞれのトークンをその関連したアテンション（すなわち、抽出アテンションモジュール１１７により生成されたアテンションベクターＡ^ｔの対応値）で加重化することによって達成され得る。

以前に定義された選択的適応型マックスプーリング階層１１３が質問（Ｑ）を固定された大きさ表現に変換するのに使われた場合、適応型マックスプーリング階層が再び使われて（図１に図示されず）Ｖ^ｔ∈Ｒ^ｈ×Ｃに

をマッピングすることができる。ＵをＶにアップデートするために、Ｕ^ｔ−１およびＶ^ｔは、引き続きエンベッディング空間で結合されてＢｉＧＲＵ階層に供給され得る。ＢｉＧＲＵの中間表現は、引き続きｈ×Ｃ大きさの制御器のアップデートされたバージョンを得るために結合され得る。

この例で、Ｕ^０は（図１に図示された通り）質問Ｅ^Ｑのエンコーディングに適用された適応型マックスプーリング階層１１３で初期化され得る。

＜応答モジュール＞
応答モジュール１２０はエンコーディングされた文書Ｅ^Ｄの表現および制御器の最終状態Ｕ^Ｔを入力として受信することができる。応答モジュール１２０は、例えば、質問に対する応答が「はい」である確率、応答が「いいえ」である確率、および応答が文書の範囲である確率を含む確率のセットが出力されるという点で、１）質問がバイナリ質問（すなわち、「はい／いいえ」質問）なのかまたは抽出質問（すなわち、前述した応答範囲である、文書（Ｄ）の範囲で応答され得る質問）なのか；２）応答範囲の開始確率と３）応答範囲の最終確率（これらは質問が抽出質問であると決定される場合、応答範囲を決定するのに使われる）；および４）サポート因子を予測するために応答出力１２２を演算するように構成され得る。一特徴において、応答モジュール１２０はその全体がここに参照として含まれたＹａｎｇ ｅｔ ａｌ．、２０１８に記述されたモデルアーキテクチャを有する。応答モジュールは「はい」、「いいえ」または文書（Ｄ）の範囲である応答を有する確率を生成するために具現された３方向分類器を含むことができる。

前述した読み取り機の双方向アテンションは文書と応答モジュール内の最終制御器状態Ｕ^Ｔ（これはＴ個の読み取りブロックによって変換された本来質問（Ｑ）を示す）間の双方向アテンションとなる。一実施例において、双方向アテンションはまた、Ｓｅｏ ｅｔ ａｌ．、２０１６で提案されたアテンション流れ階層を使って演算され得る。

この表現の上段に、一つ以上の（例えば、４個の）ＢｉＧＲＵ階層が選択的にスタックされ得る。ＢｉＧＲＵ階層の目標は、文書のそれぞれの単語のサポート因子である確率（第１階層）、開始である確率（第２階層）および終わりである確率（第３階層）を指導することである。第４階層は与えられた質問の応答がはい、いいえまたは文書の範囲なのか予測するために、前述した３方向分類器を具現するのに使われ得る。

ここでＷ_Ｓ∈Ｒｈ×１、Ｗ_ｅ∈Ｒｈ×１およびＷ_ｃ∈Ｒｈ×３は訓練可能な媒介変数である。

応答モジュールの役割およびそのアーキテクチャに対する任意の追加の詳細事項、および特に応答の類型（はい／いいえ／文書の範囲）が決定される方式、応答範囲の開始および終わりが決定される方式またはサポート因子が決定される方式に関する詳細事項は、本明細書に開示された機械読み取りシステムを具現するのに使われ得る応答モジュールの例を説明したＹａｎｇ ｅｔ ａｌ．、２０１８を参照する。

＜多重ヘッドバージョン＞
一特徴において、図１のアーキテクチャの多重ヘッドバージョンが具現され得る。このアーキテクチャで、Ｋ個の独立的な読み取りヘッドは情報を応答モジュール１２０に供給する前に情報を収集（蓄積）する。応答モジュール１２０までは、それぞれの読み取りヘッドは図１のアーキテクチャの一つの独立的な具現に対応する一方、応答モジュール１２０はすべての読み取りヘッドに共通である。それぞれの読み取りヘッドに対して同一の読み取りブロックの個数Ｔが使われ得る。したがって、それぞれの読み取りヘッドは制御器の最終状態Ｕ^Ｔのマトリクスを生成し、Ｋ個の読み取りヘッドはＫ個の独立マトリクスＵ^Ｔを提供する。最後に、このようなＫ個のマトリクスは応答モジュール１２０の入力を演算するために合算される。ヘッドは自然に異なる出力を生成したり、２個以上のヘッドが同一の出力を生成することができる。

＜応答の弱い指導（ｗｅａｋ ｓｕｐｅｒｖｉｓｉｏｎ）＞
一特徴において、応答の第１出現のみがポジティブでラベリングされて、その他はネガティブでラベリングされ得る。応答の弱い指導と呼ばれる他の特徴で、サポート因子内の応答のすべての出現はポジティブでラベリングされ得る。

＜実験の設定および結果＞
表１はモデルの訓練中に使われたハイパー媒介変数の値を提供する。質問（Ｑ）および文書（Ｄ）の単語をエンコーディングするために、事前に訓練されたグローブ（Ｇｌｏｖｅ）単語エンベッディングをエンコーダ１１１で使った。また、０．５の初期訓練速度で確率的勾配降下法（ｓｔｏｃｈａｓｔｉｃ ｇｒａｄｉｅｎｔ ｄｅｓｃｅｎｔ）を使ってモデルを最適化した。学習率スケジュールとして、開発セットに対する損失が二段階連続して減少しないときに学習率を２で割る。中止基準として、学習率が０．００５未満になると訓練プロセスが終了する。

表２は前述したマルチ−段階読み取りアーキテクチャ（「本モデル」）の、そのデストラクタ設定でのＨｏｔｐｏｔＱＡデータセットに対する性能を提示する。正確なマッチ（ｅｘａｃｔ ｍａｔｃｈ、ＥＭ）およびＦ１が２個の評価メトリクスである。本モデルは応答予測（「応答」）およびサポート因子予測（「サポート因子（Ｓｕｐ Ｆａｃｔ）」）に対して与えられた基準モデルを上回る。

＜利点＞
前述したモデルの異なるコンポーネントの技術的影響を評価するために切除（ａｂｌａｔｉｏｎ）分析が遂行された。順次的読み取りの技術的影響（すなわち、最終結果に対するＴ（読み取りブロックの数）の影響）を経験的に研究するために、前記モデルを制御器の状態を順次アップデートしない（すなわち、単一読み取りブロックを有する（Ｔ＝１を意味））類似するアーキテクチャと比較した。

読み取りブロックと制御器アップデートモジュールの順次的関連は長所を提供する。Ｆ１点数はモデルが質問を再定式化する能力を有さない場合、応答予測タスクの場合、８．９ポイント減少し、証拠抽出タスクの場合、５．７ポイント減少する。したがって読み取りブロックの順次的スタックは技術的に質問に正しく応答するシステムの効率性を向上させる。

システムの効率性に対するＫ（並列ヘッド数）の影響は、Ｔのうち一つよりは重要でないが依然として重要である。実際に、単一ヘッド（Ｋ＝１）のみを使う構成はより良いモデル（Ｆ１点数の側面で）より１ポイント低い。

前記にて定義した応答に対する弱い指導（すなわち、サポート因子内の応答のすべての出現がポジティブでラベリングされる特徴）に関しては、弱い指導はまた、共同のＦ１の点数を０．８ポイント高めるという点でシステムの効率性を向上させる。

読み取りモジュールのセルフ−アテンション階層がモデルの効率性に及ぼす影響は重要である。この階層を除くと、共同メトリクスでＦ１点数が８．９ポイント減少する。これはトークンのローカルの隣でだけでなく異なる文段の間に長距離情報を伝播する能力を説明する。

また、質問表現がマトリクスの代わりにベクターで縮小される例（すなわち、固定表現空間の次元がＣ＝１に縮小される）は、共同のＦ１の点数を１３．３ポイント減少させる。これは質問の表現を、その意味を維持するためにベクターではなくマトリクスで保存することの重要性を強調する。

＜実施例＞
実施例は前記と関連して、また、文書（Ｄ）に基づいて質問（Ｑ）に応答するためのコンピュータの具現方法を例示するフローチャートである図２を参照して詳細に記述されるであろう。方法はコードを実行する一つ以上のプロセッサによって実行され得る。説明された例は本明細書に開示された機械−読み取りシステムの最終の具現内で互いに結合され得る。

２０２で制御が開始され、この時、質問（Ｑ）１０２が例えばネットワーク（例えば、インターネット）を通じてコンピューティングデバイスから受信される。質問は使用者によって入力された単語のセットを含む。例えば、質問は使用者によって使用者インターフェースの入力フィールド内にタイピングされたり、音声基幹システムで、質問は使用者によって話されマイクロホンを通じて受信され得る。音声入力の例で、言語プロセッシングモジュールは自然言語プロセッシング（ＮＬＰ）または他の適合した類型の音声−テキスト変換を使うように音声をテキストに変換することができる。

２０４で、質問（Ｑ）１０２は、エンベッディング空間で、質問のそれぞれの単語に対して一つずつエンベッディングのセットで構成された質問の表現Ｅ^Ｑを出力する図１のエンコーダ１１２のようなエンコーダによってエンコーディングされる。前述した通り、エンコーディングは単語レベルで、文字−レベル（一つ以上の文字を含む質問のそれぞれの単語）で、または単語レベルと文字−レベルの両方で遂行され得る。単語レベルおよび文字−レベルの例で、質問の単一単語に対する単語レベルエンコーディングと文字−レベルエンコーディングからのエンベッディングの両方は結合され得る。例えば、このような目的のために事前に訓練されたグローブ単語エンベッディングが使われ得たり、他の適合した単語および／または文字エンベッディングモデルが使われ得る。

類似するように、既存の文書（Ｄ）は単語のセットを含み、質問（Ｑ）に対する正しい応答を含むことができ、また、図１のエンコーダ１１１のようなエンコーダによってエンコーディングされる。エンコーダ１１１はエンベッディング空間に、文書のそれぞれの単語に対して一つずつ、エンベッディングのセットからなる文書（Ｄ）の表現Ｅ^Ｄを出力する。再び、エンコーディングは単語レベルで、文字−レベル（一つ以上の文字を含む文書のそれぞれの単語）で、または単語レベルと文字−レベルの両方で遂行され得る。単語レベルおよび文字−レベルの例で、文書の単一単語に対する単語レベルエンコーディングと文字−レベルエンコーディングからのエンベッディングの両方は結合され得る。多様な具現例で、同じエンコーダ（すなわち、同じエンコーディングアルゴリズムを使うエンコーダ）が質問および文書の両方に使われ得る。換言すると、同じエンコーダがエンコーダ１１１および１１２により使われ得、結果的なエンベッディングは同じエンベッディング空間に属する。しかし、多様な具現例で、文書および質問をそれぞれエンコーディングするために２個の別個のエンコーダ１１１および１１２が使われ得る。

選択的に２０６で、図１の適応型マックスプーリング階層１１３のような適応型マックスプーリング階層１１３は、エンコーディングされた質問Ｅ^Ｑに適用されてエンコーディングされた質問Ｅ^Ｑ（これは次元（ｈ＊Ｌ）の可変大きさ表現であり、ｈは選択されたエンコーディングアルゴリズムに依存するエンベッディング／エンコーディングの次元、すなわち、それぞれのトークンのあらかじめ決定された定数の大きさであり、Ｌは質問の（変数）の長さである）を次元（ｈ＊Ｃ）（Ｃはあらかじめ決定された定数である）の固定大きさ表現に変換することができる。この選択的実施例において、さらに他の適応型マックスプーリング階層（これは、一実施例において、エンコーディングされた質問Ｅ^Ｑに適用されたものと同じである）はまた、それぞれの読み取りブロックｔの制御器アップデートモジュール１１８でＥ^Ｄの加重化されたバージョンに適用されるのであり、その役割は以下に詳しく説明されている。

２０８で、文書の表現Ｅ^Ｄ（マックスプーリング有無にかかわらない）および質問の現在の表現（最初はマックスプーリングがあるかないＥ^Ｑ）、引き続きそれぞれの読み取りブロック１１５−ｔのそれぞれの制御器アップデートモジュール１１８による出力として、制御器状態Ｕ^ｔ（ｔは１と読み取りブロックの総個数Ｔの間の整数）と呼ばれるＥ^Ｑの変換された表現がＴ個の読み取りブロック１１５−１、…、１１５−Ｔのスタック内に繰り返し供給される。本来の制御器状態Ｕ^０は実施例によりマックスプーリングがあるかないエンコーディングされた質問Ｅ^Ｑと同じであるように定義される。したがって、それぞれの段階ｔで、読み取りブロック１１５の読み取り機ｔは入力としてエンコーディングされた文書Ｅ^Ｄおよび変換された質問のアップデートされた値Ｕ^ｔ−１を受信し、前述した通り、エンコーディングされた文書Ｅ^Ｄのそれぞれの単語がそれぞれ応答範囲の最初またはこの範囲の終わりである確率を示す二つのセットの確率（Ｐ^ｔ _{ｓｔａｒｔ}およびＰ^ｔ _ｅｎｄ）を出力する。引き続き、Ｐ^ｔ _{ｓｔａｒｔ}およびＰ^ｔ _ｅｎｄは前述した通り、対応するアテンションＡ^ｔを出力する抽出アテンションモジュール１１７の入力として受信される。最後に、文書Ｅ^Ｄの獲得されたアテンションＡ^ｔおよび表現（マックスプーリング有無にかかわらない）は制御器アップデートモジュール１１８に入力され、これは変換された質問のアップデートされた値Ｕ^ｔ（制御器状態ともいう）を出力し、これは次の読み取りブロックに入力Ｕ^ｔ＋１として使われる。最終読み取りブロックは変換された質問の最終値Ｕ^Ｔを出力し、これは応答モジュール１２０に伝送される。前述した通り、多数の並列エンコーダおよび読み取りブロックが応答モジュール１２０に供給され得る。

２１０で、応答モジュール１２０は文書の表現Ｅ^Ｄ（マックスプーリング有無にかかわらない）および変換された質問の最終値Ｕ^Ｔを入力として受信し、初期質問（Ｑ）に応答するために、前述した通り、質問に対する応答がはいである確率、質問に対する応答がいいえである確率、そして応答が文書の範囲である確率を含む確率のセットを出力する。また、応答モジュール１２０は、文書のそれぞれの単語に対して、この単語が応答範囲の開始単語である確率とこの単語が応答範囲の最終単語である確率を出力する。最後に、応答モジュール１２０はサポート因子、すなわち応答を予測するために使われた文章を出力する。応答モジュール１２０はネットワークを通じて（質問を伝送した）コンピューティングデバイスに応答を伝送する。

２１２で、コンピューティングデバイスは質問に対する応答１２２を使用者に出力する。例えば、コンピューティングデバイスはディスプレイ上に応答１２２をディスプレイしたり、一つ以上のスピーカーを通じて応答１２２を出力したり、または他の適合した方式で応答１２２を出力することができる。一実施例において、応答１２２、はい、いいえまたは文書の範囲である３個の可能な応答の中で最も高い確率を有する応答のうち一つであり得る。質問が応答範囲によって応答されるものと決定された場合（例えば、応答が文書の範囲である確率が、応答がはいまたはいいえであるそれぞれの確率より高い場合）、応答範囲はこの単語が応答範囲の開始単語である確率が最も高い単語から始まってこの単語が応答範囲の最終単語である確率が最も高い単語で終わる文書の範囲に決定される。選択的に、応答モジュール１２０により出力されたサポート因子は質問に対する応答と共に使用者に提供されてもよい。コンピューティングデバイスはまた、サポート因子を使用者に出力することができる。多様な具現例で、応答（および選択的にサポート因子）はコンピューティングデバイスのディスプレイ上の使用者インターフェースで作成された文章として使用者に提供され得る。追加的にまたは代案として、応答（および選択的にサポート因子）は一つ以上のスピーカーを通じて聴覚的に使用者に提供され得る。しかし、本明細書に開示された機械読み取りシステムは本実施例に制限されず、応答を出力してこれを使用者に提示するための任意の異なる代案としての手段もさらに本開示内容に含まれる。

より一般的に、前述した例および例示的な実施例は制限的なものを意味せず、当業者が同一の一般的なアイディアを具現するために考慮するすべての代案としての実施例も本開示内容の範囲を逸脱せず含むことに留意しなければならない。一部の特定の実施例が前記にて詳細に記述されたが、実施例の意図的範囲を逸脱することなく前記の教示に照らして、そして添付された特許請求の範囲の内容内で実施例の多様な修正、変更および改善が行われ得ることが当業者には明白であろう。また、当業者に親しいと思われる分野は、本明細書に説明された実施例を不要に曖昧にしないために本明細書では説明していない。したがって、実施例は特定の例示的な実施例によって制限されるものではなく、添付された特許請求の範囲の範囲によってのみ制限されるということが理解されるべきである。

前記実施例が方法段階の脈絡で説明されたが、それらはまた、対応する装置またはシステムの対応するコンポーネント、モジュールまたは特徴の説明を示す。

方法段階の一部又は全部はプロセッサ、マイクロ・プロセッサ、電子回路またはプロセッシング回路部によって（またはそれを使って）実行されるという点でコンピュータによって具現され得る。

前述した実施例はハードウェアまたはソフトウェアで具現され得る。具現はコンピュータ読み取り可能保存媒体、例えば、フロッピーディスク、ＤＶＤ、Ｂｌｕ−Ｒａｙ、ＣＤ、ＲＯＭ、ＰＲＯＭおよびＥＰＲＯＭ、ＥＥＰＲＯＭおよびフラッシュメモリのような非一過性の保存媒体を使って遂行され得る。そのようなコンピュータ読み取り可能媒体は汎用または特殊目的のコンピュータシステムによってアクセスされ得る任意の利用可能な媒体であり得る。

一般的に、実施例はプログラムコードまたはコンピュータ実行可能命令語を有するコンピュータプログラム製品で具現され得、プログラムコードまたはコンピュータ実行可能命令語は、コンピュータプログラム製品がコンピュータで実行される時に方法のうち一つを遂行するように作動可能である。プログラムコードまたはコンピュータ実行可能命令語は例えば、コンピュータ読み取り可能保存媒体に保存され得る。

一実施例において、保存媒体（またはデータキャリアまたはコンピュータ読み取り可能媒体）は、プロセッサによって遂行される時、本明細書に記述された方法のうち一つを遂行するためのコンピュータプログラムまたはコンピュータ実行可能命令語を保存する。追加の実施例において、装置は一つ以上のプロセッサおよび前記言及された保存媒体を含む。

追加の実施例において、装置は例えばメモリと通信するプロセッサのようなプロセッシング回路部のような手段を含み、この手段は本明細書に説明された方法のうち一つを遂行するように構成されるか適応される。

追加の実施例は本明細書に記述された方法のうち一つを遂行するためのコンピュータプログラムまたは命令語が設置されたコンピュータを含む。

前述された方法および実施例はデータ交換のためのインターネットのようなネットワーク３０４（無線および／または有線であり得る）を通じて通信するサーバー３００および一つ以上のクライアントデバイス３０２を含む図３に例示されたようなアーキテクチャ内で具現され得る。サーバー３００およびコンピューティングデバイス３０２はデータプロセッサ（プロセッサ）３１２（例えば、３１２ａ〜３１２ｅ）およびハードディスクのようなメモリ３１３（例えば、３１３ａ〜３１３ｅ）を含む。コンピューティングデバイス３０２は自律車両３０２ｂ、ロボット３０２ｃ、コンピュータ３０２ｄまたは携帯電話３０２ｅのような、サーバー３００と通信する任意の類型のコンピューティングデバイスであり得る。

一例において、質問（Ｑ）１０２はクライアントデバイス３０２によりサーバー３００に提供される。多様な具現例で、質問（Ｑ）１０２はサーバー３００で直接受信される。質問（Ｑ）１０２および文書（Ｄ）１０１はサーバー３００でプロセッシングされ、サーバー３００は質問（Ｑ）１０２に対する応答を質問（Ｑ）１０２を伝送したクライアントデバイス３０２に返還する。サーバー３００はまた、例えば、質問（Ｑ）１０２に基づいて複数の可能な文書から文書を選択することができる。多様な具現例で、質問（Ｑ）１０２および文書（Ｄ）１０１は質問を開始したクライアントデバイス３０２でプロセッシングされ得る。モデルの訓練はまた、サーバー３００で、異なるサーバーでまたはクライアントデバイス３０２で遂行され得る。

前述した通り、マルチホップテキスト基盤質問応答は複雑な自然語質問に応答するために、多数の句からの因子を順次統合するタスクを伴う。マルチホップ並列アテンションネットワークは前記にて議論されたのであり、推論能力を含む質問応答タスクを遂行するように構成される。ネットワークは読み取りおよび再定式化／アップデートモジュールを含む（ホップ当たり一つの読み取りモジュールおよび再定式化モジュール）。前述したそれぞれの読み取りブロックは一つのホップである。一つの読み取りブロックの出力は次の読み取りブロックに入力される。読み取りモジュールは文書の質問認識表現（例えば、マトリクス表現）を生成する。このような表現から、再定式化モジュールは質問のアップデートされた表現を計算するための要素を抽出する。引き続き、アップデートされた質問は後続するホップ／読み取りブロックに入力される。

本出願は質問に応答するために文書全体にわたって順次的にそして並列で情報を収集する読み取りブロックを伴う。入力長さ不変の質問表現は、可変長テキストシーケエンス（例えば、質問）からの情報を固定大きさのマトリクスに圧縮するダイナミックマックスプーリング階層によってアップデートされ得る。抽出読み取り基盤アテンションメカニズムは、抽出機械読み取りモデルの出力階層からアテンションベクターを演算する。

本出願のマルチホップ質問応答は順次推論と並列推論の両方を伴う。順次推論は文書を読み取り、情報を求め、引き続き質問を再定式化し、最終的に正しい応答を抽出することを伴う。並列推論は文書の多様な属性を確認することを伴う比較または質問のための証拠を収集することを含む。

図４は、質問（Ｑ）および応答Ａを考慮した多重ホップ質問の二つの例を含む。それぞれの場合において、Ｐ１およびＰ２は質問（Ｑ）に応答することと関連した異なる情報を提供する第１および第２文段Ｐである。図４の上段の例示は質問（Ｑ）に対する応答（Ａ：Ａｄｏｒａｂｌｅ）を決定するために、第１文段（Ｐ１：Ｌｉｔ）の情報を第２文段（Ａ：Ａｄｏｒａｂｌｅ）の情報と比較する並列推論を例示する。図４の下段の例示は質問（Ｑ）に対する応答（Ａ：ｓｔｒｉｎｇｅｄ ｉｎｓｔｒｕｍｅｎｔ）を決定するのに使われた第２文段（Ｐ２：Ｓａｒｏｄ）からの情報を識別するために、第１文段（Ｐ１：Ａｐｒａｔｉｍ）からの情報を使う順次的推論を図示する。

図５は、図１のマルチホップモデルの例示的な具現例の機能ブロック図である。前述した通り、マルチホップモデルは（１）エンコーディングモジュール、（２）読み取りモジュール、（３）質問再定式化モジュールおよび（４）応答モジュールの四つのモジュールを含む。エンコーディングモジュールは入力モジュールであり、応答モジュールは出力モジュールである。読み取りモジュールおよび質問再定式化モジュールのセットがホップを形成する。前述した通り、マルチホップモデルは多数の（Ｔ個、Ｔは少なくとも２個）ホップを含む。応答モジュールは再定式化を必要としない。

文書と質問が与えられると、読み取りモジュールは文書の質問認識表現を演算する。再定式化モジュールはこの文書表現から必須要素を抽出し、これらを使って潜在空間内の質問の表現をアップデートする。再定式化された質問は後続するホップに伝達される。

マルチホップモデルは前述され、また後述されるように、多数のヘッドを有することができる。この場合、繰り返しメカニズムは独立的な再定式化のセットを演算するために並列で何度も遂行される。異なるヘッドによって生成された文書の最終表現は、応答モジュールに供給される前に（例えば、合計モジュールによって合算されるのと同様に、集計モジュールによって）集計される。応答モジュールは最終ホップの集計されるか再定式化された質問から応答およびサポート因子を生成する。

マルチホップモデルは文書と質問を並列でプロセッシングするＫ個の独立的な読み取りヘッドを含む。単純化のために、ヘッドのインデックスによるすべてのマトリクスの添字は一つの説明に焦点を合わせるために提供されない。

事前に訓練された媒介変数言語モデル（ＢＥＲＴ）を使って本明細書でそれぞれのトークンの標準表現が採択される。文書（Ｄ）＝｛ｐ１；ｐ２；．．．；ｐ１０｝を長さＬの質問（Ｑ）と関連した、それぞれの長さ｛ｎ１；．．．；ｎ１０｝の入力文段のセットという。文段は事前に訓練されたＢＥＲＴモデルのようなエンコーダを通じて独立的にエンコーディングされる。それぞれのトークンはモデルの最終階層からのその関連したＢＥＲＴ隠れ状態によって表現される。トークン表現は結合されて総長さの１０個文段のセットの全域表現を生成する。

表現は双方向ゲートリカレントユニットＢｉＧＲＵを追加で通過して文書の最終表現

および質問の最終表現

を生成し、ｈはＢｉＧＲＵの隠れ状態の次元である。

ここで；は結合演算である。１０個文段の例が提供されるが、他の適合した個数の文段が使われ得る。

質問の第１表現Ｕ^（０）を演算するために、補間モジュールは

は質問の表現とその再定式化を保存するために割当された空間に対応する。これは本来質問の長さＬに依存しない。

＜読み取りモジュール＞
マルチホップモデルは質問の現在の再定式化に関する文書から関連情報を順次抽出する読み取りのＴ個のホップを含む。段階ｔで、再定式化された質問の表現

が与えられると、読み取りモジュールは文書の質問認識表現を演算する。読み取りモジュールは文書質問アテンションモジュールと、後続して文書セルフアテンションモジュールの二つの階層を含む。図６は、読み取りモジュールの例示的な具現例の機能ブロック図である。

文書質問アテンションモジュールと関連して、このモジュールは文書と質問の現在の再定式化

の間の相互作用マトリクスを下記の式のように構築する。

ここで、ｗ_１、ｗ_２、ｗ_３は

の訓練されるか訓練可能なベクターであり、記号（「○」の中に「・」）は要素別乗算である。引き続き、読み取りモジュールは文書質問アテンション

および質問文書アテンション

を演算する：

読み取りモジュールは文書の質問認識表現

を演算する：

ここで、［；］は結合演算である。読み取りモジュールはＸ（ｔ）の次元をＮ×２ｈに縮小させる最終ＢｉＧＲＵを含むことができる。このようなトークンレベルアテンションを使う特定のアテンションメカニズムは、他のアーキテクチャで使われる文章レベルアテンションに比べて文書のより細密な表現を生成することができる。

文書セルフアテンションと関連して、１０個の文段の間の文脈化（ｃｏｎｔｅ×ｔｕａｌｉｚａｔｉｏｎ）は前述した通り、ＢｉＧＲＵによって遂行された。文書の現在表現の限界はそれぞれのトークンが文脈の他の要素に対して非常に制限的な知識を有しているということであり得る。長距離従属性を扱うために、文書の質問認識表現であるＸ^（ｔ）とそれ自身間に同一のアテンションメカニズムを適用して読み取りモジュール出力

を生成することができる。このような文書の自体文脈化は本明細書で議論された通り、有用なものであることが明らかとなった。

＜質問再定式化モジュール＞
例示的な再定式化モジュールの機能ブロック図が図７に提供される。再定式化モジュールｔは、以前のアテンションモジュールの出力（Ｖ^（ｔ））、再定式化された質問の以前の表現Ｕ^（ｔ）および文書のエンコーディングＥ^Ｄを入力として取る。再定式化モジュールは入力に基づいて質問のアップデートされた再定式化Ｕ^{（ｔ＋１）}を生成する。

読み取り基盤アテンションと関連して、Ｖ^（ｔ）が与えられると、再定式化モジュールは２個のＢｉＧＲＵと後続して線形階層およびソフトマックス演算子を使って

を演算する。演算は下記の式から遂行され得る。

ここで、ｗ_ｅとｗ_ｓは

の訓練されるか訓練可能なベクターである。確率ベクターｐ^ｔ（ｓ）およびｐ^（ｔ）ｅは文書に対する読み取り基盤アテンションベクターａ^（ｔ）を演算するのに使われる。確率は段階ｔでそれぞれの単語が応答範囲の最初と最終となる確率に対するモデルの信頼を示す。トークンの読み取り基盤アテンションは予測された範囲がこのトークンの以前に開始され、その後に終了する確率であり得、下記の式のように演算され得る：

アテンション値は文書表現のそれぞれのトークンを再び作成するのに使われ得る。

で次が演算され得る

＜ダイナミックマックスプーリング＞
次元（Ｍ×２ｈ）の現在の表現を追加するためにダイナミックマックスプーリングモジュールを使って

の関連要素を収集することができる。このモジュールはマックスプーリング演算子がそれぞれの個別ウインドウに適用されるＭ×２ｈのグリッドを生成するために、初期シーケエンスの行をＭ個の略同一の部分に分割することができる。結果として、固定次元のマトリクスは入力を表現し、文書の全域構造を維持し、それぞれの領域の重要な要素に重点を置く。

を入力マトリクス表現という。ダイナミックマックスプーリングモジュールは入力シーケエンスの長さと必要な出力形状（ｗ＝［Ｎ／Ｍ］、および天井関数である［．］によってマックスプーリングのカーネルの大きさｗを演算する。マックスプーリングの出力表現は以下の通りである。

質問のアップデートされた表現

を演算するために、Ｕ^（ｔ）とＯ^（ｔ）を合算（加算）することができる。

＜応答モジュール＞
例示的な応答モジュールの機能ブロック図が図８に提供される。応答モジュールは４個のＢｉＧＲＵを含むことができ、それぞれには完全結合（ｆｃ）階層が後続する。ＢｉＧＲＵは（１）サポート因子（ｐ^ｓｆ）（２）文書のそれぞれの単語の応答開始そして（３）応答終わりである確率（ｐ^ｅ、ｐ^ｓ）を指導する。最終ＢｉＧＲＵは応答がはい、いいえまたはテキストの範囲に分類される確率を予測するために３方向分類器として使われ得る。

は訓練されるか訓練可能な媒介変数である。

サポート因子を予測するために、応答モジュールは文書の文章基盤表現を構成する。それぞれの文章はＹ^ｓｆからの開始サポート因子トークンおよび最終サポート因子トークンの結合によって表現され得る。応答モジュールは線形階層と続けてＳ字形関数を利用してはい（Ｉ）の文章（ｊ）がサポート因子である確率であるｐ^ｓｆ _ｉ、ｊを演算する。

＜多重ヘッドバージョン＞
多重ホップモデルは多数のヘッドを含むことができる。この具現例は前記で議論された通り、複数の独立的な並列ヘッドを含むことができる。それぞれのヘッドは同じ数の読み取りおよび再定式化モジュールを含むことができる。それぞれのヘッドは文書の表現（Ｖ_ｋ ^（Ｔ））を生成する。合算モジュールは応答モジュールに対する入力を生成するためにｋ個のヘッドによって生成されたｋ個のマトリクスを合算することができる。

＜訓練＞
マルチホップモデルは３個の下位タスクを共同で最適化することによって訓練され得る。３個の下位タスクはサポート因子を探索すること、範囲を識別すること、および、はい、いいえまたは範囲を分類するものであり得る。訓練は

は下記の式によって定義され得る。

ここで、ｎｂｓ_ｉは文書（ｉ）の文章の個数に対応し、ｙ_ｉ、ｊ ^（１）は文書（ｉ）の文章（ｊ）がサポート因子であれば１であり、そうでなければ０である。

サポート因子内の応答に対するすべての言及は質問と関連があると仮定することができる。応答モジュールは与えられたサポート因子内の応答のすべての出現の開始および最終位置を有効なソリューションとしてタグすることができる。

は下記の式によって定義され得る。

は応答のすべての出現の開始および最終位置での値（１／ｎ_ｉ）を含み、そうでなければ０を含むベクターであり；ｎ_ｉは文脈で応答の出現の個数である。

は下記の式によって定義され得る。

は質問類型｛はい、いいえ、範囲｝のラベルのインデックスに対応する。訓練損失は下記の式のように決定され得る。

ここで、アルファとベータは交差検証を通じて調整（訓練）されたハイパー媒介変数である。

図９および図１０は、例題の質問、応答および再定式化前後の文書部分を含む。図９および図１０は、本明細書に記述された多重ホップモデルがブリッジ質問に応答するために自然な推論経路に沿う傾向があることを例示する。図９の上段部分に例示された通り。第１再定式化モジュールの前に、アテンションは推論の第１段階に焦点を合わせる傾向がある。質問「Ｗｈａｔ ａｗａｒｄ ｄｉｄ ｔｈｅ ｗｒｉｔｅｒ ｏｆ Ｎｅｖｅｒ Ｌｅｔ Ｍｅ Ｇｏ ｎｏｖｅｌ ｗｉｎ ｉｎ １９８９？」に対して、モデルは第２段階／ホップで受賞の説明に移動する前に、第１段階で作家の名前に焦点を合わせる傾向がある。図１０の例で、質問「Ｗｈａｔ ｉｓ ｔｈｅ ｐｏｐｕｌａｔｉｏｎ ａｃｃｏｒｄｉｎｇ ｔｏ ｔｈｅ ２００７ ｐｏｐｕｌａｔｉｏｎ ｃｅｎｓｕｓ ｏｆ ｔｈｅ ｃｉｔｙ ｉｎ ｗｈｉｃｈ ｔｈｅ Ｎａｔｉｏｎａｌ Ａｒｃｈｉｖｅｓ ａｎｄ Ｌｉｂｒａｒｙ ｏｆ Ｅｔｈｉｏｐｉａ ｉｓ ｌｏｃａｔｅｄ？」に対して、モデルは第１段階でＡｄｄｉｓ Ａｂａｂａ、すなわち、Ｎａｔｉｏｎａｌ Ａｒｃｈｉｖｅｓ ａｎｄ Ｌｉｂｒａｒｙ ｏｆ Ｅｔｈｉｏｐｉａが位置した都市の名前に重点を置き、引き続き次のホップでこの都市の人口に移動する。

図１１は、質問内の質問に応答するように構成された例示的な質問応答システム１１０２の機能ブロック図である。質問応答システム１１０２はネットワーク１１０６を通じて一つ以上の使用者コンピューティングデバイス１１０４から一つ以上のテキスト本文（例えば、小説、ニュース記事、文書など）に対する質問を受信するように構成される。テキスト本文は質問と共に受信され得／得るか質問に基づいて保存および検索され得る。

質問応答システム１１０２はテキスト本文を読み取ってテキスト本文から質問に対する応答をそれぞれ決定する。質問応答システム１１０２はそれぞれ質問を伝送したコンピューティングデバイス１１０４に応答を再び伝送することができる。

コンピューティングデバイス１１０４は使用者に応答をディスプレイすることができる。コンピューティングデバイス１１０４はまた、使用者に他の情報をディスプレイすることができる。例えば、コンピューティングデバイス１１０４はそれぞれテキスト本文に関連した追加情報、それぞれ応答に関連した情報などをディスプレイすることができる。質問応答システム１１０２およびコンピューティングデバイス１１０４はネットワーク１１０６を通じて通信する。

複数の異なる類型のコンピューティングデバイス１１０４が図１１に例示されている。コンピューティングデバイス１１０４はテキストに関する質問を生成し、ネットワーク１１０６を通じて質問応答システム１１０２に伝送するように構成された任意の類型のコンピューティングデバイスを含む。コンピューティングデバイス１１０４の例が前記に提供されたし、図１１に例示された通り、スマート（セルラー）電話、タブレットコンピュータ、ラップトップコンピュータおよびデスクトップコンピュータを含むが、これに制限されない。コンピューティングデバイス１１０４はまた、車両、ゲームデバイス、テレビ、コンソール（例えば、ディスプレイのないスマートスピーカー、Ａｍａｚｏｎ Ｅｃｈｏ、Ｇｏｏｇｌｅ Ｈｏｍｅ、Ｃｌｏｖａ Ｆｒｉｅｎｄｓ ｍｉｎｉ）またはその他の機器（例えば、ネットワークに結合された冷蔵庫、ネットワークに結合された温度調節器など）に含まれたコンピューティングデバイスのような他の形状因子を有する他のコンピューティングデバイスを含むことができる。

コンピューティングデバイス１１０４は多様な異なる運営体制を使うことができる。コンピューティングデバイス１１０４がモバイルデバイスである例において、コンピューティングデバイス１１０４はアンドロイド、アップルインク（Ａｐｐｌｅ Ｉｎｃ．）によって開発されたｉＯＳまたはマイクロソフトコポーレーション（Ｍｉｃｒｏｓｏｆｔ Ｃｏｒｐｏｒａｔｉｏｎ）によって開発されたウインドウフォン（Ｗｉｎｄｏｗｓ Ｐｈｏｎｅ）を含むが、これに制限されない運営体制を実行することができる。コンピューティングデバイス１１０４がラップトップまたはデスクトップデバイスである例において、コンピューティングデバイス１１０４はマイクロソフトウィンドウ、Ｍａｃ ＯＳまたはリナックス（登録商標）を含むが、これに制限されない運営体制を実行することができる。コンピューティングデバイス１１０４はまた、現在利用可能なものであるか未来に開発されるであろうものに関わらず、前述した運営体制以外の運営体制を実行しながら質問応答システム１１０２にアクセスすることができる。

一部の例において、コンピューティングデバイス１１０４はコンピューティングデバイス１１０４に設置されたアプリケーションを使って質問応答システム１１０２と通信することができる。一般的に、コンピューティングデバイス１１０４は質問応答システム１１０２により応答される質問応答システム１１０２に質問を伝送できる任意のアプリケーションを使って質問応答システム１１０２と通信することができる。一部の例において、コンピューティングデバイス１１０４は質問応答専用のアプリケーションのような、質問応答システム１１０２とインターフェーシングするのに専用のアプリケーションを実行することができる。一部の例において、コンピューティングデバイス１１０４はウェブブラウザアプリケーションのような、より一般的なアプリケーションを使って質問応答システム１１０２と通信することができる。質問応答システム１１０２と通信するためにコンピューティングデバイス１１０４によって実行されるアプリケーションは、グラフィック使用者インターフェース（ＧＵＩ）上に使用者が質問を入力できる検索フィールドをディスプレイすることができる。使用者はタッチスクリーンまたは物理的キーボード、音声テキストプログラムまたは他の形態の使用者入力部を使って質問を入力することができる。

質問は単語、数字、文字、句読点および／またはシンボルを含むことができる。一般的に、質問は質問応答システム１１０２からの情報検索（例えば、応答）のための要請であり得る。例えば、質問は質問に応答する特定のテキスト本文から応答を提供することに関するものであり得る。

コンピューティングデバイス１１０４は質問応答システム１１０２に伝送された質問に応答する応答を質問応答システム１１０２から受信することができる。多様な具現例において、質問に応答する一つ超過の応答をコンピューティングデバイス１１０４は受信することができ、質問応答システム１１０２は伝送することができる。多数の応答を提供する質問応答システム１１０２の例において、質問応答システム１１０２は個別応答のそれぞれに対する信頼度値（応答が正しい可能性を示す）を決定し、応答と共に信頼度値をコンピューティングデバイス１１０４に提供することができる。コンピューティングデバイス１１０４は複数の応答のうち一つ超過の応答（例えば、あらかじめ決定された値より大きい信頼度値を有するすべての応答）、ただし最も高い信頼度値を有する応答のみ、などをディスプレイすることができる。

コンピューティングデバイス１１０４は質問応答システム１１０２から受信された応答をディスプレイするＧＵＩを含むアプリケーションを実行することができる。それぞれの信頼度値がまたディスプレイされ得る。例えば、質問を質問応答システム１１０２に伝送するのに使われるアプリケーションはまた、受信された応答を使用者に提示することができる（例えば、ディスプレイしたり話す）。前述した通り、受信された応答を使用者に提示するアプリケーションは、一部の例で質問応答システム１１０２とインターフェーシングするのに専用であり得る。他の例において、アプリケーションはウェブブラウザアプリケーションのような、より一般的なアプリケーションであり得る。

コンピューティングデバイス１１０４で実行されるアプリケーションのＧＵＩは、どのような情報がコンピューティングデバイス１１０４に伝送されるかによって、多様な異なる方式で使用者に応答をディスプレイすることができる。検索結果が応答の目録および関連した信頼度値を含む例において、質問応答システム１１０２は応答の目録およびそれぞれの信頼度値をコンピューティングデバイス１１０４に伝送することができる。この例において、ＧＵＩは可能な応答の目録として使用者に応答および信頼度値をディスプレイすることができる。

一部の例において、質問応答システム１１０２または他のコンピューティングシステムは、アプリケーションおよび／またはテキスト本文、質問、または応答、テキスト本文と関連したその他のテキスト本文などと関連した他の情報のような、しかしこれに制限されない追加情報をコンピューティングデバイス１１０４に伝送することができる。この追加情報はデータ保存所に保存され、一部の例で質問応答システム１１０２によりコンピューティングデバイス１１０４に伝送され得る。使用者デバイス１０４が追加情報を受信する例において、ＧＵＩは応答と共に追加情報をディスプレイすることができる。一部の例において、ＧＵＩは降順会議値によって画面の上段から画面の下段に順序化されたアプリケーションの目録として応答をディスプレイすることができる。一部の例において、応答は使用者が質問を入力した検索フィールドの下にディスプレイされ得る。

前述した通り、コンピューティングデバイス１１０４は応答を生成するテキスト本文を（テキストの本文に対する）質問とともに伝送することができる。代案として、質問応答システム１１０２はデータソース１１２０からテキスト本文を獲得することができる。データソース１１２０は多様な異なるテキスト提供者などを含むことができる。データソース１１２０はオンラインニュースソース、ウェブサイト、ウェブログを含むウェブサイト（すなわち、ブログ）、ソーシャルネットワーキングサイト（例えば、Ｆａｃｅｂｏｏｋ、Ｔｗｉｔｔｅｒなど）および／または他の類型のデータソースのような、しかしこれに制限されないデジタル配布プラットフォームを含むことができる。

コンピューティングデバイス１１０４、質問応答システム１１０２およびデータソース１１２０はネットワーク１１０６を通じて通信することができる。ネットワーク１１０６は広域ネットワーク（ＷＡＮ）および／またはインターネットのような多様な類型のネットワークを含むことができる。ネットワーク１１０６は長距離ネットワーク（例えば、インターネットまたはＷＡＮ）を示し得るが、一部の具現例において、ネットワーク１１０６は近距離通信網（ＬＡＮ）のような近距離ネットワークを含むことができる。一つの実施例において、ネットワーク１１０６は標準通信技術および／またはプロトコルを使う。したがって、ネットワーク１１０６はイーサネット、ＷｉＦｉ（Ｗｉｒｅｌｅｓｓ Ｆｉｄｅｌｉｔｙ）（例えば、８０２．１１）、ＷＩＭＡＸ（Ｗｏｒｌｄｗｉｄｅ Ｉｎｔｅｒｏｐｅｒａｂｉｌｉｔｙ ｆｏｒ Ｍｉｃｒｏｗａｖｅ Ａｃｃｅｓｓ）、３Ｇ、４Ｇ、５Ｇ、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）、ＤＳＬ（ｄｉｇｉｔａｌ ｓｕｂｓｃｒｉｂｅｒ ｌｉｎｅ）、ＡＴＭ（ａｓｙｎｃｈｒｏｎｏｕｓ ｔｒａｎｓｆｅｒ ｍｏｄｅ）、ＩｎｆｉｎｉＢａｎｄ、ＰＣＩ Ｅ×ｐｒｅｓｓ Ａｄｖａｎｃｅｄ Ｓｗｉｔｃｈｉｎｇなどのような技術を使うリンクを含むことができる。類似するように、ネットワーク１１０６上で使われるネットワーキングプロトコルは、マルチプロトコルラベルスイッチング（ＭＰＬＳ）、伝送制御プロトコル／インターネットプロトコル（ＴＣＰ／ＩＰ）、使用者ーデータグラムプロトコル（ＵＤＰ）、ハイパーテキスト伝送プロトコル（ＨＴＴＰ）、単純メール伝送プロトコル（ＳＭＴＰ）、ファイル伝送プロトコル（ＦＴＰ）等を含むことができる。ネットワーク１１０６を通じて交換されるデータは、ハイパーテキストマークアップ言語（ＨＴＭＬ）、拡張可能マークアップ言語（ＸＭＬ）等を含む技術および／またはフォーマットを使って表現され得る。また、すべてのリンクまたは一部のリンクがＳＳＬ（Ｓｅｃｕｒｅ Ｓｏｃｋｅｔｓ Ｌａｙｅｒ）、ＴＬＳ（Ｔｒａｎｓｐｏｒｔ Ｌａｙｅｒ Ｓｅｃｕｒｉｔｙ）、ＶＰＮｓ（Ｖｉｒｔｕａｌ Ｐｒｉｖａｔｅ Ｎｅｔｗｏｒｋｓ）、ＩＰｓｅｃ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ Ｓｅｃｕｒｉｔｙ）などのような従来の暗号化技術を使って暗号化され得る。他の例において、ネットワーク１１０６は前述したものなどの代わりに、またはそれに付加してオーダーメード型および／または専用データ通信技術を使うことができる。

図１２は、質問応答システム１１０２の質問応答モジュール１２００の例示的な具現例を含む機能ブロック図である。質問応答モジュール１２００は図１〜図５の要素を含むことができる。第１送受信機モジュール１２０４はコンピューティングデバイス１１０４から質問を含んだ質問を受信する。送受信機モジュール１２０４はまた、コンピューティングデバイス１１０４からテキスト本文を受信したり異なる方式でテキスト本文を獲得することができる。

パーシング（ｐａｒｓｉｎｇ）モジュール１２０８はテキスト本文から応答される質問を獲得するために質問をパーシングすることができる。多様な具現例において、パーシングモジュール１２０８は音声テキスト変換を遂行できる。例えば、パーシングモジュール１２０８は応答される質問を形成する一つ以上の単語の文字列を識別することができる。パーシングモジュール１２０８はまた、質問内の綴りが間違っている単語を訂正し／するか、質問に対して一つ以上の他のワードプロセッシング機能を遂行できる。パーシングモジュール１２０８は前記で議論されたエンコーディング、読み取りおよび再定式化モジュールを含むことができる。

前述した通り、応答モジュール１２１２はテキスト本文から質問に対する応答を決定する。応答モジュール１２１２は前述したマルチホップモデルを含む。第２送受信機モジュール１２１６は質問に対する決定された応答をコンピューティングデバイス１１０４に再び伝送する。多様な具現例において、第２送受信機モジュール１２１６は省略され得、第１送受信機モジュール１２０４は質問がそれから受信されたコンピューティングデバイス１１０４に応答を再び伝送することができる。

図１３は、質問を受信し、質問に対する応答を提供する例示的な方法を示すフローチャートを含む。図１３の例は質問応答モジュール１２００により遂行され得る。

１３０４で制御が開始され、ここで質問応答モジュール１２００はコンピューティングデバイス１１０４から質問を受信する。質問は応答される質問を含む。質問はまた、質問に応答するための基盤として使われるテキスト本文を含むことができる。１３０８で、質問応答モジュール１２００は質問をパーシングし、応答される質問を決定する。

前述した通り、質問応答モジュール１２００は１３１２でマルチホップモデルを使ってテキスト本文から質問に対する応答を決定する。質問応答モジュール１２００はまた、テキスト本文がコンピューティングデバイス１１０４によって伝送されないと、質問内で識別されたテキスト本文を獲得する。代案として、あらかじめ決定されたテキストソース（例えば、ウィキペディア）が使われ得る。１３１６で、質問応答モジュール１２００は質問に対する応答をコンピューティングデバイス１１０４に再び伝送する。

図１４は、訓練モジュール１４００の機能ブロック図を含む。前述した通り、訓練モジュール１４００は質問応答モジュール１２００によって使われる多重ホップモデルを訓練させてそれぞれ受信された質問に対する応答を決定する。前述した通り、訓練モジュール１４００は訓練データセット１４０４を使って多重ホップモデルを訓練させることができる。

前述した説明は本質的に例示的なものに過ぎず、本開示内容、その応用、または使用を制限しようとするものではない。本開示内容の広範囲な教示は多様な形態で具現され得る。したがって、本開示内容は特定の例を含むが、本開示内容の真の範囲はそれらに制限されてはならず、これは図面、明細書および下記の特許請求の範囲の研究により他の変形が明白となるためである。方法内の一つ以上の段階は、本開示内容の原理を変更することなく異なる順序で（または同時に）実行され得ることが理解されるべきである。また、それぞれの実施例は所定の特徴を有するものとして前述されたが、本開示内容の任意の実施例と関連して記述されたこれらの特徴のうち、任意の一つ以上は任意の異なる実施例の特徴で具現され／されるか結合され得るが、その組み合わせは明示的に記述されはしない。換言すると、記述された実施例は相互に排他的ではなく、一つ以上の実施例の互いの順列は本開示内容の範囲内にある。

要素（例えば、モジュール、回路素子、半導体層など）の間の空間および機能的な関係は、「連結された」、「関連した」、「結合された」、「隣接した」、「近接した」、「上部に」、「上に」、「下に」、および「配置された」を含む多様な用語を使って説明される。第１および第２要素の間の関係が前記開示内用で説明される時、「直接的な」ものと明示的に言及されない限り、その関係は他の中間要素が第１および第２要素の間に存在しない直接的な関係でもよいが、一つ以上の介在要素が第１要素と第２要素の間に（空間的にまたは機能的に）存在する間接的な関係でもよい。本明細書に使われた通り、語句Ａ、Ｂ、およびＣのうち少なくとも一つは、非排他的論理ＯＲを使って論理（Ａ ＯＲ Ｂ ＯＲ Ｃ）を意味するものと解釈されるべきであり、「Ａのうち少なくとも一つ、Ｂのうち少なくとも一つおよびＣのうち少なくとも一つ」を意味するものと解釈されてはならない。

図面で、矢印で示した矢印の方向は、一般的に例示において関連性のある（ｏｆ ｉｎｔｅｒｅｓｔ）情報（例えば、データまたは命令語）の流れを示す。例えば、要素Ａと要素Ｂが多様な情報を交換するが、要素Ａから要素Ｂに送信される情報が例示と関連がある場合、矢印は要素Ａから要素Ｂに向かって示され得る。このような単方向の矢印はいかなる他の情報も要素Ｂから要素Ａに送信されないことを暗示するものではない。また、要素Ａから要素Ｂに伝送された情報に対して、要素Ｂは要素Ａに対する情報の要請または受信応答確認を伝送することができる。

下記の定義を含んで本出願で用語「モジュール」または用語「制御器」は用語、「回路」で代替され得る。用語「モジュール」はＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）；デジタル、アナログまたは混合アナログ／デジタル離散回路；デジタル、アナログまたは混合アナログ／デジタル集積回路；組み合わせ論理回路；ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）；コードを実行するプロセッサ回路（共有、専用またはグループ）；プロセッサ回路によって実行されるコードを保存するメモリ回路（共有、専用またはグループ）；説明された機能を提供する他の適合したハードウェアコンポーネント；またはＳｙｓｔｅｍ−ｏｎ−Ｃｈｉｐでのように、前記の一部又は全部の組み合わせを指称したり、その一部であるか、またはそれを含むことができる。

モジュールは一つ以上のインターフェース回路を含むことができる。一部の例において、インターフェース回路は近距離通信網（ＬＡＮ）、インターネット、広域通信網（ＷＡＮ）またはこれらの組み合わせに連結された有線または無線インターフェースを含むことができる。本開示内容の任意の与えられたモジュールの機能は、インターフェース回路を通じて結合された多数のモジュールに分散され得る。例えば、多数のモジュールが負荷分散（ｌｏａｄ ｂａｌａｎｃｉｎｇ）を許容することができる。他の例において、サーバー（遠隔またはクラウドとも知られている）モジュールはクライアントモジュールの代わりに一部の機能を達成することができる。

前記使われた用語、コードはソフトウェア、ファームウェアおよび／またはマイクロコードを含むことができ、プログラム、ルーチン、機能、クラス、データ構造および／または客体を指称することができる。用語、共有プロセッサ回路は多数のモジュールから一部またはすべてのコードを実行する単一プロセッサ回路を含む。用語、グループプロセッサ回路は追加のプロセッサ回路と結合して一つ以上のモジュールから一部またはすべてのコードを実行するプロセッサ回路を含む。多重プロセッサ回路に対する言及は、個別ダイ上の多重プロセッサ回路、単一ダイ上の多重プロセッサ回路、単一プロセッサ回路の多重コア、単一プロセッサ回路の多重スレッド、またはこれらの組み合わせを含む。用語、共有メモリ回路は多数のモジュールの一部またはすべてのコードを保存する単一メモリ回路を含む。用語、グループメモリ回路は追加のメモリと結合して、一つ以上のモジュールからの一部またはすべてのコードを保存するメモリ回路を含む。

用語、メモリ回路は用語、コンピュータ読み取り可能媒体のサブセットである。本明細書で使われる用語、コンピュータ読み取り可能媒体は（例えば、搬送波上で）媒体を通じて伝播する一時的な電気または電磁信号を含まず；したがって用語、コンピュータ読み取り可能媒体は類型（ｔａｎｇｉｂｌｅ）であり、非一過性のものと見なされ得る。非一過性、類型のコンピュータ読み取り可能媒体の制限的でない例は不揮発性メモリ回路（例えば、フラッシュメモリ回路、消去可能プログラム可能読み取り専用メモリ回路またはマスク読み取り専用メモリ回路）、揮発性メモリ回路（例えば、スタティックランダムアクセスメモリ回路またはダイナミックランダムアクセスメモリ回路）、磁気保存媒体（例えば、アナログまたはデジタル磁気テープまたはハードディスクドライブ）、および光学保存媒体（例えば、ＣＤ、ＤＶＤまたはＢｌｕ−ｒａｙ（登録商標）ディスク）である。

本出願に説明された装置および方法は、コンピュータプログラムで具現された一つ以上の特定の機能を実行するように汎用コンピュータを構成することによって生成された特殊目的コンピュータによって部分的にまたは完全に具現され得る。前述した機能ブロック、フローチャートコンポーネントおよびその他の要素は、熟練した技術者またはプログラマーの日常的な作業によってコンピュータプログラムに変換され得るソフトウェア仕様としての役割を有する。

コンピュータプログラムは少なくとも一つの非一過性、類型のコンピュータ読み取り可能媒体に保存されたプロセッサ実行可能命令語を含む。コンピュータプログラムはまた、保存されたデータを含んだりそれに依存し得る。コンピュータプログラムは特殊目的コンピュータのハードウェアと相互作用する基本入／出力システム（ＢＩＯＳ）、特殊目的コンピュータの特定のデバイスと相互作用するデバイスドライバ、一つ以上の運営体制、使用者アプリケーション、背景サービス、背景アプリケーションなどを含むことができる。

コンピュータプログラムは次を含むことができる：（ｉ）ハイパーテキストマークアップ言語（ＨＴＭＬ）、拡張性生成言語（ＸＭＬ）またはジャバスクリプト客体表記法（ＪＳＯＮ）のようなパーシングされる（ｐａｒｓｅｄ）説明テキスト、（ｉｉ）アセンブリコード、（ｉｉｉ）コンパイラによってソースコードから生成された客体コード、（ｉｖ）インタープリタによる実行のためのソースコード、（ｖ）ＪＩＴ（ｊｕｓｔ−ｉｎ−ｔｉｍｅ）コンパイラによるコンパイリングおよび実行のためのソースコードなど。例えば、ソースコードはＣ、Ｃ＋＋、Ｃ＃、Ｏｂｊｅｃｔｉｖｅ−Ｃ、Ｓｗｉｆｔ、Ｈａｓｋｅｌｌ、Ｇｏ、ＳＱＬ、Ｒ、Ｌｉｓｐ、Ｊａｖａ 、Ｆｏｒｔｒａｎ、Ｐｅｒｌ、Ｐａｓｃａｌ、Ｃｕｒｌ、ＯＣａｍｌ、Ｊａｖａｓｃｒｉｐｔ 、ＨＴＭＬ５（ハイパーテキストマークアップ言語５次改訂）、Ａｄａ、ＡＳＰ（Ａｃｔｉｖｅ Ｓｅｒｖｅｒ Ｐａｇｅｓ）、ＰＨＰ （ＰＨＰ：Ｈｙｐｅｒｔｅ×ｔ Ｐｒｅｐｒｏｃｅｓｓｏｒ）、Ｓｃａｌａ、Ｅｉｆｆｅｌ、Ｓｍａｌｌｔａｌｋ、Ｅｒｌａｎｇ、Ｒｕｂｙ、Ｆｌａｓｈ 、Ｖｉｓｕａｌ Ｂａｓｉｃ 、Ｌｕａ、ＭＡＴＬＡＢ、ＳＩＭＵＬＩＮＫおよびＰｙｔｈｏｎを含んだ言語の構文を使って作成され得る。

Claims (22)

1. 質問応答システムであって、
   ネットワークを通じてコンピューティングデバイスから、第１複数の単語を含む質問を受信し、前記質問を第１ベクター表現でエンコーディングするように構成された第１エンコーダモジュール；
   文書（Ｄ）を第２ベクター表現でエンコーディングするように構成された第２エンコーダモジュールであって、前記文書は第２複数の単語を含む、第２エンコーダモジュール；
   前記第１ベクター表現および前記第２ベクター表現に基づいて第３ベクター表現を生成するように構成された第１読み取りモジュール；
   前記第１ベクター表現に基づいて前記質問に対する第１再定式化されたベクター表現を生成するように構成された第１再定式化モジュール；
   前記第２ベクター表現および前記第１再定式化されたベクター表現に基づいて第５ベクター表現を生成するように構成された第２読み取りモジュール；
   前記第１再定式化されたベクター表現に基づいて前記質問に対する第２再定式化されたベクター表現を生成するように構成された第２再定式化モジュール；および
   前記第２再定式化されたベクター表現に基づいて前記質問に対する応答を決定し、前記ネットワークを通じて前記コンピューティングデバイスに前記応答を伝送するように構成された応答モジュール；
   を含む質問応答システム。
2. 前記第１エンコーダモジュールおよび前記第２エンコーダモジュールのそれぞれは、単語レベルエンコーディング、文字レベルエンコーディング、および単語レベルエンベッディングと文字レベルエンコーディングの両方のうち一つを実行するように構成される、請求項１に記載の質問応答システム。
3. 前記第１再定式化モジュールは、前記第２ベクター表現にさらに基づいて前記第１再定式化されたベクター表現を生成するように構成される、請求項１に記載の質問応答システム。
4. 前記第２再定式化モジュールは、前記第２ベクター表現にさらに基づいて前記第２再定式化されたベクター表現を生成するように構成される、請求項１に記載の質問応答システム。
5. 前記応答モジュールは、前記第２ベクター表現にさらに基づいて前記応答を生成するように構成される、請求項１に記載の質問応答システム。
6. 前記第１ベクター表現の次元をあらかじめ決定された次元に調整するように構成されたマックスプーリングモジュールをさらに含む、請求項１に記載の質問応答システム。
7. 前記第２ベクター表現および前記第２再定式化されたベクター表現に基づいて第５ベクター表現を生成するように構成された第３読み取りモジュール；および
   前記第２再定式化されたベクター表現に基づいて前記質問に対する第３再定式化されたベクター表現を生成するように構成された第３再定式化モジュール；
   をさらに含み、
   前記応答モジュールは前記第３再定式化されたベクター表現に基づいて前記質問に対する前記応答を決定するように構成される、請求項１に記載の質問応答システム。
8. 前記第１読み取りモジュールは、（ａ）前記文書のそれぞれの単語が応答範囲（ａｎｓｗｅｒ ｓｐａｎ）の最初となる確率と（ｂ）前記文書のそれぞれの単語が前記応答範囲の最終となる確率をそれぞれ表現する（ａ）第１セットの確率および（ｂ）第２セットの確率を決定するように構成され、前記応答範囲は前記質問に正しく応答する前記文書の単語の範囲である、請求項１に記載の質問応答システム。
9. 前記第１セットの確率および前記第２セットの確率に基づいて、前記第２ベクター表現のエントリが前記応答範囲の一部となる確率のアテンションベクターを決定するように構成された抽出アテンションモジュールをさらに含む、請求項８に記載の質問応答システム。
10. 前記第１再定式化モジュールは、前記アテンションベクターの値に基づいて前記第２ベクター表現の加重値エントリを適用することによって加重化された第２ベクター表現を生成し、前記加重化された第２ベクター表現に基づいて前記第１再定式化されたベクター表現を決定するように構成される、請求項９に記載の質問応答システム。
11. 前記第１ベクター表現の次元をあらかじめ決定された次元に調整するように構成されたマックスプーリングモジュールをさらに含み、
    前記第１再定式化モジュールは、前記加重化された第２ベクター表現の次元を前記あらかじめ決定された次元に調整するように構成される、請求項１０に記載の質問応答システム。
12. 前記第１再定式化モジュールは双方向ゲートリカレントユニット（ＢｉＧＲＵ）を含み、前記第２再定式化モジュールはＢｉＧＲＵを含む、請求項１に記載の質問応答システム。
13. 前記第２エンコーダモジュールは、単語レベルエンコーディングおよび文字レベルエンコーディングの結合に基づいて前記第２ベクター表現を生成するように構成される、請求項１に記載の質問応答システム。
14. 前記応答モジュールは、前記応答がはいである第１確率、前記応答がいいえである第２確率、前記応答が前記文書の前記第２複数の単語中の前記単語の範囲である第３確率を決定するようにさらに構成される、請求項１に記載の質問応答システム。
15. 前記応答モジュールは
    前記第１確率が前記第２確率および前記第３確率より大きい場合、前記応答をはいに設定し；
    前記第２確率が前記第１確率および前記第３確率より大きい場合、前記応答をいいえに設定し；
    前記第３確率が前記第１確率および前記第２確率より大きい場合、前記応答を前記単語の範囲に設定するように構成される、請求項１４に記載の質問応答システム。
16. 前記コンピューティングデバイスをさらに含み、
    前記コンピューティングデバイスは、
    ディスプレイ上に前記応答をディスプレイすること；および
    少なくとも一つのスピーカーを通じて前記応答を出力すること；
    のうち少なくとも一つをするように構成される、請求項１に記載の質問応答システム。
17. 前記コンピューティングデバイスをさらに含み、
    前記コンピューティングデバイスはマイクロホンを通じて前記質問を受信するように構成される、請求項１に記載の質問応答システム。
18. 前記応答モジュールは４個の双方向ゲートリカレントユニットおよび４個の完全結合階層を含む、請求項１に記載の質問応答システム。
19. 訓練システムであって、
    請求項１に記載された前記質問応答システム；および
    質問に対する応答のサポート因子に関する第１損失、単語の範囲に関する第２損失、および応答の分類に関する第３損失を最小化することによって前記質問応答システムを訓練させるように構成された訓練モジュール；
    を含む訓練システム。
20. 質問応答システムであって、
    ネットワークを通じてコンピューティングデバイスから第１複数の単語を含む質問を受信し、前記質問を第１ベクター表現でエンコーディングするための手段；
    文書（Ｄ）を第２ベクター表現でエンコーディングするための手段であって、前記文書は第２複数の単語を含む、手段；
    前記第１ベクター表現および前記第２ベクター表現に基づいて第３ベクター表現を生成するための手段；
    前記第１ベクター表現に基づいて前記質問に対する第１再定式化されたベクター表現を生成するための手段；
    前記第２ベクター表現および前記第１再定式化されたベクター表現に基づいて第５ベクター表現を生成するための手段；
    前記第１再定式化されたベクター表現に基づいて前記質問に対する第２再定式化されたベクター表現を生成するための手段；および
    前記第２再定式化されたベクター表現に基づいて前記質問に対する応答を決定し、前記ネットワークを通じて前記コンピューティングデバイスに前記応答を伝送するための手段；
    を含む質問応答システム。
21. 質問応答方法であって、
    一つ以上のプロセッサによって、ネットワークを通じてコンピューティングデバイスから第１複数の単語を含む質問を受信し、前記質問を第１ベクター表現でエンコーディングする段階；
    前記一つ以上のプロセッサによって、文書（Ｄ）を第２ベクター表現でエンコーディングする段階であって、前記文書は第２複数の単語を含む、段階；
    前記一つ以上のプロセッサによって、前記第１ベクター表現および前記第２ベクター表現に基づいて第３ベクター表現を生成する段階；
    前記一つ以上のプロセッサによって、前記第１ベクター表現に基づいて前記質問に対する第１再定式化されたベクター表現を生成する段階；
    前記一つ以上のプロセッサによって、前記第２ベクター表現および前記第１再定式化されたベクター表現に基づいて第５ベクター表現を生成する段階；
    前記一つ以上のプロセッサによって、前記第１再定式化されたベクター表現に基づいて前記質問に対する第２再定式化されたベクター表現を生成する段階；
    前記一つ以上のプロセッサによって、前記第２再定式化されたベクター表現に基づいて前記質問に対する応答を決定する段階；および
    前記一つ以上のプロセッサによって、前記ネットワークを通じて前記コンピューティングデバイスに前記応答を伝送する段階を含む、質問応答方法。
22. 文書を使って質問に応答するためのシステムであって、
    （Ａ）順次的なホップの複数のコンポーネントであって、第１コンポーネントホップは第２コンポーネントホップと順次カップリングされ、
    （ａ）前記第１コンポーネントホップは第１再定式化モジュールにカップリングされた第１読み取りモジュールを含み、
    （ｉ）前記第１読み取りモジュールは前記質問および前記文書を受信し、前記文書の第１質問認識表現を前記第１再定式化モジュールに出力するように構成され、
    （ｉｉ）前記第１再定式化モジュールは前記文書の前記第１質問認識表現から要素を抽出し、前記質問の第１アップデート表現を演算するように構成され、
    （ｂ）前記第２コンポーネントホップは第２再定式化モジュールにカップリングされた第２読み取りモジュールを含み、
    （ｉ）前記第２読み取りモジュールは前記質問の前記第１アップデートされた表現および前記文書を受信し、前記文書の第２質問認識表現を前記第２再定式化モジュールに出力するように構成され、
    （ｉｉ）前記第２再定式化モジュールは前記文書の前記第２質問認識表現から要素を抽出し、前記質問の第２アップデート表現を演算するように構成され、複数のコンポーネント；
    （Ｂ）複数の並列ヘッドであって、前記複数の並列ヘッドそれぞれは、（Ａ）前記順次的なホップの複数のコンポーネントの独立的なインスタンスを含む、複数の並列ヘッド；および
    （Ｃ）応答モジュール；
    を含み、前記応答モジュールは
    前記複数の並列ヘッドによって出力された前記文書のアップデートされた表現をそれぞれ受信し；
    前記文書の前記アップデートされた表現に基づいて、前記質問に対する応答および前記質問に対する前記応答の、前記文書内のサポート因子を決定するように構成される、システム。

Images