JP2022548053A - 解釈可能な再帰型マルチホップ質問回答のためのフォローアップ質問の生成 - Google Patents

Abstract

マルチホップブリッジタイプの質問回答に関するフォローアップ質問を生成するためのコンピュータ実装方法が提供される。本方法は、入力マルチホップブリッジタイプの質問の前提事項を検索するステップ（３１０）を含む。本方法は、入力マルチホップブリッジタイプの質問に対する前提事項の分類を、最終回答を含む、または中間情報を含む無関係なものとして、三方向ニューラルネットワークベースのコントローラによって割り当てるステップ（３２０）をさらに含む。本方法は、また最終回答を含む分類に対応して前記マルチホップブリッジタイプの質問の第１のホップに関する前記最終回答を出力するステップ（３３０）を含む。さらに、本方法は、ニューラルネットワークによって、中間情報を含む分類に対応して、フォローアップ質問に関して検索するステップ、割り当てるステップ、出力するステップ及び生成するステップを繰り返すことで、フォローアップ質問を生成するステップ（３５０）を含む。【選択図】図３

Description

この出願は、２０１９年１２月６日に出願された米国仮特許出願第６２／９４４，３８３号及び２０２０年１２月２日に出願された米国特許出願第１７／１０９，７８１号を基礎とする優先権を主張し、その開示の全てをここに取り込む。

本発明は、質問及び回答システムに関し、より詳細には解釈可能な再帰型マルチホップ質問回答のためのフォローアップ質問の生成に関する。

最新の質問回答（ＱＡ：Question Answering）技術は、（キーワードベースの）情報検索（ＩＲ：Information Retrieval）とニューラルネットワークベースのテキスト抽出との組み合わせに依存する。ＩＲシステムは、回答に含み得る多数の候補文（証拠として知られる）を検索し、テキスト抽出システムは該証拠における回答テキストを特定する。しかしながら、複雑（いわゆる「マルチホップ」）な質問に関しては、オリジナルの質問が、回答を含む証拠の検索に必要なキーワードを含んでおらず、ＩＲ段階における簡単なＱＡを失敗させる。問題は、質問と部分的な証拠が与えられたフォローアップクエリの作成を含む、解釈可能な手法でこれらの質問に答えることである。

本発明の態様によれば、マルチホップブリッジタイプの質問回答に関するフォローアップ質問を生成するためのコンピュータ実装方法が提供される。本方法は、入力マルチホップブリッジタイプの質問の前提事項を検索するステップを含む。本方法は、入力マルチホップブリッジタイプの質問に対する前提事項の分類を、最終回答を含む、または中間情報を含む、無関係なものとして、三方向ニューラルネットワークベースのコントローラによって割り当てるステップをさらに含む。本方法は、また最終回答を含む分類に対応して前記マルチホップブリッジタイプの質問の第１のホップに関する前記最終回答を出力するステップを含む。本方法は、さらに、ニューラルネットワークによって、前記中間情報を含む分類に対応して、フォローアップ質問に関して前記検索するステップ、割り当てるステップ、出力するステップ及び生成するステップを繰り返すことで、前記フォローアップ質問を生成するステップを含む。

本発明の他の態様によれば、マルチホップブリッジタイプの質問回答に関するフォローアップ質問を生成するためのコンピュータプログラム製品が提供される。コンピュータプログラム製品は、プログラム命令が実装された非一時的にコンピュータで読み取り可能な記憶媒体を有する。プログラム命令は、コンピュータに本方法を実行させるためにコンピュータによって実行可能である。本方法は、入力マルチホップブリッジタイプの質問の前提事項を検索するステップを含む。本方法は、入力マルチホップブリッジタイプの質問に対する前提事項の分類を、最終回答を含む、または中間情報を含む、無関係なものとして、三方向ニューラルネットワークベースのコントローラによって割り当てるステップをさらに含む。本方法は、また最終回答を含む分類に対応して前記マルチホップブリッジタイプの質問の第１のホップに関する前記最終回答を出力するステップを含む。本方法は、さらに、ニューラルネットワークによって、前記中間情報を含む分類に対応して、フォローアップ質問に関して前記検索するステップ、割り当てるステップ、出力するステップ及び生成するステップを繰り返すことで、前記フォローアップ質問を生成するステップを含む。

本発明のさらに他の態様によれば、マルチホップブリッジタイプの質問回答に関するフォローアップ質問を生成するためのコンピュータ処理システムが提供される。本コンピュータ処理システムは、プログラムコードを保存するためのメモリ装置を含む。本コンピュータ処理システムは、入力マルチホップブリッジタイプの質問の前提事項を検索するためのプログラムコードを実行する、メモリ装置に動作可能に接続されたプロセッサ装置をさらに含む。本プロセッサ装置は、さらにプログラムコードを実行することで、入力マルチホップブリッジタイプの質問に対する前提事項の分類を、最終回答を含む、または中間情報を含む、無関係なものとして、三方向ニューラルネットワークベースのコントローラによって割り当てるステップを実行する。本プロセッサ装置は、また最終回答を含む分類に対応して前記マルチホップブリッジタイプの質問の第１のホップに関する前記最終回答を出力するステップを実行する。さらに、本プロセッサ装置は、ニューラルネットワークによって、前記中間情報を含む分類に対応して、フォローアップ質問に関して前記検索するステップ、割り当てるステップ、出力するステップ及び生成するステップを繰り返すことで、フォローアップ質問を生成するステップを実行する。

これら及び他の特徴並びに利点は、以下の典型的な実施形態の詳細な説明を添付の図面と併せて読むことで明らかになるであろう。

本開示では、後述するように、以下の図面を参照しながら好ましい実施形態について詳細に説明する。

図１は、本発明の一実施形態による、例示的なコンピューティングデバイスを示すブロック図である。

図２は、本発明の一実施形態による、マルチホップブリッジタイプの質問再帰型回答パイプラインを示すブロック図である。

図３は、本発明の一実施形態による、解釈可能な再帰型マルチホップ質問回答に関するフォローアップ質問を生成するための例示的な適用方法を示すフロー図である。

図４は、本発明の一実施形態による、解釈可能な再帰型マルチホップ質問回答に関するフォローアップ質問を生成するための例示的な訓練方法を示すフロー図である。 図５は、本発明の一実施形態による、解釈可能な再帰型マルチホップ質問回答に関するフォローアップ質問を生成するための例示的な訓練方法を示すフロー図である。

図６は、本発明の一実施形態による、本発明を適用できる例示的な教育環境を示すブロック図である。

図７は、本発明の一実施形態による、例示的なコンピューティング環境を示すブロック図である。

本発明の実施形態は、解釈可能な再帰型マルチホップ質問回答のためのフォローアップ質問を生成することを対象とする。

本発明の実施形態は、質問に対する回答を決定可能であり、フォローアップ質問に回答するだけでなく、フォローアップ質問をさらに生成できる。このようにして、所定のテーマに関するさらなる知識が与えられる。

図１は、本発明の一実施形態による、例示的なコンピューティングデバイス１００を示すブロック図である。コンピューティングデバイス１００は、解釈可能な再帰型マルチホップ質問回答のためのフォローアップ質問を生成するように構成される。

コンピューティングデバイス１００は、限定されるものではないが、コンピュータ、サーバ、ラックベースのサーバ、ブレードサーバ、ワークステーション、デスクトップコンピュータ、ラップトップコンピュータ、ノートブックコンピュータ、タブレットコンピュータ、モバイルコンピューティングデバイス、ウェアラブルコンピューティングデバイス、ネットワークアプライアンス、ｗｅｂアプライアンス、分散コンピューティングシステム、プロセッサベースのシステム及び／または消費者の電子装置を含む、本明細書に記載する機能を実行できる任意のタイプの計算またはコンピュータデバイスで実現できる。さらに、または代替として、コンピューティングデバイス１００は、物理的に分離されたコンピューティングデバイスの１つまたは複数のコンピューティングスレッド、メモリスレッド、または他のラック、スレッド、コンピューティングシャーシ、または他の構成要素で実現できる。図１で示すように、コンピューティングデバイス１００は、例示的に、プロセッサ１１０、入出力サブシステム１２０、メモリ１３０、データ記憶装置１４０、通信サブシステム１５０、及び／またはサーバまたは同様のコンピューティングデバイスに一般的に見られる他の構成要素及び装置を含む。もちろん、他の実施形態において、コンピューティングデバイス１００は、サーバコンピュータ（例えば、様々な入力／出力デバイス）に一般に見られるような他のまたは追加の構成要素を含むことができる。さらに、いくつかの実施形態において、例示的な構成要素のうちの１つまたは複数は別の構成要素に組み込まれていてもよく、または別の方法で別の構成要素の一部を形成してもよい。例えば、いくつかの実施形態において、メモリ１３０またはその一部をプロセッサ１１０に組み込むことができる。

プロセッサ１１０は、本明細書に記載する機能を実行できる任意のタイプのプロセッサで実現できる。プロセッサ１１０は、単一プロセッサ、マルチプロセッサ、中央処理装置（ＣＰＵ）、グラフィックス処理装置（ＧＰＵ）、単一またはマルチコアプロセッサ、デジタルシグナルプロセッサ、マイクロコントローラ、または他のプロセッサあるいは処理／制御回路として実現してもよい。

メモリ１３０は、本明細書で説明する機能を実行できる任意のタイプの揮発性または不揮発性メモリまたはデータ記憶装置で実現できる。動作中において、メモリ１３０は、オペレーティングシステム、アプリケーション、プログラム、ライブラリ、ドライバ等、コンピューティングデバイス１００の動作中に使用される様々なデータ及びソフトウェアを記憶できる。メモリ１３０は、Ｉ／Ｏサブシステム１２０を介してプロセッサ１１０と通信可能に接続され、これはプロセッサ１１０、メモリ１３０及びコンピューティングデバイス１００の他の構成要素との入出力操作を容易にするための回路及び／または構成要素で実現できる。例えば、Ｉ／Ｏサブシステム１２０は、メモリコントローラハブ、入力／出力制御ハブ、プラットフォームコントローラハブ、集積制御回路、ファームウェア装置、通信リンク（例えば、ポイントツーポイントリンク、バスリンク、ワイヤ、ケーブル、光ガイド、プリント回路基板トレース等）、及び／または入力／出力動作を容易にするための他の構成要素及びサブシステムで実現してもよく、さもなければ、それらを含んでいてもよい。いくつかの実施形態において、Ｉ／Ｏサブシステム１２０がシステムオンチップ（ＳＯＣ）の一部を形成し、プロセッサ１１０、メモリ１３０及びコンピューティングデバイス１００の他の構成要素とともに、単一の集積回路チップに組み込まれていてもよい。

データ記憶装置１４０は、例えば、メモリ装置及び回路、メモリカード、ハードディスクドライブ、ソリッドステートドライブ、または他のデータ記憶装置等の、データを短期または長期に記憶するために構成された任意のタイプの装置または複数の装置で実現できる。データ記憶装置１４０は、解釈可能な再帰型マルチホップ質問回答（ＱＡ）のためのフォローアップ質問生成器のためのプログラムコードを記憶できる。コンピューティングデバイス１００の通信サブシステム１５０は、ネットワークを介してコンピューティングデバイス１００と他のリモート装置との通信を可能にする、任意のネットワークインタフェースコントローラまたは他の通信回路、装置またはそれらの集合で実現できる。通信サブシステム１５０は、任意の１つ以上の通信技術（例えば、有線または無線通信）及び関連するプロトコル（例えば、イーサネット（商標登録）、ＩｎｆｉｎｉＢａｎｄ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｗｉ－Ｆｉ（登録商標）、ＷｉＭＡＸ（登録商標）等）を利用して通信するように構成されていてもよい。

図示のように、コンピューティングデバイス１００は、１つまたは複数の周辺デバイス１６０を含んでいてもよい。周辺デバイス１６０は、任意の数の追加の入力／出力デバイス、インターフェースデバイス及び／または他の周辺デバイスを含んでいてもよい。例えば、いくつかの実施形態において、周辺デバイス１６０は、ディスプレイ、タッチスクリーン、グラフィック回路、キーボード、マウス、スピーカシステム、マイクロフォン、ネットワークインタフェース、及び／または他の入力／出力デバイス、インターフェースデバイス、及び／または周辺デバイスを含むことができる。

もちろん、コンピューティングデバイス１００は、当業者であれば容易に思いつくような他の要素（不図示）を含んでいてもよく、特定の要素を省略してもよい。例えば、当業者であれば容易に理解できるが、コンピューティングデバイス１００には、その詳細な実装に応じて他の様々な入力装置及び／または出力装置を含むことができる。例えば、無線及び／または有線による種々の入力装置及び／または出力装置を使用できる。さらに、当業者であれば容易に理解できるが、様々な構成において追加のプロセッサ、コントローラ、メモリ等を用いることも可能である。コンピューティングデバイス１００の上記及び他の変形例は、本明細書で提供される本原理の教示によって当業者であれば容易に考えられるであろう。

本明細書で用いる「ハードウェアプロセッササブシステム」または「ハードウェアプロセッサ」という用語は、１つ以上の特定のタスクを実行するために協働するプロセッサ、メモリ（ＲＡＭ、キャッシュ等を含む）、ソフトウェア（メモリ管理ソフトウェアを含む）またはそれらの組み合わせを指すことができる。有用な実施形態において、ハードウェアプロセッササブシステムは、１つまたは複数のデータ処理要素（例えば、論理回路、処理回路、命令実行デバイス等）を含むことができる。１つまたは複数のデータ処理要素は、中央処理装置、グラフィックス処理装置及び／または個別のプロセッサまたはコンピューティング要素ベースのコントローラ（例えば、論理ゲート等）を含めることができる。ハードウェアプロセッササブシステムは、１つ以上のオンボードメモリ（例えば、キャッシュ、専用メモリアレイ、読み出し専用メモリ等）を含むことができる。いくつかの実施形態において、ハードウェアプロセッササブシステムは、オンボードまたはオフボードとすることができる、またはハードウェアプロセッササブシステム（例えば、ＲＯＭ、ＲＡＭ、基本入出力システム（ＢＩＯＳ）等）で用いるための専用の１つ以上のメモリを含むことができる。

いくつかの実施形態において、ハードウェアプロセッササブシステムは１つ以上のソフトウェア要素を含むことが可能であり、実行できる。１つ以上のソフトウェア要素は、特定の結果を達成するために、オペレーティングシステム及び／または１つ以上のアプリケーション及び／または特定のコードを含むことができる。

他の実施形態において、ハードウェアプロセッササブシステムは、指定された結果を達成するために１つまたは複数の電子処理機能を実行する専用の回路を含むことができる。このような回路は、１つまたは複数の特定用途向け集積回路（ＡＳＩＣ）、ＦＰＧＡ及び／またはＰＬＡを含んでいてもよい。

ハードウェアプロセッササブシステムのこれら及び他の変形例もまた、本発明の実施形態に従って企図される。

次に、本発明の一実施形態による、本発明を適用可能な質問の種類について説明する。

本発明は、ブリッジタイプの質問に利用できる。ブリッジタイプの質問は、オリジナルの質問のみに存在する用語に基づいた全ての必要な事実を検索できないようなものである。むしろ、部分的な情報が最初に検索され、追加のクエリを策定するために使用されなければならない。

本発明は、オリジナルの質問の用語で指定されていない新しい情報を発見するという課題に対処するように設計されている。最高レベルにおいて、比較タイプの質問は、比較対象であるそれぞれの量（quantity）がオリジナルの質問の一部によって指定されるため、この課題を提起しない。また、比較は、サブ質問に対する回答を検索した後に適用しなければならないため、ブリッジ質問とは異なるセマンティックを提示する。したがって、ここではブリッジタイプの質問に焦点を当てる。

図２は、本発明の一実施形態による、マルチホップブリッジタイプの質問２００に回答するためのパイプラインを示すブロック図である。

パイプライン２００は、前提検索器２１０と、三方向ニューラルネットワークベースのコントローラ（以下、互換可能な「コントローラ」または「Ｃｏｎｔ」と称す）２２０と、回答抽出器（以下、互換可能な「単一ホップ（SingleHop）」と称す）２３０と、フォローアップ質問生成器（以下、互換可能な「フォローアップ（Followup）」と称す）２４０とを含む。

部分的な情報が得られると、オリジナルの質問は、各ホップで生成される、より単純な質問に繰り返し縮小される。入力質問またはサブ質問が与えられると、サブ質問に回答できる可能性がある前提事項が前提検索器２１０から取得される。それぞれの可能性がある前提事項は、三方向ニューラルネットワークベースのコントローラ２２０によって、最終回答を含む、または中間情報を含む、無関係として質問に対して分類される。最終回答を含む前提事項の場合、該回答は、抽出器の単一ホップに回答する単一ホップ質問で抽出される。中間情報を含む前提事項の場合、質問生成器がフォローアップ質問を生成し、本プロセスはこの新しい質問に関して繰り返される。本発明の焦点は、この質問発生器である。そのために、コントローラによって生成され得る複数の推論パスを管理するために、様々な戦略を利用できる。

本発明の方法は、任意の数のホップを有するブリッジ質問に適用されるが、簡略化のために、本発明の１つまたは複数の例示的な実施形態は、２ホップ問題及びフォローアップ質問生成器の訓練を対象とする。

を回答Ａ及びゴールドサポート前提事項

を含む質問とし、

ではなく

に回答が含まれているとする。フォローアップ生成器２４０のタスクは、

を用いて下記のようなフォローアップ質問

を生成する。

及び

パイプラインの１つの解釈不能な実装は、フォローアップ２４０が「フォローアップ質問」としてＰ₁と結合された

を単に出力することである。単一ホップ２３０は、実際にはＰ₂と共に単一の質問の形態を取らない入力を操作して最終回答を決定する。それから、単一ホップ２３０は、マルチホップ推論を行うことになる。このような自明性を回避するために、単一ホップ２３０は最初に単一ホップ回答抽出器として訓練され、続いてフォローアップ２４０及びＣｏｎｔが訓練されている間は機能が停止される。

次に、本発明の一実施形態による方法についてさらに説明する。

理想的には、フォローアップ２４０は、式（１）、（２）及び（３）をきっかけとするクロスエントロピー損失を用いて単一ホップ２３０及びＣｏｎｔが固定されて訓練され得るが、復号された出力

はフォローアップパラメータに関して弁別可能ではない。代わりに、フォローアップ２４０は、弱くラベル付けされたグラウンドトゥルースフォローアップ質問のセットに対してトークンベースの損失で訓練される。

弱くラベル付けされたグラウンドトゥルースフォローアップは、ニューラル質問生成（ＱＧ）ネットワークを用いて取得される。コンテキスト

及び回答

が与えられると、ＱＧはそれを生成した可能性が高いと思われる質問

を見出すタスクである。逆の場合（回答及びコンテキストから質問を予測する）で使用される単一ホップ質問回答データセットは、ＱＧモデルを訓練するために使用される。我々の訓練セットに

を適用すると、弱いグラウンドトゥルースフォローアップ

が得られる。

我々は、

及びＰ₁を用いてポインタ生成器ネットワークで

を予測するフォローアップ質問生成器（Followup）２４０の例を挙げて説明する。それは、そのデコーダが固定語彙から単語を生成することと、入力から単語をコピーすることとを繰り返し選択する、シーケンストゥシーケンスモデルである。典型的には、ポインタ生成器ネットワークは生成型要約（abstractive summarization）のために使用される。出力は、ここでは異なる役割を果たすが、それらのコピー機構はオリジナルの質問及び前提事項の情報を用いるフォローアップを構築する際に有用である。

我々は、全てのＰのためのグラウンドトゥルーストリプル

及び

に関するＣｏｎｔ２２０を三値分類のためのクロスエントロピー損失で訓練する。一つの実装において、Ｃｏｎｔ２２０は複数の自己注意層（self-attention layer）を含むニューラルネットワークによって実現される。

このようにして、Ｃｏｎｔ２２０は、前提事項が質問に答えるのに十分な、または必要な情報をいつ有するかを予測することを学習する。

図３は、本発明の一実施形態による、解釈可能な再帰型マルチホップ質問回答に関するフォローアップ質問を生成するための例示的な適用方法３００を示すフロー図である。

ブロック３１０において、入力マルチホップブリッジタイプの質問の前提事項を検索する。

ブロック３２０において、入力マルチホップブリッジタイプの質問に対する前提事項の分類を、最終回答を含む、または中間情報を含む、無関係なものとして、三方向ニューラルネットワークベースのコントローラによって割り当てる。

ブロック３３０において、「最終回答を含む」分類に応答してマルチホップブリッジタイプの質問の第１のホップに関する最終回答を出力する。

ブロック３４０において、（ブロック３３０における）最終回答に基づいて（例えば、シャットオフされるべき装置で起こり得る故障を示す回答の場合はシャットオフする等の機能を実行するために）ハードウェアオブジェクトを制御する。例えば、質問は識別のためのものであり、ユーザが識別されると、その時点で、アクセス制御を、施設、コンピュータまたは他のハードウェア装置に与えることができる。一実施形態において、ブロック３４０は、例えば、オブジェクトを第１の状態から該第１の状態とは異なる第２の状態に変換することを含むことができる。当業者であれば容易に理解するように、異なる状態には動作状態または他の状態を含むことができる。

ブロック３５０において、ニューラルネットワークによって、中間情報を含む分類に対応して、フォローアップ質問に関して前記検索するステップ、割り当てるステップ、出力するステップ及び生成するステップを繰り返すことで、フォローアップ質問を生成する。

図４及び５は、本発明の一実施形態による、解釈可能な再帰型マルチホップ質問回答に関するフォローアップ質問を生成するための例示的な訓練方法４００を示すフロー図である。

ブロック４１０において、質問、単一テキストコンテキスト及びコンテキストの部分文字列である回答を含む単一ホップ訓練セットと、質問、それぞれホップと呼ばれるテキストコンテキストのペア及び第２のホップの部分文字列である回答を含むマルチホップ訓練セットとを収集する。

ブロック４２０において、与えられた質問及びコンテキストの回答を予測するために、単一ホップ訓練セットに関する単一ホップ質問に回答するためのニューラルネットワークを訓練する。

ブロック４３０において、与えられた質問及びコンテキストの回答を予測するために、単一ホップ訓練セットに関する質問生成のためのニューラルネットワークを訓練する。

ブロック４４０において、ブロック４３０の質問生成のためのニューラルネットワークを、マルチホップ訓練セットにおける第２のホップの回答及びコンテキストに適用して、弱いグラウンドトゥルースフォローアップ質問を取得する。

ブロック４５０において、マルチホップ訓練セットにおける第１のホップのオリジナルの質問及びコンテキストが与えられると、ブロック４４０の弱いグラウンドトゥルースフォローアップ質問を出力するようにポインタ生成器ネットワークを訓練する。

ブロック４６０において、マルチホップ訓練セットからのコンテキスト及び質問を含むペアを分類し、ブロック４２０の単一ホップネットワークが訓練セットにおける回答と重複する文字列を出力する場合、質問及び第２のホップのコンテキストに関する「最終回答を含む」出力を生成し、質問及び第１のホップのコンテキストに関する「中間」の出力を生成し、質問及び訓練セットからサンプリングされた任意の他のコンテキストに関する「無関係」の出力を生成するように、三方向ニューラルネットワークベースのコントローラを訓練する。

ブロック４７０において、ブロック４２０、４５０及び４６０のニューラルネットワークを出力する。これらのニューラルネットワークは、図３で示すように、質問回答を解決するために使用できる。

図６は、本発明の一実施形態による、本発明を適用できる例示的な教育環境６００を示すブロック図である。

環境は、一組のクライアントコンピュータ６１０とサーバ６２０とを含む。クライアントコンピュータ６１０は、スマートフォン、タブレット、ラップトップ、デスクトップ等のいずれでもよい。

環境６００のエンティティ間の通信は、１つまたは複数のネットワーク６３０を介して実行できる。例示のために、無線ネットワーク６３０が示されている。他の実施形態において、エンティティ間の通信を容易にするために、有線、無線及び／またはそれらの組合せのいずれを使用してもよい。

クライアントコンピュータ６１０は、これらの質問に対する回答及び教育環境におけるさらなる学習のためのフォローアップ質問を得るために、質問を提出する。このようにして、最初の質問に関連する所定のテーマに関して学生の知識をさらに深めるために回答される追加の新しい質問を学生に提供できる。

図７は、本発明の一実施形態による、例示的なコンピューティング環境６００を示すブロック図である。

環境７００は、サーバ７１０と、複数のクライアント装置（図中の符号７２０でまとめて示す）と、被制御システムＡ７４１と、被制御システムＢ７４２とを含む。

環境７００のエンティティ間の通信は、１つまたは複数のネットワーク７３０を介して実行できる。例示のため、無線ネットワーク７３０が示されている。他の実施形態において、エンティティ間の通信を容易にするために、有線、無線及び／またはそれらの組合せのいずれかを使用できる。

サーバ７１０は、クライアント装置７２０からのシーケンシャルデータ入力を受信する。サーバ７１０は、サーバ７１０に保存された解きほぐし（disentanglement）モデルから生成された予測に基づいて、被制御システム７４１及び／または７４２の１つを制御できる。一実施形態において、シーケンシャルデータ入力は時系列データに関連していてもよく、時系列データは、被制御システム７４１及び／または７４２に関連する、例えばセンサデータ等であるが、これに限定されない。制御は、差し迫った故障要素をオフにすること、故障した構成要素を別の動作する構成要素に交換すること、安全なネットワークに切り替えること等がある。

本明細書では本発明の「一実施形態」または「実施形態」、並びにその他の変形形態に言及し、実施形態に関連して説明した特定の機能、構成、特徴等が、本発明の少なくとも１つの実施形態に含まれることを意味する。したがって、「一実施形態において」または「実施形態において」という語句の出現、並びに本明細書全体を通して様々な場所に出現する任意の他の変形形態は、必ずしも全てが同じ実施形態を参照しているわけではない。しかしながら、本明細書で提供される本発明の教示を前提として、１つまたは複数の実施形態の特徴を組み合わせることができることを理解されたい。

例えば、「Ａ／Ｂ」、「Ａ及び／またはＢ」、並びに「Ａ及びＢのうちの少なくとも１つ」の場合における「／」、「及び／または」、並びに「うちの少なくとも１つ」のうちのいずれかの使用は、第１に挙げた選択肢（Ａ）のみの選択、第２に挙げた選択肢（Ｂ）のみの選択、または両方の選択肢（Ａ及びＢ）の選択を含むことを意図したものと理解すべきである。さらに例を挙げれば、「Ａ、Ｂ及び／またはＣ」、並びに「Ａ、Ｂ及びＣのうちの少なくとも１つ」の場合、このような表現法は、第１に挙げた選択肢（Ａ）のみの選択、第２に挙げた選択肢（Ｂ）のみの選択、第３に挙げた選択肢（Ｃ）のみの選択、第１及び第２に挙げた選択肢（Ａ及びＢ）のみの選択、第１及び第３に挙げた選択肢（Ａ及びＣ）のみの選択、第２及び第３に挙げた選択肢（Ｂ及びＣ）のみの選択、または３つの選択肢全て（Ａ及びＢ及びＣ）の選択を含むことを意図したものである。上述した例は、当業者に容易に明らかとなるように、列挙される多数の項目に応じて拡大適用される。

上記は、あらゆる観点において説明的（illustrative）かつ典型的（exemplary）であって限定的でないものと理解されるべきであり、本明細書で開示する本発明の範囲は、詳細な説明から決定されるべきではなく、特許法で認められた最大限の広さに基づいて解釈される特許請求の範囲から決定されるべきである。本明細書中に図示及び記載されている実施形態は、本発明の原理を説明するものにすぎず、本発明の範囲及び主旨から逸脱することなく当業者は様々な変更を実施することができることを理解されたい。当業者は、本発明の範囲及び精神から逸脱することなく、様々な他の特徴の組み合わせを実施できる。以上、本発明の態様について、特許法で要求される細部及び詳細な事項と共に説明したが、特許証で保護されることを要求する特許請求の範囲は、添付の特許請求の範囲に示されている。

Claims (20)

1. マルチホップブリッジタイプの質問回答に関するフォローアップ質問を生成するためのコンピュータ実装方法であって、
   入力マルチホップブリッジタイプの質問の前提事項を検索するステップ（３１０）と、
   前記入力マルチホップブリッジタイプの質問に対する前記前提事項の分類を、最終回答を含む、または中間情報を含む、無関係なものとして、三方向ニューラルネットワークベースのコントローラによって割り当てるステップ（３２０）と、
   前記最終回答を含む分類に対応して前記マルチホップブリッジタイプの質問の第１のホップに関する前記最終回答を出力するステップ（３３０）と、
   ニューラルネットワークによって、前記中間情報を含む分類に対応して、フォローアップ質問に関して前記検索するステップ、前記割り当てるステップ、前記出力するステップ及び前記生成するステップを繰り返すことで、前記フォローアップ質問を生成するステップ（３５０）と、
   を有するコンピュータ実装方法。
2. 前記入力マルチホップブリッジタイプの質問に関する別の前提事項を検索し、前記分類が無関係であることに対応して、前記割り当てるステップ、出力するステップ及び生成するステップを繰り返すステップをさらに有する、請求項１に記載のコンピュータ実装方法。
3. 前記割り当てるステップのニューラルネットワークは、三値分類のための１つ以上のクロスエントロピー損失を用いて訓練される、請求項１に記載のコンピュータ実装方法。
4. 前記生成するステップは、前記入力マルチホップブリッジタイプの質問と、前記入力マルチホップブリッジタイプの質問のための前記検索された前提事項とに基づいて、前記フォローアップ質問を生成する、請求項１に記載のコンピュータ実装方法。
5. 前記生成するステップのニューラルネットワークは、固定語彙から単語を生成する、または前記入力マルチホップブリッジタイプの質問から単語をコピーするように構成されたデコーダを備えるシーケンストゥシーケンスモデルを有する、請求項１に記載のコンピュータ実装方法。
6. 前記割り当てるステップは、１つまたは複数の自己注意層を含むニューラルネットワークを有する、請求項１に記載のコンピュータ実装方法。
7. 前記出力するステップは、単一ホップ質問回答のために訓練されたニューラルネットワークによって実行される、請求項１に記載のコンピュータ実装方法。
8. 前記入力マルチホップブリッジタイプの質問及び前記フォローアップ質問は自然テキストである、請求項１に記載のコンピュータ実装方法。
9. 前記最終回答に基づく機能を実行するようにハードウェアオブジェクトを制御するステップをさらに有する、請求項１に記載のコンピュータ実装方法。
10. マルチホップブリッジタイプの質問回答に関するフォローアップ質問を生成するためのコンピュータプログラム製品であって、前記コンピュータプログラム製品は、プログラム命令が実装された非一時的にコンピュータで読み取り可能な記憶媒体を有し、前記プログラム命令がコンピュータによって実行可能であり、
    入力マルチホップブリッジタイプの質問の前提事項を検索するステップ（３１０）と、
    前記入力マルチホップブリッジタイプの質問に対する前記前提事項の分類を、最終回答を含む、または中間情報を含む、無関係なものとして、三方向ニューラルネットワークベースのコントローラによって割り当てるステップ（３２０）と、
    前記最終回答を含む分類に対応して前記マルチホップブリッジタイプの質問の第１のホップに関する前記最終回答を出力するステップ（３３０）と、
    ニューラルネットワークによって、前記中間情報を含む分類に対応して、フォローアップ質問に関して前記検索するステップ、前記割り当てるステップ、前記出力するステップ及び前記生成するステップを繰り返すことで、前記フォローアップ質問を生成するステップ（３５０）と、
    を有する方法を前記コンピュータに実行させるための、コンピュータプログラム製品。
11. 前記入力マルチホップブリッジタイプの質問に関する別の前提事項を検索し、前記分類が無関係であることに対応して、前記割り当てるステップ、出力するステップ及び生成するステップを繰り返すステップをさらに有する、請求項１０に記載のコンピュータプログラム製品。
12. 前記割り当てるステップのニューラルネットワークは、三値分類のための１つ以上のクロスエントロピー損失を用いて訓練される、請求項１０に記載のコンピュータプログラム製品。
13. 前記生成するステップは、前記入力マルチホップブリッジタイプの質問と、前記入力マルチホップブリッジタイプの質問のための前記検索された前提事項とに基づいて、前記フォローアップ質問を生成する、請求項１０に記載のコンピュータプログラム製品。
14. 前記生成するステップのニューラルネットワークは、固定語彙から単語を生成する、または前記入力マルチホップブリッジタイプの質問から単語をコピーするように構成されたデコーダを備えるシーケンストゥシーケンスモデルを有する、請求項１０に記載のコンピュータプログラム製品。
15. 前記割り当てるステップは、１つまたは複数の自己注意層を含むニューラルネットワークを有する、請求項１０に記載のコンピュータプログラム製品。
16. 前記出力するステップは、単一ホップ質問回答のために訓練されたニューラルネットワークによって実行される、請求項１０に記載のコンピュータプログラム製品。
17. 前記入力マルチホップブリッジタイプの質問及び前記フォローアップ質問は自然テキストである、請求項１０に記載のコンピュータプログラム製品。
18. 前記最終回答に基づく機能を実行するようにハードウェアオブジェクトを制御するステップをさらに有する、請求項１０に記載のコンピュータプログラム製品。
19. マルチホップブリッジタイプの質問回答に関するフォローアップ質問を生成するためのコンピュータ処理システムであって、
    プログラムコードを保存するためのメモリ装置（１４０）と、
    入力マルチホップブリッジタイプの質問の前提事項を検索するステップと、
    前記入力マルチホップブリッジタイプの質問に対する前記前提事項の分類を、最終回答を含む、または中間情報を含む、無関係なものとして、三方向ニューラルネットワークベースのコントローラによって割り当るステップと、
    前記最終回答を含む分類に対応して前記マルチホップブリッジタイプの質問の第１のホップに関する前記最終回答を出力するステップと、
    ニューラルネットワークによって、前記中間情報を含む分類に対応して、フォローアップ質問に関して前記検索するステップ、前記割り当てるステップ、前記出力するステップ及び前記生成するステップを繰り返すことで、前記フォローアップ質問を生成するステップと、
    を有するように前記プログラムコードを実行する、前記メモリ装置と動作可能に接続されたプロセッサ装置（１１０）と、
    を有する、コンピュータ処理システム。
20. 前記割り当てるステップのニューラルネットワークは、三値分類のための１つ以上のクロスエントロピー損失を用いて訓練される、請求項１９に記載のコンピュータ処理システム。

Images