JP2019510290A - ニューラル臨床パラフレーズ生成のためのシステム及び方法 - Google Patents

Abstract

本発明は、パラフレーズ生成システムに関する。該システムは、１つ以上のハードウェアプロセッサ及び／又はその他の構成要素を有する。該システムは、学習コーパスを取得するよう構成される。該学習コーパスは、言語及び該言語の既知のパラフレーズを有する。該システムは、学習コーパスに基づいて、語レベルの注意ベースのモデル、及び文字レベルの注意ベースのモデルを生成するよう構成される。該システムは、語レベルの注意ベースのモデル及び文字レベルの注意ベースのモデルの両方に基づいて、自然言語入力の１つ以上の候補パラフレーズを提供するよう構成される。該語レベルの注意ベースのモデルは、語レベルの双方向長短期（ＬＳＴＭ）メモリネットワークであり、文字レベルの注意ベースのモデルは、文字レベルの双方向ＬＳＴＭネットワークである。語レベル及び文字レベルのＬＳＴＭネットワークは、学習コーパスにおける語及び文字に基づいて生成される。幾つかの実施例においては、ＬＳＴＭネットワークは、所与のＬＳＴＭネットワークの積層間の残差接続を有する積層残差ＬＳＴＭネットワークである。

Description

本発明は、自然言語入力の１つ以上のパラフレーズを提供するよう構成された、パラフレーズ生成システムに関する。

自然機械翻訳システムは知られている。既存のニューラルマシン翻訳システムは一般に、エンコーダ−デコーダ手法（例えば固定長ベクトルが目標の文を形成するために用いられる元の文から生成される）又は注意（attention）ベースのソフト検索手法（例えばモデルが合わせて整合及び翻訳するよう学習が可能であり、最も関連する元の語のコンテキストベクトルを用いることにより比較的長い文における目標の語を改善することを支援する）を用いて、語レベルの計算を介して、二言語機械翻訳を実行する。

これら手法は、未知の元の語（例えばニューラルネットワークについての学習データセットに含まれない語）に対する目標の語を正確に予測することができない。

従って、本発明の１つ以上の態様は、１つ以上のハードウェアプロセッサ及び／又はその他の構成要素を有する、パラフレーズ生成システムに関する。該１つ以上のハードウェアプロセッサは、言語及び前記言語のパラフレーズを有する、学習コーパスを取得し、前記学習コーパスに基づいて、語レベルの注意ベースモデル及び文字レベルの注意ベースモデルを生成し、前記語レベル及び前記文字レベルの注意ベースモデルの両方に基づいて、自然言語入力の１つ以上の候補パラフレーズを提供するための機械読み取り可能な命令により構成される。幾つかの実施例においては、前記１つ以上のハードウェアプロセッサは、前記語レベルの注意ベースモデルが、語レベルの双方向の長短期メモリ（ＬＳＴＭ）ネットワークであり、前記文字レベルの注意ベースモデルが、文字レベルの双方向のＬＳＴＭネットワークとなるよう構成される。前記語レベル及び文字レベルの双方向のＬＳＴＭネットワークは、前記学習コーパスにおける語及び文字に基づいて生成される。幾つかの実施例においては、前記１つ以上のハードウェアプロセッサは、前記学習コーパスに基づいて文レベルの注意ベースモデルを生成し、前記文レベル、語レベル及び文字レベルの注意ベースモデルに基づいて前記自然言語入力の１つ以上の候補パラフレーズを提供するよう構成される。幾つかの実施例においては、前記１つ以上のハードウェアプロセッサは更に、前記学習コーパスを用いて、語レベル、文字レベル及び文レベルの埋め込みを決定し、既存の知識ベースから知られた意味的関係に基づいて前記語レベル、文字レベル及び文レベルの埋め込みを更新し、前記更新された語レベル及び文字レベルの埋め込みに基づいて前記語レベル及び文字レベルの注意ベースモデルを生成し、前記語レベル及び文字レベルの注意ベースモデル並びに前記更新された文レベルの埋め込みに基づいて、１つ以上の候補パラフレーズを提供するよう構成される。幾つかの実施例においては、前記１つ以上のハードウェアプロセッサは、回帰型ニューラルネットワーク（ＲＮＮ）及び／又は畳み込みニューラルネットワーク（ＣＮＮ）を用いて、前記文レベル、語レベル及び文字レベルの埋め込みを決定するよう構成される。幾つかの実施例においては、前記１つ以上のハードウェアプロセッサは、前記１つ以上の候補パラフレーズを提供することが、候補パラフレーズの語選択の意味的類似性及び新規性を目標の文と比較するよう構成された強化学習モデルについての報酬関数を決定すること、及び前記比較に基づいて候補パラフレーズを出力することを有するよう構成される。幾つかの実施例においては、前記１つ以上のハードウェアプロセッサは、前記語レベルの注意ベースモデルが、多層残差型の語レベルの双方向ＬＳＴＭネットワークであり、前記文字レベルの注意ベースモデルが、多層残差型の文字レベルの双方向ＬＳＴＭネットワークであるよう構成される。前記多層残差型のＬＳＴＭネットワークは、所与のＬＳＴＭネットワークの積層した層間の残差接続を有する。

本発明の他の態様は、パラフレーズ生成システムを用いてパラフレーズを生成するための方法に関する。前記方法は、言語及び前記言語のパラフレーズを有する、学習コーパスを取得するステップと、前記学習コーパスに基づいて、語レベルの注意ベースモデル及び文字レベルの注意ベースモデルを生成するステップと、前記語レベル及び前記文字レベルの注意ベースモデルの両方に基づいて、自然言語入力の１つ以上の候補パラフレーズを提供するステップと、を有する。幾つかの実施例においては、前記語レベルの注意ベースモデルが、語レベルの双方向の長短期メモリ（ＬＳＴＭ）ネットワークであり、前記文字レベルの注意ベースモデルが、文字レベルの双方向のＬＳＴＭネットワークとなるよう構成される。前記語レベル及び文字レベルの双方向のＬＳＴＭネットワークは、前記学習コーパスにおける語及び文字に基づいて生成される。幾つかの実施例においては、前記方法は更に、前記学習コーパスに基づいて文レベルの注意ベースモデルを生成するステップと、前記文レベル、語レベル及び文字レベルの注意ベースモデルに基づいて前記自然言語入力の１つ以上の候補パラフレーズを提供するステップと、を有する。幾つかの実施例においては、前記方法は更に、前記学習コーパスを用いて、語レベル、文字レベル及び文レベルの埋め込みを決定するステップと、既存の知識ベースから知られた意味的関係に基づいて前記語レベル、文字レベル及び文レベルの埋め込みを更新するステップと、前記更新された語レベル及び文字レベルの埋め込みに基づいて前記語レベル及び文字レベルの注意ベースモデルを生成するステップと、前記語レベル及び文字レベルの注意ベースモデル並びに前記更新された文レベルの埋め込みに基づいて、１つ以上の候補パラフレーズを提供するステップと、を有する。幾つかの実施例においては、前記文レベル、語レベル及び文字レベルの埋め込みは、ＲＮＮ及び／又はＣＮＮを用いて決定される。幾つかの実施例においては、前記１つ以上の候補パラフレーズを提供するステップは、候補パラフレーズの語選択の意味的類似性及び新規性を目標の文と比較するよう構成された強化学習モデルについての報酬関数を決定するステップと、前記比較に基づいて候補パラフレーズを出力するステップと、を有する。幾つかの実施例においては、前記１つ以上のハードウェアプロセッサは、前記語レベルの注意ベースモデルが、多層残差型の語レベルの双方向ＬＳＴＭネットワークであり、前記文字レベルの注意ベースモデルが、多層残差型の文字レベルの双方向ＬＳＴＭネットワークである。前記多層残差型のＬＳＴＭネットワークは、所与のＬＳＴＭネットワークの積層した層間の残差接続を有する。

本発明の更に他の態様は、パラフレーズを生成するためのシステムに関する。前記システムは、言語及び前記言語のパラフレーズを有する、学習コーパスを取得するための手段と、前記学習コーパスに基づいて、語レベルの注意ベースモデル及び文字レベルの注意ベースモデルを生成するための手段と、前記語レベル及び前記文字レベルの注意ベースモデルの両方に基づいて、自然言語入力の１つ以上の候補パラフレーズを提供するための手段と、を有する。幾つかの実施例においては、前記語レベルの注意ベースモデルが、語レベルの双方向のＬＳＴＭネットワークであり、前記文字レベルの注意ベースモデルが、文字レベルの双方向のＬＳＴＭネットワークである。前記語レベル及び文字レベルの双方向のＬＳＴＭネットワークは、前記学習コーパスにおける語及び文字に基づいて生成される。幾つかの実施例においては、前記システムは更に、前記学習コーパスに基づいて文レベルの注意ベースモデルを生成するための手段と、前記文レベル、語レベル及び文字レベルの注意ベースモデルに基づいて前記自然言語入力の１つ以上の候補パラフレーズを提供するための手段と、を有する。幾つかの実施例においては、前記システムは更に、前記学習コーパスを用いて、語レベル、文字レベル及び文レベルの埋め込みを決定するための手段と、既存の知識ベースから知られた意味的関係に基づいて前記語レベル、文字レベル及び文レベルの埋め込みを更新するための手段と、前記更新された語レベル及び文字レベルの埋め込みに基づいて前記語レベル及び文字レベルの注意ベースモデルを生成するための手段と、前記語レベル及び文字レベルの注意ベースモデル並びに前記更新された文レベルの埋め込みに基づいて、１つ以上の候補パラフレーズを提供するための手段と、を有する。幾つかの実施例においては、前記文レベル、語レベル及び文字レベルの埋め込みは、ＲＮＮ及び／又はＣＮＮを用いて決定される。幾つかの実施例においては、前記１つ以上の候補パラフレーズを提供することは、候補パラフレーズの語選択の意味的類似性及び新規性を目標の文と比較するよう構成された強化学習モデルについての報酬関数を決定すること、及び前記比較に基づいて候補パラフレーズを出力することを有する。幾つかの実施例においては、前記語レベルの注意ベースモデルは、多層残差型の語レベルの双方向のＬＳＴＭネットワークであり、前記文字レベルの注意ベースモデルは、多層残差型の語レベルの双方向のＬＳＴＭネットワークである。前記多層残差型のＬＳＴＭネットワークは、所与のＬＳＴＭネットワークの積層した層間の残差接続を有する。

本発明のこれらの及びその他の目的、特徴及び特性、構造及び部分の組み合わせの関連する要素の動作及び機能、並びに製造の経済性は、いずれも本明細の一部を形成する添付図面を参照しながら以下の説明及び添付される請求項を考察することでより明らかとなり、ここで種々の図面において同様の参照番号は対応する部分を示す。しかしながら、図面は単に例示及び説明の目的のものであり、本発明の限定の定義として意図されるものではないことは、明確に理解されるべきである。

パラフレーズ生成システムの模式的な図である。 多層ＣＮＮアーキテクチャを示す。 多層ＲＮＮアーキテクチャを示す。 ＬＳＴＭネットワークを示す。 多層残差型の双方向ＬＳＴＭネットワークを示す。 強化学習アーキテクチャを示す。 システムにより実行される動作の一部を示す。 パラフレーズ生成システムを用いてパラフレーズを生成する方法を示す。

ここで用いられる「１つの」及び「その」（a、an及びthe）なる単数形は、他に明確な言及がない限り、複数の参照を含む。ここで用いられる、２つ以上の部分又は構成要素が「結合されている（coupled）」なる記述は、これら部分が、関連が生じるように、直接的に、若しくは間接的に即ち１つ以上の中間部分若しくは構成要素を通して、互いに接合されていること、又は合わせて動作することを意味する。ここで用いられる「直接的に結合されている（directly coupled）」なる記述は、２つの要素が互いに直接に接触していることを意味する。ここで用いられる「固定的に結合されている（fixedly coupled）」又は「固定されている（fixed）」なる記述は、２つの構成要素が、互いに対する一定の向きを維持しつつ、一体として動くよう結合されていることを意味する。

ここで用いられる「単一の（unitary）」なる語は、構成要素が単一の部品又はユニットとして生成されていることを意味する。即ち、別個に生成されて、次いで互いに１つのユニットとして結合された構成要素は、「単一の（unitary）」構成要素又は部品ではない。ここで利用される、２つ以上の部分又は構成要素が互いに「係合する（engage）との記述は、これら部分が、直接的に、又は１つ以上の中間部分又は構成要素を通して、互いに対して力をかけることを意味する。ここで利用される「数（number）」なる用語は、１又は１よりも大きい整数（即ち複数）を意味する。

例えば、限定するものではないが、上端、底部、左、右、上方、下方、前方、後方及びこれらの派生語のような、方向を示す語句は、他に明確に言及がない限り、図面に示された要素の向きに関連するものであり、請求の範囲を限定するものではない。

図１は、パラフレーズ生成システム１０の模式的な図を示す。パラフレーズ生成は、元のコンテンツにより表現されたものと同じ及び／又は類似する意味を表現するテキスト代替を用いることを有する。パラフレーズ生成は、検索要約、質問回答、情報抽出、情報取得、及び自然言語生成のような、種々の自然言語処理（ＮＬＰ）アプリケーションにおいて用いられている。システム１０は、単一言語ニューラルマシン翻訳問題として、パラフレーズ生成のタスクをキャストすることにより、深層ニューラルネットワークの組み合わせに基づいて、パラフレーズ生成（例えば臨床パラフレーズ生成）のための全体論的手法を利用する。システム１０は、全体の意味を損なうことなく可読性を改善するようテキストを変換するよう構成される。例えば臨床パラフレーズ生成は、ユーザがより簡単な代替のパラフレーズを介して複雑な臨床の専門用語を理解することが可能な、患者中心の臨床決定支援（ＣＤＳ）アプリケーション及び／又はその他のアプリケーションをつくりだす際に価値を持つ。

従来のパラフレーズ生成方法は、手作りの規則、自動的に学習された複雑なパラフレーズパターン、シソーラスベースの又は意味解析による自然言語生成手法、及び／又はレバレッジ（leverage）統計機械学習理論を利用する。既存のニューラルマシン翻訳システムは、エンコーダ−デコーダ手法（例えば固定長ベクトルが目標の文を形成するために用いられる元の文から生成される）又は注意ベースのソフト検索手法（例えばモデルが合わせて整合及び翻訳するよう学習が可能であり、最も関連する元の語のコンテキストベクトルを用いることにより比較的長い文における目標の語を改善することを支援する）を用いて、語レベルの計算を介して、二言語機械翻訳を実行する。しかしながら、これら手法は、未知の元の語（例えばニューラルネットワークについての学習データセットに含まれない語）に対する目標の語を正確に予測する能力において、限界がある。

システム１０は、ニューラルマシン翻訳に対する従来の手法の限界を克服する、臨床及び／又はその他のパラフレーズ生成のために構成された深層ニューラルネットワークである。システム１０は、未知の（例えば学習データベースに含まれていない語及び／又はその他の語）元の語をパラフレーズ生成するため、文字レベルモデリング及び／又はその他の動作を実行することにより、先行技術のシステムの限界を克服するよう構成される。幾つかの実施例においては、システム１０は、畳み込みニューラルネットワーク（ＣＮＮ）、回帰型ニューラルネットワーク（ＲＮＮ）、長短期メモリ（ＬＳＴＭ）ネットワーク、及び強化学習動作を組み合わせて、パラフレーズ生成のための集合アーキテクチャを形成する。幾つかの実施例においては、システム１０は、層間に残差接続を持つ多層ＬＳＴＭネットワークを含む。

本発明はしばしば「臨床」パラフレーズ生成を参照する。このことは限定を意図したものではない。システム１０は、ここで記載されるように臨床、非臨床及び／又はその他の用途としてパラフレーズを生成し得る。臨床パラフレーズ生成は、種々の広範なタイプ及びスタイルの臨床文書があるため、便利な例として用いられる。斯かる文書はしばしば記載が冗長であり、多忙な介護者及び／又はその他のユーザ１２（例えば臨床医、医師、看護師、医療施設スタッフ、家族、友人等）はしばしば、斯かる文書に担持された情報のパラフレーズにより記載された概要（例えばユーザ１２に関連する計算装置１８のユーザインタフェース１６に提示された）を好む。斯かる文書は、パラフレーズ生成システムによって以前に遭遇されたことのない語（例えば以上に説明されたような「未知の」語）を含むことが多い。特定のユーザ１２は、医療的な介入、処置計画及び／又はその他の時点において、例えば通知として、レポートに担持された情報の断片にのみ関心を持ち得る。一例として臨床パラフレーズ生成を用いて、システム１０は、臨床文書における言語からパラフレーズ生成するよう構成され、ユーザ１２が特定の患者に関する最新の情報を迅速に知ることができるようにする。

幾つかの実施例においては、システム１０は、計算装置１８（ユーザインタフェース１６を含む）、１つ以上のプロセッサ２０、電子記憶装置２２、外部リソース２４及び／又はその他の構成要素を有する。

計算装置１８は、ユーザ１２とシステム１０との間のインタフェースを提供するよう構成される。計算装置１８は、ユーザ１２及び／又はその他のユーザに情報を提供する及び／又はユーザ１２及び／又はその他のユーザから情報を受けるよう構成される。計算装置１８は、ユーザインタフェース１６及び／又はその他の構成要素を含む。ユーザインタフェース１６は、ユーザ１２からの情報の入力及び／又は選択を受けるよう構成される。ユーザインタフェース１６は、ユーザ１２及び／又はその他のユーザに、生成されたパラフレーズを提示するよう構成される。幾つかの実施例においては、ユーザインタフェース１６は、例えば計算装置１８、プロセッサ２０及び／又はその他のシステム１０の構成要素に関連する、複数の別個のインタフェースを含む。幾つかの実施例においては、システム１０は、複数のユーザ１２に関連する複数の計算装置１８を有する。

幾つかの実施例においては、所与の計算装置１８は、ユーザインタフェース１６、処理能力、データベース及び／又は電子記憶装置をシステム１０に提供するよう構成される。そのため、計算装置１８は、プロセッサ２０、電子記憶装置２２、外部リソース２４及び／又はその他のシステム１０の構成要素を含んでも良い。幾つかの実施例においては、計算装置１８は、ネットワーク（例えばインターネット）に接続される。幾つかの実施例においては、計算装置１８は、プロセッサ２０、電子記憶装置２２、外部リソース２４及び／又はその他のシステム１０の構成要素を含まず、その代わりにネットワークを介してこれら構成要素と通信する。例えば、プロセッサ２０、電子記憶装置２２、外部リソース２４及び／又はその他のシステム１０の構成要素は、「公的なクラウド」又は「私的なクラウド」（以下「クラウド」）に位置していても良い。幾つかの実施例においては、計算装置１８は例えば、公的又は私的なクラウドにおいて保存され処理された情報を受信するダム（dumb）装置である。ネットワークへの接続は、無線であっても良いし又は有線であっても良い。例えば、プロセッサ２０は、リモートのサーバに配置され、パラフレーズを生成し、計算装置１８上において、ユーザインタフェース１６を介してユーザ１２に対する該パラフレーズの表示を無線で引き起こしても良い。幾つかの実施例においては、計算装置１８はラップトップ、デスクトップ型コンピュータ、スマートフォン、タブレット型コンピュータ、及び／又はその他の計算装置である。

ユーザインタフェース１６に含めるのに適したインタフェース装置の例は、タッチスクリーン、キーパッド、タッチ感応型及び／又は物理的ボタン、スイッチ、キーボード、ノブ、レバー、ディスプレイ、スピーカ、マイクロフォン、インジケータ照明、可聴アラーム、プリンタ、及び／又はその他のインタフェース装置を含む。本発明はまた、計算装置１８が着脱可能な記憶インタフェースを含むことも考慮に入れる。本例においては、ユーザ１２及び／又はその他のユーザが計算装置１８の実装をカスタマイズすることを可能とする着脱可能な記憶装置（例えばスマートカード、フラッシュドライブ、着脱可能なディスク）から、情報が計算装置１８にロードされても良い。計算装置１８及び／又はユーザインタフェース１６との使用に適合した入力装置及び手法の他の例は、限定するものではないが、ＲＳ−２３２ポート、ＲＦリンク、ＩＲリンク、モデム（電話、ケーブル等）及び／又はその他の装置を含む。

プロセッサ２０は、システム１０における情報処理能力（例えば標準的なグラフィックス処理ユニット（ＧＰＵ）及び／又はその他の構成要素を用いて）を提供するよう構成される。そのため、プロセッサ２０は、ディジタルプロセッサ、アナログプロセッサ、情報を処理するよう設計されたディジタル回路、情報を処理するよう設計されたアナログ回路、状態機械、及び／又はその他の電子的に情報を処理するための機構のうちの１つ以上を有しても良い。プロセッサ２０は図１において単一のエンティティとして示されているが、このことは単に説明の目的のためのものである。幾つかの実施例においては、プロセッサ２０は、複数の処理ユニットを有しても良い。これら処理ユニットは、同じ装置（例えばサーバ）内に物理的に配置されていても良いし、又はプロセッサ２０が、協働して動作する複数の装置（例えば、１つ以上のサーバ、計算装置１８、外部リソース２４の一部である装置、電子記憶装置２２及び／又はその他の装置）の処理機能を表しても良い。

幾つかの実施例においては、プロセッサ２０、外部リソース２４、計算装置１８、電子記憶装置２２及び／又はその他の構成要素は、１つ以上の電子通信リンクを介して動作可能にリンクされても良い。例えば、斯かる電子通信リンクは、少なくとも一部が、インターネット及び／又はその他のネットワークのようなネットワークを介して確立されても良い。このことは限定することを意図したものではなく、本発明の範囲は、これら構成要素が何らかの他の通信媒体を介して動作可能にリンクされた実施例を含むことは、理解されるであろう。幾つかの実施例においては、プロセッサ２０は、クライアント／サーバ型アーキテクチャ、ピアツーピア型アーキテクチャ及び／又はその他のアーキテクチャによって、外部リソース２４、計算装置１８、電子記憶装置２２及び／又はその他の構成要素と通信するよう構成される。

図１に示されるように、プロセッサ２０は、機械読み取り可能な命令を介して、１つ以上のコンピュータプログラム要素を実行するよう構成される。該１つ以上のコンピュータプログラム要素は、学習コーパス要素３０、埋め込み生成要素３２、モデル要素３４、集合学習要素３６、強化学習要素３８、出力要素４０及び／又はその他の要素を有しても良い。プロセッサ２０は、ソフトウェア、ハードウェア、ファームウェア、ソフトウェア、ハードウェア及び／又はファームウェアの何らかの組み合わせ、及び／又はその他のプロセッサ２０上での処理機能を構成するための機構によって、要素３０、３２、３４、３６、３８及び／又は４０を実行するよう構成されても良い。

要素３０、３２、３４、３６、３８及び４０は、図１において単一の処理ユニット内にともに配置されたものとして示されているが、プロセッサ２０が複数の処理ユニットを有する実施例においては、要素３０、３２、３４、３６、３８及び４０の１つ以上が、他の要素とはリモートに配置されても良いことは、理解されるべきである。以下に記載される種々の要素３０、３２、３４、３６、３８及び／又は４０により提供される機能の説明は、単に説明の目的のためのものであり、限定を意図したものではなく、要素３０、３２、３４、３６、３８及び／又は４０のいずれかが、説明されたもの以外の幾分かの機能を提供しても良い。例えば、要素３０、３２、３４、３６、３８及び／又は４０の１つ以上が省略されても良く、その機能の幾つか又は全てが他の要素３０、３２、３４、３６、３８及び／又は４０により提供されても良い。他の例としては、プロセッサ２０は、要素３０、３２、３４、３６、３８及び／又は４０の１つに加えて、以下の機能の幾つか又は全てを実行し得る１つ以上の付加的な要素を実行するよう構成されても良い。

学習コーパス要素３０は、学習コーパスを取得するよう構成される。学習コーパスは、言語、該言語のパラフレーズ及び／又はその他の情報を有する。該言語は、個々の文、句、語、キャラクタ（例えば文字）及び／又はその他の著者により特定の態様で（例えば医療レポート、医療レコードとして）配置された構成要素により形成される。パラフレーズは、文字、語、及び／又はその他の該言語（例えば医療レポート、医療レコード）に相当し該言語により通信されるものと同じ及び／又は類似する情報を短縮された及び／又は省略された態様で通信する表記である。例えば、該学習コーパスは、臨床言語（例えば文、句、語、文字等）、及び該臨床言語に所定の態様で対応する既知のパラフレーズを含んでも良い。

幾つかの実施例においては、学習コーパス要素３０は、学習コーパスが、臨床及び／又は非臨床言語、データ及び／又はその他の情報に基づいて決定されるように構成される。非臨床言語、データ及び／又は情報は、非臨床の公的に利用可能なパラフレーズデータベース（例えばparaphrase.org等）及び／又はその他の供給源から取得されても良い。臨床言語、データ及び／又は情報は、オープンソースの臨床オントロジー（例えばＳＮＯＭＥＤ ＣＴにおける臨床概念についての一意に規定される名称及び対応する同義語の集合）及び／又はその他の供給源から取得されても良い。これらのような情報源は、例えば外部リソース２４に含まれていても良い。学習コーパス要素３０は、非臨床言語、データ及び／又はその他の情報が組み合わせられて、元の言語及び既知の対応するパラフレーズを持つ学習コーパスが生成されるように構成される（例えば、英語のような個々の言語において、パラフレーズ生成のタスクが単一言語翻訳問題としてキャストされる）。学習コーパス要素３０は、学習コーパスを取得することが更に、トークン化及び語彙生成を実行することによりコーパスを事前処理することを有するように構成される。例えば、コーパス中の利用可能な一意な語が、（例えば後の語レベルの情報の決定のために）適切なデータ構造でインデクス化され、（例えば後の文字レベルの情報の決定のために）一意な文字が同様にインデクス化される。

埋め込み要素３２は、学習コーパスを用いて語レベル、文字レベル及び文レベルの埋め込みを決定し、既存の知識ベースから知られた意味的関係に基づいて語レベル、文字レベル及び文レベルの埋め込みを更新するよう構成される。幾つかの実施例においては、該文レベル、語レベル及び文字レベルの埋め込みは、ＲＮＮ及び／又はＣＮＮを用いて決定される。

図２（ＣＮＮ）及び図３（ＲＮＮ）に示されるように、学習コーパスの教師なし事前学習を実行して埋め込みを学習するため、（それぞれ）多層ＣＮＮ及び／又はＲＮＮアーキテクチャ２００及び３００が用いられる。ＣＮＮは、フィードフォワード型人工ニューラルネットワークの一種であり、個々のニューロンが重複を伴ってタイル化され、個々のニューロンが入力文の全体ではなく一部に接続され、該入力文により起動され、局所的に接続されたネットワークの生成を実現し、一時的な畳み込みを介した重み共有を可能とする。図２に示されるように、ＣＮＮは、入力層２０２、畳み込み層２０４、及び最大プーリング層２０６を含む。最大プーリング層２０６は、高次の層への入力として利用されるべき畳み込み層２０４からの出力ニューロンの選択されたセットの最大値を決定する。斯くして、畳み込み層２０４及び最大プーリング層２０６は、パラメータ空間を縮小し、並進不変性の形態を提供することにより、ネットワーク全体の計算の複雑性を低減することを支援する。幾つかの実施例においては、並進不変性は、可変サイズの入力文に向けた大きな最大プーリングの適用のため、ＮＬＰ問題への制限となり得る（一方でシーケンス／順序は保存される必要があり得る）。図２において、重みＷ１とＷ４とが共有され、Ｗ２とＷ５とが共有され、Ｗ３とＷ６とが共有される。

図３に示されるように、ＲＮＮは、斯かるシーケンス予測問題を解決し得るものであり、一般にネットワークに亘り共有されたパラメータの３つのセット、即ち入力−隠れ（hidden）重み（Ｗ）３０２、隠れ−隠れ重み（Ｕ）３０４、及び隠れ−出力重み（Ｖ）３０６を持つ。当該重み共有特性は、ＲＮＮを、ＮＬＰ問題における可変サイズの入力に適したものとする（図３に示されるように、ＲＮＮは、入力層３０８、隠れ層３１０及び出力層３１２を含む）。図３において、Ｘ_{０，１，…ｔ}は、時間０，１，…ｔにおける入力語／文字を示し、ｈ_{０，１，…ｔ}は、時間０，１，…ｔにおける対応する隠れ状態を示し、ｙは出力を示す。幾つかの実施例においては、埋め込み要素３２は、ＲＮＮが双方向ＲＮＮとなるよう構成される。双方向ＲＮＮは、時間ｔにおける出力が、シーケンスにおける前の要素に依存するのみならず、将来の要素にも依存し得るという仮定に基づく。例えば、シーケンスにおける欠損した語／文字を予測するためには、該シーケンスにおける該欠損した語の左側のコンテキストと、該シーケンスにおける該欠損した語の右側のコンテキストと、の両方を考慮する必要があり得る。斯くして、双方向ＲＮＮアーキテクチャは、ＲＮＮエンコーダ−エンコーダ手法に従い、ここでは２つのＲＮＮが、前方向及び後方向の両方にシーケンス中の語のコンテキスト属性を捕捉するため、元の文をエンコードするために用いられ、次いで１つのＲＮＮが、目標の文を生成するためのデコーダとして用いられる。幾つかの実施例においては、双方向ＲＮＮアーキテクチャは、入力の元の文のシーケンスを複数回供給される。注意ベースモデルにおける「注意（attention）」なる語は、デコード処理の間に特定の元の語に注目する（即ち注意を払う）ことを表す。注意ベースのデコード機構は、最も関連する元の語をモデルが検索することを可能としつつ、次の目標の語を予測し、比較的長い文における長距離の依存性に関連する問題を軽減する。

幾つかの実施例においては、学習された埋め込み（ＣＮＮ及び／又はＲＮＮの出力）は、学習コーパスにおける言語の文、語、文字及び／又はその他の情報に関連するコンテキスト情報を表すベクトルを有する。幾つかの実施例においては、埋め込み要素３２は、既存の知識ベース（例えば図１に示される外部リソース２４に含まれるWikipedia、PubMed文献等）から得られた意味的関係を用いて学習された埋め込みを更新するよう構成される。更新された語及び文字レベルの埋め込みは、（例えば以下に説明されるように）それぞれ注意ベースの語レベル及び文字レベルの双方向ＬＳＴＭネットワークを開始するために用いられる。

幾つかの実施例においては、ＣＮＮ及び／又はＲＮＮアーキテクチャは、「情報ハイウェイ」上の幾つかの層に亘る略利用制限のない情報の流れにより特徴付けられる多層ハイウェイネットワークを有する。数百の層を持つハイウェイネットワークは、確率的勾配降下法を直接に用いて学習させられ、極めて深く効率の良いアーキテクチャを学習する可能性を開く。例えば、ハイウェイネットワークの概念は、修正されたゲーティング関数を用いて離れた層におけるニューロン間の直接の接続を可能とすることにより、図２及び図３に示されたアーキテクチャにおいてより多くの層を実現し、モデル性能を改善するよう該モデルが非常に深いニューラルネットワークを学習することを可能とし得る。

図１に戻ると、モデル要素３４は、語レベルの注意ベースモデル、文字レベルの注意ベースモデル、及び／又はその他のモデルを生成するよう構成される。以上に説明されたように、幾つかの状況においては、語レベルのモデルのみでは、以前から未知の元の（入力）語に基づいて目標の語（例えばパラフレーズ）を正確に予測できない可能性が高い。文字レベルのモデルを用いる場合、臨床言語及び／又は文書を構築するために用いられる利用可能なキャラクタ（例えば字）の数は有限であり（著者に利用可能なとり得る語及び／又は文の数が限られないこととは対照的に）、これにより１つ以上の目標の語の正確な予測を容易化する（例えば、とり得る候補パラフレーズのセットを減少させること、目標の語の正確な予測のために必要とされる計算リソースの量を低減させること、等によって）。

幾つかの実施例においては、語レベルの注意ベースモデルは、語レベルの双方向ＬＳＴＭネットワークであり、文字レベルの注意ベースモデルは、文字レベルの双方向ＬＳＴＭネットワークである。図４Ａは、ＬＳＴＭネットワークのブロック図４００、及びＬＳＴＭネットワークの機能を説明する対応する式４０２を示す。ＬＳＴＭネットワークは、個々の時間ステップにおいて、内部メモリセルｃ_ｔ∈Ｒ^ｎを追加するＲＮＮである。ＬＳＴＭネットワークユニットは、個々の時間ステップにおいて３つの入力ｘ_ｔ、ｈ_ｔ−１、ｃ_ｔ−１をとり、時間ステップｔにおいて隠れ状態ｈ_ｔ及び内部メモリ状態ｃ_ｔを生成する。メモリセルは、３つの学習ゲート、即ち入力ｉ、忘却ｆ及び出力ｏを介して制御される。これらメモリセルは、時間に対する勾配の付加を用い、勾配爆発（gradient explosion）を最小化する。図４Ａに示された式において、Ｗｘ及びＷｈはそれぞれｘ及びｈについての学習されたパラメータであり、σ及びｔａｎｈは要素毎のシグモイド及び双曲線正接関数であり、

は要素毎の乗算演算子であり、ｂは付加されるバイアスを示す。

以上に説明されたように、幾つかの実施例においては、語レベル及び文字レベルの双方向ＬＳＴＭネットワークが、更新された語レベル及び／又は文字レベルの埋め込みに基づいて生成される。幾つかの実施例においては、語レベル及び文字レベルの双方向ＬＳＴＭネットワークは、学習コーパスの語、文字及び／又はその他の特徴に基づいて生成される（語及び／又は文字レベルの埋め込みを必要としない）。斯かる実施例においては、語レベルのシーケンス−シーケンスモデルは、多層残差型の語レベルの双方向ＬＳＴＭネットワークであり、文字レベルのシーケンス−シーケンスモデルは、多層残差型の文字レベルの双方向ＬＳＴＭネットワークである。多層残差型のＬＳＴＭネットワークは、所与のＬＳＴＭネットワークの積層した層間の残差接続及び／又はその他の情報を有する。

図４Ｂは、多層残差型の双方向ＬＳＴＭネットワークを示す。幾つかの実施例においては、モデル要素３４（図１）は、語レベル及び／又は文字レベルのＬＳＴＭネットワークが、垂直な積層を有し、ＬＳＴＭネットワークの前の層の出力が、後続する層への入力として供給されるよう構成される。幾つかの実施例においては、時間ステップｔにおいて最初の層を除く全ての層が、前の層ｈｌｔの隠れ状態から受け渡され、ここでｌは層を意味する。斯くして、層ｌについて、起動が以下のように記述される：
ｈ_ｔ ^（ｌ）＝ｆ_ｈ ^ｌ（ｈ_ｔ ^{（ｌ−１）}，ｈ_ｔ−１ ^（ｌ））
ここで隠れ状態ｈは再帰的に決定され、ｔ＝０及びｌ＝０におけるｈ_ｔ ^（ｌ）は以下により与えられる（例えば図４Ａに示される）：

幾つかの実施例においては、図４Ｂに示されるように、学習されている関数（例えば多層ＬＳＴＭネットワーク４０６及び４０８）への残差ｘ４０４の追加は、データを過剰適合することなく、より深いネットワークの学習を容易化する（図４Ｂの記載においては、以上に説明された忘却ゲート記号との混乱を避けるためＦの代わりにＨ'が用いられており、図４Ａと同様に、図４Ｂにおける「Ｘ」は入力を示す）。ＬＳＴＭネットワークの積層された各層の後に残差接続を追加する必要はないことは、留意されるべきである。例えば、４層が積層されたＬＳＴＭネットワーク（例えば文字レベル及び／又は語レベルのモデルのいずれか及び／又は両方について）においては、残差接続は点毎の追加として層２において追加されても良く、このとき入力がｈ_ｔの出力と同じ次元である必要がある。モデル要素３４（図１）は、ｈ_ｔをクリッピングしｘ_ｔ−２の次元と同じでないときにｘ_ｔ−２の次元と整合させるＬＳＴＭネットワークの最後の隠れユニット積層を容易化するよう構成される。同様の結果は、ｘをパディングし、該次元に整合させることにより得られ得る。斯くして、残差接続を持つ層について学習させられた関数Ｈ'は、以下により与えられる：
Ｈ'_ｔ ^（ｌ）＝ｆ_ｈ ^ｌ（ｈ_ｔ ^（ｌ−１），ｈ_ｔ−１ ^（ｌ））＋ｘ_ｔ−２
有利にも、残差接続の追加は、学習可能なパラメータを追加しモデルの複雑さを増大させることはない。

図１に戻ると、集合要素３６は、１つ以上の候補パラフレーズを提供するよう構成される。該１つ以上の候補パラフレーズは、自然言語入力のパラフレーズである。該候補パラフレーズは、語レベル及び文字レベルの両方の注意ベースのモデルに基づいて決定される。このようにして例えば、語レベルの注意ベースのモデルに加えて、文字レベルの注意ベースのモデルが用いられて、語レベルのモデルのみを用いる１つ以上の潜在的な欠点が克服される（例えばこれまで未知であった語の正確なパラフレーズを生成する）。これに加えて、幾つかの状況においては、パラフレーズ生成のために文字レベルのモデルのみを利用することは、定期的に不正確な文字の順序を生成し、従って普通でなく知的でない語を生成し得る。集合要素３６は、語レベルのモデル及び文字レベルのモデルの両方の強みを活用する、集合学習アーキテクチャを利用する。

集合要素３６は、語レベルのＬＳＴＭモデル及び文字レベルのＬＳＴＭモデルの両方に基づいて、複数の候補パラフレーズを決定するよう構成される。幾つかの実施例においては、語レベル及び文字レベルのモデルは、候補パラフレーズの２つ以上のセットを個別に生成しても良い。例えば、語レベル及び文字レベルの候補パラフレーズ決定は、入力層において語レベル／文字レベルの入力をとることができ、予測／出力層において語レベル／文字レベルの出力を生成することができる（あわせて候補パラフレーズの４つのセットを有する）モデルによって、生成されても良い。同様に、モデル自体を生成するための複数の手法（例えば双方向エンコーダ−エンコーダ、注意ベースのソフトサーチ、多層残差型ＬＳＴＭネットワーク等）が組み合わせられて、同じ学習コーパスから複数の学習モデルを生成しても良く、このことは候補臨床パラフレーズの複数の異なるセットに寄与し得る。

幾つかの実施例においては、該１つ以上の候補パラフレーズは、語レベル及び文字レベルの注意ベースのモデル、並びに更新された文レベルの埋め込みに基づいて決定される。幾つかの実施例においては（例えば語レベルの注意ベースモデルが多層残差型の語レベルの双方向ＬＳＴＭネットワークであり、文字レベルの注意ベースモデルが文字レベルの双方向ＬＳＴＭネットワークである場合）、該１つ以上の候補パラフレーズは、語レベル／文字レベルの埋め込みの必要なく、学習コーパスのみに基づいて決定される。

強化要素３８は、報酬関数強化学習モデルを決定及び／又は利用するよう構成される。該報酬関数強化学習モデルは、候補パラフレーズの語選択の意味的類似性及び新規性を、目標の文及び／又はその他の情報に対して比較するよう構成される。強化要素３８は、集合要素３６により決定されたとり得るパラフレーズから個々の候補パラフレーズを選択肢、報酬関数を用いて該候補パラフレーズが目標の文に対してどれだけ好適かを決定する。報酬関数は、候補パラフレーズが元の／目標の文のコンテキストにどれだけ近いかを示す。報酬関数は、有意味性、新規性及び文法性に関して２つの文の間の類似度を示すことができるいずれの意味的類似度関数により定義されても良い。個々のとり得るパラフレーズについての報酬は基本的に、文埋め込みにより担持されるコンテキスト情報に対する語の選択の比較に基づくものであっても良い。強化要素３８は、システム１０により生成されたパラフレーズが、候補パラフレーズのうちの最も高いランク（例えば該比較及び／又は「報酬」に基づく）のものとなるよう構成される。

強化要素３８は、図５に示される強化学習アーキテクチャを使用するよう構成される。図式的に示す。５に示されるように、強化学習アーキテクチャ５００においては、エージェント５０２が環境５０４と相互作用する。個々の動作５０６に応答して、環境５０４は、状態５０８と報酬５１０との対を生成し、エージェント５０２は、該状態５０８と報酬５１０との対から学習したものに基づいて、後続する動作を生成する。強化要素３８は及び集合要素３６は、候補パラフレーズの生成が「動作」５０６（例えばエージェント５０２に対応する集合要素３６により実行される動作）、及び、候補パラフレーズの語選択の意味的類似性及び新規性の、状態５０８と報酬５１０との対に対応する目標の文との比較の結果であるよう構成される。

図１に戻ると、出力要素４０は、自然言語入力のパラフレーズを出力するよう構成される。出力パラフレーズは、集合要素３６により提供された候補パラフレーズの１つであっても良い。出力パラフレーズは、強化要素３８による比較、集合要素３６により決定された１つ以上の候補パラフレーズ、語レベル及び文字レベルのモデル、及び／又はその他の情報に基づいて決定されても良い。出力要素は、ユーザインタフェース１６を介した表示のためパラフレーズを計算装置１８に出力し、電子記憶部２２に出力パラフレーズを保存し、出力パラフレーズを外部リソース２４に通信し、及び／又はその他の動作を実行しても良い。

図６は、システム１０（図１に示される）により実行される動作の一部を要約している。図６は、語レベル及び文字レベルの注意ベースモデル並びに更新された文レベルの埋め込みに基づいて、１つ以上の候補パラフレーズが決定される、システム１０の実施例により実行される動作を要約している（語レベルの注意ベースモデルが多層残差型の語レベルの双方向ＬＳＴＭネットワークであり、文字レベルの注意ベースモデルが多層残差型の文字レベルの双方向ＬＳＴＭネットワークであり、１つ以上の候補パラフレーズが、語及び／又は文字レベルの埋め込みの必要なく、学習コーパスのみに基づいて決定される実施例とは異なる）。例えば、図６に示されるように、システム１０（例えば図１に示されここで説明された学習コーパス要素３０）は、学習コーパスを取得する（６００）よう構成される。システム１０（例えば埋め込み要素３２）は、該学習コーパスを用いて、語レベル、文字レベル及び文レベルの埋め込みを決定する（６０２、６０４）よう構成される。幾つかの実施例においては、文レベル、語レベル及び文字レベルの埋め込みは、ＲＮＮ及び／又はＣＮＮを用いて決定される。システム１０は、既存の知識ベース６１０、６１２から既知である意味的関係に基づいて、語レベル、文字レベル及び文レベルの埋め込みを更新する（６０６、６０８）よう構成される。システム１０（例えばモデル要素３４）は、語レベル及び文字レベルの注意ベースのモデルを生成する（６１４）よう構成される。幾つかの実施例においては、語レベルの注意ベースのモデルは、語レベルの双方向ＬＳＴＭネットワークであり、文字レベルの注意ベースのモデルは、文字レベルの双方向ＬＳＴＭネットワークである。語レベル及び文字レベルのＬＳＴＭネットワークは、更新された語レベル及び文字レベルの埋め込み及び／又はその他の情報に基づいて生成される。システム１０（例えば集合要素３６）は、候補パラフレーズを提供する（６１６）よう構成される。図６に示された本実施例においては、システム１０（例えば集合要素３６）は、語レベル及び文字レベルの注意ベースのモデル、更新された文レベルの埋め込み、及び／又はその他の情報に基づいて、１つ以上の候補パラフレーズが決定されるよう構成される。システム１０（例えば強化要素３８及び／又は出力要素４０）は、目標の文に対する候補パラフレーズの語選択の意味的な類似性及び新規性を比較する（６２０）よう構成された報酬関数強化学習モデルを決定し（６１８）、該比較に基づいて自然言語入力６２４の候補パラフレーズを出力する（６２２）よう構成される。

図１に戻ると、電子記憶部２２は、情報を電子的に保存する電子記憶媒体を有する。電子記憶部２２の電子記憶媒体は、システム１０と一体的に（即ち略着脱不可能に）備えられたシステム記憶部、及び／又は例えばポート（例えばＵＳＢポート、firewireポート等）又はドライブ（例えばディスクドライブ等）を介してシステム１０に着脱可能に接続可能な着脱可能な記憶部の一方又は両方を有しても良い。電子記憶部２２は、（全体として又は一部が）システム１０内の別個の構成要素であっても良いし、又は、電子記憶部２２は、（全体として又は一部が）システム１０の１つ以上の他の構成要素（例えば計算装置１８、プロセッサ２０等）と一体的に備えられても良い。幾つかの実施例においては、電子記憶部２２は、プロセッサ２０とともにサーバに、外部リソース２４の一部であるサーバに、対象１２と関連する計算装置１８に、及び／又はその他の位置に、配置されていても良い。電子記憶部２２は、光学的に読み取り可能な記憶媒体（例えば光ディスク等）、磁気的に読み取り可能な記憶媒体（例えば磁気テープ、磁気ハードディスク、フロッピー（登録商標）ドライブ等）、電荷ベースの記憶媒体（例えばＥＰＲＯＭ、ＲＡＭ等）、固体記憶媒体（例えばフラッシュドライブ等）及び／又はその他の電子的に読み取り可能な記憶媒体のうちの１つ以上を有しても良い。電子記憶部２２は、ソフトウェアアルゴリズム、プロセッサ２０により決定された情報（例えば候補パラフレーズ）、計算装置１８及び／又はユーザインタフェース１６及び／又はその他の外部計算システムを介して受信された情報、外部リソース２４から受信された情報、及び／又はここで説明されたようにシステム１０が機能することを可能とするその他の情報を保存しても良い。

外部リソース２４は、情報の供給源（例えばデータベース、ウェブサイト、paraphrase.orgやSNOMED CT等のような学習コーパス源、語レベル、文字レベル及び文レベルの埋め込みを更新するため埋め込み要素３２により用いられる既存の知識ベース、等）、システム１０と共に関与する外部エンティティ（例えばシステム１０によりパラフレーズ生成され得る臨床記録を保存する医療ケア提供者の電子データベースシステム）、システム１０の外部の１つ以上のサーバ、ネットワーク（例えばインターネット）、電子記憶部、Wi-Fi（登録商標）技術に関連する装備、Bluetooth（登録商標）技術に関連する装備、データ入力装置、センサ、スキャナ、及び／又はその他のデータ源を含む。幾つかの実施例においては、ここで外部リソース２４に帰する機能の幾つか又は全てが、システム１０に含まれるリソースにより提供されても良い。外部リソース２４は、有線及び／又は無線接続を介して、ネットワーク（例えばローカルエリアネットワーク及び／又はインターネット）を介して、セルラー技術を介して、Wi-Fi（登録商標）技術を介して、及び／又はその他のリソースを介して、プロセッサ２０、計算装置１８、電子記憶部２２及び／又はその他のシステム１０の構成要素と通信するように構成されても良い。

図７は、パラフレーズ生成システムを用いてパラフレーズを生成するための方法７００を示す。該システムは、１つ以上のハードウェアプロセッサ及び／又はその他の構成要素を含む計算装置を有する。該１つ以上のハードウェアプロセッサは、機械読み取り可能な命令によりコンピュータプログラム要素を実行するよう構成される。該コンピュータプログラム要素は、学習コーパス要素、埋め込み要素、モデル要素、集合要素、強化要素、出力要素及び／又はその他の要素を含む。以下に示される方法７００の動作は、説明のためのものであることが意図されている。幾つかの実施例においては、方法７００は、記載されていない１つ以上の更なる動作を伴って実現されても良く、及び／又は、議論された動作の１つ以上を伴わずに実現されても良い。更に、図７に示され以下に説明される方法７００の動作の順序は、限定することを意図したものではない。

幾つかの実施例においては、方法７００は、１つ以上の処理装置（例えばディジタルプロセッサ、アナログプロセッサ、情報を処理するよう構成されたディジタル回路、情報を処理するよう構成されたアナログ回路、状態機械、及び／又はその他の電子的に情報を処理するための機構）に実装されても良い。該１つ以上の処理装置は、電子記憶媒体に電子的に保存された命令に応じて、方法７００の動作の幾つか又は全てを実行する１つ以上の装置を含んでも良い。該１つ以上の処理装置は、方法７００の動作の１つ以上の実行のために特に設計された、ハードウェア、ファームウェア及び／又はソフトウェアにより構成された１つ以上の装置を含んでも良い。

動作７０２において、学習コーパスが取得される。該学習コーパスは、言語、該言語のパラフレーズ、及び／又はその他の情報を有する。該言語は、著者により特定の態様（例えば医療レポート、医療記録等として）で構成された個々の文、句、語、キャラクタ（例えば文字）及び／又はその他の要素により形成される。パラフレーズは、言語（例えば医療レポート、医療記録等）に対応し、該言語により伝達される情報と同一の及び／又は類似する情報を短縮及び／又は省略された態様で伝達する、文字、語及び／又はその他の表記である。例えば、学習コーパスは、臨床言語（例えば文、句、語、文字等）及び所定の態様で臨床言語に対応する既知のパラフレーズを含んでも良い。幾つかの実施例においては、動作７０２は、学習コーパス要素３０（図１に示されここで説明されたもの）と同一又は類似するプロセッサ要素により実行される。

動作７０４において、語レベル及び文字レベルの注意ベースのモデルが生成される。幾つかの実施例においては、語レベルの注意ベースのモデルは、語レベルの双方向ＬＳＴＭネットワークであり、文字レベルの注意ベースのモデルは、文字レベルの双方向ＬＳＴＭネットワークである。語レベル及び文字レベルのＬＳＴＭネットワークは、語、文字及び／又はその他の学習コーパスの特徴に基づいて生成される。幾つかの実施例においては、語レベルの注意ベースのモデルは、積層残差型の語レベルの双方向ＬＳＴＭネットワークであり、文字レベルの注意ベースのモデルは、積層残差型の文字レベルの双方向ＬＳＴＭネットワークである。積層残差型のＬＳＴＭネットワークは、所与のＬＳＴＭネットワーク及び／又はその他の情報の積層間の残差接続を有する。

幾つかの実施例においては、動作７０４は、学習コーパスを用いて語レベル、文字レベル及び文レベルの埋め込みを決定すること、既存の知識ベースから知られた意味的関係に基づいて語レベル、文字レベル及び文レベルの埋め込みを更新すること、及び更新された語レベル及び文字レベルの埋め込みに基づいて語レベル及び文字レベルの注意ベースのモデルを生成すること、を含む。幾つかの実施例においては、文レベル、語レベル及び文字レベルの埋め込みは、ＲＮＮ及び／又はＣＮＮを用いて決定される。幾つかの実施例においては、動作７０４は、埋め込み要素３２及び／又はモデル要素３４（図１に示されここで説明されたもの）と同一又は類似するプロセッサ要素により実行される。

動作７０６において、候補パラフレーズが提供される。１つ以上の候補パラフレーズは、自然言語入力のパラフレーズである。候補パラフレーズは、語レベル及び文字レベルの注意ベースのモデルに基づいて決定される。幾つかの実施例においては、該１つ以上の候補パラフレーズは、語レベル及び文字レベルの注意ベースのモデル、並びに更新された文レベルの埋め込みに基づいて決定される。幾つかの実施例においては、該１つ以上の候補パラフレーズを提供することは、目標の文に対して候補パラフレーズの語の選択の意味的類似性及び新規性を比較するよう構成された報酬関数強化学習モデルを決定すること、及び該比較に基づいて候補パラフレーズを出力することを有する。幾つかの実施例においては、動作７０６は、集合要素３６、強化要素３８及び／又は出力要素４０（図１に示されここで説明されたもの）と同一又は類似するプロセッサ要素により実行される。

以上に示された説明は、最も実用的で好適な実施例であると現在考えられるものに基づいて説明の目的のための詳細を提供するが、斯かる詳細は単に当該目的のためのものであり、本開示は明確に示された実施例に限定されるものではなく、添付される請求項の精神及び範囲内である変更及び同等な構成をカバーすることを意図されていることは、理解されるべきである。例えば、本開示は、可能な限り、いずれかの実施例の１つ以上の特徴が、他のいずれかの実施例の１つ以上の特徴と組み合わせられ得ることも考慮していることは、理解されるべきである。

請求項において、括弧に挟まれたいずれの参照記号も、請求の範囲を限定することを意図したものではない。「有する（comprising）」又は「含む（including）」なる語は、請求項に記載されたもの以外の要素又は態様の存在を除外するものではない。幾つかの手段を列記した装置請求項において、これら手段の幾つかは同一のハードウェアのアイテムによって実施化されても良い。要素に先行する「１つの（a又はan）」なる語は、複数の斯かる要素の存在を除外するものではない。幾つかの手段を列記したいずれの装置請求項においても、これら手段の幾つかは同一のハードウェアのアイテムによって実施化されても良い。特定の要素が相互に異なる従属請求項に列挙されているという単なる事実は、これら要素が組み合わせて用いられることができないことを示すものではない。

Claims (21)

1. １つ以上のハードウェアプロセッサを有する、パラフレーズ生成システムであって、前記１つ以上のハードウェアプロセッサは、
   言語及び前記言語のパラフレーズを有する、学習コーパスを取得し、
   前記学習コーパスに基づいて、語レベルの注意ベースモデル及び文字レベルの注意ベースモデルを生成し、
   前記語レベル及び前記文字レベルの注意ベースモデルの両方に基づいて、自然言語入力の１つ以上の候補パラフレーズを提供する
   ための機械読み取り可能な命令により構成された、システム。
2. 前記１つ以上のハードウェアプロセッサは、前記語レベルの注意ベースモデルが、語レベルの双方向の長短期メモリネットワークであり、前記文字レベルの注意ベースモデルが、文字レベルの双方向の長短期メモリネットワークとなるよう構成され、前記語レベル及び文字レベルの双方向の長短期メモリネットワークは、前記学習コーパスにおける語及び文字に基づいて生成された、請求項１に記載のシステム。
3. 前記１つ以上のハードウェアプロセッサは、前記学習コーパスに基づいて文レベルの注意ベースモデルを生成するよう構成された、前記１つ以上のハードウェアプロセッサは、前記文レベル、語レベル及び文字レベルの注意ベースモデルに基づいて前記自然言語入力の１つ以上の候補パラフレーズを提供するよう構成された、請求項１に記載のシステム。
4. 前記１つ以上のハードウェアプロセッサは、前記学習コーパスを用いて、語レベル、文字レベル及び文レベルの埋め込みを決定し、既存の知識ベースから知られた意味的関係に基づいて前記語レベル、文字レベル及び文レベルの埋め込みを更新し、前記更新された語レベル及び文字レベルの埋め込みに基づいて前記語レベル及び文字レベルの注意ベースモデルを生成し、前記語レベル及び文字レベルの注意ベースモデル並びに前記更新された文レベルの埋め込みに基づいて、１つ以上の候補パラフレーズを提供するよう構成された、請求項１に記載のシステム。
5. 前記１つ以上のハードウェアプロセッサは、回帰型ニューラルネットワーク及び／又は畳み込みニューラルネットワークを用いて、前記文レベル、語レベル及び文字レベルの埋め込みを決定するよう構成された、請求項４に記載のシステム。
6. 前記１つ以上のハードウェアプロセッサは、前記１つ以上の候補パラフレーズを提供することが、候補パラフレーズの語選択の意味的類似性及び新規性を目標の文と比較するよう構成された強化学習モデルについての報酬関数を決定すること、及び前記比較に基づいて候補パラフレーズを出力することを有するよう構成された、請求項１に記載のシステム。
7. 前記１つ以上のハードウェアプロセッサは、前記語レベルの注意ベースモデルが、多層残差型の語レベルの双方向の長短期メモリネットワークであり、前記文字レベルの注意ベースモデルが、多層残差型の語レベルの双方向の長短期メモリネットワークであるよう構成され、前記多層残差型の長短期メモリネットワークは、所与の長短期メモリネットワークの積層した層間の残差接続を有する、請求項１に記載のシステム。
8. パラフレーズ生成システムを用いてパラフレーズを生成するための方法であって、前記方法は、
   言語及び前記言語のパラフレーズを有する、学習コーパスを取得するステップと、
   前記学習コーパスに基づいて、語レベルの注意ベースモデル及び文字レベルの注意ベースモデルを生成するステップと、
   前記語レベル及び前記文字レベルの注意ベースモデルの両方に基づいて、自然言語入力の１つ以上の候補パラフレーズを提供するステップと、
   を有する、方法。
9. 前記語レベルの注意ベースモデルが、語レベルの双方向の長短期メモリネットワークであり、前記文字レベルの注意ベースモデルが、文字レベルの双方向の長短期メモリネットワークであり、前記語レベル及び文字レベルの双方向の長短期メモリネットワークは、前記学習コーパスにおける語及び文字に基づいて生成された、請求項８に記載の方法。
10. 前記学習コーパスに基づいて文レベルの注意ベースモデルを生成するステップと、前記文レベル、語レベル及び文字レベルの注意ベースモデルに基づいて前記自然言語入力の１つ以上の候補パラフレーズを提供するステップと、を更に有する、請求項８に記載の方法。
11. 前記学習コーパスを用いて、語レベル、文字レベル及び文レベルの埋め込みを決定するステップと、既存の知識ベースから知られた意味的関係に基づいて前記語レベル、文字レベル及び文レベルの埋め込みを更新するステップと、前記更新された語レベル及び文字レベルの埋め込みに基づいて前記語レベル及び文字レベルの注意ベースモデルを生成するステップと、前記語レベル及び文字レベルの注意ベースモデル並びに前記更新された文レベルの埋め込みに基づいて、１つ以上の候補パラフレーズを提供するステップと、を更に有する、請求項８に記載の方法。
12. 前記文レベル、語レベル及び文字レベルの埋め込みは、回帰型ニューラルネットワーク及び／又は畳み込みニューラルネットワークを用いて決定される、請求項８に記載の方法。
13. 前記１つ以上の候補パラフレーズを提供するステップは、候補パラフレーズの語選択の意味的類似性及び新規性を目標の文と比較するよう構成された強化学習モデルについての報酬関数を決定するステップと、前記比較に基づいて候補パラフレーズを出力するステップと、を有する、請求項８に記載の方法。
14. 前記語レベルの注意ベースモデルは、多層残差型の語レベルの双方向の長短期メモリネットワークであり、前記文字レベルの注意ベースモデルは、多層残差型の語レベルの双方向の長短期メモリネットワークであり、前記多層残差型の長短期メモリネットワークは、所与の長短期メモリネットワークの積層した層間の残差接続を有する、請求項８に記載の方法。
15. パラフレーズを生成するためのシステムであって、前記システムは、
    言語及び前記言語のパラフレーズを有する、学習コーパスを取得するための手段と、
    前記学習コーパスに基づいて、語レベルの注意ベースモデル及び文字レベルの注意ベースモデルを生成するための手段と、
    前記語レベル及び前記文字レベルの注意ベースモデルの両方に基づいて、自然言語入力の１つ以上の候補パラフレーズを提供するための手段と、
    を有するシステム。
16. 前記語レベルの注意ベースモデルが、語レベルの双方向の長短期メモリネットワークであり、前記文字レベルの注意ベースモデルが、文字レベルの双方向の長短期メモリネットワークであり、前記語レベル及び文字レベルの双方向の長短期メモリネットワークは、前記学習コーパスにおける語及び文字に基づいて生成された、請求項１５に記載のシステム。
17. 前記学習コーパスに基づいて文レベルの注意ベースモデルを生成するための手段と、前記文レベル、語レベル及び文字レベルの注意ベースモデルに基づいて前記自然言語入力の１つ以上の候補パラフレーズを提供するための手段と、を更に有する、請求項１５に記載のシステム。
18. 前記学習コーパスを用いて、語レベル、文字レベル及び文レベルの埋め込みを決定するための手段と、既存の知識ベースから知られた意味的関係に基づいて前記語レベル、文字レベル及び文レベルの埋め込みを更新するための手段と、前記更新された語レベル及び文字レベルの埋め込みに基づいて前記語レベル及び文字レベルの注意ベースモデルを生成するための手段と、前記語レベル及び文字レベルの注意ベースモデル並びに前記更新された文レベルの埋め込みに基づいて、１つ以上の候補パラフレーズを提供するための手段と、を更に有する、請求項１５に記載のシステム。
19. 前記文レベル、語レベル及び文字レベルの埋め込みは、回帰型ニューラルネットワーク及び／又は畳み込みニューラルネットワークを用いて決定される、請求項１８に記載のシステム。
20. 前記１つ以上の候補パラフレーズを提供することは、候補パラフレーズの語選択の意味的類似性及び新規性を目標の文と比較するよう構成された強化学習モデルについての報酬関数を決定すること、及び前記比較に基づいて候補パラフレーズを出力することを有する、請求項１５に記載のシステム。
21. 前記語レベルの注意ベースモデルは、多層残差型の語レベルの双方向の長短期メモリネットワークであり、前記文字レベルの注意ベースモデルは、多層残差型の語レベルの双方向の長短期メモリネットワークであり、前記多層残差型の長短期メモリネットワークは、所与の長短期メモリネットワークの積層した層間の残差接続を有する、請求項１５に記載のシステム。

Images