JP2020064621A - 敵対的生成ネットワークを用いるユーザフレンドリな説明生成 - Google Patents

Abstract

【課題】敵対的生成ネットワークを用いて、ユーザフレンドリな説明を生成する方法を提供する。【解決手段】敵対的ネットワークを用いたテキストの生成方法は、実パラメータ及び実センテンスを有するリアルデータを含む限定的データセットを受信し、リアルデータの一部に関するコンセプトを含む又はリアルデータの問題を生じるコンテンツデータを受信し、リアルデータとコンテンツデータとの間の関係を生成し、コンテンツベクトル埋め込みを含むエンコーダ出力において、コンテンツデータをリアルデータに埋め込み、追加パラメータ及び１つ以上の追加ステートメントを含む、リアルデータに対する補足であり、モデルの表現力を向上する追加パラメータセットを生成し、追加パラメータセット及び関係に基づき、説明ステートメントを生成する。【選択図】図８Ａ

Description

［関連出願の参照］
本願は、米国仮特許出願番号６２／７４７,０１０、２０１８年１０月１７日出願、に基づく優先権及び利益を主張する。該米国仮特許出願は参照されることによりその全体が本願明細書に組み込まれる。さらに、本願は、共に係属中の出願である名称「Explanations Generation With Different Cognitive Values Using Generative Adversarial Networks」、シリアル番号「＿＿＿＿」、２０１９年２月１８日にPouya Pezeshkpour、Ramya Malur Shrinivasan、及びAjay Chanderによる出願に関連する。該出願は参照によりその全体が組み込まれる。

［技術分野］
ここに議論する実施形態は、敵対的生成ネットワークを用いるユーザフレンドリな説明生成に関する。

人工知能（Artificial intelligence：AI）モジュールは、複雑なシステムにおいて決定を行うために実装されてよい。これらの複雑なシステムの内部動作又は該システムにより決定が行われるパラメータに馴染みのない人々のような素人ユーザは、ＡＩモジュールの出力を理解しないことがある。例えば、融資アプリケーションシステムは、融資アプリケーションを処理するためにＡＩを実装していることがある。融資アプリケーションに関する決定は、ＡＩモジュールにより決定され得る。しかしながら、ＡＩモジュールを実装する現在のシステムは決定の説明を提供せず、又は提供される説明は、複雑であり、決定の理解可能な説明を提供できない。

幾つかのＡＩモジュールは、出力される決定に関する幾らかの詳細を提供することがある。これらの詳細は、しかしながら、概して、ユーザに見えるようになる最終段階コード又は擬似コードに関する。これらの詳細は、素人ユーザにとって分かり易い理解可能な説明を提供しない。さらに、詳細は、決定の正当化のような単一の目的を有することがある。

さらに、ＡＩモジュールの実装は、通常、膨大なデータセットに依存する。膨大なデータセットは、パラメータ及びシステムの出力を示す何十万又は数百万ものデータを含み得る。膨大なデータセットは、ＡＩモジュールで使用される機械学習アルゴリズムをトレーニングし及びテストするために使用される。したがって、データセットが限られている分野で、効率的且つ機能的なＡＩモジュールを生成することは困難であり又は不可能である。

本願明細書で請求される主題は、任意の欠点を解決する実施形態や上述のような環境でのみ機能する実施形態に限定されない。むしろ、この背景技術は、単に、本願明細書に記載される複数の実施形態が実施される技術分野の一例を説明するために提供される。

実施形態の態様によると、敵対的ネットワークを用いてテキストを生成する方法は、実パラメータ及び実センテンスを有するリアルデータを含む限定的データセットを受信するステップを含み得る。方法は、リアルデータの一部に関するコンセプトを含む又はリアルデータの問題を生じるコンテンツデータを受信するステップを含み得る。方法は、リアルデータとコンテンツデータとの間の関係を生成するステップを含み得る。方法は、コンテンツベクトル埋め込みを含むエンコーダ出力において、コンテンツデータをリアルデータに埋め込むステップを含み得る。方法は、追加パラメータ及び１つ以上の追加ステートメントを含む追加パラメータセットを生成するステップを含み得る。追加パラメータセットは、リアルデータに対する補足であり、モデルの表現力を向上するよう構成されてよい。方法は、追加パラメータセット及びエンコーダにより生成された関係に基づき、説明ステートメントを生成するステップを含み得る。

実施形態の目的及び利点が理解され、少なくとも特に特許請求の範囲で指摘された要素、特徴及び組合せを用いて達成されるだろう。上述の全体的説明及び以下の詳細な説明の両方は、例示及び説明のためであり、本発明の範囲を限定しないことが理解される。

例示的な実施形態は、添付の図面を用いて、更なる特異性及び詳細事項と共に記載され説明される。

例示的な処理出力を示す。

例示的な動作環境のブロック図を示す。

図２の動作環境内に実装され得る人工知能（ＡＩ）モジュールの例示的な実施形態を示す。

図３のＡＩモジュール内に実装され得る複数レベル調整サブシステムを示す。

図３のＡＩモジュール内に実装され得る単一レベル調整サブシステムを示す。

図３のＡＩモジュール内に実装され得る例示的なノイズモジュールを示す。

図３のＡＩモジュール内に実装され得る例示的な損失モジュール動作を示す。

テキスト生成のために構成される例示的なコンピューティングシステムのブロック図である。

テキスト生成の例示的な方法のフローチャートである。 テキスト生成の例示的な方法のフローチャートである。

図３のＡＩモジュールにより利用され得る限定的データセットの例示的な部分を示す。

図３のＡＩモジュールにより生成され得る幾つかの例示的なステートメントを有するテーブルを示す。

全ての図は本願明細書に記載の少なくとも１つの実施形態に従う。

金融機関のような産業は、ビジネスプロセスを革新的に自動化するために人工知能（artificial intelligence：AI）を開発し採用し始めている。例えば、ＡＩは、顧客の振る舞いを予測するため、不正検出のためにアイデンティティを検証するため、及び顧客の問い合わせに答えるよう構成され得る知的チャットボットに用いられる。さらに、ＡＩは、Ｆｉｎｔｅｃｈアプリケーション（例えば、技術に基づくバンキングアプリケーション及び技術に基づく金融サービスアプリケーション）の中で利用され得る。

従来のＡＩシステムは、回答又は決定が説明無しに及び根拠無しに顧客に提供される「ブラックボックス技術」を生じ得る。幾つかのシステムでは、平文の回答又は単一語の決定が顧客に返されることがある。しかしながら、ブラックボックス技術は、特定のアプリケーションに適さない。例えば、ヘルスケアアプリケーション、裁判アプリケーション、及び幾つかの金融アプリケーションでは、ブラックボックス技術は適切でないことがある。特に、上述及び他のアプリケーションでは、顧客は、完全な回答を要求することがあり、上述又は他のアプリケーションとインタフェースしている顧客は、決定に伴う何からの追加根拠、説明、助言、等から利益を得ることがある。

例えば、Scalable Bayesian Rules Lists及びLIME出力は、何からの最終段階処理を特定決定と共にユーザに提供してよい。処理出力１００の一例は図１に提供される。例示的な処理出力１００は、主として、ルール及びＡＩ処理で使用される擬似コードに関連する。処理出力１００は、したがって、決定の理由を正しく説明しない。さらに、処理出力１００は、代替決定に達するようユーザがＡＩモジュールを助けるために取り入れ得る治癒ステップを解決しない。

さらに、ＡＩ決定に理由を提供する幾つかの現在のシステムは、ＡＩモデルをトレーニングするために大量のデータセットを利用する。大量のデータセットは、例えば数百万又は十数百万ものデータを含み得る。大量のデータセットは、生成し及びアクセスするのに高コストである。さらに、ＡＩモデルをトレーニングするために使用される大量のデータセットは、素人又はその他の場合には経験の浅いユーザに必ずしも理解可能ではない機能を含み得る。例えば、融資アプリケーションＡＩシステムは、複雑なパラメータである、外部リスク推定、合計分割リボルビング負担、等を決定の基礎としてよい。素人ユーザは、ＡＩシステムのデータセット内に現れない特徴を含む説明を好む場合がある。ＡＩトレーニングデータのパラメータを素人ユーザにより理解可能な説明の特徴に変換することは困難であり得る。例えば、融資アプリケーションシステムの素人ユーザは、職歴、経歴のチェック、信用スコア、等に関連する説明に敏感であり、合計分割リボルビング負担等には敏感でないことがある。しかしながら、ＡＩモデルをトレーニングして人間中心の説明を生成するために、機械学習アルゴリズムが実装されてよい。機械学習アルゴリズムの実装の前に、大量のデータセットが手動で注釈を付されることがある。人間中心の説明を生成するために大量のデータセットに手動で注釈を付けることは、困難であり高コストであり得る。

したがって、本開示の幾つかの実施形態は、限定的データセットからテキストを生成する方法に関する。テキストは、テキストが幅広いコンテンツデータ及び特定コンテンツデータにより生成され得る制御可能な方法で生成され得る。さらに、結果として生じるテキストは、音声に変換されてよく、それによりチャットボットのようなアプリケーションをエンドユーザにレンダリングする。

本開示に記載の実施形態は、ＡＩモジュールに存在する現在の技術的制限及びＡＩモジュール内で機械学習アルゴリズムをトレーニングし及びテストするために実装されるデータセットの生成をブリッジし及び解決する。特に、本開示に記載の実施形態は、１つ以上のユーザフレンドリな説明を提供するテキストを効果的に生成することにより、研究と実用との間の技術的ギャップを解決する。このテキストは、説明を求めるより広範なユーザコミュニティの必要に応じることができ、異なる目的を提供し得る複数の説明を提供できる。

幾つかの実施形態では、データセットは小さくてよい。本開示で使用されるように、小さいは、ＡＩモジュールの特定決定出力のために提供される約１００個のユニークな理由を有する約２０００（例えば、約２４００）個のセンテンス／使用例を示すために使用される。実施形態は、事実上約２０００個のセンテンス／使用例及び事実上約１００個のユニークな理由を有する環境で利用されてよい。例えば、センテンス／使用例の数は、約１０００、３０００、４０００、５０００、１００００、２００００、又は別の適切な数であってよい。さらに、ユニークな理由の数は、４０、５０、８０、１２０、１４０、３００、５００、又は別の適切な数のユニークな理由であってよい。

幾つかの実施形態では、ノイズ入力はモデル化されてよい。例えば、ノイズ入力は、ガウス分布（Gaussians）の混合（mixture）を用いてモデル化されてよい。条件付き情報は、１つ以上の異なる埋め込みプロセスを用いて組み込まれてよい。複数の埋め込み処理は、ＡＩモデルのどの部分が条件付き情報を供給されるべきかを決定するのを助け得る。さらに、階層構造条件付き情報（一般及び特定コンテンツを通じて）は、データの希薄さを解決するために及び制御されたテキスト生成のために使用されてよい。用語及び意味の正確さは、ラベラ（labeler）及びアンチラベラ（anti−labeler）損失関数の使用を通じて向上され得る。センテンスは、次に、用語及び意味に基づき生成されてよい。

これらの及び他の実施形態は、添付の図面を参照して本願明細書で説明される。図中、共通の参照符号を有するコンポーネント及び特徴は、特に断りの無い限り、同様の機能及び構造を有する。

図２は、本開示に記載の少なくとも１つの実施形態により配置される例示的な動作環境２００のブロック図を示す。動作環境２００は、エンドユーザ２１４と人工知能（ＡＩ）システム２１２との間の相互作用又はインタフェースのために構成されてよい。相互作用は、通信ネットワーク２０８を介するエンドユーザ２１４への情報の通信を含んでよい。ＡＩシステム２１２は、限定的データセットに基づく相互作用又はインタフェースに関連するステートメントを生成し通信するよう構成されてよい。ステートメントはユーザフレンドリであってよい。例えば、ステートメントは、素人ユーザ又は経験の浅い人物がステートメントを理解できるように生成されてよい。

ＡＩシステム２１２は、ＡＩモジュール２１０を含んでよい。ＡＩモジュール２１０は、本開示の他の場所に記載される１つ以上の敵対的ネットワークを生成する又は含むよう構成されてよい。特に、ＡＩモジュール２１０は、ユーザフレンドリなステートメントを生成するために実装され得る敵対的生成ネットワーク（generative adversarial network：GAN）を含んでよい。

ＡＩモジュール２１０は、ＡＩシステム内の技術的問題に対する技術的向上を表す。例えば、現在のＡＩシステムでは、ユーザフレンドリなステートメントを生成するためにモデルをトレーニングすることは、手動注釈を有する大量のデータセットを必要とする。大量データセットの手動注釈は高コストである。ＡＩモジュール２１０は限定的データセットを利用する。特に、以下の更に記載されるように、ＡＩモジュール２１０は、限定的データセットを補足するために、追加パラメータセットを生成するよう構成される。追加パラメータセットは、ステートメントの表現力を向上する。追加パラメータセットは、ガウス分布の混合を用いて生成されてよい。さらに、ステートメントを向上するために、ラベラ損失関数及びアンチラベラ損失関数（集合的に「損失関数」）は、ＡＩモジュール２１０により実装されてよい。本開示に記載のＧＡＮのうちの１つ以上では、損失関数は生成されたステートメントに対して適用されてよい。

動作環境２００の幾つかの例は、ＩＴヘルプデスク（例えば、ソフトウェアアップデート、パッチ、等）、企業アプリケーション（例えば、雇用決定、生産性評価、リソース割り当て、等）、金融決定システム（例えば、融資拒否、信用スコア評価、利率評価、等）、又は別の適切なアプリケーション又はシステムを含んでよく又はその中に実装されてよい。

動作環境２００は、ＡＩシステム２１２、エンドユーザ装置２０４、ＡＩモジュール２１０、ＡＩ問い合わせモジュール２０２、及びエンドユーザ２１４を含んでよく、これらのうちの何らかの部分は、通信ネットワーク２０８を介して情報及びデータを通信してよい。動作環境２００のコンポーネントの各々は、以下に簡単に記載される。

通信ネットワーク２０８は、動作環境２００のコンポーネントのうちの任意のものの間での信号の通信のために構成されてよい。通信ネットワーク２０８は、有線又は無線であってよい。通信ネットワーク２０８は、スター構成、トークンリング構成若しくは別の適切な構成を含む多数の構成を有してよい。さらに、通信ネットワーク２０８は、ＬＡＮ（local area network）、ＷＡＮ（wide area network）（例えば、インターネット）、及び／又は複数の装置が通信できる他の相互接続されたデータ経路を含み得る。幾つかの実施形態では、通信ネットワーク２０８は、ピアツーピアネットワークを有してよい。通信ネットワーク２０８は、種々の異なる通信プロトコルでデータ通信を可能にする電気通信ネットワークに結合され又はその部分を含んでよい。

エンドユーザ装置２０４及び／又はＡＩシステム２１２は、ハードウェアに基づくコンピューティングシステムを含んでよい。エンドユーザ装置２０４及び／又はＡＩシステム２１２は、動作環境２００の他のコンポーネントと通信ネットワーク２０８を介して通信するよう構成されてよい。エンドユーザ装置２０４は、エンドユーザ２１４がＡＩシステム２１２とエンドユーザ装置２０４を用いてインタフェースすることを可能にするＡＩ問い合わせモジュール２０２を含んでよい。ＡＩシステム２１２は、エンドユーザ装置２０４から問い合わせを受信し、それに基づき説明及びステートメントを生成し、並びにエンドユーザ装置２０４へ通信ネットワーク２０８を介して説明を通信するよう構成されてよいＡＩモジュール２１０を含んでよい。

本開示を通じて記載されるＡＩモジュール２１０、ＡＩ問い合わせモジュール２０２、及びそれらの１つ以上のコンポーネント若しくはモジュールは、（例えば、１つ以上の動作を実行する又はその実行を制御するために）プロセッサ、マイクロプロセッサ、ＦＰＧＡ（field−programmable gate array）又はＡＳＩＣ（specific integrated circuit）を含むハードウェアを用いて実装されてよい。幾つかの他の例では、ＡＩモジュール２１０、ＡＩ問い合わせモジュール２０２、及びそれらの１つ以上のコンポーネント又はモジュールは、ハードウェア及びソフトウェアの組み合わせを用いて実装されてよい。ソフトウェアでの実装は、コンピューティングシステム（例えば、ＡＩシステム２１２又はエンドユーザ装置２０４）のハードウェアに含まれ得るような１つ以上のトランジスタ又はトランジスタ要素の迅速な起動及び停止を含み得る。追加で、ソフトウェア定義命令は、トランジスタ要素の中の情報に対して作用してよい。ソフトウェア命令の実装は、電子経路を少なくとも一時的に再構成し、コンピューティングハードウェアを変換してよい。

幾つかの実施形態では、ＡＩモジュール２１０は、後述する第１敵対的ネットワークのような敵対的ネットワークを用いてテキストを生成するよう構成されてよい。ＡＩモジュール２１０は、限定的データセットをデータセットソース２０６から通信ネットワーク２０８を介して受信してよい。データセットソース２０６は、公衆データベース、又は限定的データセットを蓄積し生成するシステムを含んでよい。限定的データセットは、実パラメータ及び実センテンスを有するリアルデータを含んでよい。ＡＩモジュール２１０は、リアルデータの一部に関するコンセプトを含む又はリアルデータの問題を生じるコンテンツデータも受信してよい。ＡＩモジュール２１０は、リアルデータとコンテンツデータとの間の関係を生成してよい。ＡＩモジュール２１０は、コンテンツベクトル埋め込みを含むエンコーダ出力において、コンテンツデータをリアルデータに埋め込んでよい。ＡＩモジュール２１０は、追加パラメータ及び１つ以上の追加ステートメントを含む追加パラメータセットを生成してよい。追加パラメータセットは、リアルデータに対する補足であり、モデルの表現力を向上するよう構成されてよい。ＡＩモジュール２１０は、１つ以上の説明のユーザフレンドリなステートメントを、追加パラメータセット及び関係に基づき生成してよい。ＡＩモジュール２１０は、生成したステートメントを音声出力に変換してよい。ＡＩモジュール２１０は、次に、ネットワークに基づく相互作用の間に、音声出力をエンドユーザ２１４に伝達してよい。

本開示の範囲から逸脱することなく動作環境２００に対し変更、追加又は省略が行われてよい。例えば、動作環境２００は、１つ以上のユーザ２０４、１つ以上のエンドユーザ２１４、１つ以上の通信ネットワーク２０８、１つ以上のＡＩシステム２１２、又はそれらの任意の組合せを含んでよい。さらに、本願明細書に記載の実施形態の中の種々のコンポーネント及びサーバの分割は、分割が全ての実施形態において生じることを意味しない。例えば、ＡＩモジュール２１０は、エンドユーザ装置２０４にローカルに実装されてよく、及び／又はＡＩ問い合わせモジュール２０２は、ＡＩモジュール２１０又は敵対的生成ネットワークの機能の一部を実装してよい。さらに、本開示の利益により、記載のコンポーネント及びサーバが単一のコンポーネント又はサーバに統合され又は複数のコンポーネント又はサーバに分割されてよいことが理解される。

図３は、本開示の少なくとも一実施形態によるＡＩモジュール２１０の例示的な実施形態を示す。図３のＡＩモジュール２１０は、敵対的生成ネットワーク（generative adversarial network：GAN）３０１を含む。ＧＡＮ３０１は、限定的データセット３０３からのテキスト生成のために構成されてよい。限定的データセット３０３は、限られたトレーニングデータを含んでよい。ＧＡＮ３０１により生成されたテキストは、ユーザフレンドリな説明を含んでよい。

限定的データセット３０３は、リアルデータ３００を含んでよい。リアルデータ３００は、ＡＩモジュール２１０においてデータソースから通信ネットワークを介して受信されてよい。例えば、リアルデータ３００は、データセットソース２０６から通信ネットワーク２０８を介して受信されてよい。リアルデータ３００は、例えばアプリケーションの使用又は実装を通じて収集されたデータセットを含んでよい。

リアルデータ３００は、エンコーダ３１８及びラベラ損失モジュール３１０（図中、ラベラ損失３１０）に伝達されてよい。図３の指示子「Ｘ」は、リアルデータ３００又はその何らかの部分を表し、ＧＡＮ３０１の他の部分に伝達される。リアルデータ３００又は３３０により表されるその何らかの部分は、エンコーダ３１８への入力であってよい。さらに、リアルデータ３００又は３３４により表されるその何らかの部分は、ラベラ損失モジュール３１０への入力であってよい。幾つかの実施形態では、リアルデータ３００は、識別器（discriminator）３２２への入力であってもよい。

リアルデータ３００は、センテンス、記述、使用例、理由、又はそれらの何らかの組み合わせを含んでよく、手動で編集され注釈を付されてよい。例えば、例示的な実施形態では、リアルデータ３００は、ＡＭＴ（Amazon Mechanical Turk）作業員のような作業員グループにより収集されてよい。ＡＭＴ作業員は、融資拒否の理由を強調したテキスト記述を提供した。この例示的な実施形態では、記述は、構文及び意味の正確さのために編集された。さらに、言語学者が、対応する幅広い及び特定の理由を有する記述に注釈を提供した。この例示的な実施形態では、リアルデータ３００は、融資拒否の対応する理由を有する２４３２個のセンテンスの監督付き（curated）データセットを含む。

図９を参照すると、限定的データセット３０３の例示的な部分９００が示される。部分９００は、記述９０６に関連する幅広い理由９０２及び特定理由９０４を含む。幅広い理由９０２及び特定理由９０４は、言語学者のような専門家により注釈を付されてよい。部分９００は、融資拒否の理由を強調したテキスト記述９０６も含む。記述９０６は、構文及び／又は意味の正確さのために手動で編集されてよい。各記述の注釈は、対応する幅広い及び特定理由を有する。

図３に戻ると、限定的データセット３０３は、コンテンツデータ３０２も含んでよい。コンテンツデータ３０２は、リアルデータ３００の一部に関する又はリアルデータ３００の問題を生じるコンセプトを含んでよい。幾つかの実施形態では、コンテンツデータ３０２は、リアルデータ３００の中で見付かった問題に関連付けられる又はその原因であると分かった汎用的又は幅広い概念を含んでよい。例えば、コンテンツデータ３０２は、「信用」又は「収入」のような、融資申請が拒否される理由を含んでよい。

コンテンツデータ３０２は、ＧＡＮ３０１を通じて通信されてよい。例えば、コンテンツデータ３０２は、エンコーダ３１８への入力であってよい。エンコーダ３１８は、リアルデータ３００とコンテンツデータ３０２との間の１つ以上の関係を生成するよう構成されてよい。さらに、コンテンツデータ３０２は、デコーダ３２０及び識別器３２２へ通信されてよい。図３では、「Ｃ」はコンテンツデータ３０２又はその何らかの部分を表す。例えば、コンテンツデータ３０２又は図３で３４４により表されるその何らかの部分は、エンコーダ３１８へ通信されてよい。さらに、コンテンツデータ３０２又はその何らかの部分は、デコーダ３２０に通信されてよく、識別器３２２は図３で３４６により表される。

幾つかの実施形態では、リアルデータ３００は、融資拒否の幅広い根拠及び特定根拠のような幅広い及び特定条件を含んでよい。幅広い及び特定条件も、エンコーダ３１８への入力であるコンテンツデータ３０２に含まれてよい。エンコーダ３１８は、コンテンツデータ３０２をリアルデータ３００に埋め込むよう構成されてよい。

さらに、ＧＡＮ３０１は、２レベルの条件付き情報を組み込むよう構成されてよい。例えば、ＧＡＮ３０１は、２レベルの条件付き情報を、リアルデータ３００に階層的に組み込んでよい。上述及び他の実施形態で、エンコーダ３１８は、コンテンツデータ３０２をリアルデータ３００に複数（例えば２）レベル調整により埋め込んでよい。例えば、上述の例では、監督付き（curated）データセットは、「返済」、「信用（クレジット）履歴」、又は「信用」のような、距離の幅広い根拠を含んでよい。監督付きデータセットは、「未払いの高いリスク」、「信用履歴無し」、又は「悪い信用」のような、特定根拠を更に含んでよい。幅広い及び特定理由は、コンテンツデータ３０２、及びリアルデータ３００に埋め込まれるべきエンコーダ３１８への入力に含まれてよい。エンコーダ３１８は、階層的に（例えば、幅広い及び特定）コンテンツをリアルデータ３００に埋め込んでよい。他の実施形態で、エンコーダ３１８は、コンテンツデータ３０２をリアルデータ３００に単一レベル調整により埋め込んでよい。

例えば、図４Ａ及び４Ｂを参照すると、図３のエンコーダ３１８の例示的な実施形態が示される。図４Ａで、エンコーダ３１８は、複数レベル調整サブシステム４００Ａに含まれる。図４Ａで、エンコーダ３１８は、複数レベルの調整サブシステム４００Ａに含まれる。図４Ａを参照すると、エンコーダ３１８は、入力として幅広いコンテンツデータ４０２及び特定コンテンツデータ４０４を受信してよい。幅広いコンテンツデータ４０２（図４Ａでは「幅広いコンテンツ（Broad Content）」）及び特定コンテンツデータ４０４（図４Ａでは「特定コンテンツ（Specific Content）」）は、図３の限定的データセット３０３に含まれ又はその一部であってよい。

図４Ａのエンコーダ３１８は、線形レイヤ４０６を出力してよい。線形レイヤ４０６は、連結モジュール４０８に通信されてよい。連結モジュール４０８は、幅広いコンテンツデータ４０２を特定コンテンツデータ４０４と連結してよい。連結モジュール４０８は、幅広いコンテンツデータ４０２及び特定コンテンツデータ４０４に基づきベクトルを出力してよい。例えば、ベクトルは、特定コンテンツデータ４０２と連結された幅広いコンテンツデータ４０２を含んでよい。例えば、連結モジュール４０８は、幅広い及び特定コンテンツベクトル埋め込み４１０を出力してよい。図４Ａで、連結モジュール４０８は、エンコーダ３１８と別個である。他の実施形態では、連結モジュール４０８は、エンコーダ３１８に含まれる。上述及び他の実施形態では、エンコーダ３１８は、幅広いコンテンツデータ４０２を特定コンテンツデータ４０４と連結してよい。

図４Ｂを参照すると、単一レベル調整サブシステム４００Ｂは、幅広いコンテンツデータ４１２（図４Ｂで、「幅広いコンテンツ（broad content）」）を含む。幅広いコンテンツデータ４１２は、エンコーダ３１８へ入力されてよい。エンコーダ３１８は、幅広いコンテンツデータ４１２に基づくベクトルを出力してよい。例えば、エンコーダ３１８は、幅広いコンテンツベクトル埋め込み４１６を出力してよい。

図３に戻ると、ＧＡＮ３０１は、表現力を向上するよう構成されてよい。例えば、ＧＡＮ３０１は、ノイズモデル３０４の使用を通じて表現力を向上してよい。ノイズモデル３０４は、限定的データセット３０３を補足し得る追加パラメータセットを含み得るノイズ入力をモデル化し又は生成してよい。図３で、追加パラメータセット及びノイズ入力は「Ｚ」３３２により表される。ノイズ入力３３２は、ガウス分布（Gaussians）の混合（mixture）としてモデル化されてよい。

図５を参照すると、ノイズモデル３０４の例示的な実施形態の詳細図が示される。ノイズモデル３０４は、Swaminathan Gurumurthy、Ravi Kiran Sarvadevabhatla、及びR Venkatesh Babuにより開発された多様且つ限定的ＧＡＮ（Diverse and Limited GAN、DeLiGANと呼ばれる）に基づく。Deligan:Generative Adversarial Networks For Diverse And Limited Data、CVPR、pp.４９４１−４９４９、２０１７は、参照により全体がここに組み込まれる。

図５のノイズモデル３０４は、本開示の他の場所に記載の生成器３１６及び識別器３２２と共に示される。ノイズモデル３０４は、追加パラメータセット５３６（図５では「パラメータセット５３６」）を生成するよう構成されてよい。パラメータセット５３６は、１つ以上の追加パラメータ及び１つ以上の追加ステートメントを含んでよい。追加パラメータセット５３６は、図３のリアルデータ３００を補足するよう構成され、表現力を向上するよう構成される。例えば、上述のように、リアルデータ３００は限定的データセットに基づいてよい。限定的データセットは、約２０００個のセンテンス／使用例及び約１００個のユニークな理由を含んでよい。限定的データセットは、図３のＧＡＮ３０１のようなＧＡＮをモデル化し及びトレーニングするのに不十分であり得る。したがって、パラメータセット５３６は、センテンス／使用例の数、及び／又はユニークな理由の数を増加してよい。

ノイズモデル３０４は、ガウス分布セット５１４に含まれるガウス分布５０２、５０４、５０６、及び５０８の混合を実施してよい。ガウス分布セット５１４は、単純な潜在的分布５１０により実装されてよい。潜在的空間は、ガウス分布セット５１４を用いて再パラメータ化される。ガウス分布セット５１４のうちの１つは、パラメータセット５３６を生成するためにランダムに選択される。図５で、第３ガウス分布５０６が選択される。ガウス分布５０２、５０４、５０６、及び５０８では、ｚは、ランダムに選択された特定ガウス分布、上述のGurumurthyで記載されたパラメータσ及びμに基づく確定関数を表す。変数ｋ及びｎは指標変数（indexing variable）である。

幾つかの実施形態では、ノイズモデル３０４は、ガウス分布セット５１４をバイパスしてよい。例えば、図５で、パラメータセット５３６は、単純な潜在的分布５１０に基づき生成されてよい。この動作は破線５１２により示される。

図３に戻ると、生成器３１６は、ステートメントを生成するためにエンコーダ３１８からの出力と共にノイズモデル３０４の追加パラメータセット５３６を使用してよい。エンコーダ３１８からの出力は、コンテンツデータ３０２を含んでよい。ステートメントは、ユーザフレンドリな説明であってよいセンテンスに組み込まれてよい。ステートメントは、図３で「３３６」及び「３３８」とラベル付けされる「Ｇ（Ｚ，Ｃ）」として図に示される。パラメータ「Ｇ」は、ノイズモデル３０４及びコンテンツデータ３０２又は３４４からの追加パラメータセットの関数を示す。ステートメントは、識別器３２２、ラベラ損失モジュール３１０、及びアンチラベラ損失モジュール３１２、及びテキスト音声生成器３２８へ通信されてよい。

図１０を参照すると、幾つかの例示的なステートメント１００２を有するテーブル１０００が示される。テーブル１０００は、アーキテクチャ１００４に基づくステートメント１００２に対する差を含む。アーキテクチャが複雑さを増すにつれ、ステートメント１００２は変化する。特に、生成されたステートメント１００２の数は、文法的に及び意味的に一層正しくなり得る。

図３に戻ると、ＧＡＮ３０１内の識別器３２２は、生成器３１６が正確な合成データを生成していることの何からの保証を提供するよう構成されてよい。識別器３２２は、生成器３１６から出力されたステートメントが「良い」又は「悪い」ことの信号を生成器３１６へ与えてよい。例えば、識別器３２２は、バイナリ信号を生成器３１６へフィードバックとして出力してよい。フィードバックに基づき、生成器３１６は、時間の経過に渡り、進化し、より良くなってよい。まとめると、識別器３２２は、生成器３１６から出力されたステートメントが良い又は悪いかの信号を生成器３１６に示すよう構成されてよい。

図３の識別器３２２は、ステートメントのうちの１つが本物であることの確率３２１を生成してよい。例えば、図３で、「Ｐ」は確率の略である。Ｐ（ｒｅａｌ）は、ステートメントが「実データ」に対応するか否かの確率を示す。生成器３１６へのフィードバックは、確率３２１に基づいてよい。

ＧＡＮ３０１では、エンコーダ／デコーダは、生成器モデルの一種であり、時には自動エンコーダと呼ばれる。一般に、ＧＡＮ３０１では、デコーダ３２０は、エンコーダ３１８からの埋め込みデータを受信する。デコーダ３２０は、次に、エンコーダ３１８により実行される埋め込み処理を逆行する処理を実行してよい。デコーダ３２０は、図３で「Ｘ^〜」により表される逆埋め込み処理の出力３２４を生成する。エンコーダ３１８の埋め込み処理が適切に動作している場合、デコーダ３２０の出力３２４は、リアルデータ３００／３３０に一致する又はそれに近くなり得る。デコーダ３２０の出力３２４とリアルデータ３００／３３０との間の不一致に応答して、エンコーダ３１８の動作は変更されてよい。

幾つかの実施形態では、エンコーダ３１８、デコーダ３２０、生成器３１６、及び識別器３２２は、敵対正規化自動エンコーダＧＡＮ（adversarially regularized autoencoder GAN：ARAEGAN）アーキテクチャと整合してよい。ＡＲＡＥＧＡＮアーキテクチャの幾つかの追加の詳細は、「Adversarially Regularized Autoencoders for Generating Discrete Structures」、Junbo et.al., ICML PMLR ２０１８から分かり、該文献は参照により全体がここに組み込まれる。

ＧＡＮ３０１は、２（以上の）損失関数を組み込んでよい。損失関数は、ＧＡＮ３０１にラベラ損失モジュール３１０及びアンチラベラモジュール３１２（集合的に損失モジュール３１０／３１２）として含まれる。損失モジュール３１０／３１２は、ステートメント３３６の条件付き提示を向上してよい。例えば、損失モジュール３１０／３１２は、生成器３１６及びリアルデータ３３４により出力されるステートメント３３６を評価するよう構成されてよい。概して、ラベラ損失モジュール３１０は、ステートメント３３６の良好な部分又は例を増加させるよう構成されてよく、アンチラベラ損失モジュール３１２は、ステートメント３３６の粗悪な部分又は例を減少させるよう構成されてよい。

図６を参照すると、損失モジュール動作６００が示される。損失モジュール動作６００は、ラベル推定６２６及び６２８を生成するよう構成されてよい。損失モジュール動作６００では、生成器３１６は、ステートメント３３６をアンチラベラ損失モジュール３１２へ及びラベラ損失モジュール３１０へ出力してよい。リアルデータ３３４の少なくとも一部も、ラベラ損失モジュール３１０に入力されてよい。ラベラ損失モジュール３１０は、図３の限定的データセット３０３に基づき理由の推定を提供する。アンチラベラ損失モジュール３１２は、生成器３１６により生成されたステートメント３３６の中の理由の推定を提供する。ラベル推定６２６及び６２８は、ステートメントの又はそれと共に含まれる推定された理由を表す。ラベル推定６２６及び６２８は、生成器３１６により出力されるステートメントを向上し又は変更するよう構成されてよい。アンチラベラ損失モジュール３１２及びラベラ損失モジュール３１０の幾つかの追加の詳細は、Murat Kocaoglu et al. Causalgan: Leaning Causal Implicit Generative Models with Adversarial Training. arXiv preprint arXiv:１７０９.０２０２３, ２０１７から分かり、該文献は参照により全体がここに組み込まれる。

テキスト音声生成器３２８は、生成器３１６により出力されるステートメント３３８を受信してよい。テキスト音声生成器３２８は、ステートメント３３８に基づき及びそれを代表して音声信号を生成するよう構成されてよい。テキスト音声生成器３２８は、エンドユーザに話し掛けるチャットボットを生成するために使用されてよい。例えば、図２及び３を参照する。音声信号は、エンドユーザ装置２０４へ通信ネットワーク２０８を介して通信されてよい。

図７は、本開示の少なくとも一実施形態によるテキスト生成のために構成された例示的なコンピューティングシステム７００を示す。コンピューティングシステム７００は、例えば図２の動作環境２００において実装されてよい。コンピューティングシステム７００の例は、ユーザ装置２０４又はＡＩシステム２１２を含み得る。コンピューティングシステム７００は、１つ以上のプロセッサ７１０、メモリ７１２、通信ユニット７１４、ユーザインタフェース装置７１６、データ記憶装置７０４を含んでよい。データ記憶装置７０４は、ＡＩモジュール２１０及びＡＩ問い合わせモジュール２０２（集合的に、モジュール２１０／２０２）を含む。

プロセッサ７１０は、任意の適切な特定用途向け又は汎用コンピュータ、コンピューティングエンティティ、又は種々のコンピュータハードウェア若しくはソフトウェアモジュールを有してよく、任意の適切なコンピュータ可読記録媒体に格納された命令を実行するよう構成されてよい。例えば、プロセッサ７１０は、マイクロプロセッサ、マイクロコントローラ、デジタシグナルプロセッサ（ＤＳＰ）、ＡＳＩＣ、ＦＰＧＡ又はプログラム命令を解釈し及び／若しくは実行し並びに／又はデータを処理するよう構成された任意の他のデジタル若しくはアナログ回路を有してよい。

図７には単一のプロセッサを示したが、プロセッサ７１０は、より一般的には、本開示で説明される任意の数の工程を個々に又は共同で実行するよう構成される任意の数のプロセッサを有してよい。さらに、プロセッサ７１０のうちの１つ以上は、１つ以上の異なる電子装置又はコンピューティングシステムに存在してよい。幾つかの実施形態では、プロセッサ７１０は、プログラム命令を解釈し及び／又は実行し、及び／又はメモリ７１２、データ記憶装置７０４又はメモリ７１２及びデータ記憶装置７０４に格納されたデータを処理してよい。幾つかの実施形態では、プロセッサ７１０は、データ記憶装置７０４からプログラム命令をフェッチし、該プログラム命令をメモリ７１２にロードしてよい。プログラム命令がメモリ７１２にロードされた後、プロセッサ７１０は該プログラム命令を実行してよい。

メモリ７１２及びデータ記憶装置７０４は、コンピュータ実行可能命令又はデータ構造を伝える又は格納しているコンピュータ可読記憶媒体を含み得る。例として且つ限定ではなく、このようなコンピュータ可読記憶媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、ＣＤ−ＲＯＭ又は他の光ディスク記憶装置、磁気ディスク記憶装置又は他の磁気記憶装置、フラッシュメモリ装置（例えば、固体メモリ素子）を含む有形又は非一時的コンピュータ可読記憶媒体、又はコンピュータにより実行可能な命令若しくはデータ構造の形式で所望のプログラムコードを伝える若しくは格納するために用いられ汎用若しくは特定目的コンピュータによりアクセス可能な任意の他の記憶媒体を有し得る。上述の組合せも、コンピュータ可読記憶媒体の範囲に包含され得る。コンピュータ実行可能命令は、例えば、プロセッサ７１０に特定の工程又は工程のグループを実行させるよう構成される命令及びデータを含み得る。

通信ユニット７１４は、通信を受信し及び送信するよう構成されるハードウェアの１つ以上のピースを有してよい。幾つかの実施形態では、通信ユニット７１４は、通信ハードウェア装置の中でも特に、アンテナ、有線ポート、変調／復調ハードウェア、のうちの１つ以上を有してよい。特に、通信ユニット７１４は、コンピューティングシステム７００の外部から通信を受信するよう、及び該通信をプロセッサ７１０に提示し又はプロセッサ７１０からの通信を別の装置若しくはネットワーク（例えば、図２の２０８）に送信するよう、構成されてよい。

ユーザインタフェース装置７１６は、ユーザからの入力を受信し及び／又はユーザに出力を提供するよう構成されるハードウェアの１つ以上のピースを有してよい。幾つかの実施形態では、ユーザインタフェース装置７１６は、ハードウェア装置の中でも特に、スピーカ、マイクロフォン、ディスプレイ、キーボード、タッチスクリーン、ホログラフィックプロジェクション、のうちの１又は複数を有してよい。

モジュール２１０／２０２は、データ記憶装置７０４に格納されたプログラム命令を有してよい。プロセッサ７１０は、モジュール２１０／２０２をメモリ７１２にロードし、モジュール２１０／２０２を実行するよう構成されてよい。代替として、プロセッサ７１０は、メモリ７１２にロードしないで、データ記憶装置７０４からモジュール２１０／２０２を１行毎に実行してよい。モジュール２１０／２０２を実行するとき、プロセッサ７１０は、本開示の他の場所に記載したように、参加認証処理を実行するよう構成されてよい。

本開示の範囲から逸脱することなくコンピューティングシステム７００に対し変更、追加又は省略が行われてよい。例えば、幾つかの実施形態では、コンピューティングシステム７００は、ユーザインタフェース装置７１６を有しなくてよい。幾つかの実施形態では、コンピューティングシステム７００の異なるコンポーネントは、物理的に別個であってよく、任意の適切なメカニズムにより通信可能に結合されてよい。例えば、データ記憶装置７０４は、記憶装置に通信可能に結合されるプロセッサ７１０とメモリ７１２と通信ユニット７１４とを含む、サーバから分離した、該記憶装置の部分であってよい。本願明細書に記載した実施形態は、以下に更に詳細に議論するように、種々のコンピュータハードウェア又はソフトウェアモジュールを備えた特定用途又は汎用コンピュータの使用を含み得る。

図８Ａ及び８Ｂは、本開示に記載の少なくとも一実施形態による、敵対的ネットワークを用いてテキストを生成する例示的な方法８００のフローチャートである。方法８００は、図２の動作環境２００のような動作環境で実行されてよい。方法８００は、図２を参照して記載されたＡＩシステム２１２により幾つかの実施形態においてプログラム制御されて実行されてよい。幾つかの実施形態では、ＡＩシステム２１２又は別のコンピューティングシステムは、コンピューティングシステム及び／又は適ＡＩシステム２１２に方法８００を実行させる又は実行を制御させる（図７のプロセッサ７１０のような）１つ以上のプロセッサにより実行可能なプログラムコード又は命令を格納している非一時的コンピュータ可読媒体（例えば、図７のメモリ７１２）を有してよく又はそれに通信可能に結合されてよい。追加又は代替で、ＡＩシステム２１２は、ＡＩシステム２１２又は別のコンピューティングシステムに方法８００を実行させる又は実行を制御させるコンピュータ命令を実行するよう構成される、本開示の他の場所に記載されるプロセッサ７１０を有してよい。別個のブロックとして示したが、所望の実装に依存して、図８Ａ及び８Ｂの種々のブロックは、更なるブロックに分割され、少ないブロックに結合され、又は除去されてよい。

ブロック８０２で、限定的データセットが受信されてよい。限定的データセットはエンコーダにおいて受信されてよい。限定的データセットは、１つ以上の実パラメータ及び１つ以上の実センテンスを有するリアルデータを含んでよい。例えば、限定的データセットは、特定決定出力のために提供される約１００個より少ないユニークな理由を有する約２０００個のセンテンス／ユーザケースを含んでよい。幾つかの実施形態では、特定決定出力は融資申請に関する結果を記述する。ブロック８０４で、コンテンツデータが受信されてよい。コンテンツデータは、幾つかの実施形態ではエンコーダにより受信されてよい。コンテンツデータは、リアルデータ一部に関する又はリアルデータの問題を生じるコンセプトを含んでよい。ブロック８０６で、リアルデータとコンテンツデータとの間の１つ以上の関係が生成されてよい。関係は、幾つかの実施形態ではエンコーダにより生成されてよい。

ブロック８０８で、コンテンツデータは、リアルデータに埋め込まれてよい。コンテンツデータは、幾つかの実施形態ではエンコーダによりリアルデータに埋め込まれてよい。コンテンツデータは、エンコーダ出力においてリアルデータに埋め込まれてよい。エンコーダ出力はコンテンツベクトル埋め込みを含んでよい。幾つかの実施形態では、コンテンツデータは、単一レベルの調整でリアルデータに埋め込まれる。他の実施形態では、コンテンツデータは、２以上のレベルの条件付き情報でリアルデータに埋め込まれる。上述及び他の実施形態では、コンテンツデータは、幅広い根拠及び特定根拠を含む階層的方法で埋め込まれる。さらに、上述の実施形態では、コンテンツベクトル埋め込みは、特定根拠に連結された幅広い根拠を含んでよい。

ブロック８１０で、追加パラメータセットが生成されてよい。追加パラメータセットは、１つ以上の追加パラメータ及び１つ以上の追加ステートメントを含んでよい。追加パラメータセットは、リアルデータを補足してよい。さらに、追加パラメータセットは、モデルの表現力を向上するよう構成されてよい。幾つかの実施形態では、追加パラメータセットを生成することは、ガウス分布の混合としてノイズ入力をモデル化することを含む。

ブロック８１２で、説明ステートメントが生成されてよい。説明ステートメントは、幾つかの実施形態では追加パラメータセット及び関係に基づき生成されてよい。ブロック８１４で、ラベラ損失関数及びアンチラベラ損失関数を生成されたステートメントに適用して、生成されたステートメントの意味及び構文の正確さを向上する。ブロック８１６で、生成されたステートメントは音声出力に変換されてよい。ブロック８１８で、音声出力は、ネットワークに基づくアプリケーション相互作用の間に、ユーザに伝達されてよい。ブロック８２０で、生成されたステートメントが評価されてよい。例えば、生成されたステートメントは、リアルデータと追加パラメータセットとの間の比較に基づき評価されてよい。幾つかの実施形態では、生成されたステートメントの評価は、生成されたステートメントを向上し又は変更し得る、生成器により使用されるバイナリ信号の合成データ出力を生成することを含んでよい。ブロック８２２で、エンコーダ出力からデコーダ出力を生成する。ブロック８２４で、デコーダ出力とリアルデータとの間に不一致があるか否かが決定されてよい。デコーダ出力とリアルデータとの間に不一致があることに応答して（ブロック８２４で「ＹＥＳ」）、方法８００は、ブロック８２６に進んでよい。ブロック８２６で、エンコーダの動作は変更されてよい。デコーダ出力とリアルデータとの間に不一致がないことに応答して（ブロック８２４で「ＮＯ」）、方法８００はブロック８２８に進んでよく、そこで方法８００は終了してよい。ブロック８２４から、方法８００は、上述の１つ以上のブロック（例えば、８０６、８０８、８１０、８１２、等）を通じて進んでよい。

当業者は、上述の及び本願明細書に開示した他の手順及び方法について、処理及び方法において実行される機能が異なる順序で実施されてよいことを理解するだろう。さらに、概略のステップ及び動作は、単に例として提供され、幾つかのステップ及び動作は、開示の実施形態から逸脱することなく、任意であり、より少ないステップ及び動作に組み合わされ、又は追加ステップ及び動作に拡張されてよい。

本願明細書に記載した実施形態は、以下に更に詳細に議論するように、種々のコンピュータハードウェア又はソフトウェアモジュールを備えた特定用途又は汎用コンピュータの使用を含み得る。

本願明細書に記載した実施形態は、コンピュータにより実行可能な命令又はデータ構造を伝える又は格納しているコンピュータ可読媒体を用いて実施され得る。このようなコンピュータ可読媒体は、汎用又は特定目的コンピュータによりアクセスできる利用可能な媒体であり得る。例として且つ限定ではなく、このようなコンピュータ可読媒体は、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read−Only Memory）、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read−Only Memory）、ＣＤ−ＲＯＭ（Compact Disc Read−Only Memory）又は他の光ディスク記憶装置、磁気ディスク記憶装置又は他の磁気記憶装置、フラッシュメモリ装置（例えば、固体メモリ素子）を含む非一時的コンピュータ可読記憶媒体、又はコンピュータにより実行可能な命令若しくはデータ構造の形式で所望のプログラムコード手段を伝える若しくは格納するために用いられ汎用若しくは特定目的コンピュータによりアクセス可能な任意の他の記憶媒体を有し得る。上述の組合せも、コンピュータ可読媒体の範囲に包含され得る。

コンピュータにより実行可能な命令は、例えば、汎用コンピュータ、特定目的コンピュータ又は特定目的処理装置（例えば、１又は複数のプロセッサ）に特定の機能又は機能グループを実行させる命令及びデータを有してよい。本発明の主題は構造的特徴及び／又は方法論的動作に特有の言葉で記載されたが、本発明の主題は、特許請求の範囲に定められる上述の特定の特徴又は動作に限定されないことが理解されるべきである。むしろ、上述の特定の特徴及び動作は、特許請求の範囲の実施の例示的形態として開示されたものである。

本願明細書で用いられるように、用語「モジュール」又は「コンポーネント」は、モジュール若しくはコンポーネントの動作を実行するよう構成される特定ハードウェア実装、及び／又はコンピューティングシステムの汎用ハードウェア（例えばコンピュータ可読媒体、処理装置、等）に格納され及び／又はそれらにより実行され得るソフトウェアオブジェクト若しくはソフトウェアルーチンを表してよい。幾つかの実施形態では、本願明細書に記載されたのと異なるコンポーネント、モジュール、エンジン及びサービスは、（例えば、別個のスレッドとして）コンピューティングシステムで実行されるオブジェクト又は処理として実施されてよい。本願明細書に記載のシステム及び方法の幾つかは概して（汎用ハードウェアに格納される及び／又はそれにより実行される）ソフトウェアで実装されるように記載されたが、専用ハードウェアの実装又はソフトウェアと専用ハードウェアの組み合わせの実装も可能であり考えられる。この説明では、「コンピュータエンティティ」は、本願明細書で先に定められたようにコンピューティングシステム、又はコンピューティングシステムで実行されるモジュール若しくはモジュールの組合せであってよい。

本願明細書に記載された全ての例及び条件文は、教育上の目的で、読者が本発明の原理及び発明者により考案された概念を理解するのを助け、技術を促進させるためであり、これらの特に記載された例及び条件に限定されないものと考えられるべきである。本発明の実施形態が詳細に記載されたが、種々の変更、置換及び修正が本発明の精神及び範囲から逸脱することなく行われうることが理解されるべきである。

以上の実施形態に加えて、さらに以下の付記を開示する。
（付記１） 敵対的ネットワークを用いてテキストを生成する方法であって、前記方法は、
１つ以上の実パラメータ及び１つ以上の実センテンスを有するリアルデータを含む限定的データセットを受信するステップと、
前記リアルデータの一部に関連するコンセプトを含む又は前記リアルデータの問題を生じるコンテンツデータを更に受信するステップと、
前記リアルデータと前記コンテンツデータとの間の１つ以上の関係を生成するステップと、
コンテンツベクトル埋め込みを含むエンコーダ出力において、前記コンテンツデータを前記リアルデータに埋め込むステップと、
１つ以上の追加パラメータ及び１つ以上の追加ステートメントを含む追加パラメータセットを生成するステップであって、前記追加パラメータセットは、前記リアルデータに対する補足であり、モデルの表現力を向上するよう構成される、ステップと、
前記追加パラメータセット及び前記関係に基づき、説明ステートメントを生成するステップと、
を含む方法。
（付記２） 前記追加パラメータセットを生成する前記ステップは、ガウス分布の混合としてノイズ入力をモデル化するステップを含む、付記１に記載の方法。
（付記３） リアルデータと前記生成されたステートメントとの間の比較に基づき前記生成されたステートメントを評価するステップ、を更に含み、前記生成されたステートメントを評価する前記ステップは、生成器により前記生成されたステートメントを変更するために使用されるバイナリ信号の合成データ出力を生成するステップを含む、付記１に記載の方法。
（付記４） ラベラ損失関数及びアンチラベラ損失関数を前記生成されたステートメントに適用して、前記生成されたステートメントの意味及び構文の正確さを変更するステップ、を更に含む付記１に記載の方法。
（付記５） 前記コンテンツデータは、単一レベルの調整で前記リアルデータに埋め込まれる、付記１に記載の方法。
（付記６） 前記コンテンツデータは、２以上のレベルの条件付き情報の中で前記リアルデータに埋め込まれ、
前記コンテンツデータは、幅広い根拠及び特定根拠を含む階層方式で埋め込まれ、
前記コンテンツベクトルは、前記特定根拠に連結された前記幅広い根拠を埋め込む、
付記１に記載の方法。
（付記７） 前記エンコーダ出力からデコーダ出力を生成するステップと、
前記デコーダ出力と前記リアルデータとの間の不一致に応答して、エンコーダの動作を変更するステップと、
を更に含む付記１に記載の方法。
（付記８） 前記限定的データセットは、特定決定出力のために提供される約１００個より少ないユニークな理由を有する約２０００個のセンテンス／ユーザケースを含む、付記１に記載の方法。
（付記９） 前記特定決定出力は、
融資アプリケーションに関する結果、
情報技術ヘルプデスクに関する説明、
企業アプリケーションに関する説明、又は、
財務決定に関する説明、
を記述する、付記８に記載の方法。
（付記１０） 前記生成されたステートメントを音声出力に変換するステップと、
ネットワークに基づくアプリケーション相互作用の間に前記音声出力をユーザに伝達するステップと、
を更に含む付記１に記載の方法。
（付記１１） 敵対的生成ネットワーク（ＧＡＮ）であって、
エンコーダであって、
リアルデータ及びコンテンツデータを有する限定的データセットを受信し、前記リアルデータは１つ以上の実パラメータ及び１つ以上の実センテンスを有し、前記コンテンツデータは前記リアルデータの一部に関連するコンセプトを含み又は前記リアルデータの問題を生じ、
前記リアルデータと前記コンテンツデータとの間の１つ以上の関係を生成し、
コンテンツベクトル埋め込みを含むエンコーダ出力において、前記コンテンツデータを前記リアルデータに埋め込む、よう構成されるエンコーダと、
１つ以上の追加パラメータ及び１つ以上の追加ステートメントを含む追加パラメータセットを生成するよう構成されるノイズモデルであって、前記追加パラメータセットは前記リアルデータに対する補足であり、モデルの表現力を向上するよう構成される、ノイズモデルと、
前記追加パラメータセット及び前記エンコーダにより生成された前記関係に基づき、１つ以上の説明ステートメントを生成するよう構成される生成器と、
を含むＧＡＮ。
（付記１２）
前記追加パラメータセットを生成することは、ガウス分布の混合としてノイズ入力をモデル化することを含む、付記１１に記載のＧＡＮ。
（付記１３） 識別器であって、
リアルデータと前記追加パラメータセットとの間の比較に基づき前記生成されたステートメントを評価し、
生成されたステートメントを変更するために前記生成器により使用されるバイナリ信号の合成データ出力を生成する、
よう構成される識別器を更に含む、付記１１に記載のＧＡＮ。
（付記１４） 前記生成されたステートメントの意味及び構文の正確さを変更するよう構成されるラベラ損失モジュール及びアンチラベラ損失モジュール、を更に含む付記１１に記載のＧＡＮ。
（付記１５） 前記コンテンツデータは、単一レベルの調整で前記リアルデータに埋め込まれる、付記１１に記載のＧＡＮ。
（付記１６） 前記コンテンツデータは、２以上のレベルの条件付き情報の中で前記リアルデータに埋め込まれ、
前記コンテンツデータは、幅広い根拠及び特定根拠を含む階層方式で埋め込まれ、
前記コンテンツベクトルは、前記特定根拠に連結された前記幅広い根拠を埋め込む、
付記１１に記載のＧＡＮ。
（付記１７） デコーダであって、
前記エンコーダ出力からデコーダ出力を生成し、
前記デコーダ出力と前記リアルデータとの間の不一致に応答して、前記エンコーダの動作を変更する、
よう構成されるデコーダ、を更に含む付記１１に記載のＧＡＮ。
（付記１８） 前記限定的データセットは、特定決定出力のために提供される約１００個より少ないユニークな理由を有する約２０００個のセンテンス／ユーザケースを含む、付記１１に記載のＧＡＮ。
（付記１９） 前記特定決定出力は、
融資アプリケーションに関する結果、
情報技術ヘルプデスクに関する説明、
企業アプリケーションに関する説明、又は、
財務決定に関する説明、
を記述する、付記１８に記載のＧＡＮ。
（付記２０） テキスト音声生成器であって、
前記生成されたステートメントを音声出力に変換し、
ネットワークに基づくアプリケーション相互作用の間に前記音声出力をユーザに伝達する、
よう構成されるテキスト音声生成器、を更に含む付記１１に記載のＧＡＮ。

２１０ ＡＩモジュール
３００ リアルデータ
３０２ コンテンツデータ
３０３ 限定的データセット
３０４ ノイズモデル
３１０ ラベラ損失
３１２ アンチラベラ損失
３１６ 生成器
３１８ エンコーダ
３２０ デコーダ
３２２ 識別器
３２８ テキスト音声生成器

Claims (20)

1. 敵対的ネットワークを用いてテキストを生成する方法であって、前記方法は、
   １つ以上の実パラメータ及び１つ以上の実センテンスを有するリアルデータを含む限定的データセットを受信するステップと、
   前記リアルデータの一部に関連するコンセプトを含む又は前記リアルデータの問題を生じるコンテンツデータを更に受信するステップと、
   前記リアルデータと前記コンテンツデータとの間の１つ以上の関係を生成するステップと、
   コンテンツベクトル埋め込みを含むエンコーダ出力において、前記コンテンツデータを前記リアルデータに埋め込むステップと、
   １つ以上の追加パラメータ及び１つ以上の追加ステートメントを含む追加パラメータセットを生成するステップであって、前記追加パラメータセットは、前記リアルデータに対する補足であり、モデルの表現力を向上するよう構成される、ステップと、
   前記追加パラメータセット及び前記関係に基づき、説明ステートメントを生成するステップと、
   を含む方法。
2. 前記追加パラメータセットを生成する前記ステップは、ガウス分布の混合としてノイズ入力をモデル化するステップを含む、請求項１に記載の方法。
3. リアルデータと前記生成されたステートメントとの間の比較に基づき前記生成されたステートメントを評価するステップ、を更に含み、前記生成されたステートメントを評価する前記ステップは、生成器により前記生成されたステートメントを変更するために使用されるバイナリ信号の合成データ出力を生成するステップを含む、請求項１に記載の方法。
4. ラベラ損失関数及びアンチラベラ損失関数を前記生成されたステートメントに適用して、前記生成されたステートメントの意味及び構文の正確さを変更するステップ、を更に含む請求項１に記載の方法。
5. 前記コンテンツデータは、単一レベルの調整で前記リアルデータに埋め込まれる、請求項１に記載の方法。
6. 前記コンテンツデータは、２以上のレベルの条件付き情報の中で前記リアルデータに埋め込まれ、
   前記コンテンツデータは、幅広い根拠及び特定根拠を含む階層方式で埋め込まれ、
   前記コンテンツベクトルは、前記特定根拠に連結された前記幅広い根拠を埋め込む、
   請求項１に記載の方法。
7. 前記エンコーダ出力からデコーダ出力を生成するステップと、
   前記デコーダ出力と前記リアルデータとの間の不一致に応答して、エンコーダの動作を変更するステップと、
   を更に含む請求項１に記載の方法。
8. 前記限定的データセットは、特定決定出力のために提供される約１００個より少ないユニークな理由を有する約２０００個のセンテンス／ユーザケースを含む、請求項１に記載の方法。
9. 前記特定決定出力は、
   融資アプリケーションに関する結果、
   情報技術ヘルプデスクに関する説明、
   企業アプリケーションに関する説明、又は、
   財務決定に関する説明、
   を記述する、請求項８に記載の方法。
10. 前記生成されたステートメントを音声出力に変換するステップと、
    ネットワークに基づくアプリケーション相互作用の間に前記音声出力をユーザに伝達するステップと、
    を更に含む請求項１に記載の方法。
11. 敵対的生成ネットワーク（ＧＡＮ）であって、
    エンコーダであって、
    リアルデータ及びコンテンツデータを有する限定的データセットを受信し、前記リアルデータは１つ以上の実パラメータ及び１つ以上の実センテンスを有し、前記コンテンツデータは前記リアルデータの一部に関連するコンセプトを含み又は前記リアルデータの問題を生じ、
    前記リアルデータと前記コンテンツデータとの間の１つ以上の関係を生成し、
    コンテンツベクトル埋め込みを含むエンコーダ出力において、前記コンテンツデータを前記リアルデータに埋め込む、よう構成されるエンコーダと、
    １つ以上の追加パラメータ及び１つ以上の追加ステートメントを含む追加パラメータセットを生成するよう構成されるノイズモデルであって、前記追加パラメータセットは前記リアルデータに対する補足であり、モデルの表現力を向上するよう構成される、ノイズモデルと、
    前記追加パラメータセット及び前記エンコーダにより生成された前記関係に基づき、１つ以上の説明ステートメントを生成するよう構成される生成器と、
    を含むＧＡＮ。
12. 前記追加パラメータセットを生成することは、ガウス分布の混合としてノイズ入力をモデル化することを含む、請求項１１に記載のＧＡＮ。
13. 識別器であって、
    リアルデータと前記追加パラメータセットとの間の比較に基づき前記生成されたステートメントを評価し、
    生成されたステートメントを変更するために前記生成器により使用されるバイナリ信号の合成データ出力を生成する、
    よう構成される識別器を更に含む、請求項１１に記載のＧＡＮ。
14. 前記生成されたステートメントの意味及び構文の正確さを変更するよう構成されるラベラ損失モジュール及びアンチラベラ損失モジュール、を更に含む請求項１１に記載のＧＡＮ。
15. 前記コンテンツデータは、単一レベルの調整で前記リアルデータに埋め込まれる、請求項１１に記載のＧＡＮ。
16. 前記コンテンツデータは、２以上のレベルの条件付き情報の中で前記リアルデータに埋め込まれ、
    前記コンテンツデータは、幅広い根拠及び特定根拠を含む階層方式で埋め込まれ、
    前記コンテンツベクトルは、前記特定根拠に連結された前記幅広い根拠を埋め込む、
    請求項１１に記載のＧＡＮ。
17. デコーダであって、
    前記エンコーダ出力からデコーダ出力を生成し、
    前記デコーダ出力と前記リアルデータとの間の不一致に応答して、前記エンコーダの動作を変更する、
    よう構成されるデコーダ、を更に含む請求項１１に記載のＧＡＮ。
18. 前記限定的データセットは、特定決定出力のために提供される約１００個より少ないユニークな理由を有する約２０００個のセンテンス／ユーザケースを含む、請求項１１に記載のＧＡＮ。
19. 前記特定決定出力は、
    融資アプリケーションに関する結果、
    情報技術ヘルプデスクに関する説明、
    企業アプリケーションに関する説明、又は、
    財務決定に関する説明、
    を記述する、請求項１８に記載のＧＡＮ。
20. テキスト音声生成器であって、
    前記生成されたステートメントを音声出力に変換し、
    ネットワークに基づくアプリケーション相互作用の間に前記音声出力をユーザに伝達する、
    よう構成されるテキスト音声生成器、を更に含む請求項１１に記載のＧＡＮ。

Images