JP2020064622A - 敵対的生成ネットワークを用いる異なる認知値により説明生成 - Google Patents

敵対的生成ネットワークを用いる異なる認知値により説明生成 Download PDF

Info

Publication number
JP2020064622A
JP2020064622A JP2019174283A JP2019174283A JP2020064622A JP 2020064622 A JP2020064622 A JP 2020064622A JP 2019174283 A JP2019174283 A JP 2019174283A JP 2019174283 A JP2019174283 A JP 2019174283A JP 2020064622 A JP2020064622 A JP 2020064622A
Authority
JP
Japan
Prior art keywords
real data
output
cognitive
decoder
value type
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2019174283A
Other languages
English (en)
Inventor
ペゾシュクポール・ポーヤ
Pezeshkpour Pouya
マルアー スリニバサン・ラムヤ
Malur Srinivasan Ramya
マルアー スリニバサン・ラムヤ
チャンダー・アジャイ
Ajay Chander
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Publication of JP2020064622A publication Critical patent/JP2020064622A/ja
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/55—Rule-based translation
    • G06F40/56—Natural language generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2431—Multiple classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G06N5/045—Explanation of inference; Explainable artificial intelligence [XAI]; Interpretable artificial intelligence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G10L13/08—Text analysis or generation of parameters for speech synthesis out of text, e.g. grapheme to phoneme translation, prosody generation or stress or intonation determination
    • G10L13/10—Prosody rules derived from text; Stress or intonation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Algebra (AREA)
  • Mathematical Optimization (AREA)
  • Human Computer Interaction (AREA)
  • Computational Mathematics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Machine Translation (AREA)

Abstract

【課題】 敵対的生成ネットワーク（ＧＡＮ）を用いて関連目的を有するテキストを生成する方法を提供する。【解決手段】 当該方法は、関連認知値型（types）を有するリアルデータを含む限定的データセットを受信するステップを含む。方法は、損失関数をリアルデータの部分に適用するステップを含む。リアルデータの部分は、それぞれ、型のうちの１つを有すると識別される。損失関数は、部分の対応する型との整合を保証する。方法は、リアルデータを、認知値型の埋め込みベクトルを含むエンコーダ出力に埋め込むステップを含む。方法は、リアルデータに対する補足であり、モデルの表現力を向上するよう構成される追加パラメータセットを生成するステップを含む。方法は、追加パラメータセット及びエンコーダ出力に基づき、ステートメントを生成するステップを含む。ステートメントは、認知値型のうちの１つのスタイルを含み、ＧＡＮにより解決される共通課題に関連する。【選択図】 図３

Description

［関連出願の参照］
本願は、米国仮特許出願番号６２／７４７,０１０、２０１８年１０月１７日出願、に基づく優先権及び利益を主張する。該米国仮特許出願は参照されることによりその全体が本願明細書に組み込まれる。さらに、本願は、共に係属中の出願である名称「User−Friendly Explanation Production Using Generative Adversarial Networks」、シリアル番号「＿＿＿＿」、２０１９年２月１８日にPouya Pezeshkpour、Ramya Malur Shrinivasan、及びAjay Chanderによる出願に関連する。該出願は参照によりその全体が組み込まれる。
［技術分野］
ここに議論する実施形態は、敵対的生成ネットワークを用いる異なる認知値による説明生成に関する。
人工知能（Artificial intelligence：AI）モジュールは、複雑なシステムにおいて決定を行うために実装されてよい。これらの複雑なシステムの内部動作又は該システムにより決定が行われるパラメータに馴染みのない人々のような素人ユーザは、ＡＩモジュールの出力を理解しないことがある。例えば、融資アプリケーションシステムは、融資アプリケーションを処理するためにＡＩを実装していることがある。融資アプリケーションに関する決定は、ＡＩモジュールにより決定され得る。しかしながら、ＡＩモジュールを実装する現在のシステムは決定の説明を提供せず、又は提供される説明は、複雑であり、決定の理解可能な説明を提供できない。
幾つかのＡＩモジュールは、出力される決定に関する幾らかの詳細を提供することがある。これらの詳細は、しかしながら、概して、ユーザに見えるようになる最終段階コード又は擬似コードに関する。これらの詳細は、素人ユーザにとって分かり易い理解可能な説明を提供しない。さらに、詳細は、決定の正当化のような単一の目的を有することがある。
さらに、ＡＩモジュールは、通常、膨大なデータセットに依存する。膨大なデータセットは、パラメータ及びシステムの出力を示す何十万又は数百万ものデータを含み得る。膨大なデータセットは、ＡＩモジュールで使用される機械学習アルゴリズムをトレーニングし及びテストするために使用される。したがって、データセットが限られている分野で、効率的且つ機能的なＡＩモジュールを生成することは困難であり又は不可能である。
本願明細書で請求される主題は、任意の欠点を解決する実施形態や上述のような環境でのみ機能する実施形態に限定されない。むしろ、この背景技術は、単に、本願明細書に記載される複数の実施形態が実施される技術分野の一例を説明するために提供される。
実施形態の態様によると、敵対的ネットワーク（ＧＡＮ）を用いて２以上の関連目的を有するテキストを生成する方法は、２以上の認知値型を有するリアルデータを含む限定的データセットを受信するステップを含み得る。２以上の認知値型は互いに関連してよい。方法は、第１損失関数をリアルデータの第１部分に適用するステップを含み得る。リアルデータの第１部分は、２以上の認知値型のうちの第１認知値型を有すると識別されてよい。第１損失関数は、リアルデータの第１部分の第１認知値型との整合を保証するよう構成されてよい。方法は、第２損失関数をリアルデータの第２部分に適用するステップを含み得る。第２部分は、２以上の認知値型のうちの第２認知値型を有すると識別されてよい。第２損失関数は、リアルデータの第２部分の第２認知値型との整合を保証するよう構成されてよい。方法は、リアルデータをエンコーダ出力に埋め込むステップを含み得る。エンコーダ出力は、２以上の認知値型の各々の埋め込みベクトルを含んでよい。方法は、追加パラメータセットを生成するステップを含み得る。追加パラメータセットは、リアルデータに対する補足であり、モデルの表現力を向上するよう構成されてよい。方法は、追加パラメータセット及びエンコーダ出力に基づき、２以上のステートメントを生成するステップを含み得る。２以上のステートメントの各々は、２以上の認知値型のうちの１つのスタイルを有してよい。２以上のステートメントは、ＧＡＮにより解決（address）される共通課題に関連してよい。方法は、２以上の生成されたステートメントを音声出力に変換するステップを含み得る。方法は、ネットワークに基づくアプリケーション相互作用の間に、音声出力をユーザに伝達するステップを含み得る。
実施形態の目的及び利点が理解され、少なくとも特に特許請求の範囲で指摘された要素、特徴及び組合せを用いて達成されるだろう。上述の全体的説明及び以下の詳細な説明の両方は、例示及び説明のためであり、本発明の範囲を限定しないことが理解される。
例示的な実施形態は、添付の図面を用いて、更なる特異性及び詳細事項と共に記載され説明される。
例示的な処理出力を示す。
例示的な動作環境のブロック図を示す。
図２の動作環境内に実装され得る人工知能（ＡＩ）モジュールの例示的な実施形態を示す。
図３のＡＩモジュールにより実行され得る例示的なエンコーダ出力評価処理を示す。
図３のＡＩモジュール内に実装され得る例示的なノイズモジュールを示す。
図３のＡＩモジュール内に実装され得る単一レベル調整サブシステムを示す。
２以上の目的を有するテキストの生成のために構成される例示的なコンピューティングシステムのブロック図である。
２以上の目的を有するテキストの生成の例示的な方法のフローチャートである。 ２以上の目的を有するテキストの生成の例示的な方法のフローチャートである。
例示的なエンコーダ出力評価方法のフローチャートである。 例示的なエンコーダ出力評価方法のフローチャートである。
図３のＡＩモジュールにより生成され得る幾つかの例示的なステートメントを有するテーブルを示す。
全ての図は本願明細書に記載の少なくとも１つの実施形態に従う。
金融機関のような産業は、ビジネスプロセスを革新的に自動化するために人工知能（artificial intelligence：AI）を開発し採用し始めている。例えば、ＡＩは、顧客の振る舞いを予測するため、不正検出のためにアイデンティティを検証するため、及び顧客の問い合わせに答えるよう構成され得る知的チャットボットに用いられる。さらに、ＡＩは、Ｆｉｎｔｅｃｈアプリケーション（例えば、技術に基づくバンキングアプリケーション及び技術に基づく金融サービスアプリケーション）の中で利用され得る。
従来のＡＩシステムは、回答又は決定が説明無しに及び根拠無しに顧客に提供される「ブラックボックス技術」を生じ得る。幾つかのシステムでは、平文の回答又は単一語の決定が顧客に返されることがある。しかしながら、ブラックボックス技術は、特定のアプリケーションに適さない。例えば、ヘルスケアアプリケーション、裁判アプリケーション、及び幾つかの金融アプリケーションでは、ブラックボックス技術は適切でないことがある。特に、上述及び他のアプリケーションでは、顧客は、完全な回答を要求することがあり、上述又は他のアプリケーションとインタフェースしている顧客は、決定に伴う何からの追加根拠、説明、助言、等から利益を得ることがある。
例えば、Scalable Bayesian Rules Lists及びLIME出力は、何からの最終段階処理を特定決定と共にユーザに提供してよい。処理出力１００の一例は図１に提供される。例示的な処理出力１００は、主として、ルール及びＡＩ処理で使用される擬似コードに関連する。処理出力１００は、したがって、決定の理由を正しく説明しない。さらに、処理出力１００は、代替決定に達するようユーザがＡＩモジュールを助けるために取り入れ得る治癒ステップを解決しない。
さらに、ＡＩ決定に理由を提供する幾つかの現在のシステムは、ＡＩモデルをトレーニングするために大量のデータセットを利用する。大量のデータセットは、例えば数百万又は十数百万ものデータを含み得る。大量のデータセットは、生成し及びアクセスするのに高コストである。さらに、ＡＩモデルをトレーニングするために使用される大量のデータセットは、素人又はその他の場合には経験の浅いユーザに必ずしも理解可能ではない機能を含み得る。例えば、融資アプリケーションＡＩシステムは、複雑なパラメータである、外部リスク推定、合計分割リボルビング負担、等を決定の基礎としてよい。素人ユーザは、ＡＩシステムのデータセット内に現れない特徴を含む説明を好む場合がある。ＡＩトレーニングデータのパラメータを素人ユーザにより理解可能な説明の特徴に変換することは困難であり得る。例えば、融資アプリケーションシステムの素人ユーザは、職歴、経歴のチェック、信用スコア、等に関連する説明に敏感であり、合計分割リボルビング負担等には敏感でないことがある。しかしながら、ＡＩモデルをトレーニングして人間中心の説明を生成するために、機械学習アルゴリズムが実装されてよい。機械学習アルゴリズムの実装の前に、大量のデータセットが手動で注釈を付されることがある。人間中心の説明を生成するために大量のデータセットに手動で注釈を付けることは、困難であり高コストであり得る。
したがって、本開示の幾つかの実施形態は、限定的データセットから関連目的を有するテキスト又はステートメントを生成する方法に関する。ステートメントは、２以上の認知値型（cognitive value type）を対象にしてよい。認知値型は、決定に関する教育的（educational）情報を含んでよい。認知値型は動作（action）も含んでよく、エンドユーザは理由の変更を行ってよい。さらに、結果として生じるテキストは、音声に変換されてよく、それによりチャットボットのようなアプリケーションをエンドユーザにレンダリングする。
本開示に記載の実施形態は、ＡＩモジュールに存在する現在の技術的制限及びＡＩモジュール内で機械学習アルゴリズムをトレーニングし及びテストするために実装されるデータセットの生成をブリッジし及び解決する。特に、本開示に記載の実施形態は、１つ以上のユーザフレンドリな説明を提供するテキストを効果的に生成することにより、研究と実用との間の技術的ギャップを解決する。このテキストは、説明を求めるより広範なユーザコミュニティの必要に応じることができ、異なる目的を提供し得る複数の説明を提供できる。
幾つかの実施形態では、データセットは小さくてよい。本開示で使用されるように、小さいは、ＡＩモジュールの特定決定出力のために提供される約１００個のユニークな理由を有する約２０００（例えば、約２４００）個のセンテンス／使用例を示すために使用される。実施形態は、事実上約２０００個のセンテンス／使用例及び事実上約１００個のユニークな理由を有する環境で利用されてよい。例えば、センテンス／使用例の数は、約１０００、３０００、４０００、５０００、１００００、２００００、又は別の適切な数であってよい。さらに、ユニークな理由の数は、４０、５０、８０、１２０、１４０、３００、５００、又は別の適切な数のユニークな理由であってよい。
幾つかの実施形態では、ノイズ入力はモデル化されてよい。例えば、ノイズ入力は、ガウス分布（Gaussians）の混合（mixture）を用いてモデル化されてよい。損失関数は、限定的データセットのリアルデータの部分に適用されてよい。リアルデータの部分は、それぞれ、型のうちの１つを有すると識別されてよい。損失関数は、部分の対応する型との整合を保証する。複数のデコーダは、エンコーダの機能を評価するために実装されてよい。例えば、２つの型を有する実施形態では、２個のデコーダが、各型について１個、実装されてよい。
これらの及び他の実施形態は、添付の図面を参照して本願明細書で説明される。図中、共通の参照符号を有するコンポーネント及び特徴は、特に断りの無い限り、同様の機能及び構造を有する。
図２は、本開示に記載の少なくとも１つの実施形態により配置される例示的な動作環境２００のブロック図を示す。動作環境２００は、エンドユーザ２１４と人工知能（ＡＩ）システム２１２との間の相互作用又はインタフェースのために構成されてよい。相互作用は、通信ネットワーク２０８を介するエンドユーザ２１４への情報の通信を含んでよい。ＡＩシステム２１２は、限定的データセットに基づく相互作用又はインタフェースに関連するステートメントを生成し通信するよう構成されてよい。ステートメントは、関連目的を有してよく、異なる認知値（以後、型）を有してよい。例えば、ステートメントのうちの１つは、ＡＩシステム２１２により提供される決定を変更するために取られるべき動作に関連してよい。第２の関連ステートメントは、決定の理由に関する何らかの教育的情報を提供してよい。一例は、第１ステートメントであってよく、融資が拒否された理由に関する何らかの教育的情報を含んでよく、第２ステートメントは、（後のアプリケーションにおいて）融資を取得するために取られるべきエンドユーザ２１４の動作を含んでよい。
ＡＩシステム２１２は、ＡＩモジュール２１０を含んでよい。ＡＩモジュール２１０は、本開示の他の場所に記載される１つ以上の敵対的ネットワークを生成する又は含むよう構成されてよい。特に、ＡＩモジュール２１０は、関連目的及び／又は異なるスタイルを有するステートメントを生成するために実装され得る敵対的生成ネットワーク（generative adversarial network：GAN）を含んでよい。
ＡＩモジュール２１０は、ＡＩシステム内の技術的問題に対する技術的向上を表す。例えば、現在のＡＩシステムでは、関連目的を有するステートメントを生成するためにモデルをトレーニングすることは、手動注釈を有する大量のデータセットを必要とする。大量データセットの手動注釈は高コストである。ＡＩモジュール２１０は限定的データセットを利用する。特に、以下の更に記載されるように、ＡＩモジュール２１０は、限定的データセットを補足するために、追加パラメータセットを生成するよう構成される。追加パラメータセットは、ステートメントの表現力を向上する。追加パラメータセットは、ガウス分布の混合を用いて生成されてよい。さらに、ステートメントを向上するために、損失関数がＡＩモジュール２１０による分類器として適用されてよい。分類器は、限定的データセットの部分が型のうちの１つに合うことを保証するよう構成されてよい。動作環境２００の幾つかの例は、ＩＴヘルプデスク（例えば、ソフトウェアアップデート、パッチ、等）、企業アプリケーション（例えば、雇用決定、生産性評価、リソース割り当て、等）、金融決定システム（例えば、融資拒否、信用スコア評価、利率評価、等）、又は別の適切なアプリケーション又はシステムを含んでよく又はその中に実装されてよい。
動作環境２００は、ＡＩシステム２１２、エンドユーザ装置２０４、ＡＩモジュール２１０、ＡＩ問い合わせモジュール２０２、及びエンドユーザ２１４を含んでよく、これらのうちの何らかの部分は、通信ネットワーク２０８を介して情報及びデータを通信してよい。動作環境２００のコンポーネントの各々は、以下に簡単に記載される。
通信ネットワーク２０８は、動作環境２００のコンポーネントのうちの任意のものの間での信号の通信のために構成されてよい。通信ネットワーク２０８は、有線又は無線であってよい。通信ネットワーク２０８は、スター構成、トークンリング構成若しくは別の適切な構成を含む多数の構成を有してよい。さらに、通信ネットワーク２０８は、ＬＡＮ（local area network）、ＷＡＮ（wide area network）（例えば、インターネット）、及び／又は複数の装置が通信できる他の相互接続されたデータ経路を含み得る。幾つかの実施形態では、通信ネットワーク２０８は、ピアツーピアネットワークを有してよい。通信ネットワーク２０８は、種々の異なる通信プロトコルでデータ通信を可能にする電気通信ネットワークに結合され又はその部分を含んでよい。
エンドユーザ装置２０４及び／又はＡＩシステム２１２は、ハードウェアに基づくコンピューティングシステムを含んでよい。エンドユーザ装置２０４及び／又はＡＩシステム２１２は、動作環境２００の他のコンポーネントと通信ネットワーク２０８を介して通信するよう構成されてよい。エンドユーザ装置２０４は、エンドユーザ２１４がＡＩシステム２１２とエンドユーザ装置２０４を用いてインタフェースすることを可能にするＡＩ問い合わせモジュール２０２を含んでよい。ＡＩシステム２１２は、エンドユーザ装置２０４から問い合わせを受信し、それに基づきステートメントを生成し、並びにエンドユーザ装置２０４へ通信ネットワーク２０８を介して関連目的を有するステートメントを通信するよう構成されてよいＡＩモジュール２１０を含んでよい。
本開示を通じて記載されるＡＩモジュール２１０、ＡＩ問い合わせモジュール２０２、及びそれらの１つ以上のコンポーネント若しくはモジュールは、（例えば、１つ以上の動作を実行する又はその実行を制御するために）プロセッサ、マイクロプロセッサ、ＦＰＧＡ（field−programmable gate array）又はＡＳＩＣ（specific integrated circuit）を含むハードウェアを用いて実装されてよい。幾つかの他の例では、ＡＩモジュール２１０、ＡＩ問い合わせモジュール２０２、及びそれらの１つ以上のコンポーネント又はモジュールは、ハードウェア及びソフトウェアの組み合わせを用いて実装されてよい。ソフトウェアでの実装は、コンピューティングシステム（例えば、ＡＩシステム２１２又はエンドユーザ装置２０４）のハードウェアに含まれ得るような１つ以上のトランジスタ又はトランジスタ要素の迅速な起動及び停止を含み得る。追加で、ソフトウェア定義命令は、トランジスタ要素の中の情報に対して作用してよい。ソフトウェア命令の実装は、電子経路を少なくとも一時的に再構成し、コンピューティングハードウェアを変換してよい。
幾つかの実施形態では、ＡＩモジュール２１０は、２以上の関連目的を有するテキスト及び／又はステートメントを生成するよう構成されてよい。ＡＩモジュール２１０は、テキスト及び／又はステートメントを生成するよう構成されてよいＧＡＮを含んでよい。ＡＩモジュール２１０は限定的データセットを受信するよう構成されてよい。限定的データセットは、２以上の型を有し得るリアルデータを含んでよい。２以上の型は互いに関連してよい。
ＡＩモジュール２１０は、第１損失関数をリアルデータの第１部分に適用するよう構成されてよい。リアルデータの第１部分は、２以上の型のうちの第１型を有すると識別されてよい。第１損失関数は、リアルデータの第１部分の第１型との整合を保証するよう構成されてよい。
ＡＩモジュール２１０は、第２損失関数をリアルデータの第２部分に適用するよう構成されてよい。第２部分は、２以上の認知値型のうちの第２認知値型を有すると識別されてよい。第２損失関数は、リアルデータの第２部分の第２認知値型との整合を保証するよう構成されてよい。ＡＩモジュール２１０は、リアルデータをエンコーダ出力に埋め込むよう構成されてよい。エンコーダ出力は、２以上の型の各々の埋め込みベクトルを含んでよい。
ＡＩモジュール２１０は、追加パラメータセットを生成するよう構成されてよい。追加パラメータセットは、リアルデータに対する補足であり、モデルの表現力を向上するよう構成されてよい。ＡＩモジュール２１０は、追加パラメータセット及びエンコーダ出力に基づき、２以上のステートメントを生成するよう構成されてよい。２以上のステートメントの各々は、２以上の認知値型のうちの１つのスタイルを有してよい。２以上のステートメントは、ＧＡＮにより解決される共通課題に関連してよい。ＡＩモジュール２１０は、生成したステートメントを音声出力に変換してよい。ＡＩモジュール２１０は、次に、ネットワークに基づく相互作用の間に、音声出力をエンドユーザ２１４に伝達してよい。
本開示の範囲から逸脱することなく動作環境２００に対し変更、追加又は省略が行われてよい。例えば、動作環境２００は、１つ以上のユーザ２０４、１つ以上のエンドユーザ２１４、１つ以上の通信ネットワーク２０８、１つ以上のＡＩシステム２１２、又はそれらの任意の組合せを含んでよい。さらに、本願明細書に記載の実施形態の中の種々のコンポーネント及びサーバの分割は、分割が全ての実施形態において生じることを意味しない。例えば、ＡＩモジュール２１０は、エンドユーザ装置２０４にローカルに実装されてよく、及び／又はＡＩ問い合わせモジュール２０２は、ＡＩモジュール２１０又は敵対的生成ネットワークの機能の一部を実装してよい。さらに、本開示の利益により、記載のコンポーネント及びサーバが単一のコンポーネント又はサーバに統合され又は複数のコンポーネント又はサーバに分割されてよいことが理解される。
図３は、本開示の少なくとも一実施形態によるＡＩモジュール２１０の例示的な実施形態を示す。図３のＡＩモジュール２１０は、敵対的生成ネットワーク（generative adversarial network：GAN）３０１を含む。ＧＡＮ３０１は、限定的データセット３０３からの、異なる目的を有するテキスト及び／又はステートメントの生成のために構成されてよい。限定的データセット３０３は、限られたトレーニングデータを含んでよい。ＧＡＮ３０１により生成されたテキストは、異なる目的を含んでよい。例えば、ＧＡＮ３０１により生成されたテキストは、テキスト又はステートメントのペアを含んでよい。第１テキストは、ＡＩモジュール２１０の決定の理由に関する教育的情報を含んでよい。第２のものは、エンドユーザが決定を変更するために又はどのように決定を変える又は変更するかの見識を提供するために取り得る動作に関する情報を含んでよい。
限定的データセット３０３は、リアルデータ３００を含んでよい。リアルデータ３００は、ＡＩモジュール２１０においてデータソースから通信ネットワークを介して受信されてよい。例えば、リアルデータ３００は、データセットソース２０６から通信ネットワーク２０８を介して受信されてよい。リアルデータ３００は、例えばアプリケーションの使用又は実装を通じて収集されたデータセットを含んでよい。リアルデータ３００は、２以上の型を有する部分を含んでよい。型は互いに関連してよい。例えば、リアルデータ３００は、第１部分３３０（図３で、「Ｘ１」３３０）及び第２部分３１０（図３で、「Ｘ２」３１０）を含んでよい。リアルデータ３００の第１部分３３０は、第１型（又はスタイル）を有すると識別されてよい。リアルデータ３００の第２部分３１０は、第２型（又はスタイル）を有すると識別されてよい。第１部分３３０及び／又は第２部分３１０は、手動で識別されてよい。例えば、言語学者又は別の適切な専門家が、リアルデータ３００の第１部分３３０及び第２部分３１０を手動で識別してよい。幾つかの実施形態では、型は、第１認知値型及び第２認知値型のみを含んでよい。上述及び他の実施形態では、限定的データセット３０３は、説明ペアを含んでよい。説明ペアの各々の第１説明は、第１型に対応してよい。説明ペアの各々の第２説明は、第２型に対応してよい。第１説明及び第２説明は、両方とも、リアルデータ３００の中で識別される共通課題を解決してよい。
例えば、図６を参照すると、例示的な限定的データセットのテーブル６００が提供される。第１部分６０２及び第２部分６０４がテーブル６００に含まれる。第１部分６０２は、教育的値に関連するセンテンスを含む。第２部分６０４は、動作値に関連するセンテンスを含む。行には、テーブル６００に、センテンスのペア６０６及び６０８が含まれる。ペア６０６及び６０８は互いに関連し、２つの情報スタイルを提供する。例えば、第１ペア６０６は、「未払いの負債」、及び融資を再申請する前に未払いの負債をどのように解決するかに関連する。第２ペア６０８は、「焦げ付き融資」、及び融資を再申請する前に資産をどのように割り当てるかに関連する。
図３を参照すると、幾つかの実施形態では、限定的データセット３０３は、特定決定出力に関連する約１００個より少ないユニークな理由を有する約２０００個のセンテンス／ユーザケース（例えば、約２４００個のセンテンス／ユーザケース）を含んでよい。幾つかの実施形態では、特定決定出力は、融資アプリケーションに関する結果、情報技術ヘルプデスクに関する説明、企業アプリケーションに関する説明、財務決定に関する説明、それらの何らかの組み合わせ、又は別の適切なアプリケーションを記述してよい。
リアルデータ３００は、センテンス、記述、使用例、理由、又はそれらの何らかの組み合わせを含んでよく、手動で編集され注釈を付されてよい。例えば、例示的な実施形態では、リアルデータ３００は、ＡＭＴ（Amazon Mechanical Turk）作業員のような作業員グループにより収集されてよい。ＡＭＴ作業員は、融資拒否の理由を強調したテキスト記述を提供した。この例示的な実施形態では、記述は、構文及び意味の正確さのために編集された。さらに、言語学者が、対応する幅広い及び特定の理由を有する記述に注釈を提供した。この例示的な実施形態では、リアルデータ３００は、融資拒否の対応する理由を有する２４３２個のセンテンスの監督付き（curated）データセットを含む。
第１部分３３０及び第２部分３１０は、エンコーダ３１８により受信されてよい。さらに、第１部分３３０は第１分類器３７１に通信されてよく、第２部分３１０は第２分類器３７３に通信されてよい。第１分類器３７１及び第２部分３１０の各々は損失関数を含む。例えば、第１分類器３７１の第１損失関数は、リアルデータ３００の第１部分３３０に適用されてよい。第１損失関数は、リアルデータ３００の第１部分３３０の第１型との整合を保証するよう構成されてよい。第２分類器３７３の第２損失関数は、リアルデータ３００の第２部分３１０に適用されてよい。第２損失関数は、リアルデータ３００の第２部分３１０の第２型との整合を保証するよう構成されてよい。幾つかの実施形態では、第１分類器３７１及び第２分類器３７３は、Murat Kocaoglu et al. Causalgan: Leaning Causal Implicit Generative Models with Adversarial Training. arXiv preprint arXiv:１７０９.０２０２３, ２０１７に記載の損失関数と同様であってよく、該文献は参照により全体がここに組み込まれる。
エンコーダ３１８は、リアルデータ３００の少なくとも部分を埋め込むよう構成されてよい。エンコーダ３１８は、エンコーダ出力３６１を生成してよい。幾つかの実施形態では、エンコーダ出力３６１は、１つ以上の型の埋め込みベクトルを含んでよい。エンコーダ出力３６１は、生成器３１６、並びに第１デコーダ３２０及び第２デコーダ３１２に通信されてよい。デコーダ３１２及び３２０は、エンコーダ出力３６１を評価し、エンコーダ３１８にフィードバックを提供するよう構成される。フィードバックは、エンコーダ３１８の動作の修正又は変更を生じてよい。図３の実施形態では、２つの値、２個の分類器３７１及び３７３、並びに２個のデコーダ３１２及び３２０がある。他の実施形態では、ＧＡＮ３０１は、２つより多くの値、２個より多くの分類器、２個より多くのデコーダ、又はそれらの任意の組み合わせを含んでよい。
図４を参照すると、例示的なエンコーダ出力評価処理４００が示される。第１部分３３０及び第２部分３１０は、エンコーダ３１８により受信される。エンコーダ３１８は、第１及び第２部分３３０及び３１０をエンコーダ出力３６１の埋め込みベクトルに埋め込むよう構成されてよい。エンコーダ出力３６１は、第１埋め込みベクトル（図４で、Ｅ（Ｘ１））及び第２埋め込みベクトル（図４で、Ｅ（Ｘ２））を含んでよい。第１埋め込みベクトル及び第２埋め込みベクトルは、第１デコーダ３２０で受信されてよい。第１埋め込みベクトルは、図３のリアルデータ３００の第１部分３３０に対応してよい。第２埋め込みベクトル「Ｅ（Ｘ２）」は、リアルデータ３００の第２部分３１０に対応してよい。第１デコーダ３２０は、逆埋め込み処理を実行してよい。逆埋め込み処理は、第１デコーダ出力３２３（図４で、Ｘ〜１）を生成するために実行されてよい。第１デコーダ出力３２３は、第１部分３３０と比較されてよい。第１デコーダ出力３２３と第１部分３３０との間の不一致に応答して、エンコーダ３１８の動作は変更されてよい。第１デコーダ出力３２３と第１部分３３０との間の一致に応答して、エンコーダ３１８の動作は維持されてよい。
同様に、第１埋め込みベクトル及び第２埋め込みベクトルは、第２デコーダ３１２で受信されてよい。第２デコーダ３１２は、逆埋め込み処理を実行して、第２デコーダ出力３２４（図４で、Ｘ〜２）を生成してよい。第２デコーダ出力３２４は、第２部分３１０と比較されてよい。第２デコーダ出力３２４と第２部分３１０との間の不一致に応答して、エンコーダ３１８の動作は変更されてよい。第２デコーダ出力３２４と第２部分３１０との間の一致に応答して、エンコーダ３１８の動作は維持されてよい。
図３に戻ると、ＧＡＮ３０１は、表現力を向上するよう構成されてよい。例えば、ＧＡＮ３０１は、ノイズモデル３０４の使用を通じて表現力を向上してよい。ノイズモデル３０４は、限定的データセット３０３を補足し得る追加パラメータセットを含み得るノイズ入力をモデル化し又は生成してよい。図３で、追加パラメータセット及びノイズ入力は「Ｚ」３３２により表される。ノイズ入力３３２（追加パラメータセットも）は、ガウス分布の混合としてモデル化されてよい。
図５を参照すると、ノイズモデル３０４の例示的な実施形態の詳細図が示される。ノイズモデル３０４は、Swaminathan Gurumurthy、Ravi Kiran Sarvadevabhatla、及びR Venkatesh Babuにより開発された多様且つ限定的ＧＡＮ（Diverse and Limited GAN、DeLiGANと呼ばれる）に基づく。「Generative Adversarial Networks For Diverse And Limited Data」、In CVPR, pages ４９４１−４９４９, ２０１７は、参照により全体がここに組み込まれる。
図５のノイズモデル３０４は、本開示の他の場所に記載の生成器３１６及び識別器３２２と共に示される。ノイズモデル３０４は、追加パラメータセット５３６（図５では「パラメータセット５３６」）を生成するよう構成されてよい。パラメータセット５３６は、１つ以上の追加パラメータ及び１つ以上の追加ステートメントを含んでよい。パラメータセット５３６は、図３のリアルデータ３００を補足するよう構成され、表現力を向上するよう構成される。例えば、上述のように、リアルデータ３００は限定的データセットに基づいてよい。限定的データセットは、約２０００個のセンテンス／使用例、及び約１００個のユニークな理由を含んでよい。限定的データセットは、図３のＧＡＮ３０１のようなＧＡＮをモデル化し及びトレーニングするのに不十分であり得る。したがって、パラメータセット５３６は、センテンス／使用例の数、及び／又はユニークな理由の数を増加してよい。
ノイズモデル３０４は、ガウス分布セット５１４に含まれるガウス分布５０２、５０４、５０６、及び５０８の混合を実施してよい。ガウス分布セット５１４は、単純な潜在的分布５１０により実装されてよい。潜在的空間は、ガウス分布セット５１４を用いて再パラメータ化される。ガウス分布セット５１４のうちの１つは、パラメータセット５３６を生成するためにランダムに選択される。図５で、第３ガウス分布５０６が選択される。ガウス分布５０２、５０４、５０６、及び５０８では、ｚは、ランダムに選択された特定ガウス分布、上述のGurumurthyで記載されたパラメータσ及びμに基づく確定関数を表す。変数ｋ及びｎは指標変数（indexing variable）である。
幾つかの実施形態では、ノイズモデル３０４は、ガウス分布セット５１４をバイパスしてよい。例えば、図５で、パラメータセット５３６は、単純な潜在的分布５１０に基づき生成されてよい。この動作は破線５１２により示される。
図３に戻ると、生成器３１６は、ステートメントを生成するためにエンコーダ３１８からのエンコーダ出力３６１と共にノイズモデル３０４の追加パラメータセット３３２を使用してよい。ステートメントは、１つ以上の異なる目的を有するセンテンスに組み込まれてよい。ステートメントは、図３で「３３８」とラベル付けされる「Ｇ（Ｚ，Ｅ）」により表される。パラメータ「Ｇ」は、ノイズモデル３０４及びエンコーダ出力３６１からの追加パラメータセットの関数を示す。ステートメント３３８は、識別器３２２及びテキスト音声生成器３２８に通信されてよい。
図１０を参照すると、２つの目的を有する幾つかの例示的なステートメントを含むテーブル１０００が示される。テーブル１０００で、第１列１００２は、第２列１００４及び第３列１００６の対応するステートメントを結果として生じる、ＧＡＮ３０１のどの部分が含まれるかを示す。例えば、実センテンスは、限定的データセット３０３に関連する。（第１部分３３０及び第２部分３１０に関連し得る）データの対応するペアは、それぞれ目的又は型を有する２つの関連するステートメントを含む。第２行は、分類器３７１及び３７３並びにノイズモデル３０４を省略してよい未整合（unaligned）ＧＡＮモデルを含む。第３行は、分類器３７１及び３７３を省略してよい未整合（unaligned）ＧＡＮモデルを含む。第４行は、図３に示したものと同様の整合（aligned）ＧＡＮモデルを含む。
図３に戻ると、ＧＡＮ３０１内の識別器３２２は、生成器３１６が正確な合成データを生成していることの何からの保証を提供するよう構成されてよい。識別器３２２は、生成器３１６から出力されたステートメントが「良い」又は「悪い」ことの信号を生成器３１６へ与えてよい。例えば、識別器３２２は、バイナリ信号を生成器３１６へフィードバックとして出力してよい。フィードバックに基づき、生成器３１６は、時間の経過に渡り、進化し、より良くなってよい。まとめると、識別器３２２は、生成器３１６から出力されたステートメントが良い又は悪いかの信号を生成器３１６に示すよう構成されてよい。
図３の識別器３２２は、ステートメントのうちの１つが本物であることの確率３２１を生成してよい。例えば、図３で、「Ｐ」は確率の略である。Ｐ（ｒｅａｌ）は、ステートメントが「実データ」に対応するか否かの確率を示す。生成器３１６へのフィードバックは、確率３２１に基づいてよい。
幾つかの実施形態では、エンコーダ３１８、デコーダ３１２及び３２０、生成器３１６、及び識別器３２２は、敵対正規化自動エンコーダＧＡＮ（adversarially regularized autoencoder GAN：ARAEGAN）アーキテクチャと整合してよい。ＡＲＡＥＧＡＮアーキテクチャの幾つかの追加の詳細は、「Adversarially Regularized Autoencoders for Generating Discrete Structures」、Junbo et.al., ICML PMLR ２０１８から分かり、該文献は参照により全体がここに組み込まれる。
テキスト音声生成器３２８は、生成器３１６により出力されるステートメント３３８を受信してよい。テキスト音声生成器３２８は、ステートメント３３８に基づき及びそれを代表して音声信号を生成するよう構成されてよい。テキスト音声生成器３２８は、エンドユーザに話し掛けるチャットボットを生成するために使用されてよい。例えば、図２及び３を参照する。音声信号は、エンドユーザ装置２０４へ通信ネットワーク２０８を介して通信されてよい。
図７は、本開示の少なくとも一実施形態による２以上の関連目的を有するテキスト生成のために構成された例示的なコンピューティングシステム７００を示す。コンピューティングシステム７００は、例えば図２の動作環境２００において実装されてよい。コンピューティングシステム７００の例は、ユーザ装置２０４又はＡＩシステム２１２を含み得る。コンピューティングシステム７００は、１つ以上のプロセッサ７１０、メモリ７１２、通信ユニット７１４、ユーザインタフェース装置７１６、データ記憶装置７０４を含んでよい。データ記憶装置７０４は、ＡＩモジュール２１０及びＡＩ問い合わせモジュール２０２（集合的に、モジュール２１０／２０２）を含む。
プロセッサ７１０は、任意の適切な特定用途向け又は汎用コンピュータ、コンピューティングエンティティ、又は種々のコンピュータハードウェア若しくはソフトウェアモジュールを有してよく、任意の適切なコンピュータ可読記録媒体に格納された命令を実行するよう構成されてよい。例えば、プロセッサ７１０は、マイクロプロセッサ、マイクロコントローラ、デジタシグナルプロセッサ（ＤＳＰ）、ＡＳＩＣ、ＦＰＧＡ又はプログラム命令を解釈し及び／若しくは実行し並びに／又はデータを処理するよう構成された任意の他のデジタル若しくはアナログ回路を有してよい。
図７には単一のプロセッサを示したが、プロセッサ７１０は、より一般的には、本開示で説明される任意の数の工程を個々に又は共同で実行するよう構成される任意の数のプロセッサを有してよい。さらに、プロセッサ７１０のうちの１つ以上は、１つ以上の異なる電子装置又はコンピューティングシステムに存在してよい。幾つかの実施形態では、プロセッサ７１０は、プログラム命令を解釈し及び／又は実行し、及び／又はメモリ７１２、データ記憶装置７０４又はメモリ７１２及びデータ記憶装置７０４に格納されたデータを処理してよい。幾つかの実施形態では、プロセッサ７１０は、データ記憶装置７０４からプログラム命令をフェッチし、該プログラム命令をメモリ７１２にロードしてよい。プログラム命令がメモリ７１２にロードされた後、プロセッサ７１０は該プログラム命令を実行してよい。
メモリ７１２及びデータ記憶装置７０４は、コンピュータ実行可能命令又はデータ構造を伝える又は格納しているコンピュータ可読記憶媒体を含み得る。例として且つ限定ではなく、このようなコンピュータ可読記憶媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、ＣＤ−ＲＯＭ又は他の光ディスク記憶装置、磁気ディスク記憶装置又は他の磁気記憶装置、フラッシュメモリ装置（例えば、固体メモリ素子）を含む有形又は非一時的コンピュータ可読記憶媒体、又はコンピュータにより実行可能な命令若しくはデータ構造の形式で所望のプログラムコードを伝える若しくは格納するために用いられ汎用若しくは特定目的コンピュータによりアクセス可能な任意の他の記憶媒体を有し得る。上述の組合せも、コンピュータ可読記憶媒体の範囲に包含され得る。コンピュータ実行可能命令は、例えば、プロセッサ７１０に特定の工程又は工程のグループを実行させるよう構成される命令及びデータを含み得る。
通信ユニット７１４は、通信を受信し及び送信するよう構成されるハードウェアの１つ以上のピースを有してよい。幾つかの実施形態では、通信ユニット７１４は、通信ハードウェア装置の中でも特に、アンテナ、有線ポート、変調／復調ハードウェア、のうちの１つ以上を有してよい。特に、通信ユニット７１４は、コンピューティングシステム７００の外部から通信を受信するよう、及び該通信をプロセッサ７１０に提示し又はプロセッサ７１０からの通信を別の装置若しくはネットワーク（例えば、図２の２０８）に送信するよう、構成されてよい。
ユーザインタフェース装置７１６は、ユーザからの入力を受信し及び／又はユーザに出力を提供するよう構成されるハードウェアの１つ以上のピースを有してよい。幾つかの実施形態では、ユーザインタフェース装置７１６は、ハードウェア装置の中でも特に、スピーカ、マイクロフォン、ディスプレイ、キーボード、タッチスクリーン、又はホログラフィックプロジェクション、のうちの１又は複数を有してよい。
モジュール２１０／２０２は、データ記憶装置７０４に格納されたプログラム命令を有してよい。プロセッサ７１０は、モジュール２１０／２０２をメモリ７１２にロードし、モジュール２１０／２０２を実行するよう構成されてよい。代替として、プロセッサ７１０は、メモリ７１２にロードしないで、データ記憶装置７０４からモジュール２１０／２０２を１行毎に実行してよい。モジュール２１０／２０２を実行するとき、プロセッサ７１０は、本開示の他の場所に記載したように、参加認証処理を実行するよう構成されてよい。
本開示の範囲から逸脱することなくコンピューティングシステム７００に対し変更、追加又は省略が行われてよい。例えば、幾つかの実施形態では、コンピューティングシステム７００は、ユーザインタフェース装置７１６を有しなくてよい。幾つかの実施形態では、コンピューティングシステム７００の異なるコンポーネントは、物理的に別個であってよく、任意の適切なメカニズムにより通信可能に結合されてよい。例えば、データ記憶装置７０４は、記憶装置に通信可能に結合されるプロセッサ７１０とメモリ７１２と通信ユニット７１４とを含む、サーバから分離した、該記憶装置の部分であってよい。本願明細書に記載した実施形態は、以下に更に詳細に議論するように、種々のコンピュータハードウェア又はソフトウェアモジュールを備えた特定用途又は汎用コンピュータの使用を含み得る。
図８Ａ及び８Ｂは、本開示に記載の少なくとも一実施形態による、２以上の関連目的を有するテキストを生成する例示的な方法８００のフローチャートである。方法８００は、上述のＧＡＮ３０１のような敵対的生成ネットワーク（ＧＡＮ）を用いて実施されてよい。方法８００は、図２の動作環境２００のような動作環境で実行されてよい。方法８００は、図２を参照して記載されたＡＩシステム２１２により幾つかの実施形態においてプログラム制御されて実行されてよい。幾つかの実施形態では、ＡＩシステム２１２又は別のコンピューティングシステムは、コンピューティングシステム及び／又は適ＡＩシステム２１２に方法８００を実行させる又は実行を制御させる（図７のプロセッサ７１０のような）１つ以上のプロセッサにより実行可能なプログラムコード又は命令を格納している非一時的コンピュータ可読媒体（例えば、図７のメモリ７１２）を有してよく又はそれに通信可能に結合されてよい。追加又は代替で、ＡＩシステム２１２は、ＡＩシステム２１２又は別のコンピューティングシステムに方法８００を実行させる又は実行を制御させるコンピュータ命令を実行するよう構成される、本開示の他の場所に記載されるプロセッサ７１０を有してよい。別個のブロックとして示したが、所望の実装に依存して、図８Ａ及び８Ｂの種々のブロックは、更なるブロックに分割され、少ないブロックに結合され、又は除去されてよい。
方法８００は、ブロック８０２で開始してよく、そこで、限定的データセットが受信されてよい。幾つかの実施形態では、限定的データセットはエンコーダにおいて受信されてよい。限定的データセットは、リアルデータを含んでよい。リアルデータは、２以上の認知値型を有してよい。認知値型は互いに関連してよい。リアルデータは、第１部分及び第２部分を有してよい。リアルデータの第１部分は、認知値型のうちの第１認知値型を有すると識別されてよい。リアルデータの第２部分は、認知値型のうちの第２認知値型を有すると識別されてよい。
リアルデータの第１部分及び／又はリアルデータの第２部分は、手動で識別されてよい。例えば、言語学者が、リアルデータの第１部分及び第２部分を手動で識別してよい。幾つかの実施形態では、限定的データセットは、特定決定出力に関連する約１００個より少ないユニークな理由を有する約２０００個のセンテンス／ユーザケース（例えば、約２４００個のセンテンス／ユーザケース）を含んでよい。幾つかの実施形態では、特定決定出力は、融資アプリケーションに関する結果、情報技術ヘルプデスクに関する説明、企業アプリケーションに関する説明、財務決定に関する説明、それらの何らかの組み合わせ、又は別の適切なアプリケーションを記述してよい。幾つかの実施形態では、認知値型は、第１認知値型及び第２認知値型のみを含んでよい。上述及び他の実施形態では、限定的データセットは、説明ペアを含んでよい。説明ペアの各々の第１説明は、第１認知値型に対応してよい。説明ペアの各々の第２説明は、第２認知値型に対応してよい。第１説明及び第２説明は、両方とも、リアルデータセットの中で識別される共通課題を解決してよい。幾つかの実施形態では、２個の認知値は、人工知能（ＡＩ）システムの決定に関する情報を提供する教育的値、及び、ＡＩシステムの決定を変更するための指導的情報を提供する動作値、を含んでよい。
ブロック８０４で、第１損失関数が、リアルデータの第１部分に適用されてよい。第１損失関数は、リアルデータの第１部分の第１認知値型との整合を保証するよう構成されてよい。ブロック８０６で、第２損失関数が、リアルデータの第２部分に適用されてよい。第２損失関数は、リアルデータの第２部分の第２認知値型との整合を保証するよう構成されてよい。ブロック８０８で、リアルデータはエンコーダ出力に埋め込まれてよい。エンコーダ出力は、認知値型の２以上の埋め込みベクトルを含んでよい。
ブロック８１０で、追加パラメータセットが生成されてよい。追加パラメータセットは、リアルデータに対する補足であってよい。追加パラメータセットは、モデルの表現力を向上するよう構成されてよい。幾つかの実施形態では、追加パラメータセットを生成することは、ガウス分布の混合としてノイズ入力をモデル化することを含んでよい。
図８Ｂを参照すると、ブロック８１２で、２以上のステートメントが生成されてよい。ステートメントは、追加パラメータセット及びエンコーダ出力に基づき生成されてよい。ステートメントの１つ以上は、認知値型のうちの１つのスタイルを有してよい。さらに、２以上のステートメントは、図３のＧＡＮ３０１のようなＧＡＮにより解決される共通課題に関連してよい。ブロック８１４で、生成されたステートメントが評価されてよい。生成されたステートメントは、リアルデータと生成されたステートメントとの間の比較に基づき評価されてよい。幾つかの実施形態では、生成されたステートメントを評価するステップは、２つ以上の生成されたステートメントを向上するために生成器により使用されるバイナリ信号の合成データ出力を生成するステップを含む。ブロック８１６で、エンコーダ出力が評価されてよい。エンコーダ出力の評価に基づき、エンコーダの動作が変更されてよい。ブロック８１８で、生成されたステートメントは音声出力に変換されてよい。ブロック８２０で、音声出力が伝達されてよい。例えば、音声出力は、ネットワークに基づくアプリケーション相互作用により、エンドユーザに伝達されてよい。
当業者は、上述の及び本願明細書に開示した他の手順及び方法について、処理及び方法において実行される機能が異なる順序で実施されてよいことを理解するだろう。さらに、概略のステップ及び動作は、単に例として提供され、幾つかのステップ及び動作は、開示の実施形態から逸脱することなく、任意であり、より少ないステップ及び動作に組み合わされ、又は追加ステップ及び動作に拡張されてよい。
図９Ａ及び９Ｂは、本開示で説明される少なくとも一実施形態による、エンコーダ出力を評価する例示的な方法９００のフローチャートである。方法９００は、上述のＧＡＮ３０１のような敵対的生成ネットワーク（ＧＡＮ）を用いて実施されてよい。方法９００は、別の方法又は処理に組み込まれてよい。例えば、幾つかの実施形態では、方法９００は、方法８００のブロック８１６として実施されてよい。
方法９００は、図２の動作環境２００のような動作環境で実行されてよい。方法９００は、図２を参照して記載されたＡＩシステム２１２により幾つかの実施形態においてプログラム制御されて実行されてよい。幾つかの実施形態では、ＡＩシステム２１２又は別のコンピューティングシステムは、コンピューティングシステム及び／又は適ＡＩシステム２１２に方法９００を実行させる又は実行を制御させる（図７のプロセッサ７１０のような）１つ以上のプロセッサにより実行可能なプログラムコード又は命令を格納している非一時的コンピュータ可読媒体（例えば、図７のメモリ７１２）を有してよく又はそれに通信可能に結合されてよい。追加又は代替で、ＡＩシステム２１２は、ＡＩシステム２１２又は別のコンピューティングシステムに方法９００を実行させる又は実行を制御させるコンピュータ命令を実行するよう構成される、本開示の他の場所に記載されるプロセッサ７１０を有してよい。別個のブロックとして示したが、所望の実装に依存して、図９Ａ及び９Ｂの種々のブロックは、更なるブロックに分割され、少ないブロックに結合され、又は除去されてよい。
方法９００は、ブロック９０２で開始してよく、そこで、第１埋め込みベクトル及び第２埋め込みベクトルが受信されてよい。第１埋め込みベクトル及び第２埋め込みベクトルは、第１デコーダで受信されてよい。第１埋め込みベクトルはリアルデータの第１部分に対応してよい。第２埋め込みベクトルはリアルデータの第２部分に対応してよい。リアルデータの第１部分は、第１認知値型を有すると識別されてよい。リアルデータの第２部分は、第２認知値型を有すると識別されてよい。
ブロック９０４で、逆埋め込み処理が実行されてよい。逆埋め込み処理は、第１デコーダ出力を生成するために実行されてよい。ブロック９０６で、第１デコーダ出力が、リアルデータの第１部分と比較されてよい。ブロック９０８で、第１デコーダ出力とリアルデータの第１部分との間に不一致があるか否かが決定されてよい。
第１デコーダ出力とリアルデータの第１部分との間に不一致があることに応答して（ブロック９０８で「ＹＥＳ」）、方法９００は、図９Ｂのブロック９１８に進んでよい。第１デコーダ出力とリアルデータの第１部分との間に不一致がないことに応答して（ブロック９０８で「ＮＯ」）、方法９００は、図９Ｂのブロック９１０に進んでよい。ブロック９１０で、第２埋め込みベクトル及び第１埋め込みベクトルが受信されてよい。第２埋め込みベクトル及び第１埋め込みベクトルは、第２デコーダで受信されてよい。ブロック９１２で、逆埋め込み処理が実行されてよい。逆埋め込み処理は、第２デコーダ出力を生成するために実行されてよい。ブロック９１４で、第２デコーダ出力が、リアルデータの第２部分と比較されてよい。ブロック９１６で、第２デコーダ出力とリアルデータの第２部分との間に不一致があるか否かが決定されてよい。
第２デコーダ出力とリアルデータの第２部分との間に不一致があることに応答して（ブロック９１６で「ＹＥＳ」）、方法９００は、ブロック９１８に進んでよい。ブロック９１８で、エンコーダの動作は変更されてよい。第２デコーダ出力とリアルデータの第２部分との間に不一致がないことに応答して（ブロック９１６で「ＮＯ」）、方法９００はブロック９２０に進んでよく、そこで方法９００は終了してよい。
本願明細書に記載した実施形態は、以下に更に詳細に議論するように、種々のコンピュータハードウェア又はソフトウェアモジュールを備えた特定用途又は汎用コンピュータの使用を含み得る。
本願明細書に記載した実施形態は、コンピュータにより実行可能な命令又はデータ構造を伝える又は格納しているコンピュータ可読媒体を用いて実施され得る。このようなコンピュータ可読媒体は、汎用又は特定目的コンピュータによりアクセスできる利用可能な媒体であり得る。例として且つ限定ではなく、このようなコンピュータ可読媒体は、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read−Only Memory）、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read−Only Memory）、ＣＤ−ＲＯＭ（Compact Disc Read−Only Memory）又は他の光ディスク記憶装置、磁気ディスク記憶装置又は他の磁気記憶装置、フラッシュメモリ装置（例えば、固体メモリ素子）を含む非一時的コンピュータ可読記憶媒体、又はコンピュータにより実行可能な命令若しくはデータ構造の形式で所望のプログラムコード手段を伝える若しくは格納するために用いられ汎用若しくは特定目的コンピュータによりアクセス可能な任意の他の記憶媒体を有し得る。上述の組合せも、コンピュータ可読媒体の範囲に包含され得る。
コンピュータにより実行可能な命令は、例えば、汎用コンピュータ、特定目的コンピュータ又は特定目的処理装置（例えば、１又は複数のプロセッサ）に特定の機能又は機能グループを実行させる命令及びデータを有してよい。本発明の主題は構造的特徴及び／又は方法論的動作に特有の言葉で記載されたが、本発明の主題は、特許請求の範囲に定められる上述の特定の特徴又は動作に限定されないことが理解されるべきである。むしろ、上述の特定の特徴及び動作は、特許請求の範囲の実施の例示的形態として開示されたものである。
本願明細書で用いられるように、用語「モジュール」又は「コンポーネント」は、モジュール若しくはコンポーネントの動作を実行するよう構成される特定ハードウェア実装、及び／又はコンピューティングシステムの汎用ハードウェア（例えばコンピュータ可読媒体、処理装置、等）に格納され及び／又はそれらにより実行され得るソフトウェアオブジェクト若しくはソフトウェアルーチンを表してよい。幾つかの実施形態では、本願明細書に記載されたのと異なるコンポーネント、モジュール、エンジン及びサービスは、（例えば、別個のスレッドとして）コンピューティングシステムで実行されるオブジェクト又は処理として実施されてよい。本願明細書に記載のシステム及び方法の幾つかは概して（汎用ハードウェアに格納される及び／又はそれにより実行される）ソフトウェアで実装されるように記載されたが、専用ハードウェアの実装又はソフトウェアと専用ハードウェアの組み合わせの実装も可能であり考えられる。この説明では、「コンピュータエンティティ」は、本願明細書で先に定められたようにコンピューティングシステム、又はコンピューティングシステムで実行されるモジュール若しくはモジュールの組合せであってよい。
本願明細書に記載された全ての例及び条件文は、教育上の目的で、読者が本発明の原理及び発明者により考案された概念を理解するのを助け、技術を促進させるためであり、これらの特に記載された例及び条件に限定されないものと考えられるべきである。本発明の実施形態が詳細に記載されたが、種々の変更、置換及び修正が本発明の精神及び範囲から逸脱することなく行われうることが理解されるべきである。
以上の実施形態に加え、さらに以下の付記を開示する。
（付記１） 敵対的生成ネットワーク（ＧＡＮ）を用いて２以上の関連目的を有するテキストを生成する方法であって、前記方法は、
２以上の認知値型を有するリアルデータを含む限定的データセットを受信するステップであって、前記２以上の認知値型は互いに関連する、ステップと、
第１損失関数を前記リアルデータの第１部分に適用するステップであって、前記リアルデータの前記第１部分は前記２以上の認知値型のうち第１認知値型を有すると識別され、前記第１損失関数は前記リアルデータの前記第１部分の前記第１認知値型との整合を保証するよう構成される、ステップと、
第２損失関数を前記リアルデータの第２部分に適用するステップであって、前記第２部分は前記２以上の認知値型のうち第２認知値型を有すると識別され、前記第２損失関数は前記リアルデータの前記第２部分の前記第２認知値型との整合を保証するよう構成される、ステップと、
前記リアルデータをエンコーダ出力に埋め込むステップであって、前記エンコーダ出力は前記２以上の認知値型の各々について埋め込みベクトルを含む、ステップと、
追加パラメータセットを生成するステップであって、前記追加パラメータセットは、前記リアルデータに対する補足であり、モデルの表現力を向上するよう構成される、ステップと、
前記追加パラメータセット及び前記エンコーダ出力に基づき、２以上のステートメントを生成するステップであって、前記２以上のステートメントの各々は前記２以上の認知値型のうちの１つのスタイルを有する、ステップと、
を含む方法。
（付記２） 前記２以上の認知値型は、前記第１認知値型及び前記第２認知値型のみを含み、
前記限定的データセットは、説明ペアを含み、
前記説明ペアの各々の第１説明は前記第１認知値型に対応し、
前記説明ペアの各々の第２説明は前記第２認知値型に対応し、
前記第１説明及び前記第２説明は両方とも前記リアルデータの中で識別された共通問題を解決する、
付記１に記載の方法。
（付記３） デコーダにおいて、前記第１認知値型の第１埋め込みベクトル及び前記第２認知値型の第２埋め込みベクトルを受信するステップと、
前記デコーダにより、前記第１埋め込みベクトル及び前記第２埋め込みベクトルに関する逆埋め込み処理を実行して、デコーダ出力を生成するステップと、
前記デコーダ出力を前記リアルデータの前記第１部分と比較するステップと、
前記デコーダ出力と前記リアルデータの前記第１部分との間の不一致に応じて、エンコーダの動作を変更するステップと、
を更に含む付記２に記載の方法。
（付記４） 前記デコーダは２個のデコーダのうちの第１デコーダであり、前記デコーダ出力は２個のデコーダ出力のうちの第１デコーダ出力であり、
前記方法は、
前記２個のデコーダのうちの第２デコーダにおいて、前記第２認知値型の前記第２埋め込みベクトル及び前記第１認知値型の前記第１埋め込みベクトルを受信するステップと、
前記第２デコーダにより、前記第２埋め込みベクトル及び前記第１埋め込みベクトルに関する前記逆埋め込み処理を実行して、第２デコーダ出力を生成するステップと、
前記第２デコーダ出力を前記リアルデータの前記第２部分と比較するステップと、
前記第２デコーダ出力と前記リアルデータの前記第２部分との間の不一致に応答して、前記エンコーダの別の動作を更に変更するステップと、
を更に含む付記３に記載の方法。
（付記５） 前記の２個の認知値は、
人工知能（ＡＩ）システムの決定に関する情報を提供する教育的値、及び、
前記ＡＩシステムの前記決定を変更するための指導的情報を提供する動作値、
を含む、付記２に記載の方法。
（付記６） 前記追加パラメータセットを生成する前記ステップは、ガウス分布の混合としてノイズ入力をモデル化するステップを含む、付記１に記載の方法。
（付記７） 前記リアルデータと前記２以上の生成されたステートメントとの間の比較に基づき前記２以上の生成されたステートメントを評価するステップ、を更に含み、前記生成されたステートメントを評価する前記ステップは、生成器により前記２以上の生成されたステートメントを向上するために使用されるバイナリ信号の合成データ出力を生成するステップを含む、付記１に記載の方法。
（付記８） 前記限定的データセットは、特定決定出力に関する約１００個より少ないユニークな理由を有する約２０００個のセンテンス／ユーザケースを含み、
前記リアルデータの前記第１部分及び前記リアルデータの前記第２部分は、手動で識別される、
付記１に記載の方法。
（付記９） 前記特定決定出力は、
融資アプリケーションに関する結果、
情報技術ヘルプデスクに関する説明、
企業アプリケーションに関する説明、又は、
財務決定に関する説明、
を記述する、付記８に記載の方法。
（付記１０） 前記２以上の生成されたステートメントを音声出力に変換するステップと、
ネットワークに基づくアプリケーション相互作用の間に前記音声出力をユーザに伝達するステップと、
を更に含む付記１に記載の方法。
（付記１１） 敵対的生成ネットワーク（ＧＡＮ）であって、
エンコーダであって、
２以上の認知値型を有するリアルデータを含む限定的データセットを受信し、前記２以上の認知値型は互いに関連し、
前記リアルデータをエンコーダ出力に埋め込み、前記エンコーダ出力は前記２以上の認知値型の各々の埋め込みベクトルを含む、エンコーダと、
前記リアルデータの第１部分に第１損失関数を適用するよう構成される第１分類器であって、前記リアルデータの前記第１部分は前記２以上の認知値型のうち第１認知値型を有すると識別され、前記第１損失関数は前記リアルデータの前記第１部分の前記第１認知値型との整合を保証するよう構成される、第１分類器と、
前記リアルデータの第２部分に第２損失関数を適用するよう構成される第２分類器であって、前記第２部分は前記２以上の認知値型のうち第２認知値型を有すると識別され、前記第２損失関数は前記リアルデータの前記第２部分の前記第２認知値型との整合を保証するよう構成される、第２分類器と、
追加パラメータセットを生成するよう構成されるノイズモデルであって、前記追加パラメータセットは、前記リアルデータに対する補足であり、モデルの表現力を向上するよう構成される、ノイズモデルと、
前記追加パラメータセット及び前記エンコーダ出力に基づき２以上のステートメントを生成するよう構成される生成器であって、前記２以上のステートメントの各々は前記２以上の認知値型のうちの１つのスタイルを有する、生成器と、
を含むＧＡＮ。
（付記１２） 前記２以上の認知値型は、前記第１認知値型及び前記第２認知値型のみを含み、
前記限定的データセットは、説明ペアを含み、
前記説明ペアの各々の第１説明は前記第１認知値型に対応し、
前記説明ペアの各々の第２説明は前記第２認知値型に対応し、
前記第１説明及び前記第２説明は両方とも前記リアルデータの中で識別された共通問題を解決する、
付記１１に記載のＧＡＮ。
（付記１３） 第１デコーダモジュールであって、
前記第１認知値型の第１埋め込みベクトル及び前記第２認知値型の第２埋め込みベクトルを受信し、
前記第１埋め込みベクトル及び前記第２埋め込みベクトルに関する逆埋め込み処理を実行して、デコーダ出力を生成し、
前記デコーダ出力を前記リアルデータの前記第１部分と比較し、
前記デコーダ出力と前記リアルデータの前記第１部分との間の不一致に応じて、エンコーダの動作を変更する、
よう構成される第１デコーダモジュール、を更に含む付記１２に記載のＧＡＮ。
（付記１４） 第２デコーダモジュールであって、
前記第２認知値型の前記第２埋め込みベクトル及び前記第１認知値型の前記第１埋め込みベクトルを受信し、
前記第２埋め込みベクトル及び前記第１埋め込みベクトルに関する前記逆埋め込み処理を実行して、第２デコーダ出力を生成し、
前記第２デコーダ出力を前記リアルデータの前記第２部分と比較し、
前記第２デコーダ出力と前記リアルデータの前記第２部分との間の不一致に応じて、前記エンコーダの別の動作を変更する、
よう構成される第２デコーダモジュール、を更に含む付記１３に記載のＧＡＮ。
（付記１５） 前記の２個の認知値は、
人工知能（ＡＩ）システムの決定に関する情報を提供する教育的値、及び、
前記ＡＩシステムの前記決定を変更するための指導的情報を提供する動作値、
を含む、付記１２に記載のＧＡＮ。
（付記１６） 前記追加パラメータセットを生成することは、ガウス分布の混合としてノイズ入力をモデル化することを含む、付記１１に記載のＧＡＮ。
（付記１７） 識別器であって、
リアルデータと前記追加パラメータセットとの間の比較に基づき前記生成されたステートメントを評価し、
生成されたステートメントを変更するために前記生成器により使用されるバイナリ信号の合成データ出力を生成する、
よう構成される識別器を更に含む、付記１１に記載のＧＡＮ。
（付記１８） 前記限定的データセットは、特定決定出力に関する約１００個より少ないユニークな理由を有する約２０００個のセンテンス／ユーザケースを含み、
前記リアルデータの前記第１部分及び前記リアルデータの前記第２部分は、手動で識別される、
付記１１に記載のＧＡＮ。
（付記１９） 前記特定決定出力は、
融資アプリケーションに関する結果、
情報技術ヘルプデスクに関する説明、
企業アプリケーションに関する説明、又は、
財務決定に関する説明、
を記述する、付記１８に記載のＧＡＮ。
（付記２０） テキスト音声生成器であって、
前記２以上の生成されたステートメントを音声出力に変換し、
ネットワークに基づくアプリケーション相互作用の間に前記音声出力をユーザに伝達する、
よう構成されるテキスト音声生成器、を更に含む付記１１に記載のＧＡＮ。
２１０ ＡＩモジュール
３００ リアルデータ
３０３ 限定的データセット
３０４ ノイズモデル
３１２ 第２デコーダ
３１６ 生成器
３１８ エンコーダ
３２０ 第１デコーダ
３２２ 識別器
３２８ テキスト音声生成器
３７１ 第１分類器
３７３ 第２分類器

Claims (20)

  1. 敵対的生成ネットワーク（ＧＡＮ）を用いて２以上の関連目的を有するテキストを生成する方法であって、前記方法は、
    ２以上の認知値型を有するリアルデータを含む限定的データセットを受信するステップであって、前記２以上の認知値型は互いに関連する、ステップと、
    第１損失関数を前記リアルデータの第１部分に適用するステップであって、前記リアルデータの前記第１部分は前記２以上の認知値型のうち第１認知値型を有すると識別され、前記第１損失関数は前記リアルデータの前記第１部分の前記第１認知値型との整合を保証するよう構成される、ステップと、
    第２損失関数を前記リアルデータの第２部分に適用するステップであって、前記第２部分は前記２以上の認知値型のうち第２認知値型を有すると識別され、前記第２損失関数は前記リアルデータの前記第２部分の前記第２認知値型との整合を保証するよう構成される、ステップと、
    前記リアルデータをエンコーダ出力に埋め込むステップであって、前記エンコーダ出力は前記２以上の認知値型の各々について埋め込みベクトルを含む、ステップと、
    追加パラメータセットを生成するステップであって、前記追加パラメータセットは、前記リアルデータに対する補足であり、モデルの表現力を向上するよう構成される、ステップと、
    前記追加パラメータセット及び前記エンコーダ出力に基づき、２以上のステートメントを生成するステップであって、前記２以上のステートメントの各々は前記２以上の認知値型のうちの１つのスタイルを有する、ステップと、
    を含む方法。
  2. 前記２以上の認知値型は、前記第１認知値型及び前記第２認知値型のみを含み、
    前記限定的データセットは、説明ペアを含み、
    前記説明ペアの各々の第１説明は前記第１認知値型に対応し、
    前記説明ペアの各々の第２説明は前記第２認知値型に対応し、
    前記第１説明及び前記第２説明は両方とも前記リアルデータの中で識別された共通問題を解決する、
    請求項１に記載の方法。
  3. デコーダにおいて、前記第１認知値型の第１埋め込みベクトル及び前記第２認知値型の第２埋め込みベクトルを受信するステップと、
    前記デコーダにより、前記第１埋め込みベクトル及び前記第２埋め込みベクトルに関する逆埋め込み処理を実行して、デコーダ出力を生成するステップと、
    前記デコーダ出力を前記リアルデータの前記第１部分と比較するステップと、
    前記デコーダ出力と前記リアルデータの前記第１部分との間の不一致に応じて、エンコーダの動作を変更するステップと、
    を更に含む請求項２に記載の方法。
  4. 前記デコーダは２個のデコーダのうちの第１デコーダであり、前記デコーダ出力は２個のデコーダ出力のうちの第１デコーダ出力であり、
    前記方法は、
    前記２個のデコーダのうちの第２デコーダにおいて、前記第２認知値型の前記第２埋め込みベクトル及び前記第１認知値型の前記第１埋め込みベクトルを受信するステップと、
    前記第２デコーダにより、前記第２埋め込みベクトル及び前記第１埋め込みベクトルに関する前記逆埋め込み処理を実行して、第２デコーダ出力を生成するステップと、
    前記第２デコーダ出力を前記リアルデータの前記第２部分と比較するステップと、
    前記第２デコーダ出力と前記リアルデータの前記第２部分との間の不一致に応答して、前記エンコーダの別の動作を更に変更するステップと、
    を更に含む請求項３に記載の方法。
  5. 前記の２個の認知値は、
    人工知能（ＡＩ）システムの決定に関する情報を提供する教育的値、及び、
    前記ＡＩシステムの前記決定を変更するための指導的情報を提供する動作値、
    を含む、請求項２に記載の方法。
  6. 前記追加パラメータセットを生成する前記ステップは、ガウス分布の混合としてノイズ入力をモデル化するステップを含む、請求項１に記載の方法。
  7. 前記リアルデータと前記２以上の生成されたステートメントとの間の比較に基づき前記２以上の生成されたステートメントを評価するステップ、を更に含み、前記生成されたステートメントを評価する前記ステップは、生成器により前記２以上の生成されたステートメントを向上するために使用されるバイナリ信号の合成データ出力を生成するステップを含む、請求項１に記載の方法。
  8. 前記限定的データセットは、特定決定出力に関する約１００個より少ないユニークな理由を有する約２０００個のセンテンス／ユーザケースを含み、
    前記リアルデータの前記第１部分及び前記リアルデータの前記第２部分は、手動で識別される、
    請求項１に記載の方法。
  9. 前記特定決定出力は、
    融資アプリケーションに関する結果、
    情報技術ヘルプデスクに関する説明、
    企業アプリケーションに関する説明、又は、
    財務決定に関する説明、
    を記述する、請求項８に記載の方法。
  10. 前記２以上の生成されたステートメントを音声出力に変換するステップと、
    ネットワークに基づくアプリケーション相互作用の間に前記音声出力をユーザに伝達するステップと、
    を更に含む請求項１に記載の方法。
  11. 敵対的生成ネットワーク（ＧＡＮ）であって、
    エンコーダであって、
    ２以上の認知値型を有するリアルデータを含む限定的データセットを受信し、前記２以上の認知値型は互いに関連し、
    前記リアルデータをエンコーダ出力に埋め込み、前記エンコーダ出力は前記２以上の認知値型の各々の埋め込みベクトルを含む、エンコーダと、
    前記リアルデータの第１部分に第１損失関数を適用するよう構成される第１分類器であって、前記リアルデータの前記第１部分は前記２以上の認知値型のうち第１認知値型を有すると識別され、前記第１損失関数は前記リアルデータの前記第１部分の前記第１認知値型との整合を保証するよう構成される、第１分類器と、
    前記リアルデータの第２部分に第２損失関数を適用するよう構成される第２分類器であって、前記第２部分は前記２以上の認知値型のうち第２認知値型を有すると識別され、前記第２損失関数は前記リアルデータの前記第２部分の前記第２認知値型との整合を保証するよう構成される、第２分類器と、
    追加パラメータセットを生成するよう構成されるノイズモデルであって、前記追加パラメータセットは、前記リアルデータに対する補足であり、モデルの表現力を向上するよう構成される、ノイズモデルと、
    前記追加パラメータセット及び前記エンコーダ出力に基づき２以上のステートメントを生成するよう構成される生成器であって、前記２以上のステートメントの各々は前記２以上の認知値型のうちの１つのスタイルを有する、生成器と、
    を含むＧＡＮ。
  12. 前記２以上の認知値型は、前記第１認知値型及び前記第２認知値型のみを含み、
    前記限定的データセットは、説明ペアを含み、
    前記説明ペアの各々の第１説明は前記第１認知値型に対応し、
    前記説明ペアの各々の第２説明は前記第２認知値型に対応し、
    前記第１説明及び前記第２説明は両方とも前記リアルデータの中で識別された共通問題を解決する、
    請求項１１に記載のＧＡＮ。
  13. 第１デコーダモジュールであって、
    前記第１認知値型の第１埋め込みベクトル及び前記第２認知値型の第２埋め込みベクトルを受信し、
    前記第１埋め込みベクトル及び前記第２埋め込みベクトルに関する逆埋め込み処理を実行して、デコーダ出力を生成し、
    前記デコーダ出力を前記リアルデータの前記第１部分と比較し、
    前記デコーダ出力と前記リアルデータの前記第１部分との間の不一致に応じて、エンコーダの動作を変更する、
    よう構成される第１デコーダモジュール、を更に含む請求項１２に記載のＧＡＮ。
  14. 第２デコーダモジュールであって、
    前記第２認知値型の前記第２埋め込みベクトル及び前記第１認知値型の前記第１埋め込みベクトルを受信し、
    前記第２埋め込みベクトル及び前記第１埋め込みベクトルに関する前記逆埋め込み処理を実行して、第２デコーダ出力を生成し、
    前記第２デコーダ出力を前記リアルデータの前記第２部分と比較し、
    前記第２デコーダ出力と前記リアルデータの前記第２部分との間の不一致に応じて、前記エンコーダの別の動作を変更する、
    よう構成される第２デコーダモジュール、を更に含む請求項１３に記載のＧＡＮ。
  15. 前記の２個の認知値は、
    人工知能（ＡＩ）システムの決定に関する情報を提供する教育的値、及び、
    前記ＡＩシステムの前記決定を変更するための指導的情報を提供する動作値、
    を含む、請求項１２に記載のＧＡＮ。
  16. 前記追加パラメータセットを生成することは、ガウス分布の混合としてノイズ入力をモデル化することを含む、請求項１１に記載のＧＡＮ。
  17. 識別器であって、
    リアルデータと前記追加パラメータセットとの間の比較に基づき前記生成されたステートメントを評価し、
    生成されたステートメントを変更するために前記生成器により使用されるバイナリ信号の合成データ出力を生成する、
    よう構成される識別器を更に含む、請求項１１に記載のＧＡＮ。
  18. 前記限定的データセットは、特定決定出力に関する約１００個より少ないユニークな理由を有する約２０００個のセンテンス／ユーザケースを含み、
    前記リアルデータの前記第１部分及び前記リアルデータの前記第２部分は、手動で識別される、
    請求項１１に記載のＧＡＮ。
  19. 前記特定決定出力は、
    融資アプリケーションに関する結果、
    情報技術ヘルプデスクに関する説明、
    企業アプリケーションに関する説明、又は、
    財務決定に関する説明、
    を記述する、請求項１８に記載のＧＡＮ。
  20. テキスト音声生成器であって、
    前記２以上の生成されたステートメントを音声出力に変換し、
    ネットワークに基づくアプリケーション相互作用の間に前記音声出力をユーザに伝達する、
    よう構成されるテキスト音声生成器、を更に含む請求項１１に記載のＧＡＮ。
JP2019174283A 2018-10-17 2019-09-25 敵対的生成ネットワークを用いる異なる認知値により説明生成 Withdrawn JP2020064622A (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201862747010P 2018-10-17 2018-10-17
US62/747010 2018-10-17
US16/278609 2019-02-18
US16/278,609 US11017307B2 (en) 2018-10-17 2019-02-18 Explanations generation with different cognitive values using generative adversarial networks

Publications (1)

Publication Number Publication Date
JP2020064622A true JP2020064622A (ja) 2020-04-23

Family

ID=70280791

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019174283A Withdrawn JP2020064622A (ja) 2018-10-17 2019-09-25 敵対的生成ネットワークを用いる異なる認知値により説明生成

Country Status (2)

Country Link
US (1) US11017307B2 (ja)
JP (1) JP2020064622A (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11645543B2 (en) * 2020-01-30 2023-05-09 Visa International Service Association System, method, and computer program product for implementing a generative adversarial network to determine activations
US11507670B2 (en) * 2020-03-04 2022-11-22 International Business Machines Corporation Method for testing an artificial intelligence model using a substitute model
CN112037760B (zh) * 2020-08-24 2022-01-07 北京百度网讯科技有限公司 语音频谱生成模型的训练方法、装置及电子设备

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10360470B2 (en) * 2016-10-10 2019-07-23 Gyrfalcon Technology Inc. Implementation of MobileNet in a CNN based digital integrated circuit
US10339445B2 (en) * 2016-10-10 2019-07-02 Gyrfalcon Technology Inc. Implementation of ResNet in a CNN based digital integrated circuit
US10366328B2 (en) * 2017-09-19 2019-07-30 Gyrfalcon Technology Inc. Approximating fully-connected layers with multiple arrays of 3x3 convolutional filter kernels in a CNN based integrated circuit
US11593632B2 (en) * 2016-12-15 2023-02-28 WaveOne Inc. Deep learning based on image encoding and decoding
US10475165B2 (en) * 2017-04-06 2019-11-12 Disney Enterprises, Inc. Kernel-predicting convolutional neural networks for denoising
US10242292B2 (en) * 2017-06-13 2019-03-26 Digital Surgery Limited Surgical simulation for training detection and classification neural networks
US10162816B1 (en) * 2017-06-15 2018-12-25 Oath Inc. Computerized system and method for automatically transforming and providing domain specific chatbot responses
EP4080393A1 (en) * 2017-07-24 2022-10-26 Samsung Electronics Co., Ltd. Electronic device and method for controlling the electronic device
US10860919B2 (en) * 2017-09-27 2020-12-08 Google Llc End to end network model for high resolution image segmentation
US10642846B2 (en) * 2017-10-13 2020-05-05 Microsoft Technology Licensing, Llc Using a generative adversarial network for query-keyword matching
US10572801B2 (en) * 2017-11-22 2020-02-25 Clinc, Inc. System and method for implementing an artificially intelligent virtual assistant using machine learning
US10705216B2 (en) * 2017-12-07 2020-07-07 Institute For Information Industry Three-dimensional point cloud tracking apparatus and method using recurrent neural network
US10380260B2 (en) 2017-12-14 2019-08-13 Qualtrics, Llc Capturing rich response relationships with small-data neural networks
US10491856B2 (en) * 2018-03-15 2019-11-26 Disney Enterprises, Inc. Video frame interpolation using a convolutional neural network
US10789703B2 (en) * 2018-03-19 2020-09-29 Kla-Tencor Corporation Semi-supervised anomaly detection in scanning electron microscope images
US11481416B2 (en) * 2018-07-12 2022-10-25 International Business Machines Corporation Question Answering using trained generative adversarial network based modeling of text
US11151334B2 (en) * 2018-09-26 2021-10-19 Huawei Technologies Co., Ltd. Systems and methods for multilingual text generation field

Also Published As

Publication number Publication date
US11017307B2 (en) 2021-05-25
US20200125975A1 (en) 2020-04-23

Similar Documents

Publication Publication Date Title
JP2020064621A (ja) 敵対的生成ネットワークを用いるユーザフレンドリな説明生成
US11120217B2 (en) Natural language translation-based orchestration workflow generation
WO2022089256A1 (zh) 联邦神经网络模型的训练方法、装置、设备、计算机程序产品及计算机可读存储介质
Tao et al. Testing and quality validation for ai software–perspectives, issues, and practices
WO2019220260A1 (en) Explanations for artificial intelligence based recommendations
JP2020064622A (ja) 敵対的生成ネットワークを用いる異なる認知値により説明生成
US10169336B2 (en) Translating structured languages to natural language using domain-specific ontology
CN110377759A (zh) 事件关系图谱构建方法及装置
US10635964B2 (en) Selecting optimal variables using modified teaching learning based search optimization technique
CN111095234A (zh) 训练数据更新
US10831799B2 (en) External action execution with conversational agent
US10885332B2 (en) Data labeling for deep-learning models
US11741371B2 (en) Automatically generating diverse text
JPWO2018062265A1 (ja) 音響モデル学習装置、その方法、及びプログラム
Dietzmann et al. The convergence of distributed ledger technology and artificial intelligence: An end-to-end reference lending process for financial services
EP3637249A1 (en) Systems and methods for validating domain specific models
US20210041991A1 (en) System and method for implementing a self service machine learning framework
US20200005769A1 (en) Neural network-based acoustic model with softening target-layer
Tolomei et al. Prompt-to-OS (P2OS): Revolutionizing Operating Systems and Human-Computer Interaction with Integrated AI Generative Models
Dinesh et al. Ai bot for academic schedules using rasa
US10970490B2 (en) Automatic evaluation of artificial intelligence-based processes
JP2021108095A (ja) スピーチ理解における解析異常の情報を出力するための方法
Raj et al. A generative model based chatbot using recurrent neural networks
WO2022121663A1 (en) Adversarial hardening of queries against automated responses
US20220044766A1 (en) Class-dependent machine learning based inferences

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220609

A761 Written withdrawal of application

Free format text: JAPANESE INTERMEDIATE CODE: A761

Effective date: 20230206