JP2023159453A - 文生成装置、文生成学習装置、文生成方法、文生成学習方法及びプログラム - Google Patents

文生成装置、文生成学習装置、文生成方法、文生成学習方法及びプログラム Download PDF

Info

Publication number
JP2023159453A
JP2023159453A JP2023142658A JP2023142658A JP2023159453A JP 2023159453 A JP2023159453 A JP 2023159453A JP 2023142658 A JP2023142658 A JP 2023142658A JP 2023142658 A JP2023142658 A JP 2023142658A JP 2023159453 A JP2023159453 A JP 2023159453A
Authority
JP
Japan
Prior art keywords
sentence
input
words
output
text
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2023142658A
Other languages
English (en)
Inventor
いつみ 斉藤
Itsumi Saito
京介 西田
Kyosuke Nishida
光甫 西田
Mitsuho Nishida
久子 浅野
Hisako Asano
準二 富田
Junji Tomita
淳史 大塚
Atsushi Otsuka
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Publication of JP2023159453A publication Critical patent/JP2023159453A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/55—Rule-based translation
    • G06F40/56—Natural language generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/34—Browsing; Visualisation therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/216—Parsing using statistical methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/284—Lexical analysis, e.g. tokenisation or collocates

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Machine Translation (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

【課題】文を生成する際に考慮すべき情報をテキストとして付加可能とすること。【解決手段】文生成装置は、入力文と、前記入力文に含まれる各単語の重要度と、出力長とに基づいて単語のセットを抽出する内容選択部と、前記入力文と前記単語のセットとを入力し、前記入力文と前記単語のセットに基づいて出力文を生成するよう教師あり学習された機械学習モデルに、前記入力文と前記単語のセットに対応する情報を入力することで、前記入力文と前記単語のセットに基づいて出力文を生成する生成部と、を有する。【選択図】図２

Description

特許法第３０条第２項適用申請有り ２０１９年３月４日にｈｔｔｐｓ：／／ｗｗｗ．ａｎｌｐ．ｊｐ／ｎｌｐ２０１９／ｐｒｏｇｒａｍ．ｈｔｍｌ及びｈｔｔｐｓ：／／ｗｗｗ．ａｎｌｐ．ｊｐ／ｎｌｐ２０１９／＃ｐｒｏｃｅｅｄｉｎｇｓのウェブサイトで公開されている言語処理学会第２５回年次大会（ＮＬＰ２０１９）の予稿集にて発表 ２０２０年１月２１日にｈｔｔｐｓ：／／ａｒｘｉｖ．ｏｒｇ／ａｂｓ／２００１．０７３３１及びｈｔｔｐｓ：／／ａｒｘｉｖ．ｏｒｇ／ｐｄｆ／２００１．０７３３１．ｐｄｆのウェブサイトで公開されている論文サイトａｒＸｉｖにて発表
本発明は、文生成装置、文生成学習装置、文生成方法、文生成学習方法及びプログラムに関する。
ニューラルネットに基づく文の生成技術は進展している。当該生成技術は、テキストを入力として、予め学習済みのニューラルネットワークモデルに基づき、所定の目的の文（例えば要約文）を生成する技術である。
例えば、非特許文献１では、入力文書に含まれる文の重要度（ａｔｔｅｎｔｉｏｎ）と単語の重要度を掛け合わせて求めた単語レベルの重要度を文生成時に反映させる手法が提案されている。
Wan-Ting Hsu, Chieh-Kai Lin, Ming-Ying Lee, Kerui Min, Jing Tang, Min Sun. 2018. A Unified Model for Extractive and Abstractive Summarization using Inconsistency Loss.
しかしながら、非特許文献１では、文を生成する際に考慮すべき情報を、重要度のスコアや、長さＥｍｂｅｄｄｉｎｇ等の形式で与えており、テキストとして与えることができない。
本発明は、上記の点に鑑みてなされたものであって、文を生成する際に考慮すべき情報をテキストとして付加可能とすることを目的とする。
そこで上記課題を解決するため、文生成装置は、入力文と、前記入力文に含まれる各単語の重要度と、出力長とに基づいて単語のセットを抽出する内容選択部と、前記入力文と前記単語のセットとを入力し、前記入力文と前記単語のセットに基づいて出力文を生成するよう教師あり学習された機械学習モデルに、前記入力文と前記単語のセットに対応する情報を入力することで、前記入力文と前記単語のセットに基づいて出力文を生成する生成部と、を有する。
文を生成する際に考慮すべき情報をテキストとして付加可能とすることができる。
第１の実施の形態における文生成装置１０のハードウェア構成例を示す図である。 第１の実施の形態における文生成装置１０の機能構成例を示す図である。 第１の実施の形態における生成部１２の構成例を示す図である。 第１の実施の形態における文生成装置１０が実行する処理手順の一例を説明するためのフローチャートである。 各単語に対する重要度の推定を説明するための図である。 第１の実施の形態における生成部１２による処理を説明するための図である。 第１の実施の形態における文生成装置１０の学習時における機能構成例を示す図である。 第２の実施の形態における生成部１２の構成例を示す図である。 第２の実施の形態における生成部１２による処理を説明するための図である。 第３の実施の形態における文生成装置１０の機能構成例を示す図である。 第３の実施の形態における文生成装置１０が実行する処理手順の一例を説明するためのフローチャートである。 知識源ＤＢ２０の構成例を示す図である。 関連度計算モデルの第１の例を説明するための図である。 関連度計算モデルの第２の例を説明するための図である。 第３の実施の形態における文生成装置１０の学習時における機能構成例を示す図である。 第４の実施の形態における文生成装置１０の機能構成例を示す図である。 第４の実施の形態における生成部１２の構成例を示す図である。 第４の実施の形態におけるモデル構成例を示す図である。 第４の実施の形態における文生成装置１０の学習時における機能構成例を示す図である。 第５の実施の形態における文生成装置１０の機能構成例を示す図である。 第５の実施の形態における生成部１２の構成例を示す図である。 第５の実施の形態におけるモデル構成例を示す図である。 第６の実施の形態における文生成装置１０の機能構成例を示す図である。 第６の実施の形態におけるモデル構成例を示す図である。 第６の実施の形態における文生成装置１０の学習時における機能構成例を示す図である。 第７の実施の形態における文生成装置１０の機能構成例を示す図である。 第７の実施の形態における文生成装置１０の学習時における機能構成例を示す図である。
以下、図面に基づいて本発明の実施の形態を説明する。図１は、第１の実施の形態における文生成装置１０のハードウェア構成例を示す図である。図１の文生成装置１０は、それぞれバスＢで相互に接続されているドライブ装置１００、補助記憶装置１０２、メモリ装置１０３、ＣＰＵ１０４、及びインタフェース装置１０５等を有する。
文生成装置１０での処理を実現するプログラムは、ＣＤ－ＲＯＭ等の記録媒体１０１によって提供される。プログラムを記憶した記録媒体１０１がドライブ装置１００にセットされると、プログラムが記録媒体１０１からドライブ装置１００を介して補助記憶装置１０２にインストールされる。但し、プログラムのインストールは必ずしも記録媒体１０１より行う必要はなく、ネットワークを介して他のコンピュータよりダウンロードするようにしてもよい。補助記憶装置１０２は、インストールされたプログラムを格納すると共に、必要なファイルやデータ等を格納する。
メモリ装置１０３は、プログラムの起動指示があった場合に、補助記憶装置１０２からプログラムを読み出して格納する。ＣＰＵ１０４は、メモリ装置１０３に格納されたプログラムに従って文生成装置１０に係る機能を実行する。インタフェース装置１０５は、ネットワークに接続するためのインタフェースとして用いられる。
なお、文生成装置１０は、ＣＰＵ１０４の代わりに、又はＣＰＵ１０４と共にＧＰＵ（Graphics Processing Unit）を有してもよい。
図２は、第１の実施の形態における文生成装置１０の機能構成例を示す図である。図２において、文生成装置１０は、内容選択部１１及び生成部１２を有する。これら各部は、文生成装置１０にインストールされた１以上のプログラムが、ＣＰＵ１０４又はＧＰＵに実行させる処理により実現される。
文生成装置１０には、ソーステキスト（入力文）及び入力文とは異なる情報（ソーステキストの要約において考慮すべき条件又は情報（以下、「考慮情報」という。））がテキストとして入力される。考慮情報として、第１の実施の形態では、ソーステキストに基づいて文生成装置１０が生成する文（要約文）の長さ（単語数）Ｋ（以下、「出力長Ｋ」という。）が採用される例について説明する。
内容選択部１１は、ソーステキストを構成する各単語について、重要度［０，１］を推定する。内容選択部１１は、出力長Ｋに基づいて、所定数（重要度が上位Ｋ番目まで）の単語を抽出し、抽出した単語を連結した結果を参考テキストとして出力する。なお、重要度とは、単語が要約文に含まれる確率をいう。
生成部１２は、ソーステキストと、内容選択部１１から出力される参考テキストとに基づいてターゲットテキスト（要約文）を生成する。
なお、内容選択部１１及び生成部１２は、文生成タスク（本実施の形態では、要約）を実行するニューラルネットワークに基づく。具体的には、内容選択部１１は、ＢＥＲＴ（Bidirectional Encoder Representations from Transformers）に基づき、生成部１２は、Ｔｒａｎｓｆｏｒｍｅｒ－ｂａｓｅｄ ｐｏｉｎｔｅｒ ｇｅｎｅｒａｔｏｒモデル「Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser, and Illia Polosukhin. 2017. Attention is all you need. In Advances in Neural Information Processing Systems 30, pages 5998-6008.」（以下、「参考文献１」という。）に基づく。したがって、内容選択部１１及び生成部１２による処理は、当該ニューラルネットワークについての学習パラメータの学習済みの値（学習済みパラメータ）に基づいて処理を実行する。
図３は、第１の実施の形態における生成部１２の構成例を示す図である。図３に示されるように、生成部１２は、ソーステキスト符号化部１２１、参考テキスト符号化部１２２、復号化部１２３及び合成部１２４等を含む。各部の機能については後述される。
以下、文生成装置１０が実行する処理手順について説明する。図４は、第１の実施の形態における文生成装置１０が実行する処理手順の一例を説明するためのフローチャートである。
ステップＳ１０１において、内容選択部１１は、ソーステキストＸＣに含まれる各単語について、重要度を推定（計算）する。
本実施の形態において、内容選択部１１は、ＢＥＲＴ（Bidirectional Encoder Representations from Transformers）を用いる。ＢＥＲＴは、多くのシーケンスタギングタスクでＳＯＴＡ（State-of-the-Art）を達成している。本実施の形態において、内容選択部１１は、ＢＥＲＴトークナイザ、ｆｉｎｅ－ｔｕｎｉｎｇされたＢＥＲＴモデル、及びタスク固有に追加されたfeed forward network（フィードフォワードネットワーク）を用いてソーステキストを単語に分割する。内容選択部１１は、以下の式に基づいて、単語ｘＣ ｎの重要度ｐｅｘｔ ｎを計算する。なお、ｐｅｘｔ ｎは、ソーステキストＸＣにおけるｎ番目の単語ｘＣ ｎの重要度を示す。
Figure 2023159453000002
 但し、ＢＥＲＴ（）は、事前トレーニングされたＢＥＲＴの最後の隠れ状態である。
Figure 2023159453000003
 とｂ１は、内容選択部１１の学習パラメータである。σは、シグモイド関数である。ｄｂｅｒｔは、事前学習済みＢＥＲＴの最後の隠れ状態の次元である。
図５は、各単語に対する重要度の推定を説明するための図である。図５では、ソーステキストＸＣにＮ個の単語が含まれている例が示されている。この場合、内容選択部１１は、Ｎ個の単語のそれぞれの重要度ｐｅｘｔ ｎを計算する。
続いて、内容選択部１１は、重要度ｐｅｘｔ ｎの大きい単語から順にＫ個の単語の集合（単語列）を抽出する（Ｓ１０２）。なお、Ｋは、上記したように出力長である。抽出された単語列は、参考テキストとして生成部１２に出力される。
但し、ステップＳ１０１において、重要度は、以下の式（２）のｐｅｘｔw nとして計算されてもよい。この場合、ｐｅｘｔw nの大きい単語から順にＫ個の単語の集合（単語列）が参考テキストとして抽出される。
Figure 2023159453000004
 但し、ＮＳｊは、ｊ番目の文Ｓｊ∈ＸＣの単語数である。この重み付けを使用することにより、文レベルの重要度を組み込むことができ、単語レベルの重要度ｐｅｘｔ ｎのみを使用する場合よりも流暢な参考テキストを抽出することができる。
式（１）又は式（２）のいずれを使用する場合であっても、本実施の形態によれば、参考テキスト内の単語の数に応じて要約文の長さを制御できる。
続いて、生成部１２は、参考テキスト及びソーステキストＸＣに基づいて、要約文を生成する（Ｓ１０３）。
ステップＳ１０３の詳細について以下に説明する。図６は、第１の実施の形態における生成部１２による処理を説明するための図である。
［ソーステキスト符号化部１２１］
ソーステキスト符号化部１２１は、ソーステキストＸＣを受け取り、
Figure 2023159453000005
 を出力する。ここで、ｄｍｏｄｅｌは、Ｔｒａｎｓｆｏｒｍｅｒのモデルサイズである。
ソーステキスト符号化部１２１の埋め込み層は、各単語ｘＣ ｎ（サイズＶ）のｏｎｅ－ｈｏｔベクトルを、Ｇｌｏｖｅ（「Jeffrey Pennington, Richard Socher, and Christopher D. Manning. 2014. Glove: Global vectors for word representation. In In EMNLP.」（以下、「参考文献２」という。））のような事前学習された重み行列
Figure 2023159453000006
 によって、ｄｗｏｒｄ次元のベクトル列へ投影する。
次に、埋め込み層は、完全に接続されたレイヤを使用して、ｄｗｏｒｄ次元の単語埋め込みをｄｍｏｄｅｌ次元のベクトルにマッピングし、マッピングされた埋め込みをＲｅＬＵ関数に渡す。埋め込み層は、また、単語の埋め込みに位置エンコードを追加する（参考文献１）。
ソーステキスト符号化部１２１のTransformer Endcoder Blockは、参考文献１のそれと同じ構造を有する。Transformer Endcoder Blockは、Multi-head self-attentionネットワークと、完全に接続されたfeed forward network（フィードフォワードネットワーク）とから構成される。各ネットワークは、residual connection（リジジュアル コネクション）を適用する。
［参考テキスト符号化部１２２］
参考テキスト符号化部１２２は、それぞれの重要度を伴った上位Ｋ個の単語列である参考テキストＸｐを受け取る。参考テキストＸｐにおける単語の並び順は、ソーステキストの出現順に再配置される。参考テキスト符号化部１２２からの出力は、以下の通りである。
Figure 2023159453000007
 参考テキスト符号化部１２２の埋め込み層は、入力を除いてソーステキスト符号化部１２１の埋め込み層と同じである。
参考テキスト符号化部１２２のTransformer Decoder Blockは、参考文献１のそれとほぼ同じである。参考テキスト符号化部１２２は、各エンコーダレイヤの２つのサブレイヤに加えて、エンコーダスタックの出力でマルチヘッドアテンションを実行するインタラクティブなアライメントレイヤを有する。residual connection（リジジュアル コネクション）は、ソーステキスト符号化部１２１のTransformer Endcoder Blockと同じ方法で適用される。
［復号化部１２３］
復号化部１２３は、Ｍｐと自己回帰プロセスとして生成された要約文Ｙの単語列とを受け取る。ここで、Ｍｐ ｔは、要約文を生成するためのガイドベクトルとして使用される。復号化部１２３からの出力は、以下の通りである。
Figure 2023159453000008
 但し、ｔ∈Ｔは、各デコードステップである。
復号化部１２３の埋め込み層は、事前学習済みの重み行列Ｗｅ ｔを使用して、要約文Ｙにおけるｔ番目の単語ｙｔをＭｙ ｔにマッピングする。埋め込み層は、Ｍｙ ｔとＭｐ ｔとを連結し、それをハイウェイネットワーク（highway network）（「Rupesh Kumar Srivastava, Klaus Greff, and Jurgen Schmidhuber. 2015. Highway networks. CoRR, 1505.00387.」）に引き渡す。したがって、連結された埋め込みは、
Figure 2023159453000009
 である。Ｗｍｅｒｇｅは、モデル次元のベクトルにマップされ、ソーステキスト符号化部１２１及び参考テキスト符号化部１２２のようにＲｅＬＵを通過する。マッピングされたベクトルには位置エンコードが追加される。
復号化部１２３のTransformer Decoder Blockは、参考文献１のそれと同じ構造を有する。このコンポーネントはテスト時に段階的に使用されるため、後続のマスクが使用される。
［合成部１２４］
合成部１２４は、Pointer-Generatorを用いて、コピーの分布に基づいてソーステキスト及び復号化部１２３のいずれかの情報を選択し、選択された情報に基づいて要約文を生成する。
本実施の形態では、コピー分布として、復号化部１２３の最初のアテンションヘッドが使用される。 したがって、最終的な語彙の分布は以下の通りである。
Figure 2023159453000010
 ここで、生成確率は、以下の通りに定義される。
Figure 2023159453000011
 ｐ（ｙｔ｜ｚｔ＝１，ｙ１：ｔ-１，ｘ）は、コピー分布である。ｐ（ｚｔ）は、ｙｔがソーステキストからコピーされるかどうかの重みを表すコピー確率である。ｐ（ｚｔ）は、以下の通り定義される。
Figure 2023159453000012
 なお、図４のステップＳ１０１における重要度の推定は、「斉藤いつみ, 西田京介, 大塚淳史, 西田光甫, 浅野久子, 富田準二、"クエリ・出力長を考慮可能な文書要約モデル"、言語処理学会第25回年次大会(NLP2019)、https://www.anlp.jp/proceedings/annual_meeting/2019/pdf_dir/P2-11.pdf」にて開示されている方法によって実現されてもよい。
続いて、学習について説明する。図７は、第１の実施の形態における文生成装置１０の学習時における機能構成例を示す図である。図７中、図３と同一部分には同一符号を付し、その説明は省略する。
学習時において、文生成装置１０は、更に、パラメータ学習部１３を有する。パラメータ学習部１３は、文生成装置１０にインストールされた１以上のプログラムが、ＣＰＵ１０４又はＧＰＵに実行させる処理により実現される。
［内容選択部１１の学習データ］
例えば、「Sebastian Gehrmann, Yuntian Deng, and Alexander Rush. 2018. Bottom-up abstractive summarization. In EMNLP, pages 4098-4109.」（以下、「参考文献３」という。）のような擬似トレーニングデータを学習データとして用いる。当該学習データは、全てのソーステキストＸＣ ｎの単語ｘＣ ｎ及びラベルｒｎのペア（ｘＣ ｎ，ｒｎ）で構成される。要約文でｘＣ ｎが選択される場合、ｒｎは１である。このペアのデータを自動的に作成するには、まず、「Wan-Ting Hsu, Chieh-Kai Lin, Ming-Ying Lee, Kerui Min, Jing Tang, and Min Sun. 2018. A unified model for extractive and abstractive summarization using inconsistency loss. In ACL (1), pages 132- 141.」と同じ方法でＲＯＵＧＥ－Ｒスコアを最大化するオラクルのソース文Ｓｏｒａｃｌｅを抽出する。次に、動的プログラミングアルゴリズムを使用して、リファレンスサマリとＳｏｒａｃｌｅ間の単語ごとのアライメントを計算する。最後に、アライメントが取れた全ての単語に１のラベルを付与し、他の単語に０のラベルを付与する。
［生成部１２の学習データ］
生成部１２の学習のためには、ソーステキスト、抽出された単語のゴールドセット、及びターゲットテキスト（要約文）の３つの組のデータ（ＸＣ，Ｘｐ，Ｙ）を作成する必要がある。具体的には、内容選択部１１を使用してオラクル文Ｓｏｒａｃｌｅを選択し、Ｓｏｒａｃｌｅの全ての単語ｘＣ ｎに対してｐｅｘｔ ｎをスコアリングする。次に、ｐｅｘｔ ｎに従って上位Ｋ個の単語を選択する。なお、元の単語の順序はＸｐで保持される。Ｋは、リファレンスサマリ長Ｔを使用して計算される。目的の長さに近い自然な要約文を取得するには、リファレンスサマリ長Ｔを個別のサイズ範囲に量子化する。本実施の形態では、サイズ範囲は５に設定される。
［内容選択部１１の損失関数］
内容選択部１１が実行する処理は、単純なバイナリ分類タスクであるため、バイナリクロスエントロピー損失を使用する。
Figure 2023159453000013
 但し、Ｍは、学習例の数である。
［生成部１２の損失関数］
生成部１２の主な損失は、クロスエントロピー損失である。
Figure 2023159453000014
 更に、参考テキスト符号化部１２２及び復号化部１２３のアテンションガイド損失を追加する。このアテンションガイド損失は、推定されたアテンション分布を参照アテンションに導くように設計されている。
Figure 2023159453000015
 ｐ（ａｓｕｍ ｔ）及びｐ（ａｓａｌ ｌ）は、それぞれ復号化部１２３及び参考テキスト符号化部１２２のアテンションヘッドのトップである。ｎ（ｔ）は、要約単語列のｔ番目の単語に対応するソーステキスト内の絶対位置を示す。
生成部１２の全体的な損失は、上記３つの損失の線形結合である。
Figure 2023159453000016
 λ１及びλ２は、後述の実験では０．５に設定された。
上記より、パラメータ学習部１３は、上記した学習データに基づく内容選択部１１及び生成部１２の処理結果を、上記の損失関数によって評価し、当該損失関数が収束するまで内容選択部１１及び生成部１２のそれぞれの学習パラメータを更新する。当該損失関数が収束した際の学習パラメータの値が、学習済みパラメータとして利用される。
［実験］
第１の実施の形態について行った実験について説明する。
＜データセット＞
ニュース要約の標準コーパスであるＣＮＮ－ＤＭデータセット（「Karl Moritz Hermann, Tomas Kocisky, Edward Grefenstette, Lasse Espeholt, Will Kay, Mustafa Suleyman, and Phil Blunsom. 2015. Teaching machines to read and comprehend. In Advances in Neural Information Processing Systems 28, pages 1693-1701.」（以下、「参考文献４」という。））を使用した。要約は、それぞれのＷｅｂサイトに表示される記事の箇条書きである。「Abigail See, Peter J. Liu, and Christopher D. Manning. 2017. Get to the point: Summarization with pointergenerator networks. In ACL (1), pages 1073-1083. （2017）」に従い、コーパスの匿名化されていないバージョンを使用し、ソースドキュメントを４００トークンに、ターゲットサマリーを１２０トークンに切り詰めた。データセットは、２８６８１７個のトレーニングペア、１３３６８個の検証ペア、及び１１４８７個のテストペアを含む。モデルのドメイン移転能力を評価するために、Ｎｅｗｓｒｏｏｍデータセットも使用した（「Max Grusky, Mor Naaman, and Yoav Artzi. 2018. Newsroom: A dataset of 1.3 million summaries with diverse extractive strategies. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers), pages 708-719. Association for Computational Linguistics.」）。
ＣＮＮ／ＤＭデータセットで学習された生成部１２を使用しながら、Ｎｅｗｓｒｏｏｍデータセットで内容選択部１１を学習させた（参考文献３）。Ｎｅｗｓｒｏｏｍには、さまざまなニュースソース（３８の異なるニュースサイト）が含まれている。内容選択部１１の学習のために、全ての学習データから３０００００トレーニングペアをサンプリングした。テストペアのサイズは１０６３４９である。
＜モデル構成＞
２つのデータセットに同じ構成を使用した。 内容選択部１１は、事前に学習されたＢＥＲＴラージモデルを使用した（「Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. 2018. Bert: Pre-training of deep bidirectional transformers for language understanding. CoRR.」）。２つのエポックのＢＥＲＴをｆｉｎｅ－ｔｕｎｉｎｇした。デフォルト設定は、ｆｉｎｅ－ｔｕｎｉｎｇのための他のパラメータに使用した。内容選択部１１及び生成部１２は、事前に学習された３００次元のＧｌｏＶｅ埋め込みを使用した。Ｔｒａｎｓｆｏｒｍｅｒ ｄｍｏｄｅｌのモデルサイズは５１２に設定された。Ｔｒａｎｓｆｏｒｍｅｒは、ソーステキスト符号化部１２１、参考テキスト符号化部１２２及び復号化部１２３のための４つのＴｒａｎｓｆｏｒｍｅｒブロックを含む。ヘッドの数は８で、feed forward network（フィードフォワードネットワーク）の次元の数は２０４８にした。ドロップアウト率は０．２に設定した。最適化には、β１＝０．９、β２＝０．９８、ε＝ｅ－９であるＡｄａｍオプティマイザー（「Diederik P. Kingma and Jimmy Ba. 2015. Adam: A method for stochastic optimization. In International Conference on Learning Representations (ICLR).」）を使用した。参考文献１に従い、学習中に学習率を変化させた。ウォームアップステップを８０００に設定した。入力ボキャブラリのサイズを１０００００に、出力ボキャブラリのサイズを１０００に設定した。
＜実験結果＞
表１に、非特許文献１と第１の実施の形態とのそれぞれのＲＯＵＧＥスコアを示す。
Figure 2023159453000017
 表１によれば、ＲＯＵＧＥ－１（Ｒ－１）、ＲＯＵＧＥ－２（Ｒ－２）及びＲＯＵＧＥ－Ｌ（Ｒ－Ｌ）の全ての観点において、第１の実施の形態の方が非特許文献１よりも優れていることが分かる。
上述したように、第１の実施の形態によれば、文を生成する際に考慮すべき情報（出力長）をテキストとして付加可能とすることができる。その結果、ソーステキスト（入力文）と、考慮すべき情報の特徴量と等価に扱うことが可能となる。
なお、「Yuta Kikuchi, Graham Neubig, Ryohei Sasano, Hiroya Takamura, and Manabu Okumura. 2016. Controlling output length in neural encoder-decoders. In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pages 1328-1338. Association for Computational Linguistics.」では、長さｅｍｂｅｄｄｉｎｇを用いて長さの制御を行う．この方法では，長さに応じた単語の重要度を明示的に考慮することができず，長さの制御において出力文に含めるべき情報を適切にコントロールすることができない。一方、本実施の形態によれば、長さｅｍｂｅｄｄｉｎｇを用いずに、より直接的に出力長Ｋに応じて重要な情報をコントロールしながら高精度な要約文の生成が可能である。
次に、第２の実施の形態について説明する。第２の実施の形態では第１の実施の形態と異なる点について説明する。第２の実施の形態において特に言及されない点については、第１の実施の形態と同様でもよい。
図８は、第２の実施の形態における生成部１２の構成例を示す図である。図８中、図３と同一部分には同一符号を付し、その説明は省略する。
図８では、ソーステキスト符号化部１２１及び参考テキスト符号化部１２２が相互参照する点が、図３と異なる。この相互参照は、ソーステキスト及び参考テキストが符号化される際に行われる。
このように、第２の実施の形態では、生成部１２の構成が異なる。したがって、第２の実施の形態では、ステップＳ１０３における、参考テキスト及びソーステキストＸＣに基づいて要約文を生成する手順も第１の実施の形態と異なる。
図９は、第２の実施の形態における生成部１２による処理を説明するための図である。図９に示されるように、第２の実施の形態では、ソーステキスト符号化部１２１及び参考テキスト符号化部１２２をまとめてジョイント符号化部１２５という。
［ジョイント符号化部１２５］
まず、ジョイント符号化部１２５の埋め込み層は、単語ｘＣ ｌ（サイズＶ）の各ｏｎｅ－ｈｏｔベクトルを、ＧｌｏＶｅなどの事前学習済みの重み行列
Figure 2023159453000018
 を使用して、ｄｗｏｒｄ次元のベクトル列に投影する（参考文献２）。
次に、埋め込み層は、完全に接続されたレイヤを使用して、ｄｗｏｒｄ次元の単語の埋め込みをｄｍｏｄｅｌ次元のベクトルにマッピングし、マッピングされた埋め込みをＲｅＬＵ関数に渡す。埋め込み層は、また、単語の埋め込みに位置エンコードを追加する（参考文献１）。
ジョイント符号化部１２５のTransformer Endcoder Blockは、埋め込まれたソーステキスト及び参考テキストを、Ｔｒａｎｓｆｏｒｍｅｒブロックのスタックでエンコードする。このブロックは、参考文献１のそれと同じアーキテクチャを備える。これは、Multi-head self-attentionネットワークと完全に接続されたfeed forward network（フィードフォワードネットワーク）の２つのサブコンポーネントで構成される。各ネットワークは、residual connection（リジジュアル コネクション）を適用する。このモデルでは、ソーステキストと参考テキストの両方がエンコーダスタックで個別にエンコードされる。これらの出力をそれぞれ、
Figure 2023159453000019
 で示す。
ジョイント符号化部１２５のTransformer dual encoder blocksは、エンコードされたソーステキストと参考テキストとの間のインタラクティブなアテンションを計算する。具体的には、最初にソーステキスト及び参考テキストをエンコードし、エンコーダスタックの他の出力（つまり、ＥＣ ｓ及びＥＰ Ｓ）に対してマルチヘッドアテンションを実行する。ソーステキストと参考テキストのデュアルエンコーダスタックの出力を、それぞれ、
Figure 2023159453000020
 で示す。
［復号化部１２３］
復号化部１２３の埋め込み層は、自己回帰プロセスとして生成された要約文Ｙの単語列を受け取る。復号化部１２３は、各デコードステップｔで、ジョイント符号化部１２５の埋め込み層と同じ方法で、単語ｙｔの各ｏｎｅ－ｈｏｔベクトルを投影する。
復号化部１２３のTransformer Decoder Blockは、参考文献１のそれと同じアーキテクチャを備える。このコンポーネントはテスト時に段階的に使用されるため、後続のマスクが使用される。復号化部１２３は、参考テキストがエンコードされた表現Ｍｐに対してマルチヘッドアテンションを実行するデコーダブロックのスタックを使用する。復号化部１２３は、最初のスタックの上にあるソーステキストがエンコードされた表現ＭＣのマルチヘッドアテンションを実行するデコーダブロックの別のスタックを使用する。１つ目は参考テキストの書き換えを実行し、２つ目は書き換えられた参考テキストを元のソース情報で補完する。スタックの出力は、
Figure 2023159453000021
 である。
［合成部１２４］
合成部１２４は、Pointer-Generatorを用いて、コピーの分布に基づいてソーステキスト、参考テキスト及び復号化部１２３のいずれかの情報を選択し、選択された情報に基づいて要約文を生成する。
ソーステキスト及び参考テキストのコピー分布は、以下の通りである。
Figure 2023159453000022
 但し、αｐ ｔｋとαＣ ｔｎは、それぞれ復号化部１２３における最初のスタックの最後のブロックの最初のアテンションヘッドと、復号化部１２３における２番目のスタックの最後のブロックの最初のアテンションヘッドである。
最終的な語彙の分布は以下の通りである。
Figure 2023159453000023
 続いて、学習について説明する。学習時においてパラメータ学習部１３が機能するのは、第１の実施の形態と同様である。
［内容選択部１１及び生成部１２の学習データ］
内容選択部１１及び生成部１２のそれぞれの学習データは、第１の実施の形態と同様でよい。
［内容選択部１１の損失関数］
内容選択部１１が実行する処理は、単純なバイナリ分類タスクであるため、バイナリクロスエントロピー損失を使用する。
Figure 2023159453000024
 但し、Ｍは、学習例の数である。
［生成部１２の損失関数］
生成部１２の主な損失は、クロスエントロピー損失である。
Figure 2023159453000025
 更に、復号化部１２３のアテンションガイド損失を追加する。 このアテンションガイド損失は、推定されたアテンション分布を参照アテンションに導くように設計されている。
Figure 2023159453000026
 αｐｒｏｔｏ ｔ，ｎ（ｔ）は、参考テキストのジョイントエンコーダスタックの最後のブロックの最初のアテンションヘッドである。ｎ（ｔ）は、要約単語列のｔ番目の単語に対応するソーステキスト内の絶対位置を示す。
生成部１２の全体的な損失は、上記３つの損失の線形結合である。
Figure 2023159453000027
 λ１及びλ２は、後述の実験では０．５に設定された。
上記より、パラメータ学習部１３は、上記した学習データに基づく内容選択部１１及び生成部１２の処理結果を、上記の損失関数によって評価し、当該損失関数が収束するまで内容選択部１１及び生成部１２のそれぞれの学習パラメータを更新する。当該損失関数が収束した際の学習パラメータの値が、学習済みパラメータとして利用される。
［実験］
第２の実施の形態について行った実験について説明する。第２の実施の形態の実験に用いたデータセットは、第１の実施の形態と同じである。
＜実験結果＞
表２に、非特許文献１と第２の実施の形態とのそれぞれのＲＯＵＧＥスコアを示す。
Figure 2023159453000028
 表２によれば、ＲＯＵＧＥ－１（Ｒ－１）、ＲＯＵＧＥ－２（Ｒ－２）及びＲＯＵＧＥ－Ｌ（Ｒ－Ｌ）の全ての観点において、第２の実施の形態の方が非特許文献１よりも優れていることが分かる。
上述したように、第２の実施の形態によれば、第１の実施の形態と同様の効果を得ることができる。
また、第２の実施の形態によれば、参考テキストに含まれる単語も、要約文の生成に用いることができる。
次に、第３の実施の形態について説明する。第３の実施の形態では第１の実施の形態と異なる点について説明する。第３の実施の形態において特に言及されない点については、第１の実施の形態と同様でもよい。
第３の実施の形態では、テキスト形式の文書（文の集合）である外部知識が格納された知識源ＤＢ２０から、ソーステキストに類似する情報を検索し、当該情報においてソーステキストとの関連性が高い上記Ｋ件のテキスト文及びその関連性の度合いを示す関連度を参考テキストとして用いることで、外部知識を考慮した要約を可能とし、入力文中で重要となる情報を外部知識に応じて直接的にコントロール可能とする例について説明する。
図１０は、第３の実施の形態における文生成装置１０の機能構成例を示す図である。図１０中、図２と同一又は対応する部分には同一符号を付し、その説明は適宜省略する。
図１０において、文生成装置１０は、更に検索部１４を有する。検索部１４は、ソーステキストをクエリとして知識源ＤＢ２０から情報を検索する。検索部１４によって検索された情報は、上記各実施の形態における考慮情報に相当する。すなわち、第３の実施の形態において、考慮情報は、外部知識（から、ソーステキストとの関連性に基づき作成される参考テキスト）である。
図１１は、第３の実施の形態における文生成装置１０が実行する処理手順の一例を説明するためのフローチャートである。
ステップＳ２０１において、検索部１４は、ソーステキストをクエリとして知識源ＤＢ２０を検索する。
図１２は、知識源ＤＢ２０の構成例を示す図である。図１２には、（１）及び（２）の２つの例が示されている。
（１）は、文生成装置１０が実行するタスクの入力文と出力文となるような文書のペアが知識源ＤＢ２０に記憶されている例を示す。図１２（１）では、当該タスクがタイトルの生成又は要約文の生成である場合の例として、ニュース記事とヘッドライン（又は要約文）とのペアが記憶されている例が示されている。
（２）は、上記ペアのいずれか一方の文書（図１２の例ではヘッドラインのみ）が知識源ＤＢ２０記憶されている例を示す。
いずれの場合であっても、知識源ＤＢ２０には大規模な知識（情報）が記憶されていることを想定する。
ステップＳ２０１において、検索部１４は、このような知識源ＤＢ２０から、後述のリランキング可能な個数Ｋ'（３０～１０００個程度）の文書群をｅｌａｓｔｉｃｓｅａｒｃｈなどの高速な検索モジュールを用いて検索する。
知識源ＤＢ２０が（１）のような構成を有する場合、ソーステキストとヘッドラインの類似度で検索、ソーステキストと、ニュース記事の類似度で検索、又はソーステキストと、ニュース記事＋ヘッドラインの類似度で検索、のいずれかの検索方法が考えられる。
一方、知識源ＤＢ２０が（２）のような構成を有する場合、ソーステキストとヘッドラインの類似度で検索することが考えられる。類似度とは、例えば、同じ単語を含んでいる個数やコサイン類似度等、文書間の類似性を評価する公知の指標である。
なお、本実施の形態では、（１）及び（２）のいずれの場合であっても、類似度が上記Ｋ'件のヘッドラインが検索結果として得られるとし、ヘッドラインは一つの文であるとする。以下、検索結果であるＫ'件の各文（ヘッドライン）を「知識源テキスト」という。
続いて、内容選択部１１は、予め学習済みのニューラルネットワークである関連度計算モデルを用いて、各知識源テキストについて文レベル（知識源テキストごと）の関連度を計算する（Ｓ２０２）。なお、関連度計算モデルは、内容選択部１１の一部を構成してもよい。また、関連度は、ソーステキストとの関連性、類似性又は相関性の高さを示す指標であり、第１又は第２の実施の形態における重要度に相当する。
図１３は、関連度計算モデルの第１の例を説明するための図である。図１３に示されるように、ソーステキスト及び知識源テキストは、それぞれＬＳＴＭに入力される。各ＬＳＴＭは、各テキストを構成する各単語を所定次元のベクトルに変換する。その結果、各テキストは、所定次元のベクトルの配列となる。なお、ベクトルの数（すなわち、ベクトルの配列長）Ｉは、単語数に基づいて定められる。例えば、Ｉは、３００等に設定され、単語数が３００に満たない場合は「ＰＡＤ」等、所定の単語を用いて３００単語に揃えるようにする。ここでは、便宜上、単語数＝ベクトル数とする。したがって、Ｉ個の単語を含むテキストの変換結果であるベクトルの配列長はＩとなる。
マッチングネットワークは、ソーステキストのベクトル配列と知識源テキストのベクトル配列とを入力として、当該知識源テキストについての文レベルの関連度β（０≦β≦１）を計算する。なお、マッチングネットワークには、例えば、co-attention network（「Caiming Xiong, Victor Zhong, Richard Socher、DYNAMIC COATTENTION NETWORKS FOR QUESTION ANSWERING、Published as a conference paper at ICLR 2017」）等が用いられてもよい。
図１４は、関連度計算モデルの第２の例を説明するための図である。図１４では、図１３と異なる点についてのみ説明する。
図１４においては、マッチングネットワークが、知識源テキストに含まれる単語ｉごと（すなわち、ベクトルの配列の要素ごと）に、単語レベルの関連度ｐｉ（０≦ｐｉ≦１）を計算する点が異なる。このようなマッチングネットワークも、co-attention networkを用いて実現されてもよい。
関連度計算モデルは、単語レベルの関連度ｐｉの加重和によって、文レベルの関連度βを計算する。したがって、β＝Σｗｉｐｉ（ｉ＝１，…，単語数）となる。なお、ｗｉは、ニューラルネットワークの学習可能なパラメータである。
図１３又は図１４において説明した処理は、Ｋ'個の知識源テキストに対して実行される。したがって、各知識源テキストに対して関連度βが計算される。
続いて、内容選択部１１は、図１３又は図１４のような方法によって計算した関連度βの大きい順に２以上の所定数（Ｋ個）の知識源テキストを連結した結果を参考テキストとして抽出する（Ｓ２０３）。
続いて、生成部１２は、参考テキスト及びソーステキストに基づいて、要約文を生成する（Ｓ２０４）。生成部１２が実行する処理内容は、基本的に第１又は第２の実施の形態と同様でよい。但し、参考テキストの各単語へのアテンション確率αｐ ｔｋを、単語レベルの関連度又は文レベルの関連度を用いて次のように重みづけしてもよい。なお、上記において、変数αｐ ｔｋを、アテンションヘッドとして定義したが、ここでは、αｐ ｔｋの値について言及しているため、αｐ ｔｋは、アテンション確率に相当する。また、以下では、文レベルの関連度又は単語レベルの関連度を、便宜上、βによって表記する。単語レベルの関連度及び文レベルの関連度のいずれか一方が使用されてもよいし、双方が使用されてもよい。
文レベルの関連度を使う場合、例えば、アテンション確率αｐ ｔｋは以下のように更新される。
Figure 2023159453000029
 左辺が、更新後のアテンション確率である。βＳ（ｋ）は、単語ｋを含む文Ｓの関連度βである。
なお、単語レベルの関連度を使う場合は、上記の式のβＳ（ｋ）に対して、単語ｋに対応する単語レベルの関連度ｐｉを当てはめればよい。両方用いる場合は、例えば、上記の式（２）のように、文レベルの関連度で単語レベルの関連度に重みづけを行う等が考えられる。なお、ｐｉは、文Ｓ単位に計算される。また、ｐｉは、第１の実施の形態における重要度（式（１））と同じ役割を有する。更に、ｋは、参考テキスト（抽出された文Ｓの集合）の単語に対して振られる単語番号である。
続いて、学習について説明する。図１５は、第３の実施の形態における文生成装置１０の学習時における機能構成例を示す図である。図１５中、図７又は図１０と同一又は対応する部分には同一符号を付し、その説明は適宜省略する。
第３の実施の形態において、内容選択部１１及び生成部１２の学習は、基本的に上記各実施の形態と同様でよい。ここでは、第３の実施の形態で用いられる関連度計算モデルの学習について２つの方法を説明する。
第１の方法として、関連度βの計算結果と、正解ターゲットテキストからＲｏｕｇｅ等のスコアを用いて文レベルの関連度βの正解情報を定義する方法がある。
第２の方法として、単語レベルの関連度の正解情報を、正解文（例えば、要約文等のターゲットテキスト）に、その単語が含まれているか否かの１／０で決定する方法がある。
なお、上記では、文生成装置１０が検索部１４を有する例を示したが、知識源ＤＢ２０に含まれている外部知識が予め絞り込まれている場合、当該外部知識に含まれている全ての知識源テキストが内容選択部１１に入力されてもよい。この場合、文生成装置１０は検索部１４を有さなくてよい。
上述したように、第３の実施の形態によれば、外部知識を用いることで、ソーステキストにない単語を含む要約文を効率的に生成することができる。当該単語は、知識源テキストに含まれる単語であり、知識源テキストはその名の通りテキストである。したがって、第３の実施の形態によっても、文を生成する際に考慮すべき情報をテキストとして付加可能とすることができる。
なお、「Ziqiang Cao,Wenjie Li, Sujian Li, and FuruWei. 2018. Retrieve, rerank and rewrite: Soft template based neural summarization. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pages 152-161. Association for Computational Linguistics.」に開示された技術では、外部知識を考慮してターゲットテキストを生成できるものの、（１）外部知識に含まれる単語を、そのまま文生成に用いることができない。また、（２）外部知識の内容ごとの重要度を考慮できない。一方、第３の実施の形態では、（１）外部知識の文レベル・単語レベルの関連度を考慮し、（２）ＣｏｐｙＮｅｔｗｏｒｋ（合成部１２４）を用いることで、外部知識の重要個所を出力文に含めることが可能となる。
次に、第４の実施の形態について説明する。第４の実施の形態では第１の実施の形態と異なる点について説明する。第４の実施の形態において特に言及されない点については、第１の実施の形態と同様でもよい。
図１６は、第４の実施の形態における文生成装置１０の機能構成例を示す図である。図１６中、図２と同一又は対応する部分には同一符号を付している。図１６に示されるように、第４の実施の形態において、内容選択部１１は、考慮情報を入力しない。
内容選択部１１は、Ｍ層のＴｒａｎｓｆｏｒｍｅｒＥｎｃｏｄｅｒブロック（Ｅｎｃｏｄｅｒｓａｌ）とｌ層の線形変換層からなる。内容選択部１１は、ソーステキストＸＣ中のｎ番目の単語ｘＣ ｎの重要度ｐｅｘｔ ｎを以下の式に基づいて計算する。
Figure 2023159453000030
 ここで、Ｅｎｃｏｄｅｒｓａｌ（）はＥｎｃｏｄｅｒｓａｌの最終層の出力ベクトルを表す。Ｗ１、ｂ１、σは、数１に関連して説明した通りである。
内容選択部１１は、ソーステキストＸＣをＥｎｃｏｄｅｒｓａｌに入力して得られる重要度ｐｅｘｔ ｎの高い順にＫ個の単語を参考テキストＸｐとしてＸＣから抽出する。このとき、参考テキストＸｐにおける単語の順序は、ソーステキストＸＣ内の順序を保持する。内容選択部１１は、参考テキストＸｐを生成部１２へ入力する。すなわち、第４の実施の形態では、内容選択部１１による単語の重要度の予測値に基づいて抽出された単語列が追加のテキスト情報として生成部１２に明示的に与えられる。
図１７は、第４の実施の形態における生成部１２の構成例を示す図である。図１７中、図３と同一又は対応する部分には同一符号を付している。図１７において、生成部１２は、符号化部１２６及び復号化部１２３を含む。符号化部１２６及び復号化部１２３については、図１８を参照して詳細に説明する。
図１８は、第４の実施の形態におけるモデル構成例を示す図である。図１８中、図１６又は図１７と同一又は対応する部分には同一符号を付している。なお、図１８に示されるモデルを、便宜上、ＣＩＴ（Conditionalsummarization model with Important Tokens）モデルと呼ぶ。
符号化部１２６は、Ｍ層のＴｒａｎｓｆｏｒｍｅｒ Ｅｎｃｏｄｅｒブロックからなる。符号化部１２６は、ＸＣ＋Ｘｐを入力とする。ＸＣ＋Ｘｐは、ＸＣとＸｐの間には区切りを表す特殊トークンが挿入された文字列である。本実施の形態ではＥｎｃｏｄｅｒｓａｌとしてＲｏＢＥＲＴａ（「Y. Liu et al. arXiv, 1907.11692, 2019.」）が初期値として用いられる。符号化部１２６は、入力ＸＣ＋Ｘｐを受け付け、Ｍ層のブロックを作用させた表現
Figure 2023159453000031
 を得る。なお、Ｎは、ＸＣに含まれる単語数である。但し、第４の実施の形態では、Ｎに対してＮ＋Ｋが代入される。ここで、Ｋは、Ｘｐに含まれる単語数である。ここで、符号化部１２６はｓｅｌｆ－ａｔｔｅｎｔｉｏｎと２層のフィードフォワードネットワーク（ＦＦＮ）からなる。ＨＭ ｅは、後述される復号化部１２３のｃｏｎｔｅｘｔ－ａｔｔｅｎｔｉｏｎに入力される。
復号化部１２３は、第１の実施の形態と同様でよい。すなわち、復号化部１２３は、Ｍ層のＴｒａｎｓｆｏｒｍｅｒ Ｄｅｃｏｄｅｒブロックからなる。Ｅｎｃｏｄｅｒの出力ＨＭ ｅとモデルが１ステップ前までに出力した系列｛ｙ１，...，ｙｔ－１｝を入力とし、Ｍ層のブロックを作用させた表現
Figure 2023159453000032
 を得る。復号化部１２３は、各ステップｔにおいて、ｈＭ ｄｔに対し、語彙サイズＶ次元への線形変換を行い、確率が最大となるｙｔを次のトークンとして出力する。復号化部１２３は、ｓｅｌｆ－ａｔｔｅｎｔｉｏｎ（図１８のブロックｂ１）、ｃｏｎｔｅｘｔ－ａｔｔｅｎｔｉｏｎ、２層のＦＦＮからなる。
なお、Ｍｕｌｔｉ－ｈｅａｄＡｔｔｅｎｔｉｏｎＴｒａｎｓｆｏｒｍｅｒブロックにおけるアテンション処理はすべてＭｕｌｔｉ－ｈｅａｄＡｔｔｅｎｔｉｏｎを用いる（「A. Vaswani et al. In NIPS, pages 5998-6008, 2017.」）。本処理はｋ個のアテンションヘッドの結合からなり、Ｍｕｌｔｉｈｅａｄ（Ｑ，Ｋ，Ｖ）＝Ｃｏｎｃａｔ（ｈｅａｄ１，...，ｈｅａｄｋ）Ｗｏと表される。各ヘッドはｈｅａｄｉ＝Ａｔｔｅｎｔｉｏｎ（ＱＷＱ ｉ，ＫＷＫ ｉ，ＶＷＶ ｉ）である。ここで、符号化部１２６及び復号化部１２３の第ｍ層のｓｅｌｆ－ａｔｔｅｎｔｉｏｎでは、Ｑ，Ｋ，Ｖに同じベクトル表現Ｈｍを与え、復号化部１２３のｃｏｎｔｅｘｔ－ａｔｔｅｎｔｉｏｎにおいては、ＱにＨｍ ｄ、ＫとＶにＨＭ ｅをそれぞれ与える。
各ヘッドのアテンション
Figure 2023159453000033
 における重み行列Ａは以下の式にて表される。
Figure 2023159453000034
 ここで、
Figure 2023159453000035
 である。
続いて、学習について説明する。図１９は、第４の実施の形態における文生成装置１０の学習時における機能構成例を示す図である。図１９中、図７と同一部分には同一符号を付し、その説明は省略する。
［生成部１２の学習データ及び損失関数］
生成部１２の学習データは、第１の実施の形態と同様でよい。生成部１２の損失関数は、ｃｒｏｓｓ ｅｎｔｒｏｐｙを用いて次のように定義される。Ｍは学習データの個数を表す。
Figure 2023159453000036
 ［内容選択部１１の学習データ及び損失関数］
内容選択部１１はソーステキストの各単語位置ｎに対して予測ｐｅｘｔ ｎの出力を行うものであるため、疑似的に正解を与えることで教師あり学習が可能になる。通常、要約文の正解は、ソーステキストと要約文のペアのみであるため、ソーステキストの各トークンに１／０の正解は与えられていない。しかし、ソーステキストと要約文の双方に含まれている単語が重要な単語である、とみなして両者のトークン系列のアライメントをとることで重要トークンの正解を疑似的に作成できる（「S. Gehrmann et al. In EMNLP, pages 4098-4109, 2018.」）。
内容選択部１１の損失関数は、ｂｉｎａｒｙ ｃｒｏｓｓ ｅｎｔｒｏｐｙを用いて次のように定義される。
Figure 2023159453000037
 ここで、ｒｍ ｎは、ｍ番目のデータにおけるソーステキストのｎ番目の単語の重要度正解を表す。
［パラメータ学習部１３］
第４の実施の形態において、パラメータ学習部１３は、重要度の学習データを用いて内容選択部１１を学習し、要約文Ｙの正解情報を用いて生成部１２を学習する。すなわち、内容選択部１１と生成部１２の学習は独立して行われる。
パラメータ学習部１３は、損失関数Ｌｇｅｎ＝Ｌｅｎｃｄｅｃ＋Ｌｓａｌとして、Ｌｇｅｎが最小化されるように学習を行う。
第１の実施の形態では、学習データ中のターゲットテキスト（要約文）の長さと、考慮情報である出力長とを揃えることで、「出力長に応じた単語の重要度」を学習していた。一方、第４の実施の形態では、学習データに考慮情報としての出力長は含まれない。そのため、内容選択部１１における単語の重要度の算出には出力長は特に考慮されず、「要約に重要な単語であるか否か」という観点のみで重要度が算出される。
但し、第４の実施の形態にいても考慮情報として出力長を入力とし、出力長に基づいて抽出トークン数を定めることで、要約長を制御することができる。
次に、第５の実施の形態について説明する。第５の実施の形態では第４の実施の形態と異なる点について説明する。第５の実施の形態において特に言及されない点については、第４の実施の形態と同様でもよい。
図２０は、第５の実施の形態における文生成装置１０の機能構成例を示す図である。図２０中、図１６と同一部分には同一符号を付している。
第５の実施の形態における内容選択部１１は、個別に学習したＥｎｃｏｄｅｒｓａｌから得られる単語レベルの重要度ｐｅｘｔ ｎを用いて文レベルの重要度ｐｅｘｔ Ｓｊを計算し、ソーステキストＸＣにおいてｐｅｘｔ Ｓｊが上位Ｐ番目までの文を結合したものを入力テキストＸｓとして生成部１２へ入力する。文レベルの重要度ｐｅｘｔ Ｓｊは、数３に基づいて計算可能である。
図２１は、第５の実施の形態における生成部１２の構成例を示す図である。図２１中、図１７と同一部分には同一符号を付している。また、図２２は、第５の実施の形態におけるモデル構成例を示す図である。図２２中、図１８と同一部分には同一符号を付している。
図２１及び図２２に示されるように、第５の実施の形態における符号化部１２６は、入力テキストＸｓを入力とする。なお、図２２に示されるモデルを、便宜上、ＳＥＧ（Sentence Extraction then Generation）モデルという。
その他の点については、第４の実施の形態と同様である。
次に、第６の実施の形態について説明する。第６の実施の形態では第４の実施の形態と異なる点について説明する。第６の実施の形態において特に言及されない点については、第４の実施の形態と同様でもよい。
図２３は、第６の実施の形態における文生成装置１０の機能構成例を示す図である。図２３中、図１６又は図１７と同一又は対応する部分には同一符号を付している。第６の実施の形態において、文生成装置１０は、内容選択部１１を有さない。一方、生成部１２は、符号化部１２６の代わりに内容選択符号化部１２７を有する。内容選択符号化部１２７は、符号化部１２６（エンコーダ）及び内容選択部１１のそれぞれの機能を兼ねる。換言すれば、内容選択部１１を兼ねた符号化部１２６が内容選択符号化部１２７に相当する。
図２４は、第６の実施の形態におけるモデル構成例を示す図である。図２４中、図２３又は図１８と同一又は対応する部分には同一符号を付している。図２４には、（ａ）～（ｃ）の３つのモデルの例が示されている。便宜上、（ａ）をＭＴ（Multi-Task）モデルといい、（ｂ）をＳＥ（Selective Encoding）モデルといい、（ｃ）をＳＡ（Selective Attention）モデルという。
（ａ）のＭＴモデルは、重要度ｐｅｘｔ ｎに対する正解データを追加利用し、内容選択符号化部１２７及び復号化部１２３（すなわち、生成部１２）を同時に学習する。すなわち、重要度モデルと文生成モデルとが同時に学習される。この点は、ＳＥモデル及びＳＡモデル、並びに以降に説明される各モデル（すなわち、ＣＩＴモデル及びＳＥＧモデル以外）において共通である。ＭＴモデルにおいて、内容選択符号化部１２７のＥｎｃｏｄｅｒｓａｌは、第４の実施の形態における符号化部１２６のパラメータを共有する。なお、図２４より明らかなように、ＭＴモデルでは、符号化結果（ＨＭ ｅ）のみが復号化部１２３に入力される。
復号化部１２３は、第４の実施の形態と同様でよい。
ＳＥモデル（ｂ）は、重要度ｐｅｘｔ ｎを用いて内容選択符号化部１２７の符号化結果にバイアスをかける（「Q. Zhou et al. In ACL, pages 1095-1104, 2017.」）。具体的には、復号化部１２３は、内容選択符号化部１２７のＥｎｃｏｄｅｒブロックの最終出力である符号化結果ｈＭ ｅｎに対して下記のように重要度によって重み付けを行う。
Figure 2023159453000038
 ＳＥモデル（ｂ）では、復号化部１２３に入力するｈＭ ｅｎをｈ～Ｍ ｅｎで置き換える（但し、ｈ～は、ｈの上の～が付された記号を示す）。「Q. Zhou et al. In ACL, pages 1095-1104, 2017.」ではＢｉＧＲＵを用いているが、本実施の形態では公平な比較のためＴｒａｎｓｆｏｒｍｅｒを用いて復号化部１２３が実装される。ＳＥモデルにおいて、内容選択符号化部１２７のＥｎｃｏｄｅｒｓａｌは、第４の実施の形態における符号化部１２６のパラメータを共有する。なお、図２４より明らかなように、ＳＥモデルでは、符号化結果（ＨＭ ｅ）及び重要度Ｐｅｘｔ ｎのみが復号化部１２３に入力される。また、ＳＥモデルでは、重要度の正解が与えられない。
ＳＡモデル（ｃ）は、ＳＥモデルと異なり復号化部１２３側のアテンションを重み付けする。具体的には、復号化部１２３は、ｃｏｎｔｅｘｔ－ａｔｔｅｎｔｉｏｎの第ｉヘッドの重み行列
Figure 2023159453000039
 の各ステップｔのアテンション確率
Figure 2023159453000040
 （Ａｉの第ｔ行）をｐｅｘｔ ｎにより重み付けする。
Figure 2023159453000041
 なお、Ｇｅｈｒｍａｎｎらが提案した類似手法ではｐｏｉｎｔｅｒｇｅｎｅｒａｔｏｒのコピー確率を重み付けしている（「S. Gehrmann et al. In EMNLP, pages 4098-4109, 2018.」）。一方、事前学習Ｓｅｑ－ｔｏ－Ｓｅｑモデルはコピー機構を有さないため、本実施の形態では復号化部１２３の全ての層のｃｏｎｔｅｘｔ－ａｔｔｅｎｔｉｏｎ計算において、上記の重み付けされたアテンション確率を用いて計算が行われる。ＭＴモデルにおいて、内容選択符号化部１２７のＥｎｃｏｄｅｒｓａｌは、第４の実施の形態における符号化部１２６のパラメータを共有する。なお、図２４より明らかなように、ＳＡモデルでは、符号化結果（ＨＭ ｅ）及び重要度Ｐｅｘｔ ｎのみが復号化部１２３に入力される。また、ＳＡモデルでは、重要度の正解が与えられない。
なお、ＭＴモデルとＳＥモデル又はＭＴモデルとを組み合わせたモデルも、第６の実施の形態として有効である。
ＳＥ＋ＭＴモデルは、ＳＥモデルの学習において重要度ｐｅｘｔ ｎに対する正解データを追加利用して要約との同時学習を行う。
ＳＡ＋ＭＴ本モデルは、ＳＡモデルの学習において重要度ｐｅｘｔ ｎに対する正解データを追加利用して要約との同時学習を行う。
図２５は、第６の実施の形態における文生成装置１０の学習時における機能構成例を示す図である。図２５中、図２３又は図１９と同一又は対応する部分には同一符号を付している。
上記したように、第６の実施の形態のパラメータ学習部１３は、内容選択符号化部１２７と復号化部１２３とを同時に学習する。
また、パラメータ学習部１３は、ＳＥモデル及びＳＡモデルの場合は、重要度Ｐｅｘｔ ｎの正解情報を与えず、要約文Ｙの正解情報のみを用いて生成部１２（内容選択符号化部１２７及び復号化部１２３）を学習する。この場合、パラメータ学習部１３は、損失関数Ｌｇｅｎ＝Ｌｅｎｃｄｅｃとし、Ｌｇｅｎが最小化されるように学習を行う。
一方、ＭＴモデルの場合、パラメータ学習部１３は、重要度Ｓの正解情報と、要約文Ｙの正解情報とを用いて、内容選択符号化部１２７及び生成部１２（すなわち、内容選択符号化部１２７及び復号化部１２３）をマルチタスク学習する。すなわち、内容選択符号化部１２７を重要度モデル（内容選択部１１）として学習する際には、重要度Ｐｅｘｔ ｎの正解情報（重要か否か）が教師データとされて、Ｘｃから重要度Ｐｅｘｔ ｎを予測するタスクの学習が行われる。また、生成部１２（内容選択符号化部１２７＋復号化部１２３）をＳｅｑ２Ｓｅｑ（Ｅｎｃｏｄｅｒ－Ｄｅｃｏｄｅｒ）モデルとして学習する場合は、入力文ＸＣに対する正解要約文を教師データとして、ＸＣから要約文Ｙを予測するタスクの学習が行われる。このマルチタスク学習の際に、内容選択符号化部１２７のパラメータが両タスクで共有される。なお、重要度Ｐｅｘｔ ｎの正解情報（疑似的な正解）は、第４の実施の形態において説明した通りである。この場合、パラメータ学習部１３は、損失関数Ｌｇｅｎ＝Ｌｅｎｃｄｅｃ＋Ｌｓａｌとして、Ｌｇｅｎが最小化されるように学習を行う。
次に、第７の実施の形態について説明する。第７の実施の形態では第４の実施の形態と異なる点について説明する。第７の実施の形態において特に言及されない点については、第４の実施の形態と同様でもよい。
図２６は、第７の実施の形態における文生成装置１０の機能構成例を示す図である。図２６中、図１６又は図２３と同一又は対応する部分には同一符号を付している。図２６の文生成装置１０は、内容選択部１１及び生成部１２を有する。生成部１２は、内容選択符号化部１２７及び復号化部１２３を含む。すなわち、第７の実施の形態の文生成装置１０は、内容選択部１１及び内容選択符号化部１２７の双方を有する。
このような構成は、上記におけるＣＩＴモデル（又はＳＥＧモデル）と、ＳＥモデル若しくはＳＡモデル（又はＭＴモデル）との組み合わせにより実現可能である。以下においてはＣＩＴモデルとＳＥモデルとの組み合わせ（ＣＩＴ＋ＳＥモデル）と、ＣＩＴモデルとＳＡモデルとの組み合わせ（ＣＩＴ＋ＳＡモデル）とについて説明する。
ＣＩＴ＋ＳＥモデルでは、ＣＩＴモデルのＸＣ＋Ｘｐに対して、ＳＥモデルにより重要度
Figure 2023159453000042
 が教師無しで学習され、
Figure 2023159453000043
 に重み付けが行われる。すなわち、ＸＣ＋ＸｐがＳＥモデルの内容選択符号化部１２７の入力とされ（ＸＣは内容選択部１１によって選択される）、ＸＣ＋Ｘｐに対する重要度ｐｅｘｔが推定される。
ＣＩＴ＋ＳＡモデルでは、ＣＩＴ＋ＳＥモデルと同様に、
Figure 2023159453000044
 が教師無しで学習され、
Figure 2023159453000045
 に重み付けが行われる。すなわち、ＣＩＴモデルのＸＣ＋ＸｐがＳＡモデルの内容選択符号化部１２７の入力とされ、ＸＣ＋Ｘｐに対する重要度ｐｅｘｔが推定される
図２７は、第７の実施の形態における文生成装置１０の学習時における機能構成例を示す図である。図２７中、図２６又は図１９と同一又は対応する部分には同一符号を付している。
第７の実施の形態においてパラメータ学習部１３が実行する処理は、第６の実施の形態と同様でよい。
［実験］
第４の実施の形態から第７の実施の形態について行った実験について説明する。
＜データセット＞
要約データセットにおいて代表的なＣＮＮ／ＤＭ（「K. M. Hermann et al. In NIPS, pages 1693-1701, 2015.」）とＸＳｕｍ（「S. Narayan et al. In EMNLP, pages 1797-1807, 2018.」）を用いた。ＣＮＮ／ＤＭは、３文程度の抽出率が高い要約データであり、ＸＳｕｍは、１文程度の短く抽出率が低い要約データである。評価は、要約自動評価で標準的に用いられるＲＯＵＧＥ値を用いて行った。各データの概要を表３に示す。要約平均長は、各データのｄｅｖセットをｆａｉｒｓｅｑ１のｂｙｔｅ－ｌｅｖｅｌＢＰＥ（「A. Radford et al. Language models are unsupervised multi-task learners. Technical report, OpenAI, 2019.」）にてサブワードに分割した単位で計算した。
Figure 2023159453000046
 ＜学習設定＞
ｆａｉｒｓｅｑを用いて各モデルの実装を行った。７枚のNVIDIA V100 32GB GPUにより学習を行った。ＣＮＮ／ＤＭの学習では、「M. Lewis et al. arXiv, 1910.13461, 2019.」と同じ設定を用いた。ＸＳｕｍの学習については著者らに確認を取り、ＣＮＮ／ＤＭの設定からミニバッチの勾配累積に関するパラメータＵＰＤＡＴＥＦＲＥＱを２に変更した。また、学習時におけるＣＩＴモデルの内容選択部１１の抽出単語数Ｋは、ｄｅｖセットの精度を確認し、ＣＮＮ／ＤＭでは正解要約長を５単位でｂｉｎ分割した値、ＸＳｕｍでは固定長３０と決定した。なお、評価時はＣＮＮ／ＤＭではｄｅｖセットの平均要約長をＫとし、ＸＳｕｍでは学習時と同じ３０とした。また、ＸＳｕｍでは、重要単語列に重複を含まないように設定した。なお、学習時のＫの設定については、任意の固定値とする方法、任意の閾値を定め当該閾値以上の値とする方法、正解要約の長さＬに依存させる方法がある。Ｋの設定を正解要約の長さＬに依存させて学習を行う場合には、テスト時にＫの長さを変えることによって要約長をコントロールすることができる。
＜実験結果＞
「重要度モデルを組み合わせることによって要約精度は向上するか？」に関する実験結果（各モデルのＲＯＵＧＥ値）を表４、表５に示す。
Figure 2023159453000047
Figure 2023159453000048
 表４、表５に示す通り、両方のデータセットにおいてＣＩＴ＋ＳＥが最も良い結果となった。まず、ＣＩＴ単体でも精度が向上したことから、重要単語の結合が重要な情報を文生成モデル（生成部１２）に与える方法として優れていることがわかる。そして、ＣＩＴをＳＥやＳＡモデルと組み合わせることでさらなる精度の向上が確認できたことから、重要単語の中にはノイズも含まれるが、ソフトな重み付けを組み合わせることによって改善されていると考える。
ＳＥ、ＳＡはいずれのデータでも精度が向上した。重要度正解を同時学習するＭＴ、ＳＥ＋ＭＴ、ＳＡ＋ＭＴはＣＮＮ／ＤＭでは精度が向上したが、ＸＳｕｍでは精度が低下した。これは重要度の疑似的正解の質の影響と考える。ＣＮＮ／ＤＭは要約が比較的長く抽出要素が強いため、疑似的正解を作成する際に単語同士のアライメントが取り易い。一方で、ＸＳｕｍデータは要約が短く、ソーステキスト以外の表現で記述されることが多いため、アライメントが取り難く、疑似的正解がノイズとして働いた。ＣＩＴにおいても、この影響によりＸＳｕｍにおける精度の向上幅はＣＮＮ／ＤＭよりも狭いが、性質の異なるデータでいずれも最も高い性能を示していることから、頑健に動作する手法と言える。
なお、"our fine-tuning"は、本願発明者によるFine-tuning結果（ベースライン）を表す。また、表５における下線は、ベースラインモデルの改善の中での最高精度を表す。
「重要度モデル単体のトークン抽出精度はどの程度か？」に関する実験結果を表６に示す。
表６はＣＩＴの重要度ｐｅｘｔによって上位に選択されたトークン列と要約テキストのＲＯＵＧＥ値を評価した結果である。
Figure 2023159453000049
 ＣＮＮ／ＤＭにおいては、重要単語の特定が適切に行われていることがわかる。抽出型要約の従来手法のＳＯＴＡであるＰｒｅｓｕｍ（「Y. Liu et al. In EMNLP-IJCNLP, pages 3728-3738, 2019.」）と比較しても、Ｒ１やＲ２で高い精度を出しており、単語レベルで重要な要素を抽出できていることがわかる。ＳＥモデルやＳＡモデルの内部的に学習されたｐｅｘｔでは各単語の重要度に大きな差がなかったが、本モデルでは重要な単語を明示的に考慮することができる。一方で、ＸＳｕｍは抽出率の低いデータであるため、全体的に重要度モデルの精度が低い。このことが要約精度の向上がＣＮＮ／ＤＭよりも低くなっている原因と考える。今回検証した疑似的正解を与える手法は抽出率の高いデータにおいて特に効果を発揮したが、抽出率の低いデータにおいても重要度モデルの精度を向上させることでさらに精度向上が期待できる。
なお、上記各実施の形態では、要約文の生成タスクを例として説明したが、他の各種の文生成タスクに対して上記各実施の形態が適用されてもよい。
なお、上記各実施の形態において、学習時の文生成装置１０は、文生成学習装置の一例である。
以上、本発明の実施の形態について詳述したが、本発明は斯かる特定の実施形態に限定されるものではなく、請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
１０ 文生成装置
１１ 内容選択部
１２ 生成部
１３ パラメータ学習部
１４ 検索部
１５ 内容選択符号化部
２０ 知識源ＤＢ
１００ ドライブ装置
１０１ 記録媒体
１０２ 補助記憶装置
１０３ メモリ装置
１０４ ＣＰＵ
１０５ インタフェース装置
１２１ ソーステキスト符号化部
１２２ 参考テキスト符号化部
１２３ 復号化部
１２４ 合成部
１２５ ジョイント符号化部
１２６ 符号化部
Ｂ バス

Claims (14)

  1. 入力文と、前記入力文に含まれる各単語の重要度と、出力長とに基づいて単語のセットを抽出する内容選択部と、
    前記入力文と前記単語のセットとを入力し、前記入力文と前記単語のセットに基づいて出力文を生成するよう教師あり学習された機械学習モデルに、前記入力文と前記単語のセットに対応する情報を入力することで、前記入力文と前記単語のセットに基づいて出力文を生成する生成部と、
    を有することを特徴とする文生成装置。
  2. 入力文と、前記入力文に含まれる各単語の重要度と、出力長とに基づいて単語のセットを抽出する内容選択部と、
    前記入力文と前記単語のセットとを入力し、前記入力文と前記単語のセットに基づいて出力文を生成するよう教師あり学習された機械学習モデルに、前記入力文と前記単語のセットに対応する情報を入力することで、前記入力文と前記単語のセットに基づいて出力文を生成する生成部と、
    入力文として第１のテキストと、当該第１のテキストから抽出された単語のセットとを入力した前記機械学習モデルからの出力と前記第１のテキストに対応する出力文である第２のテキストとに基づいて前記機械学習モデルのパラメータを更新するパラメータ学習部と、
    を有することを特徴とする文生成学習装置。
  3. 入力文と、外部知識に含まれる複数の文の文ごとの重要度及び単語ごとの重要度の少なくとも一方とに基づいて、文のセットを抽出する内容選択部と、
    前記入力文と前記文のセットとを入力し、前記入力文と前記文のセットに基づいて出力文を生成するよう教師あり学習された機械学習モデルに、前記入力文と前記文のセットに対応する情報を入力することで、前記入力文と前記文のセットに基づいて出力文を生成する生成部と、
    を有することを特徴とする文生成装置。
  4. 入力文と、外部知識に含まれる複数の文の文ごとの重要度及び単語ごとの重要度の少なくとも一方とに基づいて、文のセットを抽出する内容選択部と、
    前記入力文と前記文のセットとを入力し、前記入力文と前記文のセットに基づいて出力文を生成するよう教師あり学習された機械学習モデルに、前記入力文と前記文のセットに対応する情報を入力することで、前記入力文と前記文のセットに基づいて出力文を生成する生成部と、
    入力文として第１のテキストと、外部知識から抽出された文のセットとを入力した前記機械学習モデルからの出力と前記第１のテキストに対応する出力文である第２のテキストとに基づいて前記機械学習モデルのパラメータを更新するパラメータ学習部と、
    を有することを特徴とする文生成学習装置。
  5. 入力文と、前記入力文に含まれる各単語の重要度と、出力長とに基づいて単語のセットを抽出する内容選択部と、
    前記単語のセットを入力し、前記単語のセットに基づいて出力文を生成するよう教師あり学習された機械学習モデルに、前記単語のセットに対応する情報を入力することで、前記単語のセットに基づいて出力文を生成する生成部と、
    を有することを特徴とする文生成装置。
  6. 入力文と、前記入力文に含まれる各単語の重要度と、出力長とに基づいて単語のセットを抽出する内容選択部と、
    前記単語のセットを入力し、前記単語のセットに基づいて出力文を生成するよう教師あり学習された機械学習モデルに、前記単語のセットに対応する情報を入力することで、前記単語のセットに基づいて出力文を生成する生成部と、
    入力文として第１のテキストから抽出された単語のセットを入力した前記機械学習モデルからの出力と前記第１のテキストに対応する出力文である第２のテキストとに基づいて前記機械学習モデルのパラメータを更新するパラメータ学習部と、
    を有することを特徴とする文生成学習装置。
  7. 複数の入力文と、前記複数の入力文に含まれる各文の重要度と、出力長とに基づいて文のセットを抽出する内容選択部と、
    前記文のセットを入力し、前記文のセットに基づいて出力文を生成するよう教師あり学習された機械学習モデルに、前記文のセットに対応する情報を入力することで、前記文のセットに基づいて出力文を生成する生成部と、
    を有することを特徴とする文生成装置。
  8. 複数の入力文と、前記複数の入力文に含まれる各文の重要度と、出力長とに基づいて文のセットを抽出する内容選択部と、
    前記文のセットを入力し、前記文のセットに基づいて出力文を生成するよう教師あり学習された機械学習モデルに、前記文のセットに対応する情報を入力することで、前記文のセットに基づいて出力文を生成する生成部と、
    複数の入力文として第１のテキストと、当該第１のテキストから抽出された文のセットとを入力した前記機械学習モデルからの出力と前記第１のテキストに対応する出力文である第２のテキストとに基づいて前記機械学習モデルのパラメータを更新するパラメータ学習部と、
    を有することを特徴とする文生成学習装置。
  9. 入力文と、前記入力文に含まれる各単語の重要度と、出力長とに基づいて単語のセットを抽出する内容選択部と、
    前記入力文と前記単語のセットとを入力し、前記入力文と前記単語のセットに基づいて出力文を生成するよう教師あり学習された機械学習モデルに、前記入力文と前記単語のセットに対応する情報を入力することで、前記入力文と前記単語のセットに基づいて出力文を生成する生成部と、
    を有することを特徴とする文生成装置。
  10. 入力文と、前記入力文に含まれる各単語の重要度と、出力長とに基づいて単語のセットを抽出する内容選択部と、
    前記入力文と前記単語のセットとを入力し、前記入力文と前記単語のセットに基づいて出力文を生成するよう教師あり学習された機械学習モデルに、前記入力文と前記単語のセットに対応する情報を入力することで、前記入力文と前記単語のセットに基づいて出力文を生成する生成部と、
    入力文として第１のテキストと、当該第１のテキストから抽出された単語のセットとを入力した前記機械学習モデルからの出力と前記第１のテキストに対応する出力文である第２のテキストとに基づいて前記機械学習モデルのパラメータを更新するパラメータ学習部と、
    を有することを特徴とする文生成学習装置。
  11. 入力文と、前記入力文に含まれる各単語の重要度と、出力長とに基づいて単語のセットを抽出する内容選択手順と、
    前記入力文と前記単語のセットとを入力し、前記入力文と前記単語のセットに基づいて出力文を生成するよう教師あり学習された機械学習モデルに、前記入力文と前記単語のセットに対応する情報を入力することで、前記入力文と前記単語のセットに基づいて出力文を生成する生成手順と、
    をコンピュータが実行することを特徴とする文生成方法。
  12. 入力文と、前記入力文に含まれる各単語の重要度と、出力長とに基づいて単語のセットを抽出する内容選択手順と、
    前記入力文と前記単語のセットとを入力し、前記入力文と前記単語のセットに基づいて出力文を生成するよう教師あり学習された機械学習モデルに、前記入力文と前記単語のセットに対応する情報を入力することで、前記入力文と前記単語のセットに基づいて出力文を生成する生成手順と、
    入力文として第１のテキストと、当該第１のテキストから抽出された単語のセットとを入力した前記機械学習モデルからの出力と前記第１のテキストに対応する出力文である第２のテキストとに基づいて前記機械学習モデルのパラメータを更新するパラメータ学習手順と、
    をコンピュータが実行することを特徴とする文生成学習方法。
  13. 請求項１、３、５、７及び９いずれか一項記載の文生成装置としてコンピュータを機能させることを特徴とするプログラム。
  14. 請求項２、４、６、８及び１０いずれか一項記載の文生成学習装置としてコンピュータを機能させることを特徴とするプログラム。
JP2023142658A 2019-10-02 2023-09-04 文生成装置、文生成学習装置、文生成方法、文生成学習方法及びプログラム Pending JP2023159453A (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JPPCT/JP2019/038948 2019-10-02
PCT/JP2019/038948 WO2021064907A1 (ja) 2019-10-02 2019-10-02 文生成装置、文生成学習装置、文生成方法、文生成学習方法及びプログラム
PCT/JP2020/008955 WO2021065034A1 (ja) 2019-10-02 2020-03-03 文生成装置、文生成学習装置、文生成方法、文生成学習方法及びプログラム
JP2021551110A JP7347530B2 (ja) 2019-10-02 2020-03-03 文生成装置、文生成学習装置、文生成方法、文生成学習方法及びプログラム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2021551110A Division JP7347530B2 (ja) 2019-10-02 2020-03-03 文生成装置、文生成学習装置、文生成方法、文生成学習方法及びプログラム

Publications (1)

Publication Number Publication Date
JP2023159453A true JP2023159453A (ja) 2023-10-31

Family

ID=75336851

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2021551110A Active JP7347530B2 (ja) 2019-10-02 2020-03-03 文生成装置、文生成学習装置、文生成方法、文生成学習方法及びプログラム
JP2023142658A Pending JP2023159453A (ja) 2019-10-02 2023-09-04 文生成装置、文生成学習装置、文生成方法、文生成学習方法及びプログラム

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2021551110A Active JP7347530B2 (ja) 2019-10-02 2020-03-03 文生成装置、文生成学習装置、文生成方法、文生成学習方法及びプログラム

Country Status (3)

Country Link
US (2) US11954435B2 (ja)
JP (2) JP7347530B2 (ja)
WO (2) WO2021064907A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113160798B (zh) * 2021-04-28 2024-04-16 厦门大学 一种中文民航空中交通管制语音识别方法及系统
CN113486395A (zh) * 2021-07-02 2021-10-08 南京大学 一种采用多元信息融合的科研数据匿名化方法及系统
CN113590790B (zh) * 2021-07-30 2023-11-28 北京壹心壹翼科技有限公司 应用于多轮问答的问题检索方法、装置、设备及介质
JP7377899B2 (ja) 2022-03-15 2023-11-10 エヌ・ティ・ティ・コムウェア株式会社 テキスト変換装置、テキスト変換方法、およびプログラム
JP7377898B2 (ja) 2022-03-15 2023-11-10 エヌ・ティ・ティ・コムウェア株式会社 テキスト生成装置、テキスト生成方法、およびプログラム
JP7377900B2 (ja) 2022-03-15 2023-11-10 エヌ・ティ・ティ・コムウェア株式会社 対話テキスト生成装置、対話テキスト生成方法、およびプログラム
CN117932049A (zh) * 2024-03-20 2024-04-26 智慧眼科技股份有限公司 病历摘要生成方法、装置、计算机设备及介质

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7778837B2 (en) * 2006-05-01 2010-08-17 Microsoft Corporation Demographic based classification for local word wheeling/web search
KR102357322B1 (ko) * 2016-05-06 2022-02-08 이베이 인크. 인공신경망 기계 번역시 메타 정보를 이용하는 기법
JP6205466B1 (ja) * 2016-07-19 2017-09-27 ヤフー株式会社 生成装置、生成方法、及び生成プログラム
JP6870508B2 (ja) * 2017-07-07 2021-05-12 富士通株式会社 学習プログラム、学習方法及び学習装置
WO2019027259A1 (en) * 2017-08-01 2019-02-07 Samsung Electronics Co., Ltd. APPARATUS AND METHOD FOR PROVIDING SUMMARY INFORMATION USING ARTIFICIAL INTELLIGENCE MODEL
CN108153864A (zh) * 2017-12-25 2018-06-12 北京牡丹电子集团有限责任公司数字电视技术中心 基于神经网络生成文本摘要的方法
WO2019167296A1 (ja) * 2018-02-28 2019-09-06 日本電信電話株式会社 自然言語処理のための装置、方法及びプログラム
US20200090034A1 (en) * 2018-09-18 2020-03-19 Salesforce.Com, Inc. Determining Intent from Unstructured Input to Update Heterogeneous Data Stores
US10521655B1 (en) * 2019-02-11 2019-12-31 Google Llc Generating and provisioning of additional content for biased portion(s) of a document
US11520971B2 (en) * 2019-03-30 2022-12-06 The Regents Of The University Of California System and method for artificial intelligence story generation allowing content introduction
CN110209801B (zh) * 2019-05-15 2021-05-14 华南理工大学 一种基于自注意力网络的文本摘要自动生成方法
US11176330B2 (en) * 2019-07-22 2021-11-16 Advanced New Technologies Co., Ltd. Generating recommendation information

Also Published As

Publication number Publication date
JPWO2021065034A1 (ja) 2021-04-08
JP7347530B2 (ja) 2023-09-20
WO2021065034A1 (ja) 2021-04-08
WO2021064907A1 (ja) 2021-04-08
US20240202442A1 (en) 2024-06-20
US20220366140A1 (en) 2022-11-17
US11954435B2 (en) 2024-04-09

Similar Documents

Publication Publication Date Title
JP7347530B2 (ja) 文生成装置、文生成学習装置、文生成方法、文生成学習方法及びプログラム
Alomari et al. Deep reinforcement and transfer learning for abstractive text summarization: A review
Yang et al. aNMM: Ranking short answer texts with attention-based neural matching model
JP7363908B2 (ja) 文生成装置、文生成学習装置、文生成方法、文生成学習方法及びプログラム
Shiva Prakash et al. A survey on recurrent neural network architectures for sequential learning
Li et al. Abstractive text summarization with multi-head attention
Roberti et al. Copy mechanism and tailored training for character-based data-to-text generation
Donald Jefferson Thabah et al. Low resource neural machine translation from english to khasi: A transformer-based approach
Abolghasemi et al. HTS-DL: hybrid text summarization system using deep learning
JP7405234B2 (ja) 文生成装置、文生成学習装置、文生成方法、文生成学習方法及びプログラム
Tomer et al. STV-BEATS: skip thought vector and bi-encoder based automatic text summarizer
WO2020241070A1 (ja) 音響信号検索装置、音響信号検索方法、データ検索装置、データ検索方法、プログラム
Fu et al. Sememnn: A semantic matrix-based memory neural network for text classification
Souri et al. Arabic text generation using recurrent neural networks
CN116860959A (zh) 结合局部主题和层次结构信息的抽取式摘要方法及系统
WO2020241073A1 (ja) 音響信号データベース生成装置、音響信号検索装置
Wang et al. Distill-AER: Fine-Grained Address Entity Recognition from Spoken Dialogue via Knowledge Distillation
Roul et al. Abstractive text summarization using enhanced attention model
Jia et al. EmoDialoGPT: enhancing DialoGPT with emotion
Zubarev et al. Cross-lingual plagiarism detection method
Singh Stockgram: deep learning model for digitizing financial communications via Natural Language generation
Saraswathi et al. Abstractive text summarization for Tamil language using m-T5
Xie et al. Mandarin prosody prediction based on attention mechanism and multi-model ensemble
Liu et al. Incorporating inner-word and out-word features for Mongolian morphological segmentation
Alissa et al. Text simplification using transformer and BERT

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230904