JP2022098219A - 学習プログラム、学習方法、および学習装置 - Google Patents

学習プログラム、学習方法、および学習装置 Download PDF

Info

Publication number
JP2022098219A
JP2022098219A JP2020211633A JP2020211633A JP2022098219A JP 2022098219 A JP2022098219 A JP 2022098219A JP 2020211633 A JP2020211633 A JP 2020211633A JP 2020211633 A JP2020211633 A JP 2020211633A JP 2022098219 A JP2022098219 A JP 2022098219A
Authority
JP
Japan
Prior art keywords
sentence
input
summary sentence
probability
learning device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020211633A
Other languages
English (en)
Inventor
拓哉 牧野
Takuya Makino
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2020211633A priority Critical patent/JP2022098219A/ja
Priority to US17/500,965 priority patent/US11763069B2/en
Publication of JP2022098219A publication Critical patent/JP2022098219A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/166—Editing, e.g. inserting or deleting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211—Selection of the most significant subset of features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/284—Lexical analysis, e.g. tokenisation or collocates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G06F40/295—Named entity recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/55—Rule-based translation
    • G06F40/56—Natural language generation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Machine Translation (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

【課題】要約文を精度よく生成可能なモデルを学習すること。【解決手段】学習装置は、要約文７０２の一部をマスクした雛型文７０３，７０４を生成する。学習装置は、テキストＤＢ７１０を参照して、雛型文７０３，７０４のマスクされた部分に挿入するテキストを検索する。学習装置は、雛型文７０３，７０４のマスクされた部分に、検索したテキストを挿入し、検索結果７０５，７０６を生成する。学習装置は、要約モデル７３０により、入力記事７０１に応じて要約文７０２が生成される生成確率が、入力記事７０１に応じて検索結果７０５，７０６が生成される生成確率よりも高くなるよう、要約モデル７３０を学習する。【選択図】図７

Description

本発明は、学習プログラム、学習方法、および学習装置に関する。
従来、入力文と正解とする要約文とを含む訓練データを利用して、入力された入力文に対応する要約文を生成するモデルを学習することがある。
先行技術としては、例えば、用意された訓練データのうち、正解として不適切な要約文を含む訓練データを、含意関係認識モデルを用いて除去し、残った訓練データを利用して、入力された入力文に対応する要約文を生成するモデルを学習するものがある。
Ｍａｔｓｕｍａｒｕ， Ｋａｚｕｋｉ， Ｓｈｏ Ｔａｋａｓｅ， ａｎｄ Ｎａｏａｋｉ Ｏｋａｚａｋｉ． "Ｉｍｐｒｏｖｉｎｇ Ｔｒｕｔｈｆｕｌｎｅｓｓ ｏｆ Ｈｅａｄｌｉｎｅ Ｇｅｎｅｒａｔｉｏｎ．" Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ５８ｔｈ Ａｎｎｕａｌ Ｍｅｅｔｉｎｇ ｏｆ ｔｈｅ Ａｓｓｏｃｉａｔｉｏｎ ｆｏｒ Ｃｏｍｐｕｔａｔｉｏｎａｌ Ｌｉｎｇｕｉｓｔｉｃｓ （２０２０）．
しかしながら、従来技術では、要約文を精度よく生成可能なモデルを学習することが難しい。例えば、含意関係認識モデルを用いたとしても、用意された訓練データのうち、正解として不適切な要約文を含む訓練データを除去しきれず、不適切な要約文を生成するモデルを学習してしまうことがある。
１つの側面では、本発明は、要約文を精度よく生成可能なモデルを学習することを目的とする。
１つの実施態様によれば、第１入力文と前記第１入力文を要約した第１要約文とを取得し、取得した前記第１要約文を部分的に変更した第２要約文を生成し、取得した前記第１入力文と、取得した前記第１要約文と、生成した前記第２要約文とに基づいて、入力文が入力されたことに応じて当該入力文に対応する要約文を生成するモデルを、前記第１入力文が入力されたことに応じて前記第１要約文が生成される第１確率が、前記第１入力文が入力されたことに応じて前記第２要約文が生成される第２確率よりも高くなるよう学習する学習プログラム、学習方法、および学習装置が提案される。
一態様によれば、要約文を精度よく生成可能なモデルを学習することが可能になる。
図１は、実施の形態にかかる学習方法の一実施例を示す説明図である。 図２は、情報処理システム２００の一例を示す説明図である。 図３は、学習装置１００のハードウェア構成例を示すブロック図である。 図４は、訓練データ管理テーブル４００の記憶内容の一例を示す説明図である。 図５は、単語データ管理テーブル５００の記憶内容の一例を示す説明図である。 図６は、学習装置１００の機能的構成例を示すブロック図である。 図７は、学習装置１００の動作の流れを示す説明図である。 図８は、要約モデル７３０の一例を示す説明図である。 図９は、要約モデル７３０のパラメータを更新する一例を示す説明図（その１）である。 図１０は、要約モデル７３０のパラメータを更新する一例を示す説明図（その２）である。 図１１は、要約モデル７３０を利用する具体例を示す説明図である。 図１２は、学習処理手順の一例を示すフローチャートである。 図１３は、推定処理手順の一例を示すフローチャートである。
以下に、図面を参照して、本発明にかかる学習プログラム、学習方法、および学習装置の実施の形態を詳細に説明する。
（実施の形態にかかる学習方法の一実施例）
図１は、実施の形態にかかる学習方法の一実施例を示す説明図である。学習装置１００は、入力された入力文に対応する要約文を精度よく生成可能なモデルを学習するためのコンピュータである。要約文は、例えば、入力文の内容、論旨、または、要点などを纏めた文である。
従来では、要約文を精度よく生成可能なモデルを学習することは難しい。例えば、入力文と正解とする要約文とを含む訓練データを複数用意し、複数の訓練データを利用して、入力された入力文に対応する要約文を生成するモデルを学習する手法が考えられる。
この手法では、用意された訓練データのうち、正解として不適切な要約文を含む訓練データがあり、要約文を精度よく生成可能なモデルを学習することができない場合がある。
これに対し、例えば、二つのテキストの間の意味的な包含関係を認識する含意関係認識モデルを用いてノイズを含む訓練データを除去する方法が考えられる。具体的には、含意関係認識モデルを用いることで、用意された訓練データのうち、正解として不適切な要約文を含む訓練データを除去し、残った訓練データを利用して、入力された入力文に対応する要約文を生成するモデルを学習する手法が考えられる。ここで、正解として不適切な要約文は、入力文と要約文との含意関係に基づいて判断されることが考えられる。
この手法でも、要約文を精度よく生成可能なモデルを学習することは難しい。例えば、用意された訓練データのうち、正解として不適切な要約文を含む訓練データを除去しきれず、要約文を精度よく生成可能なモデルを学習することができない場合がある。また、例えば、除去されずに残った、正解として不適切な要約文を含む訓練データを、正解として適切な要約文を含む訓練データとして誤って扱うことになり、要約文を精度よく生成可能なモデルを学習することができない場合がある。
そこで、本実施の形態では、入力された入力文に対応する要約文を精度よく生成可能なモデルを学習することができる学習方法について説明する。
（１－１）学習装置１００は、第１入力文１０１と第１入力文１０１を要約した第１要約文１０２とを取得する。学習装置１００は、例えば、第１入力文１０１と第１入力文１０１を要約した第１要約文１０２とを、他のコンピュータから受信することにより取得する。学習装置１００は、例えば、ユーザの操作入力に基づいて、第１入力文１０１と第１入力文１０１を要約した第１要約文１０２とを取得してもよい。
（１－２）学習装置１００は、取得した第１要約文１０２を部分的に変更した（第１要約文１０２と部分的に類似する）第２要約文１０３を生成する。学習装置１００は、例えば、取得した第１要約文１０２のうち所定の種類の単語を検出し、検出した単語を、同一の種類の別の単語に置換することにより、第２要約文１０３を生成する。あるいは、学習装置１００は、取得した第１要約文を部分的に隠した文を検索条件として、第１要約文と部分的に一致する要約文を他の訓練データから検索することにより、第２要約文を生成する。これによれば、学習装置１００は、正解として不適切な第２要約文１０３を生成することができる。このため、学習装置１００は、第１要約文１０２とは異なる観点から、入力文が入力されたことに応じて当該入力文に対応する要約文を生成するモデル１１０を評価可能にすることができる。
（１－３）学習装置１００は、取得した第１入力文１０１と、取得した第１要約文１０２と、生成した第２要約文１０３とに基づいて、入力文が入力されたことに応じて当該入力文に対応する要約文を生成するモデル１１０を学習する。学習は、例えば、損失関数を利用して、誤差逆伝搬によって実現される。学習装置１００は、例えば、第１入力文１０１が入力されたことに応じて第１要約文１０２が生成される第１確率αが、第１入力文１０１が入力されたことに応じて第２要約文１０３が生成される第２確率βよりも高くなるよう、モデル１１０を学習する。
（１－４）学習装置１００は、学習したモデル１１０を利用して、対象の入力文に対応する要約文を生成する。学習装置１００は、学習したモデル１１０を出力してもよい。学習装置１００は、例えば、学習したモデル１１０を、他のコンピュータに送信する。
これにより、学習装置１００は、入力文に対応する要約文を精度よく生成可能なモデル１１０を学習することができる。また、学習装置１００は、学習したモデル１１０を利用して、対象の入力文に対応する要約文を精度よく生成することができる。また、学習装置１００は、学習したモデル１１０を、他のコンピュータが利用可能にすることができる。
（情報処理システム２００の一例）
次に、図２を用いて、図１に示した学習装置１００を適用した、情報処理システム２００の一例について説明する。
図２は、情報処理システム２００の一例を示す説明図である。図２において、情報処理システム２００は、学習装置１００と、クライアント装置２０１とを含む。
情報処理システム２００において、学習装置１００とクライアント装置２０１とは、有線または無線のネットワーク２１０を介して接続される。ネットワーク２１０は、例えば、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットなどである。
学習装置１００は、システム管理者によって用いられるコンピュータである。学習装置１００は、入力文と当該入力文を要約した要約文とを含む訓練データを記憶する。訓練データは、例えば、システム管理者によって用意される。訓練データは、例えば、図４に後述する訓練データ管理テーブル４００を用いて記憶される。
学習装置１００は、訓練データに含まれる要約文を部分的に変更することにより、不適切な要約文を生成する。あるいは、学習装置１００は、訓練データに含まれる要約文と部分的に一致する要約文を他の訓練データから検索することにより、不適切な要約文を生成する。不適切な要約文は、例えば、図４に後述する訓練データ管理テーブル４００を用いて記憶される。学習装置１００は、訓練データと、生成した不適切な要約文とに基づいて、入力文が入力されたことに応じて当該入力文に対応する要約文を生成するモデルを学習する。
学習装置１００は、要約文を生成する対象の入力文を取得する。学習装置１００は、例えば、対象の入力文を、クライアント装置２０１から受信することにより取得する。学習装置１００は、学習したモデルを利用して、対象の入力文に対応する要約文を生成する。学習装置１００は、対象の入力文に対応する要約文を出力する。学習装置１００は、例えば、対象の入力文に対応する要約文を、クライアント装置２０１に送信する。学習装置１００は、例えば、サーバ、または、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）などである。
クライアント装置２０１は、システム利用者によって用いられるコンピュータである。クライアント装置２０１は、要約文を生成する対象の入力文を、学習装置１００に送信する。クライアント装置２０１は、例えば、システム利用者の操作入力に基づき、要約文を生成する対象の入力文を取得し、学習装置１００に送信する。クライアント装置２０１は、対象の入力文に対応する要約文を、学習装置１００から受信する。クライアント装置２０１は、対象の入力文に対応する要約文を、システム利用者が参照可能に出力する。クライアント装置２０１は、例えば、ＰＣ、タブレット端末、または、スマートフォンなどである。
ここでは、学習装置１００が、クライアント装置２０１とは異なる装置である場合について説明したが、これに限らない。例えば、学習装置１００が、クライアント装置２０１としての機能を有する場合があってもよい。この場合、情報処理システム２００は、クライアント装置２０１を含まなくてもよい。
（情報処理システム２００の利用例１）
情報処理システム２００は、例えば、記事編集支援システムを実現するために用いられる。ここで、システム利用者は、例えば、記事を要約した要約文を生成しようと考えたとする。システム利用者は、具体的には、記事を要約した要約文を生成し、記事の見出しとして採用しようと考えたとする。
学習装置１００は、入力記事と入力記事を要約した要約文とを含む訓練データを記憶する。学習装置１００は、入力記事を要約した要約文を部分的に変更することにより、不適切な要約文を生成する。学習装置１００は、訓練データと、生成した不適切な要約文とに基づいて、入力記事が入力されたことに応じて当該入力記事に対応する要約文を生成するモデルを学習する。
クライアント装置２０１は、要約文を生成する対象の入力記事を、学習装置１００に送信する。学習装置１００は、学習したモデルを利用して、受信した対象の入力記事に対応する要約文を生成する。学習装置１００は、生成した要約文を、クライアント装置２０１に送信する。クライアント装置２０１は、対象の入力記事に対応する要約文を受信し、システム利用者が参照可能に出力する。
これにより、情報処理システム２００は、入力記事を要約した要約文を生成する際にシステム利用者にかかる作業負担の低減化を図ることができる。また、情報処理システム２００は、入力記事の内容、論旨、または、要点を適切に纏めた要約文を生成し、システム利用者が参照可能にすることができる。このため、情報処理システム２００は、システム利用者が、入力記事の見出しとして、不適切な要約文を採用してしまうことを防止することができる。
システム利用者は、例えば、入力記事に、生成された要約文を対応付けて、紙面、または、ウェブサイトで公開することができる。この際、紙面、または、ウェブサイトの閲覧者は、例えば、不適切な要約文を閲覧することなく、適切な要約文を閲覧することができ、記事の内容、論旨、または、要点を正しく把握し易くすることができる。
（情報処理システム２００の利用例２）
情報処理システム２００は、例えば、論文検索支援システムを実現するために用いられる。ここで、システム利用者は、例えば、論文を要約した要約文を生成しようと考えたとする。システム利用者は、具体的には、論文を要約した要約文を生成し、論文の見出しとして採用しようと考えたとする。
学習装置１００は、入力論文と入力論文を要約した要約文とを含む訓練データを記憶する。学習装置１００は、入力論文を要約した要約文を部分的に変更することにより、不適切な要約文を生成する。学習装置１００は、訓練データと、生成した不適切な要約文とに基づいて、入力論文が入力されたことに応じて当該入力論文に対応する要約文を生成するモデルを学習する。
クライアント装置２０１は、要約文を生成する対象の入力論文を、学習装置１００に送信する。学習装置１００は、学習したモデルを利用して、受信した対象の入力論文に対応する要約文を生成する。学習装置１００は、生成した要約文を、クライアント装置２０１に送信する。クライアント装置２０１は、対象の入力論文に対応する要約文を受信し、システム利用者が参照可能に出力する。
これにより、情報処理システム２００は、入力論文を要約した要約文を生成する際にシステム利用者にかかる作業負担の低減化を図ることができる。また、情報処理システム２００は、入力論文の内容、論旨、または、要点を適切に纏めた要約文を生成し、システム利用者が参照可能にすることができる。このため、情報処理システム２００は、システム利用者が、入力論文の見出しとして、不適切な要約文を採用してしまうことを防止することができる。
システム利用者は、例えば、入力論文に、生成された要約文を対応付けて、論文を検索可能なウェブサイトを実現することができる。この際、ウェブサイトの閲覧者は、例えば、不適切な要約文を閲覧することなく、適切な要約文を閲覧することができ、論文の内容、論旨、または、要点を正しく把握し易くすることができる。
ここでは、情報処理システム２００が、記事編集支援システム、または、論文検索支援システムを実現するために用いられる場合について説明したが、これに限らない。例えば、情報処理システム２００が、記事編集支援システム、または、論文検索支援システムを実現する以外の別の用途のために用いられる場合があってもよい。
（学習装置１００のハードウェア構成例）
次に、図３を用いて、学習装置１００のハードウェア構成例について説明する。
図３は、学習装置１００のハードウェア構成例を示すブロック図である。図３において、学習装置１００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）３０１と、メモリ３０２と、ネットワークＩ／Ｆ（Ｉｎｔｅｒｆａｃｅ）３０３と、記録媒体Ｉ／Ｆ３０４と、記録媒体３０５とを有する。また、各構成部は、バス３００によってそれぞれ接続される。
ここで、ＣＰＵ３０１は、学習装置１００の全体の制御を司る。メモリ３０２は、例えば、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）およびフラッシュＲＯＭなどを有する。具体的には、例えば、フラッシュＲＯＭやＲＯＭが各種プログラムを記憶し、ＲＡＭがＣＰＵ３０１のワークエリアとして使用される。メモリ３０２に記憶されるプログラムは、ＣＰＵ３０１にロードされることにより、コーディングされている処理をＣＰＵ３０１に実行させる。
ネットワークＩ／Ｆ３０３は、通信回線を通じてネットワーク２１０に接続され、ネットワーク２１０を介して他のコンピュータに接続される。そして、ネットワークＩ／Ｆ３０３は、ネットワーク２１０と内部のインターフェースを司り、他のコンピュータからのデータの入出力を制御する。ネットワークＩ／Ｆ３０３は、例えば、モデムやＬＡＮアダプタなどである。
記録媒体Ｉ／Ｆ３０４は、ＣＰＵ３０１の制御に従って記録媒体３０５に対するデータのリード／ライトを制御する。記録媒体Ｉ／Ｆ３０４は、例えば、ディスクドライブ、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）ポートなどである。記録媒体３０５は、記録媒体Ｉ／Ｆ３０４の制御で書き込まれたデータを記憶する不揮発メモリである。記録媒体３０５は、例えば、ディスク、半導体メモリ、ＵＳＢメモリなどである。記録媒体３０５は、学習装置１００から着脱可能であってもよい。
学習装置１００は、上述した構成部の他、例えば、キーボード、マウス、ディスプレイ、プリンタ、スキャナ、マイク、スピーカーなどを有してもよい。また、学習装置１００は、記録媒体Ｉ／Ｆ３０４や記録媒体３０５を複数有していてもよい。また、学習装置１００は、記録媒体Ｉ／Ｆ３０４や記録媒体３０５を有していなくてもよい。
（訓練データ管理テーブル４００の記憶内容）
次に、図４を用いて、訓練データ管理テーブル４００の記憶内容の一例について説明する。訓練データ管理テーブル４００は、例えば、図３に示した学習装置１００のメモリ３０２や記録媒体３０５などの記憶領域により実現される。
図４は、訓練データ管理テーブル４００の記憶内容の一例を示す説明図である。図４に示すように、訓練データ管理テーブル４００は、入力データと、正解データと、不適切データとのフィールドを有する。訓練データ管理テーブル４００は、訓練データごとに各フィールドに情報を設定することにより、訓練データ管理情報がレコード４００－ａとして記憶される。ａは、任意の整数である。
入力データのフィールドには、入力文を特定可能にする入力データが設定される。入力文は、例えば、入力記事である。入力データは、例えば、入力文である。入力データは、例えば、入力文の格納場所を示してもよい。正解データのフィールドには、正解として扱う、入力文を要約した要約文を特定可能にする正解データが設定される。正解データは、例えば、要約文である。正解データは、例えば、要約文の格納場所を示してもよい。入力データと、正解データとの組み合わせが、訓練データである。不適切データのフィールドには、要約文を部分的に加工した不適切な要約文を特定可能にする不適切データが設定される。不適切データは、例えば、不適切な要約文である。不適切データは、例えば、不適切な要約文の格納場所を示してもよい。
（単語データ管理テーブル５００の記憶内容）
次に、図５を用いて、単語データ管理テーブル５００の記憶内容の一例について説明する。単語データ管理テーブル５００は、例えば、図３に示した学習装置１００のメモリ３０２や記録媒体３０５などの記憶領域により実現される。
図５は、単語データ管理テーブル５００の記憶内容の一例を示す説明図である。図５に示すように、単語データ管理テーブル５００は、属性と、単語データとのフィールドを有する。単語データ管理テーブル５００は、単語データごとに各フィールドに情報を設定することにより、単語データ管理情報がレコード５００－ｂとして記憶される。ｂは、任意の整数である。
属性のフィールドには、固有表現となる単語の属性が設定される。属性は、例えば、組織名、人名、または、数値表現などである。単語データのフィールドには、上記単語を特定可能にする単語データが設定される。単語データは、例えば、上記単語である。単語データは、例えば、上記数値表現を特定可能にする単位であってもよい。
（クライアント装置２０１のハードウェア構成例）
クライアント装置２０１のハードウェア構成例は、例えば、図３に示した学習装置１００のハードウェア構成例と同様であるため、説明を省略する。
（学習装置１００の機能的構成例）
次に、図６を用いて、学習装置１００の機能的構成例について説明する。
図６は、学習装置１００の機能的構成例を示すブロック図である。学習装置１００は、記憶部６００と、取得部６０１と、生成部６０２と、学習部６０３と、推定部６０４と、出力部６０５とを含む。
記憶部６００は、例えば、図３に示したメモリ３０２や記録媒体３０５などの記憶領域によって実現される。以下では、記憶部６００が、学習装置１００に含まれる場合について説明するが、これに限らない。例えば、記憶部６００が、学習装置１００とは異なる装置に含まれ、記憶部６００の記憶内容が学習装置１００から参照可能である場合があってもよい。
取得部６０１～出力部６０５は、制御部の一例として機能する。取得部６０１～出力部６０５は、具体的には、例えば、図３に示したメモリ３０２や記録媒体３０５などの記憶領域に記憶されたプログラムをＣＰＵ３０１に実行させることにより、または、ネットワークＩ／Ｆ３０３により、その機能を実現する。各機能部の処理結果は、例えば、図３に示したメモリ３０２や記録媒体３０５などの記憶領域に記憶される。
記憶部６００は、各機能部の処理において参照され、または更新される各種情報を記憶する。記憶部６００は、入力文と当該入力文を要約した要約文とを記憶する。記憶部６００は、例えば、入力文と当該入力文を要約した要約文とを、訓練データ管理テーブル４００を用いて記憶する。入力文は、例えば、入力記事である。入力文と当該入力文を要約した要約文とは、例えば、取得部６０１によって取得される。入力文と当該入力文を要約した要約文とは、例えば、予め記憶部６００によって記憶されていてもよい。
記憶部６００は、入力文を要約した要約文とは異なる別の要約文を記憶する。別の要約文は、入力文を要約した要約文に基づき生成される。記憶部６００は、入力文を要約した要約文を部分的に変更することで、または要約文と部分的に一致する他の要約文を検索することで得られた、別の要約文を記憶する。別の要約文は、例えば、入力文に対して不適切な要約文である。記憶部６００は、入力文を要約した要約文を部分的に変更することにより得られた別の要約文を、訓練データ管理テーブル４００を用いて記憶する。記憶部６００は、入力文を要約した要約文を部分的にマスクし、マスク後の要約文と類似する他の要約文を検索することにより得られた別の要約文を、訓練データ管理テーブル４００を用いて記憶する。別の要約文は、例えば、生成部６０２によって生成される。別の要約文は、例えば、予め記憶部６００によって記憶されていてもよい。
記憶部６００は、固有表現の単語が複数登録されたリストを記憶する。リストは、例えば、入力文を要約した要約文を部分的に変更する際に用いられる。単語は、例えば、組織名、または、人名である。リストは、例えば、単語データ管理テーブル５００によって実現される。記憶部６００は、数値表現を特定可能にする情報を記憶していてもよい。記憶部６００は、例えば、数値表現に関し、所定の種類の数値に付与される単位を記憶する。
記憶部６００は、入力文が入力されたことに応じて当該入力文に対応する要約文を生成するモデルを記憶する。モデルは、入力文に対応する要約文に、複数の単語それぞれが出現する確率を算出可能であって、算出した当該確率に基づいて、当該要約文を生成可能である。モデルは、具体的には、ニューラルネットワークである。モデルは、例えば、学習部６０３によって生成される。
取得部６０１は、各機能部の処理に用いられる各種情報を取得する。取得部６０１は、取得した各種情報を、記憶部６００に記憶し、または、各機能部に出力する。また、取得部６０１は、記憶部６００に記憶しておいた各種情報を、各機能部に出力してもよい。取得部６０１は、例えば、システム管理者の操作入力に基づき、各種情報を取得する。取得部６０１は、例えば、学習装置１００とは異なる装置から、各種情報を受信してもよい。
取得部６０１は、入力文と当該入力文を要約した要約文とを取得する。取得部６０１は、例えば、第１入力文と第１入力文を要約した第１要約文とを取得する。第１要約文は、例えば、正解として適切と考えられる。取得部６０１は、具体的には、システム管理者の操作入力に基づき、第１入力文と第１入力文を要約した第１要約文とを取得する。取得部６０１は、具体的には、着脱可能な記録媒体３０５から、第１入力文と第１入力文を要約した第１要約文とを読み出すことにより取得してもよい。取得部６０１は、具体的には、第１入力文と第１入力文を要約した第１要約文とを、他のコンピュータから受信することにより取得してもよい。他のコンピュータは、例えば、クライアント装置２０１である。
取得部６０１は、対象の入力文に対応する要約文を生成することの要求を取得する。要求は、例えば、対象の入力文を含む。取得部６０１は、例えば、対象の入力文に対応する要約文を生成することの要求を、他のコンピュータから受信することにより取得する。他のコンピュータは、例えば、クライアント装置２０１である。取得部６０１は、例えば、システム管理者の操作入力に基づき、対象の入力文に対応する要約文を生成することの要求を取得してもよい。
取得部６０１は、いずれかの機能部の処理を開始する開始トリガーを受け付けてもよい。開始トリガーは、例えば、システム管理者による所定の操作入力があったことである。開始トリガーは、例えば、他のコンピュータから、所定の情報を受信したことであってもよい。開始トリガーは、例えば、いずれかの機能部が所定の情報を出力したことであってもよい。
取得部６０１は、例えば、入力文と当該入力文を要約した要約文とを取得したことを、生成部６０２と、学習部６０３との処理を開始する開始トリガーとして受け付けてもよい。取得部６０１は、例えば、システム管理者による所定の操作入力があったことを、生成部６０２と、学習部６０３との処理を開始する開始トリガーとして受け付けてもよい。取得部６０１は、例えば、対象の入力文に対応する要約文を生成することの要求を取得したことを、推定部６０４の処理を開始する開始トリガーとして受け付けてもよい。
生成部６０２は、取得した第１要約文と類似する第２要約文を生成する。第２要約文は、例えば、正解として不適切と考えられる要約文である。生成部６０２は、取得した第１要約文と部分的に一致する第２要約文を生成する。生成部６０２は、例えば、第１要約文に含まれる単語をランダムに選択し、選択した当該単語を、当該単語以外の別の単語に変更することにより第２要約文を生成する。あるいは、生成部６０２は、取得した第１要約文を部分的に隠した文を検索条件として、第１要約文と部分的に一致する要約文を、他の訓練データから検索することにより、第２要約文を生成する。これにより、生成部６０２は、負例となる不適切な要約文を、モデルの学習に利用可能にすることができる。
生成部６０２は、例えば、正解の要約文に対して、固有表現抽出器によって取得された人名、固有名詞などを隠した文章を検索条件として、第１要約文と部分的に単語が一致する要約文を検索することによって第２要約文を生成する。これにより、生成部６０２は、負例となる不適切な要約文を、モデルの学習に利用可能にすることができる。また、生成部６０２は、第１要約文に含まれる特定の単語を変更することにより、閲覧者の観点から第１入力文に対して不適切と考えられ易い第２要約文を、負例の要約文として生成することができる。このため、生成部６０２は、学習されるモデルにより、不適切な要約文が生成されてしまう確率の低減化を図ることができる。
生成部６０２は、例えば、正解の要約文に対して、固有表現抽出器によって取得された数値などを隠し、部分的に類似する要約文を他の訓練データから検索することによって第２要約文を生成する。これにより、生成部６０２は、負例となる不適切な要約文を、モデルの学習に利用可能にすることができる。また、生成部６０２は、数値を変更することにより、閲覧者の観点から第１入力文に対して不適切と考えられ易い第２要約文を、負例とすることができる。このため、生成部６０２は、学習されるモデルにより、不適切な要約文が生成されてしまう確率の低減化を図ることができる。
学習部６０３は、取得した第１入力文と、取得した第１要約文と、生成した第２要約文とに基づいて、モデルを学習する。学習部６０３は、例えば、第１入力文が入力されたことに応じて第１要約文が生成される第１確率が、第１入力文が入力されたことに応じて第２要約文が生成される第２確率よりも高くなるよう、モデルを学習する。
学習部６０３は、具体的には、モデルにより、第１入力文に対応する要約文に、複数の単語それぞれが出現する確率を算出し、算出した確率に基づいて、第１確率と、第２確率とを算出する。そして、学習部６０３は、具体的には、算出した第１確率が、算出した第２確率よりも高ければ、第１入力文と、第１要約文と、第２要約文とに基づいて、モデルを更新することにより、モデルを学習する。
学習部６０３は、より具体的には、算出した第１確率が、算出した第２確率よりも高ければ、損失関数を利用して、第１入力文と、第１要約文と、第２要約文とに基づいて、モデルのパラメータそれぞれを変更する方向を決定する。そして、学習部６０３は、より具体的には、決定した方向に従って、モデルのパラメータを更新することにより、モデルを学習する。これにより、学習部６０３は、入力文に対応する要約文を精度よく生成可能なモデルを学習することができる。
推定部６０４は、学習したモデルを利用して、対象の入力文に対応する要約文を生成する。推定部６０４は、学習したモデルに対象の入力文を入力することにより、対象の入力文に対応する要約文を生成する。これにより、推定部６０４は、入力文に対応する要約文を精度よく生成することができる。
出力部６０５は、少なくともいずれかの機能部の処理結果を出力する。出力形式は、例えば、ディスプレイへの表示、プリンタへの印刷出力、ネットワークＩ／Ｆ３０３による外部装置への送信、または、メモリ３０２や記録媒体３０５などの記憶領域への記憶である。これにより、出力部６０５は、少なくともいずれかの機能部の処理結果をシステム管理者に通知可能にし、学習装置１００の利便性の向上を図ることができる。
出力部６０５は、例えば、学習したモデルを出力する。出力部６０５は、具体的には、学習したモデルを、他のコンピュータに送信する。これにより、出力部６０５は、入力文に対応する要約文を精度よく生成可能なモデルを、他のコンピュータで利用可能にすることができる。このため、出力部６０５は、他のコンピュータで、入力文に対応する要約文を精度よく生成可能にすることができる。
出力部６０５は、例えば、生成した対象の入力文に対応する要約文を出力する。出力部６０５は、具体的には、対象の入力文に対応する要約文を、要求の送信元となる他のコンピュータに送信する。他のコンピュータは、例えば、クライアント装置２０１である。出力部６０５は、具体的には、対象の入力文に対応する要約文を表示してもよい。これにより、出力部６０５は、対象の入力文に対応する適切な要約文を、システム利用者が参照可能にすることができる。
ここでは、生成部６０２が、第２要約文を生成する場合について説明したが、これに限らない。例えば、他のコンピュータが、第２要約文を生成する場合があってもよい。この場合、取得部６０１が、第２要約文を、他のコンピュータから取得する。また、この場合、学習装置１００は、生成部６０２を含まなくてもよい。
（学習装置１００の動作の流れ）
次に、図７を用いて、学習装置１００の動作の流れについて説明する。
図７は、学習装置１００の動作の流れを示す説明図である。図７において、（７－１）学習装置１００は、要約学習データ７００を取得する。要約学習データ７００は、入力記事７０１と、入力記事７０１を要約した要約文７０２とを含む。
（７－２）学習装置１００は、要約文７０２の一部をマスクした雛型文７０３，７０４を生成する。学習装置１００は、テキストＤＢ（ＤａｔａＢａｓｅ）７１０を参照して、雛型文７０３，７０４のマスクされた部分に挿入するテキストを検索する。学習装置１００は、雛型文７０３，７０４のマスクされた部分に、検索したテキストを挿入し、検索結果７０５，７０６を生成する。検索結果７０５，７０６は、入力記事７０１に対して不適切な要約文に対応する。
学習装置１００は、要約学習データ７００に、検索結果７０５，７０６を付与し、検索結果付き要約学習データ７２０を生成する。これにより、学習装置１００は、負例となる不適切な要約文を得ることができる。このため、学習装置１００は、要約文７０２に基づく観点以外に、検索結果７０５，７０６に基づく観点を考慮して、入力文に対応する要約文を生成可能な要約モデル７３０を学習可能にすることができる。
（７－３）学習装置１００は、要約モデル７３０により、入力記事７０１に応じて要約文７０２が生成される生成確率が、入力記事７０１に応じて検索結果７０５，７０６が生成される生成確率よりも高くなるよう、要約モデル７３０を学習する。要約モデル７３０の具体例については、例えば、図８を用いて後述する。
学習装置１００は、例えば、要約モデル７３０により、入力記事７０１に応じて要約文７０２が生成される生成確率を算出する。要約文７０２が生成される生成確率を算出する具体例については、例えば、図９を用いて後述する。また、学習装置１００は、例えば、要約モデル７３０により、入力記事７０１に応じて検索結果７０５，７０６が生成される生成確率を算出する。検索結果７０５，７０６が生成される生成確率を算出する具体例については、例えば、図１０を用いて後述する。
学習装置１００は、例えば、要約文７０２が生成される生成確率が、検索結果７０５が生成される生成確率よりも高いか否かを判定する。ここで、学習装置１００は、例えば、要約文７０２が生成される生成確率が、検索結果７０５が生成される生成確率以下であれば、要約モデル７３０のパラメータを更新しない。一方で、学習装置１００は、例えば、要約文７０２が生成される生成確率が、検索結果７０５が生成される生成確率よりも高ければ、要約モデル７３０のパラメータを更新する。
学習装置１００は、具体的には、損失関数を利用して、入力記事７０１と、要約文７０２と、検索結果７０５とに基づいて、要約モデル７３０のパラメータを更新する。損失関数は、例えば、入力記事７０１に応じて要約モデル７３０によって生成される要約文が、正解とする要約文７０２と類似するほど、相対的に小さい値を示す。損失関数は、例えば、入力記事７０１に応じて要約モデル７３０によって生成される要約文が、不正解とする検索結果７０５と乖離するほど、相対的に小さい値を示す。学習装置１００は、より具体的には、損失関数を最小化するよう、要約モデル７３０のパラメータを変更する方向を特定する。そして、学習装置１００は、より具体的には、特定した方向に従って、要約モデル７３０のパラメータを更新する。
学習装置１００は、例えば、要約文７０２が生成される生成確率が、検索結果７０６が生成される生成確率よりも高いか否かを判定する。ここで、学習装置１００は、例えば、要約文７０２が生成される生成確率が、検索結果７０６が生成される生成確率以下であれば、要約モデル７３０のパラメータを更新しない。一方で、学習装置１００は、例えば、要約文７０２が生成される生成確率が、検索結果７０６が生成される生成確率よりも高ければ、入力記事７０１と、要約文７０２と、検索結果７０６とに基づいて、要約モデル７３０のパラメータを更新する。
学習装置１００は、具体的には、損失関数を利用して、入力記事７０１と、要約文７０２と、検索結果７０６とに基づいて、要約モデル７３０のパラメータを更新する。損失関数は、例えば、入力記事７０１に応じて要約モデル７３０によって生成される要約文が、正解とする要約文７０２と類似するほど、相対的に小さい値を示す。損失関数は、例えば、入力記事７０１に応じて要約モデル７３０によって生成される要約文が、不正解とする検索結果７０６と乖離するほど、相対的に小さい値を示す。学習装置１００は、より具体的には、損失関数を最小化するよう、要約モデル７３０のパラメータを変更する方向を特定する。そして、学習装置１００は、より具体的には、特定した方向に従って、要約モデル７３０のパラメータを更新する。
これにより、学習装置１００は、入力文に対応する要約文を精度よく生成可能な要約モデル７３０を学習することができる。学習装置１００は、例えば、正解とする要約文７０２の他、不正解とする検索結果７０５，７０６を考慮して、要約モデル７３０を学習することができる。このため、学習装置１００は、不適切な要約文を生成してしまう確率が低くなるよう、要約モデル７３０を学習することができる。また、学習装置１００は、学習した要約モデル７３０を利用して、対象の入力文に対応する要約文を精度よく生成可能にすることができる。
ここでは、学習装置１００が、要約文７０２の一部をマスクした雛型文７０３，７０４を生成し、雛型文７０３，７０４のマスクされた部分に、何らかのテキストを挿入することにより、不適切な要約文を生成する場合について説明したが、これに限らない。例えば、学習装置１００が、様々な要約文を記憶する要約文ＤＢを有し、要約文ＤＢの中から、要約文７０２と類似する別の要約文を検索することにより、不適切な要約文を生成する場合があってもよい。
具体的には、学習装置１００は、要約文７０２と、要約文ＤＢのそれぞれの要約文との類似度を算出し、算出した類似度に基づいて、要約文７０２と類似する別の要約文を検索することにより、不適切な要約文を生成してもよい。
また、具体的には、学習装置１００は、要約文ＤＢの中から、要約文７０２の一部をマスクした雛型文７０３，７０４と一致する別の要約文を検索することにより、不適切な要約文を生成する。より具体的には、学習装置１００は、要約文ＤＢの中から、雛型文７０３＝「［ＭＡＳＫ］は来月製品Ｂを発売」と［ＭＡＳＫ］部分以外が一致する別の要約文を検索することにより、不適切な要約文を生成することが考えられる。
また、より具体的には、学習装置１００は、要約文ＤＢのそれぞれの要約文と、雛型文７０３＝「［ＭＡＳＫ］は来月製品Ｂを発売」との、［ＭＡＳＫ］部分以外での類似度を算出してもよい。そして、学習装置１００は、算出した類似度に基づいて、要約文ＤＢの中から、雛型文７０３との類似度が比較的高い別の要約文を検索することにより、不適切な要約文を生成することが考えられる。ここで、学習装置１００は、「製品Ｂ」および「発売」などの単語を含まないものの、文章構成が類似する「Ｃ社は来月組織を拡大」などの要約文を、不適切な要約文として生成してもよい。これにより、学習装置１００は、不適切な要約文のバリエーションを増加させることができる。
（要約モデル７３０を学習する具体例）
次に、図８～図１０を用いて、要約モデル７３０を学習する具体例について説明する。まず、図８を用いて、要約モデル７３０の一例について説明する。
図８は、要約モデル７３０の一例を示す説明図である。要約モデル７３０は、複数の単語それぞれが、要約文のｉ番目の単語として出現する尤もらしさを示す生成確率を算出し、生成確率が最も高い単語ｙ＿ｉを出力する関数ｐ（ｙ＿Ｎ｜ｙ＿１，・・・，ｙ＿Ｎ－１，ｘ）を実現するニューラルネットワークである。ｘは、入力文である。ｘは、例えば、入力記事７０１である。Ｎは、０以上の整数である。複数の単語は、例えば、要約文の生成完了を示す特殊単語ＥＯＳ（Ｅｎｄ Ｏｆ Ｓｔｒｉｎｇ）を含む。
次に、図９および図１０を用いて、要約モデル７３０のパラメータを更新する一例について説明する。
図９および図１０は、要約モデル７３０のパラメータを更新する一例を示す説明図である。図９において、学習装置１００は、入力記事７０１を要約した要約文９００を取得済みであるとする。ここで、要約文９００の単語「発売」の後ろには単語「ＥＯＳ」が存在するとする。
学習装置１００は、要約モデル７３０により、入力記事７０１をｘとし、単語ごとの生成確率の表９０１を取得し、要約文９００の先頭単語「Ａ社」の生成確率「ｐ（ｙ＿１｜ｘ）＝０．５」を取得する。
次に、学習装置１００は、要約モデル７３０により、ｙ＿１＝Ａ社とし、単語ごとの生成確率の表９０２を取得し、要約文９００の２番目の単語「は」の生成確率「ｐ（ｙ＿２｜ｙ＿１，ｘ）＝０．５」を取得する。以降、学習装置１００は、同様に、要約文９００のｉ番目の単語の生成確率「ｐ（ｙ＿ｉ｜ｙ＿１，・・・，ｙ＿ｉ－１，ｘ）」を取得する。
最後に、学習装置１００は、単語ごとの生成確率の表９０３を取得し、要約文９００の最後の単語「ＥＯＳ」の生成確率「ｐ（ｙ＿Ｎ｜ｙ＿１，・・・，ｙ＿Ｎ－１，ｘ）＝０．６」を取得する。学習装置１００は、要約文９００の単語それぞれの生成確率を乗算し、要約文９００の生成確率Ｐ（Ｙ｜Ｘ）を算出する。次に、図１０の説明に移行する。
図１０において、学習装置１００は、入力記事７０１を要約した要約文９００を部分的に変更した検索結果１０００を生成済みであるとする。ここで、検索結果１０００の単語「発売」の後ろには単語「ＥＯＳ」が存在するとする。
学習装置１００は、要約モデル７３０により、入力記事７０１をｘとし、単語ごとの生成確率の表１００１を取得し、検索結果１０００の先頭単語「Ｃ社」の生成確率「ｐ（ｙ＿１｜ｘ）＝０．３」を取得する。
次に、学習装置１００は、要約モデル７３０により、ｙ＿１＝Ｃ社とし、単語ごとの生成確率の表１００２を取得し、検索結果１０００の２番目の単語「は」の生成確率「ｐ（ｙ＿２｜ｙ＿１，ｘ）＝０．５」を取得する。以降、学習装置１００は、同様に、検索結果１０００のｉ番目の単語の生成確率「ｐ（ｙ＿ｉ｜ｙ＿１，・・・，ｙ＿ｉ－１，ｘ）」を取得する。
最後に、学習装置１００は、単語ごとの生成確率の表１００３を取得し、検索結果１０００の最後の単語「ＥＯＳ」の生成確率「ｐ（ｙ＿Ｎ｜ｙ＿１，・・・，ｙ＿Ｎ－１，ｘ）＝０．６」を取得する。学習装置１００は、検索結果１０００の単語それぞれの生成確率を乗算し、検索結果１０００の生成確率Ｐ（Ｙ｜Ｘ）を算出する。
学習装置１００は、要約文９００の生成確率Ｐ（Ｙ｜Ｘ）が、検索結果１０００の生成確率Ｐ（Ｙ｜Ｘ）よりも高いか否かを判定する。ここで、学習装置１００は、要約文９００の生成確率Ｐ（Ｙ｜Ｘ）が、検索結果１０００の生成確率Ｐ（Ｙ｜Ｘ）以下であれば、要約モデル７３０のパラメータを更新しない。一方で、学習装置１００は、要約文９００の生成確率Ｐ（Ｙ｜Ｘ）が、検索結果１０００の生成確率Ｐ（Ｙ｜Ｘ）よりも高ければ、要約モデル７３０のパラメータを更新する。学習装置１００は、具体的には、損失関数を利用して、入力記事７０１と、要約文９００と、検索結果１０００とに基づいて、要約モデル７３０のパラメータを更新する。
（要約モデル７３０を利用する具体例）
次に、図１１を用いて、要約モデル７３０を利用して、対象の入力記事に対応する要約文を生成する具体例について説明する。
図１１は、要約モデル７３０を利用する具体例を示す説明図である。図１１において、学習装置１００は、要約モデル７３０により、対象の入力記事をｘとし、単語ごとの生成確率の表１１０１を取得し、最も生成確率が高い単語「Ａ社」を、要約文１１００の先頭の単語に設定する。
次に、学習装置１００は、要約モデル７３０により、対象の入力記事をｘ、要約文１１００の先頭の単語ｙ＿１＝「Ａ社」とし、単語ごとの生成確率の表１１０２を取得し、最も生成確率が高い単語「は」を、要約文１１００の２番目の単語に設定する。以降、学習装置１００は、同様に、要約文１１００のｉ番目の単語を設定していく。
最後に、学習装置１００は、単語ごとの生成確率の表１１０３を取得し、単語「ＥＯＳ」の生成確率が最も高いため、要約文１１００の生成を完了する。図１１の例では、要約文１１００は、生成を完了した後の状態で示されている。これにより、学習装置１００は、要約文を精度よく生成することができる。
（学習処理手順）
次に、図１２を用いて、学習装置１００が実行する、学習処理手順の一例について説明する。学習処理は、例えば、図３に示したＣＰＵ３０１と、メモリ３０２や記録媒体３０５などの記憶領域と、ネットワークＩ／Ｆ３０３とによって実現される。
図１２は、学習処理手順の一例を示すフローチャートである。図１２において、学習装置１００は、訓練データ群のうち、まだ選択していない訓練データを選択する（ステップＳ１２０１）。
次に、学習装置１００は、選択した訓練データに含まれる入力記事ｘに基づいて、選択した訓練データに含まれる正解の要約ｙの生成確率を算出する（ステップＳ１２０２）。そして、学習装置１００は、正解の要約ｙの一部をランダムに選択する（ステップＳ１２０３）。
次に、学習装置１００は、選択した正解の要約ｙの一部を置換することにより、新たな要約ｙ’を生成する（ステップＳ１２０４）。そして、学習装置１００は、入力記事ｘに基づいて、生成した新たな要約ｙ’の生成確率を算出する（ステップＳ１２０５）。
次に、学習装置１００は、正解の要約ｙの生成確率が、新たな要約ｙ’の生成確率よりも高いか否かを判定する（ステップＳ１２０６）。ここで、正解の要約ｙの生成確率が、新たな要約ｙ’の生成確率以下である場合（ステップＳ１２０６：Ｎｏ）、学習装置１００は、ステップＳ１２０８の処理に移行する。一方で、正解の要約ｙの生成確率が、新たな要約ｙ’の生成確率よりも高い場合（ステップＳ１２０６：Ｙｅｓ）、学習装置１００は、ステップＳ１２０７の処理に移行する。
ステップＳ１２０７では、学習装置１００は、入力記事ｘと正解の要約ｙとに基づいて、モデルのパラメータを更新する（ステップＳ１２０７）。そして、学習装置１００は、ステップＳ１２０８の処理に移行する。
ステップＳ１２０８では、学習装置１００は、訓練データ群のうち、すべての訓練データを選択したか否かを判定する（ステップＳ１２０８）。ここで、未選択の訓練データが残っている場合（ステップＳ１２０８：Ｎｏ）、学習装置１００は、ステップＳ１２０１の処理に戻る。一方で、すべての訓練データを選択している場合（ステップＳ１２０８：Ｙｅｓ）、学習装置１００は、学習処理を終了する。これにより、学習装置１００は、精度よく要約文を生成可能なモデルを得ることができる。
（推定処理手順）
次に、図１３を用いて、学習装置１００が実行する、推定処理手順の一例について説明する。推定処理は、例えば、図３に示したＣＰＵ３０１と、メモリ３０２や記録媒体３０５などの記憶領域と、ネットワークＩ／Ｆ３０３とによって実現される。
図１３は、推定処理手順の一例を示すフローチャートである。学習装置１００は、入力記事を取得する（ステップＳ１３０１）。
次に、学習装置１００は、モデルを利用して、入力記事に基づいて、複数の単語それぞれの要約における先頭単語としての出現確率を算出する（ステップＳ１３０２）。そして、学習装置１００は、算出した出現確率が最大となる単語を、先頭単語として含む単語列を設定する（ステップＳ１３０３）。
次に、学習装置１００は、モデルを利用して、現在の単語列に基づいて、複数の単語それぞれの要約における後続単語としての出現確率を算出する（ステップＳ１３０４）。そして、学習装置１００は、算出した出現確率が最大となる単語が、ＥＯＳであるか否かを判定する（ステップＳ１３０５）。
ここで、ＥＯＳである場合（ステップＳ１３０５：Ｙｅｓ）、学習装置１００は、ステップＳ１３０７の処理に移行する。一方で、ＥＯＳではない場合（ステップＳ１３０５：Ｎｏ）、学習装置１００は、ステップＳ１３０６の処理に移行する。
ステップＳ１３０６では、学習装置１００は、算出した出現確率が最大となる単語を、単語列の末尾に、後続単語として追加する（ステップＳ１３０６）。そして、学習装置１００は、ステップＳ１３０４の処理に戻る。
ステップＳ１３０７では、学習装置１００は、単語列を要約文として出力する（ステップＳ１３０７）。そして、学習装置１００は、推定処理を終了する。これにより、学習装置１００は、入力記事に対応する要約文を精度よく生成し、利用可能にすることができる。
ここで、学習装置１００は、図１２および図１３の各フローチャートにおける一部ステップの処理の順序を入れ替えて実行してもよい。例えば、ステップＳ１２０２の処理と、ステップＳ１２０３～Ｓ１２０５の処理の順序は入れ替え可能である。
以上説明したように、学習装置１００によれば、第１入力文と第１入力文を要約した第１要約文とを取得することができる。学習装置１００によれば、取得した第１要約文を部分的に変更した第２要約文を生成することができる。学習装置１００によれば、モデルを、第１入力文が入力されたことに応じて第１要約文が生成される第１確率が、第１入力文が入力されたことに応じて第２要約文が生成される第２確率よりも高くなるよう学習することができる。これにより、学習装置１００は、入力文に対応する要約文を精度よく生成可能なモデルを利用可能にすることができる。
学習装置１００によれば、モデルにより、第１入力文に対応する要約文に、複数の単語それぞれが出現する確率を算出することができる。学習装置１００によれば、算出した確率に基づいて、第１確率と、第２確率とを算出し、算出した第１確率が、算出した第２確率よりも高ければ、第１入力文と、第１要約文と、第２要約文とに基づいて、モデルを更新することができる。これにより、学習装置１００は、複数の単語それぞれが出現する確率を利用して、要約文単位で、当該要約文が生成される確率を算出することができる。
学習装置１００は、第１要約文と部分的に類似する第２要約文を生成することができる。これにより、学習装置１００は、負例となる不適切な要約文を、モデルの学習に利用可能にすることができる。また、学習装置１００は、人名、固有名詞などの特定の単語が第１要約文と異なる第２要約文を生成することにより、閲覧者の観点から第１入力文に対して不適切と考えられ易い第２要約文を、負例とすることができる。このため、学習装置１００は、学習されるモデルにより、不適切な要約文が生成されてしまう確率の低減化を図ることができる。
学習装置１００によれば、第１要約文に含まれる数値を、別の数値に変更することにより、第２要約文を生成することができる。これにより、学習装置１００は、負例となる不適切な要約文を、モデルの学習に利用可能にすることができる。また、学習装置１００は、特定の単語を変更することにより、閲覧者の観点から第１入力文に対して不適切と考えられ易い第２要約文を、負例とすることができる。このため、学習装置１００は、学習されるモデルにより、不適切な要約文が生成されてしまう確率の低減化を図ることができる。
学習装置１００によれば、第１要約文に含まれる単語をランダムに選択し、選択した当該単語を隠すことにより、第１要約文と部分的に類似する要約文を、他の訓練データから第２要約文として検索することができる。あるいは、学習装置１００は、第１要約文に含まれる単語をランダムに選択し、選択した当該単語を隠した文章を検索条件とすることで、第１要約文と部分的に類似する要約文を、他の訓練データから第２要約文として検索することができる。これにより、学習装置１００は、負例となる不適切な要約文を、モデルの学習に利用可能にすることができる。
学習装置１００によれば、学習したモデルを利用して、対象の入力文に対応する要約文を生成することができる。これにより、学習装置１００は、入力文に対応する要約文を精度よく生成することができる。
学習装置１００によれば、モデルを、ニューラルネットワークにより実現することができる。これにより、学習装置１００は、手動でモデルを定式化せずとも、モデルを実現することができる。
なお、本実施の形態で説明した学習方法は、予め用意されたプログラムをＰＣやワークステーションなどのコンピュータで実行することにより実現することができる。本実施の形態で説明した学習プログラムは、コンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行される。記録媒体は、ハードディスク、フレキシブルディスク、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）－ＲＯＭ、ＭＯ（Ｍａｇｎｅｔｏ Ｏｐｔｉｃａｌ ｄｉｓｃ）、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）などである。また、本実施の形態で説明した学習プログラムは、インターネットなどのネットワークを介して配布してもよい。
上述した実施の形態に関し、さらに以下の付記を開示する。
（付記１）第１入力文と前記第１入力文を要約した第１要約文とを取得し、
取得した前記第１要約文を部分的に変更した第２要約文を生成し、
取得した前記第１入力文と、取得した前記第１要約文と、生成した前記第２要約文とに基づいて、入力文が入力されたことに応じて当該入力文に対応する要約文を生成するモデルについての機械学習を、前記第１入力文が入力されたことに応じて前記第１要約文が生成される第１確率が、前記第１入力文が入力されたことに応じて前記第２要約文が生成される第２確率よりも高くなるように実行する、
処理をコンピュータに実行させることを特徴とする学習プログラム。
（付記２）前記モデルは、入力文に対応する要約文に、複数の単語それぞれが出現する確率を算出可能であって、算出した当該確率に基づいて、当該要約文を生成可能であって、
前記機械学習は、
前記モデルにより、前記第１入力文に対応する要約文に、複数の単語それぞれが出現する確率を算出し、算出した前記確率に基づいて、前記第１確率と、前記第２確率とを算出し、算出した前記第１確率が、算出した前記第２確率よりも高ければ、前記第１入力文と、前記第１要約文と、前記第２要約文とに基づいて、前記モデルを更新する、ことを特徴とする付記１に記載の学習プログラム。
（付記３）前記生成する処理は、
前記第１要約文に出現する固有表現をランダムに選択してマスクし、マスク後の前記第１要約文と部分的に類似する要約文を、訓練データ集合の中から検索することにより、前記第２要約文を生成する、ことを特徴とする付記１または２に記載の学習プログラム。
（付記４）前記生成する処理は、
前記第１要約文に含まれる数値を、別の数値に変更することにより、前記第２要約文を生成する、ことを特徴とする付記１～３のいずれか一つに記載の学習プログラム。
（付記５）前記生成する処理は、
前記第１要約文に含まれる単語をランダムに選択し、選択した当該単語を、当該単語以外の別の単語に変更することにより、前記第２要約文を生成する、ことを特徴とする付記１～４のいずれか一つに記載の学習プログラム。
（付記６）前記モデルを利用して、対象の入力文に対応する要約文を生成する、ことを特徴とする付記１～５のいずれか一つに記載の学習プログラム。
（付記７）前記モデルは、ニューラルネットワークである、ことを特徴とする付記１～６のいずれか一つに記載の学習プログラム。
（付記８）第１入力文と前記第１入力文を要約した第１要約文とを取得し、
取得した前記第１要約文を部分的に変更した第２要約文を生成し、
取得した前記第１入力文と、取得した前記第１要約文と、生成した前記第２要約文とに基づいて、入力文が入力されたことに応じて当該入力文に対応する要約文を生成するモデルについての機械学習を、前記第１入力文が入力されたことに応じて前記第１要約文が生成される第１確率が、前記第１入力文が入力されたことに応じて前記第２要約文が生成される第２確率よりも高くなるように実行する、
処理をコンピュータが実行することを特徴とする学習方法。
（付記９）第１入力文と前記第１入力文を要約した第１要約文とを取得し、
取得した前記第１要約文を部分的に変更した第２要約文を生成し、
取得した前記第１入力文と、取得した前記第１要約文と、生成した前記第２要約文とに基づいて、入力文が入力されたことに応じて当該入力文に対応する要約文を生成するモデルについての機械学習を、前記第１入力文が入力されたことに応じて前記第１要約文が生成される第１確率が、前記第１入力文が入力されたことに応じて前記第２要約文が生成される第２確率よりも高くなるように実行する、
制御部を有することを特徴とする学習装置。
１００ 学習装置
１０１ 第１入力文
１０２ 第１要約文
１０３ 第２要約文
１１０ モデル
２００ 情報処理システム
２０１ クライアント装置
２１０ ネットワーク
３００ バス
３０１ ＣＰＵ
３０２ メモリ
３０３ ネットワークＩ／Ｆ
３０４ 記録媒体Ｉ／Ｆ
３０５ 記録媒体
４００ 訓練データ管理テーブル
５００ 単語データ管理テーブル
６００ 記憶部
６０１ 取得部
６０２ 生成部
６０３ 学習部
６０４ 推定部
６０５ 出力部
７００ 要約学習データ
７０１ 入力記事
７０２，９００，１１００ 要約文
７０３，７０４ 雛型文
７０５，７０６，１０００ 検索結果
７２０ 検索結果付き要約学習データ
７３０ 要約モデル
９０１～９０３，１００１～１００３，１１０１～１１０３ 表

Claims (6)

  1. 第１入力文と前記第１入力文を要約した第１要約文とを取得し、
    取得した前記第１要約文を部分的に変更した第２要約文を生成し、
    取得した前記第１入力文と、取得した前記第１要約文と、生成した前記第２要約文とに基づいて、入力文が入力されたことに応じて当該入力文に対応する要約文を生成するモデルについての機械学習を、前記第１入力文が入力されたことに応じて前記第１要約文が生成される第１確率が、前記第１入力文が入力されたことに応じて前記第２要約文が生成される第２確率よりも高くなるように実行する、
    処理をコンピュータに実行させることを特徴とする学習プログラム。
  2. 前記モデルは、入力文に対応する要約文に、複数の単語それぞれが出現する確率を算出可能であって、算出した当該確率に基づいて、当該要約文を生成可能であって、
    前記機械学習は、
    前記モデルにより、前記第１入力文に対応する要約文に、複数の単語それぞれが出現する確率を算出し、算出した前記確率に基づいて、前記第１確率と、前記第２確率とを算出し、算出した前記第１確率が、算出した前記第２確率よりも高ければ、前記第１入力文と、前記第１要約文と、前記第２要約文とに基づいて、前記モデルを更新する、ことを特徴とする請求項１に記載の学習プログラム。
  3. 前記生成する処理は、
    前記第１要約文に出現する固有表現をランダムに選択してマスクし、マスク後の前記第１要約文と部分的に類似する要約文を、訓練データ集合の中から検索することにより、前記第２要約文を生成する、ことを特徴とする請求項１または２に記載の学習プログラム。
  4. 前記生成する処理は、
    前記第１要約文に含まれる数値を、別の数値に変更することにより、前記第２要約文を生成する、ことを特徴とする請求項１～３のいずれか一つに記載の学習プログラム。
  5. 第１入力文と前記第１入力文を要約した第１要約文とを取得し、
    取得した前記第１要約文を部分的に変更した第２要約文を生成し、
    取得した前記第１入力文と、取得した前記第１要約文と、生成した前記第２要約文とに基づいて、入力文が入力されたことに応じて当該入力文に対応する要約文を生成するモデルについての機械学習を、前記第１入力文が入力されたことに応じて前記第１要約文が生成される第１確率が、前記第１入力文が入力されたことに応じて前記第２要約文が生成される第２確率よりも高くなるように実行する、
    処理をコンピュータが実行することを特徴とする学習方法。
  6. 第１入力文と前記第１入力文を要約した第１要約文とを取得し、
    取得した前記第１要約文を部分的に変更した第２要約文を生成し、
    取得した前記第１入力文と、取得した前記第１要約文と、生成した前記第２要約文とに基づいて、入力文が入力されたことに応じて当該入力文に対応する要約文を生成するモデルについての機械学習を、前記第１入力文が入力されたことに応じて前記第１要約文が生成される第１確率が、前記第１入力文が入力されたことに応じて前記第２要約文が生成される第２確率よりも高くなるように実行する、
    制御部を有することを特徴とする学習装置。
JP2020211633A 2020-12-21 2020-12-21 学習プログラム、学習方法、および学習装置 Pending JP2022098219A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2020211633A JP2022098219A (ja) 2020-12-21 2020-12-21 学習プログラム、学習方法、および学習装置
US17/500,965 US11763069B2 (en) 2020-12-21 2021-10-14 Computer-readable recording medium storing learning program, learning method, and learning device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020211633A JP2022098219A (ja) 2020-12-21 2020-12-21 学習プログラム、学習方法、および学習装置

Publications (1)

Publication Number Publication Date
JP2022098219A true JP2022098219A (ja) 2022-07-01

Family

ID=82023122

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020211633A Pending JP2022098219A (ja) 2020-12-21 2020-12-21 学習プログラム、学習方法、および学習装置

Country Status (2)

Country Link
US (1) US11763069B2 (ja)
JP (1) JP2022098219A (ja)

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4187213B2 (ja) 2004-06-07 2008-11-26 独立行政法人情報通信研究機構 自動要約処理装置および自動要約処理方法
US10409898B2 (en) * 2017-11-17 2019-09-10 Adobe Inc. Generating a targeted summary of textual content tuned to a target audience vocabulary
US10303771B1 (en) 2018-02-14 2019-05-28 Capital One Services, Llc Utilizing machine learning models to identify insights in a document
JP7211011B2 (ja) * 2018-10-31 2023-01-24 富士通株式会社 学習方法、学習プログラム及び生成方法
US11062087B2 (en) * 2019-01-30 2021-07-13 Adobe Inc. Generating summary content tuned to a target characteristic using a word generation model
JP7251214B2 (ja) * 2019-03-01 2023-04-04 日本電信電話株式会社 文生成装置、文生成方法、文生成学習装置、文生成学習方法及びプログラム
JP7275661B2 (ja) * 2019-03-01 2023-05-18 日本電信電話株式会社 文生成装置、文生成方法、文生成学習装置、文生成学習方法及びプログラム
JP2020181387A (ja) * 2019-04-25 2020-11-05 シャープ株式会社 文書要約装置、文書要約システム、文書要約方法及びプログラム
EP3739491B1 (en) * 2019-05-17 2022-07-06 Samsung Electronics Co., Ltd. Electronic apparatus and controlling method thereof
US11454976B1 (en) * 2019-06-06 2022-09-27 Zoox, Inc. Optimizing data levels for processing,transmission, or storage
US11232263B2 (en) * 2019-08-07 2022-01-25 Adobe Inc. Generating summary content using supervised sentential extractive summarization
JP7248130B2 (ja) * 2019-08-30 2023-03-29 富士通株式会社 情報処理方法、情報処理プログラムおよび情報処理装置
US11934781B2 (en) * 2020-08-28 2024-03-19 Salesforce, Inc. Systems and methods for controllable text summarization
US20220351071A1 (en) * 2021-04-30 2022-11-03 Recruit Co., Ltd., Meta-learning data augmentation framework

Also Published As

Publication number Publication date
US20220198131A1 (en) 2022-06-23
US11763069B2 (en) 2023-09-19

Similar Documents

Publication Publication Date Title
US11544177B2 (en) Mapping of test cases to test data for computer software testing
RU2693184C2 (ru) Моделирование контекста сеанса для систем понимания разговорной речи
CN111666746B (zh) 会议纪要的生成方法及装置、电子设备及存储介质
WO2019158014A1 (zh) 由计算机实施的与用户对话的方法和计算机系统
US7925496B1 (en) Method for summarizing natural language text
US9495424B1 (en) Recognition of characters and their significance within written works
JP6505421B2 (ja) 情報抽出支援装置、方法およびプログラム
US11531693B2 (en) Information processing apparatus, method and non-transitory computer readable medium
JPWO2009087996A1 (ja) 情報抽出装置及び情報抽出システム
JP6770709B2 (ja) 機械学習用モデル生成装置及びプログラム。
WO2017083205A1 (en) Provide interactive content generation for document
US20210330241A1 (en) A computer-implemented method, an apparatus and a computer program product for determining an updated set of words for use in an auditory verbal learning test
JP2019197336A (ja) 学習データ生成装置、方法、およびプログラム
KR20190090636A (ko) 문서 자동 편집 방법
US11036926B2 (en) Generating annotated natural language phrases
JP2022098219A (ja) 学習プログラム、学習方法、および学習装置
JP6805927B2 (ja) インデックス生成プログラム、データ検索プログラム、インデックス生成装置、データ検索装置、インデックス生成方法、及びデータ検索方法
KR101835994B1 (ko) 키워드 맵을 이용한 전자책 검색 서비스 제공 방법 및 장치
US11934414B2 (en) Systems and methods for generating document score adjustments
JP2023181819A (ja) 言語処理装置、機械学習方法、推定方法及びプログラム
JP7135730B2 (ja) 要約生成方法及び要約生成プログラム
CN114722267A (zh) 信息推送方法、装置及服务器
CN107015955A (zh) 文档编辑方法和装置
JP2010140262A (ja) 語句入力支援装置及びプログラム
JP2009223679A (ja) 電子文書検索装置、及び電子文書検索プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230804

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20240730

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240806