JP2004253011A - 自動要約処理装置および自動要約処理方法 - Google Patents

自動要約処理装置および自動要約処理方法 Download PDF

Info

Publication number
JP2004253011A
JP2004253011A JP2004168944A JP2004168944A JP2004253011A JP 2004253011 A JP2004253011 A JP 2004253011A JP 2004168944 A JP2004168944 A JP 2004168944A JP 2004168944 A JP2004168944 A JP 2004168944A JP 2004253011 A JP2004253011 A JP 2004253011A
Authority
JP
Japan
Prior art keywords
solution
text
candidate
pair
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2004168944A
Other languages
English (en)
Other versions
JP4187213B2 (ja
Inventor
Maki Murata
真樹 村田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National Institute of Information and Communications Technology
Original Assignee
National Institute of Information and Communications Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National Institute of Information and Communications Technology filed Critical National Institute of Information and Communications Technology
Priority to JP2004168944A priority Critical patent/JP4187213B2/ja
Publication of JP2004253011A publication Critical patent/JP2004253011A/ja
Application granted granted Critical
Publication of JP4187213B2 publication Critical patent/JP4187213B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Machine Translation (AREA)
  • Document Processing Apparatus (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

【課題】 ユーザが評価した要約を解データとして用いた機械学習法による要約処理を行ってユーザに特化した要約処理を実現する。
【解決手段】 評価カスタマイズ手段110 は表示した要約にユーザ入力の評価を付与し、テキストと要約と評価(解)とを事例として解データ記憶部120 に記憶する。解−素性対抽出部121 は事例から解と素性の集合との組を抽出し、機械学習部122 はどのような素性のときにどのような解となりやすいかを学習して結果を学習結果データ記憶部123 に記憶する。要約候補生成部124 はテキスト2 から要約候補を生成し、素性抽出部125 はテキストと要約候補から素性の集合を抽出し、要約候補−推定解対生成部126 は学習結果データを参照して素性の集合から推定して要約候補−推定解対を生成し、要約選択部128 はその対の要約候補を要約とする。
【選択図】 図1

Description

本発明は、機械学習法により文章を自動要約する処理において、編集可能な解データを用いる機械学習法を用いた自動要約処理に関する。
近年、情報技術の発展に伴ってコンピュータを用いた文章の自動要約処理が盛んになってきている。しかし、個人的な嗜好や要約結果の用途などにより、所望する要約結果の傾向に相違があると考えられる。
例えば、以下の非特許文献1では、複数の者がそれぞれ重要文抽出による要約を行なった結果に対する相互評価の尺度として再現率と適合率とを求めて表4に示している。非特許文献1の表4から明らかなように、20文を抽出する処理の場合に、人−人(評価者相互)の評価(再現率および適合率)は、各評価者A、B、Cの一致度は50〜70%であってあまり高い値とはいえず、要約結果に対する評価に個人差が存在することが推定できる。
また、以下の非特許文献2では、サポート・ベクトル・マシン(Support Vector Machine)による重要文抽出処理において、処理セットA、B、Cについて交差検定の精度が最もよいことを表4により示している。非特許文献2の表4に示された交差検定は、同一評価者による処理と同一視でき、セットA、B、Cを作成した者が同一かどうかは不明であるが、少なくとも同一時期もしくは同一人物により学習データを作成したほうが精度が良いということがわかる。
伊藤山彦他、「講演文を対象にした重要文抽出」、言語処理学会第7回年次大会発表論文集、言語処理学会、2001年、pp.305-308 平尾勉他、「Support Vector Machineによる重要文抽出」、情報学会基礎論文63-16 、情報学会、2001年、pp.121-127
このように、要約結果に対する評価に個人差や用途差が存在すると考えることができることから、機械学習法を用いた自動要約処理においても、同じ評価にもとづいた要約を行なうのではなく、ユーザに特化した要約ができる必要がある。そのために、教師となる解データをユーザが自由に編集できる必要がある。
本発明の目的は、機械学習法で用いる解データとなる要約結果または要約結果に対する評価をユーザが任意に編集できる解データを用いた機械学習法を用いて、ユーザごとに特化した要約を行える自動要約処理装置および処理方法を実現することである。
上記の目的を達成するため、本発明は、予め備えた解データを用いた機械学習処理に対してユーザがどのような要約結果を高く評価したかの情報をフィードバックするために、ユーザが要約結果やその評価を編集できるようにし、ユーザが編集した解データのフィードバックにより、機械学習処理においてユーザごとの特性を学習し、ユーザに特化した要約を行なうことができるようにするものである。
本発明は、文書データであるテキストを機械学習法を用いて自動要約する自動要約処理装置であって、1)テキストおよび前記テキストの要約を記憶するテキスト記憶手段と、2)前記要約を表示装置に表示する要約表示処理手段と、3)前記要約に対するユーザの評価の入力を受け付けて前記要約の評価とする評価設定処理手段と、4)前記テキストおよび前記要約で構成される問題に対し前記評価を解として付与して生成した解データを解データ記憶手段に記憶する解データ出力処理手段と、5)前記解データから前記問題の素性の集合と前記解との組を抽出し、当該組から、どのような素性のときにどのような解となりやすいかを学習した学習結果データを学習結果データ記憶手段に記憶する機械学習処理手段と、6)要約対象のテキストを入力し、前記入力テキストから要約候補を生成する要約候補生成処理手段と、7)前記入力テキストおよび前記要約候補から素性の集合を抽出し、当該素性の集合からどのような解となりやすいかを前記学習結果データをもとに推定し、要約候補と推定解との対を生成する要約候補−推定解対生成処理手段と、8)前記要約候補−推定解対から、推定解が所定の良い評価でかつ確信度が最高の対を選択し、当該対の要約候補を要約とする要約選択処理手段とを備える。
本発明は、テキスト記憶手段に記憶されたテキストの要約を表示装置に表示し、前記要約に対するユーザの評価の入力を受け付けて前記要約の評価とする。そして、前記テキストおよび前記要約で構成される問題に対し前記評価を解として付与して生成した解データを解データ記憶手段に記憶し、前記解データから前記問題の素性の集合と前記解との組を抽出し、当該組から、どのような素性のときにどのような解となりやすいかを学習した学習結果データを学習結果データ記憶手段に記憶する。
その後、要約対象のテキストを入力し、前記入力テキストから要約候補を生成し、前記入力テキストおよび前記要約候補から素性の集合を抽出し、当該素性の集合からどのような解となりやすいかを前記学習結果データをもとに推定し、要約候補と推定解との対(要約候補−推定解対)を生成する。そして、前記要約候補−推定解対から、推定解が所定の良い評価でかつ確信度が最高の対を選択し、当該対の要約候補を要約とする。
これにより、表示した要約に対するユーザの評価を用いてユーザが良いと考える要約を機械学習し、その後に入力したテキストについてユーザに特化した要約を行うことができる。
または、本発明は、1)テキストを記憶するテキスト記憶手段と、2)前記テキストを表示装置に表示するテキスト表示処理手段と、3)前記テキストからユーザによって指定された範囲の文データを抽出して前記テキストのユーザ指定要約とする要約編集処理手段と、4)所定の規則に基づいて要約を生成する処理もしくは機械学習法を用いて要約を生成する処理のいずれかの自動要約生成処理により前記テキストの要約を生成し、前記テキストおよび前記ユーザ指定要約で構成される問題に対し前記ユーザによって選ばれた良い要約であることを示す所定の良い評価を解として付与して生成した解データと、前記テキストおよび前記自動要約生成処理による要約であって前記ユーザ指定要約以外の部分からなるもので構成される問題に対し前記ユーザ指定要約ではないことを示す所定の悪い評価を解として付与して生成した解データとを解データ記憶手段に記憶する解データ出力処理手段と、5)前記解データから前記問題の素性の集合と前記解との組を抽出し、当該組から、どのような素性のときにどのような解となりやすいかを学習した学習結果データを学習結果データ記憶手段に記憶する機械学習処理手段と、6)要約対象のテキストを入力し、前記入力テキストから要約候補を生成する要約候補生成処理手段と、7)前記入力テキストおよび前記要約候補から素性の集合を抽出し、当該素性の集合からどのような解となりやすいかを前記学習結果データをもとに推定し、要約候補と推定解との対を生成する要約候補−推定解対生成処理手段と、8)前記要約候補−推定解対から、推定解が所定の良い評価でかつ確信度が最高の対を選択し、当該対の要約候補を要約とする要約選択処理手段とを備える。
本発明は、テキスト記憶手段に記憶されたテキストを表示装置に表示し、前記テキストからユーザによって指定された範囲の文データを抽出して前記テキストのユーザ指定要約とする。そして、所定の規則に基づいて要約を生成する処理もしくは機械学習法を用いて要約を生成する処理のいずれかの自動要約生成処理により前記テキストの要約を生成し、前記テキストおよび前記ユーザ指定要約で構成される問題に対し前記ユーザによって選ばれた良い要約であることを示す所定の良い評価を解として付与して生成した解データと、前記テキストおよび前記自動要約生成処理による要約であって前記ユーザ指定要約以外の部分からなるもので構成される問題に対し前記ユーザ指定要約ではないことを示す所定の悪い評価を解として付与して生成した解データとを解データ記憶手段に記憶する。さらに、前記解データから前記問題の素性の集合と前記解との組を抽出し、当該組から、どのような素性のときにどのような解となりやすいかを学習した学習結果データを学習結果データ記憶手段に記憶する。その後、要約対象のテキストを入力し、前記入力テキストから要約候補を生成し、前記入力テキストおよび前記要約候補から素性の集合を抽出し、当該素性の集合からどのような解となりやすいかを前記学習結果データをもとに推定し、要約候補と推定解との対(要約候補−推定解対)を生成する。そして、前記要約候補−推定解対から、推定解が所定の良い評価でかつ確信度が最高の対を選択し、当該対の要約候補を要約とする。
これにより、表示したテキストからユーザによって抽出された部分をユーザが良いと評価した要約として機械学習し、その後に入力したテキストについてユーザに特化した要約を行うことができる。
または、本発明は、1)テキストおよび前記テキストの要約を記憶するテキスト記憶手段と、2)前記要約を表示装置に表示する要約表示処理手段と、3)前記要約に対するユーザの評価の入力を受け付けて前記要約の評価とする評価設定処理手段と、4)前記テキストおよび前記要約で構成される問題に対し前記ユーザが設定した評価を解として付与した解データを生成し、解データ記憶手段に記憶する解データ出力処理手段と、5)所定の評価のうち前記解となった評価以外の評価を解候補として、前記解データから前記問題の素性の集合と解もしくは解候補との組を抽出し、前記素性の集合と解との組を正例と前記素性の集合と解候補との組を負例とする素性−解対・素性−解候補対抽出処理手段と、6)前記抽出した組を教師信号として、どのような解もしくは解候補と素性の集合のときに正例である確率または負例である確率となるかを学習した学習結果データを学習結果データ記憶手段に記憶する機械学習処理手段と、7)要約対象のテキストを入力し、前記入力テキストから要約候補を生成する要約候補生成処理手段と、8)前記所定の評価を解の候補として、前記入力テキストおよび前記要約候補から素性の集合と解の候補との組を生成し、当該素性の集合と解の候補の組の場合に正例もしくは負例である確率を前記学習結果データをもとに推定し、前記推定した結果を推定解として前記要約候補と解の候補の組と前記推定解との対を生成する要約候補−推定解対生成処理手段と、9)前記要約候補と解の候補の組−推定解対から、解の候補が所定の良い評価でかつ推定解の正例の確率が最高の対を選択し、当該対の要約候補を要約とする要約選択処理手段とを備える。
または、本発明は、1)テキストを記憶するテキスト記憶手段と、2)前記テキストを表示装置に表示するテキスト表示処理手段と、3)前記テキストからユーザによって指定された範囲の文データを抽出して前記テキストのユーザ指定要約とする要約編集処理手段と、4)所定の規則に基づいて要約を生成する処理もしくは機械学習法を用いて要約を生成する処理のいずれかの自動要約生成処理により前記テキストの要約を生成し、前記テキストおよび前記ユーザ指定要約で構成される問題に対し前記ユーザによって選ばれた良い要約であることを示す所定の良い評価を解として付与して生成した解データと、前記テキストおよび前記自動要約生成処理による要約であって前記ユーザ指定要約以外の部分からなるもので構成される問題に対し前記ユーザ指定要約ではないことを示す所定の悪い評価を解として付与して生成した解データとを解データ記憶手段に記憶する解データ出力処理手段と、5)所定の評価のうち前記解となった評価以外の評価を解候補として、前記解データから前記問題の素性の集合と解もしくは解候補との組を抽出し、前記素性の集合と解との組を正例と前記素性の集合と解候補との組を負例とする素性−解対・素性−解候補対抽出処理手段と、6)前記抽出した組を教師信号として、どのような解もしくは解候補と素性の集合のときに正例である確率または負例である確率となるかを学習した学習結果データを学習結果データ記憶手段に記憶する機械学習処理手段と、7)要約対象のテキストを入力し、前記入力テキストから要約候補を生成する要約候補生成処理手段と、8)前記所定の評価を解の候補として、前記入力テキストおよび前記要約候補から素性の集合と解の候補との組を生成し、当該素性の集合と解の候補の組の場合に正例もしくは負例である確率を前記学習結果データをもとに推定し、前記推定した結果を推定解として前記要約候補と解の候補との組と前記推定解との対を生成する要約候補−推定解対生成処理手段と、9)前記要約候補と解の候補との組−推定解対から、解の候補が所定の良い評価でかつ推定解の正例の確率が最高の対を選択し、当該対の要約候補を要約とする要約選択処理手段とを備える。
または、本発明は、1)テキストを記憶するテキスト記憶手段と、2)前記テキストを表示装置に表示するテキスト表示処理手段と、3)前記テキストからユーザによって指定された範囲の文データを抽出して前記テキストのユーザ指定要約とする要約編集処理手段と、4)前記テキストを問題とし前記問題に対する前記ユーザ指定要約を解とする解データを生成し解データ記憶手段に記憶する解データ出力処理手段と、5)前記解データから前記問題の素性の集合と前記解との組を抽出し、当該組から、どのような素性のときにどのような解となりやすいかを学習した学習結果データを学習結果データ記憶手段に記憶する機械学習処理手段と、6)要約対象のテキストを入力し、前記入力テキストから素性の集合を抽出し、当該素性の集合からどのような解となりやすいかを前記学習結果データをもとに推定する解推定処理手段と、7)前記解推定処理手段で推定された解を前記入力テキストの要約として出力する要約選択処理手段とを備える。
これにより、表示した要約に対するユーザの評価を用いて要約処理を機械学習し、入力したテキストについてユーザに特化した要約を行うことができる。
または、本発明は、1)テキストを記憶するテキスト記憶手段と、2)前記テキストを表示装置に表示するテキスト表示処理手段と、3)前記テキストからユーザによって指定された範囲の文データを抽出して前記テキストのユーザ指定要約とする要約編集処理手段と、4)前記テキストを問題とし前記問題に対する前記ユーザ指定要約を解とする解データを生成し解データ記憶手段に記憶する解データ出力処理手段と、5)所定の規則に基づいて要約を生成する処理もしくは機械学習法を用いて要約を生成する処理のいずれかの自動要約生成処理により前記テキストの要約を生成し、前記要約のうち前記ユーザ指定要約以外の部分からなるものを解候補とし、前記解データから解もしくは解候補と前記問題の素性の集合との組を抽出し、前記素性の集合と解との組を正例と前記素性の集合と解候補との組を負例とする素性−解対・素性−解候補対抽出処理手段と、6)前記抽出した組を教師信号として、どのような解もしくは解候補と素性の集合のときに正例である確率または負例である確率となるかを学習した学習結果データを学習結果データ記憶手段に記憶する機械学習処理手段と、7)要約対象のテキストを入力し、前記入力テキストから要約候補を生成する要約候補生成処理手段と、8)前記要約候補を解の候補として、前記入力テキストおよび前記要約候補から素性の集合と解の候補との組を生成し、当該素性の集合と解の候補との組の場合に正例もしくは負例である確率を前記学習結果データをもとに推定し、前記推定した結果を推定解として、前記要約候補と推定解との対を生成する要約候補−推定解対生成処理手段と、9)前記要約候補−推定解対から前記推定解の正例の確率が最高の対を選択し、当該対の要約候補を要約とする要約選択処理手段とを備える。
これにより、表示したテキストから抽出された部分をユーザが良いと評価した要約として要約処理を機械学習し、入力したテキストについてユーザに特化した要約を行うことができる。
本発明にかかる処理装置の各手段または機能または要素は、コンピュータが実行可能なプログラムによっても実現できる。このプログラムは、コンピュータが読み取り可能な、可搬媒体メモリ、半導体メモリ、ハードディスクなどの適当な記録媒体に格納することができ、これらの記録媒体に記録して提供され、または、通信インタフェースを介して種々の通信網を利用した送受信により提供されるものである。
本発明によれば、ユーザは、機械学習の解データとされる要約結果に対する評価を任意に設定することができるため、コンピュータを用いた自動要約処理においても、一つの類型で要約するのではなく、ユーザに特化した要約を行なえることが可能となる。
また、同一人物であっても要約の評価が変化することが考えられるが、本発明によれば、同一人物であっても随時要約結果に対する評価を設定でき、新たな解データを用いて機械学習し直すことにより、新しい評価態度に合わせた要約を行なうことが可能となる。
〔第1の実施の形態〕
図1に、第1の実施の形態における本発明の処理装置の構成例を示す。
自動要約処理装置10は、評価カスタマイズ手段110と、解データ記憶部120と、解−素性対抽出部121と、機械学習部122と、学習結果データ記憶部123と、要約候補生成部124と、素性抽出部125と、要約候補−推定解対生成部126と、要約選択部128とを備える。
評価カスタマイズ手段110は、解データ編集処理を実現する処理手段である。また、解データ記憶部120と、解−素性対抽出部121と、機械学習部122と、学習結果データ記憶部123とは、特許請求の範囲に示す自動要約処理装置の機械学習処理手段を実現する処理手段である。
評価カスタマイズ手段110は、要約結果やその評価をユーザごとにカスタマイズする手段であって、要約表示部111と、評価付与部112とを備える。
要約表示部111は、予め用意されたテキスト・要約4の要約結果を表示装置(図1に図示しない)に表示する手段である。
テキスト・要約4は、テキストとその要約結果からなる。テキストは、一または複数の記事などからなる文書データである。要約結果は、テキストを要約した文書データである。要約結果としては、人手で生成したもの、自動要約処理装置10が入力したテキスト2に対して出力した要約3もしくは要約候補生成部124が生成し解データ記憶部120に記憶した要約候補であってもよい。
評価付与部112は、要約表示部111が表示した要約結果に対してユーザが入力した評価を付与し、または、要約結果に予め与えられている評価をユーザが入力した評価に変更する手段である。
解データ記憶部120は、機械学習部122が機械学習法を実行する際に教師とする解データを記憶する手段である。解データ記憶部120には、解データとして、テキストおよびその要約結果とからなる問題と要約結果に対する評価である解との組である事例が記憶される。
解−素性対抽出部121は、解データ記憶部120に記憶されている事例ごとに解と素性の集合との組を抽出する手段である。
素性とは、解析に用いる情報の細かい1単位を意味し、ここでは、1)文のなめらかさを示す情報、2)内容をよく表しているかどうかを示す情報、および、3)自動要約処理で用いられる特徴的な情報などである。
機械学習部122は、解−素性対抽出部121により抽出された解と素性の集合との組から、どのような素性の集合のときにどのような解になりやすいかを機械学習法により学習し、学習結果を学習結果データ記憶部123に保存する手段である。機械学習部122は、解データを用いた機械学習法であればどのような手法で処理を行ってもよい。手法としては、例えば、決定木法、サポートベクトル法、パラメータチューニング法、シンプルベイズ法、最大エントロピー法、決定リスト法などがある。
学習結果データ記憶部123は、機械学習部122の学習結果データを記憶する手段である。
要約候補生成部124は、入力されたテキスト2から、所定の方法にもとづいて要約候補を生成する手段である。要約候補生成部124は、重要文選択モデル、重要箇所選択モデル、変形規則を利用したモデル、ランダムジェネレーションを利用したモデルなどの種々のモデルを用いて要約候補を生成する。
素性抽出部125は、テキスト2および要約候補生成部124で生成された要約候補について素性の集合を抽出して要約候補−推定解対生成部126へ渡す手段である。
要約候補−推定解対生成部126は、学習結果データ記憶部123の学習結果データを参照して、素性抽出部125から渡された素性の集合の場合に、どのような解になりやすいかを推定して、要約候補と推定解との対(要約候補−推定解対)127を生成する手段である。要約候補−推定解対生成部126は、さらに、各要約候補−推定解対127に、その推定解である確信度(確率)を求めて付与しておく。
要約選択部128は、要約候補−推定解対127を受け取り、確信度の値が最も高い要約候補−推定解対127を選択し、その要約候補を要約3とする手段である。
第1の実施の形態における評価カスタマイズ処理を説明するため、3人のユーザA、B、Cが要約結果をカスタマイズする場合を考える。
ユーザAは要約結果に精度に関する記載が含まれていることを重視して評価すると仮定する。ユーザBは要約結果に手法に関する記載が含まれていることを重視し、ユーザCは、要約結果に手法と精度の両方に関する記載が含まれていることを重視して評価すると仮定する。また、要約結果の評価を3段階に分けて、評価1=よい、評価2=どちらでもない、評価3=悪い、のいずれかの分類先(評価)を与えるとする。
図2に、第1の実施の形態における評価カスタマイズ処理の流れを示す。
まず、テキスト・要約4が用意されているとする。図3にテキスト・要約4のテキストの例を示し、図4に要約結果の例を示す。図4(A)〜(C)のそれぞれに、3つの要約結果r1、r2、r3を示す。
要約表示部111は、テキスト・要約4から取り出した要約結果を表示画面に表示する(ステップS1)。そして、評価付与部112は、ユーザが入力した評価を受け付け、その入力された評価を表示された要約結果の解(評価)とする(ステップS2)。
ここで、ユーザAが自動要約処理装置10を使用する場合を想定する。ユーザAは、図4(A)の要約結果r1に対して、精度に関係することが要約結果として抽出されているため、評価1をつける。すると、評価付与部112は、ユーザの入力(評価1)を受け付けて、事例c1の解として評価1を設定する。
次に、要約表示部111が図4(B)に示す事例c2の要約結果r2を表示した場合には、要約結果r2は精度に関係することが抽出されていないため、ユーザAは、要約結果r2に対して評価3をつけ、評価付与部112は、事例c2の解として評価3を設定する。
さらに、要約表示部111が図4(C)に示す事例c3の要約結果r3を表示した場合には、要約結果r3は精度に関係するところが抽出されているが若干冗長であるため、ユーザAは評価2をつけ、評価付与部112は事例c3の解として評価2を設定する。
同様に、ユーザBの場合を想定する。ユーザBは、図4(A)に示す要約結果r1に対して手法に関係するところが抽出されていないために評価3をつけ、図4(B)に示す要約結果r2に対して手法に関係するところが抽出されていることから評価1をつけ、図4(C)に示す要約結果r3に対して手法に関係するところが抽出されているが若干冗長であるため評価2をつける。
また、同様に、ユーザCの場合を想定する。ユーザCは、図4(A)に示す要約結果r1に対して精度に関係するところが抽出されているが手法に関係するところが抽出されれていないため評価2をつけ、図4(B)に示す要約結果r2に対して手法に関係するところが抽出されているが精度に関係するところが抽出されていないため評価2をつけ、図4(C)に示す要約結果r3について手法および精度のいずれにも関係するところが抽出されているが若干冗長であるため評価1をつける。
評価付与部112は、ユーザBおよびユーザCごとに要約結果r1〜r3に対する入力評価を、それぞれの事例c1〜c3の解(評価)として設定する。
そして、評価カスタマイズ手段110は、テキスト・要約4で与えられたテキストとその要約結果と解とを事例として解データ記憶部120に記憶する(ステップS3)。
図5に、機械学習処理および自動要約処理の流れを示す。
解−素性対抽出部121は、解データ記憶部120から、事例ごとに解と素性の集合との組を抽出する(ステップS11)。
解−素性対抽出部121は、例えば、1)文のなめらかさを示す情報として、k−gram 形態素列のコーパスでの存在、かかりうけ文節間の意味的整合度などを、また、2)内容をよく表しているかどうかを示す情報として、要約前のテキストにあったキーフレーズの包含率などを、また、3)自動要約で用いられる情報として、その文の位置やリード文かどうか、TF/IDF(TFは文書中でのその語の出現回数もしくは頻度を示す値、IDFはあらかじめ持っている多数の文書群のうち、その語が出現する文書数の逆数をいう。)、文の長さ、固有表現・接続詞・機能語などの手がかり表現の存在などを、素性として抽出する。
次に、機械学習部122は、解と素性の集合との組から、どのような素性の集合のときにどのような解になりやすいかを機械学習法により学習し、学習結果を学習結果データ記憶部123に記憶する(ステップS12)。
ここでユーザAの処理の場合に、解データ記憶部120に記憶される解データの「事例:問題→解」は、
事例c1:テキスト−要約結果r1→評価1、
事例c2:テキスト−要約結果r2→評価3、
事例c3:テキスト−要約結果r3→評価2
となり、機械学習部122は、これらの解データをもとに、どのような場合に評価1〜評価3になるかを機械学習で学習する。例えば、事例c1→評価1や事例c3→評価2から、機械学習部122は、精度の表現、例えば「数字+[%]」の表現が出現すると評価が高くなるなどを学習する。ここで、「数字+[%]」の表現は、学習に用いる素性の例である。
また、ユーザBの処理の場合に、「事例:問題→解」は、
事例c1:テキスト−要約結果r1→評価3、
事例c2:テキスト−要約結果r2→評価1、
事例c3:テキスト−要約結果r3→評価2
となり、機械学習部122は、「手がかり表現」や「用例」などの手法に相当する専門用語が出現すると評価が高くなるように学習する。
また、ユーザCの処理の場合に、「事例:問題→解」は、
「事例c1:テキスト−要約結果r1→評価2、
事例c2:テキスト−要約結果r2→評価2、
事例c3:テキスト−要約結果r3→評価1」
となり、機械学習部122は、精度の表現または手法に相当する表現の両方が出現すると評価が高くなるように学習する。
また、要約結果として出力される文章は短いほどよいので、それぞれの処理の場合において、文章の長さが短いほど評価が高くなるように学習する。
機械学習の手法としては、例えば、シンプルベイズ法、決定リスト法、最大エントロピー法、サポートベクトルマシン法などを用いる。
シンプルベイズ法は、ベイズの定理にもとづいて各分類になる確率を推定し、その確率値が最も大きい分類を求める分類とする方法である。
決定リスト法は、素性と分類先の組とを規則とし、それらをあらかじめ定めた優先順序でリストに蓄えおき、検出する対象となる入力が与えられたときに、リストで優先順位の高いところから入力のデータと規則の素性とを比較し、素性が一致した規則の分類先をその入力の分類先とする方法である。
最大エントロピー法は、あらかじめ設定しておいた素性fj (1≦j≦k)の集合をFとするとき、所定の条件式を満足しながらエントロピーを意味する式を最大にするときの確率分布を求め、その確率分布にしたがって求まる各分類の確率のうち、もっとも大きい確率値を持つ分類を求める分類とする方法である。
サポートベクトルマシン法は、空間を超平面で分割することにより、2つの分類からなるデータを分類する手法である。
決定リスト法および最大エントロピー法については、以下の参考文献1に、サポートベクトルマシン法については、以下の参考文献2および参考文献3に説明されている。
[参考文献1:村田真樹、内山将夫、内元清貴、馬青、井佐原均、種々の機械学習法を用いた多義解消実験、電子情報通信学会言語理解とコミュニケーション研究会,NCL2001-2, (2001) ]
[参考文献2:Nello Cristianini and John Shawe-Taylor, An Introduction to Support Vector Machines and Other Kernel-based Learning Methods,(Cambridge University Press,2000) ]
[参考文献3:Taku Kudoh, Tinysvm:Support Vector machines,(http://cl.aist-nara.ac.jp/taku-ku//software/TinySVM/index.html,2000) ]
その後、要約を求めたいテキスト2が入力されると(ステップS13)、要約候補生成部124は、例えば以下に示すような処理モデルを用いて、テキスト2から要約候補を作成する(ステップS14)。
1)重要文選択モデル
重要文選択モデルとは、文を単位に要約し、重要と思われる文のみを選択して残すことにより要約を実現するモデルである。このモデルの場合には、あらゆる文選択の状態をすべて解の候補とするとよい。また、すべてを解の候補とすると計算速度に支障が生じる場合には、予め備えておいた選択規則を用いて、この選択規則を満足する文の選択状態のみを解の候補とする。すなわち、所定の選択規則により候補数を減少させて処理の負荷を軽減する。なお、選択規則は、人手による規則であってもよい。
2)重要箇所選択モデル
重要箇所選択モデルとは、文よりも小さいものを要約の単位として、不要なものを削除することにより要約を実現するモデルである。単位を文より小さいものとすること以外については、上記1)重要文選択モデルと同様である。文よりも小さいものとして、例えば文節を用いる。すなわち、文節を単位として不要な文節を消していくことにより要約を実現する。この重要箇所選択モデルの場合は、あらゆる文節の選択の状態をすべて解の候補とする。また、すべてを解の候補とすると計算速度に支障が生じる場合には、上記1)重要文選択モデルと同様に、予め選択規則を用意しておき、この選択規則を満足する文の選択状態のみを解の候補とする。
3)変形規則を利用したモデル
変形規則を利用したモデルとは、予め用意した変形規則を利用して要約結果を生成するモデルである。変形規則は、自動処理により獲得するか、または人手で作成しておいたものを利用する。例えば、「Xして、Yした。」を「Xした。」もしくは「Yした。」に書き換えるような変形規則を作っておき、この変形規則に従って入力「Aして、Bした。」が与えられたときに「Aした。」や「Bした。」という要約候補を生成する。
4)ランダムジェネレーションを利用したモデル
ランダムジェネレーションを利用したモデルは、例えば、入力「・・・X・・・」があったときに「・・・Y・・・」を要約候補とするようなモデルである。このとき、置き換えられるXはランダムに選ばれてもよいし、予め用意しておいた置換規則によって指定してもよい。置換規則は、人手によって生成されたものや、自動獲得したものなどを用いる。また、置き換えた先の表現Yは、ある辞書の単語もしくは文字列の集合からランダムに選ばれてもよいし、予め用意しておいた変換規則によって指定してもよい。変換規則は、置換規則と同様、人手によって生成されたものや、自動獲得したものなどを用いる。このとき、XやYをランダムに選ばずに、変換規則にもとづいて選ぶとすると、変形規則を利用したモデルと同じようなものになる。
素性抽出部125は、解−素性対抽出部121とほぼ同様の処理によって、入力したテキスト2および要約候補から素性の集合を抽出し、要約候補−推定解対生成部126へ渡す(ステップS15)。
そして、要約候補−推定解対生成部126は、受け取った素性の集合の場合にどのような解になりやすいかを、学習結果データをもとに推定し、すなわち、複数の要約候補のそれぞれの解(評価)とその確信度を学習結果データにもとづき算出し、要約候補と推定解との対(要約候補−推定解対)127を生成する(ステップS16)。
そして、要約選択部128は、生成された要約候補−推定解対127から、推定解の確信度の値が最もよい要約候補−推定解対127を選択し、その要約候補を要約3とする(ステップS17)。
図6に、第1の実施の形態における本発明の処理装置の別の構成例を示す。
本形態では、解(分類先)として多数の候補が考えられるが、分類先の種類数が多くなり過ぎて、一般の機械学習法で処理ができない場合が生じうる。このような場合に、図6に示す自動要約処理装置20では、機械学習部132は、実際の機械学習処理において正例と負例の二種類の解(分類先)のみを考える機械学習手法を用いることにより処理が可能となる。
また、図6に示す自動要約処理装置20では、機械学習部132の学習の素性に評価という情報を用いることもできる。
自動要約処理装置20は、評価カスタマイズ手段110と、解データ記憶部130と、素性−解対・素性−解候補対抽出部131と、機械学習部132と、学習結果データ記憶部133と、要約候補生成部134と、素性−解候補抽出部135と、要約候補−推定解対生成部136と、要約選択部138とを備える。
解データ記憶部130と、素性−解対・素性−解候補対抽出部131と、機械学習部132と、学習結果データ記憶部133とは、特許請求の範囲に示す自動要約処理装置の機械学習処理手段を実現する処理手段である。また、要約候補生成部134と、素性−解候補抽出部135と、要約候補−推定解対生成部136とは、特許請求の範囲に示す要約候補生成処理手段を実現する処理手段である。
評価カスタマイズ手段110および要約候補生成部134は、図1に示す自動要約処理装置10の評価カスタマイズ手段110および要約候補生成部124と同様の処理を行う。
素性−解対・素性−解候補対抽出部131は、解データ記憶部130に記憶されている事例ごとに、解もしくは解候補と素性の集合との組を抽出する手段である。ここでは、解の候補は解以外の解の候補を意味し、ユーザが設定した評価を解とする。また、解と素性の集合の組を正例とし、解の候補と素性の集合との組を負例とする。
機械学習部132は、解もしくは解の候補と素性の集合との組から、どのような解もしくは解の候補と素性の集合のときに正例である確率や負例である確率を学習し、その学習結果を学習結果データ記憶部133に記憶する手段である。
素性−解候補抽出部135は、素性−解対・素性−解候補対抽出部131と同様の処理により、入力されたテキストおよび要約候補について、解の候補と素性の集合との組を抽出する手段である。
要約候補−推定解対生成部136は、渡された解の候補と素性の集合との組の場合に正例である確率や負例である確率を求め、正例である確率が最も大きい解を推定解として、その場合の要約候補と推定解との対(要約候補−推定解対)137を生成する手段である。
要約選択部138は、要約候補−推定解対137の要約候補を要約3とする手段である。
図7に、自動要約処理装置20の機械学習処理および自動要約処理の流れを示す。
素性−解対・素性−解候補対抽出部131は、解データ記憶部130から、各事例ごとに解もしくは解の候補と素性の集合との組を抽出する(ステップS21)。そして、機械学習部132は、解もしくは解の候補と素性の集合との組から、どのような解もしくは解の候補と素性の集合のときに、正例である確率や負例である確率を機械学習法により学習し、学習結果を学習結果データ記憶部133に記憶する(ステップS22)。
その後、要約を求めたいテキスト2が入力されると(ステップS23)、要約候補生成部134は、所定の方法でテキスト2から要約候補を生成する(ステップS24)。そして、素性−解候補抽出部135は、入力したテキスト2および要約候補から素性の集合と解の候補との組を抽出し、要約候補−推定解対生成部136へ渡す(ステップS25)。
要約候補−推定解対生成部136は、受け取った解の候補と素性の集合との組の場合に正例や負例である確率を学習結果データをもとに推定し、正例である確率が最も大きい解の候補を推定解として、要約候補−推定解対137を生成し(ステップS26)、要約選択部138は、要約候補−推定解対137の要約候補を要約3とする(ステップS27)。
第1の実施の形態では、ユーザは必要なときに自動要約処理装置1を使用しながら、その使用の際に出力された要約結果に対して評価1〜3をつければよい。したがって、ユーザは、操作負担を感じることなく要約結果の評価をカスタマイズすることが可能となる。
〔第2の実施の形態〕
図8に、第2の実施の形態における本発明の処理装置の構成例を示す。図8に示す自動要約処理装置30は、図1に示す自動要約処理装置10の評価カスタマイズ手段110の代わりに評価カスタマイズ手段140を備え、また自動要約処理装置10を構成する評価カスタマイズ手段110以外の処理手段を備える。
評価カスタマイズ手段140は、テキスト表示部141と、要約編集部142とを備える。
テキスト表示部141は、予め用意したテキスト5を表示装置(図8に図示しない)に表示する手段である。
要約編集部142は、テキスト表示部141が表示したテキスト5からユーザが要約として指定した部分を抽出して、または、ユーザが指定した部分内の表現を変更して要約を編集する手段である。
図9に、第2の実施の形態における評価カスタマイズ処理の流れを示す。
テキスト表示部141は、予め用意したテキスト5を取り込み、表示装置に表示する(ステップS31)。表示したテキスト5上でユーザに要約結果として良いと思われる部分を指定させ、ユーザが指定した範囲を受け付けて抽出する(ステップS32)。また、指定した範囲の部分が編集されたら、その編集内容を受け付け、編集後の指定範囲部分を要約結果とする(ステップS33)。
ユーザは、表示されたテキスト上をマウスなどのポインティング・デバイスによるドラッグや、カーソルキー移動による開始位置および終了位置の指定などにより要約とする範囲を指定する。テキスト表示部141は、指定された範囲を、反転もしくはマーキングなどの表示により、指定されなかった範囲と区別して表示する。
図10に、表示されるテキストの例およびユーザAが指定した範囲の例を示す。ユーザAは、破線で囲む部分「小説を対象にして実験を行なったところ、テストサンプルで再現率84%、適合率82%の精度で解析できた。」を要約としてよい部分であると指定する。要約編集部142は、図10のテキストの破線の矩形で示された部分を要約結果とする。
また、ユーザBは、図11に示すように、テキストの破線で囲む部分「自然言語では、動詞を省略するということがある。この省略された動詞を復元することは、対話システムや高品質の機械翻訳システムの実現には不可欠なことである。そこで本研究では、この省略された動詞を表層の表現(手がかり語) と用例から補完することを行なう。」を要約として良いと指定する。また、ユーザCの場合には、図12に示すように、2つの破線の矩形で囲まれた部分「自然言語では、動詞を省略するということがある。この省略された動詞を復元することは、対話システムや高品質の機械翻訳システムの実現には不可欠なことである。そこで本研究では、この省略された動詞を表層の表現(手がかり語) と用例から補完することを行なう。」と部分「小説を対象にして実験を行なったところ、テストサンプルで再現率84%、適合率82%の精度で解析できた。」とを要約としてよいと指定する。要約編集部142は、図11および図12に示すテキストの破線の矩形で示された部分をそれぞれ要約結果とする。
なお、ユーザが指定した範囲をテキストと別に表示し、指定範囲内の表現について、ユーザが任意の箇所を削除したり、または表現を変更したりして、その内容を編集できるようにしてもよい。図13に示すように、テキスト上で指定した範囲をテキストと別に表示して、指定範囲内の語句などを削除し、追加し、訂正することができるようにする。要約編集部142は、要約決定ボタンがクリック等の操作で選択されると、その選択を受け付けて、指定範囲の内容を要約結果とする。なお、キャンセルボタンが選択された場合には、指定範囲の内容をクリアする。
そして、要約編集部142は、テキスト5と要約結果とを、所定の解(良い評価)とともに解データ記憶部130に記憶する(ステップS34)。さらに、評価カスタマイズ手段140は、第1の実施の形態において、自動要約処理装置20が生成した要約、自動要約処理装置20の要約候補生成部124が生成した要約候補、人手でランダムに生成した要約などのユーザが指定した要約以外の要約に対して所定の解(悪い評価)を付与した解データも解データ記憶部130へ記憶する。
以降、機械学習処理および自動要約処理の流れは、図5に示す処理の流れと同様である。ここで、機械学習部122は、それぞれのユーザごとに、図3に示すテキストと、図10〜図12に示す要約結果のいずれか(すなわち、ユーザ指定範囲)と、解とする事例について学習する。
図14に、第2の実施の形態における本発明の処理装置の別の構成例を示す。本形態においても、解(分類先)の種類数が多くなり過ぎて、一般の機械学習法で処理ができない場合が生じうる。
このため、図14に示す自動要約処理装置40では、機械学習部132は、実際の機械学習処理において正例と負例の二種類の解(分類先)のみを考える機械学習手法を用いることにより処理を可能としている。
自動要約処理装置40は、図6に示す自動要約処理装置20を構成する処理手段と同様の処理手段を備え、かつ、評価カスタマイズ手段110の代わりに評価カスタマイズ手段140を備えるものである。
本形態では、ユーザに要約としてよい範囲をテキスト上で指定させるため、第1の実施の形態に比べてユーザの負担は大きい。しかし、ユーザが求める要約結果により近いものを解データ(教師)とすることができるため、ユーザが所望する要約結果をより早く出力できるように学習することができる。
〔第3の実施の形態〕
図15に、第3の実施の形態における本発明の処理装置の構成例を示す。図15に示す自動要約処理装置50は、図1に示す自動要約処理装置10の評価カスタマイズ手段110の代わりに評価カスタマイズ手段150を備え、また他の処理手段として、自動要約処理装置10を構成する処理手段と同様の処理手段を備える。
評価カスタマイズ手段150は、要約表示部151と、性質情報設定部152とを備える。
要約表示部151は、予め用意しておいたテキスト・要約4の要約結果を表示装置(図15に図示しない)に表示する手段である。
性質情報設定部152は、要約結果の評価にかかわる複数の性質情報を生成し、性質情報ごとの評価を設定する手段である。
性質情報とは、要約結果の評価を構成する種々の性質に関する情報であり、例えば、短い文を重視しているかどうかという情報(短文重視)、要約結果に数量についての表現が含まれていることを重視しているかどうかという情報(数量表現重視)、要約結果に手法についての表現が含まれていることを重視しているかどうかという情報(手法重視)、要約結果の文体を重視しているかどうかという情報(文体重視)、要約結果の読みやすさを重視しているかどうかという情報(読みやすさ重視)などである。
評価カスタマイズ手段150は、機械学習部122において要約結果の評価にかかわる複数の性質をそれぞれ学習することができるように、ユーザが随時必要となった評価にかかわる複数の性質情報を任意に設定できるようにして、要約結果に対するユーザの評価を複数の性質情報を用いて定義する。
本形態では、性質情報設定部152で設定された性質情報の数に対応して解データ記憶部120を用意し、各性質情報ごとに機械学習を行なう。したがって、解−素性対抽出部121、機械学習部122、学習結果データ記憶部123、要約候補−推定解対生成部126の各処理手段は、性質情報の数に対応して備えられる。
図16に、評価カスタマイズ処理の流れを示す。
要約表示部151は、テキスト・要約4から取り出した要約結果を表示する(ステップS41)。性質情報設定部152は、表示した要約結果に対して複数の性質情報の項目を表示し、ユーザに各項目の値や、新規項目の設定などを促し、ユーザの入力を受け付ける(ステップS42)。
図17および図18に、性質情報設定画面の例を示す。性質情報設定画面では、複数の位置情報のそれぞれに対応してスライドバーが設けられている。ユーザはそれぞれの性質情報のスライドバー上でスライドボタンを右側や左側など任意の位置を定めて性質情報ごとの評価を指定できる。例えば、ユーザは、表示された要約結果に対して「短い文重視、数量表現重視、手法重視、文体重視、読みやすさ重視」などの性質情報の項目ごとに、それぞれどのくらいの評価になるかを、スライドバー上でスライドボタンを移動させて設定する。図17および図18では、スライドバーの左端から右端に向かって評価が高くなるように設定されているとする。また、ユーザはスライドバーの横に任意の性質情報を入力することにより、スライドバーが何を意味するかについて自由に定義できる。
要約表示部151が図4(A)に示す要約結果r1を表示した場合に、図17に示すように、ユーザAは、要約結果r1が短い文なので「短い文重視」のスライドボタンを右側へ、また数量に関する表現があるので「数量表現重視」のスライドボタンを右側へ、また手法にふれていないので「手法重視」のスライドボタンを左側へ、文体と読みやすさとはそれほど悪くないので、「文体重視」および「読みやすさ重視」のスライドボタンを右側へ位置させる。
また、要約表示部151が図4(B)に示す要約結果r2を表示した場合に、ユーザAは、図18に示すように、要約結果r2がそれほど短くないので、「短い文重視」のスライドボタンを左側へ、その他の性質情報は、まあまあよいので、その他の性質情報のスライドボタンを右側へ移動させる。
そして、性質情報設定部152は、入力された性質情報ごとの値をそれぞれ解とし、その解とテキストと要約結果とを事例として性質情報ごとの解データ記憶部120に記憶する(ステップS43)。
以降、機械学習処理および自動要約処理の流れは、図5に示す処理の流れとほぼ同様である。ここで、性質情報ごとに備えられた機械学習部122は、対応する性質情報の解データ記憶部120に記憶された事例を解データ(教師データ)として使用する。機械学習部122は、それぞれの性質情報ごとに学習を行なう。例えば、性質情報「短い文重視」については、各事例の解は、事例c1(要約結果r1)では「解=最右側」、事例c2(要約結果r2)では、「解=左側」という解ができる。機械学習部122は、これらの解データを教師データとして利用して、どういうときに短い文重視で評価されるのかを学習していく。また、その他の性質情報についても同様の学習を行なう。
本形態では、機械学習処理後、要約候補生成部124は、入力されたテキスト2から所定の方法で要約候補を生成し、素性抽出部125は、入力テキスト2および要約候補から素性の集合を抽出する。
そして、各性質情報に対応する要約候補−推定解対生成部126は、受け取った素性の集合の場合にどのような解になりやすいかを学習結果データをもとに推定し、要約候補と推定解との対(要約候補−推定解対)127を生成する。例えば、要約候補−推定解対生成部126は、複数の要約候補のそれぞれの推定解とその確信度を学習結果データにもとづき算出して、それぞれの性質情報ごとの要約候補−推定解対127を生成する。
要約選択部128は、要約結果に対する評価の性質情報をどの程度重視するかを設定したユーザ評価設定情報7を受け付けて、要約候補−推定解対127で各性質情報の評価の値を、ユーザ評価設定情報7と比較して、最も似た要約候補−推定解対、もしくはユーザ評価設定情報7に最も適した要約候補−推定解対を選択し、その要約候補−推定解対127の要約候補を要約3とする。
要約選択部128は、図17に示すような性質情報設定画面を表示して、ユーザが現在必要な要約結果の性質であるユーザ評価設定情報7を、性質情報の各項目のスライドバー上のスライドボタンの位置を変更して設定するように促してもよい。
例えば、「短い文重視」、「数量表現重視」、「手法重視」のスライドボタンを最右側に移動させ、「文体重視」、「読みやすさ重視」のスライドボタンを最左側へ移動させる場合には、ユーザは、なるべく短く、また、数量表現および手法は欠かさず、しかし、文体や読みやすさは軽視するというような性質の評価に適合する要約3を要求していることを意味するユーザ評価設定情報7となる。
また、要約選択部128は、要約候補−推定解対127の簡単な選択方法として、例えば以下の式を利用して、すべての解の組合せの値Total _Score を求めてもよい。
Total _Score =a(短い文重視)×score(短い文重視)
+a(数量表現重視)×score(数量表現重視)
+a(手法重視) ×score(手法重視)
+a(文体重視) ×score(文体重視)
+a(読みやすさ重視) ×score(読みやすさ重視)
ただし、a(X)はユーザが指定した性質情報Xのスライドバーのスライドボタン位置から求まる値である。スライドボタンがスライドバーの右側に位置するほど大きな値を持つとしている。score(X)は学習結果データにもとづいて算出された性質情報Xの評価の値である。要約選択部128は、この組合せ値 Total_Score が最も大きい要約候補−推定解対127を選択し、その要約候補を要約3として出力する。
本形態では、機械学習部122で用いる要約結果を表示させてユーザに評価させるという、第1の実施の形態における処理に近い処理方法を採用した。しかし、本形態では、第2の実施の形態における機械学習の手法のように、ユーザにテキストから要約結果としてよいと思われる範囲を指定させた上で、さらに、ユーザに評価にかかわる複数の性質をスライドバーなどを用いて評価させて、教師信号である解データを収集するようにしてもよい。かかる処理の場合には、同一ユーザであっても処理を行なう度に所望する要約のタイプが異なるような状況にも対処することが可能となる。また、同時に複数の性質情報を学習することが可能であるため、ユーザが評価(解)を与える際の処理負担も全体として軽減することが可能となる。
本形態では、図19に示すような処理手段の構成を持つ自動要約処理装置60としてもよい。図19の自動要約処理装置60は、図6に示す自動要約処理装置20を構成する処理手段と同様の処理手段を備え、かつ評価カスタマイズ手段110の代わりに評価カスタマイズ手段150を備えるものである。
自動要約処理装置60は、実際の機械学習処理において、正例と負例の二種類の解(分類先)のみを考える機械学習手法を用いることにより、機械学習での過重な処理負担を回避することができる。
以上、本発明をその実施の態様により説明したが、本発明はその主旨の範囲において種々の変形が可能である。例えば、第1の実施の形態ないし第3の実施の形態のいずれの形態をも組み合わせて実施することも可能である。
〔第4の実施の形態〕
図20に、第4の実施の形態における本発明の処理の構成例を示す。図20に示す自動要約処理装置70は、解データ記憶部120と、解−素性対抽出部121と、機械学習部122と、学習結果データ記憶部123と、素性抽出部125と、解推定部160と、評価カスタマイズ手段140とを備える。
自動要約処理装置70の解データ記憶部120、解−素性対抽出部121、機械学習部122、学習結果データ記憶部123、素性抽出部125および評価カスタマイズ手段140とは、図8に示す同一番号が付与された処理手段とほぼ同様の処理を行う手段である。
解推定部160は、学習結果データ記憶部123の学習結果データを参照して、素性抽出部125から渡された素性の集合の場合に、どのような解になり易いかを推定し、その推定解161を要約3とする手段である。
本形態では、解データ記憶部120は、テキストを問題としテキストの要約結果を解とする解データを記憶し、機械学習部122は、かかる解データから抽出された解−素性対を用いて機械学習を行う。また、素性抽出部125は、入力されたテキスト2の素性を抽出して、解推定部160に渡す。
図21に、第4の実施の形態における機械学習処理および自動要約処理の流れを示す。
解−素性対抽出部121は、解データ記憶部120から、事例ごとに解と素性の集合との組を抽出し(ステップS51)、次に、機械学習部122は、解と素性の集合との組から、どのような素性の集合のときにどのような解になりやすいかを機械学習法により学習し、学習結果を学習結果データ記憶部123に記憶する(ステップS52)。なお、ステップS51、S52の処理は、図5に示すステップS11、S12の処理と同様である。
その後、要約を求めたいテキスト2が入力されると(ステップS53)、素性抽出部125は、解−素性対抽出部121とほぼ同様の処理によって、入力したテキスト2から素性の集合を抽出し、解推定部160へ渡す(ステップS54)。そして、解推定部160は、受け取った素性の集合の場合にどのような解になりやすいかを、学習結果データをもとに推定し、その推定解161を要約3とする(ステップS55)。
本形態では、テキストの要約結果を解とする解データを用いて機械学習を行い、その学習結果を参照した解推定処理において要約とするべき推定解を直接求めるようにする。
以上、本発明をその実施の形態により説明したが、本発明はその主旨の範囲において種々の変形が可能であることは当然である。
また、本発明は、コンピュータにより読み取られ実行される処理プログラムとして実施するものとして説明したが、本発明を実現する処理プログラムは、コンピュータが読み取り可能な、可搬媒体メモリ、半導体メモリ、ハードディスクなどの適当な記録媒体に格納することができ、これらの記録媒体に記録して提供され、または、通信インタフェースを介して種々の通信網を利用した送受信により提供されるものである。
第1の実施の形態における本発明の処理装置の構成例を示す図である。 第1の実施の形態における評価カスタマイズ処理の流れを示す図である。 対象となるテキストの例を示す図である。 要約結果の例を示す図である。 図1に示す処理装置における機械学習処理および自動要約処理の流れを示す図である。 第1の実施の形態における本発明の処理装置の別の構成例を示す図である。 図6に示す処理装置における機械学習処理および自動要約処理の流れを示す図である。 第2の実施の形態における本発明の処理装置の構成例を示す図である。 第2の実施の形態における評価カスタマイズ処理の流れを示す図である。 表示されるテキストの例およびユーザAの指定範囲の例を示す図である。 表示されるテキストの例およびユーザBの指定範囲の例を示す図である。 表示されるテキストの例およびユーザCの指定範囲の例を示す図である。 ユーザが指定した範囲の表示の例を示す図である。 第2の実施の形態における本発明の処理装置の別の構成例を示す図である。 第3の実施の形態における本発明の処理装置の構成例を示す図である。 第3の実施の形態における評価カスタマイズ処理の流れを示す図である。 性質情報設定画面の例を示す図である。 性質情報設定画面の例を示す図である。 第3の実施の形態における本発明の処理装置の別の構成例を示す図である。 第4の実施の形態における本発明の処理装置の構成例を示す図である。 図20に示す処理装置における機械学習処理および自動要約処理の流れを示す図である。
符号の説明
10 自動要約処理装置
110 評価カスタマイズ手段
111 要約表示部
112 評価付与部
120 解データ記憶部
121 解−素性対抽出部
122 機械学習部
123 学習結果データ記憶部
124 要約候補生成部
125 素性抽出部
126 要約候補−推定解対生成部
127 要約候補−推定解対
128 要約選択部
130 解データ記憶部
131 素性−解対・素性−解候補対抽出部
132 機械学習部
133 学習結果データ記憶部
134 要約候補生成部
135 素性−解候補抽出部
136 要約候補−推定解対生成部
137 要約候補−推定解対
138 要約選択部
140 評価カスタマイズ手段
141 テキスト表示部
142 要約編集部
150 評価カスタマイズ手段
151 要約表示部
152 性質情報設定部
160 解推定部
161 推定解
2 テキスト
3 要約
4 テキスト・要約
5 テキスト
7 ユーザ評価設定情報

Claims (14)

  1. 文書データであるテキストを機械学習法を用いて自動要約する自動要約処理装置であって、
    テキストおよび前記テキストの要約を記憶するテキスト記憶手段と、
    前記要約を表示装置に表示する要約表示処理手段と、
    前記要約に対するユーザの評価の入力を受け付けて前記要約の評価とする評価設定処理手段と、
    前記テキストおよび前記要約で構成される問題に対し前記評価を解として付与して生成した解データを解データ記憶手段に記憶する解データ出力処理手段と、
    前記解データから前記問題の素性の集合と前記解との組を抽出し、当該組から、どのような素性のときにどのような解となりやすいかを学習した学習結果データを学習結果データ記憶手段に記憶する機械学習処理手段と、
    要約対象のテキストを入力し、前記入力テキストから要約候補を生成する要約候補生成処理手段と、
    前記入力テキストおよび前記要約候補から素性の集合を抽出し、当該素性の集合からどのような解となりやすいかを前記学習結果データをもとに推定し、要約候補と推定解との対を生成する要約候補−推定解対生成処理手段と、
    前記要約候補−推定解対から、推定解が所定の良い評価でかつ確信度が最高の対を選択し、当該対の要約候補を要約とする要約選択処理手段とを備える
    ことを特徴とする自動要約処理装置。
  2. 文書データであるテキストを機械学習法を用いて自動要約する自動要約処理装置であって、
    テキストを記憶するテキスト記憶手段と、
    前記テキストを表示装置に表示するテキスト表示処理手段と、
    前記テキストからユーザによって指定された範囲の文データを抽出して前記テキストのユーザ指定要約とする要約編集処理手段と、
    所定の規則に基づいて要約を生成する処理もしくは機械学習法を用いて要約を生成する処理のいずれかの自動要約生成処理により前記テキストの要約を生成し、前記テキストおよび前記ユーザ指定要約で構成される問題に対し前記ユーザによって選ばれた良い要約であることを示す所定の良い評価を解として付与して生成した解データと、前記テキストおよび前記自動要約生成処理による要約であって前記ユーザ指定要約以外の部分からなるもので構成される問題に対し前記ユーザ指定要約ではないことを示す所定の悪い評価を解として付与して生成した解データとを解データ記憶手段に記憶する解データ出力処理手段と、
    前記解データから前記問題の素性の集合と前記解との組を抽出し、当該組から、どのような素性のときにどのような解となりやすいかを学習した学習結果データを学習結果データ記憶手段に記憶する機械学習処理手段と、
    要約対象のテキストを入力し、前記入力テキストから要約候補を生成する要約候補生成処理手段と、
    前記入力テキストおよび前記要約候補から素性の集合を抽出し、当該素性の集合からどのような解となりやすいかを前記学習結果データをもとに推定し、要約候補と推定解との対を生成する要約候補−推定解対生成処理手段と、
    前記要約候補−推定解対から、推定解が所定の良い評価でかつ確信度が最高の対を選択し、当該対の要約候補を要約とする要約選択処理手段とを備える
    ことを特徴とする自動要約処理装置。
  3. 文書データであるテキストを機械学習法を用いて自動要約する自動要約処理装置であって、
    テキストおよび前記テキストの要約を記憶するテキスト記憶手段と、
    前記要約を表示装置に表示する要約表示処理手段と、
    前記要約に対するユーザの評価の入力を受け付けて前記要約の評価とする評価設定処理手段と、
    前記テキストおよび前記要約で構成される問題に対し前記ユーザが設定した評価を解として付与した解データを生成し、解データ記憶手段に記憶する解データ出力処理手段と、
    所定の評価のうち前記解となった評価以外の評価を解候補として、前記解データから前記問題の素性の集合と解もしくは解候補との組を抽出し、前記素性の集合と解との組を正例と前記素性の集合と解候補との組を負例とする素性−解対・素性−解候補対抽出処理手段と、
    前記抽出した組を教師信号として、どのような解もしくは解候補と素性の集合のときに正例である確率または負例である確率となるかを学習した学習結果データを学習結果データ記憶手段に記憶する機械学習処理手段と、
    要約対象のテキストを入力し、前記入力テキストから要約候補を生成する要約候補生成処理手段と、
    前記所定の評価を解の候補として、前記入力テキストおよび前記要約候補から素性の集合と解の候補との組を生成し、当該素性の集合と解の候補の組の場合に正例もしくは負例である確率を前記学習結果データをもとに推定し、前記推定した結果を推定解として前記要約候補と解の候補の組と前記推定解との対を生成する要約候補−推定解対生成処理手段と、
    前記要約候補と解の候補の組−推定解対から、解の候補が所定の良い評価でかつ推定解の正例の確率が最高の対を選択し、当該対の要約候補を要約とする要約選択処理手段とを備える
    ことを特徴とする自動要約処理装置。
  4. 文書データであるテキストを機械学習法を用いて自動要約する自動要約処理装置であって、
    テキストを記憶するテキスト記憶手段と、
    前記テキストを表示装置に表示するテキスト表示処理手段と、
    前記テキストからユーザによって指定された範囲の文データを抽出して前記テキストのユーザ指定要約とする要約編集処理手段と、
    所定の規則に基づいて要約を生成する処理もしくは機械学習法を用いて要約を生成する処理のいずれかの自動要約生成処理により前記テキストの要約を生成し、前記テキストおよび前記ユーザ指定要約で構成される問題に対し前記ユーザによって選ばれた良い要約であることを示す所定の良い評価を解として付与して生成した解データと、前記テキストおよび前記自動要約生成処理による要約であって前記ユーザ指定要約以外の部分からなるもので構成される問題に対し前記ユーザ指定要約ではないことを示す所定の悪い評価を解として付与して生成した解データとを解データ記憶手段に記憶する解データ出力処理手段と、
    所定の評価のうち前記解となった評価以外の評価を解候補として、前記解データから前記問題の素性の集合と解もしくは解候補との組を抽出し、前記素性の集合と解との組を正例と前記素性の集合と解候補との組を負例とする素性−解対・素性−解候補対抽出処理手段と、
    前記抽出した組を教師信号として、どのような解もしくは解候補と素性の集合のときに正例である確率または負例である確率となるかを学習した学習結果データを学習結果データ記憶手段に記憶する機械学習処理手段と、
    要約対象のテキストを入力し、前記入力テキストから要約候補を生成する要約候補生成処理手段と、
    前記所定の評価を解の候補として、前記入力テキストおよび前記要約候補から素性の集合と解の候補との組を生成し、当該素性の集合と解の候補の組の場合に正例もしくは負例である確率を前記学習結果データをもとに推定し、前記推定した結果を推定解として前記要約候補と解の候補との組と前記推定解との対を生成する要約候補−推定解対生成処理手段と、
    前記要約候補と解の候補との組−推定解対から、解の候補が所定の良い評価でかつ推定解の正例の確率が最高の対を選択し、当該対の要約候補を要約とする要約選択処理手段とを備える
    ことを特徴とする自動要約処理装置。
  5. 文書データであるテキストを機械学習法を用いて自動要約する自動要約処理装置であって、
    テキストを記憶するテキスト記憶手段と、
    前記テキストを表示装置に表示するテキスト表示処理手段と、
    前記テキストからユーザによって指定された範囲の文データを抽出して前記テキストのユーザ指定要約とする要約編集処理手段と、
    前記テキストを問題とし前記問題に対する前記ユーザ指定要約を解とする解データを生成し解データ記憶手段に記憶する解データ出力処理手段と、
    前記解データから前記問題の素性の集合と前記解との組を抽出し、当該組から、どのような素性のときにどのような解となりやすいかを学習した学習結果データを学習結果データ記憶手段に記憶する機械学習処理手段と、
    要約対象のテキストを入力し、前記入力テキストから素性の集合を抽出し、当該素性の集合からどのような解となりやすいかを前記学習結果データをもとに推定する解推定処理手段と、
    前記解推定処理手段で推定された解を前記入力テキストの要約として出力する要約選択処理手段とを備える
    ことを特徴とする自動要約処理装置。
  6. 文書データであるテキストを機械学習法を用いて自動要約する自動要約処理装置であって、
    テキストを記憶するテキスト記憶手段と、
    前記テキストを表示装置に表示するテキスト表示処理手段と、
    前記テキストからユーザによって指定された範囲の文データを抽出して前記テキストのユーザ指定要約とする要約編集処理手段と、
    前記テキストを問題とし前記問題に対する前記ユーザ指定要約を解とする解データを生成し解データ記憶手段に記憶する解データ出力処理手段と、
    所定の規則に基づいて要約を生成する処理もしくは機械学習法を用いて要約を生成する処理のいずれかの自動要約生成処理により前記テキストの要約を生成し、前記要約のうち前記ユーザ指定要約以外の部分からなるものを解候補とし、前記解データから解もしくは解候補と前記問題の素性の集合との組を抽出し、前記素性の集合と解との組を正例と前記素性の集合と解候補との組を負例とする素性−解対・素性−解候補対抽出処理手段と、
    前記抽出した組を教師信号として、どのような解もしくは解候補と素性の集合のときに正例である確率または負例である確率となるかを学習した学習結果データを学習結果データ記憶手段に記憶する機械学習処理手段と、
    要約対象のテキストを入力し、前記入力テキストから要約候補を生成する要約候補生成処理手段と、
    前記要約候補を解の候補として、前記入力テキストおよび前記要約候補から素性の集合と解の候補との組を生成し、当該素性の集合と解の候補との組の場合に正例もしくは負例である確率を前記学習結果データをもとに推定し、前記推定した結果を推定解として、前記要約候補と推定解との対を生成する要約候補−推定解対生成処理手段と、
    前記要約候補−推定解対から前記推定解の正例の確率が最高の対を選択し、当該対の要約候補を要約とする要約選択処理手段とを備える
    ことを特徴とする自動要約処理装置。
  7. 請求項1または請求項3のいずれか一項に記載の自動要約処理装置において、
    前記要約表示処理手段は、前記ユーザ指定要約に対する要約の性質ごとの評価を入力する項目を表示し、
    前記解データ出力処理手段は、前記テキストおよび前記ユーザ指定要約で構成される問題に対し前記ユーザによって入力された前記性質ごとの評価である解データを生成して解データ記憶手段に出力し、
    前記要約選択処理手段は、前記品質ごとの評価の組合せ情報の入力を受け付け、ユーザにとって良い評価であって、かつ前記組合せ情報について所定の評価尺度にもとづいて求めた値の最大値を持つ推定解を持つ前記要約候補−推定解対を選択し、当該対の要約候補を要約とする
    ことを特徴とする自動要約処理装置。
  8. 請求項2または請求項4または請求項5または請求項6のいずれか一項に記載の自動要約処理装置において、
    前記要約編集処理手段は、さらに、前記テキスト内でユーザによって指定された範囲の文字列の変更入力を受け付け、変更された前記範囲の文データを前記ユーザ指定要約とする
    ことを特徴とする自動要約処理装置。
  9. 文書データであるテキストを機械学習法を用いて自動要約する自動要約処理方法であって、
    テキストおよび前記テキストの要約を記憶するテキスト記憶手段にアクセスしてテキストおよび前記テキストの要約を取得する要約取得処理過程と、
    前記要約を表示装置に表示する要約表示処理過程と、
    前記要約に対するユーザの評価の入力を受け付けて前記要約の評価とする評価設定処理過程と、
    前記テキストおよび前記要約で構成される問題に対し前記評価を解として付与して生成した解データを解データ記憶手段に記憶する解データ出力処理過程と、
    前記解データから前記問題の素性の集合と前記解との組を抽出し、当該組から、どのような素性のときにどのような解となりやすいかを学習した学習結果データを学習結果データ記憶手段に記憶する機械学習処理過程と、
    要約対象のテキストを入力し、前記入力テキストから要約候補を生成する要約候補生成処理過程と、
    前記入力テキストおよび前記要約候補から素性の集合を抽出し、当該素性の集合からどのような解となりやすいかを前記学習結果データをもとに推定し、要約候補と推定解との対を生成する要約候補−推定解対生成処理過程と、
    前記要約候補−推定解対から、推定解が所定の良い評価でかつ確信度が最高の対を選択し、当該対の要約候補を要約とする要約選択処理過程とを備える
    ことを特徴とする自動要約処理方法。
  10. 文書データであるテキストを機械学習法を用いて自動要約する自動要約処理方法であって、
    テキストを記憶するテキスト記憶手段にアクセスしてテキストを取得するテキスト取得処理過程と、
    前記テキストを表示装置に表示するテキスト表示処理過程と、
    前記テキストからユーザによって指定された範囲の文データを抽出して前記テキストのユーザ指定要約とする要約編集処理過程と、
    所定の規則に基づいて要約を生成する処理もしくは機械学習法を用いて要約を生成する処理のいずれかの自動要約生成処理により前記テキストの要約を生成し、前記テキストおよび前記ユーザ指定要約で構成される問題に対し前記ユーザによって選ばれた良い要約であることを示す所定の良い評価を解として付与して生成した解データと、前記テキストおよび前記自動要約生成処理による要約であって前記ユーザ指定要約以外の部分からなるもので構成される問題に対し前記ユーザ指定要約ではないことを示す所定の悪い評価を解として付与して生成した解データとを解データ記憶手段に記憶する解データ出力処理過程と、
    前記解データから前記問題の素性の集合と前記解との組を抽出し、当該組から、どのような素性のときにどのような解となりやすいかを学習した学習結果データを学習結果データ記憶手段に記憶する機械学習処理過程と、
    要約対象のテキストを入力し、前記入力テキストから要約候補を生成する要約候補生成処理過程と、
    前記入力テキストおよび前記要約候補から素性の集合を抽出し、当該素性の集合からどのような解となりやすいかを前記学習結果データをもとに推定し、要約候補と推定解との対を生成する要約候補−推定解対生成処理過程と、
    前記要約候補−推定解対から、推定解が所定の良い評価でかつ確信度が最高の対を選択し、当該対の要約候補を要約とする要約選択処理過程とを備える
    ことを特徴とする自動要約処理方法。
  11. 文書データであるテキストを機械学習法を用いて自動要約する自動要約処理方法であって、
    テキストおよび前記テキストの要約を記憶するテキスト記憶手段にアクセスしてテキストおよび前記テキストの要約を取得する要約取得処理過程と、
    前記要約を表示装置に表示する要約表示処理過程と、
    前記要約に対するユーザの評価の入力を受け付けて前記要約の評価とする評価設定処理過程と、
    前記テキストおよび前記要約で構成される問題に対し前記ユーザが設定した評価を解として付与した解データを生成し、解データ記憶手段に記憶する解データ出力処理過程と、
    所定の評価のうち前記解となった評価以外の評価を解候補として、前記解データから前記問題の素性の集合と解もしくは解候補との組を抽出し、前記素性の集合と解との組を正例と前記素性の集合と解候補との組を負例とする素性−解対・素性−解候補対抽出処理過程と、
    前記抽出した組を教師信号として、どのような解もしくは解候補と素性の集合のときに正例である確率または負例である確率となるかを学習した学習結果データを学習結果データ記憶手段に記憶する機械学習処理過程と、
    要約対象のテキストを入力し、前記入力テキストから要約候補を生成する要約候補生成処理過程と、
    前記所定の評価を解の候補として、前記入力テキストおよび前記要約候補から素性の集合と解の候補との組を生成し、当該素性の集合と解の候補の組の場合に正例もしくは負例である確率を前記学習結果データをもとに推定し、前記推定した結果を推定解として前記要約候補と解の候補の組と前記推定解との対を生成する要約候補−推定解対生成処理過程と、
    前記要約候補と解の候補の組−推定解対から、解の候補が所定の良い評価でかつ推定解の正例の確率が最高の対を選択し、当該対の要約候補を要約とする要約選択処理過程とを備える
    ことを特徴とする自動要約処理方法。
  12. 文書データであるテキストを機械学習法を用いて自動要約する自動要約処理方法であって、
    テキストを記憶するテキスト記憶手段にアクセスしてテキストを取得するテキスト取得処理過程と、
    前記テキストを表示装置に表示するテキスト表示処理過程と、
    前記テキストからユーザによって指定された範囲の文データを抽出して前記テキストのユーザ指定要約とする要約編集処理過程と、
    所定の規則に基づいて要約を生成する処理もしくは機械学習法を用いて要約を生成する処理のいずれかの自動要約生成処理により前記テキストの要約を生成し、前記テキストおよび前記ユーザ指定要約で構成される問題に対し前記ユーザによって選ばれた良い要約であることを示す所定の良い評価を解として付与して生成した解データと、前記テキストおよび前記自動要約生成処理による要約であって前記ユーザ指定要約以外の部分からなるもので構成される問題に対し前記ユーザ指定要約ではないことを示す所定の悪い評価を解として付与して生成した解データとを解データ記憶手段に記憶する解データ出力処理過程と、
    所定の評価のうち前記解となった評価以外の評価を解候補として、前記解データから前記問題の素性の集合と解もしくは解候補との組を抽出し、前記素性の集合と解との組を正例と前記素性の集合と解候補との組を負例とする素性−解対・素性−解候補対抽出処理過程と、
    前記抽出した組を教師信号として、どのような解もしくは解候補と素性の集合のときに正例である確率または負例である確率となるかを学習した学習結果データを学習結果データ記憶手段に記憶する機械学習処理過程と、
    要約対象のテキストを入力し、前記入力テキストから要約候補を生成する要約候補生成処理過程と、
    前記所定の評価を解の候補として、前記入力テキストおよび前記要約候補から素性の集合と解の候補との組を生成し、当該素性の集合と解の候補の組の場合に正例もしくは負例である確率を前記学習結果データをもとに推定し、前記推定した結果を推定解として前記要約候補と解の候補との組と前記推定解との対を生成する要約候補−推定解対生成処理過程と、
    前記要約候補と解の候補との組−推定解対から、解の候補が所定の良い評価でかつ推定解の正例の確率が最高の対を選択し、当該対の要約候補を要約とする要約選択処理過程とを備える
    ことを特徴とする自動要約処理方法。
  13. 文書データであるテキストを機械学習法を用いて自動要約する自動要約処理方法であって、
    テキストを記憶するテキスト記憶手段にアクセスしてテキストを取得するテキスト取得処理過程と、
    前記テキストを表示装置に表示するテキスト表示処理過程と、
    前記テキストからユーザによって指定された範囲の文データを抽出して前記テキストのユーザ指定要約とする要約編集処理過程と、
    前記テキストを問題とし前記問題に対する前記ユーザ指定要約を解とする解データを生成し解データ記憶手段に記憶する解データ出力処理過程と、
    前記解データから前記問題の素性の集合と前記解との組を抽出し、当該組から、どのような素性のときにどのような解となりやすいかを学習した学習結果データを学習結果データ記憶手段に記憶する機械学習処理過程と、
    要約対象のテキストを入力し、前記入力テキストから素性の集合を抽出し、当該素性の集合からどのような解となりやすいかを前記学習結果データをもとに推定する解推定処理過程と、
    前記解推定処理過程で推定された解を前記入力テキストの要約として出力する要約選択処理過程とを備える
    ことを特徴とする自動要約処理方法。
  14. 文書データであるテキストを機械学習法を用いて自動要約する自動要約処理方法であって、
    テキストを記憶するテキスト記憶手段にアクセスしてテキストを取得するテキスト取得処理過程と、
    前記テキストを表示装置に表示するテキスト表示処理過程と、
    前記テキストからユーザによって指定された範囲の文データを抽出して前記テキストのユーザ指定要約とする要約編集処理過程と、
    前記テキストを問題とし前記問題に対する前記ユーザ指定要約を解とする解データを生成し解データ記憶手段に記憶する解データ出力処理過程と、
    所定の規則に基づいて要約を生成する処理もしくは機械学習法を用いて要約を生成する処理のいずれかの自動要約生成処理により前記テキストの要約を生成し、前記要約のうち前記ユーザ指定要約以外の部分からなるものを解候補とし、前記解データから解もしくは解候補と前記問題の素性の集合との組を抽出し、前記素性の集合と解との組を正例と前記素性の集合と解候補との組を負例とする素性−解対・素性−解候補対抽出処理過程と、
    前記抽出した組を教師信号として、どのような解もしくは解候補と素性の集合のときに正例である確率または負例である確率となるかを学習した学習結果データを学習結果データ記憶手段に記憶する機械学習処理過程と、
    要約対象のテキストを入力し、前記入力テキストから要約候補を生成する要約候補生成処理過程と、
    前記要約候補を解の候補として、前記入力テキストおよび前記要約候補から素性の集合と解の候補との組を生成し、当該素性の集合と解の候補との組の場合に正例もしくは負例である確率を前記学習結果データをもとに推定し、前記推定した結果を推定解として、前記要約候補と推定解との対を生成する要約候補−推定解対生成処理過程と、
    前記要約候補−推定解対から前記推定解の正例の確率が最高の対を選択し、当該対の要約候補を要約とする要約選択処理過程とを備える
    ことを特徴とする自動要約処理方法。
JP2004168944A 2004-06-07 2004-06-07 自動要約処理装置および自動要約処理方法 Expired - Fee Related JP4187213B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004168944A JP4187213B2 (ja) 2004-06-07 2004-06-07 自動要約処理装置および自動要約処理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004168944A JP4187213B2 (ja) 2004-06-07 2004-06-07 自動要約処理装置および自動要約処理方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2002045925A Division JP2003248676A (ja) 2002-02-22 2002-02-22 解データ編集処理装置、解データ編集処理方法、自動要約処理装置、および自動要約処理方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2006222723A Division JP4106470B2 (ja) 2006-08-17 2006-08-17 解データ編集処理装置および処理方法

Publications (2)

Publication Number Publication Date
JP2004253011A true JP2004253011A (ja) 2004-09-09
JP4187213B2 JP4187213B2 (ja) 2008-11-26

Family

ID=33028751

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004168944A Expired - Fee Related JP4187213B2 (ja) 2004-06-07 2004-06-07 自動要約処理装置および自動要約処理方法

Country Status (1)

Country Link
JP (1) JP4187213B2 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010073591A1 (ja) * 2008-12-26 2010-07-01 日本電気株式会社 テキスト処理装置、テキスト処理方法、及びコンピュータ読み取り可能な記録媒体
CN105512285A (zh) * 2015-12-07 2016-04-20 南京大学 基于机器学习的自适应网络爬虫方法
US9721213B2 (en) 2011-01-28 2017-08-01 Fujitsu Limited Information matching apparatus, method of matching information, and computer readable storage medium having stored information matching program
JP2018156473A (ja) * 2017-03-17 2018-10-04 ヤフー株式会社 解析装置、解析方法、およびプログラム
JP2019053558A (ja) * 2017-09-15 2019-04-04 ヤフー株式会社 学習装置、学習方法、学習プログラム、第1のモデルおよび第2のモデル
JP2020057195A (ja) * 2018-10-02 2020-04-09 テクマトリックス株式会社 要約生成サーバ、要約生成システム及び要約生成方法
US11763069B2 (en) 2020-12-21 2023-09-19 Fujitsu Limited Computer-readable recording medium storing learning program, learning method, and learning device

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010073591A1 (ja) * 2008-12-26 2010-07-01 日本電気株式会社 テキスト処理装置、テキスト処理方法、及びコンピュータ読み取り可能な記録媒体
JP5423993B2 (ja) * 2008-12-26 2014-02-19 日本電気株式会社 テキスト処理装置、テキスト処理方法、及びプログラム
US8886519B2 (en) 2008-12-26 2014-11-11 Nec Corporation Text processing apparatus, text processing method, and computer-readable recording medium
US9721213B2 (en) 2011-01-28 2017-08-01 Fujitsu Limited Information matching apparatus, method of matching information, and computer readable storage medium having stored information matching program
CN105512285A (zh) * 2015-12-07 2016-04-20 南京大学 基于机器学习的自适应网络爬虫方法
CN105512285B (zh) * 2015-12-07 2018-11-06 南京大学 基于机器学习的自适应网络爬虫方法
JP2018156473A (ja) * 2017-03-17 2018-10-04 ヤフー株式会社 解析装置、解析方法、およびプログラム
JP2019053558A (ja) * 2017-09-15 2019-04-04 ヤフー株式会社 学習装置、学習方法、学習プログラム、第1のモデルおよび第2のモデル
JP2020057195A (ja) * 2018-10-02 2020-04-09 テクマトリックス株式会社 要約生成サーバ、要約生成システム及び要約生成方法
US11763069B2 (en) 2020-12-21 2023-09-19 Fujitsu Limited Computer-readable recording medium storing learning program, learning method, and learning device

Also Published As

Publication number Publication date
JP4187213B2 (ja) 2008-11-26

Similar Documents

Publication Publication Date Title
JP2003248676A (ja) 解データ編集処理装置、解データ編集処理方法、自動要約処理装置、および自動要約処理方法
KR102577514B1 (ko) 텍스트 창작 방법, 텍스트 창작 장치, 전자 기기 및 저장 매체
CN108647205B (zh) 细粒度情感分析模型构建方法、设备及可读存储介质
KR102345453B1 (ko) 전자 디바이스로 이미지 또는 라벨을 입력하기 위한 시스템 및 방법
CN105759983B (zh) 电子设备的文本输入系统及文本输入方法
US8332208B2 (en) Information processing apparatus, information processing method, and program
US20160328377A1 (en) System and method for inputting text into electronic devices
Luyckx Scalability issues in authorship attribution
JP5802292B2 (ja) 共有された言語モデル
WO2009154153A1 (ja) 文書検索システム
JP6529761B2 (ja) 話題提供システム、及び会話制御端末装置
JP2007042069A (ja) 情報処理装置,情報処理方法および情報処理プログラム
CN101526938B (zh) 文档处理装置
JP4106470B2 (ja) 解データ編集処理装置および処理方法
CN111665954A (zh) 字符输入装置和存储字符输入程序的非暂时性记录介质
JP5056133B2 (ja) 情報抽出システム、情報抽出方法および情報抽出用プログラム
JP2004253011A (ja) 自動要約処理装置および自動要約処理方法
JP4719921B2 (ja) データ表示装置およびデータ表示プログラム
US20230103313A1 (en) User assistance system
JP4513098B2 (ja) 評判情報取得装置、評判情報取得方法、プログラムおよび記憶媒体
KR102519955B1 (ko) 토픽 키워드의 추출 장치 및 방법
JP2005122665A (ja) 電子機器装置、関連語データベースの更新方法、プログラム
WO2010103916A1 (ja) 文書の特徴語提示装置及び特徴語の優先度付与プログラム
JP4478042B2 (ja) 頻度情報付き単語集合生成方法、プログラムおよびプログラム記憶媒体、ならびに、頻度情報付き単語集合生成装置、テキスト索引語作成装置、全文検索装置およびテキスト分類装置
JP5428622B2 (ja) 電子機器及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040716

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070619

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070820

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20071225

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080225

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080902

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080905

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110919

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110919

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120919

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130919

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees