JP2004253011A - 自動要約処理装置および自動要約処理方法 - Google Patents
自動要約処理装置および自動要約処理方法 Download PDFInfo
- Publication number
- JP2004253011A JP2004253011A JP2004168944A JP2004168944A JP2004253011A JP 2004253011 A JP2004253011 A JP 2004253011A JP 2004168944 A JP2004168944 A JP 2004168944A JP 2004168944 A JP2004168944 A JP 2004168944A JP 2004253011 A JP2004253011 A JP 2004253011A
- Authority
- JP
- Japan
- Prior art keywords
- solution
- text
- candidate
- pair
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Machine Translation (AREA)
- Document Processing Apparatus (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
【解決手段】 評価カスタマイズ手段110 は表示した要約にユーザ入力の評価を付与し、テキストと要約と評価(解)とを事例として解データ記憶部120 に記憶する。解−素性対抽出部121 は事例から解と素性の集合との組を抽出し、機械学習部122 はどのような素性のときにどのような解となりやすいかを学習して結果を学習結果データ記憶部123 に記憶する。要約候補生成部124 はテキスト2 から要約候補を生成し、素性抽出部125 はテキストと要約候補から素性の集合を抽出し、要約候補−推定解対生成部126 は学習結果データを参照して素性の集合から推定して要約候補−推定解対を生成し、要約選択部128 はその対の要約候補を要約とする。
【選択図】 図1
Description
伊藤山彦他、「講演文を対象にした重要文抽出」、言語処理学会第7回年次大会発表論文集、言語処理学会、2001年、pp.305-308 平尾勉他、「Support Vector Machineによる重要文抽出」、情報学会基礎論文63-16 、情報学会、2001年、pp.121-127
図1に、第1の実施の形態における本発明の処理装置の構成例を示す。
事例c1:テキスト−要約結果r1→評価1、
事例c2:テキスト−要約結果r2→評価3、
事例c3:テキスト−要約結果r3→評価2
となり、機械学習部122は、これらの解データをもとに、どのような場合に評価1〜評価3になるかを機械学習で学習する。例えば、事例c1→評価1や事例c3→評価2から、機械学習部122は、精度の表現、例えば「数字+[%]」の表現が出現すると評価が高くなるなどを学習する。ここで、「数字+[%]」の表現は、学習に用いる素性の例である。
事例c1:テキスト−要約結果r1→評価3、
事例c2:テキスト−要約結果r2→評価1、
事例c3:テキスト−要約結果r3→評価2
となり、機械学習部122は、「手がかり表現」や「用例」などの手法に相当する専門用語が出現すると評価が高くなるように学習する。
「事例c1:テキスト−要約結果r1→評価2、
事例c2:テキスト−要約結果r2→評価2、
事例c3:テキスト−要約結果r3→評価1」
となり、機械学習部122は、精度の表現または手法に相当する表現の両方が出現すると評価が高くなるように学習する。
[参考文献1:村田真樹、内山将夫、内元清貴、馬青、井佐原均、種々の機械学習法を用いた多義解消実験、電子情報通信学会言語理解とコミュニケーション研究会,NCL2001-2, (2001) ]
[参考文献2:Nello Cristianini and John Shawe-Taylor, An Introduction to Support Vector Machines and Other Kernel-based Learning Methods,(Cambridge University Press,2000) ]
[参考文献3:Taku Kudoh, Tinysvm:Support Vector machines,(http://cl.aist-nara.ac.jp/taku-ku//software/TinySVM/index.html,2000) ]
その後、要約を求めたいテキスト2が入力されると(ステップS13)、要約候補生成部124は、例えば以下に示すような処理モデルを用いて、テキスト2から要約候補を作成する(ステップS14)。
重要文選択モデルとは、文を単位に要約し、重要と思われる文のみを選択して残すことにより要約を実現するモデルである。このモデルの場合には、あらゆる文選択の状態をすべて解の候補とするとよい。また、すべてを解の候補とすると計算速度に支障が生じる場合には、予め備えておいた選択規則を用いて、この選択規則を満足する文の選択状態のみを解の候補とする。すなわち、所定の選択規則により候補数を減少させて処理の負荷を軽減する。なお、選択規則は、人手による規則であってもよい。
重要箇所選択モデルとは、文よりも小さいものを要約の単位として、不要なものを削除することにより要約を実現するモデルである。単位を文より小さいものとすること以外については、上記1)重要文選択モデルと同様である。文よりも小さいものとして、例えば文節を用いる。すなわち、文節を単位として不要な文節を消していくことにより要約を実現する。この重要箇所選択モデルの場合は、あらゆる文節の選択の状態をすべて解の候補とする。また、すべてを解の候補とすると計算速度に支障が生じる場合には、上記1)重要文選択モデルと同様に、予め選択規則を用意しておき、この選択規則を満足する文の選択状態のみを解の候補とする。
変形規則を利用したモデルとは、予め用意した変形規則を利用して要約結果を生成するモデルである。変形規則は、自動処理により獲得するか、または人手で作成しておいたものを利用する。例えば、「Xして、Yした。」を「Xした。」もしくは「Yした。」に書き換えるような変形規則を作っておき、この変形規則に従って入力「Aして、Bした。」が与えられたときに「Aした。」や「Bした。」という要約候補を生成する。
ランダムジェネレーションを利用したモデルは、例えば、入力「・・・X・・・」があったときに「・・・Y・・・」を要約候補とするようなモデルである。このとき、置き換えられるXはランダムに選ばれてもよいし、予め用意しておいた置換規則によって指定してもよい。置換規則は、人手によって生成されたものや、自動獲得したものなどを用いる。また、置き換えた先の表現Yは、ある辞書の単語もしくは文字列の集合からランダムに選ばれてもよいし、予め用意しておいた変換規則によって指定してもよい。変換規則は、置換規則と同様、人手によって生成されたものや、自動獲得したものなどを用いる。このとき、XやYをランダムに選ばずに、変換規則にもとづいて選ぶとすると、変形規則を利用したモデルと同じようなものになる。
図8に、第2の実施の形態における本発明の処理装置の構成例を示す。図8に示す自動要約処理装置30は、図1に示す自動要約処理装置10の評価カスタマイズ手段110の代わりに評価カスタマイズ手段140を備え、また自動要約処理装置10を構成する評価カスタマイズ手段110以外の処理手段を備える。
図15に、第3の実施の形態における本発明の処理装置の構成例を示す。図15に示す自動要約処理装置50は、図1に示す自動要約処理装置10の評価カスタマイズ手段110の代わりに評価カスタマイズ手段150を備え、また他の処理手段として、自動要約処理装置10を構成する処理手段と同様の処理手段を備える。
+a(数量表現重視)×score(数量表現重視)
+a(手法重視) ×score(手法重視)
+a(文体重視) ×score(文体重視)
+a(読みやすさ重視) ×score(読みやすさ重視)
ただし、a(X)はユーザが指定した性質情報Xのスライドバーのスライドボタン位置から求まる値である。スライドボタンがスライドバーの右側に位置するほど大きな値を持つとしている。score(X)は学習結果データにもとづいて算出された性質情報Xの評価の値である。要約選択部128は、この組合せ値 Total_Score が最も大きい要約候補−推定解対127を選択し、その要約候補を要約3として出力する。
図20に、第4の実施の形態における本発明の処理の構成例を示す。図20に示す自動要約処理装置70は、解データ記憶部120と、解−素性対抽出部121と、機械学習部122と、学習結果データ記憶部123と、素性抽出部125と、解推定部160と、評価カスタマイズ手段140とを備える。
110 評価カスタマイズ手段
111 要約表示部
112 評価付与部
120 解データ記憶部
121 解−素性対抽出部
122 機械学習部
123 学習結果データ記憶部
124 要約候補生成部
125 素性抽出部
126 要約候補−推定解対生成部
127 要約候補−推定解対
128 要約選択部
130 解データ記憶部
131 素性−解対・素性−解候補対抽出部
132 機械学習部
133 学習結果データ記憶部
134 要約候補生成部
135 素性−解候補抽出部
136 要約候補−推定解対生成部
137 要約候補−推定解対
138 要約選択部
140 評価カスタマイズ手段
141 テキスト表示部
142 要約編集部
150 評価カスタマイズ手段
151 要約表示部
152 性質情報設定部
160 解推定部
161 推定解
2 テキスト
3 要約
4 テキスト・要約
5 テキスト
7 ユーザ評価設定情報
Claims (14)
- 文書データであるテキストを機械学習法を用いて自動要約する自動要約処理装置であって、
テキストおよび前記テキストの要約を記憶するテキスト記憶手段と、
前記要約を表示装置に表示する要約表示処理手段と、
前記要約に対するユーザの評価の入力を受け付けて前記要約の評価とする評価設定処理手段と、
前記テキストおよび前記要約で構成される問題に対し前記評価を解として付与して生成した解データを解データ記憶手段に記憶する解データ出力処理手段と、
前記解データから前記問題の素性の集合と前記解との組を抽出し、当該組から、どのような素性のときにどのような解となりやすいかを学習した学習結果データを学習結果データ記憶手段に記憶する機械学習処理手段と、
要約対象のテキストを入力し、前記入力テキストから要約候補を生成する要約候補生成処理手段と、
前記入力テキストおよび前記要約候補から素性の集合を抽出し、当該素性の集合からどのような解となりやすいかを前記学習結果データをもとに推定し、要約候補と推定解との対を生成する要約候補−推定解対生成処理手段と、
前記要約候補−推定解対から、推定解が所定の良い評価でかつ確信度が最高の対を選択し、当該対の要約候補を要約とする要約選択処理手段とを備える
ことを特徴とする自動要約処理装置。 - 文書データであるテキストを機械学習法を用いて自動要約する自動要約処理装置であって、
テキストを記憶するテキスト記憶手段と、
前記テキストを表示装置に表示するテキスト表示処理手段と、
前記テキストからユーザによって指定された範囲の文データを抽出して前記テキストのユーザ指定要約とする要約編集処理手段と、
所定の規則に基づいて要約を生成する処理もしくは機械学習法を用いて要約を生成する処理のいずれかの自動要約生成処理により前記テキストの要約を生成し、前記テキストおよび前記ユーザ指定要約で構成される問題に対し前記ユーザによって選ばれた良い要約であることを示す所定の良い評価を解として付与して生成した解データと、前記テキストおよび前記自動要約生成処理による要約であって前記ユーザ指定要約以外の部分からなるもので構成される問題に対し前記ユーザ指定要約ではないことを示す所定の悪い評価を解として付与して生成した解データとを解データ記憶手段に記憶する解データ出力処理手段と、
前記解データから前記問題の素性の集合と前記解との組を抽出し、当該組から、どのような素性のときにどのような解となりやすいかを学習した学習結果データを学習結果データ記憶手段に記憶する機械学習処理手段と、
要約対象のテキストを入力し、前記入力テキストから要約候補を生成する要約候補生成処理手段と、
前記入力テキストおよび前記要約候補から素性の集合を抽出し、当該素性の集合からどのような解となりやすいかを前記学習結果データをもとに推定し、要約候補と推定解との対を生成する要約候補−推定解対生成処理手段と、
前記要約候補−推定解対から、推定解が所定の良い評価でかつ確信度が最高の対を選択し、当該対の要約候補を要約とする要約選択処理手段とを備える
ことを特徴とする自動要約処理装置。 - 文書データであるテキストを機械学習法を用いて自動要約する自動要約処理装置であって、
テキストおよび前記テキストの要約を記憶するテキスト記憶手段と、
前記要約を表示装置に表示する要約表示処理手段と、
前記要約に対するユーザの評価の入力を受け付けて前記要約の評価とする評価設定処理手段と、
前記テキストおよび前記要約で構成される問題に対し前記ユーザが設定した評価を解として付与した解データを生成し、解データ記憶手段に記憶する解データ出力処理手段と、
所定の評価のうち前記解となった評価以外の評価を解候補として、前記解データから前記問題の素性の集合と解もしくは解候補との組を抽出し、前記素性の集合と解との組を正例と前記素性の集合と解候補との組を負例とする素性−解対・素性−解候補対抽出処理手段と、
前記抽出した組を教師信号として、どのような解もしくは解候補と素性の集合のときに正例である確率または負例である確率となるかを学習した学習結果データを学習結果データ記憶手段に記憶する機械学習処理手段と、
要約対象のテキストを入力し、前記入力テキストから要約候補を生成する要約候補生成処理手段と、
前記所定の評価を解の候補として、前記入力テキストおよび前記要約候補から素性の集合と解の候補との組を生成し、当該素性の集合と解の候補の組の場合に正例もしくは負例である確率を前記学習結果データをもとに推定し、前記推定した結果を推定解として前記要約候補と解の候補の組と前記推定解との対を生成する要約候補−推定解対生成処理手段と、
前記要約候補と解の候補の組−推定解対から、解の候補が所定の良い評価でかつ推定解の正例の確率が最高の対を選択し、当該対の要約候補を要約とする要約選択処理手段とを備える
ことを特徴とする自動要約処理装置。 - 文書データであるテキストを機械学習法を用いて自動要約する自動要約処理装置であって、
テキストを記憶するテキスト記憶手段と、
前記テキストを表示装置に表示するテキスト表示処理手段と、
前記テキストからユーザによって指定された範囲の文データを抽出して前記テキストのユーザ指定要約とする要約編集処理手段と、
所定の規則に基づいて要約を生成する処理もしくは機械学習法を用いて要約を生成する処理のいずれかの自動要約生成処理により前記テキストの要約を生成し、前記テキストおよび前記ユーザ指定要約で構成される問題に対し前記ユーザによって選ばれた良い要約であることを示す所定の良い評価を解として付与して生成した解データと、前記テキストおよび前記自動要約生成処理による要約であって前記ユーザ指定要約以外の部分からなるもので構成される問題に対し前記ユーザ指定要約ではないことを示す所定の悪い評価を解として付与して生成した解データとを解データ記憶手段に記憶する解データ出力処理手段と、
所定の評価のうち前記解となった評価以外の評価を解候補として、前記解データから前記問題の素性の集合と解もしくは解候補との組を抽出し、前記素性の集合と解との組を正例と前記素性の集合と解候補との組を負例とする素性−解対・素性−解候補対抽出処理手段と、
前記抽出した組を教師信号として、どのような解もしくは解候補と素性の集合のときに正例である確率または負例である確率となるかを学習した学習結果データを学習結果データ記憶手段に記憶する機械学習処理手段と、
要約対象のテキストを入力し、前記入力テキストから要約候補を生成する要約候補生成処理手段と、
前記所定の評価を解の候補として、前記入力テキストおよび前記要約候補から素性の集合と解の候補との組を生成し、当該素性の集合と解の候補の組の場合に正例もしくは負例である確率を前記学習結果データをもとに推定し、前記推定した結果を推定解として前記要約候補と解の候補との組と前記推定解との対を生成する要約候補−推定解対生成処理手段と、
前記要約候補と解の候補との組−推定解対から、解の候補が所定の良い評価でかつ推定解の正例の確率が最高の対を選択し、当該対の要約候補を要約とする要約選択処理手段とを備える
ことを特徴とする自動要約処理装置。 - 文書データであるテキストを機械学習法を用いて自動要約する自動要約処理装置であって、
テキストを記憶するテキスト記憶手段と、
前記テキストを表示装置に表示するテキスト表示処理手段と、
前記テキストからユーザによって指定された範囲の文データを抽出して前記テキストのユーザ指定要約とする要約編集処理手段と、
前記テキストを問題とし前記問題に対する前記ユーザ指定要約を解とする解データを生成し解データ記憶手段に記憶する解データ出力処理手段と、
前記解データから前記問題の素性の集合と前記解との組を抽出し、当該組から、どのような素性のときにどのような解となりやすいかを学習した学習結果データを学習結果データ記憶手段に記憶する機械学習処理手段と、
要約対象のテキストを入力し、前記入力テキストから素性の集合を抽出し、当該素性の集合からどのような解となりやすいかを前記学習結果データをもとに推定する解推定処理手段と、
前記解推定処理手段で推定された解を前記入力テキストの要約として出力する要約選択処理手段とを備える
ことを特徴とする自動要約処理装置。 - 文書データであるテキストを機械学習法を用いて自動要約する自動要約処理装置であって、
テキストを記憶するテキスト記憶手段と、
前記テキストを表示装置に表示するテキスト表示処理手段と、
前記テキストからユーザによって指定された範囲の文データを抽出して前記テキストのユーザ指定要約とする要約編集処理手段と、
前記テキストを問題とし前記問題に対する前記ユーザ指定要約を解とする解データを生成し解データ記憶手段に記憶する解データ出力処理手段と、
所定の規則に基づいて要約を生成する処理もしくは機械学習法を用いて要約を生成する処理のいずれかの自動要約生成処理により前記テキストの要約を生成し、前記要約のうち前記ユーザ指定要約以外の部分からなるものを解候補とし、前記解データから解もしくは解候補と前記問題の素性の集合との組を抽出し、前記素性の集合と解との組を正例と前記素性の集合と解候補との組を負例とする素性−解対・素性−解候補対抽出処理手段と、
前記抽出した組を教師信号として、どのような解もしくは解候補と素性の集合のときに正例である確率または負例である確率となるかを学習した学習結果データを学習結果データ記憶手段に記憶する機械学習処理手段と、
要約対象のテキストを入力し、前記入力テキストから要約候補を生成する要約候補生成処理手段と、
前記要約候補を解の候補として、前記入力テキストおよび前記要約候補から素性の集合と解の候補との組を生成し、当該素性の集合と解の候補との組の場合に正例もしくは負例である確率を前記学習結果データをもとに推定し、前記推定した結果を推定解として、前記要約候補と推定解との対を生成する要約候補−推定解対生成処理手段と、
前記要約候補−推定解対から前記推定解の正例の確率が最高の対を選択し、当該対の要約候補を要約とする要約選択処理手段とを備える
ことを特徴とする自動要約処理装置。 - 請求項1または請求項3のいずれか一項に記載の自動要約処理装置において、
前記要約表示処理手段は、前記ユーザ指定要約に対する要約の性質ごとの評価を入力する項目を表示し、
前記解データ出力処理手段は、前記テキストおよび前記ユーザ指定要約で構成される問題に対し前記ユーザによって入力された前記性質ごとの評価である解データを生成して解データ記憶手段に出力し、
前記要約選択処理手段は、前記品質ごとの評価の組合せ情報の入力を受け付け、ユーザにとって良い評価であって、かつ前記組合せ情報について所定の評価尺度にもとづいて求めた値の最大値を持つ推定解を持つ前記要約候補−推定解対を選択し、当該対の要約候補を要約とする
ことを特徴とする自動要約処理装置。 - 請求項2または請求項4または請求項5または請求項6のいずれか一項に記載の自動要約処理装置において、
前記要約編集処理手段は、さらに、前記テキスト内でユーザによって指定された範囲の文字列の変更入力を受け付け、変更された前記範囲の文データを前記ユーザ指定要約とする
ことを特徴とする自動要約処理装置。 - 文書データであるテキストを機械学習法を用いて自動要約する自動要約処理方法であって、
テキストおよび前記テキストの要約を記憶するテキスト記憶手段にアクセスしてテキストおよび前記テキストの要約を取得する要約取得処理過程と、
前記要約を表示装置に表示する要約表示処理過程と、
前記要約に対するユーザの評価の入力を受け付けて前記要約の評価とする評価設定処理過程と、
前記テキストおよび前記要約で構成される問題に対し前記評価を解として付与して生成した解データを解データ記憶手段に記憶する解データ出力処理過程と、
前記解データから前記問題の素性の集合と前記解との組を抽出し、当該組から、どのような素性のときにどのような解となりやすいかを学習した学習結果データを学習結果データ記憶手段に記憶する機械学習処理過程と、
要約対象のテキストを入力し、前記入力テキストから要約候補を生成する要約候補生成処理過程と、
前記入力テキストおよび前記要約候補から素性の集合を抽出し、当該素性の集合からどのような解となりやすいかを前記学習結果データをもとに推定し、要約候補と推定解との対を生成する要約候補−推定解対生成処理過程と、
前記要約候補−推定解対から、推定解が所定の良い評価でかつ確信度が最高の対を選択し、当該対の要約候補を要約とする要約選択処理過程とを備える
ことを特徴とする自動要約処理方法。 - 文書データであるテキストを機械学習法を用いて自動要約する自動要約処理方法であって、
テキストを記憶するテキスト記憶手段にアクセスしてテキストを取得するテキスト取得処理過程と、
前記テキストを表示装置に表示するテキスト表示処理過程と、
前記テキストからユーザによって指定された範囲の文データを抽出して前記テキストのユーザ指定要約とする要約編集処理過程と、
所定の規則に基づいて要約を生成する処理もしくは機械学習法を用いて要約を生成する処理のいずれかの自動要約生成処理により前記テキストの要約を生成し、前記テキストおよび前記ユーザ指定要約で構成される問題に対し前記ユーザによって選ばれた良い要約であることを示す所定の良い評価を解として付与して生成した解データと、前記テキストおよび前記自動要約生成処理による要約であって前記ユーザ指定要約以外の部分からなるもので構成される問題に対し前記ユーザ指定要約ではないことを示す所定の悪い評価を解として付与して生成した解データとを解データ記憶手段に記憶する解データ出力処理過程と、
前記解データから前記問題の素性の集合と前記解との組を抽出し、当該組から、どのような素性のときにどのような解となりやすいかを学習した学習結果データを学習結果データ記憶手段に記憶する機械学習処理過程と、
要約対象のテキストを入力し、前記入力テキストから要約候補を生成する要約候補生成処理過程と、
前記入力テキストおよび前記要約候補から素性の集合を抽出し、当該素性の集合からどのような解となりやすいかを前記学習結果データをもとに推定し、要約候補と推定解との対を生成する要約候補−推定解対生成処理過程と、
前記要約候補−推定解対から、推定解が所定の良い評価でかつ確信度が最高の対を選択し、当該対の要約候補を要約とする要約選択処理過程とを備える
ことを特徴とする自動要約処理方法。 - 文書データであるテキストを機械学習法を用いて自動要約する自動要約処理方法であって、
テキストおよび前記テキストの要約を記憶するテキスト記憶手段にアクセスしてテキストおよび前記テキストの要約を取得する要約取得処理過程と、
前記要約を表示装置に表示する要約表示処理過程と、
前記要約に対するユーザの評価の入力を受け付けて前記要約の評価とする評価設定処理過程と、
前記テキストおよび前記要約で構成される問題に対し前記ユーザが設定した評価を解として付与した解データを生成し、解データ記憶手段に記憶する解データ出力処理過程と、
所定の評価のうち前記解となった評価以外の評価を解候補として、前記解データから前記問題の素性の集合と解もしくは解候補との組を抽出し、前記素性の集合と解との組を正例と前記素性の集合と解候補との組を負例とする素性−解対・素性−解候補対抽出処理過程と、
前記抽出した組を教師信号として、どのような解もしくは解候補と素性の集合のときに正例である確率または負例である確率となるかを学習した学習結果データを学習結果データ記憶手段に記憶する機械学習処理過程と、
要約対象のテキストを入力し、前記入力テキストから要約候補を生成する要約候補生成処理過程と、
前記所定の評価を解の候補として、前記入力テキストおよび前記要約候補から素性の集合と解の候補との組を生成し、当該素性の集合と解の候補の組の場合に正例もしくは負例である確率を前記学習結果データをもとに推定し、前記推定した結果を推定解として前記要約候補と解の候補の組と前記推定解との対を生成する要約候補−推定解対生成処理過程と、
前記要約候補と解の候補の組−推定解対から、解の候補が所定の良い評価でかつ推定解の正例の確率が最高の対を選択し、当該対の要約候補を要約とする要約選択処理過程とを備える
ことを特徴とする自動要約処理方法。 - 文書データであるテキストを機械学習法を用いて自動要約する自動要約処理方法であって、
テキストを記憶するテキスト記憶手段にアクセスしてテキストを取得するテキスト取得処理過程と、
前記テキストを表示装置に表示するテキスト表示処理過程と、
前記テキストからユーザによって指定された範囲の文データを抽出して前記テキストのユーザ指定要約とする要約編集処理過程と、
所定の規則に基づいて要約を生成する処理もしくは機械学習法を用いて要約を生成する処理のいずれかの自動要約生成処理により前記テキストの要約を生成し、前記テキストおよび前記ユーザ指定要約で構成される問題に対し前記ユーザによって選ばれた良い要約であることを示す所定の良い評価を解として付与して生成した解データと、前記テキストおよび前記自動要約生成処理による要約であって前記ユーザ指定要約以外の部分からなるもので構成される問題に対し前記ユーザ指定要約ではないことを示す所定の悪い評価を解として付与して生成した解データとを解データ記憶手段に記憶する解データ出力処理過程と、
所定の評価のうち前記解となった評価以外の評価を解候補として、前記解データから前記問題の素性の集合と解もしくは解候補との組を抽出し、前記素性の集合と解との組を正例と前記素性の集合と解候補との組を負例とする素性−解対・素性−解候補対抽出処理過程と、
前記抽出した組を教師信号として、どのような解もしくは解候補と素性の集合のときに正例である確率または負例である確率となるかを学習した学習結果データを学習結果データ記憶手段に記憶する機械学習処理過程と、
要約対象のテキストを入力し、前記入力テキストから要約候補を生成する要約候補生成処理過程と、
前記所定の評価を解の候補として、前記入力テキストおよび前記要約候補から素性の集合と解の候補との組を生成し、当該素性の集合と解の候補の組の場合に正例もしくは負例である確率を前記学習結果データをもとに推定し、前記推定した結果を推定解として前記要約候補と解の候補との組と前記推定解との対を生成する要約候補−推定解対生成処理過程と、
前記要約候補と解の候補との組−推定解対から、解の候補が所定の良い評価でかつ推定解の正例の確率が最高の対を選択し、当該対の要約候補を要約とする要約選択処理過程とを備える
ことを特徴とする自動要約処理方法。 - 文書データであるテキストを機械学習法を用いて自動要約する自動要約処理方法であって、
テキストを記憶するテキスト記憶手段にアクセスしてテキストを取得するテキスト取得処理過程と、
前記テキストを表示装置に表示するテキスト表示処理過程と、
前記テキストからユーザによって指定された範囲の文データを抽出して前記テキストのユーザ指定要約とする要約編集処理過程と、
前記テキストを問題とし前記問題に対する前記ユーザ指定要約を解とする解データを生成し解データ記憶手段に記憶する解データ出力処理過程と、
前記解データから前記問題の素性の集合と前記解との組を抽出し、当該組から、どのような素性のときにどのような解となりやすいかを学習した学習結果データを学習結果データ記憶手段に記憶する機械学習処理過程と、
要約対象のテキストを入力し、前記入力テキストから素性の集合を抽出し、当該素性の集合からどのような解となりやすいかを前記学習結果データをもとに推定する解推定処理過程と、
前記解推定処理過程で推定された解を前記入力テキストの要約として出力する要約選択処理過程とを備える
ことを特徴とする自動要約処理方法。 - 文書データであるテキストを機械学習法を用いて自動要約する自動要約処理方法であって、
テキストを記憶するテキスト記憶手段にアクセスしてテキストを取得するテキスト取得処理過程と、
前記テキストを表示装置に表示するテキスト表示処理過程と、
前記テキストからユーザによって指定された範囲の文データを抽出して前記テキストのユーザ指定要約とする要約編集処理過程と、
前記テキストを問題とし前記問題に対する前記ユーザ指定要約を解とする解データを生成し解データ記憶手段に記憶する解データ出力処理過程と、
所定の規則に基づいて要約を生成する処理もしくは機械学習法を用いて要約を生成する処理のいずれかの自動要約生成処理により前記テキストの要約を生成し、前記要約のうち前記ユーザ指定要約以外の部分からなるものを解候補とし、前記解データから解もしくは解候補と前記問題の素性の集合との組を抽出し、前記素性の集合と解との組を正例と前記素性の集合と解候補との組を負例とする素性−解対・素性−解候補対抽出処理過程と、
前記抽出した組を教師信号として、どのような解もしくは解候補と素性の集合のときに正例である確率または負例である確率となるかを学習した学習結果データを学習結果データ記憶手段に記憶する機械学習処理過程と、
要約対象のテキストを入力し、前記入力テキストから要約候補を生成する要約候補生成処理過程と、
前記要約候補を解の候補として、前記入力テキストおよび前記要約候補から素性の集合と解の候補との組を生成し、当該素性の集合と解の候補との組の場合に正例もしくは負例である確率を前記学習結果データをもとに推定し、前記推定した結果を推定解として、前記要約候補と推定解との対を生成する要約候補−推定解対生成処理過程と、
前記要約候補−推定解対から前記推定解の正例の確率が最高の対を選択し、当該対の要約候補を要約とする要約選択処理過程とを備える
ことを特徴とする自動要約処理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004168944A JP4187213B2 (ja) | 2004-06-07 | 2004-06-07 | 自動要約処理装置および自動要約処理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004168944A JP4187213B2 (ja) | 2004-06-07 | 2004-06-07 | 自動要約処理装置および自動要約処理方法 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002045925A Division JP2003248676A (ja) | 2002-02-22 | 2002-02-22 | 解データ編集処理装置、解データ編集処理方法、自動要約処理装置、および自動要約処理方法 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006222723A Division JP4106470B2 (ja) | 2006-08-17 | 2006-08-17 | 解データ編集処理装置および処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004253011A true JP2004253011A (ja) | 2004-09-09 |
JP4187213B2 JP4187213B2 (ja) | 2008-11-26 |
Family
ID=33028751
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004168944A Expired - Fee Related JP4187213B2 (ja) | 2004-06-07 | 2004-06-07 | 自動要約処理装置および自動要約処理方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4187213B2 (ja) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2010073591A1 (ja) * | 2008-12-26 | 2010-07-01 | 日本電気株式会社 | テキスト処理装置、テキスト処理方法、及びコンピュータ読み取り可能な記録媒体 |
CN105512285A (zh) * | 2015-12-07 | 2016-04-20 | 南京大学 | 基于机器学习的自适应网络爬虫方法 |
US9721213B2 (en) | 2011-01-28 | 2017-08-01 | Fujitsu Limited | Information matching apparatus, method of matching information, and computer readable storage medium having stored information matching program |
JP2018156473A (ja) * | 2017-03-17 | 2018-10-04 | ヤフー株式会社 | 解析装置、解析方法、およびプログラム |
JP2019053558A (ja) * | 2017-09-15 | 2019-04-04 | ヤフー株式会社 | 学習装置、学習方法、学習プログラム、第1のモデルおよび第2のモデル |
JP2020057195A (ja) * | 2018-10-02 | 2020-04-09 | テクマトリックス株式会社 | 要約生成サーバ、要約生成システム及び要約生成方法 |
US11763069B2 (en) | 2020-12-21 | 2023-09-19 | Fujitsu Limited | Computer-readable recording medium storing learning program, learning method, and learning device |
-
2004
- 2004-06-07 JP JP2004168944A patent/JP4187213B2/ja not_active Expired - Fee Related
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2010073591A1 (ja) * | 2008-12-26 | 2010-07-01 | 日本電気株式会社 | テキスト処理装置、テキスト処理方法、及びコンピュータ読み取り可能な記録媒体 |
JP5423993B2 (ja) * | 2008-12-26 | 2014-02-19 | 日本電気株式会社 | テキスト処理装置、テキスト処理方法、及びプログラム |
US8886519B2 (en) | 2008-12-26 | 2014-11-11 | Nec Corporation | Text processing apparatus, text processing method, and computer-readable recording medium |
US9721213B2 (en) | 2011-01-28 | 2017-08-01 | Fujitsu Limited | Information matching apparatus, method of matching information, and computer readable storage medium having stored information matching program |
CN105512285A (zh) * | 2015-12-07 | 2016-04-20 | 南京大学 | 基于机器学习的自适应网络爬虫方法 |
CN105512285B (zh) * | 2015-12-07 | 2018-11-06 | 南京大学 | 基于机器学习的自适应网络爬虫方法 |
JP2018156473A (ja) * | 2017-03-17 | 2018-10-04 | ヤフー株式会社 | 解析装置、解析方法、およびプログラム |
JP2019053558A (ja) * | 2017-09-15 | 2019-04-04 | ヤフー株式会社 | 学習装置、学習方法、学習プログラム、第1のモデルおよび第2のモデル |
JP2020057195A (ja) * | 2018-10-02 | 2020-04-09 | テクマトリックス株式会社 | 要約生成サーバ、要約生成システム及び要約生成方法 |
US11763069B2 (en) | 2020-12-21 | 2023-09-19 | Fujitsu Limited | Computer-readable recording medium storing learning program, learning method, and learning device |
Also Published As
Publication number | Publication date |
---|---|
JP4187213B2 (ja) | 2008-11-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2003248676A (ja) | 解データ編集処理装置、解データ編集処理方法、自動要約処理装置、および自動要約処理方法 | |
KR102577514B1 (ko) | 텍스트 창작 방법, 텍스트 창작 장치, 전자 기기 및 저장 매체 | |
CN108647205B (zh) | 细粒度情感分析模型构建方法、设备及可读存储介质 | |
KR102345453B1 (ko) | 전자 디바이스로 이미지 또는 라벨을 입력하기 위한 시스템 및 방법 | |
CN105759983B (zh) | 电子设备的文本输入系统及文本输入方法 | |
US8332208B2 (en) | Information processing apparatus, information processing method, and program | |
US20160328377A1 (en) | System and method for inputting text into electronic devices | |
Luyckx | Scalability issues in authorship attribution | |
JP5802292B2 (ja) | 共有された言語モデル | |
WO2009154153A1 (ja) | 文書検索システム | |
JP6529761B2 (ja) | 話題提供システム、及び会話制御端末装置 | |
JP2007042069A (ja) | 情報処理装置,情報処理方法および情報処理プログラム | |
CN101526938B (zh) | 文档处理装置 | |
JP4106470B2 (ja) | 解データ編集処理装置および処理方法 | |
CN111665954A (zh) | 字符输入装置和存储字符输入程序的非暂时性记录介质 | |
JP5056133B2 (ja) | 情報抽出システム、情報抽出方法および情報抽出用プログラム | |
JP2004253011A (ja) | 自動要約処理装置および自動要約処理方法 | |
JP4719921B2 (ja) | データ表示装置およびデータ表示プログラム | |
US20230103313A1 (en) | User assistance system | |
JP4513098B2 (ja) | 評判情報取得装置、評判情報取得方法、プログラムおよび記憶媒体 | |
KR102519955B1 (ko) | 토픽 키워드의 추출 장치 및 방법 | |
JP2005122665A (ja) | 電子機器装置、関連語データベースの更新方法、プログラム | |
WO2010103916A1 (ja) | 文書の特徴語提示装置及び特徴語の優先度付与プログラム | |
JP4478042B2 (ja) | 頻度情報付き単語集合生成方法、プログラムおよびプログラム記憶媒体、ならびに、頻度情報付き単語集合生成装置、テキスト索引語作成装置、全文検索装置およびテキスト分類装置 | |
JP5428622B2 (ja) | 電子機器及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040716 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070619 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070820 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071225 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080225 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080902 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080905 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110919 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110919 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120919 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130919 Year of fee payment: 5 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |