JP2015103101A - テキスト要約装置、方法、及びプログラム - Google Patents

Abstract

【課題】低コストで、入力テキストに対応する適切な要約を生成することができる。
【解決手段】マイクロブログ収集部２２により、マイクロブログサイトから、入力テキストに関して言及しているテキストを収集し、部分集合選択部２６により、収集されたテキストに基づいて、前記入力テキストに含まれる文の集合から得られる部分集合の各々から、部分集合に含まれる単語の各々の収集されたテキスト内に出現する頻度を用いて算出される部分集合のスコアが最大となり、かつ、予め定められた長さの上限Ｋ以下となる部分集合を選択し、要約生成部２８により、選択された部分集合に含まれる文を連結して、入力テキストに対応する要約を生成する。
【選択図】図１

Description

本発明は、テキスト要約装置、方法、及びプログラムに係り、特に、入力テキストから要約を生成するテキスト要約装置、方法、及びプログラムに関する。

近年、電子化されたテキストが大量に流通するようになった。そのため、それらのテキストに記述された情報を迅速に把握するため、機械にテキストを要約させる、要約技術の重要性が高まっている。

現在、テキストを機械に要約させる際には、以下の手続きが取られることが多い。まず、要約の対象となる1つ以上のテキストを、句点で区切るなどの方法で文に分割する。次に、要約対象のテキストから要約にふさわしい文（以下、重要文と呼ぶ）を選び出す。その後、必要があれば、選び出した文のうち冗長な情報を含むものなどを多少書き換える。最後に、選び出されたテキストを適切に順序付け、連結し、１つの要約として出力する。

重要文を選択する際には、何らかの方法によって文のスコアを定義し、そのスコアに従って文を選択することがよく行われる。文のスコアを定義する方法の一例としては、事前に、要約の対象となるテキストに対して人間によって作成された正解となる要約（以下、参照要約と呼ぶ）を作成しておき、その要約と参照要約の組を元に機械学習を行うことによって、要約に含まれやすい情報を持つ文に高いスコアを与えるといったことができる（非特許文献１）。

Tsutomu Hirao, Hideki Isozaki, Eisaku Maeda and Yuji Matsumoto. Extracting Import Sentences with Support Vector Machine. In Proc. of the 19th International Conference on Computational Linguistics, pp. 342--348, 2002.

非特許文献１の方法には、２つの問題がある。１つは、費用の問題である。機械学習を用いた方法を利用するためには、事前にある程度の訓練事例を用意しなければならない。参照要約を作成するには、人間の作業者を用意し、作業者に要約の対象となるテキストを読ませ、その後に適切な要約を記述させる必要がある。この作業は決して安価なものではないため、大量の参照要約の確保は費用の点から問題が生じやすい。

もう１つは、即時性の問題である。事前に学習を行っていた要約器で要約を作成する場合には、未知の話題に対して適切な要約を作成できない可能性がある。例えば、スマートフォンが一般に広く使われる前に作成された参照要約の中に、スマートフォンに関する話題を取り扱ったテキストが入っている可能性は少ない。そのため、仮にスマートフォンに関する記事を、スマートフォンが広く使われる前に作成された参照要約から学習した要約器で要約しようとすると、適切な要約を作成できない恐れがある。

本発明では、上記問題点を解決するために成されたものであり、低コストで、入力テキストに対応する適切な要約を生成することができるテキスト要約装置、方法、及びプログラムを提供することを目的とする。

上記目的を達成するために、第１の発明に係るテキスト要約装置は、入力テキストから、予め定められた長さの上限Ｋ以下となるように、前記入力テキストの各文のうちの少なくとも１つを選択して、前記入力テキストに対応する要約を生成するテキスト要約装置であって、マイクロブログサイトから、前記入力テキストに関して言及しているテキストを収集するマイクロブログ収集手段と、前記マイクロブログ収集手段によって収集された前記テキストに基づいて、前記入力テキストに含まれる文の集合から得られる部分集合の各々から、前記部分集合に含まれる単語の各々の前記収集された前記テキスト内に出現する頻度を用いて算出される前記部分集合のスコアが最大となり、かつ、前記予め定められた長さの上限Ｋ以下となる前記部分集合を選択する部分集合選択手段と、前記部分集合選択手段により選択された前記部分集合に含まれる文を連結して、前記入力テキストに対応する要約を生成する生成手段と、を含んで構成されている。

第２の発明に係るテキスト要約方法は、マイクロブログ収集手段、部分集合選択手段、及び生成手段を含み、入力テキストから、予め定められた長さの上限Ｋ以下となるように、前記入力テキストの各文のうちの少なくとも１つを選択して、前記入力テキストに対応する要約を生成するテキスト要約装置におけるテキスト要約方法であって、前記マイクロブログ収集手段は、マイクロブログサイトから、前記入力テキストに関して言及しているテキストを収集し、前記部分集合選択手段は、前記マイクロブログ収集手段によって収集された前記テキストに基づいて、前記入力テキストに含まれる文の集合から得られる部分集合の各々から、前記部分集合に含まれる単語の各々の前記収集された前記テキスト内に出現する頻度を用いて算出される前記部分集合のスコアが最大となり、かつ、前記予め定められた長さの上限Ｋ以下となる前記部分集合を選択し、前記生成手段は、前記部分集合選択手段により選択された前記部分集合に含まれる文を連結して、前記入力テキストに対応する要約を生成する。

第１及び第２の発明によれば、マイクロブログ収集手段により、マイクロブログサイトから、入力テキストに関して言及しているテキストを収集し、部分集合選択手段により、収集されたテキストに基づいて、入力テキストに含まれる文の集合から得られる部分集合の各々から、部分集合に含まれる単語の各々の収集されたテキスト内に出現する頻度を用いて算出される部分集合のスコアが最大となり、かつ、予め定められた長さの上限Ｋ以下となる部分集合を選択し、生成手段により、部分集合選択手段により選択された部分集合に含まれる文を連結して、入力テキストに対応する要約を生成する。

このように、第１及び第２の発明によれば、入力テキストに関して言及しているテキストを収集し、収集されたテキストに基づいて、入力テキストに含まれる文の集合から得られる部分集合を選択し、選択された部分集合に含まれる文を連結して、入力テキストに対応する要約を生成することにより、低コストで、入力テキストに対応する適切な要約を生成することができる。

また、第１の発明において、前記入力テキストは、ＵＲＩが付加されている新聞記事であって、前記マイクロブログ収集手段は、前記マイクロブログサイトから、前記新聞記事のＵＲＩをクエリとして検索することにより、前記入力テキストに関して言及しているテキストを収集してもよい。

また、第２の発明において、前記入力テキストは、ＵＲＩが付加されている新聞記事であって、前記マイクロブログ収集手段によって収集することは、前記マイクロブログサイトから、前記新聞記事のＵＲＩをクエリとして検索することにより、前記入力テキストに関して言及しているテキストを収集してもよい。

また、本発明のプログラムは、コンピュータを、上記のテキスト要約装置を構成する各手段として機能させるためのプログラムである。

以上説明したように、本発明のテキスト要約装置、方法、及びプログラムによれば、低コストで、入力テキストに対応する適切な要約を生成することができる。

本発明の実施の形態に係るテキスト要約装置の機能的構成を示すブロック図である。 入力テキストの一例を示す図である。 解析されたマイクロブログの一例を示す図である。 本発明の実施の形態に係るテキスト要約装置におけるテキスト要約処理ルーチンを示すフローチャート図である。

以下、図面を参照して本発明の実施の形態を詳細に説明する。

＜実施の形態に係るテキスト要約装置の構成＞
次に、本発明の実施の形態に係るテキスト要約装置の構成について説明する。図１に示すように、本発明の実施の形態に係るテキスト要約装置１００は、ＣＰＵと、ＲＡＭと、後述するテキスト要約処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することが出来る。このテキスト要約装置１００は、機能的には図１に示すようにテキスト入力部１０と、演算部２０と、テキスト出力部５０とを備えている。

テキスト入力部１０は、要約の対象となる入力テキストとして、形態素解析済みの新聞記事を受け付ける。図２に、受け付ける入力テキストの形式の一例を示す。図２には、形態素解析済みのテキストが入力として与えられた場合であって、「安倍晋三首相は５日午後（日本時間同日夜）、オバマ米大統領と訪問先のロシア・サンクトペテルブルクで会談した。」という文が形態素に分割された場合における、それぞれの形態素の表記、品詞、読み、及び標準形が表示されている。なお、本実施の形態においては、入力テキストとしての新聞記事に当該記事のＵＲＩの情報が付加されているものとする。

演算部２０は、マイクロブログ収集部２２と、マイクロブログ解析部２４と、部分集合選択部２６と、要約生成部２８とを含んで構成されている。

マイクロブログ収集部２２は、テキスト入力部１０で受け付けられた要約の対象となる新聞記事に基づいて、マイクロブログサイトから、当該新聞記事に関して言及しているマイクロブログを収集する。例えば、収集対象となるマイクロブログとしてツイッター（登録商標）を利用する場合は、当該要約の対象となる新聞記事に付加されている当該記事のＵＲＩをクエリとしてツイッター（登録商標）ＡＰＩなどを利用してＷｅｂ上の検索を行うことで、当該新聞記事に関して言及しているツイートの各々を収集する。

これは、近年、インターネットが一般に広く利用されるに従って、ツイッター（登録商標）などのマイクロブログに、新聞記事などに対する反応が広く、しかも素早く投稿されているため、多くのインターネット上の新聞社のサイトでは、記事のＵＲＩをキーとして、ある特定の記事に対する反応などを表すツイート等の投稿を収集するための仕組みが備えつけられており、ツイッター（登録商標）などのユーザがある特定の新聞記事にどのような反応をしているのか迅速に知ることができることに基づくものである。

マイクロブログ解析部２４は、マイクロブログ収集部２２において収集したマイクロブログの各々に対して文分割や形態素解析などの解析を実施する。文分割については句点やスラッシュなどを文境界とすることで実施することができ、形態素解析については公知の既存の方法を利用することで実施することができる（非特許文献２：Takeshi Fuchi and Shinichiro Takagi. Japanese Morphological Analyzer using Word Co-occurrence − JTAG. In Proc. of the 36th Annual Meeting of the Association for Computational Linguistics and 17th International Conference on Computational Linguistics (Volume 1), pp. 409--413, 1998.）。一例として、図３に、「ロシアの出方が気になる。」という文が解析された結果を示す。

部分集合選択部２６は、テキスト入力部１０で受け付けた要約の対象となる新聞記事と、マイクロブログ解析部２４で解析されたマイクロブログの各々とに基づいて、要約の対象となる新聞記事に含まれる文の集合から得られる部分集合の各々から、要約としてふさわしい文からなる部分集合を選択する。

具体的には、テキスト入力部１０において受け付けた要約の対象となる新聞記事に含まれるｎ個の文からなる集合Ｄ＝｛ｓ_１…ｓ_ｎ｝の部分集合Ｓ⊆Ｄのうち、要約としてのよしあし（以降、スコアと呼ぶ）を与える関数ｆ（Ｓ）を最大化し、かつＳに含まれる文の長さの和を与える関数Ｌｅｎｇｔｈ（Ｓ）が要約のサイズの上限Ｋ以下となる部分集合Ｓを選択する。定式化したものを下記（１）式に示す。なお、下記（１）式のａｒｇｍａｘ操作の実行には、例えば貪欲法（非特許文献３：Samir Khuller, Anna Moss and Joseph Naor. The Budgeted Maximum Coverage Problem. Information Processing Letters, Vol. 70, No.1, pp. 39--45, 1999.）に基づくアルゴリズムなどが利用できる。

上記（１）式の関数ｆ（Ｓ）は、例えば、部分集合Ｓが網羅する単語ｔの重要度の和とすることができ、下記（２）式において定式化する。

上記（２）式の関数Ｗｏｒｄｓ（Ｓ）は、部分集合Ｓに含まれる文の各々に存在する単語のリストを返す関数であり、ｗ_ｔは単語ｔの重要度とする。このとき、ｗ_ｔをどのように適切に設定するかということが問題となる。本実施の形態においては、マイクロブログを利用し、下記（３）式のようにｗ_ｔを定義する。

ここで、上記（３）式の関数ｔｆ（ｔ）は、マイクロブログ解析部２４において解析されたマイクロブログの各々について、単語ｔが出現する回数である。つまり、マイクロブログ中で頻繁に言及されている単語ｔは、要約にとって重要な単語であるとの仮定を置く。これによって、マイクロブログ中で頻繁に言及されている情報、すなわちユーザが興味を持ち、重要だと判断した情報に基づいて要約を作成することができる。例えば、図３には「ロシア」という単語があるため、このことからロシアという単語が重要であることがわかる。

要約生成部２８は、部分集合選択部２６で選択された部分集合Ｓに含まれる文の各々を適切に並び替え、要約として生成し、単一のテキストとしてテキスト出力部５０へ出力する。並び替えは、例えば入力された元の新聞記事の位置に基づいてもよいし、要約の対象となる新聞記事が書かれた、あるいは投稿された時間に基づいてもよいし、あるいは公知の文を並び替える方法を用いてもよい（非特許文献４：Mirella Lapata. Probabilistic Text Structuring: Experiments with Sentence Ordering, In Proc. of the 41st Meeting of the Association for Computational Linguistics, pp. 545--552, 2003.）。

テキスト出力部５０は、要約生成部２８において生成された要約を出力する。

＜第１の実施の形態に係るテキスト要約装置の作用＞
次に、本発明の第１の実施の形態に係るテキスト要約装置１００の作用について説明する。テキスト入力部１０において要約の対象となる新聞記事を受け付けると、テキスト要約装置１００は、図４に示すテキスト要約処理ルーチンを実行する。

まず、ステップＳ１００では、テキスト入力部１０において受け付けた新聞記事に付加されている当該記事のＵＲＩに基づいて、ｗｅｂの検索を行い、マイクロブログサイトから、当該新聞記事に関して言及しているマイクロブログの各々を収集する。

次に、ステップＳ１０２では、ステップＳ１００において取得したマイクロブログの各々について、文分割及び形態素解析を行う。

次に、ステップＳ１０４では、テキスト入力部１０において受け付けた新聞記事と、ステップＳ１０２において取得した解析済みのマイクロブログの各々とに基づいて、上記（１）式を用いて、当該新聞記事に含まれる文の集合から得られる部分集合の各々から、要約としてふさわしい文からなる部分集合Ｓを選択する。

次に、ステップＳ１０６では、ステップＳ１０４において取得した部分集合Ｓに含まれる文の各々を、適切な順番に並び替え、単一のテキストからなる要約を生成する。

次に、ステップＳ１０８では、ステップＳ１０６において取得した要約をテキスト入力部１０において受け付けた新聞記事の要約としてテキスト出力部５０に出力し、テキスト要約処理ルーチンを終了する。

以上説明したように、本発明の第１の実施の形態に係るテキスト要約装置によれば、低コストで、入力した新聞記事に対応する適切な要約を生成することができる。

また、新聞社のウェブサイト上の新聞記事など、ある特定の記事に対するインターネット上のユーザの反応、典型的には投稿されたツイートの内容に基づき、当該記事の要約を作成する。記事に対するユーザの反応を利用することで、新聞記事に対して参照要約を多数用意することが不要となり、また、既存の参照要約に基づいた学習では適切な要約を作成できない新しい話題などについても適切に要約を作成することができるため、新規の話題に対する要約器の頑健性を得ることができる。

なお、本発明は、上述した実施形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。

例えば、本実施の形態においては、形態素解析済みの新聞記事を入力として受け付ける場合を例に説明したが、これに限定されるものではなく、形態素解析が行われていない新聞記事を入力として受け付けてもよい。この場合には、入力された新聞記事に対して形態素解析を行うようにすればよい。

また、本実施の形態においては、入力されるテキストが新聞記事の場合を例に説明したが、これに限定されるものではなく、新聞記事以外のテキストが入力されてもよい。

本願明細書中において、プログラムが予めインストールされている実施形態として説明したが、当該プログラムを、コンピュータ読み取り可能な記録媒体に格納して提供することも可能であるし、ネットワークを介して提供することも可能である。

また、周知のコンピュータに媒体もしくは通信回線を介して、図１の構成図に示された機能を実現するプログラム、あるいは図４のフローチャートに示された手順を備えるプログラムをインストールすることによって実現してもよい。

１０ テキスト入力部
２０ 演算部
２２ マイクロブログ収集部
２４ マイクロブログ解析部
２６ 部分集合選択部
２８ 要約生成部
５０ テキスト出力部
１００ テキスト要約装置

Claims (5)

1. 入力テキストから、予め定められた長さの上限Ｋ以下となるように、前記入力テキストの各文のうちの少なくとも１つを選択して、前記入力テキストに対応する要約を生成するテキスト要約装置であって、
   マイクロブログサイトから、前記入力テキストに関して言及しているテキストを収集するマイクロブログ収集手段と、
   前記マイクロブログ収集手段によって収集された前記テキストに基づいて、前記入力テキストに含まれる文の集合から得られる部分集合の各々から、前記部分集合に含まれる単語の各々の前記収集された前記テキスト内に出現する頻度を用いて算出される前記部分集合のスコアが最大となり、かつ、前記予め定められた長さの上限Ｋ以下となる前記部分集合を選択する部分集合選択手段と、
   前記部分集合選択手段により選択された前記部分集合に含まれる文を連結して、前記入力テキストに対応する要約を生成する生成手段と、
   を含む、テキスト要約装置。
2. 前記入力テキストは、ＵＲＩが付加されている新聞記事であって、
   前記マイクロブログ収集手段は、前記マイクロブログサイトから、前記新聞記事のＵＲＩをクエリとして検索することにより、前記入力テキストに関して言及しているテキストを収集する請求項１記載のテキスト要約装置。
3. マイクロブログ収集手段、部分集合選択手段、及び生成手段を含み、入力テキストから、予め定められた長さの上限Ｋ以下となるように、前記入力テキストの各文のうちの少なくとも１つを選択して、前記入力テキストに対応する要約を生成するテキスト要約装置におけるテキスト要約方法であって、
   前記マイクロブログ収集手段は、マイクロブログサイトから、前記入力テキストに関して言及しているテキストを収集し、
   前記部分集合選択手段は、前記マイクロブログ収集手段によって収集された前記テキストに基づいて、前記入力テキストに含まれる文の集合から得られる部分集合の各々から、前記部分集合に含まれる単語の各々の前記収集された前記テキスト内に出現する頻度を用いて算出される前記部分集合のスコアが最大となり、かつ、前記予め定められた長さの上限Ｋ以下となる前記部分集合を選択し、
   前記生成手段は、前記部分集合選択手段により選択された前記部分集合に含まれる文を連結して、前記入力テキストに対応する要約を生成する
   テキスト要約方法。
4. 前記入力テキストは、ＵＲＩが付加されている新聞記事であって、
   前記マイクロブログ収集手段によって収集することは、前記マイクロブログサイトから、前記新聞記事のＵＲＩをクエリとして検索することにより、前記入力テキストに関して言及しているテキストを収集する請求項３記載のテキスト要約方法。
5. コンピュータを、請求項１又は２記載のテキスト要約装置を構成する各手段として機能させるためのプログラム。