JP2010055236A

JP2010055236A - 文抽出および文短縮を組合せた文書要約方法、文書要約装置、文書要約プログラムおよびそのプログラムを記録した記録媒体

Info

Publication number: JP2010055236A
Application number: JP2008217600A
Authority: JP
Inventors: Tsutomu Hirao; 努平尾; Jun Suzuki; 潤鈴木; Hideki Isozaki; 秀樹磯崎
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2008-08-27
Filing date: 2008-08-27
Publication date: 2010-03-11
Anticipated expiration: 2028-08-27
Also published as: JP5111300B2

Abstract

【課題】文字数制限に柔軟に対応することができる文書要約装置を提供する。
【解決手段】入力された文書中の文を、指定された複数の短縮率で短縮して原文および短縮文を出力する文短縮装置１１と、前記文短縮装置１１により出力された原文および短縮文に対して、文短縮率、文の出現位置情報および入力されたパラメタにより求められた位置情報スコアと、単語スコアデータベース２を参照して取得した、文を構成する単語の重みを示す尺度である単語スコアとに基づいて文スコアを決定する文スコア決定装置１２と、入力された文字数制限のもと、前記文スコア決定装置１２により決定された文スコアの和が最大となる文の組合せを要約として選択する文選択装置１３とを備える。
【選択図】図１

Description

本発明は、自然言語で記述されたテキストを対象とした要約を扱い、文書Ｄが入力として与えられ、指定された文字数の上限Ｕにおさまり、なおかつ、ある評価関数を最大とする要約Ａを出力する問題を扱う、文書要約方法、文書要約装置、文書要約プログラムおよびそのプログラムを記録した記録媒体に関する。

従来の要約技術は何らかの方法によって文書中の「文」にスコアを与え、それをランキングした後、文字数の上限Ｕに達するまで「文」を選択し、要約としている（非特許文献１参照）。

ここで、図６に示す文書を入力として説明する。まず、文Ｓ₅に対する文スコアの決定法について表１とともに説明する。

文は形態素解析器により単語に分割され、品詞タグが付与される。次に、品詞タグに基づき、重み付けの対象とするか否か（文のスコアに寄与するか否か）が決定され、単語スコアを外部データベースより取得する。通常、重み付けの対象となるのは、名詞、動詞、形容詞である。単語スコアは、大規模テキストデータベースからｔｆ・ｉｄｆ法などを用いることで得ることができる。こうして得た単語スコアの総和を最終的な文スコアとする。

上述した手法を用い、図６の文書中のすべての文Ｓ₁〜Ｓ₅に対し下記表２のようにスコアを付与する。

次に、文スコアの高い文から文字数制限Ｕを満たすまで文を選択し、それを要約とする（非特許文献２参照）。Ｕ＝５０の場合、文Ｓ₁を選択した後、文Ｓ₅を選択すると総文字数が５７となるので、Ｕを超えてしまう。よって、要約は図７（ａ）に示すように文Ｓ₁のみで構成されることとなる。
堀智織、古井貞熙、「単語抽出による音声要約文生成法とその評価」、電子情報通信学会論文誌、Ｄ−ＩＩＶＯｌ．Ｊ８５−Ｄ−ＩＩＮｏ．２ｐｐ．２００−２０９２００２年２月Ｚｅｃｈｎｅｒ，Ｋ．"ＦａｓｔＧｅｎｅｒａｔｉｏｎｏｆＡｂｓｔｒａｃｔｓｆｒｏｍＧｅｎｅｒａｌＤｏｍａｉｎＴｅｘｔＣｏｒｐｏｒａｂｙＥｘｔｒａｃｔｉｎｇＲｅｌｅｖａｎｔＳｅｎｔｅｎｃｅｓ"，Ｐｒｏｃ．ｏｆｔｈｅ１６ｔｈＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｐｕｔａｔｉｏｎａｌＬｉｎｇｕｉｓｔｉｃｓ，ｐｐ．９８６−９８９（１９９６）．

従来の手法では、単なる文抽出によって要約を生成するため、与えられた文字数制限をうまく満たすように文を抽出できるとは限らない。先の例では、たった１文しか要約として選択できていない。このように文抽出のみによる要約では文字数制限に柔軟でないという問題がある。これは携帯端末のような限られたスペースに要約を表示したい場合には致命的な問題である。

本発明は上記課題を解決するものであり、その目的は、文字数制限に柔軟に対応することができる文書要約方法、文書要約装置、文書要約プログラムおよびそのプログラムを記録した記録媒体を提供することにある。

本発明では、前記課題を解決するため、文短縮と文抽出を併用することで、与えられた文字数制限に柔軟に対応できる文書要約手法を提供する。ただし、単純に一律の短縮率で文を短縮しては、文脈がそこなわれることもある。そこで、本発明では、文書中の各文に対して、原文そのものと、複数の短縮率による短縮文を用意し、そこから評価関数を最大化する文の組み合わせを選択することでこの問題を解決する。

すなわち請求項１に記載の文書要約方法は、文短縮手段が、入力された文書中の文を、指定された複数の短縮率で短縮して原文および短縮文を出力する文短縮ステップと、文スコア決定手段が、前記文短縮ステップにより出力された原文および短縮文に対して、要約文としての適正を示す尺度である文スコアを決定する文スコア決定ステップと、文選択手段が、指定された文字数制限のもと、前記文スコア決定ステップにより決定された文スコアの和が最大となる文の組合せを要約として選択する文選択ステップとを備えたことを特徴としている。

また請求項２に記載の文書要約方法は、請求項１において、前記文スコア決定ステップは、前記指定された短縮率、文の出現位置情報および指定されたパラメタにより求められた位置情報スコアと、文を構成する単語の重みを示す尺度である単語スコアとに基づいて前記文スコアを決定することを特徴としている。

また請求項３に記載の文書要約方法は、請求項１又は２において、前記文選択ステップは、前記文スコアの和が最大となる文の組合せを動的計画法によって求めることを特徴としている。

また、請求項４に記載の文書要約装置は、入力された文書中の文を、指定された複数の短縮率で短縮して原文および短縮文を出力する文短縮手段と、前記文短縮手段により出力された原文および短縮文に対して、要約文としての適正を示す尺度である文スコアを決定する文スコア決定手段と、指定された文字数制限のもと、前記文スコア決定手段により決定された文スコアの和が最大となる文の組合せを要約として選択する文選択手段とを備えたことを特徴としている。

また請求項５に記載の文書要約装置は、請求項４において、前記文スコア決定手段は、前記指定された短縮率、文の出現位置情報および指定されたパラメタにより求められた位置情報スコアと、文を構成する単語の重みを示す尺度である単語スコアとに基づいて前記文スコアを決定することを特徴としている。

また請求項６に記載の文書要約装置は、請求項４又は５において、前記文選択手段は、前記文スコアの和が最大となる文の組合せを動的計画法によって求めることを特徴としている。

また、請求項７に記載の文書要約プログラムは、コンピュータを請求項４ないし６のいずれか１項に記載の各手段として機能させる文抽出および文短縮を組合せた文書要約プログラムである。

また、請求項８に記載の記録媒体は、請求項７に記載の文抽出および文短縮を組合せた文書要約プログラムを記録したコンピュータ読み取り可能な記録媒体である。

（１）請求項１〜８に記載の発明によれば、文書の要約において、文字数制限に柔軟に対応することができる。また、原文そのものと、複数の短縮率による短縮文とを用意し、それらに文スコアを付与し、該文スコアの和が最大となる文の組合せを要約として選択しているので、文脈が損なわれることがない。
（２）請求項２、５に記載の発明によれば、文の出現位置情報を加味した文スコアを決定することができる。
（３）請求項３、６に記載の発明によれば、文スコアの和が最大となる文の組合せを効率的に求めることができる。

以下、図面を参照しながら本発明の実施の形態を説明するが、本発明は下記の実施形態例に限定されるものではない。図１は本発明の文書要約装置の実施形態例を示すブロック図である。

図１において、１は文書要約装置であり、文短縮手段としての文短縮装置１１と、文スコア決定手段としての文スコア決定装置１２と、文選択手段としての文選択装置１３とを備えている。

２は、文書要約装置１の外部に設けられ、単語の重みを示す尺度としての単語スコアが格納された単語スコアデータベースである。この単語スコアデータベース２と文書要約装置１は、例えばネットワークによって接続されている。

前記文短縮装置１１、文スコア決定装置１２および文選択装置１３の、後述する各機能は例えばコンピュータにより達成される。文書要約装置１には、図示省略の入力装置から文書、文字数制限、文短縮率集合、パラメタが入力され、これによって制限文字数、文短縮率、パラメタが指定される。

文短縮装置１１は、文書中の各文を、入力された文短縮率に従い文を短縮し、原文と短縮文の集合を出力し（図示「文集合（原文と短縮文）」）、該文集合は文スコア決定装置１２へ入力される。

文スコア決定装置１２は、入力された原文と短縮文に対し、単語スコアデータベース２を参照して取得した単語スコア、文の出現位置情報、文短縮率および与えられたパラメタに基づき文のスコアを決定する（図示「スコアつき文集合」）。

尚本発明における文のスコアとは、要約文としての適正を示す尺度である。

文選択装置１３は、与えられた文字数制限を満たす文の組み合わせのなかで、前記文スコア決定装置１２により決定された文スコアの和を最大とする組み合わせを要約として選択し、出力する。

次に上記各装置の詳細を説明する。
＜文短縮装置１１＞
いま、Ｎ文からなる文書をＤ＝{Ｓ₁，．．．，Ｓ_i，．．．，Ｓ_N}、文短縮率集合をＲ＝{ｒ₁，．．．，ｒ_j，．．．，ｒ_k}とする。文短縮装置１１は、集合Ｄの要素である文Ｓ_i（１≦ｉ≦Ｎ）に対し、短縮率ｒ_j（１≦ｊ≦ｋ）で短縮する。なお、短縮率は単語数に基づき計算する。入力文が１０単語、短縮率が０．７とすると、短縮文は７単語となる。

文短縮手法については、文短縮率を任意に設定できるものであればどのような手法でもよい。図２の例は、２０単語からなる入力文Ｓ₁に対し、短縮率Ｒ＝{１．０，０．９，０．８，０．７，０．６}で短縮した結果である。

尚、文短縮装置１１の前記処理は、例えば非特許文献１に記載の各処理方法を用いるものである。
＜文スコア決定装置１２＞
文短縮率、文の出現位置および単語スコアデータベース２を参照して取得した単語スコアに基づき、図３のようにして文のスコアを決定する。図３において、文スコア決定装置１２の入力側の文集合は、図６の文Ｓ₁〜Ｓ₅を短縮率ｒ＝１．０，０．９，０．８，０．７，０．６で各々短縮した文集合を表し、文スコア決定装置１２の出力側は、前記文集合の各文に付与されたスコアを示している。

まず短縮率ｒ_jにおけるｉ番目の文に対する位置情報スコアを混合正規分布を用いて以下の式（１）で計算する。

式（１）のＳ_iは、文書Ｄにおけるｉ番目の文をあらわし、ｋ（Ｓ_i，Ｄ）は、ｉ番目の文の相対出現位置を返す関数であり、以下の式（２）で計算する。

式（２）のｓｔａｒｔ（Ｓ_i）は文Ｓ_iが文書の先頭から何文字目で始まるかをあらわし、ｌｅｎｇｔｈ（Ｄ）は、文書Ｄの総文字数をあらわす。

これら、パラメタは人間の先見知識を用いて与えても良いし、機械学習手法などを用いて、自動的に最適値を求めても良い。

たとえば、文書の先頭付近、末尾付近に出現する文の重要度を高く、短縮率の高い文の重要度を高くするように下記パラメタを設定すると、その位置情報スコアは、図４に示すグラフとなる。

次に位置情報スコアｇ_rj（ｋ（Ｓ_i，Ｄ），λ_rj）と、単語スコアｗ（ｔ）の和との積として、文スコアを以下の式（３）で決定する。

＜文選択装置１３＞
ここで、ある文字数制限を満たし、なおかつ、式（４）を最大とする文の組合せ、つまり要約Ａを求めることが本発明の目的となる。

そこで、本発明では、動的計画法を用いることで効率的に式（４）を最大とする要約Ａを求める。図５にその計算手続きの一例を示す。

図５において、Ｎは文書中の文の数、Ｕは要約の上限となる文字数、Ｌｅｎ（・）は、文の文字数を返す関数。Ｃｏｓｔ[ｉ][ｃ]は、文字数がｃ以下の時点での要約のスコアＦ（・）の最大値を表し、ｉ番目の文までを選択した時点での要約のスコアを格納するテーブルとしている。

図５において、まず、ｉ番目の文までを選択した時点での要約のスコアを格納するテーブルＣｏｓｔ[ｉ][ｃ]と、その時にどの短縮率を選択したかを記憶するテーブルＧ[ｉ][ｃ]を用意し、初期化する。図５の１〜７行目がそれに相当する。

次にｉ番目の文までを選択した場合のスコアを計算する。図５の８〜２２行目がそれに相当する。ただし、文字数制限がＵとして与えられているので、その文を選択できない場合もある。この時Ｇ[ｉ][ｃ]は０となる。すなわち１０行目で、Ｃｏｓｔ[ｉ−１][ｃ]をｔｍｐに格納し、１１行目でＧ[ｉ][ｃ]を０とする。１２行目のｆｏｒループでは各短縮率について以下の処理を行う。

以上により、効率的に要約Ａを求めることができる。

ここで、図６の入力文書に対し、本発明を適用して要約を作成した例を図７（ｂ）に示す。図７（ｂ）によれば、図７（ａ）の従来手法による要約と比較して、文字数制限に柔軟に対応できることがわかる。また図７（ｂ）において、図６の入力文書の文Ｓ₁〜Ｓ₅の文脈は損なわれていない。

また、文の短縮率、出現位置情報および混合正規分布のパラメタに基づいて前記式（１）の位置情報スコアを求めているので、文の出現位置情報を加味した文スコアを決定することができる。

また、図５に示す動的計画法を用いているので、文スコアの和（式（４））を最大とする要約Ａを、効率的に求めることができる。

尚、前記図１の文スコア決定装置１２で決定されたスコアつき文集合は、図示省略のメモリに格納して取り扱うように構成しても良い。

また、本発明の文書要約方法の実施形態例としては、図１の文書要約装置１の前記各装置１１〜１３で述べた処理を実行するものである。

すなわち、文短縮装置１１が、入力された文書中の文を、入力された複数の文短縮率で短縮して例えば図２のように原文および短縮文を出力する文短縮ステップと、文スコア決定装置１２が、前記文短縮ステップにより出力された原文および短縮文に対して、例えば図３のように要約文としての適正を示す尺度である文スコアを決定する文スコア決定ステップと、文選択装置１３が、入力された文字数制限のもと、前記文スコア決定ステップにより決定された文スコアの和が最大となる文の組合せを要約として選択する文選択ステップとを実行する。

また前記文スコア決定ステップは、前記入力された短縮率、文の出現位置情報および入力されたパラメタにより、例えば前記式（１）を計算して求められた位置情報スコアと、例えば図１の単語スコアデータベース２を参照して取得した、文を構成する単語の重みを示す尺度である単語スコアとに基づいて前記文スコアを決定するものである。

また、前記文選択ステップは、前記文スコアの和が最大となる文の組合せを、例えば図５に示す動的計画法によって求めるものである。

また、本実施形態の文書要約装置における各手段の一部もしくは全部の機能をコンピュータのプログラムで構成し、そのプログラムをコンピュータを用いて実行して本発明を実現することができること、本実施形態の文書要約方法における手順をコンピュータのプログラムで構成し、そのプログラムをコンピュータに実行させることができることは言うまでもなく、コンピュータでその機能を実現するためのプログラムを、そのコンピュータが読み取り可能な記録媒体、例えばＦＤ（Ｆｌｏｐｐｙ（登録商標）Ｄｉｓｋ）や、ＭＯ（Ｍａｇｎｅｔｏ−Ｏｐｔｉｃａｌｄｉｓｋ）、ＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）、メモリカード、ＣＤ（ＣｏｍｐａｃｔＤｉｓｋ）−ＲＯＭ、ＤＶＤ（ＤｉｇｉｔａｌＶｅｒｓａｔｉｌｅＤｉｓｋ）−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ，ＨＤＤ，リムーバブルディスクなどに記録して、保存したり、配布したりすることが可能である。また、上記のプログラムをインターネットや電子メールなど、ネットワークを通して提供することも可能である。

本発明の文書要約装置の一実施形態例を示すブロック図。本発明の文書要約装置の一実施形態例における文短縮装置の詳細を示す説明図。本発明の文書要約装置の一実施形態例における文スコア決定装置の詳細を示す説明図。本発明の文書要約装置の一実施形態例における位置情報スコアの一例を示すグラフ。本発明の文書要約装置の一実施形態例において、文スコアの和が最大となる文の組合せを効率的に求める計算手続きの一例を示す説明図。本発明の文書要約装置に入力される文書の一例を示す説明図。文字数制限が５０文字のときの要約を表し、（ａ）は従来の手法による要約の説明図、（ｂ）は本発明による要約の説明図。

符号の説明

１…文書要約装置、２…単語スコアデータベース、１１…文短縮装置、１２…文スコア決定装置、１３…文選択装置。

Claims

文短縮手段が、入力された文書中の文を、指定された複数の短縮率で短縮して原文および短縮文を出力する文短縮ステップと、
文スコア決定手段が、前記文短縮ステップにより出力された原文および短縮文に対して、要約文としての適正を示す尺度である文スコアを決定する文スコア決定ステップと、
文選択手段が、指定された文字数制限のもと、前記文スコア決定ステップにより決定された文スコアの和が最大となる文の組合せを要約として選択する文選択ステップとを備えたことを特徴とする文抽出および文短縮を組合せた文書要約方法。
前記文スコア決定ステップは、前記指定された短縮率、文の出現位置情報および指定されたパラメタにより求められた位置情報スコアと、文を構成する単語の重みを示す尺度である単語スコアとに基づいて前記文スコアを決定することを特徴とする請求項１に記載の文抽出および文短縮を組合せた文書要約方法。
前記文選択ステップは、前記文スコアの和が最大となる文の組合せを動的計画法によって求めることを特徴とする請求項１又は２に記載の文抽出および文短縮を組合せた文書要約方法。
入力された文書中の文を、指定された複数の短縮率で短縮して原文および短縮文を出力する文短縮手段と、
前記文短縮手段により出力された原文および短縮文に対して、要約文としての適正を示す尺度である文スコアを決定する文スコア決定手段と、
指定された文字数制限のもと、前記文スコア決定手段により決定された文スコアの和が最大となる文の組合せを要約として選択する文選択手段とを備えたことを特徴とする文抽出および文短縮を組合せた文書要約装置。
前記文スコア決定手段は、前記指定された短縮率、文の出現位置情報および指定されたパラメタにより求められた位置情報スコアと、文を構成する単語の重みを示す尺度である単語スコアとに基づいて前記文スコアを決定することを特徴とする請求項４に記載の文抽出および文短縮を組合せた文書要約装置。
前記文選択手段は、前記文スコアの和が最大となる文の組合せを動的計画法によって求めることを特徴とする請求項４又は５に記載の文抽出および文短縮を組合せた文書要約装置。
コンピュータを請求項４ないし６のいずれか１項に記載の各手段として機能させる文抽出および文短縮を組合せた文書要約プログラム。
請求項７に記載の文抽出および文短縮を組合せた文書要約プログラムを記録したコンピュータ読み取り可能な記録媒体。