JP2014225158A - 文書要約装置、方法、及びプログラム - Google Patents

Abstract

【課題】計算量を抑制し、かつ、文間のつながりを考慮して、入力文書に対応する要約を生成することができるようにする。【解決手段】特徴量抽出部２２によって、入力文書の各文について、文スコアを算出し、入力文書の各文のペアの各々について、当該ペアの２つの文の文間スコアを算出する。そして、文選択部２３によって、予め定められた長さの上限Ｋまでの長さｋの各々について昇順に、入力文書の各文ｉについて、長さｋから文ｉの長さを減算した長さ以下の長さについて既に選択された選択結果を用いて、長さｋ以下となり、かつ、要約スコアが最大となるように、文ｉを含む少なくとも１つの文を、文ｉ以前に出現する文から選択することを繰り返し、繰り返し選択された選択結果に基づいて、予め定められた長さの上限Ｋ以下となり、かつ、要約スコアが最大となるように、入力文書の各文のうちの少なくとも１つを要約構成文として選択する。【選択図】図１

Description

本発明は、文書要約装置、方法、及びプログラムに関し、特に、入力文書に対応する要約を生成する文書要約装置、方法、及びプログラムに関する。

近年、電子化された文書（テキスト）が大量に流通するようになった。そのため、それらの文書に記述された情報を迅速に把握するための要約技術の重要性が高まっている。

現在、文書を機械に要約させる際には、要約にふさわしい文（以下、重要文）を要約の対象とする文書のうちから１つ以上選び出し、それらを並び替え連結することによって要約が作られることが多い。重要文を選択する際には、何らかの方法によって文のスコアを定義し、そのスコアに従って選択することが多い。また、文書を構成している文を元の文より短い形に書き換え、それらを含めて重要文を選択することもできる。単一の文書を要約の対象とする場合、文を選択する際には、元の文とは別に元の文を短く書き換えたものを複数用意しておき、これらをナップサック問題の一種として定式化することで要約を作成することができる（非特許文献１）。

また、文書内の文同士のつながりの良さは、文書の一貫性を担保するということが知られており（非特許文献２）、この文同士のつながりのよさを加味した要約を作成することで、特に要約の読みやすさ（可読性）の点においてよりよい要約を作成することができる可能性がある。

また、文間のつながりを加味して要約を作成する際には、要約問題は整数計画問題として定式化され、分枝限定法のような汎用的な問題解決アルゴリズムが用いられて解が求められている（非特許文献３）。

平尾努、鈴木潤、磯崎秀樹、「最適化問題としての文書要約」、人工知能学会論文誌、2009年、Vol．24，No．2、p.223-231 横野光、奥村学、「テキスト結束性を考慮したentity gridに基づく局所的一貫性モデル」、自然言語処理、2010年、Vol．17，No．1、p.161-182 西川仁、長谷川隆明、松尾義博、菊井玄一郎、「文の選択と順序付けを同時に行う評価文書要約モデル」、人工知能学会論文誌、2013年、Vol．28，No．1、p.88-99

しかし、非特許文献１記載の方法では、文そのもののスコアを加味することができるものの、文間のスコアを加味することができない。例えば、文１と文２が元の文書において強い関わりを持っている場合は、文１と文２が要約に同時に含まれている際には文１と文２それぞれのスコアとは別にスコアを加算する、というようなことができない。

これに対し、非特許文献２の技術では、文書内の文同士のつながりの良さを考慮している。そして、非特許文献３の技術では、文間のつながりを加味して要約を作成する際に、要約問題は整数計画問題として定式化し、分枝限定法のような汎用的な問題解決アルゴリズムが用いて解を求めているが、問題を整数計画問題とみなして定式化を行うと求解に多大な時間を要するため、速度の点で問題がある。

本発明は、上記の事情を鑑みてなされたもので、計算量を抑制し、かつ、文間のつながりを考慮して、入力文書に対応する要約を生成することができる文書要約装置、方法、及びプログラムを提供することを目的とする。

上記の目的を達成するために本発明に係る文書要約装置は、入力文書から、予め定められた長さの上限Ｋ以下となるように、前記入力文書の各文のうちの少なくとも１つを要約構成文として選択して、前記入力文書に対応する要約を生成する文書要約装置であって、前記入力文書の各文について、前記文の重要度を表すスコアである文スコアを算出し、前記入力文書の各文のペアの各々について、前記ペアの２つの文のつながりの良さを表すスコアである文間スコアを算出する特徴量抽出手段と、前記特徴量抽出手段によって算出された各文の前記文スコア及び各ペアの前記文間スコアに基づいて、予め定められた長さの上限Ｋ以下となり、かつ、前記要約構成文の各々の前記文スコアと、前記要約構成文の各々についての前記要約構成文の直前に出現する要約構成文とのペアの前記文間スコアとに基づいて算出される前記要約スコアが最大となるように、前記入力文書の各文のうちの少なくとも１つを要約構成文として選択する文選択手段と、前記文選択手段によって選択された前記要約構成文を連結して、前記入力文書に対応する要約を生成する生成手段と、を含み、前記文選択手段は、前記予め定められた長さの上限Ｋまでの長さｋの各々について昇順に、前記入力文書の各文ｉについて、前記長さｋから前記文ｉの長さを減算した長さ以下の長さについて既に選択された選択結果を用いて、前記長さｋ以下となり、かつ、前記要約スコアが最大となるように、前記文ｉを含む前記少なくとも１つの文を、前記文ｉ以前に出現する文から選択することを繰り返し、前記繰り返し選択された選択結果に基づいて、前記予め定められた長さの上限Ｋ以下となり、かつ、前記要約スコアが最大となるように、前記入力文書の各文のうちの少なくとも１つを前記要約構成文として選択する。

本発明に係る文書要約方法は、特徴量抽出手段、文選択手段、及び生成手段を含み、入力文書から、予め定められた長さの上限Ｋ以下となるように、前記入力文書の各文のうちの少なくとも１つを要約構成文として選択して、前記入力文書に対応する要約を生成する文書要約装置における文書要約方法であって、前記特徴量抽出手段によって、前記入力文書の各文について、前記文の重要度を表すスコアである文スコアを算出し、前記入力文書の各文のペアの各々について、前記ペアの２つの文のつながりの良さを表すスコアである文間スコアを算出するステップと、前記文選択手段によって、前記特徴量抽出手段によって算出された各文の前記文スコア及び各ペアの前記文間スコアに基づいて、予め定められた長さの上限Ｋ以下となり、かつ、前記要約構成文の各々の前記文スコアと、前記要約構成文の各々についての前記要約構成文の直前に出現する要約構成文とのペアの前記文間スコアとに基づいて算出される前記要約スコアが最大となるように、前記入力文書の各文のうちの少なくとも１つを要約構成文として選択するステップと、前記生成手段によって、前記文選択手段によって選択された前記要約構成文を連結して、前記入力文書に対応する要約を生成するステップと、を含み、前記文選択手段によって選択するステップは、前記予め定められた長さの上限Ｋまでの長さｋの各々について昇順に、前記入力文書の各文ｉについて、前記長さｋから前記文ｉの長さを減算した長さ以下の長さについて既に選択された選択結果を用いて、前記長さｋ以下となり、かつ、前記要約スコアが最大となるように、前記文ｉを含む前記少なくとも１つの文を、前記文ｉ以前に出現する文から選択することを繰り返し、前記繰り返し選択された選択結果に基づいて、前記予め定められた長さの上限Ｋ以下となり、かつ、前記要約スコアが最大となるように、前記入力文書の各文のうちの少なくとも１つを前記要約構成文として選択する。

本発明に係る前記文選択手段は、前記予め定められた長さの上限Ｋまでの長さｋの各々について昇順に、前記入力文書の各文ｉについて、前記文ｉの長さｌ_ｉが、長さｋ以下であれば、前記文ｉより前に出現した文ｊであって、ｊの長さｌ_ｉが、前記長さｋから前記文ｉの長さｌ_ｉを減算した長さ以下となる文ｊの各々のうち、前記文ｊを含み、かつ、前記長さｋ−ｌ_ｉ以下となり、かつ、前記要約スコアが最大となるように、前記文ｊを含む前記少なくとも１つの文を、前記文ｊ以前に出現する文から選択した結果における要約スコアＳ[ｋ−ｌ_ｉ][ｊ]と、文ｉについての前記文スコアｓ_ｉと、文ｉについての文ｊとの前記文間スコアｃ_ｊ，ｉとの和が最大となる文ｊを探索し、探索した文ｊを、文ｉの直前の要約構成文を示すポインタＰ[ｋ][ｉ]に格納し、探索した文ｊについての要約スコアＳ[ｋ−ｌ_ｉ][ｊ]と、前記文スコアｓ_ｉと、前記文間スコアｃ_ｊ，ｉとの和を、前記要約スコアＳ[ｋ−ｌ_ｉ][ｊ]に格納することを繰り返し行うようにすることができる。

本発明に係る前記文選択手段は、前記予め定められた長さの上限Ｋまでの長さｋの各々について昇順に、前記入力文書の各文ｉについて、前記文ｉを含み、かつ、前記長さｋ以下となり、かつ、前記要約スコアが最大となるように、前記文ｉを含む前記少なくとも１つの文を、前記文ｉ以前に出現する文から選択することを繰り返し、前記予め定められた長さの上限Ｋ及び各文ｉについて選択された選択結果に基づいて、前記入力文書の各文ｉのうち、前記上限Ｋ及び前記文ｉについて選択された選択結果における最大の要約スコアと、前記文ｉについての要約の末尾に出現する仮想的な末尾文との前記文間スコアとの和が最大となる文ｉを探索し、探索した文ｉを、最後に出現する要約構成文として選択するようにすることができる。

本発明は、前記入力文書の各文ｉについて、前記文を変形させた複数の変形文を作成する変形文作成手段を更に含み、前記特徴量抽出手段は、前記入力文書の各文と前記変形文作成手段によって作成された複数の変形文の各文とについて、前記文の前記文スコアを算出し、前記各文のペアの各々について、前記ペアの前記文間スコアを算出し、前記文選択手段は、前記特徴量抽出手段によって算出された各文の前記文スコア及び各ペアの前記文間スコアに基づいて、前記予め定められた長さの上限Ｋ以下となり、かつ、前記要約スコアが最大となるように、前記入力文書の各文及び各変形文のうちの少なくとも１つを要約構成文として選択するようにすることができる。

本発明に係るプログラムは、コンピュータを、本発明に係る文書要約装置の各手段として機能させるためのプログラムである。

予め定められた長さの上限Ｋまでの長さｋの各々について昇順に、入力文書の各文ｉについて、長さｋから文ｉの長さを減算した長さ以下の長さについて既に選択された選択結果を用いて、長さｋ以下となり、かつ、文スコアと文間スコアとに基づいて算出される要約スコアが最大となるように、文ｉを含む少なくとも１つの文を、文ｉ以前に出現する文から選択することを繰り返し、繰り返し選択された選択結果に基づいて、予め定められた長さの上限Ｋ以下となり、かつ、要約スコアが最大となるように、入力文書の各文のうちの少なくとも１つを要約構成文として選択することにより、計算量を抑制し、かつ、文間のつながりを考慮して、入力文書に対応する要約を生成することができる、という効果が得られる。

本発明の第１の実施の形態に係る文書要約装置の一構成例を示すブロック図である。 本発明の実施の形態に係る文書要約装置に入力される文書データの一例を示す図である。 本実施の形態に係る文書要約装置で用いる内容性パラメータの一例を示す図である。 本実施の形態に係る文書要約装置で用いる可読性パラメータの一例を示す図である。 本発明の実施の形態に係る文書要約装置における文選択のアルゴリズムを示す図である。 本発明の実施の形態に係る文書要約装置における文書要約処理ルーチンの内容を示すフローチャートである。 本発明の実施の形態に係る文書要約装置における文選択処理ルーチンの前半部分の内容を示すフローチャートである。 本発明の実施の形態に係る文書要約装置における文選択処理ルーチンの後半部分の内容を示すフローチャートである。 本発明の第２の実施の形態に係る文書要約装置の一構成例を示すブロック図である。 本発明の第２の実施の形態に係る文書要約装置における、文の短縮文を加味した文選択のアルゴリズムを示す図である。

[第１の実施の形態]
＜システム構成＞
以下、図面を参照して本発明の実施の形態を詳細に説明する。図１は、本発明の実施の形態に係る文書要約装置１０を示すブロック図である。文書要約装置１０は、入力文書から、予め定められた長さの上限以下となるように、入力文書の各文のうちの少なくとも１つを要約構成文として選択して、入力文書に対応する要約を生成する。文書要約装置１０は、ＣＰＵと、ＲＡＭと、後述する文書要約処理ルーチンを実行するためのプログラムを記憶したＲＯＭとを備えたコンピュータで構成され、機能的には次に示すように構成されている。

本実施の形態に係る文書要約装置１０は、図１に示すように、入力部１と、演算部２と、出力部３とを備えている。

入力部１は、要約対象の入力文書の文書（テキスト）データの入力を受け付ける。
入力部１に入力される文書データの形式の一例を図２に示す。図２では、文書に対して形態素解析が行われた結果を示す文書データが入力として与えられた場合を示している。図２に示す表の各行がそれぞれ一形態素に対応しており、表記、品詞、読み、標準形（標準形がある場合）が表示されている。この例以外にも、係り受け解析の結果など、目的に応じて異なる情報が付与された形態の文書データを入力することができる。

また、入力部１は、予め定められた要約の長さの上限Ｋ（以下、要約長Ｋと称する。）の入力を受け付ける。要約の長さは、文字数、文数、及び単語数の何れかであればよく、本実施の形態では、要約の長さとして、文字数を用いた場合を例に説明する。

演算部２は、内容性パラメータデータベース２０と、可読性パラメータデータベース２１と、特徴量抽出部２２と、文選択部２３、生成部２４とを備えている。

内容性パラメータデータベース２０には、要約の内容に関する内容性パラメータが格納されている。要約の内容に関する内容性パラメータの一例を図３に示す。例えば、入力された文書データの各単語に対して重みを付与する場合は、図３に示すように、単語に対する重みが、内容性パラメータとして、内容性パラメータデータベース２０に格納されている。

可読性パラメータデータベース２１には、要約の可読性に関する可読性パラメータが格納されている。可読性パラメータの一例を図４に示す。例えば、図４に示すように、可読性に関する特徴量（文間の類似度に関する特徴量、文の言語尤度に関する特徴量、及び上記非特許文献２に示すエンティティ・グリッドに関する特徴量）の各々に対する重みを、可読性パラメータとすることができる。文間の類似度に関する特徴量、文の言語尤度に関する特徴量、及びエンティティ・グリッドに関する特徴量は、後述する特徴量抽出部２２によって、入力された文書データから抽出される。

特徴量抽出部２２は、入力部１により入力された文書データの各文について、形態素解析結果に基づいて、当該文の要約としての重要度を表すスコアである文スコアを計算する。具体的には、特徴量抽出部２２は、入力された文書データの文ｙ_ｉの形態素解析結果から得られる各単語と、内容性パラメータデータベース２０に格納されている各単語に対する重みとに基づいて、関数ｆ（ｙ_ｉ）に従って、文ｙ_ｉの文スコアを計算する。関数ｆ（ｙ_ｉ）は文ｙ_ｉの要約としての重要度を表すスコアである文スコアを計算する関数であり、例えば、出現する単語の出現頻度に、当該単語に対する重みを乗算した値を、出現する単語毎に足し合わせた値を、文スコアとして計算する。
なお、関数ｆ（ｙ_ｉ）は、文を単語の集合として表現しｔｆ−ｉｄｆなどの尺度を用いて文スコアを計算してもよいし、あるいは参照要約を教師事例とし、機械学習などの手法を用いて文スコアを計算してもよい。

また、特徴量抽出部２２は、入力部１により入力された文書データの文のペアの各々について、形態素解析結果に基づいて、当該ペアの文間の類似度に関する特徴量、当該ペアの文の言語尤度に関する特徴量、及び当該ペアの文のエンティティ・グリッドに関する特徴量を各々抽出する。

ここで、文間の類似度とは、文書を構成する複数の文同士の類似度である。本実施の形態では、文間の類似度の和、及び文間の類似度の平均値を、文間の類似度に関する特徴量として、各々抽出する。

言語尤度とは、ある単語列の文としての尤もらしさを表す数値である。本実施の形態では、ペアの文の言語尤度の和と、ペアの文の言語尤度の平均値とを、ペアの文の言語尤度に関する特徴量として、各々抽出する。

エンティティ・グリッドとは、文中に出現する名詞句の構文役割の変遷を利用して、文書の可読性を評価する方法である（上記非特許文献２を参照）。本実施の形態では、ペアの文のエンティティ・グリッドを表わすベクトルの各要素についての和を、ペアの文のエンティティ・グリッドに関する特徴量として各々抽出する。なお、上記図４に示す「ＳＳ」「ＳＯ」「ＳＸ」「Ｓ−」「ＯＳ」「ＯＯ」「ＯＸ」は、エンティティ・グリッドを表わすベクトルの各要素を示している。

上記の特徴量は一例であって、上に述べた文間の類似度に関する特徴量、言語尤度に関する特徴量、エンティティ・グリッドに関する特徴量以外の、他の任意の特徴量を抽出してもよい。

そして、特徴量抽出部２２は、入力された文書データの文ｉと文ｊのペアの各々について、抽出された、文間の類似度に関する特徴量、文の言語尤度に関する特徴量、及びエンティティ・グリッドに関する特徴量と、可読性パラメータデータベース２１に格納されている可読性に関する特徴量の各々に対する重みとに基づいて、関数ｇ（ｉ,ｊ）に従って、文ｉと文ｊとの文間スコアを計算する。関数ｇ（ｉ,ｊ）は文ｉと文ｊとのつながりの良さを表すスコアである文間スコアを計算する関数である。

文選択部２３は、特徴量抽出部２２によって計算された各文の文スコア、及び各ペアの文間スコアに基づいて、要約長の上限Ｋ以下であって、要約スコアが最大となるように、入力された文書データの各文から、要約構成文を選択する。

ｍ個の文からなる要約ｙ＾＝ｙ_１，ｙ_２，…，ｙ_ｍに対する要約スコアは、関数ｆ（ｙ_ｉ）によって計算される文スコアと、関数ｇ（ｙ_ｉ−１, ｙ_ｉ）によって計算される文間スコアとに基づいて、以下の（１）式に従って計算される。

ここで、λはｆとｇとの重みを調整する予め定められたパラメータである。
上記（１）式で計算される要約スコアを、目的関数として、以下の（２）式に示すように、要約長Ｋと、入力された文書データを構成するｎ個の文が与えられたとき、ｍ個の文からなる要約ｙ＾＝ｙ_１，ｙ_２，…，ｙ_ｍのうち、要約長Ｋ以内で要約スコアが最大となるものを要約ｙ＾^＊として、要約ｙ＾^＊の要約構成文を選択する。なお、記号の後ろに付された「＾」は、当該記号が行列または多次元配列またはベクトルであることを示す。

次に、文選択部２３が要約構成文を選択する際の繰り返し処理について以下で説明する。ここでは、繰り返し処理のアルゴリズムに即して説明するために、便宜上、入力文書データの各文を文ｉ、文ｉの文スコアをｓ_ｉ、文ｉの長さをｌ_ｉ、文ｉと文ｊとの文間スコアをｃ_ｉ，ｊとして説明する。また、文ｉの要約の先頭文としての良さを表現する文間スコアをｃ_０，ｉ、要約の末尾文としての良さを表現する文間スコアをｃ_{ｉ，ｎ+１}とする。

文選択部２３は、要約長Ｋまでの長さｋ＝１，・・・，Ｋの各々について昇順に、入力文書データの各文ｉについて、長さｋから文ｉの長さｌ_ｉを減算した長さｋ−ｌ_ｉ以下の長さについて既に選択された選択結果を用いて、長さｋ以下となり、かつ、要約スコアが最大となるように、文ｉを含む少なくとも１つの文を、文ｉ以前に出現する文から選択することを繰り返す。そして、文選択部２３は要約長Ｋについて選択された選択結果に基づいて、要約長Ｋ以下となり、かつ、要約スコアが最大となるように、入力文書データの各文のうちの少なくとも１つを要約構成文として選択する。

具体的には、文選択部２３は、上記（２）式の最適解、すなわちｎ個の文の中から要約長Ｋを満たし、かつ、上記（２）式に示す目的関数を最大化する文の列を探索する。探索は、図５に示すアルゴリズムで行うことができる。アルゴリズムの基本的な手続きは、２次元の表Ｂ＾、Ｐ＾、Ｓ＾を埋めていくことで、最大要約長がｋの時点の要約スコアの最大値を求め、これを利用してｋ＋１の時点での要約スコアの最大値を求める。最大要約長が１のときの要約スコアの最大値は要約の長さが０のときの要約スコア（このときのスコアは０）から求めることができ、要約長Ｋのときの最大値はＫ−１時点の要約スコアの最大値を利用して求めることができる。ベクトルｘ＾の要素ｘ_ｉは、文ｉが要約構成文として選択さされた際に１となり、要約構成文として選択されない際に０となる決定変数とする。ベクトルｘ＾が得られたら、ｘ＾を構成する決定変数のうち、１となっているものから文番号が小さいものを順にｙ＾に加え、最後にｙ＾の先頭に要約の先頭を表す仮想的な文を、ｙ＾の末尾に要約の末尾を表す仮想的な文を追加することでｙ＾を得ることができる。

また、上記（１）式に従って要約ｙ＾の要約スコアを計算する際には、ｙ_１の要約の先頭としてのよさ、ｙ_ｍの要約の末尾としてのよさを測るために、便宜的に要約の先頭を表す仮想的な文ｙ_０および末尾を表す仮想的な文ｙ_ｍ＋１を導入し、文ｙ_０と文ｙ_１のつながりのよさ、文ｙ_ｍと文ｙ_ｍ＋１のつながりのよさを計算する。

上記図５に示すアルゴリズム全体は、大きく３つに分かれる。
１行目から７行目にかけて表Ｂ＾、Ｐ＾、Ｓ＾を初期化する。Ｂ［ｋ］［ｉ］は最大要約長がｋの時点で文ｉを要約に含めることができるか否かを記録する２値変数である。Ｐ［ｋ］［ｉ］は最大要約長がｋの時点で文ｉを要約に含めるとき、当該要約において文ｉの前に存在する文の番号を記録するポインタである。文ｉが先頭であるときは０を記録する。Ｓ［ｋ］［ｉ］は最大要約長がｋの時点で文ｉを要約に含めたときの要約スコアの最大値を記録する。

８行目から２９行目にかけて、表Ｂ＾、Ｐ＾、Ｓ＾を埋めていく。最大要約長がｋの時点で文ｉを要約に含めることができればＢ［ｋ］［ｉ］に１を記録し、Ｓ［ｋ］［ｉ］に文ｉのスコアを記録する（１０行目から１３行目）。

１４行目から２０行目にかけて、文ｉを要約に加える際、その前に存在する文との文間スコアを加味して要約スコアを計算し、最大要約長がｋの時点で文ｉを要約に加える際に達成しうる最大の要約スコアをＳ［ｋ］［ｉ］に記録し、Ｐ［ｋ］［ｉ］に文ｉの前に存在する文へのポインタを記録する。
すなわち、文選択部２３は、要約長Ｋまでの長さｋ＝１，・・・，Ｋの各々について昇順に、入力文書データの文ｉ＝１，・・・，ｎの各々について、以下の処理を繰り返す。
文ｉの長さｌ_ｉが長さｋ以下であれば、文ｉより前に出現した文ｊ（ｊ＜ｉ）であって、ｊの長さｌ_ｉが長さｋ−ｌ_ｉ以下となる文ｊ（Ｂ［ｋ−ｌ_ｉ］［ｊ］＝１）の各々のうち、要約スコアＳ[ｋ−ｌ_ｉ][ｊ]と、文スコアｓ_ｉと、文間スコアｃ_ｊ，ｉとの和が最大となる文ｊを探索する。そして、探索した文ｊを、要約において文ｉの直前の文となる文を示すポインタＰ[ｋ][ｉ]に格納し、探索した文ｊについての要約スコアＳ[ｋ−ｌ_ｉ][ｊ]と、文スコアｓ_ｉと、文間スコアｃ_ｊ，ｉとの和を、要約スコアＳ[ｋ−ｌ_ｉ][ｊ]に格納する。

２４行目から２９行目にかけて、要約の末尾に加える仮想的な文とのつながりの良さを計算する。
すなわち、文選択部２３は、要約長Ｋ及び各文ｉについて選択された選択結果に基づいて、入力文書データの各文ｉのうち、要約スコアＳ[ｋ][ｉ]と、仮想的な末尾文との文間スコアｃ_{ｉ，ｎ＋１}との和が最大となる文ｉを探索し、探索した文ｉを、仮想的な末尾文ｎ＋１の直前の文（すわなち、最後に出現する要約構成文）となる文を示すポインタＰ[Ｋ＋１][ｎ＋１]に格納する。

３０行目から３９行目にかけて、要約の末尾からポインタを要約の先方に向けて辿り、要約に含まれる文ｉに対応する決定変数ｘ_ｉを１としていくことで、要約スコアが最大の要約を復元する。

生成部２４は、文選択部２３によって選択された要約構成文（文選択部２３によって出力されたｘ＾のうちｘ_ｉ＝１となる各文ｉ）を連結して、入力文書データに対応する要約を生成する。

出力部３は、生成部２４によって生成された、入力された文書データに対応する要約を出力する。

＜文書要約装置の作用＞
次に、本実施の形態に係る文書要約装置１０の作用について説明する。形態素解析済みの要約対象の文書の文書データと、要約長Ｋとが文書要約装置１０に入力されると、文書要約装置１０によって、図６に示す文書要約処理ルーチンが実行される。

まず、ステップＳ１００において、入力部１により入力された要約対象の文書の文書データを受け付ける。また、入力部１により要約長Ｋを受け付ける。

次に、ステップＳ１０２において、特徴量抽出部２２によって、内容性パラメータデータベース２０に格納されている内容性パラメータと、可読性パラメータデータベース２１に格納されている可読性パラメータとを読み込む。

ステップＳ１０４において、特徴量抽出部２２によって、上記ステップＳ１００で受け付けた文書データの各文について、上記ステップＳ１０２で読み込んだ内容性パラメータと、当該文の形態素解析結果とに基づいて、当該文の文スコアを算出する。また、特徴量抽出部２２によって、上記ステップＳ１００で受け付けた文書データの文の各ペアについて、上記ステップＳ１０２で読み込んだ可読性パラメータと、当該ペアの各文の形態素解析結果とに基づいて、当該ペアの文間スコアを算出する。

ステップＳ１０６において、文選択部２３によって、上記ステップＳ１０４で算出された文スコア及び文間スコアに基づいて、文選択処理が行われる。ステップＳ１０６は、図７及び図８に示す文選択処理ルーチンによって実現される。

＜文選択処理ルーチン＞

まず、ステップＳ２００において、全ての時点ｋ及び全ての文ｉ（文番号ｉ）について、Ｂ［ｋ］［ｉ］、Ｐ［ｋ］［ｉ］、Ｓ［ｋ］［ｉ］を初期化する。

次に、ステップＳ２０２において、ｋに１を代入する。

ステップＳ２０４において、ｉに１を代入する。

ステップＳ２０６において、文ｉの長さｌ_ｉがｋ以下であるか否かを判定する。そして、文ｉの長さｌ_ｉがｋ以下である場合には、ステップＳ２０８へ進む。一方、文ｉの長さｌ_ｉがｋより大きい場合には、ステップＳ２２４へ進む。

ステップＳ２０８において、Ｂ［ｋ］［ｉ］に１を代入する。また、ステップＳ２０８において、Ｓ［ｋ］［ｉ］に、上記ステップＳ１０４で算出された文ｉの文スコアｓ_ｉを代入する。

ステップＳ２１０において、ｊに０を代入する。

ステップＳ２１２において、ｊがｉより小さいか否かを判定する。そして、ｊがｉより小さい場合には、ステップＳ２１４へ進む。一方、ｊがｉ以上である場合には、ステップＳ２２４へ進む。

ステップＳ２１４において、ｊが０であるか否かを判定する。そして、ｊが０である場合には、ステップＳ２１６へ進む。一方、ｊが０でない場合には、ステップＳ２１８へ進む。

ステップＳ２１６において、Ｂ［ｋ−ｌ_ｉ］［ｊ］に１を代入する。

ステップＳ２１８において、Ｂ［ｋ］［ｉ］＝１であって、かつＳ[ｋ−ｌ_ｉ][ｊ]＋ｓ_ｉ＋ｃ_ｊ，ｉ＞Ｓ[ｋ][ｉ]であるとの条件を満たすか否かを判定する。そして、当該条件を満たす場合には、Ｓ[ｋ−ｌ_ｉ][ｊ]＋ｓ_ｉ＋ｃ_ｊ，ｉが、最後に文ｉを含む要約の最大要約長がｋの時点で最大スコアであると判断し、ステップＳ２２０へ進む。一方、当該条件を満たさない場合には、ステップＳ２２２において、ｊをインクリメントして、上記ステップＳ２１２へ戻る。なお、ｃ_ｊ，ｉは、上記ステップＳ１０２で読み込まれた可読性パラメータと上記ステップＳ１０４で抽出された特徴量に基づき算出された、文ｉと文ｊとの文間スコアである。

ステップＳ２２０において、Ｐ［ｋ］［ｉ］にｊを代入して、要約における文ｋの直前の文を示すポインタを更新する。また、ステップＳ２２０において、Ｓ[ｋ][ｉ]にＳ[ｋ−ｌ_ｉ][ｊ]＋ｓ_ｉ＋ｃ_ｊ，ｉの値を代入して、要約スコアＳ[ｋ][ｉ]を更新する。

ステップＳ２２２において、ｊをインクリメントして、上記ステップＳ２１２へ戻る。

ステップＳ２２４において、ｉ＝ｎであるか否かを判定する。ｎは上記ステップＳ１００で入力を受け付けた文書データの文の総数である。そして、ｉ＝ｎである場合には、ステップＳ２２８へ進む。一方、ｉ＝ｎでない場合には、ステップＳ２２６において、ｉをインクリメントして、上記ステップＳ２０６へ戻る。

ステップＳ２２８において、ｋ＝Ｋであるか否かを判定する。Ｋは上記ステップＳ１００で入力を受け付けた要約長である。そして、ｋ＝Ｋである場合には、図８のステップＳ３００へ進む。一方、ｋ＝Ｋでない場合には、ステップＳ２３０において、ｋをインクリメントして、上記ステップＳ２０４へ戻る。

ステップＳ３００において、Ｓ[Ｋ＋１][ｎ＋１]に０を代入する。

ステップＳ３０２において、ｉに１を代入する。

ステップＳ３０４において、Ｓ[Ｋ][ｉ]＋ｃ_{ｉ，ｎ＋１}≧Ｓ[Ｋ＋１][ｎ＋１]との条件を満たすか否かを判定する。そして、当該条件を満たす場合には、Ｓ[Ｋ][ｉ]＋ｃ_{ｉ，ｎ＋１}が、仮想的な末尾文ｎ＋１を含む要約の最大要約長がＫ＋１の時点で最大スコアであると判断し、ステップＳ３０６へ進む。一方、当該条件を満たさない場合には、ステップＳ３０８へ進む。

ステップＳ３０６において、Ｐ[Ｋ＋１][ｎ＋１]にｉを代入して、要約における仮想的な末尾文ｎ＋１の直前の文を示すポインタを更新する。また、ステップＳ３０６において、Ｓ[Ｋ＋１][ｎ＋１]にＳ[Ｋ][ｉ]＋ｃ_{ｉ，ｎ＋１}を代入して、要約スコアＳ[Ｋ＋１][ｎ＋１]を更新する。

ステップＳ３０８において、ｉ＝ｎであるか否かを判定する。そして、ｉ＝ｎである場合には、ステップＳ３１２へ進む。一方、ｉ＝ｎでない場合には、ステップＳ３１０において、ｉをインクリメントして、上記ステップＳ３０４へ戻る。

ステップＳ３１２において、ｋにＫ＋１を代入する。そして、ｉにｎ＋１を代入する。そして、ｌ_ｎ＋１に１を代入する。

ステップＳ３１４において、Ｐ[ｋ][ｉ]が０より大きいか否かを判定する。そして、Ｐ[ｋ][ｉ]が０より大きい場合には、ステップＳ３１６へ進む。一方、Ｐ[ｋ][ｉ]が０以下の場合には、文ｉが要約における先頭の文であると判断し、ステップＳ３２２へ進む。

ステップＳ３１６において、仮変数ａにｋ−ｌ_ｉを代入する。そして、仮変数ｂにＰ[ｋ][ｉ]を代入する。

ステップＳ３１８において、ｘ_ｉに１を代入する。ここで、ｘ_ｉは、文ｉが要約構成文として含まれる際に１となる決定変数である。

ステップＳ３２０において、ｋに上記ステップＳ３１６で得られたａを代入する。そして、ｉに上記ステップＳ３１６で得られたｂを代入する。

ステップＳ３２２において、上記ステップＳ３１８で得られたｘ_ｉを出力して、文選択処理ルーチンを終了する。

次に、文書要約処理ルーチンに戻り、ステップＳ１０８において、出力部３によって、上記ステップＳ１０６で出力されたｘ_ｉに基づいて、ｘ_ｉのうち１となっているものを要約構成文として選択し、選択された要約構成文を文番号ｉが小さいものから順に連結する。そして、連結された文書の先頭に要約の先頭を表す仮想的な文を、末尾に要約の末尾を表す仮想的な文を連結し、要約ｙ＾を生成する。

ステップＳ１１０において、出力部３によって、上記ステップＳ１０８で生成された要約ｙ＾を出力して、文書要約処理ルーチンを終了する。

以上説明したように、本実施の形態によれば、要約長Ｋまでの長さｋの各々について昇順に、入力文書データの各文ｉについて、長さｋから文ｉの長さを減算した長さ以下の長さについて既に選択された選択結果を用いて、長さｋ以下となり、かつ、文スコアと文間スコアとに基づいて算出される要約スコアが最大となるように、文ｉを含む少なくとも１つの文を、文ｉ以前に出現する文から選択することを繰り返し、繰り返し選択された選択結果に基づいて、要約長Ｋ以下となり、かつ、要約スコアが最大となるように、入力文書データの各文のうちの少なくとも１つを要約構成文として選択することにより、計算量を抑制し、かつ、文間のつながりを考慮して、入力文書データに対応する要約を生成することができる。

また、要約対象の文書に含まれる文のうち要約にふさわしいものを単に選択するのではなく、前後の文とのつながりも加味しつつ動的計画法を用いることにより、より可読性に優れた要約を素早く作成することが可能となる。

また、要約対象の文書が与えられた際に、要約中において隣接する文の文間スコアを加味しつつ、高速に最適解を求め、よりよい要約を生成することができる。

また、文書の要約を生成する際に、目的関数に可読性に関するパラメータを導入して可読性に関わる要素が導入された目的関数を最適化し、前後の文脈を加味できるナップサック問題を解くことにより、文脈を加味しつつ、入力文書に対応する要約を高速に得ることができる。

[第２の実施の形態]
次に、第２の実施の形態について説明する。第２の実施の形態は、文ｉだけではなく、文短縮器などを用いて文ｉの変形文の集合を作成し、文ｉを選択する際には文ｉの変形文の集合も選択の候補に加え、ｋ時点において最大の要約スコアを達成するものを選び出すことで、変形文も利用して要約を作成する点が、第１の実施の形態と異なる。なお、第２の実施の形態に係る文書要約装置１１０について、第１の実施の形態に係る文書要約装置１０と同一の構成については、同一符号を付して、詳細な説明を省略する。

第２の実施の形態に係る文書要約装置１１０は、第１の実施の形態に係る文書要約装置１０と同様に、ＣＰＵと、ＲＡＭと、ＲＯＭとを備えたコンピュータで構成されている。このコンピュータは、機能的には、図９に示すように、入力部１と、演算部４と、出力部３とを含んだ構成で表すことができる。

演算部４は、変形文作成部４０と、内容性パラメータデータベース２０と、可読性パラメータデータベース２１と、特徴量抽出部２２と、文選択部２３とを備えている。

変形文作成部４０は、入力文書データの各文ｉについて、文短縮器を用いて、当該文を短縮させた複数の短縮文を作成する。なお、短縮文が、変形文の一例である。

特徴量抽出部２２は、入力文書データの各文、及び変形文作成部４０によって作成された各文についての各短縮について、形態素解析結果及び内容性パラメータに基づいて、第１の実施の形態と同様に、文スコアを算出する。また、特徴量抽出部２２は、入力文書データの各文及び変形文作成部４０によって作成された各短縮文を組み合わせたペアの各々について、形態素解析結果及び可読性パラメータに基づいて、第１の実施の形態と同様に、文間スコアを算出する。

文選択部２３は、特徴量抽出部２２によって算出された各文の文スコア及び各ペアの文間スコアに基づいて、要約長Ｋ以下となり、かつ、要約スコアが最大となるように、入力文書データの各文及び各短縮文のうちの少なくとも１つを要約構成文として選択する。
すなわち、文選択部２３は、文ｉを選択する際には文ｉの短縮文の集合も選択の候補に加え、ｋ時点において最大の要約スコアを達成するものを選び出す。

具体的には、文選択部２３は、図１０のアルゴリズムに示すように、文ｉの文の長さを文ｌ_ｉ，１に格納し、文ｉの１番目の短縮文からｍ‐１番目の短縮文の長さを、ｌ_ｉ，２からｌ_ｉ，ｍに各々格納する。同様に、文ｉの文スコアはｓ_ｉ，１に、文ｉの各短縮文ｈのスコアについてはｓ_ｉ，２からｓ_ｉ，ｍに各々格納する。ｃ_{ｊ，ｖ，ｉ，ｈ}は、文ｊ又はその短縮文ｖと、文ｉ又はその短縮文ｈとのつながりの良さを表す文間スコアである。上記図１０はこのような文の短縮文を加味した場合の文選択アルゴリズムの一例である。上記図５と異なるのは、１０行目にあるように、ある文がある長さにおいて要約に入り得るかを検査する際に、文の短縮文も候補として加味する点にある。１２行目では、ある時点で文又は短縮文を要約に採用し得るか検査したのち、どの文又は短縮文が採用されたかをＢ［ｋ］［ｉ］に格納しておく。２１行目では文又は短縮文同士の文間スコアｃ_{ｊ，ｖ，ｉ，ｈ}を考慮する。最後に要約を復元する際には、４８行目のように、どの文及び短縮文を要約に採用したかをｘ_ｉに格納する。

なお、第２の実施の形態に係る文書要約装置の他の構成については、第１の実施の形態と同様であるため、説明を省略する。また、第２の実施の形態に係る作用については、上記図６に示す文書要約処理ルーチンの上記ステップＳ１０６において、上記図１０に示すアルゴリズムに従って文選択処理ルーチンが実行され、入力文書データの各文及び各短縮文のうちの少なくとも１つが要約構成文として選択される。そして、選択された要約構成文に基づいて生成された要約ｙ＾が出力される。

以上説明したように、第２の実施の形態に係る文書要約装置によれば、入力文書データの各文ｉについて、当該文を変形させた複数の変形文を作成し、入力文書データの各文について、形態素解析結果に基づいて、当該文の文スコアを算出すると共に、変形文作成部４０によって作成された各文についての複数の変形文について、形態素解析結果に基づいて、変形文の文スコアを算出し、文又は変形文からなる各ペアの文間スコアを算出し、算出した文スコア及び文間スコアに基づいて、要約長Ｋ以下となり、かつ、要約スコアが最大となるように、入力文書データの各文及び各変形文のうちの少なくとも１つを要約構成文として選択することにより、計算量を抑制し、かつ、文間のつながりを考慮して、より短い要約を生成することができる。

なお、本発明は、上述した実施形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。

例えば、内容性パラメータデータベース２０及び可読性パラメータデータベース２１は、外部に設けられ、文書要約装置とネットワークで接続されていてもよい。

また、入力部１に入力される文書は図２に示すような形態素解析済みの文書でなくてもよく、通常の文書の形態であってもよい。この場合には、入力された文書に対して、形態素解析を行ってから、文スコア及び文間スコアを算出すればよい。

上述の文書要約装置は、内部にコンピュータシステムを有しているが、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。

また、本願明細書中において、プログラムが予めインストールされている実施形態として説明したが、当該プログラムを、コンピュータ読み取り可能な記録媒体に格納して提供することも可能である。

１ 入力部
２、４ 演算部
３ 出力部
２０ 内容性パラメータデータベース
２１ 可読性パラメータデータベース
２２ 特徴量抽出部
２３ 文選択部
２４ 生成部
４０ 変形文作成部
１０、１１０ 文書要約装置

Claims (6)

1. 入力文書から、予め定められた長さの上限Ｋ以下となるように、前記入力文書の各文のうちの少なくとも１つを要約構成文として選択して、前記入力文書に対応する要約を生成する文書要約装置であって、
   前記入力文書の各文について、前記文の重要度を表すスコアである文スコアを算出し、前記入力文書の各文のペアの各々について、前記ペアの２つの文のつながりの良さを表すスコアである文間スコアを算出する特徴量抽出手段と、
   前記特徴量抽出手段によって算出された各文の前記文スコア及び各ペアの前記文間スコアに基づいて、予め定められた長さの上限Ｋ以下となり、かつ、前記要約構成文の各々の前記文スコアと、前記要約構成文の各々についての前記要約構成文の直前に出現する要約構成文とのペアの前記文間スコアとに基づいて算出される前記要約スコアが最大となるように、前記入力文書の各文のうちの少なくとも１つを要約構成文として選択する文選択手段と、
   前記文選択手段によって選択された前記要約構成文を連結して、前記入力文書に対応する要約を生成する生成手段と、
   を含み、
   前記文選択手段は、
   前記予め定められた長さの上限Ｋまでの長さｋの各々について昇順に、前記入力文書の各文ｉについて、前記長さｋから前記文ｉの長さを減算した長さ以下の長さについて既に選択された選択結果を用いて、前記長さｋ以下となり、かつ、前記要約スコアが最大となるように、前記文ｉを含む前記少なくとも１つの文を、前記文ｉ以前に出現する文から選択することを繰り返し、
   前記繰り返し選択された選択結果に基づいて、前記予め定められた長さの上限Ｋ以下となり、かつ、前記要約スコアが最大となるように、前記入力文書の各文のうちの少なくとも１つを前記要約構成文として選択する
   文書要約装置。
2. 前記文選択手段は、前記予め定められた長さの上限Ｋまでの長さｋの各々について昇順に、前記入力文書の各文ｉについて、前記文ｉの長さｌ_ｉが、長さｋ以下であれば、前記文ｉより前に出現した文ｊであって、ｊの長さｌ_ｉが、前記長さｋから前記文ｉの長さｌ_ｉを減算した長さ以下となる文ｊの各々のうち、前記文ｊを含み、かつ、前記長さｋ−ｌ_ｉ以下となり、かつ、前記要約スコアが最大となるように、前記文ｊを含む前記少なくとも１つの文を、前記文ｊ以前に出現する文から選択した結果における要約スコアＳ[ｋ−ｌ_ｉ][ｊ]と、文ｉについての前記文スコアｓ_ｉと、文ｉについての文ｊとの前記文間スコアｃ_ｊ，ｉとの和が最大となる文ｊを探索し、探索した文ｊを、文ｉの直前の要約構成文を示すポインタＰ[ｋ][ｉ]に格納し、探索した文ｊについての要約スコアＳ[ｋ−ｌ_ｉ][ｊ]と、前記文スコアｓ_ｉと、前記文間スコアｃ_ｊ，ｉとの和を、前記要約スコアＳ[ｋ−ｌ_ｉ][ｊ]に格納することを繰り返し行う請求項１記載の文書要約装置。
3. 前記文選択手段は、
   前記予め定められた長さの上限Ｋまでの長さｋの各々について昇順に、前記入力文書の各文ｉについて、前記文ｉを含み、かつ、前記長さｋ以下となり、かつ、前記要約スコアが最大となるように、前記文ｉを含む前記少なくとも１つの文を、前記文ｉ以前に出現する文から選択することを繰り返し、
   前記予め定められた長さの上限Ｋ及び各文ｉについて選択された選択結果に基づいて、前記入力文書の各文ｉのうち、前記上限Ｋ及び前記文ｉについて選択された選択結果における最大の要約スコアと、前記文ｉについての要約の末尾に出現する仮想的な末尾文との前記文間スコアとの和が最大となる文ｉを探索し、探索した文ｉを、最後に出現する要約構成文として選択する請求項１又は２の文書要約装置。
4. 前記入力文書の各文ｉについて、前記文を変形させた複数の変形文を作成する変形文作成手段を更に含み、
   前記特徴量抽出手段は、前記入力文書の各文と前記変形文作成手段によって作成された複数の変形文の各文とについて、前記文の前記文スコアを算出し、前記各文のペアの各々について、前記ペアの前記文間スコアを算出し、
   前記文選択手段は、前記特徴量抽出手段によって算出された各文の前記文スコア及び各ペアの前記文間スコアに基づいて、前記予め定められた長さの上限Ｋ以下となり、かつ、前記要約スコアが最大となるように、前記入力文書の各文及び各変形文のうちの少なくとも１つを要約構成文として選択する請求項１〜請求項３の何れか１項記載の文書要約装置。
5. 特徴量抽出手段、文選択手段、及び生成手段を含み、入力文書から、予め定められた長さの上限Ｋ以下となるように、前記入力文書の各文のうちの少なくとも１つを要約構成文として選択して、前記入力文書に対応する要約を生成する文書要約装置における文書要約方法であって、
   前記特徴量抽出手段によって、前記入力文書の各文について、前記文の重要度を表すスコアである文スコアを算出し、前記入力文書の各文のペアの各々について、前記ペアの２つの文のつながりの良さを表すスコアである文間スコアを算出するステップと、
   前記文選択手段によって、前記特徴量抽出手段によって算出された各文の前記文スコア及び各ペアの前記文間スコアに基づいて、予め定められた長さの上限Ｋ以下となり、かつ、前記要約構成文の各々の前記文スコアと、前記要約構成文の各々についての前記要約構成文の直前に出現する要約構成文とのペアの前記文間スコアとに基づいて算出される前記要約スコアが最大となるように、前記入力文書の各文のうちの少なくとも１つを要約構成文として選択するステップと、
   前記生成手段によって、前記文選択手段によって選択された前記要約構成文を連結して、前記入力文書に対応する要約を生成するステップと、
   を含み、
   前記文選択手段によって選択するステップは、
   前記予め定められた長さの上限Ｋまでの長さｋの各々について昇順に、前記入力文書の各文ｉについて、前記長さｋから前記文ｉの長さを減算した長さ以下の長さについて既に選択された選択結果を用いて、前記長さｋ以下となり、かつ、前記要約スコアが最大となるように、前記文ｉを含む前記少なくとも１つの文を、前記文ｉ以前に出現する文から選択することを繰り返し、
   前記繰り返し選択された選択結果に基づいて、前記予め定められた長さの上限Ｋ以下となり、かつ、前記要約スコアが最大となるように、前記入力文書の各文のうちの少なくとも１つを前記要約構成文として選択する
   文書要約方法。
6. コンピュータを、請求項１〜請求項４の何れか１項記載の文書要約装置の各手段として機能させるためのプログラム。

Images