JP2004152041A - 重要語句抽出装置、プログラムおよび記録媒体 - Google Patents
重要語句抽出装置、プログラムおよび記録媒体 Download PDFInfo
- Publication number
- JP2004152041A JP2004152041A JP2002316986A JP2002316986A JP2004152041A JP 2004152041 A JP2004152041 A JP 2004152041A JP 2002316986 A JP2002316986 A JP 2002316986A JP 2002316986 A JP2002316986 A JP 2002316986A JP 2004152041 A JP2004152041 A JP 2004152041A
- Authority
- JP
- Japan
- Prior art keywords
- pattern
- word
- extraction
- keyword
- extracted
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
【課題】文書中から従来の頻度により抽出するキーワード以外に、特定の意味カテゴリの表現のキーワードを抽出することで、出現頻度が高くなくても重要な概念を表す語句やユーザの希望する概念に関する語句の抽出を可能にする重要語句抽出装置を提供する。
【解決手段】この重要語句抽出装置は、まず、文書データを形態素解析して品詞情報つきの単語列に分割し、この形態素解析した結果中の単語および単語列の頻度に基づき単語および単語列をキーワード候補として抽出し、また、意味カテゴリを付加したパタン辞書を参照して、形態素解析した結果中から特定の語の並びを抽出する。これらのキーワード候補とパタン抽出した結果を用いて重要語句を判定する。この判定結果をもとに、抽出したキーワードと意味カテゴリとを出力する。
【選択図】 図１
【解決手段】この重要語句抽出装置は、まず、文書データを形態素解析して品詞情報つきの単語列に分割し、この形態素解析した結果中の単語および単語列の頻度に基づき単語および単語列をキーワード候補として抽出し、また、意味カテゴリを付加したパタン辞書を参照して、形態素解析した結果中から特定の語の並びを抽出する。これらのキーワード候補とパタン抽出した結果を用いて重要語句を判定する。この判定結果をもとに、抽出したキーワードと意味カテゴリとを出力する。
【選択図】 図１
Description
【０００１】
【発明の属する技術分野】
本発明は、対象となる文書の重要部分を特定することができる重要語句を抽出する重要語句抽出装置、プログラムおよび記憶媒体に関する。
【０００２】
【従来の技術】
文書中から文書の主題を表すキーワードを抽出することは、文書の検索や分類のために重要な技術である。このため文書の特徴を表すキーワードを付与する技術が従来から研究されている。
このキーワード付けは、近年、インターネットの普及などによって、大量の文書データを扱う必要が生じてきており、これらの中から自分が必要な文書を見つけ出す、所謂、情報検索では重要な技術となっている。
また、文書データからキーワードを抽出すること自体は、情報検索での自動インデキシングを目的として古くから研究開発されているものである。
【０００３】
通常、文書中からキーワードを抽出するためには、形態素解析技術により、単語分割し、品詞付けを行い、そのうちの出現頻度の高い単語についてそのキーワードとするか否かを評価している。
【０００４】
このキーワードの抽出方法には、「繰り返し出現する語句が重要な概念を表現している」という仮定から、文書中に出現した頻度を使って行なう方法がある（非特許文献１参照）。
しかし、この場合、頻度の高くない語はキーワードとして抽出されないという問題がある。
【０００５】
これに対して特許文献１の「キーワード抽出装置」では、企業名や団体名でよく使われる文字（例えば、「（株）」等）に着目し、これを含む語句をキーワードとして抽出する方法を提案している。
しかしこの場合でも、あらかじめ企業名、団体名に限っているので、
・他のカテゴリ（例えば、製品名、人名等）については抽出できない
・抽出されたキーワードがどのような意味を表す語句であるかわからない
・特定の目的や分類に応じたキーワードの抽出を制御できない
といった問題は残る。
【０００６】
【特許文献１】
特開平５−１２０３４５号公報
【非特許文献１】
徳永健伸著、「情報検索と言語処理」言語と計算５、１９９９年、
ｐ．２６−２７
【０００７】
【発明が解決しようとする課題】
本発明は、上述の実情を考慮してなされたものであって、文書中から従来の頻度により抽出するキーワード以外に、特定の意味カテゴリの表現のキーワードを抽出することで、出現頻度が高くなくても重要な概念を表す語句やユーザの希望する概念に関する語句の抽出を可能にする重要語句抽出装置、重要語句抽出装置の機能を実行するためのプログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体を提供することを目的とする。
【０００８】
【課題を解決するための手段】
上記の課題を解決するために、本発明の請求項１の重要語句抽出装置は、文書データを形態素解析して品詞情報つきの単語列に分割する形態素解析部と、前記形態素解析した結果の中の単語および単語列の頻度に基づき単語および単語列を抽出するキーワード抽出部と、前記形態素解析した結果の中から特定の語の並びを抽出するパタン抽出部と、前記キーワード抽出部と前記パタン抽出部とで抽出した結果を用いて重要語句を判定する重要語句判定部とを備えることを特徴とする。
【０００９】
また、本発明の請求項２は、請求項１に記載の重要語句抽出装置において、特定の語の並びを抽出するためのパタンとそのパタンが属する意味カテゴリおよび抽出方法の指示情報を保持するパタン辞書を有し、前記パタン抽出部は、前記パタン辞書を参照して、前記形態素解析した結果の品詞情報つきの単語列の中から特定の語の並びを抽出することを特徴とする。
【００１０】
また、本発明の請求項３は、請求項１または２に記載の重要語句抽出装置において、前記パタン抽出部は、抽出した特定の語の並びに対して評価値を付加し、前記重要語句判定手段は、この評価値に基づいて重要語句を判定することを特徴とする。
【００１１】
また、本発明の請求項４は、請求項３に記載の重要語句抽出装置において、前記評価値の設定を変更可能する評価値入力部を備え、抽出の目的や利用者の希望によって評価値を変化させて所望するキーワードを抽出できるようにしたことを特徴とする。
【００１２】
また、本発明の請求項５は、請求項２、３または４に記載の重要語句抽出装置において、前記パタン抽出部で合致したパタンの意味カテゴリをキーワードとともに出力する抽出結果出力部を備えることを特徴とする。
【００１３】
また、本発明の請求項６は、請求項２、３または４に記載の重要語句抽出装置において、前記パタン抽出部で合致したパタンで指示する抽出方法で抽出した情報とそのパタンの意味カテゴリとをキーワードとともに出力する抽出結果出力部を備えることを特徴とする。
【００１４】
また、本発明の請求項７は、請求項５または６に記載の重要語句抽出装置において、前記抽出結果出力部は、抽出したキーワードに関する情報を出力後、抽出対象となった文書データを出力するようにしたことを特徴とする。
【００１５】
また、本発明の請求項８は、請求項５、６または７に記載の重要語句抽出装置において、前記抽出結果出力手段は、複数の文書に対して処理を行った場合に、抽出したキーワードが類似した文書を近接した位置に出力することを特徴とする。
【００１６】
また、本発明の請求項９のプログラムは、コンピュータを用いて、文書の特徴を表す重要語句を抽出するためのプログラムであって、前記コンピュータに、請求項１乃至８のいずれか１に記載の重要語句抽出装置の機能を実行させるためのプログラムである。
また、本発明の請求項１０の記録媒体は、請求項９に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体である。
【００１７】
したがって、文書データに対してキーワード抽出およびパタン抽出の双方を用いて文書の重要語句を抽出するようにしたので、従来の頻度ベースでは抽出できない、特定の意味を表し得る語句も抽出できる。
一方、パタン抽出だけでは予め記述した範囲のものについてだけ抽出するが、キーワード抽出と併用するようにしたので、パタンで記述していなかった表現も抽出することができる。
【００１８】
また、パタンごとに抽出のための評価値を設定することで、抽出目的や利用者の希望や目的に合致したキーワードを抽出することができる。
【００１９】
また、従来のキーワード抽出では、単にキーワードが提示されるだけでどのような素性の語なのかわからないことがあったが、キーワードの意味カテゴリを出力するので、利用者にとっては抽出されたキーワードの意味を推測することができる。
特に、専門用語や固有名詞等一般的でない語は、その分野や意味することがわからない場合があったが、意味カテゴリを出力するのでこれらの分野や意味するところを把握することができる。
【００２０】
また、抽出したキーワードを文書データより先に表示することで、対象文書の内容を概観できる。例えば、複数の文書について取捨選択したい場合には、先頭に文書の特徴を表す語句が出力されているので、所望の文書かどうかの判断をすばやくすることができる。
【００２１】
また、複数の文書データに対して重要語句を抽出して出力する場合、類似するキーワードや意味カテゴリ等の情報が近くに位置するようにして、複数文書の閲覧、取捨選択が的確に且つ効率的に行える。
【００２２】
【発明の実施の形態】
以下、図面を参照して本発明に係る好適な実施形態を説明する。
本発明の重要語句抽出装置は、ハードディスク等の記憶装置に存在する文書ファイルやネットワーク等から取り込んだ文書データが与えられたとき、その文書データの特徴を表すキーワードを抽出し、抽出したキーワードをディスプレイ装置やプリンタの出力装置またはハードディスク等の記憶装置へ出力するものである。
【００２３】
＜実施形態１＞
図１は、本発明の重要語句抽出装置の構成を示すブロック図であり、同図に示すように、重要語句抽出装置は、形態素解析部１０、単語辞書１５、接続表１６、パタン抽出部２０、パタン辞書２５、キーワード抽出部３０、重要語句判定部４０とを少なくとも含んでいる。
【００２４】
パタン辞書２５は、形態素解析部１０で解析された品詞情報つきの単語列と照合するためのパタンとこのパタンと一致した場合の抽出指示を記録している。
例えば、パタン辞書２５は、図２のようなデータ構造を有している。
各パタンは、文書中に語句が出現する順序と、その語句が出現したときの抽出指示とから構成される。
文書中に語句が出現する順序としては、単語（表記）とその単語の品詞とを対として出現する順序にならべる。ここで、単語（表記）および品詞を指定するときの記法は次の通りである。
【００２５】
「｜」は、同パタン中の一致した表現が語句として１単位でない場合の記法である。例えば、「社｜会社」の表記は、「社」または「会社」のいずれと一致するかを示す記法である。
また、（接頭辞｜名詞｜サ変名詞｜形容動詞｜接尾辞｜未登録語）の表記は、「｜」ではさまれたいずれかの品詞と一致するかを示す記法である。
【００２６】
「（ ）＊」は、（）内のパタンが０回以上の一致（つまり省略あり）がある場合の記法である。
［ ］は、［］内に指定された「｜」で区切ったうちのいずれかのパタンまたは品詞と一致すればよいことを示す記法である。
「＋」は、一つ以上の一致を示す記法である。例えば、「（社｜会社）＋」は、「社」または「会社」のいずれかが必ず１つは出現するパタンであることを表現している。
【００２７】
「？」は、０か１回の一致を示す記法である。
［＾］は「＾」以降の文字列以外が一致するという記法である。例えば、「＾システム」は、「システム」という文字列以外の文字列と一致するという意味である。
全角「＊」は、どのような表現のパタンとも合致したとみなすという記法である。
【００２８】
また、抽出指示は、パタンと一致した際に該当部分を抽出するかどうかの指示を指定する。「ＯＫ」の場合には抽出を行い、「ＮＯ」の場合には抽出を行わないことを示す。
【００２９】
図２の例の各パタンは、次のような意味を表している。
最初のパタンは、表記が「社」および「会社」以外で、その品詞が接頭辞、名詞、サ変名詞、形容動詞、接尾辞または未登録語の単語が１個以上連続した場合に、その単語列を抽出し、さらに「社」または「会社」という表記が次に続く場合（このとき、品詞は無視される）に、この「社」または「会社」も抽出することを示している。
２番目のパタンは、表記が「システム」以外であり、その品詞が接頭辞、名詞、サ変名詞、形容動詞、接尾辞または未登録語いずれかである単語が１個以上連続した場合に、その単語列を抽出し、さらに、「システム」という表記が続く場合（このとき、品詞は無視される）に、この「システム」という単語も抽出することを示している。
３番目のパタンは、開き括弧（「）があり、次に閉じ括弧以外の語句が連続し、閉じ括弧（」）が続く場合、閉じ括弧以外の語句の連続を抽出することを示している。
【００３０】
形態素解析部１０は、各単語について単語の表記および品詞を記憶した単語辞書１５と、品詞間の接続の可否を記憶する接続表１６とを参照して、与えられた文書データを解析し、品詞情報を含む単語の列に分解する。なお、形態素解析部１０は、従来技術で実現する。
形態素解析が終了すると、その解析結果の品詞情報つきの単語列をパタン抽出部２０およびキーワード抽出部３０へ渡す。
【００３１】
パタン抽出部２０は、形態素解析部１０で解析された文書データ中の単語およびその品詞の並びから、パタン辞書２５に登録されたパタンと一致した個所を抽出する。
図３のフローチャートを用いて、パタン抽出部２０の処理手順を説明する。
文書データを形態素解析して得た単語列の各単語について、パタン辞書２５中のパタンと照合する（ステップＳ１）。すでにパタン辞書２５中のすべてのパタンと照合をしてしまった場合（ステップＳ１の「なし」）、抽出された単語列を重要語句判定部４０に渡すために処理を終了する。
【００３２】
一方、パタン辞書２５のすべてのパタンと照合していない場合（ステップＳ１の「はい」）、未照合のパタンと単語列のうち未照合の単語位置から照合（走査）する（ステップＳ２）。
パタンと一致したの単語の並びがあれば（ステップＳ３の「あり」）、その一致した単語について、パタン辞書２５に保持した抽出指示に従い抽出する（ステップＳ４）。
【００３３】
照合中の単語列に未照合の単語があれば（ステップＳ５の「あり」）、ステップＳ２へ戻って、パタンと単語列との照合を続ける。
一方、照合中の単語列に未照合の単語がなければ（ステップＳ５の「なし」）、パタン辞書２５中の次のパタンと照合するために、ステップＳ１へ戻る。
【００３４】
例えば、図４に示した文書例１に対して図２に示したパタン辞書を用いて、パタンに合致する単語列を抽出すると、最初のパタンには「ＡＡ社」、「ＢＢ社」、「ＤＤ社」が未登録語と接尾辞の並びで合致し、抽出される。
２番目のパタンには、「データ変換システム」が名詞、サ変名詞、名詞の並びで合致し、抽出される。
３番目のパタンでは、「ＰＣ６３０」が括弧に囲まれた部分として抽出される。
【００３５】
キーワード抽出部３０は、形態素解析部１０で解析された品詞情報つきの単語列から文書データ中の重要な語句としてキーワード候補を抽出する。この抽出方法は、例えば、文書データ中で多く出現した自立語類を抽出する方法、または複数の文書を対象にした場合には識別力の高い（広くいろいろな文書に出現する語句は識別力が低い）語句を抽出する方法等の従来技術によって実現する。
キーワード抽出部３０で抽出されたキーワード候補を重要語句判定部４０へ渡す。
【００３６】
図５のフローチャートを用いて、キーワード抽出部３０の処理手順を説明する。
形態素解析部１０で解析された品詞情報つきの単語列から、特定の品詞（例えば、名詞、サ変名詞、未登録語、接頭辞、接尾辞、形容動詞等）がひとつ以上現れる箇所をキーワード候補として頻度を算出する（ステップＳ１１）。
特定条件（たとえば一定頻度以上、あるいは上位Ｎ語）に合致するキーワード候補を抽出する（ステップＳ１２）。
【００３７】
例えば、図４に示した文書例１の場合、形態素解析した単語列のうち品詞が名詞、サ変名詞、未登録語、接頭辞、接尾辞、形容動詞がひとつ以上現れる箇所をキーワードの候補として取り出し、頻度を集計すると以下のようになる。
【００３８】
ＡＡ社（５）、ＢＢ社（２）、ＤＤ社（１）、発売（４）、新製品（３）、
パソコン（２）、ＰＣ６３０（１）、発表（２）、
データ変換システム（１）、製品（１）、対抗（１）、方向（１）、
状況（１）、改善（１）。
【００３９】
これらのうち、頻度２以上の語をキーワード候補とすると
ＡＡ社、ＢＢ社、発売、新製品、パソコン、発表
が抽出される。
【００４０】
重要語句判定部４０では、キーワード抽出部３０から渡されたキーワード候補の語句と、パタン抽出部２０で抽出された語句とをマージして、文書中の重要な語句と判定した結果のキーワードを決定する。
または、目的や用途、抽出したいキーワードの性質によって、それぞれのいずれかだけを用いるようにしてもよい。
ここで決定された重要語句は、表示装置、プリンタまたは記憶装置へ出力される。
【００４１】
例えば、図４に示した文書例１の場合、上述のパタン抽出部２０とキーワード抽出部３０での結果をマージすると、以下の語句が抽出される。
ＡＡ社、ＢＢ社、発売、新製品、パソコン、発表、ＤＤ社、
データ変換システム、ＰＣ６３０
【００４２】
これにより、一般のキーワード抽出では、「ＤＤ社」、「データ変換システム」、「ＰＣ６３０」は頻度が低いために抽出できないが、本発明のパタン抽出部２０を用いると特定の意味を表現し得る語の並びを抽出するので、一般のキーワード抽出を補完することができる。
ここで、頻度が低いため抽出できないキーワードを抽出するために、抽出する頻度数の閾値を下げると、ノイズが多くなってしまうので、閾値を下げるのは妥当ではない。
【００４３】
以上のように実施形態１を構成することによって、従来の頻度ベースでは抽出できない、特定の意味を表し得る語句も抽出できる。
一方、パタン抽出だけでは予め記述した範囲のものについてだけ抽出するが、キーワード抽出と併用するようにしたので、パタンで記述していなかった表現も抽出することができる。
【００４４】
＜実施形態１の変形例＞
本変形例では、パタン辞書２５の各パタンに対して、そのパタンに合致した語句がどのような意味を持つかという意味カテゴリを追加し、パタン抽出部２０ではパタンに対する語句を抽出したとき、このパタンに対する意味カテゴリの評価値を付加する。
重要語句判定部４０では、パタン抽出部２０で抽出された語句の評価値およびキーワード抽出部３０で抽出されたキーワード候補の頻度数とによってキーワードとなるかどうかを判定する。
【００４５】
図６は、図２で示したパタン辞書２５にパタンごとに意味カテゴリを付与している。図６において、最初のパタンは、「組織」の意味カテゴリに属している。
また、２番目と３番目のパタンは、「製品」の意味カテゴリに属している。
【００４６】
図７は、意味カテゴリごとの評価値を示している。この意味カテゴリの評価値は、パタン辞書２５中にパタンとは別に保持してもよいし、パタンの意味カテゴリの代わりに評価値を設定しておいてもよい。
【００４７】
図４の文書例１を用いて、本変形例のパタン抽出部２０、キーワード抽出部３０および重要語句判定部４０の動作を説明する。
上記した実施形態１と同様に、図６のパタン辞書２５を用いて文書例１からパタンに該当する語句を抽出する。
ＡＡ社、ＢＢ社、ＤＤ社、データ変換システム、ＰＣ６３０
この抽出された語句の評価値は、一致したパタンに付されている意味カテゴリに対する評価値をパタン辞書２５を参照して与える（図７参照）。
「データ変換システム」および「ＰＣ６３０」は、「製品」の意味カテゴリに一致するので、評価値を「５」とし、「ＡＡ社」、「ＢＢ社」および「ＤＤ社」は「組織」の意味カテゴリに一致するので、評価値を「３」とすると、以下のようになる。
ＡＡ社（３）、ＢＢ社（３）、ＤＤ社（３）、
データ変換システム（５）、ＰＣ６３０（５）
【００４８】
また、キーワード抽出部３０では、次の頻度数付のキーワード候補が抽出される。
ＡＡ社（５）、ＢＢ社（２）、発売（４）、新製品（３）、
パソコン（２）、発表（２）
【００４９】
重要語句判定部４０では、パタン抽出部２０で抽出された語句とキーワード抽出部３０から抽出した語句とをマージし、評価値の異なる語句があれば高い評価値へ統合すると、以下の語句が最終的に抽出するキーワードとして決定される。Ａ社（５）、データ変換システム（５）、ＰＣ６３０（５）、発売（４）、ＢＢ社（３）、ＤＤ社（３）、新製品（３）、パソコン（２）、発表（２）
（この順序は、評価値順に並べてある。）
【００５０】
これにより、一般のキーワード抽出では、「ＤＤ社」、「データ変換システム」、「ＰＣ６３０」は頻度が低いために抽出できないか、または抽出結果をランキングした場合下位に位置してしまい抽出できないが、本変形例のパタン抽出部２０を用いると特定の意味を表現し得る語の並びを評価値付で抽出するので、一般のキーワード抽出を補完することができる。
【００５１】
以上のように実施形態１の変形例を構成することによって、抽出目的に応じたキーワード抽出が可能になる。
【００５２】
上述の実施形態１の変形例の意味カテゴリに対する評価値を利用者が変更可能としてもよい。
この場合の重要語句抽出装置の構成は、図８に示したブロック図のようになる。
図８において、重要語句抽出装置は、形態素解析部１０、単語辞書１５、接続表１６、パタン抽出部２０、パタン辞書２５、キーワード抽出部３０、重要語句判定部４０、評価値入力部５０とからなる。ここで、実施形態１および変形例と同じ機能をもつ構成要素には同じ符号を付し、その説明を省略する。
【００５３】
評価値入力部５０は、文書中から重要な語句を抽出する目的や使用者の希望、興味によって抽出された語句の意味カテゴリの評価値の設定を変更させる。
このために、例えば、図９に示すような評価値の入力画面を表示させ、意味カテゴリに対して抽出したいか否かを５段階で使用者に入力させる。
この入力された、意味カテゴリと評価値の対応表は、パタン辞書２５へ格納され、パタン抽出部２０でパタンに対して抽出された語句にこの評価値が与えられ、重要語句判定部４０で使われる。
【００５４】
例えば、図４の文書例１と図１０のパタン辞書を用いた場合について説明する。
パタン抽出部２０は、図１０のパタン辞書２５に保持されたパタンに合致する単語列を抽出する。
最初のパタンには、「ＡＡ社」、「ＢＢ社」および「ＤＤ社」が一致して抽出される。
２番目のパタンには、「データ変換システム」が一致して抽出される。
３番目のパタンでは、「ＰＣ６３０」が一致して抽出される。
４番目のパタンでは、「６月１５日」、「６月３０日」および「７月１日」が一致して抽出される。
【００５５】
この抽出された語句の評価値は、一致したパタンに付されている意味カテゴリに対する評価値をパタン辞書２５を参照して与える（図９および図１０参照）。「データ変換システム」および「ＰＣ６３０」は、「製品」の意味カテゴリに一致するので評価値を「５」とし、「ＡＡ社」、「ＢＢ社」および「ＤＤ社」は「組織」の意味カテゴリに一致するので評価値を「３」とし、「６月１５日」、「６月３０日」および「７月１日」は「日付」の意味カテゴリに一致するので評価値を「４」とすると、以下のようになる。
ＡＡ社（３）、ＢＢ社（３）、ＤＤ社（３）、
データ変換システム（５）、ＰＣ６３０（５）、
６月１５日（４）、６月３０日（４）、７月１日（４）。
【００５６】
キーワード抽出部３０は、文書例１を形態素解析した結果から、品詞が名詞、サ変名詞、未登録語、接頭辞、接尾辞、形容動詞がひとつ以上現れる箇所をキーワードの候補として取り出し、頻度を集計すると以下となる。
ＡＡ社（５）、ＢＢ社（２）、ＤＤ社（１）、発売（４）、新製品（３）、
パソコン（２）、ＰＣ６３０（１）、発表（２）、
データ変換システム（１）、製品（１）、対抗（１）、方向（１）、
状況（１）、改善（１）。
【００５７】
この中から頻度２以上の語をキーワード候補とし、抽出すると以下が得られる。
ＡＡ社（５）、ＢＢ社（２）、発売（４）、新製品（３）、
パソコン（２）、発表（２）
【００５８】
重要語句判定部４０では、パタン抽出部２０で抽出された語句とキーワード抽出部３０から抽出した語句とをマージし、評価値の異なる語句があれば高い評価値へ統合すると、以下の語句が最終的に抽出するキーワードとして決定される。
ＡＡ社（５）、データ変換システム（５）、ＰＣ６３０（５）、
発売（４）、６月１５日（４）、６月３０日（４）、７月１日（４）、
ＢＢ社（３）、ＤＤ社（３）、新製品（３）、パソコン（２）、発表（２）
（この順序は、評価値順に並べてある。）
【００５９】
＜実施形態２＞
図１１は、本発明の重要語句抽出装置の他の構成を示すブロック図であり、同図に示すように、重要語句抽出装置は、形態素解析部１０、単語辞書１５、接続表１６、パタン抽出部２０、パタン辞書２５、キーワード抽出部３０、重要語句判定部４０、抽出結果出力部６０とからなる。ここで、上述の実施形態１および変形例と同じ機能をもつ構成要素には同じ符号を付し、その説明を省略する。
【００６０】
本実施形態２では、抽出した文書の重要語句となるキーワードを、そのキーワードの該当する意味カテゴリとともに表示装置、プリンタあるいは記憶装置等へ出力する。
本実施形態２におけるパタン辞書２５の各パタンに対して、そのパタンに合致した語句がどのような意味を持つかという意味カテゴリを追加してあるものとする。
【００６１】
以下に、本実施形態２の動作を、図１２の文書例２と図１３のパタン辞書を用いた場合を例にして説明する。
パタン抽出部２０は、形態素解析された結果をもとに、図１３のパタン辞書２５に保持されたパタンに合致する単語列を抽出する。
最初のパタンには、意味カテゴリ「企業」で「ＡＡ社」、「ＢＢ社」および「ＤＤ社」が一致して抽出される。
２番目のパタンには、意味カテゴリ「製品」で「データ変換システム」が一致して抽出される。
３番目のパタンでは、意味カテゴリ「製品固有名」で「ＺＺ６３０」が一致して抽出される。
抽出結果は、以下のようになる。
ＡＡ社［企業］、ＢＢ社［企業］、ＤＤ社［企業］、
データ変換システム［製品］、ＺＺ６３０［製品固有名］。
【００６２】
キーワード抽出部３０は、文書例１を形態素解析した結果から、品詞が名詞、サ変名詞、未登録語、接頭辞、接尾辞、形容動詞がひとつ以上現れる箇所をキーワードの候補として取り出し、頻度を集計すると以下となる。
ＡＡ社（５）、ＢＢ社（２）、ＤＤ社（１）、発売（４）、新製品（３）、
パソコン（２）、ＺＺ６３０（１）、発表（２）、
データ変換システム（１）、製品（１）、対抗（１）、方向（１）、
状況（１）、改善（１）。
【００６３】
この中から頻度２以上の語をキーワード候補とし、抽出すると以下が得られる。
ＡＡ社（５）、ＢＢ社（２）、発売（４）、新製品（３）、
パソコン（２）、発表（２）
【００６４】
重要語句判定部４０では、パタン抽出部２０で抽出された語句とキーワード抽出部３０から抽出した語句とをマージし、意味カテゴリが付加されているものを優先して統合すると、以下の語句が最終的に抽出するキーワードとして決定される。
ＡＡ社［企業］、ＢＢ社［企業］、発売、新製品、パソコン、発表、
ＤＤ社［企業］、データ変換システム［製品］、ＺＺ６３０［製品固有名］
【００６５】
抽出結果出力部６０は、文書中の重要語句として重要語句判定部４０で決定されたキーワードを、パタン抽出部２０で抽出されたキーワードにはその意味カテゴリを付加し、キーワード抽出部３０で抽出されたキーワードはそのまま、表示装置、プリンタや記憶装置等へ出力する。
また、本重要語句抽出装置が他の装置等に組み込まれた場合には、その装置へ抽出結果を引き渡すようにする。
【００６６】
例えば、キーワードごとに意味カテゴリを付加して出力すると、次のようになる。
ＡＡ社［企業］、ＢＢ社［企業］、発売、新製品、パソコン、発表、ＤＤ社［企業］、データ変換システム［製品］、ＺＺ６３０［製品固有名］
【００６７】
または、意味カテゴリごとに分けてキーワードを出力すると、次のようになる。
企業：ＡＡ社、ＢＢ社、ＤＤ社
製品：データ変換システム
製品固有名：ＺＺ６３０
その他キーワード：発売、新製品、パソコン、発表
【００６８】
さらに、キーワードを出力する際、上述したキーワードの出力の後に抽出した文書データを付加して出力してよいし、文書データの後へ抽出したキーワードを出力するようにしてもよい。
抽出したキーワードを文書データより先に表示することで、対象文書の内容を概観できる。例えば、複数の文書について取捨選択したい場合には、先頭に文書の特徴を表す語句が出力されているので、所望の文書かどうかの判断をすばやくすることができる。
【００６９】
例えば、本発明の重要語句抽出装置を情報検索装置に組み込んだ場合、検索された文書に対して抽出したキーワードを検索結果のタイトル一覧表示に付加して、以下のように表示することができる。
【００７０】
キーワードを後に出力する場合、次のようになる。
［タイトル］ＡＡ社、新製品発売
［キーワード］ＡＡ社［企業］、ＢＢ社［企業］、発売、新製品、パソコン、発表、ＤＤ社［企業］、データ変換システム［製品］、ＺＺ６３０［製品固有名］
【００７１】
または、キーワードを先に出力する場合、次のようになる。
［キーワード］ＡＡ社［企業］、ＢＢ社［企業］、発売、新製品、パソコン、発表、ＤＤ社［企業］、データ変換システム［製品］、ＺＺ６３０［製品固有名］
［タイトル］ＡＡ社、新製品発売
【００７２】
また、同じ意味カテゴリの語ごとにまとめた場合には
［タイトル］ＡＡ社、新製品発売
企業：ＡＡ社、ＢＢ社、ＤＤ社
製品：データ変換システム
製品固有名：ＺＺ６３０
その他キーワード：発売、新製品、パソコン、発表
または、
企業：ＡＡ社、ＢＢ社、ＤＤ社
製品：データ変換システム
製品固有名：ＺＺ６３０
その他キーワード：発売、新製品、パソコン、発表
［タイトル］ＡＡ社、新製品発売
【００７３】
以上の構成により、従来のキーワード抽出では、単にキーワードが提示されるだけでどのような素性の語なのかわからないことがあったが、キーワードの意味カテゴリを出力するので、利用者にとっては抽出されたキーワードの意味を推測することができる。
特に、専門用語や固有名詞等一般的でない語は、その分野や意味することがわからない場合があったが、意味カテゴリを出力するのでこれらの分野や意味するところを把握することができる。
【００７４】
＜実施形態３＞
本実施形態３は、実施形態２のパタン辞書２５に対して、パタンの記法を追加した。
パタンへ追加された記法は、図１４に示したように、パタン中の表記の先頭に「＄」を付けた語を指定できる。この「＄」を付けた語については、単語意味辞書で指定した意味の欄の表記におきかえて、パタン照合を行うことを示している。また、パタン照合された際に、抽出指示が「＄ＯＫ」である場合は、合致した語を表示するときの意味カテゴリや情報として表示することを意味している。
【００７５】
ここで、単語意味辞書は、パタン辞書２５中に保持され、図１５に示すようなデータ構造を有している。即ち、意味の欄にリストされた複数の文字列を代表させるグループ名として、先頭に「＄」を付けた語を対応させる。
例えば、図１５において、「＄製品カテゴリ」というパタンは、「コンピュータ」、「パソコン」または「ＰＣ」をまとめた意味カテゴリであり、パタン照合に際しては、「＄製品カテゴリ」の代わりに「コンピュータ」、「パソコン」または「ＰＣ」と読み替えて照合される。
【００７６】
以下に、本実施形態３の動作を、図１６の文書例３と図１４ならびに図１５のパタン辞書を用いた場合を例にして説明する。
パタン抽出部２０は、図１６の文書例３を形態素解析した結果をもとに、図１５のパタン辞書２５に保持されたパタンに合致する単語列を抽出する。
最初のパタンには、意味カテゴリ「企業」で「ＡＡ社」、「ＢＢ社」および「ＤＤ社」が一致して抽出される。さらに、「ＡＡ社」にはパタン中で「＄ＯＫ」が抽出指示されているので「コンピュータメーカー」が、「ＢＢ社」には「ソフトウェアベンダー」が抽出される。
２番目のパタンには、意味カテゴリ「製品」で「データ変換システム」が一致して抽出される。
３番目のパタンでは、意味カテゴリ「製品固有名」で「ＺＺ６３０」が一致して抽出される。さらに、「パソコン」という語も対応つけて抽出される。
この抽出結果は、以下のようになる。
ＡＡ社［企業／コンピュータメーカー］、
ＢＢ社［企業／ソフトウェアベンダー］、ＤＤ社［企業］、
データ変換システム［製品］、ＺＺ６３０［製品固有名／パソコン］。
【００７７】
キーワード抽出部３０は、文書例１を形態素解析した結果から、品詞が名詞、サ変名詞、未登録語、接頭辞、接尾辞、形容動詞がひとつ以上現れる箇所をキーワードの候補として取り出し、頻度を集計すると以下となる。
コンピュータメーカー（１）、ＡＡ社（５）、
ソフトウェアベンダー（１）、ＢＢ社（２）、ＤＤ社（１）、発売（４）、
新製品（３）、パソコン（２）、ＺＺ６３０（１）、発表（２）、
データ変換システム（１）、製品（１）、対抗（１）、方向（１）、
状況（１）、改善（１）。
【００７８】
この中から頻度２以上の語をキーワード候補とし、抽出すると以下が得られる。
ＡＡ社（５）、ＢＢ社（２）、発売（４）、新製品（３）、
パソコン（２）、発表（２）
【００７９】
重要語句判定部４０では、パタン抽出部２０で抽出された語句とキーワード抽出部３０から抽出した語句とをマージし、意味カテゴリが付加されているものを優先して統合すると、以下の語句が最終的に抽出するキーワードとして決定される。
ＡＡ社［企業／コンピュータメーカー］、
ＢＢ社［企業／ソフトウェアベンダー］、発売、新製品、パソコン、発表、
ＤＤ社［企業］、データ変換システム［製品］、
ＺＺ６３０［製品固有名／パソコン］。
【００８０】
抽出結果出力部６０は、文書中の重要語句として重要語句判定部４０で決定されたキーワードを、パタン抽出部２０で抽出されたキーワードにはその意味カテゴリを付加し、キーワード抽出部３０で抽出されたキーワードはそのまま、表示装置、プリンタや記憶装置等へ出力する。
また、本重要語句抽出装置が他の装置等に組み込まれた場合には、その装置へ抽出結果を引き渡すようにする。
【００８１】
例えば、キーワードごとに意味カテゴリを付加して出力すると、次のようになる。
ＡＡ社［企業／コンピュータメーカー］、ＢＢ社［企業／ソフトウェアベンダー］、発売、新製品、パソコン、発表、ＤＤ社［企業］、データ変換システム［製品］、ＺＺ６３０［製品固有名／パソコン］。
【００８２】
または、意味カテゴリごとに分けてキーワードを出力すると、次のようになる。
企業：ＡＡ社（コンピュータメーカー）、ＢＢ社（ソフトウェアベンダー）、ＤＤ社
製品：データ変換システム
製品固有名：ＺＺ６３０（パソコン）
その他キーワード：発売、新製品、パソコン、発表
【００８３】
さらに、キーワードを出力する際、上述したキーワードの出力の後に抽出した文書データを付加して出力してよいし、文書データの後へ抽出したキーワードを出力するようにしてもよい。
【００８４】
また、本発明の重要語句抽出装置を情報検索装置に組み込んだ場合、検索された文書に対して抽出したキーワードを検索結果のタイトル一覧表示に付加して、以下のように表示することができる。
【００８５】
［タイトル］ＡＡ社、新製品発売
［キーワード］ＡＡ社［企業／コンピュータメーカー］、ＢＢ社［企業／ソフトウェアベンダー］、発売、新製品、パソコン、発表、ＤＤ社［企業］、データ変換システム［製品］、ＺＺ６３０［製品固有名／パソコン］。
【００８６】
［キーワード］ＡＡ社［企業／コンピュータメーカー］、ＢＢ社［企業／ソフトウェアベンダー］、発売、新製品、パソコン、発表、ＤＤ社［企業］、データ変換システム［製品］、ＺＺ６３０［製品固有名／パソコン］。
［タイトル］ＡＡ社、新製品発売
【００８７】
また、同じ意味カテゴリの語ごとにまとめて場合には
［タイトル］ＡＡ社、新製品発売
企業：ＡＡ社（コンピュータメーカー）、ＢＢ社（ソフトウェアベンダー）、ＤＤ社
製品：データ変換システム
製品固有名：ＺＺ６３０（パソコン）
その他キーワード：発売、新製品、パソコン、発表
【００８８】
企業：ＡＡ社（コンピュータメーカー）、ＢＢ社（ソフトウェアベンダー）、ＤＤ社
製品：データ変換システム
製品固有名：ＺＺ６３０（パソコン）
その他キーワード：発売、新製品、パソコン、発表
［タイトル］ＡＡ社、新製品発売
【００８９】
さらに、複数の文書データに対して重要語句を抽出して出力する場合、類似するキーワードや意味カテゴリ等の情報が近くに位置するようにして、複数文書の閲覧、取捨選択が的確に且つ効率的に行える。
例えば、次に示すような表示方法がある。
【００９０】
（１）重複するキーワードに対して、これらのキーワードを含む文書のタイトル等を表示する。
例： ［キーワード］ＡＡ社、ＢＢ社
［タイトル］ＡＡ社、新製品発売
［タイトル］ＡＡ社、ＢＢ社と提携
【００９１】
（２）重複するキーワードに対して、これらのキーワードを含む文書のタイトル等を表示するとともに、共通でない他のキーワードをタイトルの後へ表示する。
例： ［キーワード］ＡＡ社、ＢＢ社
［タイトル］ＡＡ社、新製品発売［発売、新製品、パソコン、ＤＤ社、データ変換システム、ＺＺ６３０］
［タイトル］ＡＡ社、ＢＢ社と提携［提携、発表］
【００９２】
（３）（２）の表示でタイトル中にキーワードと重複する語句がある場合には、その語句をキーワードから削除して表示する。
例： ［キーワード］ＡＡ社、ＢＢ社
［タイトル］ＡＡ社、新製品発売［パソコン、ＤＤ社、データ変換システム、ＺＺ６３０］
［タイトル］ＡＡ社、ＢＢ社と提携［発表］
【００９３】
（４）意味カテゴリなどの情報を付加して表示する。
例： ［キーワード］［企業］ＡＡ社（コンピュータメーカー）、ＢＢ社（ソフトウェアベンダー）
［タイトル］ＡＡ社、新製品発売［パソコン、ＤＤ社、データ変換システム（製品）、ＺＺ６３０（製品固有名）］
［タイトル］ＡＡ社、ＢＢ社と提携
【００９４】
（５）特定のキーワードだけに着目し、その着目したキーワードに関する文書だけをまとめて表示する。下例は、キーワード「ＡＡ社」に着目した場合である。
例： ［企業］ＡＡ社（コンピュータメーカー）、
［タイトル］ＡＡ社、新製品発売［ＢＢ社（ソフトウェアベンダー）、パソコン、ＤＤ社、データ変換システム（製品）、ＺＺ６３０（製品固有名）］
［タイトル］ＡＡ社、ＢＢ社と提携［ＢＢ社（ソフトウェアベンダー）］
【００９５】
＜実施形態４＞
さらに、本発明は上述した実施形態のみに限定されたものではない。上述した実施形態の重要語句抽出装置を構成する各機能をそれぞれプログラム化し、あらかじめＣＤ−ＲＯＭ等の記録媒体に書き込んでおき、コンピュータに搭載したＣＤ−ＲＯＭドライブのような媒体駆動装置にこのＣＤ−ＲＯＭ等を装着して、これらのプログラムをコンピュータのメモリあるいは記憶装置に格納し、それを実行することによって、本発明の目的が達成されることは言うまでもない。
この場合、記録媒体から読み出されたプログラム自体が上述した実施形態の機能を実現することになり、そのプログラムおよびそのプログラムを記録した記録媒体も本発明を構成することになる。
【００９６】
なお、記録媒体としては半導体媒体（例えば、ＲＯＭ、不揮発性メモリカード等）、光媒体（例えば、ＤＶＤ、ＭＯ、ＭＤ、ＣＤ−Ｒ等）、磁気媒体（例えば、磁気テープ、フレキシブルディスク等）等のいずれであってもよい。
【００９７】
また、ロードしたプログラムを実行することにより上述した実施形態の機能が実現されるだけでなく、そのプログラムの指示に基づき、オペレーティングシステム等が実際の処理の一部または全部を行い、その処理によって上述した実施形態の機能が実現される場合も含まれる。
【００９８】
また、上述したプログラムをサーバコンピュータの磁気ディスク等の記憶装置に格納しておき、インターネット等の通信網で接続された利用者のコンピュータからダウンロード等の形式で頒布する場合、このサーバコンピュータの記憶装置も本発明の記録媒体に含まれる。
【００９９】
【発明の効果】
以上説明したように本発明によれば、文書データに対してキーワード抽出およびパタン抽出の双方を用いて文書の重要語句を抽出するようにしたので、従来の頻度ベースでは抽出できない、特定の意味を表し得る語句も抽出できる。
一方、パタン抽出だけでは予め記述した範囲のものについてだけ抽出するが、キーワード抽出と併用するようにしたので、パタンで記述していなかった表現も抽出することができる。
【０１００】
また、パタンごとに抽出のための評価値を設定することで、抽出目的や利用者の希望や目的に合致したキーワードを抽出することができる。
【０１０１】
また、従来のキーワード抽出では、単にキーワードが提示されるだけでどのような素性の語なのかわからないことがあったが、キーワードの意味カテゴリを出力するので、利用者にとっては抽出されたキーワードの意味を推測することができる。
特に、専門用語や固有名詞等一般的でない語は、その分野や意味することがわからない場合があったが、意味カテゴリを出力するのでこれらの分野や意味するところを把握することができる。
【０１０２】
また、抽出したキーワードを文書データより先に表示することで、対象文書の内容を概観できる。例えば、複数の文書について取捨選択したい場合には、先頭に文書の特徴を表す語句が出力されているので、所望の文書かどうかの判断をすばやくすることができる。
【０１０３】
また、複数の文書データに対して重要語句を抽出して出力する場合、類似するキーワードや意味カテゴリ等の情報が近くに位置するようにして、複数文書の閲覧、取捨選択が的確に且つ効率的に行える。
【図面の簡単な説明】
【図１】本発明の重要語句抽出装置の構成を示すブロック図である。
【図２】パタン辞書のデータ構造例である。
【図３】パタン抽出部の処理手順を示すフローチャートである。
【図４】文書データの一例である。
【図５】キーワード抽出部の処理手順を示すフローチャートである。
【図６】パタン辞書のデータ構造例である。
【図７】意味カテゴリとその評価値の対応表例である。
【図８】重要語句抽出装置の他の構成を示すブロック図である。
【図９】評価値を入力する画面例である。
【図１０】パタン辞書のデータ構造例である。
【図１１】重要語句抽出装置の他の構成を示すブロック図である。
【図１２】文書データの一例である。
【図１３】パタン辞書のデータ構造例である。
【図１４】単語意味辞書に対応したパタン辞書のデータ構造例である。
【図１５】単語意味辞書のデータ構造例である。
【図１６】文書データの一例である。
【符号の説明】
１０…形態素解析部、１５…単語辞書、１６…接続表、２０…パタン抽出部、２５…パタン辞書、３０…キーワード抽出部、４０…重要語句判定部、５０…評価値入力部、６０…抽出結果出力部。
【発明の属する技術分野】
本発明は、対象となる文書の重要部分を特定することができる重要語句を抽出する重要語句抽出装置、プログラムおよび記憶媒体に関する。
【０００２】
【従来の技術】
文書中から文書の主題を表すキーワードを抽出することは、文書の検索や分類のために重要な技術である。このため文書の特徴を表すキーワードを付与する技術が従来から研究されている。
このキーワード付けは、近年、インターネットの普及などによって、大量の文書データを扱う必要が生じてきており、これらの中から自分が必要な文書を見つけ出す、所謂、情報検索では重要な技術となっている。
また、文書データからキーワードを抽出すること自体は、情報検索での自動インデキシングを目的として古くから研究開発されているものである。
【０００３】
通常、文書中からキーワードを抽出するためには、形態素解析技術により、単語分割し、品詞付けを行い、そのうちの出現頻度の高い単語についてそのキーワードとするか否かを評価している。
【０００４】
このキーワードの抽出方法には、「繰り返し出現する語句が重要な概念を表現している」という仮定から、文書中に出現した頻度を使って行なう方法がある（非特許文献１参照）。
しかし、この場合、頻度の高くない語はキーワードとして抽出されないという問題がある。
【０００５】
これに対して特許文献１の「キーワード抽出装置」では、企業名や団体名でよく使われる文字（例えば、「（株）」等）に着目し、これを含む語句をキーワードとして抽出する方法を提案している。
しかしこの場合でも、あらかじめ企業名、団体名に限っているので、
・他のカテゴリ（例えば、製品名、人名等）については抽出できない
・抽出されたキーワードがどのような意味を表す語句であるかわからない
・特定の目的や分類に応じたキーワードの抽出を制御できない
といった問題は残る。
【０００６】
【特許文献１】
特開平５−１２０３４５号公報
【非特許文献１】
徳永健伸著、「情報検索と言語処理」言語と計算５、１９９９年、
ｐ．２６−２７
【０００７】
【発明が解決しようとする課題】
本発明は、上述の実情を考慮してなされたものであって、文書中から従来の頻度により抽出するキーワード以外に、特定の意味カテゴリの表現のキーワードを抽出することで、出現頻度が高くなくても重要な概念を表す語句やユーザの希望する概念に関する語句の抽出を可能にする重要語句抽出装置、重要語句抽出装置の機能を実行するためのプログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体を提供することを目的とする。
【０００８】
【課題を解決するための手段】
上記の課題を解決するために、本発明の請求項１の重要語句抽出装置は、文書データを形態素解析して品詞情報つきの単語列に分割する形態素解析部と、前記形態素解析した結果の中の単語および単語列の頻度に基づき単語および単語列を抽出するキーワード抽出部と、前記形態素解析した結果の中から特定の語の並びを抽出するパタン抽出部と、前記キーワード抽出部と前記パタン抽出部とで抽出した結果を用いて重要語句を判定する重要語句判定部とを備えることを特徴とする。
【０００９】
また、本発明の請求項２は、請求項１に記載の重要語句抽出装置において、特定の語の並びを抽出するためのパタンとそのパタンが属する意味カテゴリおよび抽出方法の指示情報を保持するパタン辞書を有し、前記パタン抽出部は、前記パタン辞書を参照して、前記形態素解析した結果の品詞情報つきの単語列の中から特定の語の並びを抽出することを特徴とする。
【００１０】
また、本発明の請求項３は、請求項１または２に記載の重要語句抽出装置において、前記パタン抽出部は、抽出した特定の語の並びに対して評価値を付加し、前記重要語句判定手段は、この評価値に基づいて重要語句を判定することを特徴とする。
【００１１】
また、本発明の請求項４は、請求項３に記載の重要語句抽出装置において、前記評価値の設定を変更可能する評価値入力部を備え、抽出の目的や利用者の希望によって評価値を変化させて所望するキーワードを抽出できるようにしたことを特徴とする。
【００１２】
また、本発明の請求項５は、請求項２、３または４に記載の重要語句抽出装置において、前記パタン抽出部で合致したパタンの意味カテゴリをキーワードとともに出力する抽出結果出力部を備えることを特徴とする。
【００１３】
また、本発明の請求項６は、請求項２、３または４に記載の重要語句抽出装置において、前記パタン抽出部で合致したパタンで指示する抽出方法で抽出した情報とそのパタンの意味カテゴリとをキーワードとともに出力する抽出結果出力部を備えることを特徴とする。
【００１４】
また、本発明の請求項７は、請求項５または６に記載の重要語句抽出装置において、前記抽出結果出力部は、抽出したキーワードに関する情報を出力後、抽出対象となった文書データを出力するようにしたことを特徴とする。
【００１５】
また、本発明の請求項８は、請求項５、６または７に記載の重要語句抽出装置において、前記抽出結果出力手段は、複数の文書に対して処理を行った場合に、抽出したキーワードが類似した文書を近接した位置に出力することを特徴とする。
【００１６】
また、本発明の請求項９のプログラムは、コンピュータを用いて、文書の特徴を表す重要語句を抽出するためのプログラムであって、前記コンピュータに、請求項１乃至８のいずれか１に記載の重要語句抽出装置の機能を実行させるためのプログラムである。
また、本発明の請求項１０の記録媒体は、請求項９に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体である。
【００１７】
したがって、文書データに対してキーワード抽出およびパタン抽出の双方を用いて文書の重要語句を抽出するようにしたので、従来の頻度ベースでは抽出できない、特定の意味を表し得る語句も抽出できる。
一方、パタン抽出だけでは予め記述した範囲のものについてだけ抽出するが、キーワード抽出と併用するようにしたので、パタンで記述していなかった表現も抽出することができる。
【００１８】
また、パタンごとに抽出のための評価値を設定することで、抽出目的や利用者の希望や目的に合致したキーワードを抽出することができる。
【００１９】
また、従来のキーワード抽出では、単にキーワードが提示されるだけでどのような素性の語なのかわからないことがあったが、キーワードの意味カテゴリを出力するので、利用者にとっては抽出されたキーワードの意味を推測することができる。
特に、専門用語や固有名詞等一般的でない語は、その分野や意味することがわからない場合があったが、意味カテゴリを出力するのでこれらの分野や意味するところを把握することができる。
【００２０】
また、抽出したキーワードを文書データより先に表示することで、対象文書の内容を概観できる。例えば、複数の文書について取捨選択したい場合には、先頭に文書の特徴を表す語句が出力されているので、所望の文書かどうかの判断をすばやくすることができる。
【００２１】
また、複数の文書データに対して重要語句を抽出して出力する場合、類似するキーワードや意味カテゴリ等の情報が近くに位置するようにして、複数文書の閲覧、取捨選択が的確に且つ効率的に行える。
【００２２】
【発明の実施の形態】
以下、図面を参照して本発明に係る好適な実施形態を説明する。
本発明の重要語句抽出装置は、ハードディスク等の記憶装置に存在する文書ファイルやネットワーク等から取り込んだ文書データが与えられたとき、その文書データの特徴を表すキーワードを抽出し、抽出したキーワードをディスプレイ装置やプリンタの出力装置またはハードディスク等の記憶装置へ出力するものである。
【００２３】
＜実施形態１＞
図１は、本発明の重要語句抽出装置の構成を示すブロック図であり、同図に示すように、重要語句抽出装置は、形態素解析部１０、単語辞書１５、接続表１６、パタン抽出部２０、パタン辞書２５、キーワード抽出部３０、重要語句判定部４０とを少なくとも含んでいる。
【００２４】
パタン辞書２５は、形態素解析部１０で解析された品詞情報つきの単語列と照合するためのパタンとこのパタンと一致した場合の抽出指示を記録している。
例えば、パタン辞書２５は、図２のようなデータ構造を有している。
各パタンは、文書中に語句が出現する順序と、その語句が出現したときの抽出指示とから構成される。
文書中に語句が出現する順序としては、単語（表記）とその単語の品詞とを対として出現する順序にならべる。ここで、単語（表記）および品詞を指定するときの記法は次の通りである。
【００２５】
「｜」は、同パタン中の一致した表現が語句として１単位でない場合の記法である。例えば、「社｜会社」の表記は、「社」または「会社」のいずれと一致するかを示す記法である。
また、（接頭辞｜名詞｜サ変名詞｜形容動詞｜接尾辞｜未登録語）の表記は、「｜」ではさまれたいずれかの品詞と一致するかを示す記法である。
【００２６】
「（ ）＊」は、（）内のパタンが０回以上の一致（つまり省略あり）がある場合の記法である。
［ ］は、［］内に指定された「｜」で区切ったうちのいずれかのパタンまたは品詞と一致すればよいことを示す記法である。
「＋」は、一つ以上の一致を示す記法である。例えば、「（社｜会社）＋」は、「社」または「会社」のいずれかが必ず１つは出現するパタンであることを表現している。
【００２７】
「？」は、０か１回の一致を示す記法である。
［＾］は「＾」以降の文字列以外が一致するという記法である。例えば、「＾システム」は、「システム」という文字列以外の文字列と一致するという意味である。
全角「＊」は、どのような表現のパタンとも合致したとみなすという記法である。
【００２８】
また、抽出指示は、パタンと一致した際に該当部分を抽出するかどうかの指示を指定する。「ＯＫ」の場合には抽出を行い、「ＮＯ」の場合には抽出を行わないことを示す。
【００２９】
図２の例の各パタンは、次のような意味を表している。
最初のパタンは、表記が「社」および「会社」以外で、その品詞が接頭辞、名詞、サ変名詞、形容動詞、接尾辞または未登録語の単語が１個以上連続した場合に、その単語列を抽出し、さらに「社」または「会社」という表記が次に続く場合（このとき、品詞は無視される）に、この「社」または「会社」も抽出することを示している。
２番目のパタンは、表記が「システム」以外であり、その品詞が接頭辞、名詞、サ変名詞、形容動詞、接尾辞または未登録語いずれかである単語が１個以上連続した場合に、その単語列を抽出し、さらに、「システム」という表記が続く場合（このとき、品詞は無視される）に、この「システム」という単語も抽出することを示している。
３番目のパタンは、開き括弧（「）があり、次に閉じ括弧以外の語句が連続し、閉じ括弧（」）が続く場合、閉じ括弧以外の語句の連続を抽出することを示している。
【００３０】
形態素解析部１０は、各単語について単語の表記および品詞を記憶した単語辞書１５と、品詞間の接続の可否を記憶する接続表１６とを参照して、与えられた文書データを解析し、品詞情報を含む単語の列に分解する。なお、形態素解析部１０は、従来技術で実現する。
形態素解析が終了すると、その解析結果の品詞情報つきの単語列をパタン抽出部２０およびキーワード抽出部３０へ渡す。
【００３１】
パタン抽出部２０は、形態素解析部１０で解析された文書データ中の単語およびその品詞の並びから、パタン辞書２５に登録されたパタンと一致した個所を抽出する。
図３のフローチャートを用いて、パタン抽出部２０の処理手順を説明する。
文書データを形態素解析して得た単語列の各単語について、パタン辞書２５中のパタンと照合する（ステップＳ１）。すでにパタン辞書２５中のすべてのパタンと照合をしてしまった場合（ステップＳ１の「なし」）、抽出された単語列を重要語句判定部４０に渡すために処理を終了する。
【００３２】
一方、パタン辞書２５のすべてのパタンと照合していない場合（ステップＳ１の「はい」）、未照合のパタンと単語列のうち未照合の単語位置から照合（走査）する（ステップＳ２）。
パタンと一致したの単語の並びがあれば（ステップＳ３の「あり」）、その一致した単語について、パタン辞書２５に保持した抽出指示に従い抽出する（ステップＳ４）。
【００３３】
照合中の単語列に未照合の単語があれば（ステップＳ５の「あり」）、ステップＳ２へ戻って、パタンと単語列との照合を続ける。
一方、照合中の単語列に未照合の単語がなければ（ステップＳ５の「なし」）、パタン辞書２５中の次のパタンと照合するために、ステップＳ１へ戻る。
【００３４】
例えば、図４に示した文書例１に対して図２に示したパタン辞書を用いて、パタンに合致する単語列を抽出すると、最初のパタンには「ＡＡ社」、「ＢＢ社」、「ＤＤ社」が未登録語と接尾辞の並びで合致し、抽出される。
２番目のパタンには、「データ変換システム」が名詞、サ変名詞、名詞の並びで合致し、抽出される。
３番目のパタンでは、「ＰＣ６３０」が括弧に囲まれた部分として抽出される。
【００３５】
キーワード抽出部３０は、形態素解析部１０で解析された品詞情報つきの単語列から文書データ中の重要な語句としてキーワード候補を抽出する。この抽出方法は、例えば、文書データ中で多く出現した自立語類を抽出する方法、または複数の文書を対象にした場合には識別力の高い（広くいろいろな文書に出現する語句は識別力が低い）語句を抽出する方法等の従来技術によって実現する。
キーワード抽出部３０で抽出されたキーワード候補を重要語句判定部４０へ渡す。
【００３６】
図５のフローチャートを用いて、キーワード抽出部３０の処理手順を説明する。
形態素解析部１０で解析された品詞情報つきの単語列から、特定の品詞（例えば、名詞、サ変名詞、未登録語、接頭辞、接尾辞、形容動詞等）がひとつ以上現れる箇所をキーワード候補として頻度を算出する（ステップＳ１１）。
特定条件（たとえば一定頻度以上、あるいは上位Ｎ語）に合致するキーワード候補を抽出する（ステップＳ１２）。
【００３７】
例えば、図４に示した文書例１の場合、形態素解析した単語列のうち品詞が名詞、サ変名詞、未登録語、接頭辞、接尾辞、形容動詞がひとつ以上現れる箇所をキーワードの候補として取り出し、頻度を集計すると以下のようになる。
【００３８】
ＡＡ社（５）、ＢＢ社（２）、ＤＤ社（１）、発売（４）、新製品（３）、
パソコン（２）、ＰＣ６３０（１）、発表（２）、
データ変換システム（１）、製品（１）、対抗（１）、方向（１）、
状況（１）、改善（１）。
【００３９】
これらのうち、頻度２以上の語をキーワード候補とすると
ＡＡ社、ＢＢ社、発売、新製品、パソコン、発表
が抽出される。
【００４０】
重要語句判定部４０では、キーワード抽出部３０から渡されたキーワード候補の語句と、パタン抽出部２０で抽出された語句とをマージして、文書中の重要な語句と判定した結果のキーワードを決定する。
または、目的や用途、抽出したいキーワードの性質によって、それぞれのいずれかだけを用いるようにしてもよい。
ここで決定された重要語句は、表示装置、プリンタまたは記憶装置へ出力される。
【００４１】
例えば、図４に示した文書例１の場合、上述のパタン抽出部２０とキーワード抽出部３０での結果をマージすると、以下の語句が抽出される。
ＡＡ社、ＢＢ社、発売、新製品、パソコン、発表、ＤＤ社、
データ変換システム、ＰＣ６３０
【００４２】
これにより、一般のキーワード抽出では、「ＤＤ社」、「データ変換システム」、「ＰＣ６３０」は頻度が低いために抽出できないが、本発明のパタン抽出部２０を用いると特定の意味を表現し得る語の並びを抽出するので、一般のキーワード抽出を補完することができる。
ここで、頻度が低いため抽出できないキーワードを抽出するために、抽出する頻度数の閾値を下げると、ノイズが多くなってしまうので、閾値を下げるのは妥当ではない。
【００４３】
以上のように実施形態１を構成することによって、従来の頻度ベースでは抽出できない、特定の意味を表し得る語句も抽出できる。
一方、パタン抽出だけでは予め記述した範囲のものについてだけ抽出するが、キーワード抽出と併用するようにしたので、パタンで記述していなかった表現も抽出することができる。
【００４４】
＜実施形態１の変形例＞
本変形例では、パタン辞書２５の各パタンに対して、そのパタンに合致した語句がどのような意味を持つかという意味カテゴリを追加し、パタン抽出部２０ではパタンに対する語句を抽出したとき、このパタンに対する意味カテゴリの評価値を付加する。
重要語句判定部４０では、パタン抽出部２０で抽出された語句の評価値およびキーワード抽出部３０で抽出されたキーワード候補の頻度数とによってキーワードとなるかどうかを判定する。
【００４５】
図６は、図２で示したパタン辞書２５にパタンごとに意味カテゴリを付与している。図６において、最初のパタンは、「組織」の意味カテゴリに属している。
また、２番目と３番目のパタンは、「製品」の意味カテゴリに属している。
【００４６】
図７は、意味カテゴリごとの評価値を示している。この意味カテゴリの評価値は、パタン辞書２５中にパタンとは別に保持してもよいし、パタンの意味カテゴリの代わりに評価値を設定しておいてもよい。
【００４７】
図４の文書例１を用いて、本変形例のパタン抽出部２０、キーワード抽出部３０および重要語句判定部４０の動作を説明する。
上記した実施形態１と同様に、図６のパタン辞書２５を用いて文書例１からパタンに該当する語句を抽出する。
ＡＡ社、ＢＢ社、ＤＤ社、データ変換システム、ＰＣ６３０
この抽出された語句の評価値は、一致したパタンに付されている意味カテゴリに対する評価値をパタン辞書２５を参照して与える（図７参照）。
「データ変換システム」および「ＰＣ６３０」は、「製品」の意味カテゴリに一致するので、評価値を「５」とし、「ＡＡ社」、「ＢＢ社」および「ＤＤ社」は「組織」の意味カテゴリに一致するので、評価値を「３」とすると、以下のようになる。
ＡＡ社（３）、ＢＢ社（３）、ＤＤ社（３）、
データ変換システム（５）、ＰＣ６３０（５）
【００４８】
また、キーワード抽出部３０では、次の頻度数付のキーワード候補が抽出される。
ＡＡ社（５）、ＢＢ社（２）、発売（４）、新製品（３）、
パソコン（２）、発表（２）
【００４９】
重要語句判定部４０では、パタン抽出部２０で抽出された語句とキーワード抽出部３０から抽出した語句とをマージし、評価値の異なる語句があれば高い評価値へ統合すると、以下の語句が最終的に抽出するキーワードとして決定される。Ａ社（５）、データ変換システム（５）、ＰＣ６３０（５）、発売（４）、ＢＢ社（３）、ＤＤ社（３）、新製品（３）、パソコン（２）、発表（２）
（この順序は、評価値順に並べてある。）
【００５０】
これにより、一般のキーワード抽出では、「ＤＤ社」、「データ変換システム」、「ＰＣ６３０」は頻度が低いために抽出できないか、または抽出結果をランキングした場合下位に位置してしまい抽出できないが、本変形例のパタン抽出部２０を用いると特定の意味を表現し得る語の並びを評価値付で抽出するので、一般のキーワード抽出を補完することができる。
【００５１】
以上のように実施形態１の変形例を構成することによって、抽出目的に応じたキーワード抽出が可能になる。
【００５２】
上述の実施形態１の変形例の意味カテゴリに対する評価値を利用者が変更可能としてもよい。
この場合の重要語句抽出装置の構成は、図８に示したブロック図のようになる。
図８において、重要語句抽出装置は、形態素解析部１０、単語辞書１５、接続表１６、パタン抽出部２０、パタン辞書２５、キーワード抽出部３０、重要語句判定部４０、評価値入力部５０とからなる。ここで、実施形態１および変形例と同じ機能をもつ構成要素には同じ符号を付し、その説明を省略する。
【００５３】
評価値入力部５０は、文書中から重要な語句を抽出する目的や使用者の希望、興味によって抽出された語句の意味カテゴリの評価値の設定を変更させる。
このために、例えば、図９に示すような評価値の入力画面を表示させ、意味カテゴリに対して抽出したいか否かを５段階で使用者に入力させる。
この入力された、意味カテゴリと評価値の対応表は、パタン辞書２５へ格納され、パタン抽出部２０でパタンに対して抽出された語句にこの評価値が与えられ、重要語句判定部４０で使われる。
【００５４】
例えば、図４の文書例１と図１０のパタン辞書を用いた場合について説明する。
パタン抽出部２０は、図１０のパタン辞書２５に保持されたパタンに合致する単語列を抽出する。
最初のパタンには、「ＡＡ社」、「ＢＢ社」および「ＤＤ社」が一致して抽出される。
２番目のパタンには、「データ変換システム」が一致して抽出される。
３番目のパタンでは、「ＰＣ６３０」が一致して抽出される。
４番目のパタンでは、「６月１５日」、「６月３０日」および「７月１日」が一致して抽出される。
【００５５】
この抽出された語句の評価値は、一致したパタンに付されている意味カテゴリに対する評価値をパタン辞書２５を参照して与える（図９および図１０参照）。「データ変換システム」および「ＰＣ６３０」は、「製品」の意味カテゴリに一致するので評価値を「５」とし、「ＡＡ社」、「ＢＢ社」および「ＤＤ社」は「組織」の意味カテゴリに一致するので評価値を「３」とし、「６月１５日」、「６月３０日」および「７月１日」は「日付」の意味カテゴリに一致するので評価値を「４」とすると、以下のようになる。
ＡＡ社（３）、ＢＢ社（３）、ＤＤ社（３）、
データ変換システム（５）、ＰＣ６３０（５）、
６月１５日（４）、６月３０日（４）、７月１日（４）。
【００５６】
キーワード抽出部３０は、文書例１を形態素解析した結果から、品詞が名詞、サ変名詞、未登録語、接頭辞、接尾辞、形容動詞がひとつ以上現れる箇所をキーワードの候補として取り出し、頻度を集計すると以下となる。
ＡＡ社（５）、ＢＢ社（２）、ＤＤ社（１）、発売（４）、新製品（３）、
パソコン（２）、ＰＣ６３０（１）、発表（２）、
データ変換システム（１）、製品（１）、対抗（１）、方向（１）、
状況（１）、改善（１）。
【００５７】
この中から頻度２以上の語をキーワード候補とし、抽出すると以下が得られる。
ＡＡ社（５）、ＢＢ社（２）、発売（４）、新製品（３）、
パソコン（２）、発表（２）
【００５８】
重要語句判定部４０では、パタン抽出部２０で抽出された語句とキーワード抽出部３０から抽出した語句とをマージし、評価値の異なる語句があれば高い評価値へ統合すると、以下の語句が最終的に抽出するキーワードとして決定される。
ＡＡ社（５）、データ変換システム（５）、ＰＣ６３０（５）、
発売（４）、６月１５日（４）、６月３０日（４）、７月１日（４）、
ＢＢ社（３）、ＤＤ社（３）、新製品（３）、パソコン（２）、発表（２）
（この順序は、評価値順に並べてある。）
【００５９】
＜実施形態２＞
図１１は、本発明の重要語句抽出装置の他の構成を示すブロック図であり、同図に示すように、重要語句抽出装置は、形態素解析部１０、単語辞書１５、接続表１６、パタン抽出部２０、パタン辞書２５、キーワード抽出部３０、重要語句判定部４０、抽出結果出力部６０とからなる。ここで、上述の実施形態１および変形例と同じ機能をもつ構成要素には同じ符号を付し、その説明を省略する。
【００６０】
本実施形態２では、抽出した文書の重要語句となるキーワードを、そのキーワードの該当する意味カテゴリとともに表示装置、プリンタあるいは記憶装置等へ出力する。
本実施形態２におけるパタン辞書２５の各パタンに対して、そのパタンに合致した語句がどのような意味を持つかという意味カテゴリを追加してあるものとする。
【００６１】
以下に、本実施形態２の動作を、図１２の文書例２と図１３のパタン辞書を用いた場合を例にして説明する。
パタン抽出部２０は、形態素解析された結果をもとに、図１３のパタン辞書２５に保持されたパタンに合致する単語列を抽出する。
最初のパタンには、意味カテゴリ「企業」で「ＡＡ社」、「ＢＢ社」および「ＤＤ社」が一致して抽出される。
２番目のパタンには、意味カテゴリ「製品」で「データ変換システム」が一致して抽出される。
３番目のパタンでは、意味カテゴリ「製品固有名」で「ＺＺ６３０」が一致して抽出される。
抽出結果は、以下のようになる。
ＡＡ社［企業］、ＢＢ社［企業］、ＤＤ社［企業］、
データ変換システム［製品］、ＺＺ６３０［製品固有名］。
【００６２】
キーワード抽出部３０は、文書例１を形態素解析した結果から、品詞が名詞、サ変名詞、未登録語、接頭辞、接尾辞、形容動詞がひとつ以上現れる箇所をキーワードの候補として取り出し、頻度を集計すると以下となる。
ＡＡ社（５）、ＢＢ社（２）、ＤＤ社（１）、発売（４）、新製品（３）、
パソコン（２）、ＺＺ６３０（１）、発表（２）、
データ変換システム（１）、製品（１）、対抗（１）、方向（１）、
状況（１）、改善（１）。
【００６３】
この中から頻度２以上の語をキーワード候補とし、抽出すると以下が得られる。
ＡＡ社（５）、ＢＢ社（２）、発売（４）、新製品（３）、
パソコン（２）、発表（２）
【００６４】
重要語句判定部４０では、パタン抽出部２０で抽出された語句とキーワード抽出部３０から抽出した語句とをマージし、意味カテゴリが付加されているものを優先して統合すると、以下の語句が最終的に抽出するキーワードとして決定される。
ＡＡ社［企業］、ＢＢ社［企業］、発売、新製品、パソコン、発表、
ＤＤ社［企業］、データ変換システム［製品］、ＺＺ６３０［製品固有名］
【００６５】
抽出結果出力部６０は、文書中の重要語句として重要語句判定部４０で決定されたキーワードを、パタン抽出部２０で抽出されたキーワードにはその意味カテゴリを付加し、キーワード抽出部３０で抽出されたキーワードはそのまま、表示装置、プリンタや記憶装置等へ出力する。
また、本重要語句抽出装置が他の装置等に組み込まれた場合には、その装置へ抽出結果を引き渡すようにする。
【００６６】
例えば、キーワードごとに意味カテゴリを付加して出力すると、次のようになる。
ＡＡ社［企業］、ＢＢ社［企業］、発売、新製品、パソコン、発表、ＤＤ社［企業］、データ変換システム［製品］、ＺＺ６３０［製品固有名］
【００６７】
または、意味カテゴリごとに分けてキーワードを出力すると、次のようになる。
企業：ＡＡ社、ＢＢ社、ＤＤ社
製品：データ変換システム
製品固有名：ＺＺ６３０
その他キーワード：発売、新製品、パソコン、発表
【００６８】
さらに、キーワードを出力する際、上述したキーワードの出力の後に抽出した文書データを付加して出力してよいし、文書データの後へ抽出したキーワードを出力するようにしてもよい。
抽出したキーワードを文書データより先に表示することで、対象文書の内容を概観できる。例えば、複数の文書について取捨選択したい場合には、先頭に文書の特徴を表す語句が出力されているので、所望の文書かどうかの判断をすばやくすることができる。
【００６９】
例えば、本発明の重要語句抽出装置を情報検索装置に組み込んだ場合、検索された文書に対して抽出したキーワードを検索結果のタイトル一覧表示に付加して、以下のように表示することができる。
【００７０】
キーワードを後に出力する場合、次のようになる。
［タイトル］ＡＡ社、新製品発売
［キーワード］ＡＡ社［企業］、ＢＢ社［企業］、発売、新製品、パソコン、発表、ＤＤ社［企業］、データ変換システム［製品］、ＺＺ６３０［製品固有名］
【００７１】
または、キーワードを先に出力する場合、次のようになる。
［キーワード］ＡＡ社［企業］、ＢＢ社［企業］、発売、新製品、パソコン、発表、ＤＤ社［企業］、データ変換システム［製品］、ＺＺ６３０［製品固有名］
［タイトル］ＡＡ社、新製品発売
【００７２】
また、同じ意味カテゴリの語ごとにまとめた場合には
［タイトル］ＡＡ社、新製品発売
企業：ＡＡ社、ＢＢ社、ＤＤ社
製品：データ変換システム
製品固有名：ＺＺ６３０
その他キーワード：発売、新製品、パソコン、発表
または、
企業：ＡＡ社、ＢＢ社、ＤＤ社
製品：データ変換システム
製品固有名：ＺＺ６３０
その他キーワード：発売、新製品、パソコン、発表
［タイトル］ＡＡ社、新製品発売
【００７３】
以上の構成により、従来のキーワード抽出では、単にキーワードが提示されるだけでどのような素性の語なのかわからないことがあったが、キーワードの意味カテゴリを出力するので、利用者にとっては抽出されたキーワードの意味を推測することができる。
特に、専門用語や固有名詞等一般的でない語は、その分野や意味することがわからない場合があったが、意味カテゴリを出力するのでこれらの分野や意味するところを把握することができる。
【００７４】
＜実施形態３＞
本実施形態３は、実施形態２のパタン辞書２５に対して、パタンの記法を追加した。
パタンへ追加された記法は、図１４に示したように、パタン中の表記の先頭に「＄」を付けた語を指定できる。この「＄」を付けた語については、単語意味辞書で指定した意味の欄の表記におきかえて、パタン照合を行うことを示している。また、パタン照合された際に、抽出指示が「＄ＯＫ」である場合は、合致した語を表示するときの意味カテゴリや情報として表示することを意味している。
【００７５】
ここで、単語意味辞書は、パタン辞書２５中に保持され、図１５に示すようなデータ構造を有している。即ち、意味の欄にリストされた複数の文字列を代表させるグループ名として、先頭に「＄」を付けた語を対応させる。
例えば、図１５において、「＄製品カテゴリ」というパタンは、「コンピュータ」、「パソコン」または「ＰＣ」をまとめた意味カテゴリであり、パタン照合に際しては、「＄製品カテゴリ」の代わりに「コンピュータ」、「パソコン」または「ＰＣ」と読み替えて照合される。
【００７６】
以下に、本実施形態３の動作を、図１６の文書例３と図１４ならびに図１５のパタン辞書を用いた場合を例にして説明する。
パタン抽出部２０は、図１６の文書例３を形態素解析した結果をもとに、図１５のパタン辞書２５に保持されたパタンに合致する単語列を抽出する。
最初のパタンには、意味カテゴリ「企業」で「ＡＡ社」、「ＢＢ社」および「ＤＤ社」が一致して抽出される。さらに、「ＡＡ社」にはパタン中で「＄ＯＫ」が抽出指示されているので「コンピュータメーカー」が、「ＢＢ社」には「ソフトウェアベンダー」が抽出される。
２番目のパタンには、意味カテゴリ「製品」で「データ変換システム」が一致して抽出される。
３番目のパタンでは、意味カテゴリ「製品固有名」で「ＺＺ６３０」が一致して抽出される。さらに、「パソコン」という語も対応つけて抽出される。
この抽出結果は、以下のようになる。
ＡＡ社［企業／コンピュータメーカー］、
ＢＢ社［企業／ソフトウェアベンダー］、ＤＤ社［企業］、
データ変換システム［製品］、ＺＺ６３０［製品固有名／パソコン］。
【００７７】
キーワード抽出部３０は、文書例１を形態素解析した結果から、品詞が名詞、サ変名詞、未登録語、接頭辞、接尾辞、形容動詞がひとつ以上現れる箇所をキーワードの候補として取り出し、頻度を集計すると以下となる。
コンピュータメーカー（１）、ＡＡ社（５）、
ソフトウェアベンダー（１）、ＢＢ社（２）、ＤＤ社（１）、発売（４）、
新製品（３）、パソコン（２）、ＺＺ６３０（１）、発表（２）、
データ変換システム（１）、製品（１）、対抗（１）、方向（１）、
状況（１）、改善（１）。
【００７８】
この中から頻度２以上の語をキーワード候補とし、抽出すると以下が得られる。
ＡＡ社（５）、ＢＢ社（２）、発売（４）、新製品（３）、
パソコン（２）、発表（２）
【００７９】
重要語句判定部４０では、パタン抽出部２０で抽出された語句とキーワード抽出部３０から抽出した語句とをマージし、意味カテゴリが付加されているものを優先して統合すると、以下の語句が最終的に抽出するキーワードとして決定される。
ＡＡ社［企業／コンピュータメーカー］、
ＢＢ社［企業／ソフトウェアベンダー］、発売、新製品、パソコン、発表、
ＤＤ社［企業］、データ変換システム［製品］、
ＺＺ６３０［製品固有名／パソコン］。
【００８０】
抽出結果出力部６０は、文書中の重要語句として重要語句判定部４０で決定されたキーワードを、パタン抽出部２０で抽出されたキーワードにはその意味カテゴリを付加し、キーワード抽出部３０で抽出されたキーワードはそのまま、表示装置、プリンタや記憶装置等へ出力する。
また、本重要語句抽出装置が他の装置等に組み込まれた場合には、その装置へ抽出結果を引き渡すようにする。
【００８１】
例えば、キーワードごとに意味カテゴリを付加して出力すると、次のようになる。
ＡＡ社［企業／コンピュータメーカー］、ＢＢ社［企業／ソフトウェアベンダー］、発売、新製品、パソコン、発表、ＤＤ社［企業］、データ変換システム［製品］、ＺＺ６３０［製品固有名／パソコン］。
【００８２】
または、意味カテゴリごとに分けてキーワードを出力すると、次のようになる。
企業：ＡＡ社（コンピュータメーカー）、ＢＢ社（ソフトウェアベンダー）、ＤＤ社
製品：データ変換システム
製品固有名：ＺＺ６３０（パソコン）
その他キーワード：発売、新製品、パソコン、発表
【００８３】
さらに、キーワードを出力する際、上述したキーワードの出力の後に抽出した文書データを付加して出力してよいし、文書データの後へ抽出したキーワードを出力するようにしてもよい。
【００８４】
また、本発明の重要語句抽出装置を情報検索装置に組み込んだ場合、検索された文書に対して抽出したキーワードを検索結果のタイトル一覧表示に付加して、以下のように表示することができる。
【００８５】
［タイトル］ＡＡ社、新製品発売
［キーワード］ＡＡ社［企業／コンピュータメーカー］、ＢＢ社［企業／ソフトウェアベンダー］、発売、新製品、パソコン、発表、ＤＤ社［企業］、データ変換システム［製品］、ＺＺ６３０［製品固有名／パソコン］。
【００８６】
［キーワード］ＡＡ社［企業／コンピュータメーカー］、ＢＢ社［企業／ソフトウェアベンダー］、発売、新製品、パソコン、発表、ＤＤ社［企業］、データ変換システム［製品］、ＺＺ６３０［製品固有名／パソコン］。
［タイトル］ＡＡ社、新製品発売
【００８７】
また、同じ意味カテゴリの語ごとにまとめて場合には
［タイトル］ＡＡ社、新製品発売
企業：ＡＡ社（コンピュータメーカー）、ＢＢ社（ソフトウェアベンダー）、ＤＤ社
製品：データ変換システム
製品固有名：ＺＺ６３０（パソコン）
その他キーワード：発売、新製品、パソコン、発表
【００８８】
企業：ＡＡ社（コンピュータメーカー）、ＢＢ社（ソフトウェアベンダー）、ＤＤ社
製品：データ変換システム
製品固有名：ＺＺ６３０（パソコン）
その他キーワード：発売、新製品、パソコン、発表
［タイトル］ＡＡ社、新製品発売
【００８９】
さらに、複数の文書データに対して重要語句を抽出して出力する場合、類似するキーワードや意味カテゴリ等の情報が近くに位置するようにして、複数文書の閲覧、取捨選択が的確に且つ効率的に行える。
例えば、次に示すような表示方法がある。
【００９０】
（１）重複するキーワードに対して、これらのキーワードを含む文書のタイトル等を表示する。
例： ［キーワード］ＡＡ社、ＢＢ社
［タイトル］ＡＡ社、新製品発売
［タイトル］ＡＡ社、ＢＢ社と提携
【００９１】
（２）重複するキーワードに対して、これらのキーワードを含む文書のタイトル等を表示するとともに、共通でない他のキーワードをタイトルの後へ表示する。
例： ［キーワード］ＡＡ社、ＢＢ社
［タイトル］ＡＡ社、新製品発売［発売、新製品、パソコン、ＤＤ社、データ変換システム、ＺＺ６３０］
［タイトル］ＡＡ社、ＢＢ社と提携［提携、発表］
【００９２】
（３）（２）の表示でタイトル中にキーワードと重複する語句がある場合には、その語句をキーワードから削除して表示する。
例： ［キーワード］ＡＡ社、ＢＢ社
［タイトル］ＡＡ社、新製品発売［パソコン、ＤＤ社、データ変換システム、ＺＺ６３０］
［タイトル］ＡＡ社、ＢＢ社と提携［発表］
【００９３】
（４）意味カテゴリなどの情報を付加して表示する。
例： ［キーワード］［企業］ＡＡ社（コンピュータメーカー）、ＢＢ社（ソフトウェアベンダー）
［タイトル］ＡＡ社、新製品発売［パソコン、ＤＤ社、データ変換システム（製品）、ＺＺ６３０（製品固有名）］
［タイトル］ＡＡ社、ＢＢ社と提携
【００９４】
（５）特定のキーワードだけに着目し、その着目したキーワードに関する文書だけをまとめて表示する。下例は、キーワード「ＡＡ社」に着目した場合である。
例： ［企業］ＡＡ社（コンピュータメーカー）、
［タイトル］ＡＡ社、新製品発売［ＢＢ社（ソフトウェアベンダー）、パソコン、ＤＤ社、データ変換システム（製品）、ＺＺ６３０（製品固有名）］
［タイトル］ＡＡ社、ＢＢ社と提携［ＢＢ社（ソフトウェアベンダー）］
【００９５】
＜実施形態４＞
さらに、本発明は上述した実施形態のみに限定されたものではない。上述した実施形態の重要語句抽出装置を構成する各機能をそれぞれプログラム化し、あらかじめＣＤ−ＲＯＭ等の記録媒体に書き込んでおき、コンピュータに搭載したＣＤ−ＲＯＭドライブのような媒体駆動装置にこのＣＤ−ＲＯＭ等を装着して、これらのプログラムをコンピュータのメモリあるいは記憶装置に格納し、それを実行することによって、本発明の目的が達成されることは言うまでもない。
この場合、記録媒体から読み出されたプログラム自体が上述した実施形態の機能を実現することになり、そのプログラムおよびそのプログラムを記録した記録媒体も本発明を構成することになる。
【００９６】
なお、記録媒体としては半導体媒体（例えば、ＲＯＭ、不揮発性メモリカード等）、光媒体（例えば、ＤＶＤ、ＭＯ、ＭＤ、ＣＤ−Ｒ等）、磁気媒体（例えば、磁気テープ、フレキシブルディスク等）等のいずれであってもよい。
【００９７】
また、ロードしたプログラムを実行することにより上述した実施形態の機能が実現されるだけでなく、そのプログラムの指示に基づき、オペレーティングシステム等が実際の処理の一部または全部を行い、その処理によって上述した実施形態の機能が実現される場合も含まれる。
【００９８】
また、上述したプログラムをサーバコンピュータの磁気ディスク等の記憶装置に格納しておき、インターネット等の通信網で接続された利用者のコンピュータからダウンロード等の形式で頒布する場合、このサーバコンピュータの記憶装置も本発明の記録媒体に含まれる。
【００９９】
【発明の効果】
以上説明したように本発明によれば、文書データに対してキーワード抽出およびパタン抽出の双方を用いて文書の重要語句を抽出するようにしたので、従来の頻度ベースでは抽出できない、特定の意味を表し得る語句も抽出できる。
一方、パタン抽出だけでは予め記述した範囲のものについてだけ抽出するが、キーワード抽出と併用するようにしたので、パタンで記述していなかった表現も抽出することができる。
【０１００】
また、パタンごとに抽出のための評価値を設定することで、抽出目的や利用者の希望や目的に合致したキーワードを抽出することができる。
【０１０１】
また、従来のキーワード抽出では、単にキーワードが提示されるだけでどのような素性の語なのかわからないことがあったが、キーワードの意味カテゴリを出力するので、利用者にとっては抽出されたキーワードの意味を推測することができる。
特に、専門用語や固有名詞等一般的でない語は、その分野や意味することがわからない場合があったが、意味カテゴリを出力するのでこれらの分野や意味するところを把握することができる。
【０１０２】
また、抽出したキーワードを文書データより先に表示することで、対象文書の内容を概観できる。例えば、複数の文書について取捨選択したい場合には、先頭に文書の特徴を表す語句が出力されているので、所望の文書かどうかの判断をすばやくすることができる。
【０１０３】
また、複数の文書データに対して重要語句を抽出して出力する場合、類似するキーワードや意味カテゴリ等の情報が近くに位置するようにして、複数文書の閲覧、取捨選択が的確に且つ効率的に行える。
【図面の簡単な説明】
【図１】本発明の重要語句抽出装置の構成を示すブロック図である。
【図２】パタン辞書のデータ構造例である。
【図３】パタン抽出部の処理手順を示すフローチャートである。
【図４】文書データの一例である。
【図５】キーワード抽出部の処理手順を示すフローチャートである。
【図６】パタン辞書のデータ構造例である。
【図７】意味カテゴリとその評価値の対応表例である。
【図８】重要語句抽出装置の他の構成を示すブロック図である。
【図９】評価値を入力する画面例である。
【図１０】パタン辞書のデータ構造例である。
【図１１】重要語句抽出装置の他の構成を示すブロック図である。
【図１２】文書データの一例である。
【図１３】パタン辞書のデータ構造例である。
【図１４】単語意味辞書に対応したパタン辞書のデータ構造例である。
【図１５】単語意味辞書のデータ構造例である。
【図１６】文書データの一例である。
【符号の説明】
１０…形態素解析部、１５…単語辞書、１６…接続表、２０…パタン抽出部、２５…パタン辞書、３０…キーワード抽出部、４０…重要語句判定部、５０…評価値入力部、６０…抽出結果出力部。
Claims (10)
- 文書データを形態素解析して品詞情報つきの単語列に分割する形態素解析部と、前記形態素解析した結果の中の単語および単語列の頻度に基づき単語および単語列を抽出するキーワード抽出部と、前記形態素解析した結果の中から特定の語の並びを抽出するパタン抽出部と、前記キーワード抽出部と前記パタン抽出部とで抽出した結果を用いて重要語句を判定する重要語句判定部とを備えることを特徴とする重要語句抽出装置。
- 請求項１に記載の重要語句抽出装置において、特定の語の並びを抽出するためのパタンとそのパタンが属する意味カテゴリおよび抽出方法の指示情報を保持するパタン辞書を有し、前記パタン抽出部は、前記パタン辞書を参照して、前記形態素解析した結果の品詞情報つきの単語列の中から特定の語の並びを抽出することを特徴とする重要語句抽出装置。
- 請求項１または２に記載の重要語句抽出装置において、前記パタン抽出部は、抽出した特定の語の並びに対して評価値を付加し、前記重要語句判定手段は、この評価値に基づいて重要語句を判定することを特徴とする重要語句抽出装置。
- 請求項３に記載の重要語句抽出装置において、前記評価値の設定を変更可能する評価値入力部を備え、抽出の目的や利用者の希望によって評価値を変化させて所望するキーワードを抽出できるようにしたことを特徴とする重要語句抽出装置。
- 請求項２、３または４に記載の重要語句抽出装置において、前記パタン抽出部で合致したパタンの意味カテゴリをキーワードとともに出力する抽出結果出力部を備えることを特徴とする重要語句抽出装置。
- 請求項２、３または４に記載の重要語句抽出装置において、前記パタン抽出部で合致したパタンで指示する抽出方法で抽出した情報とそのパタンの意味カテゴリとをキーワードとともに出力する抽出結果出力部を備えることを特徴とする重要語句抽出装置。
- 請求項５または６に記載の重要語句抽出装置において、前記抽出結果出力部は、抽出したキーワードに関する情報を出力後、抽出対象となった文書データを出力するようにしたことを特徴とする重要語句抽出装置。
- 請求項５、６または７に記載の重要語句抽出装置において、前記抽出結果出力手段は、複数の文書に対して処理を行った場合に、抽出したキーワードが類似した文書を近接した位置に出力することを特徴とする重要語句抽出装置。
- コンピュータを用いて、文書の特徴を表す重要語句を抽出するためのプログラムであって、前記コンピュータに、請求項１乃至８のいずれか１に記載の重要語句抽出装置の機能を実行させるためのプログラム。
- 請求項９に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002316986A JP2004152041A (ja) | 2002-10-31 | 2002-10-31 | 重要語句抽出装置、プログラムおよび記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002316986A JP2004152041A (ja) | 2002-10-31 | 2002-10-31 | 重要語句抽出装置、プログラムおよび記録媒体 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2004152041A true JP2004152041A (ja) | 2004-05-27 |
Family
ID=32460489
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002316986A Pending JP2004152041A (ja) | 2002-10-31 | 2002-10-31 | 重要語句抽出装置、プログラムおよび記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2004152041A (ja) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008192171A (ja) * | 2008-04-04 | 2008-08-21 | Nomura Research Institute Ltd | キーワード抽出システム |
| US8886661B2 (en) | 2006-03-23 | 2014-11-11 | Nec Corporation | Information extraction system, information extraction method, information extraction program, and information service system |
| KR20150018474A (ko) * | 2013-08-08 | 2015-02-23 | 큐리온코리아 주식회사 | 시맨틱 키워드를 추출하기 위한 방법, 비일시성의 시스템 및 컴퓨터 판독 가능한 기록 매체 |
| KR20150066160A (ko) * | 2013-12-06 | 2015-06-16 | 주식회사 케이티 | 비지도 학습을 통한 개체명 사전 구축 방법 및 시스템 |
| US9852225B2 (en) | 2004-12-30 | 2017-12-26 | Google Inc. | Associating features with entities, such as categories of web page documents, and/or weighting such features |
-
2002
- 2002-10-31 JP JP2002316986A patent/JP2004152041A/ja active Pending
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9852225B2 (en) | 2004-12-30 | 2017-12-26 | Google Inc. | Associating features with entities, such as categories of web page documents, and/or weighting such features |
| US8886661B2 (en) | 2006-03-23 | 2014-11-11 | Nec Corporation | Information extraction system, information extraction method, information extraction program, and information service system |
| JP2008192171A (ja) * | 2008-04-04 | 2008-08-21 | Nomura Research Institute Ltd | キーワード抽出システム |
| KR20150018474A (ko) * | 2013-08-08 | 2015-02-23 | 큐리온코리아 주식회사 | 시맨틱 키워드를 추출하기 위한 방법, 비일시성의 시스템 및 컴퓨터 판독 가능한 기록 매체 |
| KR102424196B1 (ko) * | 2013-08-08 | 2022-07-25 | 큐리온코리아 주식회사 | 시맨틱 키워드를 추출하기 위한 방법, 비일시성의 시스템 및 컴퓨터 판독 가능한 기록 매체 |
| KR20150066160A (ko) * | 2013-12-06 | 2015-06-16 | 주식회사 케이티 | 비지도 학습을 통한 개체명 사전 구축 방법 및 시스템 |
| KR102196508B1 (ko) * | 2013-12-06 | 2020-12-30 | 주식회사 케이티 | 비지도 학습을 통한 개체명 사전 구축 방법 및 시스템 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4347226B2 (ja) | 情報抽出プログラムおよびその記録媒体、情報抽出装置ならびに情報抽出規則作成方法 | |
| JPH1145241A (ja) | かな漢字変換システムおよびそのシステムの各手段としてコンピュータを機能させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体 | |
| JP2008287406A (ja) | 情報処理装置および情報処理方法、プログラム、並びに、記録媒体 | |
| JP2005025525A (ja) | 情報検索システム、情報検索方法及び情報検索プログラム | |
| JP4001283B2 (ja) | 形態素解析装置および自然言語処理装置 | |
| JPH09198395A (ja) | 文書検索装置 | |
| JP2004152041A (ja) | 重要語句抽出装置、プログラムおよび記録媒体 | |
| JPH11296537A (ja) | 情報検索システム、情報提供装置、情報検索端末装置、情報検索方法および記憶媒体 | |
| JP2008026967A (ja) | 文書検索システム及びプログラム | |
| JP2004157965A (ja) | 検索支援装置、検索支援方法、プログラムおよび記録媒体 | |
| JP5733285B2 (ja) | 検索装置、検索方法及びプログラム | |
| JPH1145252A (ja) | 情報検索装置およびその装置としてコンピュータを機能させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体 | |
| JP2004220226A (ja) | 検索文書のための文書分類方法及び装置 | |
| JP2005234772A (ja) | 文書管理装置および方法 | |
| JP4085568B2 (ja) | テキストマイニング方法およびテキストマイニング装置並びにコンピュータ読み取り可能な記憶媒体 | |
| JP5289468B2 (ja) | 回答検索装置、方法、及びプログラム | |
| JP2009059290A (ja) | 外国語文書作成支援装置、外国語文書作成支援方法および外国語文書作成支援プログラム | |
| JPH1145255A (ja) | 文書検索装置およびその装置としてコンピュータを機能させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体 | |
| JPH1145249A (ja) | 情報検索装置およびその装置としてコンピュータを機能させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体 | |
| JP2007233724A (ja) | 文書検索システム、その方法及びプログラム | |
| JPH1145269A (ja) | 文書管理支援システムおよびそのシステムとしてコンピュータを機能させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体 | |
| JP4336403B2 (ja) | 情報検索装置及びその方法、コンピュータ可読メモリ | |
| JP2005234635A (ja) | 文書要約装置および方法 | |
| JPH1145253A (ja) | 情報検索装置およびその装置としてコンピュータを機能させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体 | |
| JP2005234688A (ja) | 重要言語識別方法、重要言語識別プログラム、重要言語識別装置、文書検索装置およびキーワード抽出装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050401 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20081106 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081118 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090107 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20090317 |