JP2009104296A - 関連キーワード抽出方法及び装置及びプログラム及びコンピュータ読取可能な記録媒体 - Google Patents

Abstract

【課題】ある一時期だけ話題になったような事柄の関連キーワードを精度よく抽出する。
【解決手段】本発明は、作成時刻情報を有する文書群が入力されると、該文書群を解析し、関連性評価の対象となる語句を該文書群中から切り出し、文書群の解析結果に含まれる語句について使用頻度の時間変動を集計し、外部から関連キーワード抽出処理の対象となる分析対象語句の情報を受け付け、語句毎の使用頻度の時間変動Ａと、入力された該分析対象語句の使用頻度の時間変動Ｂとを比較することにより、各語句の分析対象語句との関連度を算出し、関連度に基づいて、分析対象語句の使用頻度の時間変動Ｂと文書群中での使用頻度の時間変動Ａが似通っている語句を関連キーワードとして出力する。
【選択図】図１

Description

本発明は、関連キーワード抽出方法及び装置及びプログラム及びコンピュータ読取可能な記録媒体に係り、特に、新しい情報を含む文書を次々と入手し得る状況において、ある出来事と関連して話題となっている語句を自動的に抽出するための関連キーワード抽出方法及び装置及びプログラム及びコンピュータ読取可能な記録媒体に関する。

インターネットをはじめとした情報メディアの発達により、誰であっても容易に情報発信を行えるようになり、様々な発信者によって文書が作成され、ネットワーク上に発信されるようになってきている。これらの文書はその作成時刻情報も付与された形で公開されることも多く、そのような文書群を解析し、文書群中に含まれる語句の出現回数の時間変動を抽出し、複数の語句の時間変動パターンの相似関係を分析することによって、複数の語句が関連した話題なのかどうかを自動判別することが可能になると考えられる。

従来の技術として、大量の文書中における語句の共起回数を分析することにより、より多く共起するような語句を、関連キーワードとして抽出する技術がある（例えば、特許文献１参照）。
特開平５−２８２３６７号公報

しかしながら、上記従来の技術は、ユーザの設定した分析対象語句との共起頻度を利用して関連キーワードを抽出するため、時事ニュースのようなある期間のみ話題になった事柄の関連キーワードを抽出する場合に、そのことが書かれた記事数が記事の全数に対して少なくなってしまうために、関連キーワードの抽出精度が落ちるという問題点があった。

本発明は、上記の点に鑑みなされたもので、語句の使用頻度の時間的な変動を考慮した関連キーワード抽出を行うことにより、ある一時期だけ話題になったような事柄の関連キーワードを精度よく抽出することが可能な関連キーワード抽出方法及び装置及びプログラム及びコンピュータ読取可能な記録媒体を提供することを目的とする。

図１は、本発明の原理を説明するための図である。

本発明（請求項１）は、文書解析手段、語句集計手段、語句記憶手段、関連度算出手段、出力手段とを有する関連キーワード抽出装置において、入力された分析対象語句の関連キーワードを、多数の文書を解析することによって取得する関連キーワード抽出方法であって、
文書解析手段が、作成時刻情報を有する文書群が入力されると、該文書群を解析し、関連性評価の対象となる語句を該文書群中から切り出す文書解析ステップ（ステップ１）と、
語句集計手段が、文書解析ステップにより得られる文書群の解析結果に含まれる語句について使用頻度の時間変動を集計し、語句毎の使用頻度の時間変動を語句記憶手段に格納する語句集計ステップ（ステップ２）と、
関連度算出手段が、外部から関連キーワード抽出処理の対象となる分析対象語句の情報を受け付け（ステップ３）、語句記憶手段の語句毎の使用頻度の時間変動Ａと、入力された該分析対象語句の使用頻度の時間変動Ｂとを比較することにより、各語句の分析対象語句との関連度を算出する（ステップ４）関連度算出ステップと、
出力手段が、関連度算出ステップにおいて算出された関連度に基づいて、分析対象語句の使用頻度の時間変動Ｂと文書群中での使用頻度の時間変動Ａが似通っている語句を関連キーワードとして出力する出力ステップ（ステップ５）と、を行う。

また、本発明（請求項２）は、関連度算出ステップにおいて、
文書群中における分析対象語句ｗ_ｉの使用頻度の時間変動を表す関数をＤw_ｉ（Ｔ）、該文書群に含まれるある語句ｗ_ｋの使用頻度の時間変動を表す関数をＤw_ｋ（Ｔ）とした際に、該語句ｗ_ｋの分析対象語句ｗ_ｉに対する関連度スコアＲ（ｗ_ｋ）を、

により求める。

また、本発明（請求項３）は、関連度算出ステップにおいて、
文書群中における分析対象語句ｗ_ｉの使用頻度の時間変動を表す関数をＤw_ｉ（Ｔ）、該文書群に含まれるある語句ｗ_ｋの使用頻度の時間変動を表す関数をＤw_ｋ（Ｔ）とした際に、外部から入力された処理対象期間の開始時刻ｔ_ｓから終了時刻ｔ_ｅまでの処理対象期間におけるある語句ｗ_ｋの処理対象語句に対する関連度スコアＲ（ｗ_ｋ）を、

により求める。

図２は、本発明の原理構成図である。

本発明（請求項４）は、入力された分析対象語句の関連キーワードを、多数の文書を解析することによって取得する関連キーワード抽出装置であって、
作成時刻情報を有する文書群が入力されると、該文書群を解析し、関連性評価の対象となる語句を該文書群中から切り出す文書解析手段２２０と、
文書解析手段により得られる文書群の解析結果に含まれる語句について使用頻度の時間変動を集計し、語句毎の使用頻度の時間変動を語句記憶手段２４０に格納する語句集計手段２３０と、
外部から関連キーワード抽出処理の対象となる分析対象語句の情報を受け付け、語句記憶手段２４０の語句毎の使用頻度の時間変動Ａと、入力された該分析対象語句の使用頻度の時間変動Ｂとを比較することにより、各語句の分析対象語句との関連度を算出する関連度算出手段２５０と、
関連度算出手段２５０で算出された関連度に基づいて、分析対象語句の使用頻度の時間変動Ｂと文書群中での使用頻度の時間変動Ａが似通っている語句を関連キーワードとして出力する関連キーワード出力手段２６０と、を有する。

また、本発明（請求項５）は、関連度算出手段２５０において、
文書群中における分析対象語句ｗ_ｉの使用頻度の時間変動を表す関数をＤw_ｉ（Ｔ）、該文書群に含まれるある語句ｗ_ｋの使用頻度の時間変動を表す関数をＤw_ｋ（Ｔ）とした際に、該語句ｗ_ｋの分析対象語句ｗ_ｉに対する関連度スコアＲ（ｗ_ｋ）を、

により求める手段を含む。

また、本発明（請求項６）は、関連度算出手段において、
文書群中における分析対象語句ｗ_ｉの使用頻度の時間変動を表す関数をＤw_ｉ（Ｔ）、該文書群に含まれるある語句ｗ_ｋの使用頻度の時間変動を表す関数をＤw_ｋ（Ｔ）とした際に、外部から入力された処理対象期間の開始時刻ｔ_ｓから終了時刻ｔ_ｅまでの処理対象期間におけるある語句ｗ_ｋの処理対象語句に対する関連度スコアＲ（ｗ_ｋ）を、

により求める手段を含む。

本発明（請求項７）は、請求項４乃至６のいずれか１項に記載の関連キーワード抽出装置を構成する各手段としてコンピュータを機能させる関連キーワード抽出プログラムである。

本発明（請求項８）は、請求項７記載の関連キーワード抽出プログラムを格納したコンピュータ読取可能な記録媒体である。

上記のように本発明によれば、語句の使用頻度の時間変化を考慮した関連キーワードの算出を行うため、ある期間に特徴的に記事が発信される時事ニュース等に関連するキーワードを精度よく抽出することが可能となる。

以下、図面と共に本発明の実施の形態を説明する。

［第１の実施の形態］
図３は、本発明の第１の実施の形態における関連キーワード抽出装置の構成図である。

同図に示す関連キーワード抽出装置２００には、本装置が分析対象とする文書データを蓄積する文書データベース２１０と、本装置が出力する関連キーワード情報を表示もしくは出力する出力装置２７０とが接続されている。

関連キーワード装置２００は、文書解析部２２０、語句集計部２３０、語句データベース２４０、関連度算出部２５０、関連キーワード出力部２６０から構成される。

文書データベース２１０には、作成時刻が付加された文書群が蓄積されている。例えば、Ｗｅｂ上に公開されている文書に「2007 4/25 13:55」といったような作成時刻と文書を一意に表す文書ＩＤとを付加し、次々と入力として記録することにより、文書データベース２１０を構築することができる。インターネット上の日記サイトなど、新しい文書が逐次更新される情報源の場合には、サイト内の文書が更新された場合にも、新たな文書が作成されたと見做して収集してもよい。

図４は、本発明の第１の実施の形態における動作のフローチャートである。上記の関連キーワード抽出装置の動作を図４に沿って説明する。

ステップ１１０） 文書解析部２２０は、文書データベース２１０に蓄積されている文書を１文書ずつ取得し、形態素解析を行い、品詞毎に分解して抽出する。例えば、「おいしいチョコドーナツ」という文章を、「おいしい」「チョコ」「ドーナツ」と分解する。このようにして得られた語句それぞれについて、解析前に該語句が含まれていた文書の作成時刻と文書ＩＤとを付加し、語句集計部２３０の語句バッファ２３１に蓄積する。このとき、処理の軽減のために分解された品詞群から名詞のみ選んで抽出してもよい。また、必要に応じて「チョコ」「ドーナツ」という連続する名詞を連結して「チョコドーナツ」という複合名詞とし、複合名詞を１個の名詞として扱ってもよい。以下の説明では、名詞と複合名詞とを総称して"語句"と呼ぶ。語句バッファ２３１に蓄積される情報は、「チョコドーナツ 2006/01/06 11:36 ID1035、バナナ 2006/01/06 11:36 ID1035、新製品 2006/01/06 12:06 ID1036、…」といった形式となる。

ステップ１２０） 関連度算出部２５０において、外部から関連キーワードを抽出する対象となる分析対象語句の入力を受け付ける。なお、当該処理は、次の語句集計部２３０の処理が終わってから行ってもよい。

ステップ１３０） 語句集計部２３０は、予め設定された一定期間毎に起動し、語句バッファ２３１中に含まれる全ての語句について語句の使用回数を集計する。集計の結果得られた、語句と語句の使用頻度との全ての組を、集計した時刻の情報と共に語句データベース２４０に記録する。語句データベース２４０に蓄積される情報の例を図５に示す。

語句集計部２３０において、データ量の削減のため、全文書中での語句の使用回数を集計する代わりに、当該語句が同一の文書ＩＤで複数回使われている場合には、合わせて１回と集計することにより、語句の使用頻度を集計してもよい。

関連度算出部２５０は、ステップ１２０において外部から処理対象となる分析対象語句が入力されると、語句データベース２４０から、他の全ての語句の使用回数の時間変化を抽出し、当該分析対象語句の使用回数の時間変化と比較することにより、各語句の分析対象語句に対する関連度を算出し、関連キーワード出力部２６０の関連度バッファ２６１に出力する。

以下、分析対象語句をｗ_ｉと表記することとし、関連度算出部の動作を詳細に説明する。

図６は、本発明の第１の実施の形態における関連度算出部の処理のフローチャートである。

関連度算出部２５０は、処理が開始されると外部から処理対象となるｗ_ｉの入力を受け付ける（ステップ５００）。

受け付けたｗ_ｉについて語句データベース２４０から該語句ｗ_ｉの各集計期間毎の使用頻度情報を読み込み、集計期間毎のｗ_ｉの使用頻度の変動を表す関数Ｄw_ｉ（Ｔ）を算出する。このとき、Ｄw_ｉ（ｋ）にはｋ期間前の語句ｗ_ｉの使用頻度を表すこととする。また、処理を軽減するため最近N期間の使用文書数のみに限ってＤw_ｉ（Ｔ）を算出してもよい（ステップ５１０）。また、ｗ_ｉが複数の形態素から構成される語句である場合など、ｗ_ｉが語句データベース２４０に含まれない場合には、文書データベース２１０からｗ_ｉを含む文書情報の集合を取得し、得られた各文書の作成時刻情報を集計することによりＤｗ_ｉ（Ｔ）を算出してもよい。

次に、語句データベース２４０から未処理の語句を一つ選び出し、当該語句（以下、ｗ_ｋと記す）の各集計期間毎の使用頻度情報をステップ５１０と同様に語句データベース２３０から取得し、当該の使用頻度の変動を表す関数Ｄw_ｋ（Ｔ）をステップ５１０と同様に算出する（ステップ５２０）。

ｗ_ｉの時間変化関数Ｄｗ_ｉ（T）とｗ_ｋの時間変化関数Ｄw_ｋ（Ｔ）の相関を評価して、ｗ_ｉに対するｗ_ｋの関連度スコアを得る。相関性の算出には一般的な波形の相関関数を用いるものとし、下記の式（１）によってｗ_ｉに対するｗ_ｋの関連度（Ｒ（ｗ_ｋ）と表記することとする）が得られる（ステップ５３０）。

ｗ_ｋとステップ５３０で得られたｗ_ｋの関連度スコアＲ（ｗ_ｋ）を関連キーワード出力部２６０の関連度バッファ２６１に蓄積する（ステップ５４０）。

語句データベース２４０に含まれる全ての語句について、関連度算出処理がされたかを確認し、全ての語句が処理されている場合、関連度算出部２５０の処理を終了する。未処理の語句がある場合には、ステップ５２０に戻り処理を継続する（ステップ５５０）。

ステップ１４０） 関連キーワード出力部２６０は、関連度バッファ２６１中に含まれる全ての語句と関連との組を、その関連度の高い順に並べ替え、予め指定された閾値よりも高い関連度を持つ語句を分析対象語句の関連キーワードとして、出力装置２７０に出力する。この際、必要に応じて各語句の関連度の値と共に出力してもよい。

［第２の実施の形態］
上記の第１の実施の形態においては、全ての時間範囲における使用頻度の時間変異の相関を用いて関連度を算出していた。しかし、関連度を抽出する処理対象語句が多く使われていた期間が事前に分かっている場合においては、関連度の算出を行う時間範囲をその前後のみに絞ることにより、計算量を削減し抽出精度を上げることができる。本実施の形態では、そのような処理について説明する。

図７は、本発明の第２の実施の形態における関連キーワード抽出装置の構成図である。

同図に示す関連キーワード抽出装置２００は、前述の第１の実施の形態と同様に、本装置が分析対象とする文書データを蓄積する文書データベース２１０と、本装置が出力する関連キーワード情報を表示もしくは出力する出力装置２７０とが接続されている。

関連キーワード抽出装置２００は、第１の実施の形態の構成と同様であり、関連度算出部５５０の動作が異なるのみであるので、それ以外の構成要件に関する説明は省略する。

関連度算出部５５０は、外部から処理対象となる分析対象語句と処理を行う期間の情報が入力されると、語句データベース２４０から、他の全ての語句の処理対象期間における使用回数の時間変化を抽出し、当該分析対象語句の処理対象期間における使用回数の時間変化と比較することにより、各語句の分析対象語句に対する関連度を算出し、関連キーワード出力部２６０の関連度バッファ２６１に出力する。

以下、入力された分析対象語句をｗ_ｉと表記し、入力された処理対象期間をその開始時刻をｔ_ｓ、終了時刻をｔ_ｅと記すものとする。

図８は、本発明の第２の実施の形態における関連度算出部の処理のフローチャートである。

関連度算出部２５０は、処理が開始されると外部から処理対象となるｗ_ｉと処理対象期間を表すｔ_ｓとｔ_ｅとの入力を受け付ける（ステップ６００）。

受け付けたｗ_ｉについて、語句データベース２４０から時刻ｔ_ｓからｔ_ｅの範囲における該語句の各集計期間毎の使用頻度情報を読み込み、集計期間毎のｗ_ｉの使用頻度の変更を表す関数Ｄw_ｉ（Ｔ）を算出する。このときＤw_ｉ（Ｔ）の取り得る範囲はｔ_ｓ＜Ｔ＜ｔ_ｅとなる（ステップ６１０）。また、ｗ_ｉが複数の形態素から構成される語句である場合など、ｗ_ｉが語句データベース２４０に含まれない場合には、文書データベース２１０からｗ_ｉを含む文書情報の集合を取得し、得られた各文書の作成時刻情報を集計することにより、Ｄｗ_ｉ（Ｔ）を算出してもよい。

次に、語句データベース２４０から未処理の語句をひとつ選び出し、当該語句（以下、ｗ_ｋと記す）の時刻ｔ_ｓからｔ_ｅの範囲における各集計期間毎の使用頻度情報をステップ６１０と同様に語句データベース２４０から取得し、当該ｗ_ｋの使用頻度の変動を表す関数Ｄw_ｋ（Ｔ）をステップ６１０と同様に算出する（ステップ６２０）。

ｗ_ｉの時間変化関数Ｄw_ｉ（Ｔ）とｗ_ｋの時間変化関数Ｄw_ｋ（Ｔ）との相関を評価して、ｗ_ｉに対するｗ_ｋの関連度スコアを得る相関性の算出には一般的な波形の相関関数を用いるものとし、下記の式（２）によって、ｗ_ｉに対するｗ_ｋの関連度スコア（Ｒ（ｗ_ｋ）と表記することとする）が得られる（ステップ６３０）。

ｗ_ｋとステップ６３０で得られたｗ_ｋの関連度スコアＲ（ｗ_ｋ）を関連キーワード出力部２６０の関連度バッファ２６１に蓄積する（ステップ６４０）。

語句データベース２４０に含まれる全ての語句について、関連度の算出処理がされたかを確認し、全ての語句が処理されている場合は、関連度算出部５５０の処理を終了する。未処理の語句がある場合にはステップ６２０に戻り、処理を継続する（ステップ６５０）。

なお、上記の第１、第２の実施の形態における図３、図７に示す関連キーワード抽出装置の各構成要素の動作をプログラムとして構築し、関連キーワード抽出装置として利用されるコンピュータにインストールして実行させる、または、ネットワークを流通させることが可能である。

また、構築されたプログラムをハードディスクや、フレキシブルディスク・ＣＤ−ＲＯＭ等の可搬記憶媒体に格納し、コンピュータにインストールする、または、配布することが可能である。

なお、本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内において種々変更・応用が可能である。

本発明は、文書解析技術に適用可能である。

本発明の原理を説明するための図である。 本発明の原理構成図である。 本発明の第１の実施の形態における関連キーワード抽出装置の構成図である。 本発明の第１の実施の形態における動作のフローチャートである。 本発明の第１の実施の形態における語句データベースに蓄積される情報の例である。 本発明の第１の実施の形態における関連度算出部の処理のフローチャートである。 本発明の第２の実施の形態における関連キーワード抽出装置の構成図である。 本発明の第２の実施の形態における関連度算出部の処理のフローチャートである。

符号の説明

２００ 関連キーワード抽出装置
２１０ 文書データベース
２２０ 文書解析手段、文書解析部
２３０ 語句集計手段、語句集計部
２３１ 語句バッファ
２４０ 語句データベース
２５０ 関連度算出手段、関連度算出部
２６０ 関連キーワード出力手段、関連キーワード出力部
２６１ 関連度バッファ
２７０ 出力装置

Claims (8)

1. 文書解析手段、語句集計手段、語句記憶手段、関連度算出手段、出力手段とを有する関連キーワード抽出装置において、入力された分析対象語句の関連キーワードを、多数の文書を解析することによって取得する関連キーワード抽出方法であって、
   前記文書解析手段が、作成時刻情報を有する文書群が入力されると、該文書群を解析し、関連性評価の対象となる語句を該文書群中から切り出す文書解析ステップと、
   前記語句集計手段が、前記文書解析ステップにより得られる文書群の解析結果に含まれる語句について使用頻度の時間変動を集計し、語句毎の使用頻度の時間変動を前記語句記憶手段に格納する語句集計ステップと、
   前記関連度算出手段が、外部から関連キーワード抽出処理の対象となる分析対象語句の情報を受け付け、前記語句記憶手段の前記語句毎の使用頻度の時間変動Ａと、入力された該分析対象語句の使用頻度の時間変動Ｂとを比較することにより、各語句の分析対象語句との関連度を算出する関連度算出ステップと、
   前記出力手段が、前記関連度算出ステップにおいて算出された関連度に基づいて、前記分析対象語句の前記使用頻度の時間変動Ｂと前記文書群中での使用頻度の時間変動Ａが似通っている語句を関連キーワードとして出力する出力ステップと、
   を行うことを特徴とする関連キーワード抽出方法。
2. 前記関連度算出ステップにおいて、
   前記文書群中における分析対象語句ｗ_ｉの使用頻度の時間変動を表す関数をＤw_ｉ（Ｔ）、該文書群に含まれるある語句ｗ_ｋの使用頻度の時間変動を表す関数をＤw_ｋ（Ｔ）とした際に、該語句ｗ_ｋの分析対象語句ｗ_ｉに対する関連度スコアＲ（ｗ_ｋ）を、
   

   

   により求める
   請求項１記載の関連キーワード抽出方法。
3. 前記関連度算出ステップにおいて、
   前記文書群中における分析対象語句ｗ_ｉの使用頻度の時間変動を表す関数をＤw_ｉ（Ｔ）、該文書群に含まれるある語句ｗ_ｋの使用頻度の時間変動を表す関数をＤw_ｋ（Ｔ）とした際に、外部から入力された処理対象期間の開始時刻ｔ_ｓから終了時刻ｔ_ｅまでの処理対象期間におけるある語句ｗ_ｋの処理対象語句に対する関連度スコアＲ（ｗ_ｋ）を、
   

   

   により求める
   請求項１記載の関連キーワード抽出方法。
4. 入力された分析対象語句の関連キーワードを、多数の文書を解析することによって取得する関連キーワード抽出装置であって、
   作成時刻情報を有する文書群が入力されると、該文書群を解析し、関連性評価の対象となる語句を該文書群中から切り出す文書解析手段と、
   前記文書解析手段により得られる文書群の解析結果に含まれる語句について使用頻度の時間変動を集計し、語句毎の使用頻度の時間変動を語句記憶手段に格納する語句集計手段と、
   外部から関連キーワード抽出処理の対象となる分析対象語句の情報を受け付け、前記語句記憶手段の前記語句毎の使用頻度の時間変動Ａと、入力された該分析対象語句の使用頻度の時間変動Ｂとを比較することにより、各語句の分析対象語句との関連度を算出する関連度算出手段と、
   前記関連度算出手段で算出された関連度に基づいて、前記分析対象語句の前記使用頻度の時間変動Ｂと前記文書群中での使用頻度の時間変動Ａが似通っている語句を関連キーワードとして出力する関連キーワード出力手段と、
   を有することを特徴とする関連キーワード抽出装置。
5. 前記関連度算出手段は、
   前記文書群中における分析対象語句ｗ_ｉの使用頻度の時間変動を表す関数をＤw_ｉ（Ｔ）、該文書群に含まれるある語句ｗ_ｋの使用頻度の時間変動を表す関数をＤw_ｋ（Ｔ）とした際に、該語句ｗ_ｋの分析対象語句ｗ_ｉに対する関連度スコアＲ（ｗ_ｋ）を、
   

   

   により求める手段を含む
   請求項４記載の関連キーワード抽出装置。
6. 前記関連度算出手段は、
   前記文書群中における分析対象語句ｗ_ｉの使用頻度の時間変動を表す関数をＤw_ｉ（Ｔ）、該文書群に含まれるある語句ｗ_ｋの使用頻度の時間変動を表す関数をＤw_ｋ（Ｔ）とした際に、外部から入力された処理対象期間の開始時刻ｔ_ｓから終了時刻ｔ_ｅまでの処理対象期間におけるある語句ｗ_ｋの処理対象語句に対する関連度スコアＲ（ｗ_ｋ）を、
   

   

   により求める手段を含む
   請求項４記載の関連キーワード抽出装置。
7. 請求項４乃至６のいずれか１項に記載の関連キーワード抽出装置を構成する各手段としてコンピュータを機能させる関連キーワード抽出プログラム。
8. 請求項７記載の関連キーワード抽出プログラムを格納したコンピュータ読取可能な記録媒体。

Images