JP2004287781A - 重要度算出装置 - Google Patents

Abstract

【課題】話題となる単語の関連範囲を特定することができる重要度算出装置を得ることを目的とする。
【解決手段】形態素解析部３により抽出された単語間の共起確率と位置関係を考慮して単語間の関連度を算出する関連度算出部６と、その関連度算出部６により算出された関連度を用いて文書の任意の区間毎に、当該区間における単語の重要度を算出する重要度算出部７とを設ける。これにより、話題となる単語の関連範囲を特定することができる重要度算出装置を得ることができる効果を奏する。
【選択図】 図１

Description

【０００１】
【発明の属する技術分野】
この発明は、文書に含まれている単語の重要度を算出する重要度算出装置に関するものである。
【０００２】
【従来の技術】
大量の文書をデータベースで管理する場合、文書管理の利便性を高めるため、文書から重要な単語を抽出し、その単語をキーワードとして登録したり、キーワードで分類したりする方法がある。
文書から重要な単語をキーワードとして自動的に抽出するには、文書中の各単語の重要度を計算し、その重要度が大きな単語から順番に任意数だけ抽出する方法がある。
この単語の重要度の算出には、特定の単語が複数の文書内において、それぞれどの程度重要であるかの観点から算出する方法（以下、方法Ａという）と、１文書内の他の単語との比較において、どの程度重要であるかの観点から算出する方法（以下、方法Ｂという）がある。
【０００３】
方法Ａにおける重要度の算出方法は、ＴＦ^＊ＩＤＦ指標がよく知られている。この方法では、他に出現する文書数が少ない単語ほど、また、１文書内に多く出現する単語ほど重要度が高くなる。
以下の特許文献１では、ＴＦ^＊ＩＤＦ指標の計算処理を改良することにより、ただ一つの文書にしか出現しない単語の出現頻度を低くして使い易くしている。
【０００４】
しかし、特許文献１では、重要度を計算する単語自体の出現頻度で重要度を決定するため、単語の出現する文書数が同一の場合、１文書中の出現頻度が少ない単語ほど重要度が低くなる不具合がある。例えば、文書タイトル中の単語など、出現頻度が低いが文書の内容を表すような重要単語の重要度が低くなってしまうことがある。
また、同一頻度の単語は、全て同一の重要度となってしまう不具合もある。例えば、文書中で話題の中心である単語と、話題とあまり関連しない単語が同一出現頻度で、これらの単語が出現する他の文書数が同一の場合、それぞれの単語の重要度が全く同一になるため、文書中の単語の重要度を正しく算出することができなくなる。
【０００５】
方法Ｂにおける重要度の算出方法は、例えば、以下の特許文献２に開示されている。この算出方法は、文書に対して形態素解析や構文解析を実施して、単語毎の出現頻度を算出し、単語の文字に対する重み情報、品詞に対する重み情報、文節に対する重み情報を用いて仮重要度を算出し、その仮重要度を補正するようにしている。
しかし、この算出方法においても、単語の出現頻度を主に使用するため、やはり重要度が出現頻度に左右されてしまうことがある。
【０００６】
そこで、従来の重要度算出装置は、単語の出現頻度に左右されずに重要度を算出するため、会話（文書に相当）中の単語と、予め用意した単語（会話中には必ずしも存在しない単語）との関連度を算出して、その関連度の高い話題を出力するようにしている（以下の特許文献３を参照）。
【０００７】
【特許文献１】
特開平１１−１３４３４８号公報（段落番号［００１１］から［００１４］、図１）
【特許文献２】
特開平１０−１７７５７５号公報（段落番号［００５６］から［００６９］、図１）
【特許文献３】
特開平１１−７４４７号公報（段落番号［０００９］から［００２１］、図２）
【０００８】
【発明が解決しようとする課題】
従来の重要度算出装置は以上のように構成されているので、単語間の共起確率を用いて関連度を算出しているが、各単語の出現位置を特に考慮することなく関連度を算出している。そのため、その関連度を参酌しても話題となる単語の関連範囲を特定することができないなどの課題があった。
【０００９】
この発明は上記のような課題を解決するためになされたもので、話題となる単語の関連範囲を特定することができる重要度算出装置を得ることを目的とする。
【００１０】
【課題を解決するための手段】
この発明に係る重要度算出装置は、形態素解析手段の解析結果から単語を抽出し、単語間の共起確率と位置関係を用いて単語間の関連度を算出し、単語間の共起確率と位置関係を用いて単語間の関連度を算出し、その関連度を用いて単語の重要度を算出するようにしたものである。
【００１１】
【発明の実施の形態】
以下、この発明の実施の一形態を説明する。
実施の形態１．
図１はこの発明の実施の形態１による重要度算出装置を示す構成図であり、図において、入力部１は文書を入力する入力手段を構成している。具体的には、コンピュータシステムのハードディスクに格納されているファイルを入力するオペレーティングシステムによって実現される。あるいは、電子メールなどの文書を受信する電子メールサーバや、インターネット上のＷｅｂページから文書を入力するＷｅｂサーバなどによっても実現される。
辞書記憶部２は形態素辞書を記憶しており、不揮発性メモリやハードディスクから構成されている。形態素辞書は各種の形態素の表記と品詞を記憶し、また、品詞間の文法的な接続条件を記憶している。形態素解析部３は辞書記憶部２に記憶されている形態素辞書を参照して、入力部１により入力された文書に対する形態素解析を実施することにより、その文書から単語を抽出する。なお、辞書記憶部２及び形態素解析部３から形態素解析手段が構成されている。
【００１２】
共起情報記憶部４は共起情報を記憶しており、不揮発性メモリやハードディスクから構成されている。共起情報は２つの単語が同一の文書に同時に出現する頻度（確率）を示すデータである。共起情報取得部５は形態素解析部３により抽出された形態素から単語（ここでは品詞）を抽出し、抽出した各単語間の共起情報を共起情報記憶部４から取得する。関連度算出部６は共起情報取得部５により取得された単語間の共起情報と位置情報（文書における単語の出現位置に関する情報であって、例えば、単語Ａの記述位置と単語Ｂの記述位置との距離を示す情報）を用いて単語間の関連度を算出する。なお、共起情報記憶部４、共起情報取得部５及び関連度算出部６から関連度算出手段が構成されている。
【００１３】
重要度算出部７は関連度算出部６により算出された関連度を用いて文書の任意の区間毎に、当該区間における単語の重要度を算出する重要度算出手段を構成している。出力部８は重要度算出部７により算出された単語の重要度を出力するものであり、出力部８はオペレーティングシステムによるファイルシステムやプリンタやＦＡＸサーバなどによって実現される。
なお、形態素解析部３、共起情報取得部５、関連度算出部６及び重要度算出部７は専用の電子回路を用いて実現してもよいし、コンピュータシステムにおける中央演算装置で動作するプログラムによって実現してもよい。
【００１４】
図２及び図３は辞書記憶部２に記憶されている形態素辞書の記憶内容を示す説明図であり、特に図２は各種の形態素の表記と品詞を示している。
また、図３は品詞間の文法的な接続条件を示している。これらの接続条件は、連続する２つの品詞の接続が正しい組合せであることを示すものであって、例えば名詞と助詞の組合せは文法的に正しい組合せであることを意味している。
【００１５】
図４は共起情報記憶部４に記憶されている共起情報を示す説明図であり、共起情報は２つの単語が同一の文書に同時に出現する頻度（確率）を示している。図４の例では、例えば、「検索」と「インターネット」が同時に出現する文書の確率は「０．１２５４」である。
なお、共起情報の作成は、予め大量の学習用テキストに対して形態素解析を実施して、その学習用テキストから名詞である単語を抽出し、下式を用いて、各単語間の共起情報を算出する。
ｒ（ｗ_ｉ，ｗ_ｊ）＝Ｐ（ｗ_ｉ，ｗ_ｊ）／Ｐ（ｗ_ｉ）Ｐ（ｗ_ｊ） （１）
ここで、ｒ（ｗ_ｉ，ｗ_ｊ）は単語ｗ_ｉと単語ｗ_ｊの共起情報、Ｐ（ｗ_ｉ，ｗ_ｊ）は単語ｗ_ｉと単語ｗ_ｊが共に出現する文書数、Ｐ（ｗ_ｉ）は単語ｗ_ｉが単独で出現する文書数、Ｐ（ｗ_ｊ）は単語ｗ_ｊが単独で出現する文書数である。
図５はこの発明の実施の形態１による重要度算出装置の処理内容を示すフローチャートである。
【００１６】
次に動作について説明する。
まず、入力部１が文書を入力する（ステップＳＴ１）。入力文書はコンピュータが読取可能な形式のデータであり、ここでは説明の便宜上、図６と図１１に示すテキストファイルを入力するものとする。なお、入力文書は本装置のコンピュータ上に限らず、別のコンピュータ上にある文書をネットワーク経由で入力してもよい。
【００１７】
形態素解析部３は、入力部１が図６と図１１の文書を入力すると、辞書記憶部２に記憶されている形態素辞書を参照して、図６と図１１の文書に対する形態素解析を実施する（ステップＳＴ２）。
ここで、形態素解析の動作を詳細に説明する。はじめに、文書の先頭からの文字列と形態素辞書に記憶されている形態素との照合処理を行う。
例えば、図６の文書の先頭からの文字列は、「従来は…」であるので、先頭文字「従」から始まる形態素を形態素辞書において探索する（図２を参照）。そして、「従来（名詞）」とのみ一致するとすれば、「従来（名詞）」を探索結果として取得する。
次に「従来」に続く文字列は、「は好みの…」であるので、文字「は」から始まる形態素を形態素辞書から探索する。そして、「は（助詞）」とのみ一致するとすれば、「は（助詞）」を探索結果として取得する。
【００１８】
次に図３に示す文法的な接続条件を参照して、「従来（名詞）」と「は（助詞）」の接続条件をチェックする。図３の接続条件によれば、名詞と助詞の接続を認めているので、「従来」の品詞が「名詞」に確定され、「は」の品詞が「助詞」に確定される。
以下同様に処理を実行して文書中の文字列を形態素に割当てる。図７は図６の文書に対する形態素解析の結果を示し、図１２は図１１の文書に対する形態素解析の結果を示している。
【００１９】
共起情報取得部５は、上記のようにして形態素解析部３が文書から形態素を抽出すると、それらの形態素から名詞を抽出する（ステップＳＴ３）。図８は図７の形態素解析結果からの名詞の抽出結果を示し、図１３は図１２の形態素解析結果からの名詞の抽出結果を示している。
次に共起情報取得部５は、抽出した名詞毎に、他の名詞との共起情報を共起情報記憶部４から取得する（ステップＳＴ４）。図８の名詞の抽出結果では２７種類の名詞に対して共起情報の取得処理を実施し、図１３の名詞の抽出結果では２５種類の名詞に対して共起情報の取得処理を実施する。
ここで、図９は図８の名詞「検索」に対する他の名詞との共起情報を示しており、例えば、「検索」と「従来」の共起情報（共起確率）は“０．０００１”であることを示している。
また、図１４は図１３の名詞「検索」に対する他の名詞との共起情報を示している。図１４の名詞は、「検索」と関連の深いものが多いため、図９の共起情報と比べて共起情報が高くなっている。
【００２０】
関連度算出部６は、共起情報取得部５が共起情報を取得すると、名詞間の共起情報と位置情報を考慮して、名詞間の関連度を算出する（ステップＳＴ５）。
即ち、▲１▼共起情報が高い名詞同士は関連性が高い。▲２▼名詞同士の出現位置が近いほど名詞間の関連性が高く、遠くなるにつれて名詞の関連性が低くなる。という条件を満足するように、２つの名詞の関連度を以下の式で定義する。
Ｓ（ｗ_ｉ，ｗ_ｊ）＝ｒ（ｗ_ｉ，ｗ_ｊ）×α（Ｄ（ｗ_ｉ，ｗ_ｊ）） （２）
ここで、ｗ_ｉ，ｗ_ｊは文書内の前からｉ番目，ｊ番目の名詞を示し、Ｓ（ｗ_ｉ，ｗ_ｊ）は名詞ｗ_ｉと名詞ｗ_ｊの関連度を表し、ｒ（ｗ_ｉ，ｗ_ｊ）は名詞ｗ_ｉと名詞ｗ_ｊの共起情報を示している。
また、α（ｘ）はｘが単調に増加すると値が単調に減少する関数であり、Ｄ（ｗ_ｉ，ｗ_ｊ）は名詞ｗ_ｉの記述位置と名詞ｗ_ｊの記述位置との距離である。
したがって、Ｓ（ｗ_ｉ，ｗ_ｊ）は共起情報が高いほど大きく、名詞間の出現位置が近いほど大きな値となる。
【００２１】
重要度算出部７は、関連度算出部６が名詞間の関連度を算出すると、名詞間の関連度を用いて文書の任意の区間毎に、当該区間における名詞の重要度を算出する（ステップＳＴ６）。
即ち、文中の任意の区間における単語の重要度ＩＭＰを以下の式で計算する。
【数１】

ただし、Ｍは文書中の全名詞数、Ｎは任意の区間中の名詞数である。
【００２２】
重要度算出部７は、Ｎを変えながら単語の重要度ＩＭＰを計算し、重要度ＩＭＰが最大となる区間を選択する。
上記の式（３）を用いて計算することで関連する名詞が多く、名詞間の距離が小さいほど重要度が高い値となる。
【００２３】
なお、名詞の関連範囲の算出は、Ｓａ（ｗ_ｉ，ｗ_ｊ）＝１であるｊの範囲とすることで算出する。
例えば、α（ｘ）＝１／（１＋ｌｏｇ（ｘ）），β＝０．００５とすると、図８の抽出結果に係る名詞間の関連度の算出結果は図１０のようになり、図１３の抽出結果に係る名詞間の関連度の算出結果は図１５のようになる。
例えば、名詞「検索」の重要度を計算する場合、図１０の５５番目に位置する「検索」においては、Ｓａ（ｗ_ｉ，ｗ_ｊ）＝１である名詞は「検索」と「インターネット」の２個であるため、重要度は２／３２＝０．０６２５となる。
また、図１０の７４番目に位置する「検索」に対して同様に計算すると、重要度は２／３２＝０．０６２５となる。これらの和をとると０．１２５となる。
一方、図１５からは関連度が高い名詞数は６個となり、重要度は６／４０＝０．１５となる。この結果、図１１の文書の方が「検索」という名詞の数は図６の文書と比べて少ないものの、重要度が高くなっていることが分かる。
また、それぞれの関連位置は、図８では４０番目〜７４番目の間となり、図１３では１番目〜３２番目の間となる。
【００２４】
即ち、従来例のように、指定単語の出現数を使用して重要度を計算すると、頻度の多い図６の文書の方が重要度が高くなるが、本手法を用いることで、より単語に関連する出現頻度が少なくとも重要度が高くなることがわかる。
なお、この実施の形態１では、重要度の算出に式（１）〜式（３）を用いるものについて示したが、これに限るものではなく、他の式を用いてもよい。
また、この実施の形態１では、名詞のみから単語重要度を算出するものについて示したが、これに限るものではなく、動詞や形容詞などを用いてもよい。
【００２５】
以上で明らかなように、この実施の形態１によれば、単語間の共起確率と位置関係を考慮して単語間の関連度を算出し、その関連度を用いて単語の重要度を算出するように構成したので、話題となる単語の関連範囲を特定することができる効果を奏する。
また、この実施の形態１によれば、単語間の共起確率と距離の積を単語間の関連度として算出するように構成したので、構成の複雑化を招くことなく、精度よく単語間の関連度を算出することができる効果を奏する。
【００２６】
また、この実施の形態１によれば、文書の任意の区間毎に、当該区間における単語の重要度を算出するように構成したので、話題となる単語の関連範囲を容易に把握することができる効果を奏する。
さらに、この実施の形態１によれば、関連度算出部６により算出された関連度のうち、所定の閾値βを上回る関連度のみを用いて単語の重要度を算出するように構成したので、重要度の算出精度を高めることができる効果を奏する。
【００２７】
【発明の効果】
以上のように、この発明によれば、形態素解析手段の解析結果から単語を抽出し、単語間の共起確率と位置関係を用いて単語間の関連度を算出し、単語間の共起確率と位置関係を用いて単語間の関連度を算出し、その関連度を用いて単語の重要度を算出するように構成したので、話題となる単語の関連範囲を特定することができる効果がある。
【図面の簡単な説明】
【図１】この発明の実施の形態１による重要度算出装置を示す構成図である。
【図２】形態素辞書の記憶内容を示す説明図である。
【図３】形態素辞書の記憶内容を示す説明図である。
【図４】共起情報を示す説明図である。
【図５】この発明の実施の形態１による重要度算出装置の処理内容を示すフローチャートである。
【図６】入力文書を示す説明図である。
【図７】図６の文書に対する形態素解析結果を示す説明図である。
【図８】名詞の抽出結果を示す説明図である。
【図９】名詞間の共起情報を示す説明図である。
【図１０】関連度の算出結果を示す説明図である。
【図１１】入力文書を示す説明図である。
【図１２】図１１の文書に対する形態素解析結果を示す説明図である。
【図１３】名詞の抽出結果を示す説明図である。
【図１４】名詞間の共起情報を示す説明図である。
【図１５】関連度の算出結果を示す説明図である。
【符号の説明】
１ 入力部（入力手段）、２ 辞書記憶部（形態素解析手段）、３ 形態素解析部（形態素解析手段）、４ 共起情報記憶部（関連度算出手段）、５ 共起情報取得部（関連度算出手段）、６ 関連度算出部（関連度算出手段）、７ 重要度算出部（重要度算出手段）、８ 出力部。

Claims (4)

1. 文書を入力する入力手段と、上記入力手段により入力された文書に対する形態素解析を実施する形態素解析手段と、上記形態素解析手段の解析結果から単語を抽出し、単語間の共起確率と位置関係を用いて単語間の関連度を算出する関連度算出手段と、上記関連度算出手段により算出された関連度を用いて単語の重要度を算出する重要度算出手段とを備えた重要度算出装置。
2. 関連度算出手段は、単語間の共起確率と距離の積を用いて単語間の関連度を算出することを特徴とする請求項１記載の重要度算出装置。
3. 重要度算出手段は、文書の任意の区間毎に、当該区間における単語の重要度を算出することを特徴とする請求項１記載の重要度算出装置。
4. 重要度算出手段は、関連度算出手段により算出された関連度のうち、所定の閾値を上回る関連度のみを用いて単語の重要度を算出することを特徴とする請求項３記載の重要度算出装置。

Images