JP2013228888A - 地域推定装置及び方法及びプログラム - Google Patents

Abstract

【課題】 地名表現がない文書であっても、当該文書に対応する地理を推定する。
【解決手段】 本発明は、入力された文書が地名を含む場合は、固有表現、地名表現、該地名表現に対応する緯度経度の地理情報を抽出し、地名を含まない場合は、固有表現のみを抽出して文書情報記憶手段に格納し、文書情報記憶手段から、固有表現と地理情報の組み合わせを取得して、該固有表現をキーとし、該地理情報を対応付けた固有表現−地理インデクスを生成し、固有表現−地理インデクスの地理情報から不要なデータを削除し、文書情報記憶手段から文書毎の文書ＩＤと固有表現と地理情報を取得し、該文書に地理情報がある場合は、文書ＩＤと地理情報を出力し、該地理情報がない場合は、固有表現と、インデクス記憶手段から取得した固有表現に対応する地理情報を文書ＩＤと共に出力する。
【選択図】 図１

Description

本発明は、文書から地名や住所情報抽出のための地域推定装置及び方法及びプログラムに係り、特に、文書に地名や住所等の地域に関連する語を含まない場合に、文書内の他の固有表現などの情報から文書に対応する地域を推定するための地域推定装置及び方法及びプログラムに関する。

文書から固有表現を抽出する手法がある（例えば、特許文献1参照）。当該手法により文書内の固有表現を抽出できる。また、固有表現抽出の際に、その固有表現が人名であるか地名であるかなどの種類の判定も可能であり、その手法を用いることで文書から地名のみを抽出することが可能である。抽出された地名表現に対して、実世界での位置を一意に決定する手法がある（例えば、特許文献２、非特許文献１参照）。当該手法では、文書内の各地名に対応する実世界の位置候補の情報をデータベースに保存しておき、そのレコードを用いている。

特開2011-198051号公報 特許第4510792号公報

平野徹、他：地理的距離と有名度を用いた地名曖昧性解消 情報処理学会全国大会 2008.

しかしながら、上記の従来の手法では、事前に登録しておいた"地名表現⇔地理情報"のレコードを用いて、地名表現から地理情報を特定するため、地名表現が含まれない文書に対しては地理情報を対応づけられない。

また、地名表現以外の固有表現を擬似的に地名表現としてレコードに登録しておくことで簡易的に対応表現を広げられるが（店名など）、固有表現に対して一意に地理を決定できない場合なども考えられる(時間と共に変化する場合など)。

本発明は、上記の点に鑑みなされたもので、文書中に地名表現がなくても地理を推定することが可能な地域推定装置及び方法及びプログラムを提供することを目的とする。

上記の課題を解決するため、本発明（請求項１）は、入力された文書を解析し、該文書に対応する地理情報を出力する地域推定装置であって、
入力された文書が地名を含む場合は、固有表現、地名表現、該地名表現に対応する緯度経度の地理情報を抽出し、地名を含まない場合は、固有表現のみを抽出し、文書情報記憶手段に格納する文書解析手段と、
前記文書情報記憶手段から、前記固有表現と前記地理情報の組み合わせを取得して、該固有表現をキーとし、該地理情報を対応付けた固有表現−地理インデクスを生成し、インデクス記憶手段に格納するインデックス作成手段と、
前記インデクス記憶手段から、地理的に広く分布している、または、地理的に特徴がないデータを削除するデータトリミング手段と、
前記文書情報記憶手段から前記文書毎の文書ＩＤと前記固有表現と前記地理情報を取得し、該文書に地理情報がある場合は、文書ＩＤと地理情報を出力し、該地理情報がない場合は、前記インデクス記憶手段から取得した該固有表現に対応する地理情報を文書ＩＤと共に出力する地理推定手段と、を有する。

また、本発明（請求項２）は、前記インデクス作成手段において、
前記文書情報記憶手段から取得した前記地理情報を、検索対象とする地理範囲内を任意の単位で区切り、区切られた各メッシュのメッシュＩＤに変換し、該地理情報に対応する前記固有表現が前記文書で出現する頻度のスコアと対応付けた固有表現−地理インデクスを前記インデクス記憶手段に格納する手段を含み、
前記データトリミング手段において、
前記インデクス記憶手段の前記メッシュＩＤに対応するスコアを分析し、該スコアの分散が高い固有表現のデータを前記インデクス記憶手段から除去する手段と、
前記インデクス記憶手段の前記メッシュＩＤに対応するスコアを分析し、該スコアの分布が、所定の閾値以下の固有表現のデータを前記インデクス記憶手段から除去する手段と、を含む。

また、本発明（請求項３）は、前記地理推定手段において、
前記固有表現−地理インデクスのメッシュＩＤ毎にスコアを合算し、合算したスコアが最も高いメッシュＩＤの中心点を示す地理情報、または、隣接するメッシュのスコアが所定の閾値以上のメッシュＩＤのメッシュが示す地理情報を出力する手段を含む。

また、本発明（請求項４）は、前記インデクス作成手段において、
前記文書が入力される毎に前記固有表現−地理インデクスを生成する手段を含む。

また、本発明（請求項５）は、前記インデクス作成手段において、前記地名表現の広さに応じて低減する係数を用いて前記スコアを算出する手段を含む。

また、本発明（請求項６）は、文書が入力されると、指定された一定の期間内の文書を選択し、前記解析手段に出力する文書選択手段を更に有する。

上記のように本発明によれば、当該文書の地理判定の際に、地名を含まない文書でも、他の文書での固有表現と地名の共起情報を用いて、当該文書中の各固有表現がどの地理と関係しているかを合わせることで、当該文書に対応する地理を推定することが可能となる。その際に、地理推定に利用する固有表現の選定とノイズの除去を行うことで正確性を高めている。

また、固有表現と地理の関係を入力される文書集合ごとに作り直すことで、リアルタイム性のある地理判定が可能となる。

さらに、所定の時間範囲の文書のみを処理対象文書とすることにより、時間応じた地理推定が可能となる。

本発明の第１の実施の形態における地域推定装置の構成図である。 本発明の第１の実施の形態における地域推定装置のデータの流れを示す図である。 本発明の第１の実施の形態におけるデータトリミング部の処理を示す図である。 本発明の第１の実施の形態における地理推定の例である。 本発明の第２の実施の形態における地域推定装置の構成図である。 本発明の第２の実施の形態における文書選択部の処理の例である。

以下、図面と共に本発明の実施の形態を説明する。

［第１の実施の形態］
図１は、本発明の第１の実施の形態における地域推定装置の構成を示す。

同図に示す地域推定装置は、固有表現抽出・地理解析部１１０、固有表現−地理インデクス作成部１２０、データトリミング部１３０、地理推定部１４０、文書情報テーブル１０、固有表現−地理インデクス記憶部２０を有し、解析対象の文書集合を入力とし、各文書に対応する地理情報を出力する。文書情報テーブル１０、固有表現−地理インデクス記憶部２０は、メモリやハードディスク装置等の記憶媒体である。

以下に、地域推定装置の各機能を説明する。

固有表現抽出・地理解析部１１０は、解析対象の文書集合に対して地名表現を含む固有表現抽出解析、各地名に対応する緯度経度情報を抽出する地理解析を行う。その際に固有表現解析は特許文献１など、地理解析は特許文献２や非特許文献１の既存の手法を用いることで実現できる。解析した結果は文書情報テーブル１０に格納する。その際に文書毎にユニークな番号を文書ＩＤとして付与する。文書情報テーブル１０は、図２に示すように、文書ＩＤカラム、固有表現カラム、地名カラム、地理カラムがあり、それぞれ下記の情報を含む。

・文書ＩＤカラム：文書ＩＤ
・固有表現カラム：文書に含まれる固有表現のリスト
・地名カラム：文書に含まれる地名表現のリスト
・地理カラム：文書に含まれる地名表現に対応する緯度経度情報(ポイントもしくは範囲を示す情報)
具体的には、図２の例において、文書１（文書ID:0001）は、『奈良県橿原市には飛鳥時代のお寺がたくさんあるらしい』という地名が含まれる文書から、固有表現として「飛鳥時代』『お寺』を抽出し、地名として『奈良県橿原市』を抽出し、地理情報として『34.510517.135.793762』を抽出し、文書情報テーブル１０に格納する。また、文書２「文書ID:0002」は『飛鳥時代の遺跡がすごい！！』という地名が含まれない文書である。当該文書２から、固有表現として『奈良時代』、『遺跡』のみを抽出し、文書情報テーブル１０に格納する。

固有表現−地理インデクス作成部１２０は、文書情報テーブル１０から各文書毎に、「固有表現カラムの情報」と「地理カラム」の組み合わせの情報を取得し、固有表現をキーとする固有表現−地理インデクスを作成する。

本発明では、対象とする範囲内（例えば日本国内)を任意の単位で区切り（例えば、東西１km、南北１kmずつ）、各メッシュに対してユニークなＩＤとしてメッシュＩＤを付与しておき、取得した地理情報が対応するメッシュＩＤに変換する。例えば、地理情報がポイントならば1つのメッシュＩＤ、範囲ならばメッシュＩＤのリストとなる。文書情報テーブル１０から取得した「固有表現情報」と「地理情報」から、各文書で複数の
｛固有表現：メッシュＩＤ（のリスト）：当該文書での頻度｝
の組み合わせを作ることができ、最終的に全文書で固有表現をキーとして合算したものを固有表現−地理インデクスとして保存する。固有表現に対応する値は、
"(メッシュＩＤ：スコア)，（メッシュＩＤ：スコア）…"
となる。スコアは単に出現頻度としても良いし、tf・idfのように固有表現の総出現回数を考慮することで、高頻度の一つのキーワードの影響が強くなりすぎるのを防ぐこともできる。

当該固有表現−地理インデクス作成部１２０では、地理の情報のない文書に関しては処理を行わない。そのため、図２に示すように、文書１と文書４に対する処理のみが行われる。

固有表現−地理インデクス作成部１２０の他のバリエーションとして以下のような手法としてもよい。

（１）固有表現−地理インデクスは、文書集合が入力される毎に作り直しても、文書集合が連続するものであるならば、前回のインデクスを更新するだけでよい。作り直す場合では、その時のリアルタイム性のある地理判定が行われ、継続されたインデクスを利用する場合は全期間での統計的な地理判定が行われる。

（２）各文書で複数の｛固有表現：メッシュＩＤ（のリスト）：当該文書での頻度｝を作成する際に、各地理表現の広さに応じて低減する係数を付与することが考えられる。これは、"東京都"のように広い範囲と"東京都武蔵野市緑町"のように小さな範囲で語られる固有表現を同等に扱わず、小さな範囲で語られる場合を重要視することができる。その際には、固有表現と地理情報の組み合わせ毎に
｛固有表現：メッシュＩＤ（のリスト）：頻度：範囲考慮係数｝
のデータを作成する。ここで範囲考慮スコアは下記の式などで計算可能である。

範囲考慮スコア＝１／log₁₀₀ （当該地理表現の範囲に含まれるメッシュ数）
なお、地理が地点（ポイント）の場合は１とする。

この｛固有表現：メッシュＩＤ（のリスト）：頻度：範囲考慮係数｝のデータを用いて最終的に固有表現に対応する"（メッシュＩＤ：スコア），（メッシュＩＤ：スコア）…"のデータを作成する際には、頻度に範囲考慮係数を乗算した上で積算していくことで可能である。頻度がtf-idfとなっても同様の手法で可能である。

データトリミング部１３０は、固有表現−地理インデクスの各固有表現の地理情報から、不要なデータを削除する。データトリミング部１３０の機能は、「データ選別」と「ノイズ除去」に分けられる。図３に、データトリミング部１３０の処理を示す。以下、それぞれについて述べる。

・データ選別：
図３（ａ）に示すように、各固有表現について、地理的スコアが広く分散しているものは地理を推定する際に有用ではない。そのため、各地理におけるスコアの分布を解析し、分散が高い固有表現のデータは固有表現−地理インデクス記憶部２０から除去する。分散が高いかどうかの判定には、通常の標準偏差やエントロピーを計算したり、最大スコアの30％以上の地理がどれほどあるかなどで求める。

・ノイズ除去：
図３（ｂ）に示すように、各固有表現において、地理的に特徴的な範囲のみの情報を用いることで、有効性が高まると考える。そのため、各固有表現のスコアの分布において、一定の閾値以下のものを固有表現−地理インデクス記憶部２０から除去する。閾値は頻度をスコアとする場合には１０、tf・idfをスコアとする場合では0.1など絶対値で指定しても、分布の最大値の25%などと相対的に設定してもよい。

地理推定部１４０は、文書情報テーブル１０から各文書の文書ＩＤ，固有表現、地理情報を取得し、地理情報がある場合は、｛文書ＩＤ，地理情報｝の組み合わせを出力し、地理情報がない場合は、固有表現情報と固有表現−地理インデクス記憶部２０の固有表現−地理インデックスを用いて地理を推定し、推定した結果を｛文書ＩＤ，推定値理情報｝として出力する。

地理推定部１４０は、取得した固有表現に対応する地理情報を固有表現−地理インデクス記憶部２０から取得し、各地理情報をメッシュＩＤ毎にスコアを合算し、1つの"（メッシュＩＤ，スコア）、（メッシュＩＤ：スコア）、…"のリストを作成する。推定される地理はリスト中でスコアが最も高いメッシュＩＤの中心点を示す緯度経度情報や、隣接するメッシュのスコアが既定の閾値以上ならば、連結を行い、その最小矩形範囲が示す緯度経路情報（範囲もしくはポイント）としてもよい。

スコアの合算においては、通常の加算の代わりに乗算や、調和平均等を用いても良い。

図４に、地理推定部１４０具体的な例を示す。

地名を含まない文書として「飛鳥時代の遺跡がすごい！！」が入力された場合を示す。

データトリミング部１３０において、固有表現「飛鳥時代」、「遺跡」毎に出現頻度分布を作成し（ステップ１）、地理推定部１４０において、それらの出現頻度分布を合算して、最も頻度の高い箇所を地理と推定する（ステップ２）。

［第２の実施の形態］
本実施の形態では、入力する文書集合を生成する機能について説明する。

図５は、本発明の第２の実施の形態における地域推定装置の構成を示す。図１と同一構成部分には同一符号を付し、その説明を省略する。

図５に示す地域推定装置は、図１の構成に文書選択部２１０を付加した構成である。

文書選択部２１０は、文書が入力されると、ユーザによって指定された一定の期間（○日前や○ケ月前まで）の文書を選択し、固有表現抽出・地理解析部１１０に出力する。

これにより、例えば、リアルタイム性の地理判定を求める場合には、図６に示すように、各固有表現の出現頻度分布を作成する対象文書を、直近の数時間などとして区切ることで、時間に応じた地理推定が可能となる。図６の例では、「出雲駅伝」開催中は『出雲』が、「箱根駅伝」開催中は『箱根』の分布が強くなる。

上記のように、本発明では、文書から抽出された地名表現を地図上のメッシュに展開し、固有表現にはスコア（tf・idfなど）を付与し、｛固有表現，メッシュ，スコア｝からなるデータを生成し、文書に地名表現がない場合は、当該データを用いて固有表現のスコアをメッシュ単位に合算し、スコアが高いメッシュを当該文書の地名表現として出力することができる。

なお、上記の実施の形態における図１、図５に示す地域推定装置の各構成要素の動作をプログラムとして構築し、地域推定装置として利用されるコンピュータにインストールして実行させる、または、ネットワークを介して流通させることが可能である。

本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内において、種々変更・応用が可能である。

１０ 文書情報テーブル
２０ 固有表現−地理インデクス記憶部
１１０ 固有表現抽出・地理解析部
１２０ 固有表現−地理インデクス作成部
１３０ データトリミング部
１４０ 地理推定部
２１０ 文書選択部

Claims (8)

1. 入力された文書を解析し、該文書に対応する地理情報を出力する地域推定装置であって、
   入力された文書が地名を含む場合は、固有表現、地名表現、該地名表現に対応する緯度経度の地理情報を抽出し、地名を含まない場合は、固有表現のみを抽出し、文書情報記憶手段に格納する文書解析手段と、
   前記文書情報記憶手段から、前記固有表現と前記地理情報の組み合わせを取得して、該固有表現をキーとし、該地理情報を対応付けた固有表現−地理インデクスを生成し、インデクス記憶手段に格納するインデックス作成手段と、
   前記インデクス記憶手段から、地理的に広く分布している、または、地理的に特徴がないデータを削除するデータトリミング手段と、
   前記文書情報記憶手段から前記文書毎の文書ＩＤと前記固有表現と前記地理情報を取得し、該文書に地理情報がある場合は、文書ＩＤと地理情報を出力し、該地理情報がない場合は、前記インデクス記憶手段から取得した該固有表現に対応する地理情報を文書ＩＤと共に出力する地理推定手段と、
   を有することを特徴とする地域推定装置。
2. 前記インデクス作成手段は、
   前記文書情報記憶手段から取得した前記地理情報を、検索対象とする地理範囲内を任意の単位で区切り、区切られた各メッシュのメッシュＩＤに変換し、該地理情報に対応する前記固有表現が前記文書で出現する頻度のスコアと対応付けた固有表現−地理インデクスを前記インデクス記憶手段に格納する手段を含み、
   前記データトリミング手段は、
   前記インデクス記憶手段の前記メッシュＩＤに対応するスコアを分析し、該スコアの分散が高い固有表現のデータを前記インデクス記憶手段から除去する手段と、
   前記インデクス記憶手段の前記メッシュＩＤに対応するスコアを分析し、該スコアの分布が、所定の閾値以下の固有表現のデータを前記文書情報記憶手段から除去する手段と、
   を含む請求項１記載の地域推定装置。
3. 前記地理推定手段は、
   前記固有表現−地理インデクスのメッシュＩＤ毎にスコアを合算し、合算したスコアが最も高いメッシュＩＤの中心点を示す地理情報、または、隣接するメッシュのスコアが所定の閾値以上のメッシュＩＤのメッシュが示す地理情報を出力する手段を含む
   請求項１記載の地域推定装置。
4. 前記インデクス作成手段は、
   前記文書が入力される毎に前記固有表現−地理インデクスを生成する手段を含む
   請求項２記載の地域推定装置。
5. 前記インデクス作成手段は、
   前記地名表現の広さに応じて低減する係数を用いて前記スコアを算出する手段を含む請求項２記載の地域推定装置。
6. 文書が入力されると、指定された一定の期間内の文書を選択し、前記解析手段に出力する文書選択手段を更に有する
   請求項１記載の地域推定装置。
7. 入力された文書を解析し、該文書に対応する地理情報を出力する地域推定方法であって、
   文書解析手段が、入力された文書が地名を含む場合は、固有表現、地名表現、該地名表現に対応する緯度経度の地理情報を抽出し、地名を含まない場合は、固有表現のみを抽出し、文書情報記憶手段に格納する文書解析ステップと、
   インデクス作成手段が、前記文書情報記憶手段から、前記固有表現と前記地理情報の組み合わせを取得して、該固有表現をキーとし、該地理情報を対応付けた固有表現−地理インデクスを生成し、インデクス記憶手段に格納するインデックス作成ステップと、
   データトリミング手段が、前記インデクス記憶手段から、地理的に広く分布している、または、地理的に特徴がないデータを削除するデータトリミングステップと、
   地理推定手段が、前記文書情報記憶手段から前記文書毎の文書ＩＤと前記固有表現と前記地理情報を取得し、該文書に地理情報がある場合は、文書ＩＤと地理情報を出力し、該地理情報がない場合は、前記インデクス記憶手段から取得した該固有表現に対応する地理情報を文書ＩＤと共に出力する地理推定ステップと、
   を行うことを特徴とする地域推定方法。
8. コンピュータを、
   請求項１乃至６のいずれか１項に記載の地域推定装置の各手段として機能させるための地域推定プログラム。

Images